JP2004517518A

JP2004517518A - オーディオカテゴリを用いて番組境界及びコマーシャル境界の位置を見つけるシステム及び方法

Info

Publication number: JP2004517518A
Application number: JP2002553671A
Authority: JP
Inventors: ダグタス，サーラン; ディミトロワ，ネヴェンカ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-12-22
Filing date: 2001-12-10
Publication date: 2004-06-10
Also published as: US20020080286A1; WO2002052440A1; US6819863B2; EP1417593A1; CN1426563A; US20040201784A9

Abstract

ビデオ信号プロセッサにおいて使用される、オーディオカテゴリを用いて番組境界及びコマーシャル境界の位置を見つけるシステム及び方法が開示される。システムは、オーディオ信号のセグメントのオーディオカテゴリに関連する情報を取得するオーディオ分類器コントローラを含む。オーディオカテゴリは、無音、音楽、雑音、及び音声といったカテゴリを含む。オーディオ分類器コントローラは、オーディオカテゴリの変化率を決定する。オーディオ分類器コントローラは、番組及びコマーシャルの境界の位置を見つけるために、オーディオカテゴリの各変化の率を閾値と比較する。

Description

【０００１】
本発明は、２０００年８月８日に発行された「ＡＰＰＡＲＡＴＵＳＡＮＤＭＥＴＨＯＤＦＯＲＬＯＣＡＴＩＮＧＡＣＯＭＭＥＲＣＩＡＬＤＩＳＰＯＳＥＤＷＩＴＨＩＮＡＶＩＤＥＯＤＡＴＡＳＴＲＥＡＭ」なる名称の米国特許第６，１００，９４１号及び１９９８年１月１３日出願の「ＭＵＬＴＩＭＥＤＩＡＣＯＭＰＵＴＥＲＳＹＳＴＥＭＷＩＴＨＳＴＯＲＹＳＥＧＭＥＮＴＡＴＩＯＮＣＡＰＡＢＩＬＩＴＹＡＮＤＯＰＥＲＡＴＩＮＧＰＲＯＧＲＡＭＴＨＥＲＥＦＯＲＩＮＣＬＵＤＩＮＧＦＩＮＩＴＥＡＵＴＯＭＡＴＯＮＶＩＤＥＯＰＡＲＳＥＲ」なる名称の米国特許出願第０９／００６，６５７号に開示された発明に関連する。この上記特許及び特許出願は、本発明の譲受人に共通に譲渡されている。上記特許及び特許出願の開示は、本願に完全に記載されているかのように全体としてここに参照として組み入れられる。
【０００２】
本発明は、概して、ビデオデータストリーム中のビデオ番組のセグメントの境界の位置を見つけるシステム及び方法に係り、特に音声、音楽、無音、及び雑音といったオーディオカテゴリを用いてビデオ番組の境界及びコマーシャルメッセージの境界の位置を見つけるシステム及び方法に関連する。
【０００３】
様々な種類のビデオレコーダが市販されている。殆どの人が、ビデオカセットレコーダ（ＶＣＲ）、ビデオテープレコーダ（ＶＴＲ）とも称される、を所有するか、使い慣れている。ビデオカセットレコーダは、磁気カセットテープ上にビデオ番組を記録する。最近では、ビデオ番組を記憶するために磁気カセットテープではなくコンピュータ磁気ハードディスクを使用するビデオレコーダが市販されるようになっている。例えば、ＲｅｐｌａｙＴＶ（登録商標）レコーダ及びＴｉＶＯ（登録商標）レコーダは、例えばＭＰＥＧビデオ圧縮標準を用いてハードディスクドライブ上にテレビジョン番組をディジタル式に記録する。更に、幾つかのビデオレコーダは、磁気ディスクではなく、読み取り可能／書き込み可能なディジタル・バーサタイル・ディスク（ＤＶＤ）上に記録しうる。
【０００４】
ビデオレコーダは、一般的にはテレビ受像機といったビデオ表示装置と共に使用される。ビデオレコーダは、ビデオ番組がビデオ表示装置上に表示されているのと同時にビデオ番組を記録するために使用されうる。一般的な例は、テレビ番組がテレビ画面上に同時に表示されている間にテレビ番組を記録するためにビデオカセットレコーダ（ＶＣＲ）を使用するものである。
【０００５】
ビデオレコーダは、記録のためにテレビジョン番組の開始時間及び終了時間を決定するために高レベル電子番組ガイド（ＥＰＧ）情報に依存する。残念なことに、ＥＰＧ情報は、不正確であることが多く、特にテレビジョンの生放送の場合に不正確となることが多い。ビデオ番組の境界、並びに、ビデオ番組中のコマーシャルメッセージ（「コマーシャル」）の境界の位置を見つける改善されたシステム及び方法が必要である。
【０００６】
ビデオ番組のセグメントの開始時間及び終了時間を検出するために種々の方法がある。これらの方法は、一般的には、ビデオレコーダでビデオ番組が録音されているときにコマーシャルが自動的にとばされうるようコマーシャルを検出するために使用される。幾つかの周知の方法は、「ブラックフレーム」の検出を含む。ブラックフレームは、コマーシャルの直前及び直後に通常は見つけられる黒いビデオフレームである。コマーシャルの境界を検出する他の方法は、カット率変更、スーパーヒストグラム、時間情報を伴うディジタル化されたコード等の使用を含む。
【０００７】
番組又はコマーシャルの境界を検出する他の従来技術の方法は、番組又はコマーシャルの始まり及び終わりを割り当てるためにビデオ信号中に特殊なコード又は信号を挿入することを含む。特殊なコード又は信号を検出し識別するために特殊な回路が必要とされる。
【０００８】
更に、ビデオ信号に番組識別情報を挿入するテレビジョン規格が既に存在する。番組識別情報は、番組の始まりと終わりを一意に識別する。この情報は、番組の境界を検出するためにも使用されうる。
【０００９】
これらの従来技術の方法はすべて、ビデオデータストリーム中の特別なコード、特別な信号、又は特別な番組識別情報の挿入及び検出を含む。特別なコード、特別な信号、又は特別な番組識別情報を使用することなく、ビデオデータストリーム中でビデオ番組及びコマーシャルの境界の位置を見つける改善されたシステム及び方法が必要とされる。
【００１０】
また、コンピュータ化された個人情報検索システムにおいてビデオ番組の境界とコマーシャルの境界の位置を見つける改善されたシステム及び方法が必要とされる。ユーザが記録することを望む幾つかの話題を含む（通常はテレビジョン放送からの）ビデオ番組のセグメントを識別し記録するコンピュータ化された個人情報検索システムが存在する。所望のセグメントは、通常はユーザによって入力されるキーワードに基づいて識別される。一般的な適用では、コンピュータシステムは、インターネットといった源からの情報の内容を監視するためバックグラウンドで動作する。内容選択は、ユーザによって与えられるキーワードによって案内される。キーワードと監視されている情報の内容が一致すると、情報は、ユーザによる後の再生及び視聴のために記憶される。ダウンロードされた情報は、やはりユーザによってダウンロードされうるオーディオ信号及びビデオクリップへのリンクを含みうる。
【００１１】
ユーザが後の再生のためにテレビジョン番組の部分を選択し検索することを可能とするコンピュータ化された個人情報検索システムは、通常は３つの基礎的な要件を満たす。１つめは、システム及び方法が、通常は入来するビデオ信号をそのビジュアル成分、オーディオ成分、及びテキスト成分へ解析するために利用可能であることである。２つめは、システム及び方法が、放送信号のオーディオ及び／又はテキスト成分の内容をユーザ入力規準に対して分析し、内容に基づいて成分をセグメント化するために利用可能であることである。３つめは、システム及び方法が、ユーザによる後の再生のためにユーザの要件に一致する番組セグメントを統合し記憶するために利用可能なことである。
【００１２】
上述の要件を満たすシステムは、Ｄｉｍｉｔｒｏｖａ（本願発明の共同発明者）によって１９９８年１月１３日に出願された「ＭＵＬＴＩＭＥＤＩＡＣＯＭＰＵＴＥＲＳＹＳＴＥＭＷＩＴＨＳＴＯＲＹＳＥＧＭＥＮＴＡＴＩＯＮＣＡＰＡＢＩＬＩＴＹＡＮＤＯＰＥＲＡＴＩＮＧＰＲＯＧＲＡＭＴＨＥＲＥＦＯＲＩＮＣＬＵＤＩＮＧＦＩＮＩＴＥＡＵＴＯＭＡＴＯＮＶＩＤＥＯＰＡＲＳＥＲ」なる名称の米国特許出願第０９／００６，６５７号に記載されている。米国特許出願第０９／００６，６５７号は本願に完全に記載されているかのようにここに参照として組み入れられる。
【００１３】
米国特許出願第０９／００６，６５７号は、シンボルのシーケンスを認識する一組のモデル、所望の選択規準を同定するマッチングモデル、及び、選択規準に基づいて１以上のビデオストーリーセグメント又はシーケンスを選択し検索する方法論を提供するシステム及び方法について記載する。
【００１４】
ビデオレコーダとコンピュータ化された個人情報検索システムといったビデオ信号プロセッサの動作は、ビデオ番組及びコマーシャルの境界の位置が知られていれば、かなりの改善が得られる。従って、ビデオデータストリーム中のビデオ番組の境界及びコマーシャルの境界の位置を見つける改善されたシステム及び方法が必要とされる。
【００１５】
上述の従来技術の欠点に対処するため、本発明は、番組のオーディオ内容を用いることによってビデオデータストリーム中のビデオ番組の境界及びコマーシャルの境界の位置を見つける改善されたシステム及び方法を提供することを主な目的とする。特に、本発明は、音声、音楽、無音、及び雑音といったオーディオカテゴリを使用することによってビデオデータストリーム中のビデオ番組の境界及びコマーシャルの境界の位置を見つける改善されたシステム及び方法を提供することを主な目的とする。
【００１６】
また、本発明は、ビデオデータストリームの中に挿入される特別なコード、特別な信号、又は特別な番組識別情報を必要とすることなくビデオデータストリーム中のビデオ番組の境界及びコマーシャルの境界の位置を自動的に見つける改善されたシステム及び方法を提供することを主な目的とする。
【００１７】
本発明のシステムは、オーディオ信号の続く部分を音声、音楽、無音、及び雑音といたオーディオカテゴリへ分類するオーディオ分類器コントローラを含む。オーディオ分類器コントローラは、また、オーディオ信号の続く部分をバックグラウンドに音楽のある音声、バックグラウンドに雑音のある音声、バックグラウンドに音声のある音声等へ分類する。オーディオ分類器コントローラは、話者の識別情報が決定されると、話者カテゴリ中のオーディオ音声信号の続く部分を分類する。各話者カテゴリは、個々の話者のオーディオ音声信号を含む、識別されることができない話者は、「不明の話者」カテゴリへ分類される。
【００１８】
本発明のオーディオ分類器コントローラはまた、第１のカテゴリへ分類されるオーディオ信号の第１の部分がいつ終了するのか、また、第２のカテゴリへ分類されるオーディオ信号の第２の部分がいつ終了するのかを検出するカテゴリ変化検出器を含む。即ち、カテゴリ変化検出器は、オーディオ信号のカテゴリがいつ変化するのかを決定する。このようにして、本発明のオーディオ分類器コントローラは各オーディオカテゴリの種類を連続的に決定する。
【００１９】
カテゴリ変化検出器はまた、第１の話者カテゴリに分類されたオーディオ信号の第１の部分がいつ終わり、第２の話者カテゴリに分類されたオーディオ信号の第２の部分がいつ始まるのかを決定する。即ち、カテゴリ変化検出器は、オーディオ信号の話者カテゴリがいつ変化するのかを決定する。
【００２０】
本発明のオーディオ分類器コントローラは、また、オーディオカテゴリが変化する率（「カテゴリ変化率」）を決定するカテゴリ変化率検出器を含む。カテゴリ変化率検出器は、カテゴリ変化率を閾値と比較する。閾値は、予め選択された値であるか、又は、変化操作の条件に応じて動的に決定されうる。カテゴリ変化率が閾値よりも高ければ、コマーシャルセグメントが存在すること、従って境界が存在することが推測される。
【００２１】
本発明は、オーディオ信号の各セグメントに対して少なくとも１つのオーディオカテゴリを取得するためにオーディオ信号を分類する改善されたシステム及び方法を提供することを目的とする。
【００２２】
本発明は、オーディオ信号を、無音、音楽、雑音、及び音声といったオーディオカテゴリへ分類する改善されたシステム及び方法を提供することを目的とする。
【００２３】
本発明は、オーディオ信号を、バックグラウンドに音楽のある音声、バックグラウンドに雑音のある音声、バックグラウンドに雑音のある音楽等といったサブカテゴリへ分類する改善されたシステム及び方法を提供することを目的とする。
【００２４】
本発明は、オーディオ信号の音声セグメント中に話している人物の音声オーディオ信号を分類するために音声データベースにアクセスする改善されたシステム及び方法を提供することを目的とする。
【００２５】
本発明は、オーディオカテゴリがいつ変化するのかを決定する改善されたシステム及び方法を提供することを更なる目的とする。
【００２６】
本発明は、オーディオ信号中でオーディオカテゴリが変化する率を決定する改善されたシステム及び方法を提供することを更なる目的とする。
【００２７】
本発明は、オーディオ信号を含むビデオ番組セグメント中のビデオ番組セグメント及びコマーシャルの境界の位置を見つけるため、オーディオ信号中のオーディオカテゴリが変化する率を閾値と比較することを他の目的とする。
【００２８】
上述においては、当業者が以下の本発明の詳細な説明をよりよく理解しうるよう、本発明の特徴及び技術的な利点について広く説明した。本発明の請求の範囲の対象である本発明の更なる特徴及び利点については以下説明する。当業者は、本発明と同じ目的を行うために他の構造を変更又は設計するための基礎として開示される概念及び特定の実施例を容易に使用しうることを認識するはずである。また当業者はこのような同等の構成が本発明の最も広い範囲の精神及び範囲から逸脱しないことを認識すべきである。
【００２９】
詳細な説明の前に、本願を通じて使用される幾つかの単語及び句についての定義を記す：「含む」という用語とその活用形は、制限なしで包含することを意味し、「又は」という用語は包括的であり、及び／又はを意味し、「に関連付けられる」又は「に関連する」という句とその活用形は、含む、中に含む、相互接続される、入る、中に入っている、に接続される、と接続される、に結合される、と結合される、と伝達可能である、と協働する、間に挟まれる、並置される、近傍にある、に囲まれる、で囲まれる、有する、性質を有する等を意味するものであり、「コントローラ」という用語は、少なくとも１つの動作を制御する任意の装置、システム、又はその一部であり、そのような装置はハードウエア、ファームウエア、ソフトウエア、又はこれらのうちの少なくとも２つの組み合わせとして実施されうるものであると理解されるべきである。尚、任意の特定のコントローラに関連付けられる機能は、ローカルに又はリモートに集中化又は分散されうる。本願を通じていくつかの単語及び句についての定義が与えられ、当業者は多くの場合、さもなければ殆どの場合に、このような定義がこのような定義された単語及び句の以前の及び未来の使用に適用されることを理解すべきである。
【００３０】
本発明とその利点のより完全な理解のために、同様の番号が同様の要素を指す添付の図面を参照して添付の図面を参照して説明する。
【００３１】
図１乃至図４と、本願において本発明の原理を説明するために使用される種々の実施例は、例示のためのものであり、本発明の範囲を制限するものと理解されるべきではない。当業者は、本発明の原理は任意の適当に配置されるビデオレコーダで実施されうることを理解するであろう。
【００３２】
図１は、本発明の１つの実施例による典型的なビデオレコーダ１５０及びテレビ受像機１０５を示す図である。ビデオレコーダ１５０は、外部源、例えば、ケーブルテレビジョン・サービス・プロバイダ（ケーブル社）、ローカルのアンテナ、衛星、インターネット、又はディジタル・バーサタイル・ディスク（ＤＶＤ）又はビデオ・ホーム・システム（ＶＨＳ）テーププレーヤ等からの入来テレビジョン信号を受信する。ビデオレコーダ１５０は、選択されたチャンネルからのテレビジョン信号をテレビ受像機１０５へ送信する。チャンネルは、視聴者によって手動で選択されるか、又は、予め視聴者によってプログラムされた記録装置によって自動的に選択される。或いは、チャンネルとビデオ番組は、視聴者の個人的な視聴履歴中の番組プロファイルからの情報に基づいて記録装置によって自動的に選択されうる。
【００３３】
記録モードでは、ビデオレコーダ１５０は、入来無線周波数（ＲＦ）テレビジョン信号を復調し、ビデオレコーダ１５０の中にある又はビデオレコーダ１５０に接続された記憶媒体上に記録され記憶されるベースバンドビデオ信号を生成する。再生モードでは、ビデオレコーダ１５０は、記憶媒体から視聴者によって選択された記憶されたベースバンドビデオ信号（即ち番組）を読み出し、これをテレビ受像機１０５へ送信する。
【００３４】
ビデオレコーダ１５０は、記録用テープを使用するタイプ、又はハードディスクを使用するタイプ、又は、半導体メモリを使用するタイプ、又は任意の他のタイプの記録装置を使用するタイプのビデオレコーダを含みうる。ビデオレコーダ１５０がビデオカセットレコーダ（ＶＣＲ）である場合、ビデオレコーダ１５０は、磁気カセットテープへ入来テレビジョン信号を格納し、磁気カセットテープから入来テレビジョン信号を取り出す。ビデオレコーダ１５０がＲｅｐｌａｙＴＶ（登録商標）レコーダ及びＴｉＶＯ（登録商標）レコーダといったディスクドライブを基礎とする装置であるとき、ビデオレコーダ１５０は磁気カセットテープではなく、磁気へ入来テレビジョン信号を格納し、コンピュータ磁気ハードディスクから入来テレビジョン信号を取り出す。更なる他の実施例では、ビデオレコーダ１５０は、ローカル読み書き（Ｒ／Ｗ）ディジタル・バーサタイル・ディスク（ＤＶＤ）又は読み書き（Ｒ／Ｗ）コンパクトディスク（ＣＤ−ＲＷ）に対して格納と取り出しを行う。ローカル記憶媒体は固定であるか（例えばハードディスクドライブ）、着脱可能である（例えばＤＶＤ，ＣＤ−ＲＷ）。
【００３５】
ビデオレコーダ１５０は、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えばチャンネル・アップ、チャンネル・ダウン、音量アップ、音量ダウン、記録、再生、早送り（ＦＦ）、逆送り等）を受信する赤外線（ＩＲ）センサ１６０を含む。テレビ受像機１０５は、画面１１０、赤外線（ＩＲ）センサ１１５、及び１つ以上の手動制御部１２０（点線で示す）を含む従来通りのテレビ受像機である。ＩＲセンサ１１５は、やはり、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えば音量アップ、音量ダウン、電源オン、電源オフ等）を受信する。
【００３６】
尚、ビデオレコーダ１５０は、特定の種類の源からの特定の種類の入来テレビジョン信号を受信するのに限られない。上述のように、外部源は、ケーブルサービスプロバイダ、従来のＲＦ放送アンテナ、衛星アンテナ、インターネット接続、又は他のローカル記憶装置、例えばＤＶＤプレーヤ又はＶＨＳテーププレーヤでありうる。入来信号は、ディジタル信号、アナログ信号、インターネットプロトコル（ＩＰ）パケット、又は他の種類の形式の信号でありうる。
【００３７】
本発明の原理を説明するための簡単さと明瞭性のため、以下の説明は概してビデオレコーダ１５０が（ケーブルサービスプロバイダから）アナログテレビジョン信号を受信する実施例に関連するものとする。それでも、当業者は、本発明の原理はディジタルテレビジョン信号、ワイヤレス放送テレビジョン信号、ローカル記憶システム、ＭＰＥＧデータを含むＩＰパケットの入来ストリーム等に対する使用に容易に適応されうることを理解するであろう。
【００３８】
図２は、本発明の一つの実施例による典型的なビデオレコーダ１５０をより詳細に示す図である。ビデオレコーダ１５０は、ＩＲセンサ１６０、ビデオプロセッサ２１０，ＭＰＥＧ２符号化器２２０、ハードディスクドライブ２３０、ＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０、及びコントローラ２５０を含む。ビデオレコーダ１５０は更に、オーディオ分類器コントローラ２７０及びメモリ２８０を含む。コントローラ２５０は、ビューモード、記録モード、再生モード、早送り（ＦＦ）モード、逆送りモードを含むビデオレコーダ１５０の全体的な動作を指示する。
【００３９】
ビューモードでは、コントローラ２５０は、ケーブルサービスプロバイダからの入来テレビジョン信号を、ビデオプロセッサ２１０によって復調及び処理させ、ビデオ信号をハードディスクドライブ２３０に格納することなく（又はハードディスクドライブ２３０からビデオ信号を取り出すことなく）テレビ受像機１０５へ送信させる。例えばＴｒｉＭｅｄｉａ１１００（ＴＭ１１００）であるビデオプロセッサ２１０は無線周波数（ＲＦ）フロントエンド回路を含み、無線周波数（ＲＦ）フロントエンド回路は、ケーブルサービスプロバイダからの入来テレビジョン信号を受信し、ユーザにより選択されたチャンネルへ同調し、選択されたＲＦ信号をテレビ受像機１０５上での表示に適したベースバンドテレビ信号（例えばスーパービデオ信号）へ変換する。ビデオプロセッサ２１０は、ＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０から従来のＮＴＳＣ信号を受信し、メモリ２８０からビデオフレームを受信し、テレビ受像機１０５へベースバンドテレビジョン信号（例えばスーパービデオ信号）を送信することも可能である。
【００４０】
記録モードでは、コントローラ２５０は、入来テレビジョン信号をハードディスクドライブ２３０上に格納させる。コントローラ２５０の制御下で、ＭＰＥＧ２符号化器２２０は、ケーブルサービスプロバイダから入来テレビジョン信号を受信し、受信したＲＦ信号をハードディスクドライブ２３０へ格納するためのＭＥＰＧフォーマットへ変換する。尚、ディジタルテレビジョン信号の場合、信号はＭＰＥＧ２符号化器２２０において符号化されることなくハードディスクドライブ２３０上に直接格納されうる。
【００４１】
再生モードでは、コントローラ２５０は、ハードディスクドライブ２３０に対して、格納されたテレビジョン信号（即ち番組）を、ハードディスクドライブ２３０からのＭＰＥＧ２データを例えばビデオプロセッサ２１０がテレビ受像機１０５へ送信するスーパービデオ（Ｓ−Ｖｉｄｅｏ）へ変換するＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０へストリーミングするよう命令する。
【００４２】
尚、ＭＰＥＧ２符号化器２２０とＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０のためのＭＰＥＧ２標準の選択は例示のためだけのものである。本発明の他の実施例では、ＭＰＥＧ２符号化器及びＭＰＥＧ２復号化器は、ＭＰＥＧ−１、ＭＰＥＧ−２、及びＭＰＥＧ−４標準又は１以上の他の種類の標準に準拠しうる。
【００４３】
この適用及び請求の範囲のため、ハードディスクドライブ２３０は、読み書きディジタル・バーサタイルディスク（ＤＶＤ−ＲＷ規格及びＤＶＤ＋ＲＷ規格）、書換可能ＣＤ−ＲＯＭ、ＶＣＲテープ等のための従来の磁気ディスクドライブ及び光ディスクドライブを含むがこれらに限られない読み出し可能及び書き込み可能な任意の大容量記憶装置を含む。実際、ハードディスクドライブ２３０はビデオレコーダ１５０に恒久的に埋め込まれている従来の方法で固定される必要はない。そうではなく、ハードディスクドライブ２３０は記録されたビデオ番組を格納するためのビデオレコーダ１５０に専用の任意の大容量記憶装置を含む。従って、ハードディスクドライブ２３０は、例えば幾つかの読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを保持するジュークボックス装置（図示せず）といった取り付けられた周辺機器ドライブ又は取り外し可能なディスクドライブ（埋め込まれているか取り付けられている）を含みうる。図２に概略的に示すように、この種類の取り外し可能なディスクドライブは、書換可能なＣＤ−ＲＯＭディスク２３５を受容し読み出すことが可能である。
【００４４】
更に、本発明の有利な実施例によれば、ハードディスクドライブ２３０は、例えば視聴者の家庭のパーソナルコンピュータ（ＰＣ）中のディスクドライブ又は視聴者のインターネットサービスプロバイダ（ＩＳＰ）のサーバ上のディスクドライブを含むネットワーク接続（例えばインターネットプロトコル（ＩＰ）接続）を介してビデオレコーダ１５０がアクセス及び制御しうる外部大容量記憶装置を含みうる。
【００４５】
コントローラ２５０は、ビデオプロセッサ２１０によって受信されたビデオ信号に関連するビデオプロセッサ２１０からの情報を取得する。コントローラ２５０が、ビデオレコーダ１５０がビデオ番組を受信していると判定すると、コントローラ２５０はそのビデオ番組が記録されるべきものであるとして既に選択されているものであるか否かを判定する。ビデオ番組が記録されるべきものである場合、コントローラ２５０は、上述の方法でビデオ番組をハードディスクドライブ２３０上に記録させる。ビデオ番組が記録されるべきものでない場合、コントローラ２５０は、上述の方法で、ビデオ番組をビデオプロセッサ２１０によって処理させテレビ受像機１０５へ送信させる。
【００４６】
メモリ２８０は、ランダムアクセスメモリ（ＲＡＭ）、又は、ランダムアクセスメモリ（ＲＡＭ）と読み出し専用メモリ（ＲＯＭ）の組み合わせを含みうる。メモリ２８０は、フラッシュメモリカードといった不揮発性ランダムアクセスメモリ（ＲＡＭ）を含みうる。ビデオレコーダ１５０の他の有利な実施例では、メモリ２８０はハードディスクドライブ（図示せず）といった大容量記憶データ装置を含みうる。メモリ２８０は、読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを読み出す取り付けられた周辺機器ドライブ又は取り外し可能なディスクドライブ（埋め込まれているか取り付けられている）を含みうる。図２に概略的に示すように、この種類の取り外し可能なディスクドライブは、書換可能なＣＤ−ＲＯＭディスク２８５を受容し読み出すことが可能である。
【００４７】
ビデオ番組がハードディスクドライブ２３０上に記録されると同時に（或いはビデオ番組がハードディスクドライブ２３０上に記録された後に）、オーディオ分類器コントローラ２７０はオーディオ信号を抽出し、抽出されたオーディオ信号を、音声、音楽、雑音、及び無音を含む、別々のオーディオカテゴリへ分ける。オーディオ分類器コントローラ２７０は、抽出された声信号を話者識別器３３０（図３に図示）へ送信する。話者識別器３３０は、話している人物を識別するために声信号を解析する。オーディオ分類器コントローラ２７０は、抽出されカテゴリに分類されたオーディオデータへタイムスタンプを挿入する。
【００４８】
図３は、オーディオ分類器コントローラ２７０を詳細に示すブロック図である。オーディオ分類器コントローラ２７０は、オーディオカテゴリを用いてビデオ番組のセグメントのオーディオ部分を識別し分類するためにソフトウエア命令を実行する。オーディオ分類は、従来技術で周知の多次元特徴に基づく方法によって達成されうる。これらの方法は、典型的には、線形予測符号化（ＬＰＣ）で導出されるケプストラム係数とそれらの回帰係数、エネルギーレベル、平均エネルギー、ゼロ交差率（ＺＣＲ）等を使用する。更なる情報については、２０００年のオークランド大学のテクニカルレポートＴＲ−ＣＳＥ−ＩＩＥ−００−１１のＤｏｎｇｇｅｅＬｉ，ＩｓｈｗａｒＫ．Ｓｅｔｈｉ，ＮｅｖｅｎｋａＤｉｍｉｔｒｏｖａ及び及びＴｏｍＭｃＧｅｅによる「ＣｌａｓｓｉｆｉｃａｔｉｏｎｏｆＧｅｎｅｒａｌＡｕｄｉｏＤａｔａｆｏｒＣｏｎｔｅｎｔ−ＢａｓｅｄＲｅｔｒｉｅｖａｌ」と題された論文を参照のこと。
【００４９】
オーディオ分類器コントローラ２７０のためのオーディオ信号の源は、図３中に参照番号３００で示されている。オーディオ分類器コントローラ２７０は、オーディオ信号源３００からのオーディオ信号を分類する分類アルゴリズム３０５、４つの異なる種類のオーディオカテゴリからの情報を記録するための４つのデータバッファ３１０乃至３２５、話者識別データの音声データベースを含む話者識別器３３０、カテゴリ変化検出器３３５、カテゴリ変化率検出器３４０、及び境界検出器３４５を含む。
【００５０】
オーディオ分類器コントローラ２７０は、オーディオ信号源３００から直接オーディオ信号セグメントを受信し、オーディオ信号セグメントを分類アルゴリズム３０５で分類する。分類アルゴリズム３０５は、オーディオ信号をオーディオカテゴリの個々の種類、即ち無音、音楽、雑音、及び音声に分類する。これらの４つの種類のオーディオカテゴリは、図３に示されている。使用されうるオーディオカテゴリの種類は、これらの種類のみではない。他の種類のオーディオカテゴリ（例えば笑い）もまた識別され分類されうることが明らかである。
【００５１】
分類アルゴリズム３０５は、データバッファ３１０中のオーディオカテゴリが「無音」であるものの情報を記録し、データバッファ３１５中のオーディオカテゴリが「音楽」であるものの情報を記録し、データバッファ３２５中のオーディオカテゴリが「音声」であるものの情報を記録する。分類アルゴリズム３０５はまた、分類されたオーディオ信号へタイムスタンプを挿入する。
【００５２】
話者識別器３３０は、以前にその人の声が識別され、分類され、記録された人物についての声識別情報の音声データベースを含む。分類アルゴリズム３０５は、話者識別器３３０中の音声データベースにアクセスすることが可能である。分類アルゴリズム３０５が、オーディオ信号を「音声」オーディオ信号であると分類すると、分類アルゴリズム３０５は話者を識別するために話者識別器３３０にアクセスする。話者が識別されうる場合、「音声」オーディオカテゴリに関するデータに話者の識別情報が加えられる。分類アルゴリズム３０５は、１以上の話者から「音声」オーディオ信号を分類することが可能である。第１の「音声」オーディオ信号は第１の話者から発せられるものとして識別され、第２の「音声」オーディオ信号は第２の話者から発せられるものとして識別されうる。
【００５３】
識別されていない話者からの「音声」オーディオ信号は、「不明の話者」カテゴリに分類される。不明の話者からの「音声」オーディオ信号が識別されると、その不明の話者は、音声データベースに加えられ、「不明話者番号１」として識別される。第２の不明の話者からの「音声」オーディオ信号が識別されると、その第２の不明の話者は、音声データベースに加えられ、「不明話者番号１」として識別される。不明の話者が検出されるたびに、その不明の話者が既に音声データベースに加えられているものであるかを確かめるため、不明の話者の「音声」オーディオ信号は、音声データベース中の各不明の話者の「音声」オーディオを信号と比較される。
【００５４】
分類アルゴリズム３０５は、一定の時間内に話す不明の話者の数を決定するためのこの情報を使用しうる。短い時間内に比較的多数の不明の話者がいるということは、ビデオデータストリーム中のコマーシャルの存在を示すものでありうる。
【００５５】
分類アルゴリズム３０５は、また、ビデオデータストリームの番組部分に現れる新しい人物についての声識別情報を追加するために話者識別器３３０中の音声データベースを更新する。これらの人物は、新しい俳優及び女優、新しいミュージシャン、新しく選出された政治家等でありうる。コマーシャルに現れる新しい人物についての声識別情報で音声データベースを更新することは必要でない。従って、分類アルゴリズム３０５は、新しい不明の人物が現れる回数と、それらがビデオデータストリームのコマーシャルに現れるのか番組部分に現れるのかを記録する。次に、分類アルゴリズム３０５は、（新しい不明の人物がビデオデータストリーム中の番組部分にも現れるものでないかぎり）コマーシャル中に現れる新しい不明な人物に関する全ての情報を削除する。
【００５６】
個々のオーディオ信号セグメントが正しいオーディオカテゴリに分類された後、分類アルゴリズム３０５は分類情報をカテゴリ変化検出器３３５へ送る。カテゴリ変化検出器３３５は、第１のカテゴリに分類されたオーディオ信号の第１の部分がいつ終わり、第２のカテゴリに分類されたオーディオ信号の第２の部分がいつ始まるのかを検出するためにタイムスタンプ情報を使用する。カテゴリ変化検出器３３５は、オーディオ信号のカテゴリがいつ変化するのかを決定し、関連する２つのカテゴリの識別情報を決定する。特に、カテゴリ変化検出器３３５は、オーディオ信号が音声信号から音楽信号へ変化したこと、又は、オーディオ信号が無音信号から音声信号へ変化したこと等を決定することが可能である。
【００５７】
カテゴリ変化検出器３３５は、また、第１のサブカテゴリに分類されたオーディオ信号の第１の部分がいつ終わり、第２のサブカテゴリに分類されたオーディオ信号の第２の部分がいつ始まるのかを検出する。例えば、カテゴリ変化検出器３３５は、オーディオ信号が、バックグラウンドに音楽のある音声の第１のサブカテゴリから、バックグラウンドに雑音のある音声の第２のサブカテゴリへ変化したことを決定することが可能である。
【００５８】
カテゴリ変化検出器３３５は、また、第１の話者カテゴリに分類されたオーディオ信号の第１の部分がいつ終わり、第２の話者カテゴリに分類されたオーディオ信号の第２の部分がいつ始まるのかを決定する。カテゴリ変化検出器３３５は、オーディオ信号の話者カテゴリがいつ変化するのかを決定する。カテゴリ変化検出器３３５は、オーディオ信号が第１の話者から第２の話者へ変化したこと、又は第２の話者から第３の話者へ変化したこと等を決定することが可能である。
【００５９】
カテゴリ変化検出器３３５は、この情報をカテゴリ変化率検出器３４０へ送信する。カテゴリ変化率検出器３４０は、種々のカテゴリが変化する率を検出する。
【００６０】
カテゴリ変化率検出器３４０は、単位時間（例えば１分間）に各特定のカテゴリが何回変化するかを計算するためにタイムスタンプ情報を使用する。
【００６１】
カテゴリ変化率検出器３４０は、各カテゴリについての変化率を決定する。カテゴリ変化率検出器３４０は、全体の変化率を決定するために各カテゴリについての変化率を使用する。全体の変化率は、（１）各カテゴリの変化率、及び、（２）オーディオカット率（即ち、全てのカテゴリが変化している率）、及び、（３）各カテゴリの全体の時間の長さ、及び、（４）一定の時間内のカテゴリの全体の時間の長さに対する各カテゴリの変化率の比率を考慮に入れる。次に、カテゴリ変化率検出器３４０は、上述の情報を境界検出器３４５へ送る。
【００６２】
境界検出器３４５は、ビデオ番組及びコマーシャルの境界の位置を見つけるために（全体の変化率を含む）情報を使用する。コマーシャルは、多種多様な速く変化するオーディオカテゴリを含む場合が多いことが知られている。コマーシャルは、（一定の時間に）通常は他の種類のビデオセグメントよりも話者変化の数が多い。境界検出器３４５が、予め選択された閾値を上回る話者の変化の率を示す場合、境界検出器３４５はコマーシャルが続行中であることを示しうる。適合な閾値は、多数のコマーシャルについて話者の変化率を測定することによって経験的に取得されうる。
【００６３】
境界検出器３４５は、オーディオカテゴリ（例えば、音声、無音、音楽、及び雑音）と、オーディオサブカテゴリ（例えばバックグラウンドに雑音がある音声、バックグラウンドに雑音がある音楽）と、話者カテゴリ（例えば識別された話者及び不明の話者）と使用する。コマーシャルセグメントの境界を決定するために、境界検出器３４５は時間ウィンドウのサイズを選択する。例えば、コマーシャルについて、時間ウィンドウのサイズは、２０秒間に選択されうる。境界検出器３４５は、スライディング・ウィンドウ高レベル特徴抽出及び分類処理を行って、以下の高レベル特徴、即ち（１）各カテゴリの変化率（即ち、時間ウィンドウ中に何回各カテゴリが出現するか）、（２）時間ウィンドウ中の各カテゴリの長さ（ｎのカテゴリについてｎの値）、（３）オーディオカットの変化率（全てのカテゴリ変化）、（４）平均オーディオカット距離を抽出する。これらの４つの特徴は、時間ウィンドウ内のオーディオセグメントがコマーシャルセグメントであるかないかを決定する境界検出器３４５内の分類器（例えば最も近い近傍の分類器）（図示せず）へ送られる。分類器が確率分類器（例えばベイズ分類器）である場合、分類器は時間ウィンドウ内のオーディオセグメントがコマーシャルセグメントであるかないかの確率を決定する。
【００６４】
番組セグメントの境界を決定するために、境界検出器３４５は時間ウィンドウのサイズを選択する。例えば、番組セグメントについて、時間ウィンドウのサイズは５分間に選択されうる。境界検出器３４５は、各カテゴリにおける各変化に対して「重み係数」を割り当てうる。重み係数は、カテゴリの特定の変化が生じた点における境界の位置を見つける尤度を評価するためにカテゴリ変化に対して割り当てられる相対的な重要性を表わす数でありうる。例えば、「無音」から「音楽」への変化が最初の境界に関連付けられる尤度が高いときは、特定のカテゴリ変化を表わす数値係数は、最初の境界の存在の尤度を決定するときのその特定のカテゴリ変化の相対的な影響を増加させるために「重み係数」で乗算されうる。
【００６５】
上述の方法に加え、「重み係数」は、カテゴリ変化特徴から直接自動的に計算されうる。オーディオ分類器コントローラ２７０を表わすために使用される多次元特徴空間では、各カテゴリ（例えば、音声、音楽）は、そのカテゴリの重心を表わす平均ベクトルを有する。これらの平均ベクトルの夫々の間の距離もまた、カテゴリ変化の重要性の尺度である。従って、平均ベクトル間の距離は、カテゴリ変化の重要性を定量化するために使用されうる。
【００６６】
次に、境界検出器３４５は、スライディング・ウィンドウ高レベル特徴抽出及び分類処理を行って、以下の高レベル特徴、即ち（１）各カテゴリの変化率（即ち、時間ウィンドウ中に何回各カテゴリが出現するか）、（２）時間ウィンドウ中の各カテゴリの長さ（重み係数によって調整）、（３）オーディオカットの変化率（全てのカテゴリ変化）、（４）平均オーディオカット距離を抽出する。これらの４つの特徴は、時間ウィンドウ内のオーディオセグメントが特定のクラスに属するか確率を決定する境界検出器３４５（例えばベイズ分類器）内の確率分類器（図示せず）へ送られる。例えば、オーディオセグメントは、対話、ニュースの話題、音楽のビデオ、又は叫び声のある群衆のシーン等に属しうる。スライディング・ウィンドウからの出力値は、異なるセグメントのうちのグローバルな最小についての分析及び全体の分析（例えば過去１時間）を受けうる。
【００６７】
次に結果は、番組境界に関するヒューリスティックを用いて分析される。番組境界に関するヒューリスティックの例は、（１）音楽的な可聴ロゴがニュース番組の始まりに存在すること、（２）通常は各番組の終わり近くにコマーシャルがあること、及び（３）映画の終わりのクレジットが通常はバックグラウンドの音楽とともに示されることである。
【００６８】
図４は、本発明の有利な実施例によるオーディオ分類器コントローラ２７０の動作を示すフローチャート４００である。フローチャート４００は、ビデオレコーダ１５０中のオーディオ分類器コントローラ２７０中の本発明の１つの有利な動作方法を示す図である。オーディオ分類器コントローラ２８０は、オーディオ信号の源３００からオーディオ信号を受信する（ステップ４１０）。オーディオ分類器コントローラ２７０は、分類アルゴリズム３０５を用いてオーディオ信号をオーディオカテゴリ（及びサブカテゴリ）へ分類する（ステップ４２０）。分類アルゴリズム３０５は、話者識別器３３０からの情報を用いて「音声」オーディオカテゴリ中の各セグメントの個々の話者を識別する（ステップ４３０）。カテゴリ変化検出器３３５は、各オーディオカテゴリ（又はサブカテゴリ）がいつ変化するかを決定する（ステップ４４０）。カテゴリ変化率検出器３４０は、オーディオカテゴリ（又はサブカテゴリ）の変化率を決定する（ステップ４５０）。境界検出器３４５は、オーディオカテゴリ（又はサブカテゴリ）の変化率情報をビデオ番組及びコマーシャルの境界の位置を見つけるための閾値と比較する（ステップ４６０）。
【００６９】
本発明について、ビデオ信号プロセッサ中でビデオ番組とコマーシャルの境界の位置を見つけるためのシステム及び方法として説明した。また、本発明のシステム及び方法は、オーディオプロセッサ中で使用されてもよい。オーディオプロセッサは、オーディオ信号のみを受信し処理する。オーディオプロセッサは、例えば、無線受信器、オーディオレコーダ、（例えばインターネットといった源からの）ストリーミングオーディオデータ信号を受信する装置、又はコンピュータ化されたパーソナルオーディオ情報検索システムを含みうる。
【００７０】
本発明について詳述したが、当業者は、本発明の最も広い精神及び範囲を逸脱することなく、本発明に対して種々の変更、大体、及び修正がなされうることが理解されるべきである。
【図面の簡単な説明】
【図１】
本発明の有利な実施例による典型的なビデオレコーダ及びテレビ受像機を示す図である。
【図２】
本発明の有利な実施例による典型的なビデオレコーダを示すブロック図である。
【図３】
本発明の有利な実施例による典型的なオーディオ分類器コントローラを示すブロック図である。
【図４】
本発明の有利な実施例による典型的なオーディオ分類器コントローラの動作を示すフローチャートである。

Claims

ビデオ信号プロセッサでの使用のための、ビデオ番組とコマーシャルの境界の位置を見つけるシステムであって、
オーディオ信号の少なくとも１つのセグメントの少なくとも１つのオーディオカテゴリを受信することが可能であり、上記少なくとも１つのオーディオカテゴリの少なくとも１つの変化率を決定することが可能であり、上記少なくとも１つのオーディオカテゴリの上記少なくとも１つの変化率を閾値と比較することにより上記少なくとも１つの境界の位置を見つけることが可能なオーディオ分類器コントローラを含むシステム。
上記オーディオ分類器コントローラは、オーディオ信号の各セグメントに対する少なくとも１つのオーディオカテゴリを取得するようオーディオ信号を分類することが可能な分類アルゴリズムを含む、請求項１記載のシステム。
上記分類アルゴリズムは、オーディオ信号を、無音、音楽、雑音、及び音声のオーディオカテゴリへ分類することが可能である、請求項２記載のシステム。
上記オーディオ分類器コントローラは、その人の声が既に識別されている人物の音声識別情報を含む音声データベースを含む話者識別器を含み、上記分類アルゴリズムは、上記話者識別器の上記音声データベースにアクセスし、声が上記話者識別器の上記音声データベースに入っている人物の音声オーディオ信号をオーディオカテゴリとして分類することが可能である、請求項３記載のシステム。
上記話者識別器は、その人の声がまだ識別されていない人物の声情報を含む不明話者データベースを含み、上記分類アルゴリズムは上記不明話者データベースにアクセスし所与の時間内に話す不明話者の数を決定し、上記分類アルゴリズムは新しく識別される話者についての声識別情報を追加するよう上記話者識別器中の上記音声データベースを更新することが可能である、請求項４記載のシステム。
上記オーディオ分類器コントローラはカテゴリ変化検出器を含み、上記カテゴリ変化検出器は、上記オーディオ信号のセグメントのオーディオカテゴリを受信することが可能であり、上記オーディオ信号のオーディオカテゴリがいつ変化するかを決定することが可能であり、上記オーディオカテゴリの変化の前後に上記オーディオカテゴリの識別情報を決定することが可能である、請求項１記載のシステム。
上記カテゴリ変化検出器は、上記オーディオ信号のセグメントのオーディオサブカテゴリを検出することが可能であり、上記オーディオ信号のオーディオサブカテゴリはいつ変化するかを決定することが可能であり、上記オーディオサブカテゴリの上記変化の前後に上記オーディオサブカテゴリの識別を決定することが可能である、請求項６記載のシステム。
上記オーディオ分類器コントローラは、カテゴリ変化率検出器を含み、上記カテゴリ変化率検出器は、オーディオカテゴリの変化に関する情報を上記カテゴリ変化検出器から受信することが可能であり、上記オーディオカテゴリの変化が生じたときの率を計算することが可能である、請求項６記載のシステム。
上記カテゴリ変化率検出器は、各カテゴリの変化率、オーディオカット率、各カテゴリの全体の時間、所与の期間内のカテゴリの全体の時間に対する各カテゴリの変化率の比率からの情報を用いて全体の変化率を決定することが可能である、請求項８記載のシステム。
上記オーディオ分類器コントローラは、境界検出器を含み、上記境界検出器は、上記カテゴリ変化率検出器からの情報を受信することが可能であり、ビデオ番組セグメントの少なくとも１つの境界の位置を見つけるために少なくとも１つのオーディオカテゴリ変化率の値を閾値の値と比較することが可能である、請求項８記載のシステム。
上記境界検出器は各カテゴリ中の各変化に対して重み係数を割り当てることが可能であり、上記重み係数は、カテゴリの特定の変化が生じたときの境界の位置を見つける尤度を評価するときにカテゴリの変化に対して割り当てられる相対的な重要度を表わす数を含む、請求項１０記載のシステム。
上記境界検出器は、各カテゴリの変化率、オーディオカット率、各カテゴリの全体の時間、所与の期間内のカテゴリの全体の時間に対する各カテゴリの変化率の比率からの情報を用いて決定される全体の変化率に関連する情報を上記カテゴリ変化率検出器から受信することが可能であり、上記境界検出器は、ビデオ番組セグメントの少なくとも１つの境界の位置を見つけるために少なくとも１つのオーディオカテゴリ変化率の値を閾値の値と比較することが可能である、請求項１０記載のシステム。
オーディオ信号の少なくとも１つのセグメントの少なくとも１つのオーディオカテゴリを受信することが可能であり、上記少なくとも１つのオーディオカテゴリの少なくとも１つの変化率を決定することが可能であり、上記少なくとも１つのオーディオカテゴリの上記少なくとも１つの変化率を閾値を比較することにより上記少なくとも１つの境界の位置を見つけることが可能なオーディオ分類器コントローラを含む、ビデオ番組及びコマーシャルの境界の位置を見つけることが可能なビデオ信号プロセッサ。
上記ビデオ信号プロセッサは、テレビジョン受像機、ビデオレコーダ、ストリーミングビデオデータ信号を受信する装置、及び、コンピュータ化された個人情報検索システムのうちの１つを含む、請求項１３記載のビデオ信号プロセッサ。
オーディオ信号の少なくとも１つのセグメントの少なくとも１つのオーディオカテゴリを受信することが可能であり、上記少なくとも１つのオーディオカテゴリの少なくとも１つの変化率を決定することが可能であり、上記少なくとも１つのオーディオカテゴリの上記少なくとも１つの変化率を閾値を比較することにより上記少なくとも１つの境界の位置を見つけることが可能なオーディオ分類器コントローラを含むオーディオ信号プロセッサ。
上記オーディオ信号プロセッサは、テレビジョン受像機、ビデオレコーダ、ストリーミングビデオデータ信号を受信する装置、及び、コンピュータ化された個人情報検索システムのうちの１つを含む、請求項１３記載のオーディオ信号プロセッサ。
ビデオ信号プロセッサでの使用のための、ビデオ番組及びコマーシャルの境界の位置を見つける方法であって、
オーディオ分類器コントローラ中でオーディオ信号の少なくとも１つのセグメントの少なくとも１つのオーディオカテゴリを受信する段階と、
上記少なくとも１つのオーディオカテゴリの少なくとも１つの変化率を決定する段階と、
上記少なくとも１つのオーディオカテゴリの少なくとも１つの変化率を閾値と比較することにより上記境界の少なくとも１つの位置を見つける段階とを含む方法。
上記オーディオ信号の各セグメントに対する少なくとも１つのオーディオカテゴリを取得するよう上記オーディオ分類器コントローラの分類アルゴリズムを用いてオーディオ信号を分類する段階を更に含む、請求項１７記載の方法。
上記分類アルゴリズムを用いて、オーディオ信号を、無音、音楽、雑音、及び音声のオーディオカテゴリへ分類する段階を更に含む、請求項１８記載の方法。
その人の声が既に識別されている人物の音声識別情報を含む上記オーディオ分類器コントローラ中の話者識別器中の音声データベースにアクセスする段階と、
その人の声が上記話者識別器の上記音声データベースに入っている人物の音声オーディオ信号をオーディオカテゴリとして分類する段階を更に含む、請求項１９記載の方法。
その人の声がまだ識別されていない人物の声情報を含む不明話者データベースにアクセスする段階と、
所与の時間内に話す不明話者の数を決定する段階と、
新しく識別される話者についての声識別情報を追加するよう上記話者識別器中の上記音声データベースを更新する段階とを更に含む、請求項２０記載の方法。
上記オーディオ分類器コントローラのカテゴリ変化検出器中に上記オーディオ信号のセグメントのオーディオカテゴリを受信する段階と、
上記カテゴリ変化検出器において、上記オーディオ信号のオーディオカテゴリがいつ変化するかを決定する段階と、
上記カテゴリ変化検出器において、上記オーディオカテゴリの変化の前後に上記オーディオカテゴリの識別情報を決定する、請求項１７記載の方法。
上記オーディオ信号のオーディオサブカテゴリを上記オーディオ分類器コントローラの上記カテゴリ変化検出器で受信する段階と、
上記カテゴリ変化検出器において、上記オーディオ信号のオーディオサブカテゴリはいつ変化するかを決定する段階と、
上記カテゴリ変化検出器において、上記オーディオサブカテゴリの上記変化の前後に上記オーディオサブカテゴリの識別を決定する段階とを更に含む、請求項２２記載の方法。
カテゴリ変化率検出器に、オーディオカテゴリの変化に関する情報を上記カテゴリ変化検出器から受信する段階と、
上記オーディオカテゴリ変化が生ずる率を計算する段階とを更に含む、請求項２２記載の方法。
上記カテゴリ変化率検出器において、各カテゴリの変化率、オーディオカット率、各カテゴリの全体の時間、所与の期間内のカテゴリの全体の時間に対する各カテゴリの変化率の比率からの情報を用いて全体の変化率を決定する段階と、
ビデオセグメントの少なくとも１つの境界の位置を見つけるために少なくとも１つの全体変化率の値を閾値と比較する段階とを更に含む、請求項２４記載の方法。
オーディオカテゴリ率の変化に関する上記カテゴリ変化率検出器から上記オーディオ分類器コントローラの境界検出器中に情報を受信する段階と、
上記オーディオ信号を含むビデオ番組セグメントの少なくとも１つの境界の位置を見つけるために少なくとも１つのオーディオカテゴリ変化率を閾値と比較する段階とを含む、請求項２４記載の方法。
各カテゴリ中の各変化に対して重み係数を割り当てる段階を含み、上記重み係数は、カテゴリの特定の変化が生じたときの境界の位置を見つける尤度を評価するときにカテゴリの変化に対して割り当てられる相対的な重要度を表わす数を含む、請求項２６記載の方法。