JP2004516752A - 映像番組のマルチメディア要約にアクセスするシステム及び方法 - Google Patents

Abstract

映像番組を表示する能力を備えた映像表示システムにおいて使用され、映像番組のマルチメディア要約にアクセスシステム及び方法を開示する。このシステムは、映像番組のトピック及びサブトピックを識別と、各トピック及びサブトピックのエントリー・ポイントとを識別する情報を表示ページに表示することができる。視聴者によるエントリー・ポイントの選択に応答して、このシステムは、映像番組の対応した部分を表示する。また、このシステムは、映像番組中の各話者を識別する情報と、各話者が映像番組中で話をしている時点を表す複数の時間セグメントとを話者視覚化表示ページに表示することができる話者視覚化表示ユニットを含む。視聴者による時間セグメントの選択に応答して、このシステムは、映像番組の対応した部分を表示する。このシステムは、視聴者が関心を持っている付加情報を見つけ、付加情報が見つかったときに視聴者へ通知する。

Description

【０００１】
〔関連出願へのクロスリファレンス〕
本発明は、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＳＵＭＭＡＲＩＺＡＴＩＯＮ ＡＮＤ ＩＮＤＥＸＩＮＧ ＯＦ ＶＩＤＥＯ ＰＲＯＧＲＡＭＳ ＵＳＩＮＧ ＴＲＡＮＳＣＲＩＰＴ ＩＮＦＯＲＭＡＴＩＯＮ”である米国特許出願明細書（書類番号ＰＨＡ７０１１３７）に記載された発明、１９９９年７月９日に出願された、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＬＩＮＫＩＮＧ Ａ ＶＩＤＥＯ ＳＥＧＭＥＮＴ ＴＯ ＡＮＯＴＨＥＲ ＳＥＧＭＥＮＴ ＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＳＯＵＲＣＥ”である米国特許出願第０９／３５１，０８９号明細書に記載された発明、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＲＤＥＲＩＮＧ ＯＮＬＩＮＥ ＵＴＩＬＩＺＩＮＧ Ａ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＲＥＣＥＩＶＥＲ”である米国特許出願明細書（書類番号ＰＨＡ７０１０７１）に記載された発明、並びに、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ Ａ ＭＵＬＴＩＭＥＤＩＡ ＳＵＭＭＡＲＹ ＯＦ Ａ ＶＩＤＥＯ ＰＲＯＧＲＡＭ”である米国特許出願明細書（書類番号ＰＨＡ７０１１８２）に記載された発明に関連している。これらの特許出願は、本願の譲受人に譲渡されている。関連出願の開示内容は、参考のためその全体をそのまま引用する。
【０００２】
〔発明の技術分野〕
本発明は、映像番組のマルチメディア要約にアクセスするシステム及び方法に関する。
【０００３】
〔発明の背景〕
当初のテレビでは、視聴するため利用できるテレビ放送チャネルの数は少なかった。テレビ技術が進歩して極超短波（ＵＨＦ）チャネル、超短波（ＶＨＦ）チャネル、ケーブルテレビ、衛星テレビ受信、及び、インターネットに基づく技術が取り入れられるようになると、利用可能なテレビチャネルの数は著しく増加した。
【０００４】
視聴できるテレビ番組の数も著しく増加した。高品位テレビのコンテンツに関しては、その情報量は、１日に１チャネル当たりで２００ギガバイト（ＧＢ）に達する。視聴者が視聴することに関心を持っている番組若しくは番組セグメントを見つけることができるように、視聴者が映像番組の内容説明を素早く閲覧できることは、徐々に重要になり始めている。その際の主要な問題は、多くの映像番組の内容説明は、容易に入手できないという点である。
【０００５】
録画された映像番組を視聴したいと思う視聴者に与えられている現在の選択肢には、次の（１）〜（３）が含まれる。
（１）映像番組全部を見る。
（２）関心を持っている番組の部分を見つけるため映像番組全体の記録物を早送りする。
（３）一般的な番組説明だけを提供する電子番組案内（ＥＰＧ）のデータを使用する。
【０００６】
現在、視聴者が映像番組の内容を簡単に識別できるシステム或いは方法を入手することはできない。特に、視聴者が映像番組の内容の十分に詳細な要約を取得できるようなシステム或いは方法は入手できない。従来技術のこの欠点を解決するため、本発明の発明者は、映像番組のマルチメディア要約を提供するシステム及び方法を発明した。この発明は、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ Ａ ＭＵＬＴＩＭＥＤＩＡ ＳＵＭＭＡＲＹ ＯＦ Ａ ＶＩＤＥＯ ＰＲＯＧＲＡＭ”である米国特許出願明細書（書類番号ＰＨＡ７０１１８２）に記載され、権利主張されている。この米国特許出願は参考のためその全体をそのまま引用する。
【０００７】
従来技術では、映像番組のマルチメディア要約に含まれる情報を入手する改良型のシステム及び方法が求められている。また、従来技術では、映像番組の話題（トピック）又は副題（サブトピック）の開始時に映像番組のマルチメディア要約を入手する改良型のシステム及び方法が求められている。さらに、従来技術では、映像番組の一部を選択し表示するため、映像番組中に話をしている人物を表す映像番組のマルチメディア要約を入手する改良型のシステム及び方法が求められている。
【０００８】
〔発明の概要〕
上記の従来技術の問題点を解決するため、本発明の主要な目的は、映像番組を表示する能力を備えた映像表示システムで利用される、映像番組のマルチメディア要約にアクセスするシステム及び方法を提供することである。
【０００９】
本発明は、映像番組のトピック及びサブトピックと、トピック及びサブトピック毎のエントリー・ポイントとを識別する情報を表示ページに表示する能力を備えたシステム及び方法である。視聴者によるトピック又はサブトピックのエントリー・ポイントの選択に応答して、本発明のシステムは、映像番組の対応した部分を表示する。
【００１０】
本発明は、更に、映像番組中の各話者、及び、映像番組中の各話者が話をしているときを表す複数の時間セグメントを識別する情報を話者視覚化表示ページに表示する能力を備えた話者視覚化表示ユニットを含む。視聴者による話者の時間セグメントの選択に応答して、このシステムは、話者を表す映像番組の対応した部分を表示する。
【００１１】
本発明は、視聴者が関心を持っている付加情報を見つけるシステム及び方法にも関する。このシステムは、視聴者によって選択されたトピック及びサブトピックに基づいて視聴者が関心を持っている情報を識別する。本発明のシステム及び方法は、付加情報が見つけられたときに視聴者へ通知する。
【００１２】
本発明の有利な一実施例によれば、システムは、映像番組のトピック及びサブトピックと対応したエントリー・ポイントとを識別するマルチメディア要約からの情報を表示ページに表示する能力を備えている。
【００１３】
本発明の有利な一実施例によれば、システムは、視聴者によるエントリー・ポイントの選択に応答して選択されたエントリー・ポイントに対応した映像番組のトピック又はサブトピックに関連した映像番組の一部分を表示する能力を備えている。
【００１４】
本発明の別の有利な一実施例によれば、システムは、映像番組中に話をしている人物と、その人物が話をしている間の映像番組の時間セグメントと、を識別するマルチメディア要約からの情報を話者視覚化ページに表示する能力を備えている。
【００１５】
本発明の別の一実施例によれば、システムは、視聴者による話者選択に対応した時間セグメントの選択に応答して、映像番組中に話をしている一人の話者を表す映像番組の一部分を表示する能力を備えている。
【００１６】
本発明の別の有利な一実施例によれば、システムは、視聴者が関心を持つトピック及びサブトピックに関する情報を獲得するため、マルチメディア要約にアクセスする能力を備えている。システムは、（１）トピック及びサブトピックに関連した付加情報を見つける能力、及び、（２）視聴者に付加情報を通知する能力、を備えている。
【００１７】
本発明の特徴及び技術的効果を包括的に説明したので、当業者は、以下の本発明の詳細な説明をよりよく理解できるであろう。請求項に係わる発明の主題を形成する本発明の更なる特徴及び効果は、後述される。当業者は、開示された概念及び具体的な実施例に基づいて、容易に、本発明と同じ目的を実現する構成を変更し、或いは、他の構成を設計するであろう。当業者は、このような等価的な構成は、本発明の精神及び範囲の外延に含まれることを認めるであろう。
【００１８】
本発明の詳細な説明を始める前に、本明細書で使用されるある種の単語若しくは句（語句）を定義しておく方が都合がよい。用語「含む」、「有する」、「構成される」のような単語、及び、これらの単語の派生語は、制限の無い包含を表し、用語「又は」は包含的であり、「及び／又は」を意味し、句「関連している」並びにそのから派生した句は、包括される、相互接続する、包含される、接続する、結合する、通信できる、協働する、交互配置する、並列する、近接する、境界を接する、保有する、性質がある、などの意味を含む。用語「コントローラ」は、少なくとも一つの動作を制御する装置、システム、或いは、システムの一部であり、これらの装置は、ハードウェア、ファームウェア、ソフトウェア、又は、これらのうちの少なくとも二つの組み合わせを意味する。特定のコントローラに関連した機能は、集中的でも分散的でも、局部的でも遠隔的でも構わないことに注意する必要がある。特に、コントローラは、１台以上のデータプロセッサと、関連した入出力装置及びメモリと、を具備し、データプロセッサは、一つ以上のアプリケーションプログラム、及び／又は、オペレーティングシステムプログラムを実行する。ある種の語句の定義は明細書中で与えられ、当業者は、このような定義が、このように定義された語句の過去及び未来の用法に、殆どではなくても多くの場合に適用されることを認めるであろう。
【００１９】
本発明及び本発明の効果を完全に理解するために、以下の説明を添付図面と共に提示する。添付図面中、同じ番号は同じものを指定する。
【００２０】
図１乃至６と、本明細書において本発明の原理を記述するため使用される多数の実施例は、説明のためだけに用いられるものであって、決して本発明の範囲を制限するために構成されるべきではない。以下の典型的な実施例の記述において、本発明は、テレビ受像機に統合されるか、或いは、テレビ受像機と共に使用される。しかし、この実施例は、一例に過ぎないので、本発明の範囲をテレビ受像機に限定するために構成されるべきではない。実際上、当業者は、本発明の典型的な実施例があらゆるタイプの映像表示システムで利用するため簡単に変更できることがわかるであろう。
【００２１】
図１は、本発明の一実施例による典型的なビデオレコーダ１５０及びテレビ受像機１０５を示す図である。ビデオレコーダ１５０は、外部源、例えば、ケーブルテレビジョン・サービス・プロバイダ（ケーブル社）、ローカルのアンテナ、衛星、インターネット、又はディジタル多用途ディスク（ＤＶＤ）又はビデオ・ホーム・システム（ＶＨＳ）テーププレーヤ等からの入力テレビジョン信号を受信する。ビデオレコーダ１５０は、選択されたチャンネルからのテレビジョン信号をテレビ受像機１０５へ送信する。チャンネルは、視聴者によって手動で選択されるか、又は、予め視聴者によってプログラムされた記録装置によって自動的に選択される。或いは、チャンネルと映像番組は、視聴者の個人的な視聴履歴中の番組プロファイルからの情報に基づいて記録装置によって自動的に選択され得る。
【００２２】
記録モードでは、ビデオレコーダ１５０は、入来無線周波数（ＲＦ）テレビジョン信号を復調し、ビデオレコーダ１５０内の記憶媒体若しくはビデオレコーダ１５０に接続された記憶媒体上に記録され蓄積されるベースバンドビデオ信号を生成する。再生モードでは、ビデオレコーダ１５０は、記憶媒体から視聴者によって選択された記憶されたベースバンドビデオ信号（即ち、番組）を読み出し、これをテレビ受像機１０５へ送信する。ビデオレコーダ１５０は、ディジタル信号を受信し、記録し、作用し、再生することができるタイプのビデオレコーダを含む。
【００２３】
ビデオレコーダ１５０には、記録用テープを使用するタイプ、ハードディスクを使用するタイプ、半導体メモリを使用するタイプ、又は、その他の任意のタイプの記録装置を使用するタイプのビデオレコーダが含まれる。ビデオレコーダ１５０がビデオカセットレコーダ（ＶＣＲ）である場合、ビデオレコーダ１５０は、磁気カセットテープへ入来テレビジョン信号を格納し、磁気カセットテープから入来テレビジョン信号を取り出す。ビデオレコーダ１５０がＲｅｐｌａｙＴＶ（登録商標）レコーダ及びＴｉＶＯ（登録商標）レコーダのようなディスクドライブに基づく装置であるとき、ビデオレコーダ１５０は、磁気カセットテープではなく、コンピュータ磁気ハードディスクとの間で、入来テレビジョン信号の格納及び取り出しを行う。更なる他の実施例では、ビデオレコーダ１５０は、ローカル読み書き（Ｒ／Ｗ）ディジタル多目的ディスク（ＤＶＤ）又は読み書き（Ｒ／Ｗ）コンパクトディスク（ＣＤ−ＲＷ）との間で格納と取り出しを行う。ローカル記憶媒体は固定式（例えばハードディスクドライブ）でも、着脱可能式（例えばＤＶＤ、ＣＤ−ＲＷ）でもよい。
【００２４】
ビデオレコーダ１５０は、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えば、チャンネル・アップ、チャンネル・ダウン、音量アップ、音量ダウン、記録、再生、早送り（ＦＦ）、巻戻し等）を受信する赤外線（ＩＲ）センサ１６０を含む。テレビ受像機１０５は、画面１１０、赤外線（ＩＲ）センサ１１５、及び、１つ以上の手動制御部１２０（点線で示す）を含む従来通りのテレビ受像機である。ＩＲセンサ１１５は、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えば、音量アップ、音量ダウン、電源オン、電源オフ等）も受信する。
【００２５】
尚、ビデオレコーダ１５０は、特定の種類の源からの特定の種類の入来テレビジョン信号を受信するとは限らない。上述のように、外部源は、ケーブルサービスプロバイダ、従来のＲＦ放送アンテナ、衛星アンテナ、インターネット接続、又は、例えば、ＤＶＤプレーヤ又はＶＨＳテーププレーヤのような他のローカル記憶装置でもよい。入来信号は、ディジタル信号、アナログ信号、インターネットプロトコル（ＩＰ）パケット、又は、その他の信号でもよい。
【００２６】
本発明の原理を説明するための簡単さと明瞭性のため、以下の説明は、ビデオレコーダ１５０が（ケーブルサービスプロバイダから）クロースドキャプション・テキスト情報を含むアナログテレビジョン信号を受信する実施例に概ね関連する。それにもかかわらず、当業者は、本発明の原理がディジタルテレビジョン信号、ワイヤレス放送テレビジョン信号、ローカル記憶システム、ＭＰＥＧデータを含むＩＰパケットの入来ストリーム等と共に使用するため容易に適応されうることを理解するであろう。
【００２７】
更に、当業者は、本発明の原理が、音声からテキストへのコンバータからのテキスト、第三者源からのテキスト、抽出された映像テキストからのテキスト、埋め込み画面テキストからのテキスト等を含み、これらには限られない他のテキスト源と共に使用するため容易に適応されうることを理解するであろう。従って、「トランスクリプト」という用語は、例示的にクロースドキャプション・テキスト、音声からテキストへのコンバータからのテキスト、第三者源からのテキスト、抽出されたビデオテキストからのテキスト、埋め込み画面テキストからのテキスト等を含み、これらに限られない任意のテキスト源から発生するテキストファイルを意味するように定義される。
【００２８】
図２は、本発明の一実施例による典型的なビデオレコーダ１５０をより詳細に示す図である。ビデオレコーダ１５０は、ＩＲセンサ１６０、ビデオプロセッサ２１０、ＭＰＥＧ２符号化器２２０、ハードディスクドライブ２３０、ＭＰＥＧ２符号化器／復号化器２４０、及び、コントローラ２５０を含む。ビデオレコーダ１５０は、更に、映像ユニット２６０、テキスト要約作成器２７０、及びメモリ２８０を含む。コントローラ２５０は、ビューモード、記録モード、再生モード、早送り（ＦＦ）モード、巻戻しモード、及び、その他の類似機能を含むビデオレコーダ１５０の全体的な動作を指示する。コントローラ２５０は、更に、本発明の原理に従って、マルチメディア要約の作成、表示及び相互作用を指示する。
【００２９】
ビューモードでは、コントローラ２５０は、ケーブルサービスプロバイダからの入来テレビジョン信号を、ビデオプロセッサ２１０によって復調及び処理させ、ビデオ信号をハードディスクドライブ２３０に格納して、若しくは、格納せずに、（又はハードディスクドライブ２３０からビデオ信号を取り出して、若しくは、取り出さずに）テレビ受像機１０５へ送信させる。ビデオプロセッサ２１０は、
ＭＰＥＧ２符号化器／復号化器２４０からの従来の信号、及び、メモリ２８０からの映像フレームを受信し、ベースバンドテレビジョン信号（たとえば、スーパー映像信号）をテレビ受像機１０５へ送信することが可能である。
【００３０】
記録モードでは、コントローラ２５０は、入来テレビジョン信号をハードディスクドライブ２３０に格納させる。コントローラ２５０の制御下で、ＭＰＥＧ２符号化器２２０は、ケーブルサービスプロバイダから入来テレビジョン信号を受信し、ハードディスクドライブ２３０に格納するため受信したＲＦ信号をＭＰＥＧフォーマットへ変換する。尚、ディジタルテレビジョン信号の場合、信号は、ＭＰＥＧ２符号化器２２０において符号化することなく、ハードディスクドライブ２３０上に直接格納される。
【００３１】
再生モードでは、コントローラ２５０は、ハードディスクドライブ２３０に対して、格納されたテレビジョン信号（即ち、番組）を、ＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０へ流し込む（ストリーミングする）よう命令する。ＭＰＥＧ２符号化器／復号化器２４０は、ハードディスクドライブ２３０からのＭＰＥＧ２データを、例えば、ビデオプロセッサ２１０がテレビ受像機１０５へ送信するスーパー映像信号（Ｓ−Ｖｉｄｅｏ）に変換する。
【００３２】
尚、ＭＰＥＧ２符号化器２２０及びＭＰＥＧ２符号化器／復号化器２４０のためのＭＰＥＧ２標準は、例示のためだけに選択されている。本発明の他の実施例では、ＭＰＥＧ２符号化器及びＭＰＥＧ２復号化器は、ＭＰＥＧ−１、ＭＰＥＧ−２、及び、ＭＰＥＧ−４標準のうちの少なくとも一つの規格、又は、一つ以上の他の種類の規格に準拠しうる。
【００３３】
この適用例及び請求の範囲に記載された事項のため、ハードディスクドライブ２３０は、読み出し可能及び書き込み可能な任意の大容量記憶装置を含むように定義される。この読み書き可能な大容量記憶装置は、限定的ではなく、例示的に、読み書きディジタル多用途ディスク（ＤＶＤ−ＲＷ）、書換可能ＣＤ−ＲＯＭ、ＶＣＲテープ等のための従来の磁気ディスクドライブ及び光ディスクドライブを含む。実際、ハードディスクドライブ２３０は、ビデオレコーダ１５０に恒久的に埋め込まれるという従来の意味で、固定式である必要はない。そうではなく、ハードディスクドライブ２３０には、記録された映像番組を蓄積するためのビデオレコーダ１５０に専用の大容量記憶装置が含まれる。従って、ハードディスクドライブ２３０は、例えば、幾つかの読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを保持するジュークボックス装置（図示せず）のような付属周辺機器ドライブ又は取り外し可能な着脱式ディスクドライブ（内蔵型若しくは付属型）を含みうる。図２に概略的に示すように、この種の着脱式ディスクドライブは、書換可能なＣＤ−ＲＯＭディスク２３５を収容し読み出すことが可能である。
【００３４】
更に、本発明の有利な実施例によれば、ハードディスクドライブ２３０は、例えば、視聴者の家庭のパーソナルコンピュータ（ＰＣ）中のディスクドライブ、又は、視聴者のインターネットサービスプロバイダ（ＩＳＰ）のサーバ上のディスクドライブを含む外部大容量記憶装置でもよく、ビデオレコーダ１５０は、ネットワーク接続（例えば、インターネットプロトコル（ＩＰ）接続）を介して、この外部大容量記憶装置にアクセスし制御し得る。
【００３５】
コントローラ２５０は、ビデオプロセッサ２１０によって受信された映像信号に関連するビデオプロセッサ２１０からの情報を取得する。コントローラ２５０が、ビデオレコーダ１５０は映像番組を受信中であると判定すると、コントローラ２５０は、その映像番組が記録されるべきものであるとして既に選択されているものであるか否かを判定する。映像番組が記録されるべきものである場合、コントローラ２５０は、上述の方法で映像番組をハードディスクドライブ２３０上に記録させる。映像番組を記録する必要がない場合、コントローラ２５０は、上述の方法で、ビデオ番組をビデオプロセッサ２１０によって処理させテレビ受像機１０５へ送信させる。
【００３６】
メモリ２８０は、ランダムアクセスメモリ（ＲＡＭ）、又は、ランダムアクセスメモリ（ＲＡＭ）と読み出し専用メモリ（ＲＯＭ）の組み合わせにより構成できる。メモリ２８０は、フラッシュメモリのような不揮発性ランダムアクセスメモリ（ＲＡＭ）でもよい。ビデオレコーダ１５０の他の有利な実施例では、メモリ２８０は、ハードディスクドライブ（図示せず）といった大容量記憶データ装置でもよい。メモリ２８０は、読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを読み出す付属型周辺機器ドライブ又は着脱式ディスクドライブ（内蔵型でも付属型でもよい）を含みうる。図２に概略的に示すように、この種の着脱式ディスクドライブは、追記型（書換可能な）ＣＤ−ＲＯＭディスク２８５を収容し読み出すことが可能である。
【００３７】
映像番組がハードディスクドライブ２３０に記録されているとき（或いは、代替的に、映像番組がハードディスクドライブ２３０に記録された後）、コントローラ２５０は、テキスト要約作成器２７０を使用して記録映像番組のテキスト要約を取得する。テキスト要約作成器２７０は、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＳＵＭＭＡＲＩＺＡＴＩＯＮ ＡＮＤ ＩＮＤＥＸＩＮＧ ＯＦ ＶＩＤＥＯ ＰＲＯＧＲＡＭＳ ＵＳＩＮＧ ＴＲＡＮＳＣＲＩＰＴ ＩＮＦＯＲＭＡＴＩＯＮ”である米国特許出願明細書（書類番号ＰＨＡ７０１１３７）に記載されているような上述の映像番組要約方法及び装置を使用する。テキスト要約作成器２７０は、映像番組を、映像信号／音声信号／データ信号として受信する。テキスト要約作成器２７０は、映像信号／音声信号／データ信号から、番組要約、内容のテーブル、及び、映像番組の番組索引を作成する。テキスト要約作成器２７０は、テキストに対応する映像の選択されたキーフレームを識別するため、テキストの各ラインに関連したタイムスタンプを使用する。
【００３８】
マルチメディア要約は、映像／音声／テキストの要約である。コントローラ２５０は、映像番組の内容を要約する情報を表示するマルチメディア要約を作成する。コントローラ２５０は、テキスト要約作成器２７０によって作成された番組要約を使用し、適当なビデオ画像を追加することによって映像番組のマルチメディア要約を作成する。マルチメディア要約は、（１）テキスト、（２）単一の映像フレームを含む静止ビデオ画像、（３）映像フレームの系列により構成され（映像クリップ若しくは映像セグメントと呼ばれる）動画像、（４）音声、並びに、（５）これらの任意の組合せ、を表示可能である。
【００３９】
コントローラ２５０は、映像ユニット２６０を用いて、要約されるべき映像番からビデオ画像を獲得する。映像ユニット２６０は、１９９９年７月９日に出願された、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＬＩＮＫＩＮＧ Ａ ＶＩＤＥＯ ＳＥＧＭＥＮＴ ＴＯ ＡＮＯＴＨＥＲ ＳＥＧＭＥＮＴ ＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＳＯＵＲＣＥ”である米国特許出願第０９／３５１，０８６号明細書に記載された、上述の映像セグメントを連結する方法及び装置を使用する。
【００４０】
コントローラ２５０は、マルチメディア要約を作成するため使用される適当なビデオ画像を識別しなければならない。本発明の有利な一実施例は、マルチメディア要約を作成するため使用されるべき適当なビデオ画像を識別することができるコンピュータソフトウェア３００を含む。図３は、本発明のコンピュータソフトウェア３００を収容するメモリ２８０の選択された一部分の説明図である。メモリ２８０は、オペレーティングシステム・インタフェース・プログラム３１０と、ドメイン識別アプリケーション３２０と、トピック・キュー識別アプリケーション３３０と、サブトピック・キュー識別アプリケーション３４０と、音声・映像テンプレート識別アプリケーション３５０と、マルチメディア要約記憶場所３６０と、話者視覚化アプリケーション３７０と、を含む。
【００４１】
コントローラ２５０及びコンピュータソフトウェア３００は、一体として、本発明を実行することができるマルチメディア要約作成器を構成する。メモリ２８０に格納されたコンピュータソフトウェア３００中の命令の指示に従って、コントローラ２５０は、映像番組のマルチメディア要約を作成し、マルチメディア要約をマルチメディア要約記憶場所３６０に格納し、視聴者からの要求時に格納されたマルチメディア要約を再生する。オペレーティングシステム３１０は、コンピュータソフトウェア３００の動作と、コントローラ２５０のオペレーティングシステムを協調させる。
【００４２】
マルチメディア要約を作成するため、コントローラ２５０は、最初に、記録映像番組のテキスト要約を獲得するため、テキスト要約作成器２７０へアクセスする。コントローラ２５０は、次に、マルチメディア要約を作成するためにテキスト要約に組み込むため選択されるべき適当なビデオ画像を識別する。これを行うため、コントローラ２５０は、はじめに、映像番組のタイプ（ドメイン、カテゴリー、或いは、ジャンルと称される）を識別する。たとえば、ドメイン（又は、カテゴリー若しくはジャンル）は、トークショー、ニュース番組などである。以下の説明中、用語ドメインを使用する。
【００４３】
ソフトウェア３００内のドメイン識別アプリケーション３２０は、ドメインのタイプのデータベース（ドメインデータベース）を含む。ドメインデータベースは、ドメインデータベースに保持されるドメインのタイプ毎の識別用特徴を格納する。コントローラ２５０は、要約される映像番組のタイプを識別するため、ドメイン識別アプリケーション３２０にアクセスする。ドメイン識別アプリケーション３２０は、ドメインの各タイプの識別用特徴を、要約中の映像番組の特徴と比較する。この比較の結果を用いることにより、ドメイン識別アプリケーション３２０は、映像番組の領域を識別する。
【００４４】
コントローラ２５０は、次に、映像番組のトピックと関連した（トピック・キューと称される）語若しくは句（語句）を識別する。たとえば、トークショー映像番組の場合のトピック・キューは、語「最初のゲスト」若しくは語「次のゲスト」である。同様に、ニュース番組映像番組用のトピック・キューは、語「から中継」、或いは、語「次の話題は」である。トピック・キューとして選択された特別の語若しくは句は、映像番組中の変化ポイント（すなわち、トピックスの変化）を指定するため選ばれる。これにより、映像番組を、種々のトピックスを扱う部分に分割できるようになる。
【００４５】
ソフトウェア３００のトピック・キュー識別アプリケーション３００は、トピック・キューのデータベース（トピック・キュー・データベース）を含む。トピック・キュー・データベースは、ドメインデータベースに格納されたドメインのタイプ毎にトピック・キューを収容する。コントローラ２５０は、要約されている映像番組内のトピック・キューを識別するためトピック・キュー識別アプリケーション３３０にアクセする。トピック・キュー識別アプリケーション３２０は、トピック・キュー・データベース内の各トピック・キューを要約されている映像番組のテキスト要約と比較する。
【００４６】
トピック・キューが見つかった場合、コントローラ２５０は、トピック・キューと関連した音声・映像セグメント（音声・映像テンプレート、又は、視聴覚テンプレート）を識別するため音声・映像テンプレート識別アプリケーション３５０にアクセスする。トークショー映像番組内の「最初のゲスト」に対する適当な音声・映像テンプレートは、ゲストが登場する音声・映像セグメントである。「最初のゲスト」の同一性は、テキスト内で示されたゲストの名前から獲得される。たとえば、トークショーのホスト役が、「最初のゲストは、かけがえのない、Ｄｏｌｌｙ Ｐａｒｔｏｎです。」と言うとき、トピック・キュー識別アプリケーション３３０は、単語「最初のゲスト」をトピック・キューとして識別する。最初のゲストのＤｏｌｌｙ Ｐａｒｔｏｎの同一性は、テキスト要約から獲得される。
【００４７】
映像音声テンプレート識別アプリケーション３５０は、マルチメディア要約へ追加するため選択されるべき音声・映像テンプレートとして、Ｄｏｌｌｙ Ｐａｒｔｏｎの音声・映像セグメントを識別し獲得しなければならない。紹介後の数秒のうちに、Ｄｏｌｌｙ Ｐａｒｔｏｎは、ステージに登場する。彼女の顔が現れ、ビデオ画像の一部を占領する。以下で詳述するように、音声・映像テンプレート識別アプリケーション３５０は、Ｄｏｌｌｙ Ｐａｒｔｏｎの顔の画像を識別し、Ｄｏｌｌｙ Ｐａｒｔｏｎの顔の画像を含む音声・映像テンプレートを抽出し、この音声・映像テンプレートをマルチメディア要約に追加する。
【００４８】
音声・映像テンプレート識別アプリケーション３５０は、次のようにＤｏｌｌｙ Ｐａｒｔｏｎの顔の画像を識別する。Ｄｏｌｌｙ Ｐａｒｔｏｎの紹介直後に現れたビデオ画像から、音声・映像テンプレート識別アプリケーション３５０は、トークショーのホスト役（或いは、ミュージシャンなどのトークショーのレギュラー出演者）の顔画像以外の人物の顔画像を選択する。音声・映像テンプレート識別アプリケーション３５０は、その人物の画像がＤｏｌｌｙ Ｐａｒｔｏｎの画像であると仮定する。
【００４９】
この仮定は、音声・映像テンプレート識別アプリケーション３５０がＤｏｌｌｙ Ｐａｒｔｏｎの紹介直後に映像に表れた観客の画像を獲得した場合、間違っている。したがって、数分経過後に、最初に選択された画像内の人物の同一性を検査することによって、この仮定を確認することが必要である。これは、顔画像、声、ゲストのネームプレートのような識別用特徴、或いは、その他の同様の識別用特徴を検査することによって行われる。
【００５０】
Ｄｏｌｌｙ Ｐａｒｔｏｎは、トークショーの１０乃至１２分の間中登場するので、初期選択画像が実際にＤｏｌｌｙ Ｐａｒｔｏｎの画像であるかどうかを確かめるため、ゲストの画像を解析する時間がある。後で行われた検査によって、最初の仮定は誤りであり、、初期選択画像はＤｏｌｌｙ Ｐａｒｔｏｎの画像ではないということが判明した場合、画像をＤｏｌｌｙ Ｐａｒｔｏｎの画像で置き換えることによって訂正がなされる。
【００５１】
本発明の他の有利な一実施例によれば、著名人の顔画像のデータベース（図示せず）が音声・映像テンプレート識別アプリケーション３５０と共に使用される。映像からの人物（たとえば、トークショーのゲスト）の顔画像は、データベース内の各著名人の顔画像と比較される。顔マッチングは、主成分分析（ＰＣＡ）技術、若しくは、その他の同等の技術を使用して実現され得る。一致していることが判明した場合、その人物は、誰であるかが確認される。一致する顔画像が見つからない場合、その人物の顔画像は著名人データベースに存在しない。その場合、Ｄｏｌｌｙ Ｐａｒｔｏｎを識別するため使用された上述の手続が、この人物を識別するため使用される。
【００５２】
著名人データベースに存在しない有名人が識別された後、この有名人はデータベースに追加される。著名人データベースの内容は、人物をデータベースに追加することによって、或いは、データベースから人物を削除することによって、絶えず変更される。このようにして、著名人データベース内の著名人のリストは、常に最新の状態に保たれる。
【００５３】
映像セグメント内の顔を検出し識別するその他の方法は、〔文献〕Ｖ． Ｖｉｌａｐｌａｎａ， Ｆ． Ｍａｒｑｕｅｓ， Ｐ． Ｓａｌｅｍｂｉｅｒ ａｎｄ ． Ｇａｒｒｉｄ， ”Ｒｅｇｉｏｎ−Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ”， Ｔｈｅ ９^ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ＥＵＳＩＰＣＯ−９８， Ｒｈｏｄｅｓ （１９９８）、及び、〔文献〕Ｓ．Ｓａｔｏｈ， Ｙ． Ｎａｋａｍｕｒａ ＆ Ｔ． Ｋａｎａｄｅ， ”Ｎａｍｅ−Ｉｔ： Ｎａｍｉｎｇ ａｎｄ Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｎｅｗｓ Ｖｉｄｅｏｓ”， ＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ， Ｖｏｌｕｍｅ６（１）， ｐｐ．２２−３５（１９９９）に記載されている。
【００５４】
他のアプリケーション例では、スポーツ番組用の音声・映像テンプレートは、（１）ある時間間隔に亘る事前に指定された全体的な動き、又は、（２）動きのタイプの系列により構成され得る。たとえば、「サッカー試合」映像番組におけるトピック・キューは、単語「ゴール」或いは「１点目のゴール」である。トピック・キューが識別された後、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、１点目のゴールのシーンの音声・映像クリップを識別し獲得する必要がある。
【００５５】
ゴールが得点されたときを識別するため、音声・映像テンプレート識別アプリケーション３５０は、最初に、高速モーションでゴールを検出し、次に、スローモーションでゴールを検出する。ゴールの時間的位置が見つけられたとき、ゴールが得点された時間間隔をカバーする音声・映像クリップが抽出される。たとえば、音声・映像クリップは、ゴールが得点される５秒前のポイントから、ゴールが得点された５秒後のポイントまで達する。このようにして、スポーツ番組のマルチメディア要約は、ゴールが得点された番組セグメントの再生の系列により構成される。
【００５６】
他の例において、「ニュースショー」映像番組内のトピック・キューは、「中継」である。ニュースショー映像番組内の中継トピック・キューに対する適当な音声・映像テンプレートは、中継リポートが行われている場所の音声・映像セグメントである。或いは、音声・映像テンプレートは、中継リポートを行っているリポーターの音声・映像セグメントである。
【００５７】
ニュース番組のアンカーマンが「ラスベガスからの中継です。」というとき、トピック・キュー識別アプリケーション３５０は、単語「中継」をトピック・キューとして識別し、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、ラスベガスの音声・映像セグメントを識別する。
【００５８】
音声・映像テンプレート識別アプリケーション３５０は、音声・映像テンプレートの組を、特定のドメインタイプに対するトピック・キュー・データベース内に含まれるトピック・キューの組毎に関連付ける。コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０は、当該トピック用のマルチメディア要約に組み入れられるべき適当な音声・映像テンプレートを獲得するため映像ユニット２６０にアクセスする。
【００５９】
音声・映像テンプレートは、映像信号と音声信号の両方を含む。しかし、一部のアプリケーションでは、音声・映像テンプレートは、一方の信号（すなわち、音声信号と映像信号の両方ではなく、いずれか一方の信号）だけを含む場合がある。１種類の信号しか含まない音声・映像テンプレート用の動作原理は、映像信号と音声信号の両方の信号を含む音声・映像テンプレートに対する動作原理と同じである。
【００６０】
コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０が、適当な音声・映像テンプレートを識別し獲得した後、コントローラ２５０は、トピック、及び、対応した音声・映像テンプレートをマルチメディア要約へ追加する。マルチメディア要約中のトピック・キューの場所は、マルチメディア要約内のエントリー・ポイントとなるように定義される。エントリー・ポイントは、マルチメディア要約内で、マルチメディア要約を閲覧する視聴者が直接アクセスすることができる場所である。視聴者は、マルチメディア要約内の全てのエントリー・ポイントのリストへアクセスするためのユーザ・インタフェースが提供される。視聴者がマルチメディア要約の特定のトピックに関心をもつとき、視聴者は、マルチメディア要約内のトピックを、トピックのエントリー・ポイントにアクセスすることによって、表示させることができる。
【００６１】
コントローラ２５０がトピックを識別した後、コントローラ２５０は、トピック中のサブトピックと関連した（サブトピック・キューと称される）単語若しくは句（語句）を識別する。たとえば、トークショー映像番組内の「最初のゲスト」というトピック・キューに対するサブトピック・キューは、語「新作映画」或いは語「新著」である。サブトピックは、仕事の計画や「最初のゲスト」の人生における興味深いエピソードなどを指す。サブトピック・キューとして選択された特定の語句は、トピック内での変化ポイント（すなわち、サブトピックの変化）を指定するため選定される。これにより、トピックを異なるサブトピックを取り扱う部分に分割できるようになる。
【００６２】
ソフトウェア３００内のサブトピック・キュー識別アプリケーション３４０は、サブトピック・キューのデータベース（サブトピック・キュー・データベース）を含む。サブトピック・キュー・データベースは、トピック・キュー・データベースに蓄積されたトピック・キューのタイプ毎にサブトピック・キューを収容する。コントローラ２５０は、要約しているトピック内のサブトピックを識別するため、サブトピック・キュー識別アプリケーション３４０にアクセスする。サブトピック・キュー識別アプリケーションは、サブトピック・キュー・データベース内の各サブトピック・キューを要約されているトピックのテキスト要約と比較する。
【００６３】
サブトピック・キューが見つかったとき、コントローラ２５０は、サブトピック・キューと関連した音声・映像テンプレートを識別するため、音声・映像テンプレート識別アプリケーション３５０にアクセスする。たとえば、トークショー映像番組における「新作映画」サブトピック・キュー用の音声・映像テンプレートは、新作映画の題名を表示する静止ビデオ画像である。あるいは、トークショー映像番組における「新作映画」サブトピック・キュー用の音声・映像テンプレートは、新作映画の音声・映像セグメント（すなわち、クリップ）でもよい。
【００６４】
トークショーのホスト役が、「次に、Ｔｏｍ Ｈａｎｋの新作映画からのクリップ（１場面）をお見せします。」と言うとき、サブトピック・キュー識別アプリケーション３４０は、単語「新作映画」をサブトピック・キューとして識別し、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、新作映画の音声・映像セグメントを識別する。
【００６５】
音声・映像テンプレート識別アプリケーション３５０は、音声・映像テンプレートの組を、特定のトピックのタイプのためのサブトピック・キュー・データベースに収容されているサブトピック・キューの組毎に関連付ける。コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０は、サブトピック用のマルチメディア要約に組み入れられるべき適当な音声・映像セグメントを獲得するため、像ユニット２６０にアクセスする。
【００６６】
コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０が適当な音声・映像テンプレートを識別し取得した後、コントローラ２５０は、サブトピック・キュー及び対応した音声・映像テンプレートをマルチメディア要約に追加する。トピック・キューの場合と同様に、マルチメディア要約内のサブトピック・キューの場所は、マルチメディア要約内のエントリー・ポイントになるように定義される。視聴者がマルチメディア要約内の特定のサブトピックに関心を持つ場合、視聴者は、サブトピックのエントリー・ポイントにアクセスすることによって、マルチメディア要約内のサブトピックを表示させ得る。
【００６７】
コントローラ２５０は、映像番組のドメインと関連したトピック・キュー及びサブトピック・キューを識別するため上述の処理を継続する。この処理が継続するとき、コントローラ２５０は、映像番組のマルチメディア要約を作成する。コントローラ２５０は、マルチメディア要約を、メモリ２８０のマルチメディア要約記憶場所３６０に格納する。コントローラ２５０は、一つ以上のマルチメディア要約を、長期記憶のためハードディスクドライブ２３０へ転送する。
【００６８】
マルチメディア要約を作成する処理は、図４を参照することによって、さらに明瞭に理解できる。図４は、本発明の有利な一実施例の方法の動作を説明するフローチャート４００を表わす。フローチャート４００に記載された処理ステップは、コントローラ２５０で実行される。コントローラ２５０は、テキスト要約作成器２７０に、上述の方法で映像番組のテキストを要約させる（処理ステップ４０５）。コントローラ２５０は、次に、映像番組のドメインを識別する（処理ステップ４１０）。続いて、コントローラ２５０は、映像番組の識別されたドメインと関連したトピック・キューを見つけるため、映像番組のテキストをトピック・キューのデータベースと比較する（処理ステップ４１５）。
【００６９】
トピック・キューが見つかった場合、コントローラ２５０は、トピック・キューに対して関連した音声・映像テンプレートを取得し、音声・映像テンプレートをこのトピック・キューに連結する。コントローラ２５０は、トピック・キュー及び関連した音声・映像テンプレートを、マルチメディア要約に保存する（処理ステップ４２０）。
【００７０】
コントローラ２５０は、映像番組の識別されたトピック・キューと関連したサブトピック・キューを見つけるため、映像番組のテキストを、サブトピック・キューのデータベースと比較する（処理ステップ４２５）。サブトピックが見つけられたとき、コントローラ２５０は、サブトピック・キューに対する関連した音声・映像テンプレートを獲得し、音声・映像テンプレートをサブトピック・キューに関連付ける。コントローラ２５０は、サブトピック・キュー及び関連した音声・映像テンプレートを、マルチメディア要約に保存する（処理ステップ４３０）。
【００７１】
コントローラ２５０は、次のサブトピック・キュー又は次のトピック・キューを探索し続ける（判定ステップ４３５）。コントローラ２５０が、これ以上のサブトピック・キュー若しくはトピック・キューは存在しない、と判定した場合、又は、映像番組の終わりに到達した場合、この要約処理が終了する。
【００７２】
コントローラ２５０が次のキューを見つけたとき、コントローラ２５０は、次のキューがサブトピック・キューであるかどうかを判定する（判定ステップ４４０）。次のキューがサブトピック・キューである場合、制御は処理ステップ４３０へ進み、サブトピック・キュー及びその関連した音声・映像テンプレートがマルチメディア要約へ追加される。次のキューがサブトピック・キューではない場合、次のキューはトピック・キューである。制御は処理ステップ４２０へ進み、トピック・キュー及びその関連した音声・映像テンプレートがマルチメディア要約へ追加される。このようにして、マルチメディア要約がトピック及びサブトピックによって組み立てられる。
【００７３】
図５は、本発明の視聴者対話型マルチメディア要約の有利な一実施例の典型的な表示ページの説明図である。図５は、マルチメディア要約全体のエントリー・ポイントが１ページに表示される様子を示している。たとえば、図５に示されたページがトークショー映像番組のマルチメディア要約を表わしているとする。Ａ画像５２０は、最初のゲストの顔を表し、Ｂ画像５４０は、２人目のゲストの顔を表わし、Ｃ画像５６０は、３人目のゲストの顔を表わす。テキストセクション５１０は、最初のゲスト５２０が話題にしたサブトピックのリストを含む。図５に示された例の場合に、これらのサブトピックは、映画、新ＣＤ、及び、新居である。同様に、テキストセクション５３０は、２人目のゲスト５４０が話題にしたサブトピックのリストを収容し、テキストセクション５５０は、３人目のゲスト５６０が話題にしたサブトピックのリストを収容する。
【００７４】
視聴者は、マルチメディア要約による表示のため、三つのテキストリスト５１０、５３０、５５０のいずれかのうちのいずれかのサブトピックを選択し得る。各サブトピックがメニュー項目として順番に強調表示されるとき、視聴者は、一つのサブトピックを選択するための信号を送信するため、遠隔制御部１２５を用いて、表示したいと思うサブトピックを指定することができる。或いは、視聴者は、映像表示システム内に設けられたコンピュータマウス（図示せず）のようなポインティングデバイスを用いて、望ましいサブトピックを指定することが可能である。
【００７５】
視聴者が特定のサブトピックを選択するとき、そのサブトピックに対する要約は、アクセス対象の（有効な）要約５８０として区別された画面の一部分に表示される。サブトピックに関連した音声・映像クリップは、映像再生５９０として区別された画面の一部分に同時に再生される。たとえば、サブトピックが「映画」である場合、音声・映像クリップは、映画からの１場面であるかもしれない。サブトピックが「サッカー試合」である場合、音声・映像クリップは、ゲーム中にゴールが得点された場面であるかもしれない。アクセス対象の要約５８０は、視聴者によって選択されたトピックと、このトピックに関連したサブトピックの要約を表示する。視聴者が新しいトピック又は新しいサブトピックを選択した場合、アクセス対象の要約５８０に表示される要約は、新たに選択されたトピック又はサブトピックに関連したトピック又はサブトピックの要約を反映する。
【００７６】
テキストセクション５７０は、映像番組の全トピックのリストを収容する。たとえば、トークショー映像番組の場合、テキストセクション５７０は、トークショー映像番組の全トピックのリストを収容する。本例の場合、テキストセクション５７０内のリスト中の３項目は、３人のゲストの名前である。テキストセクション５７０に列挙された他の項目は、トークショー映像番組の他のトピック（たとえば、ショーの冒頭のホスト役の独白）に関連する。視聴者は、テキストセクション５７０に一覧された任意のトピックを表示のために選択することができる。トピックが選択されたとき、トピックに関連した音声・映像クリップは、映像再生５９０として示された画面の一部分で再生される。
【００７７】
このマルチメディア要約の表示モードは、マルチメディア要約の表示用の個々の部分を選択するため視聴者による相互作用を必要とする。マルチメディア要約の別の表示モードは、通し再生モードである。この通し再生モードの場合、マルチメディア要約は、映像番組の先頭から始まり、視聴者による相互作用を伴うことなく、再生され続ける。視聴者は、表示用のトピック若しくはサブトピックを選択することによって、この通し再生モードを停止させるため、何時でも介入することができる。
【００７８】
図６は、本発明の有利な一実施例による話者視覚化ページ６００の説明図である。話者視覚化ページ６００は、話をしている各人物と、話者が話をしている時間とを識別するマルチメディア要約に含まれる情報を使用する。図６に示されるように、この情報は、棒グラフ（バーチャート）の形式でグラフィック表示される。有利な一実施例において、各話者は別々の行に表示される。各話者（コマーシャルのカテゴリーを含む）の同一性は、ページ６００の左側の列に示される。
【００７９】
たとえば、図６に示された話者視覚化ページ６００は、トークショー番組の説明図である。トークショーのホストは、カテゴリー６１０に特定され、トークショーのミュージシャンはカテゴリー６２０に特定されている。トークショーの１人目のゲスト（第１ゲスト）はカテゴリー６３０に特定される。コマーシャルメッセージのカテゴリーはカテゴリー６４０である。トークショーの２人目のゲスト（第２ゲスト）はカテゴリー６５０に特定され、３人目のゲスト（第３ゲスト）はカテゴリー６６０に特定されている。
【００８０】
特定の話者が話をしている時間間隔は、話者カテゴリーの右側の水平方向の領域に置かれた矩形ボックスで表現されている。たとえば、トークショーのホストカテゴリー６１０の右側にある矩形ボックスは、トークショーのホストがショーの中で話をしている個々の時間セグメントを表現する。同様に、特定のカテゴリーの右側にある矩形ボックスは、その特定のカテゴリーの人物が話をしているときを表わす。コマーシャルカテゴリー６１０の右側の矩形ボックスは、コマーシャルメッセージが表示されているときの時間セグメントを表現する。
【００８１】
図６に示された例の場合に、トークショーのホスト６１０は、最初に話をして、トークショーを紹介する。後の時点で、トークショーのミュージシャン６２０は、ホスト６１０が黙っているときに話をする。次に、トークショーのホスト６１０は、ミュージシャン６２０が沈黙している間に話をしている。本例の場合、ミュージシャン６２０は３回話をしている。
【００８２】
トークショーのホスト６１０が最初のゲスト６３０を紹介した後、最初のゲスト６３０は、トークショーのホスト６１０と交互に発話する。話者視覚化ページ６００は、最初のコマーシャル６４０が表示される時間セグメントを表示する。
【００８３】
１回目のコマーシャル６４０が表示された後、トークショーのホスト６１０は、２人目のゲスト６５０を紹介する。トークショーのホスト６１０及び２人目のゲスト６５０は、２回目のコマーシャルが始まるまで、交互に発話する。同様に、トークショーのホスト６１０は、その後、３人目のゲスト６６０を紹介し、３人目のゲスト６６０と話をする。
【００８４】
話者視覚化ページ６００は、このようにして、ショーの全体を通じて、発話中の人物と、その人物が発話しているときを、表示する能力を備えている。視聴者は、話者視覚化ページ６００に表示された時間セグメントの中から、マルチメディア要約によって表示させる時間セグメントを選択することができる。視聴者は、各時間セグメントがメニュー項目として順番に強調表示される間に、一つの時間セグメントを選択する信号を送信するため遠隔制御器１２５を用いて、表示されるべき望ましい時間セグメントを指定することができる。あるいは、視聴者は、映像表示システムに装備されたコンピュータマウス（図示しない）のようなポインティングデバイスを使用して、望ましい時間セグメントを指定することが可能である。
【００８５】
視聴者が望ましい時間セグメントを指定するとき、マルチメディア要約は、ショーの中でその望ましい時間セグメントに関係した部分を再生する。たとえば、視聴者は、３人目のゲスト６６０が話をした内容を見たいときに限り、映像番組のその部分だけを視聴するため、３人目のゲスト６００に関連した時間セグメントだけを選択するであろう。
【００８６】
話者視覚化ページ６００は、ホスト６１０、ミュージシャン６２０、１人目のゲスト６３０、２人目のゲスト６４０、及び、３人目のゲスト６５０の名前を表示する能力を備えている。現在の話者の同一性はトランスクリプトから見つけることができる。新しい話者セクションは、トランスクリプト中に２重矢印が現れたときに開始する。話者の名前は、２重矢印の直後に現れ、その後にコロン記号が続く。
【００８７】
名前が存在しない場合、現在のゲストが話者であると仮定される。ゲストが紹介された場合、ゲストの名前は話者として返される。ゲストの紹介がなければ、ゲストに対する総称用語（すなわち、単語「ゲスト」）が話者として返される。
【００８８】
話者視覚化ページ６００は、映像番組のマルチメディア要約にアクセスするための強力なツールである。話者視覚化ページ６００は、視聴者が、特定の話者に関連した映像番組の時間セグメントを選択することによって、映像番組の望んでいる部分に、素早くジャンプし、閲覧できるようにする。
【００８９】
コントローラ２５０及び話者視覚化アプリケーション３７０は、一体として、本発明を実現する能力を備えた話者視覚化表示ユニットを構成する。メモリ２８０に格納された話者視覚化アプリケーション３７０内の命令の指示に基づいて、コントローラ２５０は、選択された映像番組の選択されたマルチメディア要約にアクセスし、視聴者による話者視覚化ページ６００内の関連した時間セグメントの選択に応じて映像番組の選択された部分を再生する。
【００９０】
上記例において、話者視覚化ページ６００は、各話者が話をしているときを識別した。これは、話者視覚化ページ６００の一つのモードである。話者視覚化ページ６００は、付加的な動作モードを実現することができる。ある付加的な動作モードにおいて、話者視覚化ページ６００は、各人物の顔が画面に登場するときを識別する。別の付加的な動作モードでは、話者視覚化ページ６００は、各トピック又はサブトピックが話題にされているときを識別する。更に別の付加的な動作モードでは、話者視覚化ページ６００は、番組のトランスクリプトの要素を識別する。その他のタイプのカテゴリーも表示のため選択され得る。
【００９１】
図６に示された話者視覚化ページ６００は、情報が２次元形式でアクセスされ表示される様子を示している。第１の次元は、話をする人物（又は、人物の画像、話し合われているトピックなど）によって表わされ、第２の次元は時間である。尚、本発明の原理は、情報を３次元形式で表示するためにも使用可能である。３次元表現（図示せず）は、３種類の情報（たとえば、話者、トピック及び時間）を、３次元棒グラフ形式で同時に表示するため使用される。また、二つ以上の話者視覚化ページ６００を使用して４種類上の情報を同時に表示してもよい。
【００９２】
本発明のマルチメディア要約は、映像番組の中で話題にされた製品及びサービスを注文するための方法及び装置と組み合わせて使用することができる。たとえば、視聴者は、トークショー映像番組で話題になった書籍を購入したい場合がある。製品及びサービスは、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＲＤＥＲＩＮＧ ＯＮＬＩＮＥ ＵＴＩＬＩＺＩＮＧ Ａ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＲＥＣＥＩＶＥＲ”である米国特許出願明細書（書類番号ＰＨＡ７０１０７１）に記載された、上記の方法及び装置を用いて直接注文してもよい。
【００９３】
また、本発明のマルチメディア要約は、視聴者の興味に関する付加情報を取得する方法及び装置と組み合わせて使用することも可能である。たとえば、視聴者が、まもなく公開予定の新作映画を解説するサブトピックを選択した場合、この視聴者の問い合わせは、将来の参考のため記録される。マルチメディア要約は、映画が公開されたときに視聴者へ通知し、近隣の映画館の上映時間及びチケット価格を提供する。この通知は、関連した番組の要約に添付してもよい。或いは、この通知は、電子メール、若しくは、類似した通信リンクを用いて視聴者へ送信してもよい。この通知は、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、或いは、その他の同様の通信機器に可聴性アラーム（たとえば、ビープ音）を発生させてもよい。
【００９４】
イベント照合エンジンが、近隣地域内で行われるイベントを見つけるために使用され得る。たとえば、トークショー番組中に、俳優Ｋｅｖｉｎ Ｓｐａｃｅｙが、現在、”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”という名前の映画に出演中である、と言ったとする。視聴者がサブトピック”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”を選択すると、マルチメディア要約は、ある期間（たとえば、数ヶ月間）に亘って、他の番組（たとえば、新番組）、又は、地元のウェブサイト上で、映画”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”に関する情報を検索するため、ユーザの興味の指標を使用することが可能である。
【００９５】
映画”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”の上映時間及び料金に関する付加情報が見つけられたとき、マルチメディア要約は、電話番号１−８００−ＦＩＬＭ−７７７をオーバーレイすることができ、映画が有料視聴テレビで放送予定である旨を視聴者に通知することができ、近隣の劇場における映画の上映時間及び料金に関する情報を自動的に電子メール送信し、若しくは、表示することが可能である。鑑賞チケットは、上述の方法を用いて直接注文することもできる。
【００９６】
本発明のマルチメディア要約は、視聴者が長期間に亘って関心のある付加情報を見つけるため、マルチメディア要約からトピック及びサブトピックを使用できるようにする。マルチメディア要約は、視聴者が関心をもつ情報に関して、積極的に動作し検索する状態を維持する。第１の番組のマルチメディア要約に基づいて見つけ出された新たな付加情報は、第２の番組が第１の番組に類似したトピック、サブトピック、又は、キーワードを持つ場合、第２の番組のマルチメディア要約に添付させてもよい。
【００９７】
本発明を詳細に説明したが、当業者は、最広義による本発明の精神及び範囲を逸脱することなく、種々の変更、置換及び代替をなし得ることがわかる筈である。
【図面の簡単な説明】
【図１】
映像表示システムの一例の説明図である。
【図２】
図１に示された映像表示システムの一例に組み込まれる映像番組の視聴者対話型マルチメディア要約を作成するシステムの有利な一実施例の説明図である。
【図３】
視聴者対話型マルチメディア要約の有利な一実施例と共に使用されるコンピュータソフトウェアの説明図である。
【図４】
映像表示システムの一例における視聴者対話型マルチメディア要約の有利な一実施例の動作を説明するフローチャートである。
【図５】
映像番組の視聴者対話型マルチメディア要約にアクセスする本発明の有利な一実施例の表示ページの一例の説明図である。
【図６】
映像番組の視聴者対話型マルチメディア要約にアクセスする本発明の有利な一実施例の典型的な話者視覚化ページの説明図である。

Claims (19)

1. 映像番組を表示する能力を備えた映像表示システムにおいて利用され、該映像番組の少なくとも一部分を表示するため該映像番組のマルチメディア要約にアクセスするシステムであって、
   該映像番組の少なくとも一つのトピック、及び、該映像番組の該少なくとも一つのトピックに対応した少なくとも一つのエントリー・ポイントを識別する該マルチメディア要約からの情報を表示ページに表示する能力を備えているマルチメディア要約作成器を具備し、
   該マルチメディア要約作成器は、視聴者による該映像番組の該少なくとも一つのトピックに対応した該エントリー・ポイントの選択に応答して、該映像番組の該少なくとも一つのトピックに対応した該映像番組の一部分を表示する能力を備えている、
   システム。
2. 該映像番組の該少なくとも一つのトピックの該少なくとも一つのサブトピック、及び、該映像番組の該少なくとも一つのトピックの該少なくとも一つのサブトピックに対応した少なくとも一つのエントリー・ポイントを識別する該マルチメディア要約からの情報を表示ページに表示する能力を備え、
   該マルチメディア要約作成器は、視聴者による該映像番組の該少なくとも一つのトピックの該サブトピックに対応した該エントリー・ポイントの選択に応答して、該映像番組の該少なくとも一つのトピックの該サブトピックに対応した該映像番組の一部分を表示する能力を備えている、
   請求項１記載のシステム。
3. 該映像番組中の音声・映像セグメントの少なくとも一つのカテゴリー、及び、音声・映像セグメントの該少なくとも一つのカテゴリーが該映像番組中で出現する時間を識別する該マルチメディア要約からの情報を話者視覚化ページに表示する能力を備えた話者視覚化表示ユニットを更に有し、
   該話者視覚化表示ユニットは、視聴者による音声・映像セグメントの該少なくとも一つのカテゴリーが該映像番組中で出現する時間の選択に応答して、該映像番組の該少なくとも一部分を表示する能力を備えている、
   請求項１又は２記載のシステム。
4. 音声・映像セグメントの該少なくとも一つのカテゴリーは、発話中の人物、コマーシャルメッセージ、顔が表示されている人物、トピック、サブトピック、及び、該映像番組のトランスクリプトの要素のうちの一つにより構成される、請求項３記載のシステム。
5. 該話者視覚化表示ユニットは、
   メモリに接続され該メモリに保持されたコンピュータソフトウェア命令を実行する能力を備え、該話者視覚化ページを表示する能力を備え、視聴者から音声・映像セグメントの該少なくとも一つのカテゴリーが該映像番組中に出現する時間の選択を受ける能力を備え、視聴者による該選択に応答して、音声・映像セグメントの該少なくとも一つのカテゴリーを表わす該映像番組の該少なくとも一部分を表示する能力を備えているコントローラを、
   有する、
   請求項３記載のシステム。
6. 該話者視覚化表示ユニットは、該映像番組中の各話者、及び、該映像番組中の各話者が発話しているときを表わす複数の時間セグメントを識別する該マルチメディア要約からの情報を話者視覚化ページに表示する能力を備え、
   該話者視覚化表示ユニットは、視聴者による時間セグメントの選択を受ける能力を備え、視聴者から受けた該選択に応答して、該選択された時間セグメント中に発話している話者を表わす該映像番組の一部分を表示する能力を備えている、請求項３記載のシステム。
7. 該マルチメディア要約作成器は、視聴者によって選択された少なくとも一つのトピックを記録する能力を備え、該少なくとも一つのトピックに関係した付加情報を見つける能力を備え、該視聴者に該付加情報を通知する能力を備えている、請求項１記載のシステム。
8. 映像番組の少なくとも一部分を表示するため該映像番組のマルチメディア要約にアクセスする請求項１乃至７のうちいずれか一項記載のシステムを含む、映像番組を表示する能力を備えた映像表示システム。
9. 映像番組を表示する能力を備えた映像表示システムにおいて利用され、該映像番組の少なくとも一部分を表示するため該映像番組のマルチメディア要約にアクセスする方法であって、
   該映像番組の少なくとも一つのトピックを識別する該マルチメディア要約からの情報を表示ページに表示する手順と、
   該映像番組の該少なくとも一つのトピックに対応した少なくとも一つのエントリー・ポイントを該表示ページに表示する手順と、
   視聴者による該映像番組の該少なくとも一つのトピックに対応した該エントリー・ポイントの選択を受ける手順と、
   該映像番組の該少なくとも一つのトピックに対応した該映像番組の一部分を表示する手順と、
   を有する方法。
10. 該映像番組の該少なくとも一つのトピックの少なくとも一つのサブトピックを識別する該マルチメディア要約からの情報を表示ページに表示する手順と、
    該映像番組の該少なくとも一つのトピックの該少なくとも一つのサブトピックに対応した少なくとも一つのエントリー・ポイントを該表示ページに表示する手順と、
    視聴者による該映像番組の該少なくとも一つのトピックの該少なくとも一つのサブトピックに対応した該エントリー・ポイントの選択を受ける手順と、
    該映像番組の該少なくとも一つのトピックの該少なくとも一つのサブトピックに対応した該映像番組の一部分を表示する手順と、
    を更に有する請求項９記載の方法。
11. 該映像番組中の音声・映像セグメントの少なくとも一つのカテゴリー、及び、音声・映像セグメントの該少なくとも一つのカテゴリーが該映像番組中に出現する時間を識別する該マルチメディア要約からの情報を話者視覚化ページに表示する手順と、
    視聴者による音声・映像セグメントの該少なくとも一つのカテゴリーが該映像番組中に出現するときの選択を受ける手順と、
    該視聴者によって選択された該映像番組中の音声・映像セグメントの該少なくとも一つのカテゴリーを表わす該映像番組の一部分を表示する手順と、
    を更に有する請求項９又は１０記載の方法。
12. 音声・映像セグメントの該少なくとも一つのカテゴリーは、発話中の人物、コマーシャルメッセージ、顔が表示されている人物、トピック、サブトピック、及び、該映像番組のトランスクリプトの要素のうちの一つにより構成される、請求項１１記載の方法。
13. メモリに接続されたコントローラに該メモリに保持されたコンピュータソフトウェアからの命令を読み出す手順と、
    該話者視覚化ページを表示するため該コントローラにおいて該命令を実行する手順と、
    音声・映像セグメントの少なくとも一つのカテゴリーが該映像番組中に出現する時間を識別する選択情報を視聴者から受けるため、該コントローラにおいて該命令を実行する手順と、
    音声・映像セグメントの該少なくとも一つのカテゴリーを表わす該映像番組の該少なくとも一部分を表示するため、該視聴者からの選択情報に応答して該コントローラにおいて該命令を実行する手順と、
    を更に有する請求項１１記載の方法。
14. 該映像番組中の各話者、及び、各話者が該映像番組中で発話しているときを表わす複数の時間セグメントを識別する該マルチメディア要約からの情報を話者視覚化ページに表示する手順と、
    視聴者による時間セグメントの選択情報を取得する手順と、
    取得した該視聴者による選択情報に応答して、選択された時間セグメント中に発話している話者を表わす該映像番組の一部分を表示する手順と、
    を更に有する請求項１１記載の方法。
15. 該視聴者によって選択された少なくとも一つのトピックを記録する手順と、
    該少なくとも一つのトピックに関係した付加情報を見つける手順と、
    視聴者に該付加情報を通知する手順と、
    を更に有する請求項９記載の方法。
16. プログラマブル装置に請求項１乃至７のうちいずれか一項記載のシステムとしての機能を実現させるためのコンピュータプログラム。
17. 少なくとも２種類の情報を２次元形式で表示する話者視覚化ページに該マルチメディア要約からの情報を表示させる手順を更に有する請求項１１記載の方法。
18. 少なくとも３種類の情報を３次元形式で表示する話者視覚化ページに該マルチメディア要約からの情報を表示させる手順を更に有する請求項１１記載の方法。
19. 少なくとも４種類の情報を表示する少なくとも２ページの話者視覚化ページに該マルチメディア要約からの情報を表示させる手順を更に有する請求項１１記載の方法。

Images