JP2004516753A - 映像番組のマルチメディア要約を提供するシステム及び方法 - Google Patents

Abstract

映像番組を表示する能力を備えた映像表示システムで用いるための、トランスクリプトデータ及び映像番組の音声・映像セグメントを使用して映像番組のマルチメディア要約を作成するシステム及び方法を開示する。このシステムは、映像番組のテキストのトランスクリプトと、映像番組の音声・映像セグメントとを獲得することができるマルチメディア要約作成器を含む。マルチメディア要約作成器は、映像番組のトランスクリプト中のトピック・キュー及びサブトピック・キューを識別する。マルチメディア要約作成器は、さらに、トピック・キュー及びサブトピック・キューに関連した音声・映像セグメントを識別する。マルチメディア要約作成器は、トピック・キュー及びサブトピック・キュー、並びに、関連した音声・映像セグメントを組み立てることによりマルチメディア要約を作成する。マルチメディア要約にはトピック及びサブトピック毎にエントリー・ポイントが設けられるので、マルチメディア要約の視聴者は、各トピック及びサブトピックに直接アクセスすることが可能である。

Description

【０００１】
〔関連出願へのクロスリファレンス〕
本発明は、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＳＵＭＭＡＲＩＺＡＴＩＯＮ ＡＮＤ ＩＮＤＥＸＩＮＧ ＯＦ ＶＩＤＥＯ ＰＲＯＧＲＡＭＳ ＵＳＩＮＧ ＴＲＡＮＳＣＲＩＰＴ ＩＮＦＯＲＭＡＴＩＯＮ”である米国特許出願明細書（書類番号ＰＨＡ７０１１３７）と、１９９９年７月９日に出願された、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＬＩＮＫＩＮＧ Ａ ＶＩＤＥＯ ＳＥＧＭＥＮＴ ＴＯ ＡＮＯＴＨＥＲ ＳＥＧＭＥＮＴ ＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＳＯＵＲＣＥ”である米国特許出願第０９／３５１，０８６号明細書と、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＲＤＥＲＩＮＧ ＯＮＬＩＮＥ ＵＴＩＬＩＺＩＮＧ Ａ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＲＥＣＥＩＶＥＲ”である米国特許出願明細書（書類番号ＰＨＡ７０１０７１）と、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＣＣＥＳＳＩＮＧ Ａ ＭＵＬＴＩＭＥＤＩＡ ＳＵＭＭＡＲＹ ＯＦ Ａ ＶＩＤＥＯ ＰＲＯＧＲＡＭ”である米国特許出願明細書（書類番号ＰＨＡ７０１１８２ＥＸＴ）と、に記載された発明に関連する。これらの特許出願は、本願の譲受人に譲渡されている。これらの関連特許出願の開示内容は、あらゆる目的のため、全文が本明細書に記載されているのと同じように参考のため引用される。
【０００２】
〔発明の技術分野〕
本発明は、映像番組を要約するシステム及び方法に係り、特に、トランスクリプト情報及び映像セグメントを使用して映像番組のマルチメディア要約を提供するシステム及び方法に関する。
【０００３】
〔発明の背景〕
当初のテレビでは、視聴するため利用できるテレビ放送チャネルの数は少なかった。テレビ技術が進歩して極超短波（ＵＨＦ）チャネル、超短波（ＶＨＦ）チャネル、ケーブルテレビ、衛星テレビ受信、及び、インターネットに基づく技術が取り入れられるようになると、利用可能なテレビチャネルの数は著しく増加した。
【０００４】
視聴できるテレビ番組の数も著しく増加した。高品位テレビのコンテンツに関しては、その情報量は、１日に１チャネル当たりで２００ギガバイト（ＧＢ）に達する。視聴者が視聴することに関心を持っている番組若しくは番組セグメントを見つけることができるように、視聴者が映像番組の内容説明を素早く閲覧できることは、徐々に重要になり始めている。その際の主要な問題は、多くの映像番組の内容説明は、容易に入手できないという点である。
【０００５】
録画された映像番組を視聴したいと思う視聴者に与えられている現在の選択肢には、次の（１）〜（３）が含まれる。
（１）映像番組全部を見る。
（２）関心を持っている番組の部分を見つけるため映像番組全体の記録物を早送りする。
（３）一般的な番組説明だけを提供する電子番組案内（ＥＰＧ）のデータを使用する。
【０００６】
現在、視聴者が映像番組の内容を簡単に識別できるシステム或いは方法を入手することはできない。特に、視聴者が映像番組の内容の十分に詳細な要約を取得できるようなシステム或いは方法は入手できない。
【０００７】
したがって、従来、映像番組の要約を提供する改良されたシステム及び方法が要望されている。従来、トランスクリプト情報及び映像セグメントを使用して映像番組のマルチメディア要約を提供する改良されたシステム及び方法が求められている。また、視聴者が映像番組内の任意のトピック若しくはサブトピックの先頭へアクセスすることができる映像番組のマルチメディア要約を提供する改良されたシステム及び方法が求められている。
【０００８】
〔発明の概要〕
上記の従来技術の問題点を解決するため、本発明の主要な目的は、映像番組を表示する能力を備えた映像表示システムで利用される、映像番組のマルチメディア要約を提供するシステム及び方法を提供することである。
【０００９】
本発明は、映像番組のマルチメディア要約を作成できるマルチメディア要約作成器を含む。マルチメディア要約作成器は、映像番組のテキストのトランスクリプトと、映像番組の映像セグメントとを取得することができる。マルチメディア要約作成器は、映像番組のトランスクリプト中のトピック・キュー及びサブトピック・キューを識別する。マルチメディア要約作成器は、さらに、トピック・キュー及びサブトピック・キューに関連した映像セグメントを識別する。マルチメディア要約作成器は、トピック・キュー及びサブトピック・キュー、並びに、これらに関連した映像セグメントを組み立てることによりマルチメディア要約を作成する。マルチメディア要約にはトピック及びサブトピック毎にエントリー・ポイントが設けられるので、マルチメディア要約の視聴者は、各トピック及びサブトピックに直接アクセスすることが可能である。
【００１０】
本発明の有利な一実施例によれば、マルチメディア要約作成器は、映像番組のマルチメディア要約を作成するため、映像番組のトランスクリプトの部分と映像番組の映像セグメントの部分を組み合わせることが可能である。
【００１１】
本発明の有利な一実施例によれば、マルチメディア要約作成器は、映像番組のトランスクリプト内のトピックに関係した映像セグメントを選択し、トピック及び映像セグメントをマルチメディア要約に追加することが可能である。
【００１２】
本発明の他の有利な実施例によれば、マルチメディア要約作成器は、映像番組のトランスクリプト内のトピックのサブトピックに関係した映像セグメントを選択し、サブトピック及び映像セグメントをマルチメディア要約に追加することが可能である。
【００１３】
本発明の更に別の実施例によれば、マルチメディア発生器は、視聴者がマルチメディア要約内の各トピック及びサブトピックへアクセスし得るようにマルチメディア要約にエントリー・ポイントを作成することができる。
【００１４】
本発明の特徴及び技術的効果を包括的に説明したので、当業者は、以下の本発明の詳細な説明をよりよく理解できるであろう。請求項に係わる発明の主題を形成する本発明の更なる特徴及び効果は、後述される。当業者は、開示された概念及び具体的な実施例に基づいて、容易に、本発明と同じ目的を実現する構成を変更し、或いは、他の構成を設計するであろう。当業者は、このような等価的な構成は、本発明の精神及び範囲の外延に含まれることを認めるであろう。
【００１５】
本発明の詳細な説明を始める前に、本明細書で使用されるある種の単語若しくは句（語句）を定義しておく方が都合がよい。用語「含む」、「有する」、「構成される」のような単語、及び、これらの単語の派生語は、制限の無い包含を表し、用語「又は」は包含的であり、「及び／又は」を意味し、句「関連している」並びにそのから派生した句は、包括される、相互接続する、包含される、接続する、結合する、通信できる、協働する、交互配置する、並列する、近接する、境界を接する、保有する、性質がある、などの意味を含む。用語「コントローラ」は、少なくとも一つの動作を制御する装置、システム、或いは、システムの一部であり、これらの装置は、ハードウェア、ファームウェア、ソフトウェア、又は、これらのうちの少なくとも二つの組み合わせを意味する。特定のコントローラに関連した機能は、集中的でも分散的でも、局部的でも遠隔的でも構わないことに注意する必要がある。特に、コントローラは、１台以上のデータプロセッサと、関連した入出力装置及びメモリと、を具備し、データプロセッサは、一つ以上のアプリケーションプログラム、及び／又は、オペレーティングシステムプログラムを実行する。ある種の語句の定義は明細書中で与えられ、当業者は、このような定義が、このように定義された語句の過去及び未来の用法に、殆どではなくても多くの場合に適用されることを認めるであろう。
【００１６】
本発明及び本発明の効果を完全に理解するために、以下の説明を添付図面と共に提示する。添付図面中、同じ番号は同じものを指定する。
【００１７】
〔発明の詳細な説明〕
図１乃至５と、本明細書において本発明の原理を記述するため使用される多数の実施例は、説明のためだけに用いられるものであって、決して本発明の範囲を制限するために構成されるべきではない。以下の典型的な実施例の記述において、本発明は、テレビ受像機に統合されるか、或いは、テレビ受像機と共に使用される。しかし、この実施例は、一例に過ぎないので、本発明の範囲をテレビ受像機に限定するために構成されるべきではない。実際上、当業者は、本発明の典型的な実施例があらゆるタイプの映像表示システムで利用するため簡単に変更できることがわかるであろう。
【００１８】
図１は、本発明の一実施例による典型的なビデオレコーダ１５０及びテレビ受像機１０５を示す図である。ビデオレコーダ１５０は、外部源、例えば、ケーブルテレビジョン・サービス・プロバイダ（ケーブル社）、ローカルのアンテナ、衛星、インターネット、又はディジタル多用途ディスク（ＤＶＤ）又はビデオ・ホーム・システム（ＶＨＳ）テーププレーヤ等からの入力テレビジョン信号を受信する。ビデオレコーダ１５０は、選択されたチャンネルからのテレビジョン信号をテレビ受像機１０５へ送信する。チャンネルは、視聴者によって手動で選択されるか、又は、予め視聴者によってプログラムされた記録装置によって自動的に選択される。或いは、チャンネルと映像番組は、視聴者の個人的な視聴履歴中の番組プロファイルからの情報に基づいて記録装置によって自動的に選択され得る。
【００１９】
記録モードでは、ビデオレコーダ１５０は、入来無線周波数（ＲＦ）テレビジョン信号を復調し、ビデオレコーダ１５０内の記憶媒体若しくはビデオレコーダ１５０に接続された記憶媒体上に記録され蓄積されるベースバンドビデオ信号を生成する。再生モードでは、ビデオレコーダ１５０は、記憶媒体から視聴者によって選択された記憶されたベースバンドビデオ信号（即ち、番組）を読み出し、これをテレビ受像機１０５へ送信する。ビデオレコーダ１５０は、ディジタル信号を受信し、記録し、作用し、再生することができるタイプのビデオレコーダを含む。
【００２０】
ビデオレコーダ１５０には、記録用テープを使用するタイプ、ハードディスクを使用するタイプ、半導体メモリを使用するタイプ、又は、その他の任意のタイプの記録装置を使用するタイプのビデオレコーダが含まれる。ビデオレコーダ１５０がビデオカセットレコーダ（ＶＣＲ）である場合、ビデオレコーダ１５０は、磁気カセットテープへ入来テレビジョン信号を格納し、磁気カセットテープから入来テレビジョン信号を取り出す。ビデオレコーダ１５０がＲｅｐｌａｙＴＶ（登録商標）レコーダ及びＴｉＶＯ（登録商標）レコーダのようなディスクドライブに基づく装置であるとき、ビデオレコーダ１５０は、磁気カセットテープではなく、コンピュータ磁気ハードディスクとの間で、入来テレビジョン信号の格納及び取り出しを行う。更なる他の実施例では、ビデオレコーダ１５０は、ローカル読み書き（Ｒ／Ｗ）ディジタル多目的ディスク（ＤＶＤ）又は読み書き（Ｒ／Ｗ）コンパクトディスク（ＣＤ−ＲＷ）との間で格納と取り出しを行う。ローカル記憶媒体は固定式（例えばハードディスクドライブ）でも、着脱可能式（例えばＤＶＤ、ＣＤ−ＲＷ）でもよい。
【００２１】
ビデオレコーダ１５０は、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えば、チャンネル・アップ、チャンネル・ダウン、音量アップ、音量ダウン、記録、再生、早送り（ＦＦ）、巻戻し等）を受信する赤外線（ＩＲ）センサ１６０を含む。テレビ受像機１０５は、画面１１０、赤外線（ＩＲ）センサ１１５、及び、１つ以上の手動制御部１２０（点線で示す）を含む従来通りのテレビ受像機である。ＩＲセンサ１１５は、視聴者によって操作される遠隔制御装置１２５からのコマンド（例えば、音量アップ、音量ダウン、電源オン、電源オフ等）も受信する。
【００２２】
尚、ビデオレコーダ１５０は、特定の種類の源からの特定の種類の入来テレビジョン信号を受信するとは限らない。上述のように、外部源は、ケーブルサービスプロバイダ、従来のＲＦ放送アンテナ、衛星アンテナ、インターネット接続、又は、例えば、ＤＶＤプレーヤ又はＶＨＳテーププレーヤのような他のローカル記憶装置でもよい。入来信号は、ディジタル信号、アナログ信号、インターネットプロトコル（ＩＰ）パケット、又は、その他の信号でもよい。
【００２３】
本発明の原理を説明するための簡単さと明瞭性のため、以下の説明は、ビデオレコーダ１５０が（ケーブルサービスプロバイダから）クロースドキャプション・テキスト情報を含むアナログテレビジョン信号を受信する実施例に概ね関連する。それにもかかわらず、当業者は、本発明の原理がディジタルテレビジョン信号、ワイヤレス放送テレビジョン信号、ローカル記憶システム、ＭＰＥＧデータを含むＩＰパケットの入来ストリーム等と共に使用するため容易に適応されうることを理解するであろう。
【００２４】
更に、当業者は、本発明の原理が、音声からテキストへのコンバータからのテキスト、第三者源からのテキスト、抽出された映像テキストからのテキスト、埋め込み画面テキストからのテキスト等を含み、これらには限られない他のテキスト源と共に使用するため容易に適応されうることを理解するであろう。従って、「トランスクリプト」という用語は、例示的にクロースドキャプション・テキスト、音声からテキストへのコンバータからのテキスト、第三者源からのテキスト、抽出されたビデオテキストからのテキスト、埋め込み画面テキストからのテキスト等を含み、これらに限られない任意のテキスト源から発生するテキストファイルを意味するように定義される。
【００２５】
図２は、本発明の一実施例による典型的なビデオレコーダ１５０をより詳細に示す図である。ビデオレコーダ１５０は、ＩＲセンサ１６０、ビデオプロセッサ２１０、ＭＰＥＧ２符号化器２２０、ハードディスクドライブ２３０、ＭＰＥＧ２符号化器／復号化器２４０、及び、コントローラ２５０を含む。ビデオレコーダ１５０は、更に、映像ユニット２６０、テキスト要約作成器２７０、及びメモリ２８０を含む。コントローラ２５０は、ビューモード、記録モード、再生モード、早送り（ＦＦ）モード、巻戻しモード、及び、その他の類似機能を含むビデオレコーダ１５０の全体的な動作を指示する。コントローラ２５０は、更に、本発明の原理に従って、マルチメディア要約の作成、表示及び相互作用を指示する。
【００２６】
ビューモードでは、コントローラ２５０は、ケーブルサービスプロバイダからの入来テレビジョン信号を、ビデオプロセッサ２１０によって復調及び処理させ、ビデオ信号をハードディスクドライブ２３０に格納して、若しくは、格納せずに、（又はハードディスクドライブ２３０からビデオ信号を取り出して、若しくは、取り出さずに）テレビ受像機１０５へ送信させる。ビデオプロセッサ２１０は、
ＭＰＥＧ２符号化器／復号化器２４０からの従来の信号、及び、メモリ２８０からの映像フレームを受信し、ベースバンドテレビジョン信号（たとえば、スーパー映像信号）をテレビ受像機１０５へ送信することが可能である。
【００２７】
記録モードでは、コントローラ２５０は、入来テレビジョン信号をハードディスクドライブ２３０に格納させる。コントローラ２５０の制御下で、ＭＰＥＧ２符号化器２２０は、ケーブルサービスプロバイダから入来テレビジョン信号を受信し、ハードディスクドライブ２３０に格納するため受信したＲＦ信号をＭＰＥＧフォーマットへ変換する。尚、ディジタルテレビジョン信号の場合、信号は、ＭＰＥＧ２符号化器２２０において符号化することなく、ハードディスクドライブ２３０上に直接格納される。
【００２８】
再生モードでは、コントローラ２５０は、ハードディスクドライブ２３０に対して、格納されたテレビジョン信号（即ち、番組）を、ＭＰＥＧ２復号化器／ＮＴＳＣ符号化器２４０へ流し込む（ストリーミングする）よう命令する。ＭＰＥＧ２符号化器／復号化器２４０は、ハードディスクドライブ２３０からのＭＰＥＧ２データを、例えば、ビデオプロセッサ２１０がテレビ受像機１０５へ送信するスーパー映像信号（Ｓ−Ｖｉｄｅｏ）に変換する。
【００２９】
尚、ＭＰＥＧ２符号化器２２０及びＭＰＥＧ２符号化器／復号化器２４０のためのＭＰＥＧ２標準は、例示のためだけに選択されている。本発明の他の実施例では、ＭＰＥＧ２符号化器及びＭＰＥＧ２復号化器は、ＭＰＥＧ−１、ＭＰＥＧ−２、及び、ＭＰＥＧ−４標準のうちの少なくとも一つの規格、又は、一つ以上の他の種類の規格に準拠しうる。
【００３０】
この適用例及び請求の範囲に記載された事項のため、ハードディスクドライブ２３０は、読み出し可能及び書き込み可能な任意の大容量記憶装置を含むように定義される。この読み書き可能な大容量記憶装置は、限定的ではなく、例示的に、読み書きディジタル多用途ディスク（ＤＶＤ−ＲＷ）、書換可能ＣＤ−ＲＯＭ、ＶＣＲテープ等のための従来の磁気ディスクドライブ及び光ディスクドライブを含む。実際、ハードディスクドライブ２３０は、ビデオレコーダ１５０に恒久的に埋め込まれるという従来の意味で、固定式である必要はない。そうではなく、ハードディスクドライブ２３０には、記録された映像番組を蓄積するためのビデオレコーダ１５０に専用の大容量記憶装置が含まれる。従って、ハードディスクドライブ２３０は、例えば、幾つかの読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを保持するジュークボックス装置（図示せず）のような付属周辺機器ドライブ又は取り外し可能な着脱式ディスクドライブ（内蔵型若しくは付属型）を含みうる。図２に概略的に示すように、この種の着脱式ディスクドライブは、書換可能なＣＤ−ＲＯＭディスク２３５を収容し読み出すことが可能である。
【００３１】
更に、本発明の有利な実施例によれば、ハードディスクドライブ２３０は、例えば、視聴者の家庭のパーソナルコンピュータ（ＰＣ）中のディスクドライブ、又は、視聴者のインターネットサービスプロバイダ（ＩＳＰ）のサーバ上のディスクドライブを含む外部大容量記憶装置でもよく、ビデオレコーダ１５０は、ネットワーク接続（例えば、インターネットプロトコル（ＩＰ）接続）を介して、この外部大容量記憶装置にアクセスし制御し得る。
【００３２】
コントローラ２５０は、ビデオプロセッサ２１０によって受信された映像信号に関連するビデオプロセッサ２１０からの情報を取得する。コントローラ２５０が、ビデオレコーダ１５０は映像番組を受信中であると判定すると、コントローラ２５０は、その映像番組が記録されるべきものであるとして既に選択されているものであるか否かを判定する。映像番組が記録されるべきものである場合、コントローラ２５０は、上述の方法で映像番組をハードディスクドライブ２３０上に記録させる。映像番組を記録する必要がない場合、コントローラ２５０は、上述の方法で、ビデオ番組をビデオプロセッサ２１０によって処理させテレビ受像機１０５へ送信させる。
【００３３】
メモリ２８０は、ランダムアクセスメモリ（ＲＡＭ）、又は、ランダムアクセスメモリ（ＲＡＭ）と読み出し専用メモリ（ＲＯＭ）の組み合わせにより構成できる。メモリ２８０は、フラッシュメモリのような不揮発性ランダムアクセスメモリ（ＲＡＭ）でもよい。ビデオレコーダ１５０の他の有利な実施例では、メモリ２８０は、ハードディスクドライブ（図示せず）といった大容量記憶データ装置でもよい。メモリ２８０は、読み書きＤＶＤ又は書換可能なＣＤ−ＲＯＭを読み出す付属型周辺機器ドライブ又は着脱式ディスクドライブ（内蔵型でも付属型でもよい）を含みうる。図２に概略的に示すように、この種の着脱式ディスクドライブは、追記型（書換可能な）ＣＤ−ＲＯＭディスク２８５を収容し読み出すことが可能である。
【００３４】
映像番組がハードディスクドライブ２３０に記録されているとき（或いは、代替的に、映像番組がハードディスクドライブ２３０に記録された後）、コントローラ２５０は、テキスト要約作成器２７０を使用して記録映像番組のテキスト要約を取得する。テキスト要約作成器２７０は、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＴＨＥ ＳＵＭＭＡＲＩＺＡＴＩＯＮ ＡＮＤ ＩＮＤＥＸＩＮＧ ＯＦ ＶＩＤＥＯ ＰＲＯＧＲＡＭＳ ＵＳＩＮＧ ＴＲＡＮＳＣＲＩＰＴ ＩＮＦＯＲＭＡＴＩＯＮ”である米国特許出願明細書（書類番号ＰＨＡ７０１１３７）に記載されているような上述の映像番組要約方法及び装置を使用する。テキスト要約作成器２７０は、映像番組を、映像信号／音声信号／データ信号として受信する。テキスト要約作成器２７０は、映像信号／音声信号／データ信号から、番組要約、内容のテーブル、及び、映像番組の番組索引を作成する。テキスト要約作成器２７０は、テキストに対応する映像の選択されたキーフレームを識別するため、テキストの各ラインに関連したタイムスタンプを使用する。
【００３５】
マルチメディア要約は、映像／音声／テキストの要約である。コントローラ２５０は、映像番組の内容を要約する情報を表示するマルチメディア要約を作成する。コントローラ２５０は、テキスト要約作成器２７０によって作成された番組要約を使用し、適当なビデオ画像を追加することによって映像番組のマルチメディア要約を作成する。マルチメディア要約は、（１）テキスト、（２）単一の映像フレームを含む静止ビデオ画像、（３）映像フレームの系列により構成され（映像クリップ若しくは映像セグメントと呼ばれる）動画像、（４）音声、並びに、（５）これらの任意の組合せ、を表示可能である。
【００３６】
コントローラ２５０は、映像ユニット２６０を用いて、要約されるべき映像番からビデオ画像を獲得する。映像ユニット２６０は、１９９９年７月９日に出願された、発明の名称が”ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＬＩＮＫＩＮＧ Ａ ＶＩＤＥＯ ＳＥＧＭＥＮＴ ＴＯ ＡＮＯＴＨＥＲ ＳＥＧＭＥＮＴ ＯＲ ＩＮＦＯＲＭＡＴＩＯＮ ＳＯＵＲＣＥ”である米国特許出願第０９／３５１，０８６号明細書に記載された、上述の映像セグメントを連結する方法及び装置を使用する。
【００３７】
コントローラ２５０は、マルチメディア要約を作成するため使用される適当なビデオ画像を識別しなければならない。本発明の有利な一実施例は、マルチメディア要約を作成するため使用されるべき適当なビデオ画像を識別することができるコンピュータソフトウェア３００を含む。図３は、本発明のコンピュータソフトウェア３００を収容するメモリ２８０の選択された一部分の説明図である。メモリ２８０は、オペレーティングシステム・インタフェース・プログラム３１０と、ドメイン識別アプリケーション３２０と、トピック・キュー識別アプリケーション３３０と、サブトピック・キュー識別アプリケーション３４０と、音声・映像テンプレート識別アプリケーション３５０と、マルチメディア要約記憶場所３６０とを含む。
【００３８】
コントローラ２５０及びコンピュータソフトウェア３００は、一体として、本発明を実行することができるマルチメディア要約作成器を構成する。メモリ２８０に格納されたコンピュータソフトウェア３００中の命令の指示に従って、コントローラ２５０は、映像番組のマルチメディア要約を作成し、マルチメディア要約をマルチメディア要約記憶場所３６０に格納し、視聴者からの要求時に格納されたマルチメディア要約を再生する。オペレーティングシステム３１０は、コンピュータソフトウェア３００の動作と、コントローラ２５０のオペレーティングシステムを協調させる。
【００３９】
マルチメディア要約を作成するため、コントローラ２５０は、最初に、記録映像番組のテキスト要約を獲得するため、テキスト要約作成器２７０へアクセスする。コントローラ２５０は、次に、マルチメディア要約を作成するためにテキスト要約に組み込むため選択されるべき適当なビデオ画像を識別する。これを行うため、コントローラ２５０は、はじめに、映像番組のタイプ（ドメイン、カテゴリー、或いは、ジャンルと称される）を識別する。たとえば、ドメイン（又は、カテゴリー若しくはジャンル）は、トークショー、ニュース番組などである。以下の説明中、用語ドメインを使用する。
【００４０】
ソフトウェア３００内のドメイン識別アプリケーション３２０は、ドメインのタイプのデータベース（ドメインデータベース）を含む。ドメインデータベースは、ドメインデータベースに保持されるドメインのタイプ毎の識別用特徴を格納する。コントローラ２５０は、要約される映像番組のタイプを識別するため、ドメイン識別アプリケーション３２０にアクセスする。ドメイン識別アプリケーション３２０は、ドメインの各タイプの識別用特徴を、要約中の映像番組の特徴と比較する。この比較の結果を用いることにより、ドメイン識別アプリケーション３２０は、映像番組の領域を識別する。
【００４１】
コントローラ２５０は、次に、映像番組のトピックと関連した（トピック・キューと称される）語若しくは句（語句）を識別する。たとえば、トークショー映像番組の場合のトピック・キューは、語「最初のゲスト」若しくは語「次のゲスト」である。同様に、ニュース番組映像番組用のトピック・キューは、語「から中継」、或いは、語「次の話題は」である。トピック・キューとして選択された特別の語若しくは句は、映像番組中の変化ポイント（すなわち、トピックスの変化）を指定するため選ばれる。これにより、映像番組を、種々のトピックスを扱う部分に分割できるようになる。
【００４２】
ソフトウェア３００のトピック・キュー識別アプリケーション３００は、トピック・キューのデータベース（トピック・キュー・データベース）を含む。トピック・キュー・データベースは、ドメインデータベースに格納されたドメインのタイプ毎にトピック・キューを収容する。コントローラ２５０は、要約されている映像番組内のトピック・キューを識別するためトピック・キュー識別アプリケーション３３０にアクセする。トピック・キュー識別アプリケーション３２０は、トピック・キュー・データベース内の各トピック・キューを要約されている映像番組のテキスト要約と比較する。
【００４３】
トピック・キューが見つかった場合、コントローラ２５０は、トピック・キューと関連した音声・映像セグメント（音声・映像テンプレート、又は、視聴覚テンプレート）を識別するため音声・映像テンプレート識別アプリケーション３５０にアクセスする。トークショー映像番組内の「最初のゲスト」に対する適当な音声・映像テンプレートは、ゲストが登場する音声・映像セグメントである。「最初のゲスト」の同一性は、テキスト内で示されたゲストの名前から獲得される。たとえば、トークショーのホスト役が、「最初のゲストは、かけがえのない、Ｄｏｌｌｙ Ｐａｒｔｏｎです。」と言うとき、トピック・キュー識別アプリケーション３３０は、単語「最初のゲスト」をトピック・キューとして識別する。最初のゲストのＤｏｌｌｙ Ｐａｒｔｏｎの同一性は、テキスト要約から獲得される。
【００４４】
映像音声テンプレート識別アプリケーション３５０は、マルチメディア要約へ追加するため選択されるべき音声・映像テンプレートとして、Ｄｏｌｌｙ Ｐａｒｔｏｎの音声・映像セグメントを識別し獲得しなければならない。紹介後の数秒のうちに、Ｄｏｌｌｙ Ｐａｒｔｏｎは、ステージに登場する。彼女の顔が現れ、ビデオ画像の一部を占領する。以下で詳述するように、音声・映像テンプレート識別アプリケーション３５０は、Ｄｏｌｌｙ Ｐａｒｔｏｎの顔の画像を識別し、Ｄｏｌｌｙ Ｐａｒｔｏｎの顔の画像を含む音声・映像テンプレートを抽出し、この音声・映像テンプレートをマルチメディア要約に追加する。
【００４５】
音声・映像テンプレート識別アプリケーション３５０は、次のようにＤｏｌｌｙ Ｐａｒｔｏｎの顔の画像を識別する。Ｄｏｌｌｙ Ｐａｒｔｏｎの紹介直後に現れたビデオ画像から、音声・映像テンプレート識別アプリケーション３５０は、トークショーのホスト役（或いは、ミュージシャンなどのトークショーのレギュラー出演者）の顔画像以外の人物の顔画像を選択する。音声・映像テンプレート識別アプリケーション３５０は、その人物の画像がＤｏｌｌｙ Ｐａｒｔｏｎの画像であると仮定する。
【００４６】
この仮定は、音声・映像テンプレート識別アプリケーション３５０がＤｏｌｌｙ Ｐａｒｔｏｎの紹介直後に映像に表れた観客の画像を獲得した場合、間違っている。したがって、数分経過後に、最初に選択された画像内の人物の同一性を検査することによって、この仮定を確認することが必要である。これは、顔画像、声、ゲストのネームプレートのような識別用特徴、或いは、その他の同様の識別用特徴を検査することによって行われる。
【００４７】
Ｄｏｌｌｙ Ｐａｒｔｏｎは、トークショーの１０乃至１２分の間中登場するので、初期選択画像が実際にＤｏｌｌｙ Ｐａｒｔｏｎの画像であるかどうかを確かめるため、ゲストの画像を解析する時間がある。後で行われた検査によって、最初の仮定は誤りであり、、初期選択画像はＤｏｌｌｙ Ｐａｒｔｏｎの画像ではないということが判明した場合、画像をＤｏｌｌｙ Ｐａｒｔｏｎの画像で置き換えることによって訂正がなされる。
【００４８】
本発明の他の有利な一実施例によれば、著名人の顔画像のデータベース（図示せず）が音声・映像テンプレート識別アプリケーション３５０と共に使用される。映像からの人物（たとえば、トークショーのゲスト）の顔画像は、データベース内の各著名人の顔画像と比較される。顔マッチングは、主成分分析（ＰＣＡ）技術、若しくは、その他の同等の技術を使用して実現され得る。一致していることが判明した場合、その人物は、誰であるかが確認される。一致する顔画像が見つからない場合、その人物の顔画像は著名人データベースに存在しない。その場合、Ｄｏｌｌｙ Ｐａｒｔｏｎを識別するため使用された上述の手続が、この人物を識別するため使用される。
【００４９】
著名人データベースに存在しない有名人が識別された後、この有名人はデータベースに追加される。著名人データベースの内容は、人物をデータベースに追加することによって、或いは、データベースから人物を削除することによって、絶えず変更される。このようにして、著名人データベース内の著名人のリストは、常に最新の状態に保たれる。
【００５０】
映像セグメント内の顔を検出し識別するその他の方法は、〔文献〕Ｖ． Ｖｉｌａｐｌａｎａ， Ｆ． Ｍａｒｑｕｅｓ， Ｐ． Ｓａｌｅｍｂｉｅｒ ａｎｄ ． Ｇａｒｒｉｄ， ”Ｒｅｇｉｏｎ−Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ”， Ｔｈｅ ９^ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ＥＵＳＩＰＣＯ−９８， Ｒｈｏｄｅｓ （１９９８）、及び、〔文献〕Ｓ．Ｓａｔｏｈ， Ｙ． Ｎａｋａｍｕｒａ ＆ Ｔ． Ｋａｎａｄｅ， ”Ｎａｍｅ−Ｉｔ： Ｎａｍｉｎｇ ａｎｄ Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｎｅｗｓ Ｖｉｄｅｏｓ”， ＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ， Ｖｏｌｕｍｅ６（１）， ｐｐ．２２−３５（１９９９）に記載されている。
【００５１】
他のアプリケーション例では、スポーツ番組用の音声・映像テンプレートは、（１）ある時間間隔に亘る事前に指定された全体的な動き、又は、（２）動きのタイプの系列により構成され得る。たとえば、「サッカー試合」映像番組におけるトピック・キューは、単語「ゴール」或いは「１点目のゴール」である。トピック・キューが識別された後、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、１点目のゴールのシーンの音声・映像クリップを識別し獲得する必要がある。
【００５２】
ゴールが得点されたときを識別するため、音声・映像テンプレート識別アプリケーション３５０は、最初に、高速モーションでゴールを検出し、次に、スローモーションでゴールを検出する。ゴールの時間的位置が見つけられたとき、ゴールが得点された時間間隔をカバーする音声・映像クリップが抽出される。たとえば、音声・映像クリップは、ゴールが得点される５秒前のポイントから、ゴールが得点された５秒後のポイントまで達する。このようにして、スポーツ番組のマルチメディア要約は、ゴールが得点された番組セグメントの再生の系列により構成される。
【００５３】
他の例において、「ニュースショー」映像番組内のトピック・キューは、「中継」である。ニュースショー映像番組内の中継トピック・キューに対する適当な音声・映像テンプレートは、中継リポートが行われている場所の音声・映像セグメントである。或いは、音声・映像テンプレートは、中継リポートを行っているリポーターの音声・映像セグメントである。
【００５４】
ニュース番組のアンカーマンが「ラスベガスからの中継です。」というとき、トピック・キュー識別アプリケーション３５０は、単語「中継」をトピック・キューとして識別し、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、ラスベガスの音声・映像セグメントを識別する。
【００５５】
音声・映像テンプレート識別アプリケーション３５０は、音声・映像テンプレートの組を、特定のドメインタイプに対するトピック・キュー・データベース内に含まれるトピック・キューの組毎に関連付ける。コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０は、当該トピック用のマルチメディア要約に組み入れられるべき適当な音声・映像テンプレートを獲得するため映像ユニット２６０にアクセスする。
【００５６】
音声・映像テンプレートは、映像信号と音声信号の両方を含む。しかし、一部のアプリケーションでは、音声・映像テンプレートは、一方の信号（すなわち、音声信号と映像信号の両方ではなく、いずれか一方の信号）だけを含む場合がある。１種類の信号しか含まない音声・映像テンプレート用の動作原理は、映像信号と音声信号の両方の信号を含む音声・映像テンプレートに対する動作原理と同じである。
【００５７】
コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０が、適当な音声・映像テンプレートを識別し獲得した後、コントローラ２５０は、トピック、及び、対応した音声・映像テンプレートをマルチメディア要約へ追加する。マルチメディア要約中のトピック・キューの場所は、マルチメディア要約内のエントリー・ポイントとなるように定義される。エントリー・ポイントは、マルチメディア要約内で、マルチメディア要約を閲覧する視聴者が直接アクセスすることができる場所である。視聴者は、マルチメディア要約内の全てのエントリー・ポイントのリストへアクセスするためのユーザ・インタフェースが提供される。視聴者がマルチメディア要約の特定のトピックに関心をもつとき、視聴者は、マルチメディア要約内のトピックを、トピックのエントリー・ポイントにアクセスすることによって、表示させることができる。
【００５８】
コントローラ２５０がトピックを識別した後、コントローラ２５０は、トピック中のサブトピックと関連した（サブトピック・キューと称される）単語若しくは句（語句）を識別する。たとえば、トークショー映像番組内の「最初のゲスト」というトピック・キューに対するサブトピック・キューは、語「新作映画」或いは語「新著」である。サブトピックは、仕事の計画や「最初のゲスト」の人生における興味深いエピソードなどを指す。サブトピック・キューとして選択された特定の語句は、トピック内での変化ポイント（すなわち、サブトピックの変化）を指定するため選定される。これにより、トピックを異なるサブトピックを取り扱う部分に分割できるようになる。
【００５９】
ソフトウェア３００内のサブトピック・キュー識別アプリケーション３４０は、サブトピック・キューのデータベース（サブトピック・キュー・データベース）を含む。サブトピック・キュー・データベースは、トピック・キュー・データベースに蓄積されたトピック・キューのタイプ毎にサブトピック・キューを収容する。コントローラ２５０は、要約しているトピック内のサブトピックを識別するため、サブトピック・キュー識別アプリケーション３４０にアクセスする。サブトピック・キュー識別アプリケーションは、サブトピック・キュー・データベース内の各サブトピック・キューを要約されているトピックのテキスト要約と比較する。
【００６０】
サブトピック・キューが見つかったとき、コントローラ２５０は、サブトピック・キューと関連した音声・映像テンプレートを識別するため、音声・映像テンプレート識別アプリケーション３５０にアクセスする。たとえば、トークショー映像番組における「新作映画」サブトピック・キュー用の音声・映像テンプレートは、新作映画の題名を表示する静止ビデオ画像である。あるいは、トークショー映像番組における「新作映画」サブトピック・キュー用の音声・映像テンプレートは、新作映画の音声・映像セグメント（すなわち、クリップ）でもよい。
【００６１】
トークショーのホスト役が、「次に、Ｔｏｍ Ｈａｎｋの新作映画からのクリップ（１場面）をお見せします。」と言うとき、サブトピック・キュー識別アプリケーション３４０は、単語「新作映画」をサブトピック・キューとして識別し、音声・映像テンプレート識別アプリケーション３５０は、マルチメディア要約に追加するため選択されるべき音声・映像テンプレートとして、新作映画の音声・映像セグメントを識別する。
【００６２】
音声・映像テンプレート識別アプリケーション３５０は、音声・映像テンプレートの組を、特定のトピックのタイプのためのサブトピック・キュー・データベースに収容されているサブトピック・キューの組毎に関連付ける。コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０は、サブトピック用のマルチメディア要約に組み入れられるべき適当な音声・映像セグメントを獲得するため、像ユニット２６０にアクセスする。
【００６３】
コントローラ２５０及び音声・映像テンプレート識別アプリケーション３５０が適当な音声・映像テンプレートを識別し取得した後、コントローラ２５０は、サブトピック・キュー及び対応した音声・映像テンプレートをマルチメディア要約に追加する。トピック・キューの場合と同様に、マルチメディア要約内のサブトピック・キューの場所は、マルチメディア要約内のエントリー・ポイントになるように定義される。視聴者がマルチメディア要約内の特定のサブトピックに関心を持つ場合、視聴者は、サブトピックのエントリー・ポイントにアクセスすることによって、マルチメディア要約内のサブトピックを表示させ得る。
【００６４】
コントローラ２５０は、映像番組のドメインと関連したトピック・キュー及びサブトピック・キューを識別するため上述の処理を継続する。この処理が継続するとき、コントローラ２５０は、映像番組のマルチメディア要約を作成する。コントローラ２５０は、マルチメディア要約を、メモリ２８０のマルチメディア要約記憶場所３６０に格納する。コントローラ２５０は、一つ以上のマルチメディア要約を、長期記憶のためハードディスクドライブ２３０へ転送する。
【００６５】
マルチメディア要約を作成する処理は、図４を参照することによって、さらに明瞭に理解できる。図４は、本発明の有利な一実施例の方法の動作を説明するフローチャート４００を表わす。フローチャート４００に記載された処理ステップは、コントローラ２５０で実行される。コントローラ２５０は、テキスト要約作成器２７０に、上述の方法で映像番組のテキストを要約させる（処理ステップ４０５）。コントローラ２５０は、次に、映像番組のドメインを識別する（処理ステップ４１０）。続いて、コントローラ２５０は、映像番組の識別されたドメインと関連したトピック・キューを見つけるため、映像番組のテキストをトピック・キューのデータベースと比較する（処理ステップ４１５）。
【００６６】
トピック・キューが見つかった場合、コントローラ２５０は、トピック・キューに対して関連した音声・映像テンプレートを取得し、音声・映像テンプレートをこのトピック・キューに連結する。コントローラ２５０は、トピック・キュー及び関連した音声・映像テンプレートを、マルチメディア要約に保存する（処理ステップ４２０）。
【００６７】
コントローラ２５０は、映像番組の識別されたトピック・キューと関連したサブトピック・キューを見つけるため、映像番組のテキストを、サブトピック・キューのデータベースと比較する（処理ステップ４２５）。サブトピックが見つけられたとき、コントローラ２５０は、サブトピック・キューに対する関連した音声・映像テンプレートを獲得し、音声・映像テンプレートをサブトピック・キューに関連付ける。コントローラ２５０は、サブトピック・キュー及び関連した音声・映像テンプレートを、マルチメディア要約に保存する（処理ステップ４３０）。
【００６８】
コントローラ２５０は、次のサブトピック・キュー又は次のトピック・キューを探索し続ける（判定ステップ４３５）。コントローラ２５０が、これ以上のサブトピック・キュー若しくはトピック・キューは存在しない、と判定した場合、又は、映像番組の終わりに到達した場合、この要約処理が終了する。
【００６９】
コントローラ２５０が次のキューを見つけたとき、コントローラ２５０は、次のキューがサブトピック・キューであるかどうかを判定する（判定ステップ４４０）。次のキューがサブトピック・キューである場合、制御は処理ステップ４３０へ進み、サブトピック・キュー及びその関連した音声・映像テンプレートがマルチメディア要約へ追加される。次のキューがサブトピック・キューではない場合、次のキューはトピック・キューである。制御は処理ステップ４２０へ進み、トピック・キュー及びその関連した音声・映像テンプレートがマルチメディア要約へ追加される。このようにして、マルチメディア要約がトピック及びサブトピックによって組み立てられる。
【００７０】
図５は、本発明の視聴者対話型マルチメディア要約の有利な一実施例の典型的な表示ページの説明図である。図５は、マルチメディア要約全体のエントリー・ポイントが１ページに表示される様子を示している。たとえば、図５に示されたページがトークショー映像番組のマルチメディア要約を表わしているとする。Ａ画像５２０は、最初のゲストの顔を表し、Ｂ画像５４０は、２人目のゲストの顔を表わし、Ｃ画像５６０は、３人目のゲストの顔を表わす。テキストセクション５１０は、最初のゲスト５２０が話題にしたサブトピックのリストを含む。図５に示された例の場合に、これらのサブトピックは、映画、新ＣＤ、及び、新居である。同様に、テキストセクション５３０は、２人目のゲスト５４０が話題にしたサブトピックのリストを収容し、テキストセクション５５０は、３人目のゲスト５６０が話題にしたサブトピックのリストを収容する。
【００７１】
視聴者は、マルチメディア要約による表示のため、三つのテキストリスト５１０、５３０、５５０のいずれかのうちのいずれかのサブトピックを選択し得る。各サブトピックがメニュー項目として順番に強調表示されるとき、視聴者は、一つのサブトピックを選択するための信号を送信するため、遠隔制御部１２５を用いて、表示したいと思うサブトピックを指定することができる。或いは、視聴者は、映像表示システム内に設けられたコンピュータマウス（図示せず）のようなポインティングデバイスを用いて、望ましいサブトピックを指定することが可能である。
【００７２】
視聴者が特定のサブトピックを選択するとき、そのサブトピックに対する要約は、アクセス対象の（有効な）要約５８０として区別された画面の一部分に表示される。サブトピックに関連した音声・映像クリップは、映像再生５９０として区別された画面の一部分に同時に再生される。たとえば、サブトピックが「映画」である場合、音声・映像クリップは、映画からの１場面であるかもしれない。サブトピックが「サッカー試合」である場合、音声・映像クリップは、ゲーム中にゴールが得点された場面であるかもしれない。アクセス対象の要約５８０は、視聴者によって選択されたトピックと、このトピックに関連したサブトピックの要約を表示する。視聴者が新しいトピック又は新しいサブトピックを選択した場合、アクセス対象の要約５８０に表示される要約は、新たに選択されたトピック又はサブトピックに関連したトピック又はサブトピックの要約を反映する。
【００７３】
テキストセクション５７０は、映像番組の全トピックのリストを収容する。たとえば、トークショー映像番組の場合、テキストセクション５７０は、トークショー映像番組の全トピックのリストを収容する。本例の場合、テキストセクション５７０内のリスト中の３項目は、３人のゲストの名前である。テキストセクション５７０に列挙された他の項目は、トークショー映像番組の他のトピック（たとえば、ショーの冒頭のホスト役の独白）に関連する。視聴者は、テキストセクション５７０に一覧された任意のトピックを表示のために選択することができる。トピックが選択されたとき、トピックに関連した音声・映像クリップは、映像再生５９０として示された画面の一部分で再生される。
【００７４】
このマルチメディア要約の表示モードは、マルチメディア要約の表示用の個々の部分を選択するため視聴者による相互作用を必要とする。マルチメディア要約の別の表示モードは、通し再生モードである。この通し再生モードの場合、マルチメディア要約は、映像番組の先頭から始まり、視聴者による相互作用を伴うことなく、再生され続ける。視聴者は、表示用のトピック若しくはサブトピックを選択することによって、この通し再生モードを停止させるため、何時でも介入することができる。
【００７５】
本発明のマルチメディア要約は、映像番組の中で話題にされた製品及びサービスを注文するための方法及び装置と組み合わせて使用することができる。たとえば、視聴者は、トークショー映像番組で話題になった書籍を購入したい場合がある。製品及びサービスは、発明の名称が”ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＲＤＥＲＩＮＧ ＯＮＬＩＮＥ ＵＴＩＬＩＺＩＮＧ Ａ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＲＥＣＥＩＶＥＲ”である米国特許出願明細書（書類番号ＰＨＡ７０１０７１）に記載された、上記の方法及び装置を用いて直接注文してもよい。
【００７６】
また、本発明のマルチメディア要約は、視聴者の興味に関する付加情報を取得する方法及び装置と組み合わせて使用することも可能である。たとえば、視聴者が、まもなく公開予定の新作映画を解説するサブトピックを選択した場合、この視聴者の問い合わせは、将来の参考のため記録される。マルチメディア要約は、映画が公開されたときに視聴者へ通知し、近隣の映画館の上映時間及びチケット価格を提供する。この通知は、関連した番組の要約に添付してもよい。或いは、この通知は、電子メール、若しくは、類似した通信リンクを用いて視聴者へ送信してもよい。この通知は、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、或いは、その他の同様の通信機器に可聴性アラーム（たとえば、ビープ音）を発生させてもよい。
【００７７】
イベント照合エンジンが、近隣地域内で行われるイベントを見つけるために使用され得る。たとえば、トークショー番組中に、俳優Ｋｅｖｉｎ Ｓｐａｃｅｙが、現在、”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”という名前の映画に出演中である、と言ったとする。視聴者がサブトピック”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”を選択すると、マルチメディア要約は、ある期間（たとえば、数ヶ月間）に亘って、他の番組（たとえば、新番組）、又は、地元のウェブサイト上で、映画”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”に関する情報を検索するため、ユーザの興味の指標を使用することが可能である。
【００７８】
映画”Ａｍｅｒｉｃａｎ Ｂｅａｕｔｙ”の上映時間及び料金に関する付加情報が見つけられたとき、マルチメディア要約は、電話番号１−８００−ＦＩＬＭ−７７７をオーバーレイすることができ、映画が有料視聴テレビで放送予定である旨を視聴者に通知することができ、近隣の劇場における映画の上映時間及び料金に関する情報を自動的に電子メール送信し、若しくは、表示することが可能である。鑑賞チケットは、上述の方法を用いて直接注文することもできる。
【００７９】
本発明のマルチメディア要約は、視聴者が長期間に亘って関心のある付加情報を見つけるため、マルチメディア要約からトピック及びサブトピックを使用できるようにする。マルチメディア要約は、視聴者が関心をもつ情報に関して、積極的に動作し検索する状態を維持する。第１の番組のマルチメディア要約に基づいて見つけ出された新たな付加情報は、第２の番組が第１の番組に類似したトピック、サブトピック、又は、キーワードを持つ場合、第２の番組のマルチメディア要約に添付させてもよい。
【００８０】
本発明を詳細に説明したが、当業者は、最広義による本発明の精神及び範囲を逸脱することなく、種々の変更、置換及び代替をなし得ることがわかる筈である。
【図面の簡単な説明】
【図１】
映像表示システムの一例の説明図である。
【図２】
図１に示された映像表示システムの一例に組み込まれる映像番組の視聴者対話型マルチメディア要約を作成するシステムの有利な一実施例の説明図である。
【図３】
本発明の視聴者対話型マルチメディア要約の有利な一実施例と共に使用されるコンピュータソフトウェアの説明図である。
【図４】
映像表示システムの一例における本発明の視聴者対話型マルチメディア要約の有利な一実施例の動作を説明するフローチャートである。
【図５】
本発明の視聴者対話型マルチメディア要約の有利な一実施例の表示ページの一例の説明図である。

Claims (18)

1. 映像番組を表示する能力を備えた映像表示システムにおいて利用され、該映像番組のマルチメディア要約を作成するシステムであって、
   該映像番組のテキストのトランスクリプトを取得し、該映像番組の音声・映像セグメントを取得する能力を備えているマルチメディア要約作成器を具備し、
   該マルチメディア要約作成器は、該映像番組のマルチメディア要約を作成するため該トランスクリプトの部分と該音声・映像セグメントの部分を組み合わせる能力を備えている、
   システム。
2. 該マルチメディア要約作成器は、該映像番組のトランスクリプト内のトピックに関係した音声・映像セグメントを選択し、該トピック及び該音声・映像セグメントを該マルチメディア要約に追加することにより、該マルチメディア要約を作成する能力を備えている、請求項１記載のシステム。
3. 該マルチメディア要約作成器は、
   該映像番組の該トランスクリプト内の少なくとも一つのトピック・キューを識別し、該少なくとも一つのトピック・キューに関連した少なくとも一つの音声・映像テンプレートを選択し、該トピック・キュー及び該音声・映像テンプレートを該マルチメディア要約に追加することにより、該映像番組の該マルチメディア要約を作成するため、
   メモリに接続され該メモリに格納されたコンピュータソフトウェア命令を実行する能力を備えたコントローラを有する、
   請求項２記載のシステム。
4. 該コントローラは、該映像番組の該少なくとも一つのトピックに対し少なくとも一つサブトピック・キューを識別し、該少なくとも一つのサブトピック・キューに関連した少なくとも一つの音声・映像テンプレートを選択し、該サブトピック・キュー及び該音声・映像テンプレートを該マルチメディア要約に追加することにより、該映像番組の該マルチメディア要約を作成するため、該コントローラに接続されたメモリに格納されたコンピュータソフトウェア命令を実行する能力を備えている、
   請求項３記載のシステム。
5. 該コントローラは、
   該映像番組のタイプを識別する能力を備えたドメイン識別アプリケーションと、
   該映像番組の該トランスクリプト内の該少なくとも一つのトピック・キューを識別する能力を備えたトピック・キュー識別アプリケーションと、
   該映像番組の該少なくとも一つのトピック内の該少なくとも一つのサブトピック・キューを識別する能力を備えたサブトピック・キュー識別アプリケーションと、
   該少なくとも一つのトピック・キューに関連した少なくとも一つの音声・映像テンプレートを識別し、該少なくとも一つのサブトピック・キューに関連した少なくとも一つの音声・映像テンプレートを識別する能力を備えた音声・映像テンプレート識別アプリケーションと、
   を実行する能力を備えている、
   請求項３記載のシステム。
6. 該コントローラは、視聴者が該マルチメディア要約の各トピックにアクセスできるようにさせるエントリー・ポイントをトピック毎に作成し、視聴者が該マルチメディア要約の各サブトピックにアクセスできるようにさせるエントリー・ポイントをサブトピック毎の作成するため、該コントローラに接続されたメモリに格納されたコンピュータソフトウェア命令を実行する能力を備えている、請求項４記載のシステム。
7. 請求項１乃至６のうちいずれか一項記載の映像番組のマルチメディア要約を作成するシステムを有する映像表示システム。
8. 映像番組を表示する能力を備えた映像表示システムにおいて利用され、該映像番組のマルチメディア要約を作成する方法であって、
   該映像番組のテキストのトランスクリプトをマルチメディア要約作成器に取得する手順と、
   該映像番組の音声・映像セグメントを該マルチメディア要約作成器に取得する手順と、
   該映像番組のマルチメディア要約を作成するため該マルチメディア要約作成器で該トランスクリプトの部分と該音声・映像セグメントの部分を組み合わせる手順と、
   を有する方法。
9. 該マルチメディア要約作成器で該映像番組の該マルチメディア要約を作成するため該トランスクリプトの部分と該音声・映像セグメントの部分を組み合わせる手順は、
   該映像番組のトピックに関係した音声・映像セグメントを選択する手順と、
   該トピック及び該音声・映像セグメントを該マルチメディア要約へ追加する手順と、
   を有する請求項８記載の方法。
10. 該マルチメディア要約作成器に接続されたメモリに格納されたコンピュータソフトウェアから該マルチメディア要約作成器に命令を読み出す手順と、
    該映像番組の該トランスクリプト内の少なくとも一つのトピック・キューを識別するため該マルチメディア要約作成器で該命令を実行する手順と、
    該少なくとも一つのトピック・キューと関連した少なくとも一つの音声・映像テンプレートを選択するため該マルチメディア要約作成器で該命令を実行する手順と、
    該トピック・キュー及び該音声・映像テンプレートを該マルチメディア要約に追加するため該マルチメディア要約作成器で該命令を実行する手順と、
    を更に有する請求項９記載の方法。
11. 該マルチメディア要約作成器に接続されたメモリに格納されたコンピュータソフトウェアから該マルチメディア要約作成器に命令を読み出す手順と、
    該映像番組の該少なくとも一つのトピック・キューに対する少なくとも一つのサブトピック・キューを識別するため該マルチメディア要約作成器で該命令を実行する手順と、
    該少なくとも一つのサブトピック・キューと関連した少なくとも一つの音声・映像テンプレートを選択するため該マルチメディア要約作成器で該命令を実行する手順と、
    該サブトピック・キュー及び該音声・映像テンプレートを該マルチメディア要約に追加するため該マルチメディア要約作成器で該命令を実行する手順と、
    を更に有する請求項１０記載の方法。
12. ドメイン識別アプリケーションを用いて該映像番組のタイプを識別する手順と、
    トピック・キュー識別アプリケーションを用いて該映像番組の該トランスクリプト内の少なくとも一つのトピック・キューを識別する手順と、
    サブトピック・キュー識別アプリケーションを用いて該映像番組の該少なくとも一つのトピック内で少なくとも一つのサブトピック・キューを識別する手順と、
    音声・映像テンプレート識別アプリケーションを用いて該少なくとも一つのトピック・キューと関連した少なくとも一つの音声・映像テンプレートを識別する手順と、
    該音声・映像識別アプリケーションを用い該少なくとも一つのサブトピック・キューと関連した少なくとも一つの音声・映像テンプレートを識別する手順と、を更に有する請求項１１記載の方法。
13. 該マルチメディア要約作成器で該マルチメディア要約作成器に接続されたメモリに格納されたコンピュータソフトウェアから命令を読み出す手順と、
    視聴者が該マルチメディア要約内の各トピックにアクセスできるようにさせるエントリー・ポイントをトピック毎に作成するため該マルチメディア要約作成器で該命令を実行する手順と、
    視聴者が該マルチメディア要約内の各サブトピックにアクセスできるようにさせるエントリー・ポイントをサブトピック毎に作成するため該マルチメディア要約作成器で該命令を実行する手順と、
    を更に有する請求項１２記載の方法。
14. 該映像番組中に最初に人物が登場した後に、音声・映像テンプレート識別アプリケーションを用いて該映像番組中の該人物の顔画像を取得する手順と、
    該人物の少なくとも一つの識別用特徴を検索することにより該人物の同一性を確認する手順と、
    該人物の同一性が確認された後、該人物の画像を該マルチメディア要約に追加する手順と、
    を更に有する請求項８記載の方法。
15. プログラマブル装置に請求項１乃至６のうちいずれか一項記載のシステムとしての機能を実現させるためのコンピュータプログラム。
16. 映像番組のトランスクリプトの少なくとも一部分を含む映像番組のマルチメディア要約。
17. 該映像番組の少なくとも一つのトピック内の少なくとも一つのサブトピックと関連した該映像番組の少なくとも一つの音声・映像セグメントを含む、請求項１６記載の映像番組のマルチメディア要約。
18. トピックに関連した該音声・映像セグメントと関連したトピック・エントリー・ポイントを更に含み、各エントリー・ポイントは視聴者が該トピックと関連した音声・映像セグメントにアクセスできるようにさせる、請求項１７記載の映像番組のマルチメディア要約。

Images