JP2004505563A - ビデオ強調用のトランスクリプト・トリガー情報 - Google Patents

ビデオ強調用のトランスクリプト・トリガー情報 Download PDF

Info

Publication number
JP2004505563A
JP2004505563A JP2002515840A JP2002515840A JP2004505563A JP 2004505563 A JP2004505563 A JP 2004505563A JP 2002515840 A JP2002515840 A JP 2002515840A JP 2002515840 A JP2002515840 A JP 2002515840A JP 2004505563 A JP2004505563 A JP 2004505563A
Authority
JP
Japan
Prior art keywords
video program
information
segment
transcript text
user profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002515840A
Other languages
English (en)
Inventor
マッギー,トマス
ディミトロワ,ネヴェンカ
アグニホトリ,ラリタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004505563A publication Critical patent/JP2004505563A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests

Abstract

本発明は、ビデオ番組編成に対する補充情報を獲得するシステム及び方法である。トランスクリプト・テキストは、関心のある用語について獲得され、その用語に関連した情報が識別される。ユーザ・プロファイルと、閲覧されているビデオ・セグメントのカテゴリーとに依存して、補充情報が表示用にフォーマットされる。時間の経過と共に、補充情報を関心のある用語に関連付けるルールは、学習モデルを用いて修正される。

Description

【0001】
〔発明の背景〕
1.発明の分野
本発明は、メディア・テクノロジーの分野に係り、特に、ビデオ及び関連したトランスクリプト・テキストに関する。
【0002】
2.関連出願へのクロスリファレンス
本発明は、1999年7月9日に譲受人によって出願され、参考のため引用された同時係属中の特許出願第09/351,086号と同様に、テキスト・トランスクリプトを用いてビデオを補充情報と関連付け、テキスト的な特徴を抽出し、追加する。
【0003】
3.関連技術の説明
近年、メディア情報源の数は増加し、各情報源からの情報量も増加し、情報の氾濫を招いている。殆どのコンシューマは、膨大な量の情報の中から、自分の欲求及びニーズと直接関係のある情報を得るために取捨選択する時間や傾向を持ち合わせない。したがって、いわゆる「プッシュ・テクノロジー」が開発された。ポイントキャスト(Pointcast)又はバックウェブ(Backweb)のようなウェブキャスティング・アプリケーション、又は、より新しいウェブ・ブラウザは、ユーザに対して、ユーザの関心がある情報カテゴリー及びウェブ・サイトを質問する。このとき、ウェブ・サーバーは、ユーザが要求するまで待機するのでは無く、関心の情報をユーザへプッシュ(推奨)する。これは、周期的に、かつ、控えめに行われる。
【0004】
メディア・テクノロジーの進歩と同時に、ビデオ、オーディオ及びその他のメディアの間の境界線が不鮮明になる。メディア・テクノロジーの進歩によって、インターネット情報及びその他の情報素材を、通例的なテレビ番組と共に、コンシューマのビデオディスプレイへ配信できるようになった。インターネットは、電子商取引のツールになり始めているので、コンシューマは、同じ話題若しくは関連した話題に関して、メディア、ビデオ、オーディオ、及びテキスト情報の組合せを閲覧するようにしむけられている。コンシューマは、ワールド・ワイド・ウェブ(WWW)上で自分が閲覧している主題に関する付加情報を取得するため、ハイパーリンク概念と「ドリルダウン」の観念に熟知している。
【0005】
この付加情報の取得は、現在、クローズド・キャプション・テキスト、オーディオ、並びに、自動的なストーリーの区分け及び識別を用いて行われる。Mitre Corporationから供給されるブロードキャスト・ニュース・エディタ(BNE)は、ニュースキャストを個別のストーリー・セグメントに自動的に分割し、各ストーリー・セグメントの要約を、このセグメントと関連したクローズド・キャプション・テキストの先頭行に設けることによって、このような取得を可能にさせる。クローズド・キャプション・テキスト又はオーディオからのキーワードは、ストーリー・セグメント毎に決定される。
【0006】
同様にMitre Corporationから供給されるブロードキャスト・ニュース・ナビゲータ(BNN)は、コンシューマによって選択された検索語と一致した各ストーリー・セグメント内のキーワードの個数によってストーリー・セグメントをソートする。これに応じて、特定のコンシューマが関心をもつ可能性のあるストーリー・セグメントが容易に識別され得る。しかし、BNNとBNEの組合せの使用は、コンシューマが明示的な検索トピックを考慮していることを要求する。しかし、これは、チャネルを漫然と見てまわる典型的な情況では一般的ではない。
【0007】
テレビ番組編成のための補充情報をユーザに提供する技術を開示している特許には、Brodskyに発行された、発明の名称が”Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary”である米国特許第5,809,471号と、Legall外に発行された、発明の名称が”Integrated search of electronic program guide, interest and other information resources”である米国特許第6,005,565号とが含まれる。’471号特許では、キーワードがテレビジョン番組又はクローズド・キャプション・テキストから抽出され、動的に変化する辞書を作成する。ユーザは、テレビ放送中で目にした項目、又は、耳にした単語に基づいて情報を要求する。ユーザの要求は、辞書と照合され、一致した場合に、表示するための補充情報の検索が開始される。
【0008】
’565号特許では、ユーザは、獲得すべきトピックス及び情報源を選択する。ユーザ入力に基づいて、検索ツールは、電子番組ガイドの検索、及び、ワールド・ワイド・ウェブのようなその他の情報の検索を実行し、その結果を表示する。’471号特許と’565号特許の両方は、ユーザが関心のあるキーワードを与えることを要求する。どちらの特許も、番組の主題(すなわち、株式市場リポート)とは全く異なるものとして、取得された補充情報を、番組の大域的なコンテキスト(すなわち、ニュース番組)に関連させることがない。
【0009】
〔発明の概要〕
したがって、コンシューマのテレビ視聴体験を増強する補充マルチメディア情報を自動的に提供するトランスクリプト・テキストを利用した方法及びシステムを提供することが効果的であろう。いわゆるトランスクリプト・テキストは、ビデオ・テキストと、音声認識ソフトウェアによって生成されたテキストと、番組トランスクリプトと、電子番組ガイド情報と、番組情報の全部若しくは一部を収容するクローズド・キャプション・テキストと、のうちの少なくとも一つの内容を含む。ビデオ・テキストは、前景に表示された、スーパーインポーズ、或いは、上に重ねられたテキストであり、画像は背景側にある。たとえば、アンカーの名前は、屡々、ビデオ・テキストとして表示される。ビデオ・テキストは、たとえば、ビデオ画像から識別され、抽出され得る街路標識のような画像に埋め込まれたテキストの形式をなす場合もある。
【0010】
また、個別のコンシューマの既知の関心若しくはプロファイルに特有な補充情報だけではなく、視聴されている番組のコンテキストに特有である補充情報も提供することが有利である。たとえば、ニュース・セグメントは、ケーブル・ネットワーク・ニュース(CNN)のウェブページへのリンクと関連付けられ、コマーシャルは、付加的な製品情報と関連付けられる。提案する方法及びシステムは、テレビのコンテンツとその他のメディアのコンテンツとの間で新しい関連性を継続的に発生させるため、ならびに、表示されるべき補充情報のタイプ及び量をカスタマイズするため、学習モデルを使用する。かくして、補充情報は、視聴者に邪魔になったり、或いは、視聴者側の何らかの動作を要求したりすることなく、テレビ番組と一体化される。
【0011】
本発明は、ビデオ・セグメントと関連した補充情報を取得し、コンシューマのビデオディスプレイに表示するシステム(すなわち、方法、装置、及びコンピュータ実行可能な手順)を提供することによって上記のニーズを解決する。このシステムは、補充情報を取得するための拡張キーワードが、ビデオ・セグメントに付随したクローズド・キャプション・テキストに含まれるか、或いは、その他のトランスクリプト関連テキストに含まれるかどうかを判定する認識エンジンを具備する。キーワードが検出されたとき、蓄積されたルールは、表示されるべき補充情報を指定する。この情報は、より大きい情報のセットから選択され、ユーザ・プロファイル及びセグメントのコンテキストに応じて選択される。或いは、トランスクリプト・キーワードを拡張し、ユーザ・プロファイルと照合してもよい。セグメントのコンテキストは、分類データに基づいて自動的に判定される。これらのデータには、番組分類、オブジェクト追跡法、トランスクリプト情報及び/又は電子番組ガイド情報の自然言語処理が含まれる。
【0012】
情報は、ウィンドウに表示されるか、若しくは、主ビデオ・セグメントの上に邪魔にならないように重ね合わされる。或いは、情報は、たとえば、ハンドヘルド型装置若しくは電子メールアカウントへ送信し、2次記憶装置に記憶し、局所メモリに一時的に記憶してもよい。システムは、ストーリー分類において、各セグメントの始まりと終わりを自動的に認識し、ルールの部分セットを番組セグメント・コンテキストに対応するように更新することが可能である。
【0013】
本発明の更なる一局面によれば、補充情報を閲覧中のビデオ・セグメントと関連付けるルールの部分セットは、ダイナミックであり、かつ、学習モデルに尾基づいている。ルールのセットは、第3者情報源を含む情報源のセットから更新され、ユーザがユーザの選択及び行動パターンに従って情報を利用できるようにさせる。一実施例において、ルールは、無線コネクションによって作動状態にされた携帯情報端末(PDA)から送信される。
【0014】
以上の通り、本発明の本質が直ちに理解されるように本発明の概要を簡単に説明した。本発明は、本発明の好ましい実施例の詳細な説明を添付図面と共に参照することによって完全に理解されるであろう。
【0015】
〔好ましい実施例の詳細な説明〕
図1は、本発明が実現されるシステムの典型的な一実施例の構成図である。本実施例において、マルチメディア・プロセッサ・システム6は、プロセッサ12、メモリ10、入出力回路8、並びに、当業者に周知のその他の回路及びコンポーネントを含む。アナログビデオ信号若しくはデジタルストリームは、受信器2へ入力される。このストリームは、MPEG方式又はその他の専用放送フォーマットに準拠する。
【0016】
MPEG標準に準拠して、ビデオデータは、離散コサイン変換符号化を用いて符号化され、伝送用の可変長符号化データパケットに整えられる。MPEG標準の一つのバージョンであるMPEG−2は、国際標準機関−動画像専門家グループの文書”Coding of Moving Pictures and Audio”, ISO/IEC JTCI/SC29/WG11, July, 1996に記載されている。MPEGは、本システムで利用できるフォーマットの一例に過ぎない。
【0017】
トランスクリプト・テキストは、ビデオ信号162で伝送され、トランスクリプト抽出器4によって、アナログビデオ信号のライン21、又は、MPEGストリームのユーザ・データ・フィールドから抽出される。トランスクリプト抽出器4は、ビデオ番組をセグメントに分離する。特定のフレームに対するトランスクリプト・テキストは、メモリ10に記憶されるか、或いは、実時間データストリームとして解析される。
【0018】
メモリ10には、電子番組ガイド(EPG)情報も記憶される。数日間若しくは数週間に亘るテレビ放送情報を記述する電子番組ガイド情報は、ユーザ要求に応じて、或いは、予めプログラムされた時刻にダウンロードされる。電子番組ガイド情報は、垂直帰線消去期間を用いて、或いは、「ホーム・バーカー」チャネル上のMPEG−2方式プライベート・テーブルを用いて、ローカル・アナログTV放送局によって伝送される。EPGデータは、番組のジャンル及びサブジャンル、視聴率、及び簡単な番組解説のような情報を含む。EPGデータは、番組がニュース番組であるか、有料番組抄録であるか、メロドラマであるか、或いは、旅行記であるか、といった番組のコンテキストを判定するため使用される。
【0019】
ユーザの関心を記述するキーワード若しくは「トリガー情報」の形式である個人プロファイル情報は、2次記憶装置18に記憶され、メモリ10で利用可能である。典型的なトリガー情報は、「クリント イーストウッド」、「環境」、「大統領選挙」、或いは、「ホッケー」である。これらのトリガー情報は、本発明の一局面では、類義語及び関連用語を包含するように拡張される。
【0020】
従来技術では周知であるように、ユーザの関心についての個人プロファイルは、ユーザ入力、或いは、両方の方法の組合せによって自動的に設定される。たとえば、TiVoTMパーソナルTVサービスの場合、ユーザは、TiVoTMリモート側の「承認」ボタン又は「拒否」ボタンを用いて自分の好みの番組を指定することができる。TiVoTMは、次に、ユーザが視聴したいと思う他の関連番組を選択するためこの情報を蓄積する。
【0021】
トリガー情報がトランスクリプト・テキストに含まれるキーワードと一致したとき、補充データが、たとえば、通信手段17を介して、インターネット14或いは専用情報源13から取得される。補充データ用の別の情報源は、たとえば、別のチャネルである。データは、ウェブページ若しくはウェブページの一部として、或いは、邪魔にならない形式で主ビデオに重ね合わされて、ディスプレイ16上でユーザへ表示される。代替的に、若しくは、付加的に、簡単なユニフォーム・リソース・ロケータ(URL)又は有益なメッセージが視聴者へ返される。
【0022】
これらのトリガー情報を、ワールド・ワイド・ウェブ(WWW)ページのような補充データと関連付けるルールは、2次記憶装置18に記憶され、メモリ10から利用される。これらのルールは、ユーザの動作に基づいて更新されたデフォルト・プロファイルによって設定され、或いは、ユーザに関心事項の入力を要求し、次に、ルールセットを生成する質問プログラムによって設定される。ルールは、携帯情報端末(PDA)若しくは携帯電話機のような携帯型装置15から、通信手段17を介して受信される。これらのルールは、視聴されている番組セグメントのコンテキストに基づいて、補充情報をトリガー情報と関連付ける。たとえば、番組セグメントが、クリント イーストウッド(Clint Eastwood)の新作映画のための広告である場合、コンテキストはコマーシャルであり、取得される補充データは、彼が主役を演じている映画の解説である。番組セグメントがクリント イーストウッドの自動車事故の解説である場合、コンテキストはニュースであり、取得される補充データは、彼がなぜニュースに登場したかに関するより多くの情報を得るために伝記的ウェブページ若しくはwww.cnn.comへのリンクである。
【0023】
上述の通り、関連性ルールは、EPGフィールドの組み合わせにも依存する。たとえば、「クリント イーストウッド」がEPGデータの俳優フィールドに出現し、コンテキストがコマーシャルであると判定され、クローズド・キャプション・データが「クリント イーストウッドが主演するHigh Plains Drifterが金曜日に放映される」であるならば、関連性ルールは、その映画の上演時間に関する補充データを獲得する。相違点は、たとえば、クレジットのテキストをクローズド・キャプション・データから抽出されたデータと比較することによって判定される。一致している場合、広告されている番組は、視聴される番組である。或いは、自然言語処理は、広告されている番組が視聴されている番組であることを示す「〜に戻る(returning to)」のようなキーフレーズを識別するため使用され得る。
【0024】
或いは、「クリント イーストウッド」がEPGデータの俳優フィールドに現れず、コンテキストがコマーシャルであり、クローズド・キャプション・データが「クリント イーストウッドの新作映画はまもなく封切りされる」であるならば、関連性ルールは、映画に関するより多くの情報を見つけるため、クリント イーストウッドのホームページへリンクすることによって補充データを取得する。
【0025】
関連性ルールは、獲得されるべきメディアのカテゴリーを決定する。たとえば、「コソボ(Kosovo)」がトリガー情報であり、番組がナショナルジオグラフィック(National Geographic)によって後援されている場合、関連性ルールは、その地帯の地図を獲得する。或いは、番組セグメント・コンテキストがニュースであり、単語「戦争」がEPGデータ中に存在する場合、関連性ルールは、その地帯の現代政治史を獲得する。
【0026】
他の実施例において、システムは、内蔵処理部及びメモリを備えたビデオディスプレイ、又は、情報を処理し記憶するための独立したセットトップボックスを含む。これらの実施例では、通信手段、又は、通信手段へのインタフェースが含まれる。ビデオ信号及びインターネット情報の受信は、無線、衛星、ケーブル若しくはその他のメディアを介して行なわれる。このシステムは、無線送信器による出力信号として通信手段17を介して、或いは、信号を搬送波160に埋め込み無線手段を介して、補充情報を伝送するように変更可能である。補充情報は、電子メールリストへ送信可能であり、及び/又は、携帯電話機のような携帯型装置15の音声メール機能へダウンロード可能であり、及び/又は、Palm Pilor(R)のようなハンドヘルド型装置へ伝送可能である。
【0027】
図2はプロセッサ素子の構成図である。プロファイル生成器40は、ユーザの既知の関心のプロファイルを生成し記憶する。このプロファイルは、関心のトリガー情報若しくはキーワードを含む。プロファイルの生成及び記憶は、たとえば、一連の質問に対するユーザ応答を与えることによって、ユーザによって変更されるユーザ特性に基づいてデフォルトプロファイルを作成することによって、或いは、ユーザの動作を監視することによって、ユーザ入力を用いて実現される。ルール生成器52は、ユーザへ表示されるべき補充情報を判定するため、各トリガー情報を多様なコンテキストと論理的に組み合わせる関連性ルールを作成する。認識エンジン54は、各トリガー情報を、トランスクリプト・テキストと比較し、トリガー情報がテキスト中にキーワードとして存在するかどうかを判定する。トリガー情報が一致したとき、取得部56は、補充情報を検索し、フォーマッティング部58は、表示用データをフォーマッティングする。コンテキスト監視部60は、コンテキストが新しい番組セグメントの表示によって変化したかどうかを調べるため、コンテキストを監視する。コンテキストが変化したとき、コンテキスト監視部60は、関連性ルールの新しい部分セットを獲得するため2次記憶装置18にアクセスする。
【0028】
データ更新器62は、たとえば、新しいウェブサイトを組み込むべく、又は、種々の検索エンジンによって実行された検索結果を反映させるべく、補充情報を更新するため使用される。繰り返しカウンタ64は、特定の情報断片が要求された頻度を計数し、クリックストリーム監視器66は、ユーザが総体的に補充データを要求した頻度を測定する。これらの知的エージェントは、ユーザへ提示される情報タイプ及び情報量を変更する検索変更器68と協働する。
【0029】
図3a及び3bは、本発明の方法を説明するフローチャートである。最初に、ステップS201で、入力ビデオが受信器へ供給される。ビデオは、アナログ形式でもデジタル形式でもよい。トランスクリプト抽出器は、プロセッサから独立していても、プロセッサに組み込まれていても構わないが、ステップS202でトランスクリプト・テキストを抽出し、各ビデオ・セグメントの始まりと終わりを識別する。次に、ステップS203において、プロセッサは、トランスクリプト・テキストからキーワードを獲得する。キーワードの抽出は従来技術において周知であり、キーワード抽出の一方法は、Brodskyに発行された、発明の名称が”Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary”である米国特許第5,809,571号に記載されている。図4aに示されるように、これらのキーワード152は、トランスクリプト・テキスト150から抽出され、図3aのステップ204に示されるように、同義語若しくは関連キーワードと関連付けることによって、より重要かつ完全な結果を得るため拡張される(154)。この目的のため、シソーラス、又は、Wordnet(R)のようなデータベースが使用される。Wordnet(R)は、最新の心理言語的理論による着想によって設計されたオンライン語彙照会システムである。音声の種々のパーツは、同義語セットに編成され、各同義語セットは、一つの基礎となる語彙概念を表現する。
【0030】
キーワードは、トランスクリプト・テキストのテーマを識別することによって拡張される。たとえば、「インフレーション」、「アラン グリーンスパン(Alan Greenspan)」、及び「失業率」のような多数の単語が同時に存在する場合、トランススクリプト・テキストに存在するトリガー情報「エコノミー」が獲得される。同様に、キーワード「アメリカ合衆国大統領」がトランススクリプト・テキストに出現するとき、トリガー情報「クリントン大統領」が獲得される。
【0031】
図4の114及び132のように、補充データが辞書及び百科事典のような参照ツールに含まれる場合、特殊ルールが適用される。あるモードで、トリガー情報は、視聴者の理解のレベルに応じて、多様なキーワードに割り付けられる。たとえば、視聴者が子供や外国語を話す視聴者である場合、トリガー情報「失業」は、キーワードフレーズ「無職」に割り付けられるが、キーワード「解雇」には割り付けられない。別のモードでは、これらのキーワードは、上述のように拡張される。
【0032】
保護者コントロールは、番組セグメントの番組レベルより下位、若しくは、コンテキストレベルよりも下位レベルに実現される。したがって、保護者は、子供に不適切なコマーシャルが、たとえば、子供に適切なアニメ番組中に表示されることを心配する必要は無い。子供の視聴者は、コマーシャル中に限り特別画面が提示される。この特別画面は、単なる保護用画面ではなく、おもちゃ広告のような形式である。保護用トリガー情報は、保護の効果を高めるため拡張される。たとえば、保護者が戦争に関係したビデオ・セグメントを子供に、見せたくない場合、トリガー情報「戦争」は、「武力紛争」や「爆撃」のようなキーワード及びフレーズに割り付けられる。トリガー情報の拡張の一例は、図4aの102及び156に記載されている。
【0033】
図3aを再度参照すると、ステップS205で、トリガー情報を含む個人プロファイルが読み出される。プロセッサは、ステップS206において、トランスクリプト・テキストから生成されたキーワードを、ユーザ・プロファイルに収容されたトリガー情報と照合する。両者が一致しない場合、プロセッサは、付加的なトランススクリプト・テキストを抽出することにより処理を続ける。
【0034】
両者が一致した場合、図3bのステップS207において、進行中の番組のコンテキストが識別される。これは、クローズド・キャプション・データや、EPGデータや、オブジェクト追跡法や、或いは、色、動き、テクスチャー、若しくは、形状のような低レベル特徴抽出のいずれかを用いる幾つかの方法で行なわれる。番組セグメントのコンテキストは、自然言語技術を用いてトランスクリプト・テキストから抽出される。たとえば、マイクロソフト社は、オンライン辞書及び百科事典のような既存テキストを解析し、この解析結果から自動的に知識を取得することにより学習するソフトウェアを開発している。この知識は、「航空機は危険である」のような文中で単語「機」の解釈に制限を加え、「木工作業」ではなく、「航空」に関連した文を決定するため使用される。
【0035】
ソフトウェアは、クローズド・キャプション・テキストの構造、すなわち、そのコンテキストを認定するため、会話解析を用いて、会話レベルでも働く。たとえば、ニュース番組は、一般的に、最重要事項である「誰が、何を、いつ、どこで、どのように」を冒頭で報告するので、識別することができる。したがって、「クリント イーストウッドは、銃で戦った、午前7時に、メインストリートで、ホームビデオカメラを携えた見物人によって」は、ニュースストーリーであると認定される。コンテキストは、ジャンルフィールド及びサブジャンルフィールドから、或いは、上述のフィールドの組み合わせから、EPGデータによっても入手可能である。
【0036】
次に、ステップS208において、関連性ルールが読み出される。関連性ルールは、キーワード及びコンテキストに基づいて、蓄積されたデータベースから獲得されるべき補充データを決定する。ステップS209において、カスタム化された表示モジュールが読み出される。これらのモジュールは、ユーザが、自分の視聴したい情報のタイプを制限し、これにより、情報の量を制限できるようにする。たとえば、ユーザは、WWWページのユニフォーム・リソース・ロケータ(URL)、ページの中の大きいタイトル、ページ要約、或いは、ページ全体だけを見たいと思う場合がある。ユーザは、自分が視聴したいと思う補充情報源だけを選択し、補充情報源に優先順位を付けることが可能である。
【0037】
ステップ210において、補充データは、メモリに記憶されたデータベースから獲得される。データベースは、トリガー情報に補助的である関心項目、又は、関心項目へのポインタを含む。たとえば、データベースは、著名人及び公人の名前や、国、首都及び大統領のような地理学的情報や、製品及びブランド名や、分類されたカテゴリーや、トピックスなどを含む。
【0038】
データベースは、設定された情報源のセットによって維持され、補給される。情報源のセットには、たとえば、ブルームバーグ(Bloomberg)サイト、百科事典、シソーラス、辞書、及び、ウェブサイト又は検索エンジンのセットが含まれる。EPGデータ及びクローズド・キャプション・データからの情報もデータベースに組み込まれる。
【0039】
図5及び6に示されるようなリフレッシュ・ルール及びクリーンアップ・ルールのセットは、たとえば、データベース、若しくは、視聴者のプロファイルに記憶され、データベース若しくはプロファイルのサイズ及びその流通を管理するため維持される。たとえば、選挙結果や、投票結果及び候補者に関する情報へのリンクのような「陳腐な」項目は、選挙実施後に削除されるであろう。
【0040】
図3bを再度参照するに、ステップS211において、補充情報が表示用にフォーマッティングされる。この情報は、ウィンドウに表示されるか、或いは、主ビデオ・セグメントの上に邪魔にならないように重ね合わされる。或いは、情報は、たとえば、Palm Inc.によって販売されるPalm PilotTMのようなハンドヘルド型装置、若しくは、電子メールアカウントへの送信用にフォーマッティングされる。
【0041】
図4には、いくつかのトリガー情報102に対する関連性ルールセット100が示されている。この図表において、第1列は、トリガー情報102を表わし、第2列〜第5列は、例示されたトリガー情報に対して起こり得るコンテキスト104、106、108及び110を表わす。第1のトリガー情報102「クリント イーストウッド」”Clint Eastwood”に対する関連性ルール120から始めると、このトリガー情報102がユーザのプロファイルに現れたとき、三つの異なる補充情報116、118及び120のうちの一つが、視聴中のビデオ・セグメントにクリント イーストウッドが登場したコンテキストに依存して、表示のため獲得される。例示した図表の各欄には一つのリンクしか示されていないが、多数のリンクが存在し得る。クリント イーストウッドがコマーシャルに現れたとき、システムは、www.imdb.comに設けられたWWWページへのリンクを張り、カスタム化された表示モデルに従ってページを表示する。クリント イーストウッドがトークショーに出演したとき、彼が出演したトークショー・セグメントは、獲得118用に記憶され、及び/又は、実時間で視聴者へ警告される。或いは、後で視聴する場合に備えて、セグメントが保存されたことを視聴者へ報せるオフライン警告が送信される。
【0042】
警告は、自動的若しくは人手で獲得される。警告伝送は、クリント イーストウッドの映画が次に表示されたときに、警告が表示されるように、トピックに合わされる。クリント イーストウッドがニュース番組に登場した場合、システムは、www.cnn.comにあるWWWページにリンクを張る。警告は優先順位が付けられ、ユーザは、通知を受けたい状況を選択することができる。たとえば、ユーザは、過酷な気象警報に関する警告だけを知りたい場合がある。
【0043】
トリガー情報102「マケドニア(Machdonia)」に対する第2の関連性ルール122は、4種類のコンテキストを処理する。トリガー情報「マケドニア」が広告に出現した場合、システムは、www.travel.com130のWWWページへリンクを張る。マケドニアがトークショーの主題である場合、システムは、コンプトン百科事典(Compton’s Encyclopedia)132内のマケドニアへのエントリーにリンクを張る。マケドニアがニュースショーの主題である場合、ユーザは、番組が放映されている放送局134を選局する。マケドニアが雑誌「ナショナルジオグラフィック」によって後援されている番組の主題である場合、システムは、マケドニアの地図を表示するため、www.yahoo.com/maps136へのリンクを張る。
【0044】
第3乃至第5の関連性ルール124、126及び128は、上記の例と同様に解釈される。図表に示されるように、「メイル ストリープ(Meryl Streep)」のようなある種とトリガー情報102がトランスクリプト・テキストに出現した場合、システムは、ある種のコンテキストに対する補充情報だけを提供する。「メリル ストリープ」の場合、補充情報は、トークショーとニュースのコンテキストだけに対して供給される。必要に応じて、このようなルールは、周知の俳優若しくは全ての俳優のリストに適用するよう拡張される。
【0045】
図4aは、トリガー情報とキーワードの両方が補充情報を取得するため拡張され得る様子を示している。たとえば、図示されたトランスクリプト・テキスト150に対し、キーワード「ライム病(Lyme Disease)」がトランススクリプト・テキスト150から抽出される。このキーワード152は、次に、付加的なキーワード「ティック(tick)」、「ティックバイト(tick bite)」、「ブルズ・アイ・ラッシュ(bull’s eye rash)」及び「デア・ティック(deer tick)」に割り付けられるように拡張される。拡張されたキーワードがトランスクリプト・テキストに登場した場合、ライム病に関連した補充情報が獲得される。
【0046】
図4aには、トリガー情報の拡張法が示されている。トリガー情報102「ライム病」は、関連した用語「ティックバイト」、「ウエストナイル・ウイルス(West Nile virus)」及び「モスキート・スプレイング(mosquito spraying)」を包含するように拡張される。したがって、トランスクリプト・テキスト150が拡張されたトリガー情報を含む場合、そのセグメントは、たとえば、保存される。
【0047】
図5は、学習モデルが、カスタム化された表示モジュール及び関連性ルールを継続的に更新するため組み込まれる様子を示す図である。繰り返しカウンタ20は、たとえば、URLをクリックすることによってユーザが同じ補充データを要求した回数のカウンタを保持する。また、二つ以上の補充情報が、図2に示されるようなプロセッサの取得部56によって、セグメント毎に獲得され、ユーザは、自分が視聴したい情報を選択する。ユーザが特定の補充データを要求した回数が所定回数未満である場合、記憶された関連性ルール26は、その補助データがルールから削除されるように検索変更器24によって更新され、或いは、そのルールが新しい情報源を包含するように修正される。クリックストリーム監視器22は、ユーザが補充データを要求する頻度を監視する。ユーザが補充データを選択する回数が所定回数未満である場合、そのユーザのためのカスタム表示モジュール28は、ユーザへ提示される情報量が少なくなるように、検索変更器24によって変更される。
【0048】
図6は、動的関連性ルール・データベースが更新、維持される状況を説明する図である。データベースは、
トランスクリプト・テキスト中のキーワードと、ユーザのプロファイル中のトリガー情報との間の一致によってトリガーされたとき、補助的な情報を提供することができる関心のある項目、又は、関心のある項目へのポインタを収容する。データベースは、最新事象を反映させ、かつ、変化するユーザ・プロファイルと一致させるため、時間の経過と共に更新される。
【0049】
既存のデータ情報源セット36は、関連性ルール・データベース26が構築されるデータ情報源を指定する。多数の公開情報源、専用情報からの外部データ38と、インターネット14からのデータとを含むデータ情報源セット36は、たとえば、新しいウェブサイトを取り入れるため、或いは、種々の検索エンジンによって実行される検索の結果を反映させるためデータ更新器40によって更新される。リフレッシュ・ルールセット32は、データベースのサイズをプリセット限界に保つため保持される。設定された優先順位のセットに従って、情報は、必要に応じて削除される。クリーンアップ・ルールセット34は、「陳腐化した」情報をいつ、どのように削除するかを指定するため保持される。ある種のカテゴリーに含まれる情報は、日付であり、プリセットされた月数及び/又は年数よりも旧い情報は削除される。
【0050】
図7には、補充情報70が主ビデオ・セグメントの上に邪魔にならないように重ね合わせて表示されている一実施例が示されている。
【0051】
図8は、本発明によるセットトップボックス75の一実施例を示す図であり、同図のセットトップボックス75は、ビデオ番組及びトランスクリプト・テキストを受信する受信器2を含む。トランスクリプト・テキスト抽出器及び区分器4は、ビデオ信号からトランスクリプト・テキスト150を抽出し、コマーシャルやニュース・フラッシュのようなビデオ番組のセグメントと関連付ける。プロセッサシステム6は、従来技術で周知の処理素子、たとえば、入出力部8と、メモリ10と、プロセッサ12とを含む。通信手段17を介して、プロセッサシステムは、多数の情報源から、ビデオ番組に補充的な情報を取得する。これらの情報源のうち、インターネット14と、専用(非公開)データベース13と、PDAのような携帯型装置15の三つの情報源が例示的に同図に示されている。通信手段17は、たとえば、無線手段、ケーブルモデム、デジタル加入者回線、若しくは、ネットワークを介して、特に図示されていないその他の装置へ繋がる。2次記憶装置18は、補充情報を、情報を取得するためのルールと共に記憶するため使用される。セットトップボックスは、PCディスプレイやテレビジョンのようなディスプレイに接続することができる。
【0052】
図9には、本発明の別の実施例が示されている。本実施例では、テレビ80は、受信器2と、トランスクリプト・テキスト抽出器及び区分器4と、プロセッサシステム6と、2次記憶装置18と、通信手段17と、ディスプレイ16と、を具備する。プロセッサシステム6は、従来技術で周知の処理素子、たとえば、入出力部8と、メモリ10と、プロセッサ12とを含む。テレビ80は、たとえば、インターネット14、専用情報源13及び移動型装置15と繋がる通信手段17を介して補充情報の情報源と通信する。
【0053】
以上の通り、本発明は、特定の実施例に関して説明されている。しかし、本発明は、これらの実施例、及び、それらの変形例に限定されることはなく、請求項に記載された事項の精神及び範囲を逸脱することなく、当業者によって種々の変形及び変更がなされることに注意する必要がある。
【図面の簡単な説明】
【図1】本発明が実現されるシステムの構成図である。
【図2】システムに含まれるプロセッサの素子の説明図である。
【図3a】本発明の動作を説明するため使用されるフローチャートである。
【図3b】本発明の動作を説明するため使用されるフローチャートである。
【図4】本発明による所与のビデオ・セグメントに対する補充情報トリガー情報を説明する図表である。
【図4a】キーワード及びトリガー情報を拡張する方法の説明図である。
【図5】本発明の一実施例における学習モデルの説明図である。
【図6】補充情報を獲得する関連性ルール・データベースが更新、維持される方法の説明図である。
【図7】補充情報が表示される方法の説明図である。
【図8】セットトップボックスが使用される本発明の一実施例の説明図である。
【図9】テレビジョンディスプレイが使用される本発明の他の実施例の説明図である。

Claims (36)

  1. ビデオ番組に対する補充情報を取得し関連付ける方法であって、
    ビデオ番組を受信する手順と、
    ビデオ番組中で少なくとも一つのセグメントを識別する手順と、
    該少なくとも一つのセグメント用の分類データを受信する手順と、
    ビデオ番組に関するトランスクリプト・テキストを受信する手順と、
    ビデオ番組視聴者に関するユーザ・プロファイルを識別する手順と、
    トランスクリプト・テキストとユーザ・プロフィルが条件セットを満たすときに、補充情報をビデオ番組と関連付けるため、分類データを組み込むルールセットを識別する手順と、
    ディスプレイへの表示用のルールセットに基づいて補充情報を自動的に取得する手順と、
    を有する方法。
  2. ルールセットはユーザ・プロファイルからの情報を含む、請求項1記載の方法。
  3. ユーザ・プロファイルは、ビデオ番組視聴者にとって関心のあるトピックを識別する少なくとも一つのトリガー情報を含む、請求項2記載の方法。
  4. 条件セットは、トランスクリプト・テキスト中のキーワードがユーザ・プロファイル中の少なくとも一つのトリガー情報と一致した場合に限り、認識エンジンが補充情報を取得することを指定する、請求項3記載の方法。
  5. トランスクリプト・テキストは、クローズド・キャプション・テキスト、ビデオテキスト、番組トランスクリプト、又は、電子番組ガイド情報を含む、請求項1記載の方法。
  6. トランスクリプト・テキストは音声認識ソフトウェアによって生成される、請求項1記載の方法。
  7. 移動型装置又は第三者による情報源から上記ルールの少なくとも一部分を受信する手順を更に有する、請求項1記載の方法。
  8. 補充情報及び補充情報へのポインタの少なくとも一部は、データベースに記憶されるか、又は、携帯情報端末若しくは電子メールアドレスへ送信される、請求項1記載の方法。
  9. 補充情報が実時間で取得される、請求項1記載の方法。
  10. 補充情報は、ウィンドウに表示させるため、又は、ディスプレイのビデオ番組の上に重ね合わせるためフォーマッティングされる、請求項1記載の方法。
  11. 補充情報は、テキスト情報であるか、又は、ワールド・ワイド・ウェブからのページである、請求項1記載の方法。
  12. 電子番組ガイド情報からビデオ番組セグメント毎にルールセットを自動的に選択する手順を更に有する、請求項5記載の方法。
  13. トランスクリプト・テキスト中のキーワードがユーザ・プロファイル中のトリガー情報と一致するかどうかを識別するため、ビデオ番組セグメント毎に自然言語処理をトランスクリプト・テキストへ適用することによりルールセットを自動的に選択する手順を更に有する、請求項3記載の方法。
  14. トランスクリプト・テキスト中の少なくとも一つのキーワードを識別し、関連した用語を包含するように少なくとも一つのキーワードを拡張し、キーワード又は関連した用語がユーザ・プロファイル中の少なくとも一つのトリガー情報と一致したときに補充データを取得する手順を更に有する、請求項3記載の方法。
  15. トランスクリプト・テキスト中のキーワードがユーザ・プロファイル中のトリガー情報と一致するかどうかを識別するため、ビデオ番組セグメント毎にトランスクリプト・テキストに談話解析を適用することによって、ルールセットを自動的に生成する手順を更に有する、請求項3記載の方法。
  16. 関連した用語を収容すべくユーザ・プロファイル中の少なくとも一つのトリガー情報を拡張し、トランスクリプト・テキスト中の少なくとも一つのキーワードを識別し、トリガー情報又は関連した用語がトランスクリプト・テキスト中の少なくとも一つのキーワードと一致したときに補充データを取得する手順を更に有する手順を更に有する、請求項3記載の方法。
  17. ある日付以前にデータベースへ追加された、若しくは、終了した事象に関連付けられた補充情報又は補充情報へのポインタを削除する手順を更に有する、請求項8記載の方法。
  18. ページのユニフォーム・リソース・ロケータ、ページ全体よりも少ないページの一部分、又は、ページの要約が表示される、請求項11記載の方法。
  19. ビデオ番組視聴者が視聴する補充情報の量、及び、ビデオ番組視聴者が補充情報を視聴する頻度を監視し、所定のフォーマットに従って表示用にフォーマッティングされた補充情報の量を変化させる手順を更に有する、請求項1記載の方法。
  20. 補充情報は、電子メールメッセージに包含されるか、又は、個人情報マネージャへダウンロードされる、請求項1記載の方法。
  21. ビデオ番組に対する補充情報を取得する装置であって、
    ビデオ番組、ビデオ番組用の分類データ、及びビデオ番組に関するトランスクリプト・テキストを受信する受信器と、
    ビデオ番組中で少なくとも一つのセグメントを識別し、トランスクリプト・テキストを該一つのセグメントと関連付けるトランスクリプト抽出器と、
    セグメント毎に分離データを監視し、セグメント毎にコンテキストを識別するコンテキスト監視器と、
    ビデオ番組視聴者に関するユーザ・プロファイルを設定するプロファイル生成器と、
    分類データを組み込み、トランスクリプト・テキストとユーザ・プロフィルが条件セットを満たすとき、補充情報をビデオ番組と関連付けるルールセットを設定するルール生成器と、
    ルールセットに基づいて補充情報を取得する取得部と、
    ビデオ番組と共に表示させるため、取得された補充情報をフォーマッティングするフォーマット部と、
    を有する装置。
  22. 取得部は、ユーザ・プロファイル中のトリガー情報がトランスクリプト・テキスト中のキーワードと一致したときに、補充情報を取得する、請求項21記載の装置。
  23. ユーザ・プロファイル中の少なくとも一つのトリガー情報は、関連した用語を包含するよう拡張され、トリガー情報と関連した用語は、キーワードと比較される、請求項22記載の装置。
  24. トランスクリプト・テキスト中の少なくとも一つのキーワードは、関連した用語を包含するよう拡張され、トリガー情報は、キーワード及び関連した用語と比較される、請求項22記載の装置。
  25. 取得部は、セグメントのコンテキストに基づいてセグメントに関する情報を取得する、請求項21記載の装置。
  26. コンピュータ読取可能な記録媒体に記録され、ビデオ番組に対して補充的な情報を取得する手順を実行させるためのコンピュータ実行可能なプログラムであって、上記手順は、
    ビデオ番組、ビデオ番組を記述する分類データ、及びビデオ番組に関するトランスクリプト・テキストを受信する受信手順と、
    分類データに基づいてビデオ番組中の少なくとも一つのセグメント及びセグメントのコンテキストを識別するコンテキスト識別手順と、
    ビデオ番組中の少なくとも一つのセグメントに関するトランスクリプト・テキスト中のキーワードを識別するキーワード識別手順と、
    ビデオ番組を視聴する視聴者に関するユーザ・プロファイルを取得する個人プロファイル取得手順と、
    キーワード及び関連した用語を、ユーザ・プロファイル中の少なくとも一つのトリガー情報と照合するキーワード照合手順と、
    識別されたコンテキストに基づいて、ビデオ番組に対する補充情報の中で取得される補充情報を指定するルールセットを取得する関連性ルール取得手順と、
    キーワード照合手順が成功したときに、ルールセットに基づいて、補充情報を取得する取得手順と、
    取得された補充情報を表示用にフォーマッティングするフォーマット手順と、を有するプログラム。
  27. 搬送波に埋め込まれ、ビデオ番組及びビデオ番組に対する補充情報を表現する信号であって、
    ビデオ番組分類データと、
    トランスクリプト・テキストと、
    ユーザ・プロファイルと、
    ビデオ番組分類データを組み込み、トランスクリプト・テキスト及びユーザ・プロファイルが条件セットを満たすときに、補充情報をビデオ番組と関連付けるルールと、
    を有する信号。
  28. ビデオ番組に対する補充情報を取得し表示する装置であって、
    ビデオ番組を受信する手段と、
    ビデオ番組中で少なくとも一つのセグメントを識別する手段と、
    該少なくとも一つのセグメントを記述する番組分類データを受信する手段と、
    ビデオ番組に関するトランスクリプト・テキストを受信し、トランスクリプト・テキストを少なくとも一つのセグメントと関連付ける手段と、
    ビデオ番組視聴者に関するユーザ・プロファイルを取得する手段と、
    トランスクリプト・テキストとユーザ・プロフィルが条件セットを満たすときに、補充情報をビデオ番組と関連付けるため、番組分類データを組み込むルールセットを識別する手段と、
    ルールセットに基づいて補充情報を自動的に取得する手段と、
    ビデオ番組と共に表示するため補充情報をフォーマッティングする手段と、
    を有する装置。
  29. ビデオ番組視聴者用のセットトップボックスであって、
    ビデオ番組、ビデオ番組用の分類データ、及びビデオ番組に関するトランスクリプト・テキストを受信する受信手段と、
    ビデオ番組中で少なくとも一つのセグメントを識別し、トランスクリプト・テキストを一つのセグメントと関連付けるトランスクリプト・テキスト抽出・区分器と、
    少なくとも一つの情報源と接続し、ビデオ番組に対する補充情報を受信する通信手段と、
    ビデオ番組視聴者の関心を反映する少なくとも一つのトリガー情報を収容する、ビデオ番組視聴者に関するユーザ・プロファイルを取得し、
    分類データを少なくとも一つのセグメントと関連付け、
    補充情報をセグメントと関連付けるため、分類データを組み込むルールセットを識別し、
    ユーザ・プロファイルに含まれるトリガー情報を見つけるためトランスクリプト・テキストを検索し、
    トリガー情報がトランスクリプト・テキスト中に含まれるとき、通信手段を用いて、ルールセットに基づいて、補充情報を取得し、
    取得された補充情報を表示用にフォーマッティングする、
    プロセッサ手段と、
    トランスクリプト・テキスト、ユーザ・プロファイル、ルールセット、及び補充情報を記憶する記憶手段と、
    を有するセットトップボックス。
  30. 受信手段は、デジタルビデオ番組を受信する、請求項29記載のセットトップボックス。
  31. プロセッサは、デジタルビデオ番組をアナログディスプレイに表示させるため、デジタルビデオ番組を復号化し、フォーマッティングする、請求項29記載のセットトップボックス。
  32. ビデオ番組視聴者は、補充情報が通信手段を介して送信される宛先を選択する、請求項29記載のセットトップボックス。
  33. 2種類以上の補充情報がセグメント毎にプロセッサによって取得され、取得された補充情報は、ユーザ・プロファイルに応じた優先順位の順番で自動的に並べられ、最高優先順位の補充情報はデフォルトとして表示用にフォーマッティングされる、請求項29記載のセットトップボックス。
  34. 2種類以上の補充情報がセグメント毎にプロセッサによって取得され、ビデオ番組視聴者は、取得された補充情報の中から、自分が視聴したいと思う補充情報を選択する、請求項29記載のセットトップボックス。
  35. ビデオ番組、ビデオ番組用の分類データ、及びビデオ番組に関するトランスクリプト・テキストを受信する受信手段と、
    ビデオ番組中で少なくとも一つのセグメントを識別し、トランスクリプト・テキストを一つのセグメントと関連付けるトランスクリプト・テキスト抽出・区分器と、
    少なくとも一つの情報源と接続し、ビデオ番組に対する補充情報を受信する通信手段と、
    ビデオ番組視聴者の関心を反映する少なくとも一つのトリガー情報を収容する、ビデオ番組視聴者に関するユーザ・プロファイルを取得し、
    分類データを少なくとも一つのセグメントと関連付け、
    補充情報をセグメントと関連付けるため、分類データを組み込むルールセットを識別し、
    ユーザ・プロファイルに含まれるトリガー情報を見つけるためトランスクリプト・テキストを検索し、
    トリガー情報がトランスクリプト・テキスト中に含まれるとき、通信手段を用いて、ルールセットに基づいて、補充情報を取得し、
    取得された補充情報を表示用にフォーマッティングする、
    プロセッサ手段と、
    トランスクリプト・テキスト、ユーザ・プロファイル、ルールセット、及び補充情報を記憶する記憶手段と、
    ビデオ番組及び取得されフォーマッティングされた補充情報を表示する表示手段と、
    を有するテレビジョンセット。
  36. コンピュータ読取可能な記録媒体に記録され、ビデオ番組に対して補充的な情報を取得する手順を実行させるためのコンピュータ実行可能なプログラムであって、上記手順は、
    ビデオ番組、ビデオ番組を記述する分類データ、及びビデオ番組に関するトランスクリプト・テキストを受信する受信手順と、
    ビデオ番組中の少なくとも一つのセグメント、及び、セグメントに対する分類データを識別する区分手順と、
    ビデオ番組視聴者に関するユーザ・プロファイルを識別する第1の識別手順と、
    トランスクリプト・テキストとユーザ・プロファイルが条件セットを満たすときに、補充情報をビデオ番組と関連付けるため、分類データを組み込むルールセットを識別する第2の識別手順と、
    ルールセットに基づいて補充情報を自動的に取得する取得手順と、
    を有する、プログラム。
JP2002515840A 2000-07-27 2001-07-11 ビデオ強調用のトランスクリプト・トリガー情報 Withdrawn JP2004505563A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US62718800A 2000-07-27 2000-07-27
PCT/EP2001/007965 WO2002011446A2 (en) 2000-07-27 2001-07-11 Transcript triggers for video enhancement

Publications (1)

Publication Number Publication Date
JP2004505563A true JP2004505563A (ja) 2004-02-19

Family

ID=24513587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002515840A Withdrawn JP2004505563A (ja) 2000-07-27 2001-07-11 ビデオ強調用のトランスクリプト・トリガー情報

Country Status (5)

Country Link
EP (1) EP1410637A2 (ja)
JP (1) JP2004505563A (ja)
KR (1) KR20020054325A (ja)
CN (1) CN1187982C (ja)
WO (1) WO2002011446A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010526355A (ja) * 2007-03-21 2010-07-29 サムスン エレクトロニクス カンパニー リミテッド ローカルネットワーク上のコンテンツと外部ネットワーク上の情報を相関させるためのフレームワーク
US8225355B2 (en) 2006-05-01 2012-07-17 Canon Kabushiki Kaisha Program search apparatus and program search method for same
US8843467B2 (en) 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
US8935269B2 (en) 2006-12-04 2015-01-13 Samsung Electronics Co., Ltd. Method and apparatus for contextual search and query refinement on consumer electronics devices
US8938465B2 (en) 2008-09-10 2015-01-20 Samsung Electronics Co., Ltd. Method and system for utilizing packaged content sources to identify and provide information based on contextual information
JP2020102228A (ja) * 2012-12-05 2020-07-02 ロヴィ ガイズ, インコーポレイテッド メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9630443B2 (en) 1995-07-27 2017-04-25 Digimarc Corporation Printer driver separately applying watermark and information
US7095871B2 (en) 1995-07-27 2006-08-22 Digimarc Corporation Digital asset management and linking media signals with related data using watermarks
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US7657064B1 (en) 2000-09-26 2010-02-02 Digimarc Corporation Methods of processing text found in images
US6899475B2 (en) 2002-01-30 2005-05-31 Digimarc Corporation Watermarking a page description language file
JP2003259316A (ja) * 2002-02-28 2003-09-12 Toshiba Corp ストリーム処理システムおよびストリーム処理プログラム
US20030192047A1 (en) * 2002-03-22 2003-10-09 Gaul Michael A. Exporting data from a digital home communication terminal to a client device
JP4352653B2 (ja) * 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
US20030229895A1 (en) * 2002-06-10 2003-12-11 Koninklijke Philips Electronics N. V. Corporation Anticipatory content augmentation
US20040078807A1 (en) * 2002-06-27 2004-04-22 Fries Robert M. Aggregated EPG manager
US10721066B2 (en) 2002-09-30 2020-07-21 Myport Ip, Inc. Method for voice assistant, location tagging, multi-media capture, transmission, speech to text conversion, photo/video image/object recognition, creation of searchable metatags/contextual tags, storage and search retrieval
US6996251B2 (en) 2002-09-30 2006-02-07 Myport Technologies, Inc. Forensic communication apparatus and method
US7778438B2 (en) 2002-09-30 2010-08-17 Myport Technologies, Inc. Method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval
US7360235B2 (en) 2002-10-04 2008-04-15 Scientific-Atlanta, Inc. Systems and methods for operating a peripheral record/playback device in a networked multimedia system
JP2006510248A (ja) * 2002-12-11 2006-03-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像コンテンツを利用して、コンテンツ関連リンクをネットワークベースリソースに提供するためのテキストキーワードまたはフレーズを取得する方法およびシステム
US7487532B2 (en) 2003-01-15 2009-02-03 Cisco Technology, Inc. Optimization of a full duplex wideband communications system
GB0304763D0 (en) * 2003-03-01 2003-04-02 Koninkl Philips Electronics Nv Real-time synchronization of content viewers
US8014557B2 (en) 2003-06-23 2011-09-06 Digimarc Corporation Watermarking electronic text documents
DE602004013799D1 (de) * 2003-08-25 2008-06-26 Koninkl Philips Electronics Nv Echtzeit-media-wörterbuch
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8307403B2 (en) 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
US8863221B2 (en) 2006-03-07 2014-10-14 Samsung Electronics Co., Ltd. Method and system for integrating content and services among multiple networks
US8115869B2 (en) 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8200688B2 (en) * 2006-03-07 2012-06-12 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
US8209724B2 (en) 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
JP2009540404A (ja) * 2006-06-06 2009-11-19 エクスビブリオ ベースローテン フェンノートシャップ 取り込まれたレンダリングテキストに基づくコンテキスト動的広告
US20100278453A1 (en) * 2006-09-15 2010-11-04 King Martin T Capture and display of annotations in paper and electronic documents
CN101272477A (zh) * 2007-03-22 2008-09-24 华为技术有限公司 一种iptv系统、媒体服务器和iptv节目搜索、定位方法
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8176068B2 (en) 2007-10-31 2012-05-08 Samsung Electronics Co., Ltd. Method and system for suggesting search queries on electronic devices
JP2009302884A (ja) * 2008-06-13 2009-12-24 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
ES2352397B1 (es) * 2009-06-24 2011-12-29 Francisco Monserrat Viscarri Dispositivo, procedimiento y sistema para generar eventos audiovisuales.
EP2462521A1 (en) * 2009-08-07 2012-06-13 Thomson Licensing System and method for searching in internet on a video device
JP5445085B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 情報処理装置、およびプログラム
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
CN101930779B (zh) * 2010-07-29 2012-02-29 华为终端有限公司 一种视频批注方法及视频播放器
CN102346731B (zh) * 2010-08-02 2014-09-03 联想(北京)有限公司 一种文件处理方法及文件处理装置
TW201227366A (en) * 2010-12-31 2012-07-01 Acer Inc Method for integrating multimedia information source and hyperlink generation apparatus and electronic apparatus
US20130007807A1 (en) * 2011-06-30 2013-01-03 Delia Grenville Blended search for next generation television
CN103096173B (zh) * 2011-10-27 2016-05-11 腾讯科技(深圳)有限公司 网络电视系统的信息处理方法和装置
GB2507097A (en) 2012-10-19 2014-04-23 Sony Corp Providing customised supplementary content to a personal user device
KR102180473B1 (ko) 2013-11-05 2020-11-19 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
KR20150136316A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 정보 제공을 위한 전자 장치, 방법 및 시스템
CN104079988A (zh) * 2014-06-30 2014-10-01 北京酷云互动科技有限公司 一种电视节目关联信息的推送设备及推送方法
US10423727B1 (en) 2018-01-11 2019-09-24 Wells Fargo Bank, N.A. Systems and methods for processing nuances in natural language
WO2023220274A1 (en) * 2022-05-13 2023-11-16 Google Llc Entity cards including descriptive content relating to entities from a video

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614940A (en) * 1994-10-21 1997-03-25 Intel Corporation Method and apparatus for providing broadcast information with indexing
KR19980063435A (ko) * 1996-12-11 1998-10-07 포만제프리엘 텔레비젼상에 프로그램 정보를 대화형으로 디스플레이하고 액세스하는 방법 및 시스템
IL127790A (en) * 1998-04-21 2003-02-12 Ibm System and method for selecting, accessing and viewing portions of an information stream(s) using a television companion device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225355B2 (en) 2006-05-01 2012-07-17 Canon Kabushiki Kaisha Program search apparatus and program search method for same
US8935269B2 (en) 2006-12-04 2015-01-13 Samsung Electronics Co., Ltd. Method and apparatus for contextual search and query refinement on consumer electronics devices
JP2010526355A (ja) * 2007-03-21 2010-07-29 サムスン エレクトロニクス カンパニー リミテッド ローカルネットワーク上のコンテンツと外部ネットワーク上の情報を相関させるためのフレームワーク
US8510453B2 (en) 2007-03-21 2013-08-13 Samsung Electronics Co., Ltd. Framework for correlating content on a local network with information on an external network
US8843467B2 (en) 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
US8938465B2 (en) 2008-09-10 2015-01-20 Samsung Electronics Co., Ltd. Method and system for utilizing packaged content sources to identify and provide information based on contextual information
JP2020102228A (ja) * 2012-12-05 2020-07-02 ロヴィ ガイズ, インコーポレイテッド メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム

Also Published As

Publication number Publication date
CN1187982C (zh) 2005-02-02
CN1393107A (zh) 2003-01-22
WO2002011446A2 (en) 2002-02-07
KR20020054325A (ko) 2002-07-06
EP1410637A2 (en) 2004-04-21
WO2002011446A3 (en) 2002-04-11

Similar Documents

Publication Publication Date Title
JP2004505563A (ja) ビデオ強調用のトランスクリプト・トリガー情報
US5809471A (en) Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US8112420B2 (en) Information search system, information processing apparatus and method, and information search apparatus and method
US7107271B2 (en) Agent interface device
US6651253B2 (en) Interactive system and method for generating metadata for programming events
US9032443B2 (en) System and method for automatically authoring interactive television content
KR101644789B1 (ko) 방송 프로그램 연관 정보 제공 장치 및 방법
US20030097301A1 (en) Method for exchange information based on computer network
US20030051246A1 (en) System and method for combining several EPG sources to one reliable EPG
JP2001169269A (ja) インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法
KR20040066850A (ko) 타겟 주제에 관한 정보를 검색하는 시스템 및 방법
KR20030007727A (ko) 자동 비디오 리트리버 제니
KR20030096218A (ko) 데이터베이스에 의해 분산 사건들의 테이블들을 포함하는오디오-비주얼 플럭스에서의 오디오-비주얼 프로그램들또는 콘텐츠의 검색 방법
US20150020087A1 (en) System for Identifying Features in a Television Signal
EP1173011A1 (en) Television system
JP2010218385A (ja) コンテンツ検索装置及びコンピュータプログラム
JP3815371B2 (ja) 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体
WO2003044624A2 (en) Systems and methods relating to determining the desirability of and recording programming events
KR20020080120A (ko) 디지털 데이터 방송 검색 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090709