JP2003528498A - マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法 - Google Patents

マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法

Info

Publication number
JP2003528498A
JP2003528498A JP2001568614A JP2001568614A JP2003528498A JP 2003528498 A JP2003528498 A JP 2003528498A JP 2001568614 A JP2001568614 A JP 2001568614A JP 2001568614 A JP2001568614 A JP 2001568614A JP 2003528498 A JP2003528498 A JP 2003528498A
Authority
JP
Japan
Prior art keywords
media
content
data
signal
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001568614A
Other languages
English (en)
Inventor
ネヴェンカ ディミトロヴァ
ラリサ アグニホトリ
トーマス エフ マクジー
ニコラス ジェイ マンコビッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003528498A publication Critical patent/JP2003528498A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17345—Control of the passage of the selected programme
    • H04N7/17354—Control of the passage of the selected programme in an intermediate station common to a plurality of user terminals

Abstract

(57)【要約】 メディア表示システムは、メディア信号内のパターンを認識し、認識されたパターンに応答して該メディア信号を修正することによりコンテンツを増強する。例えば、テレビジョン放送環境においては、上記メディア信号はテレビジョン番組であり得る。或る時点において、該テレビジョンは自動車会社のロゴを含む可能性がある。本システムは該ロゴを認識し、これと、ローカルに記憶された又は追加の入力を使用することによる増強コンテンツとの相関をとる。ユーザの好み（例えば、当該ユーザが特定の自動車会社に興味があるか）及び相関された増強コンテンツに基づいて、本システムは上記放送信号を適切な方法で修正する。例えば、上記の増強コンテンツはローカルな自動車ディーラのコマーシャルビデオクリップ又は電話番号であり得る。そのような場合、放送信号に対する修正は、ビデオ信号へのローカル自動車ディーラ電話番号の重ね書き、又は放送信号をバッファすると共にコマーシャルビデオクリップを再生してコンテンツ増強を実行することを含む。

Description

【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、デジタル化画像内のパターンを認識するビデオシステムに係り、更
に特定的にはビデオデータストリーム中のテキスト文字及び／又はロゴのような
記号（シンボル）又は一連のシンボルを分離し、ユーザの好みに基づいて斯かる
シンボルに関連する情報を表示し又は音を放射するようなシステムに関する。ま
た、本発明は、言葉、音楽又は他の音のようなオーディオ入力を処理し、斯かる
オーディオ入力に関係する情報を表示し又は音を放射することにより応答するよ
うなシステムにも関する。
【０００２】
【背景技術】
文書画像内のテキストの認識は従来良く知られている。シンボルの認識も、同
様の技術に基づくものであろう。文書スキャナ及び関連する光学文字認識（ＯＣ
Ｒ）ソフトウェアは広く利用可能であり、良く理解されている。しかしながら、
ビデオフレーム内のテキスト及び他のシンボルの検出及び認識は、固有の問題を
生じ、印刷文書内のテキストが必要とするよりは非常に困難な方法を必要とする
。印刷文書内のテキストは、通常、一様な背景（無地の用紙）上の単色の文字に
限られ、該背景からテキストを分離するには、通常、単純な閾処理アルゴリズム
しか要しない。対照的に、縮小されたビデオ画像におけるシンボルは、制御され
ない照明条件を含み、種々の雑音成分の影響を受ける。また、背景は頻繁に移動
し、シンボルは異なる色、寸法、向き、フォント形式等でありえる。
【０００３】 リアルタイム放送、アナログテープ及びデジタルビデオは、視聴者に対して教
育的及び娯楽的価値を提供するビデオソースの幾つかの例である。これらのソー
スは、特定のトピック又は製品への視聴者の興味を誘起し又は再誘起し得る。例
えば、ビデオ画面上のＢＭＷ（登録商標）ロゴの表示は、ＢＭＷ（登録商標）の
自動車の性能に関する視聴者の興味、又は地域及び国内ＢＭＷ（登録商標）の認
可ディーラの場所への興味を刺激し得る。
【０００４】 これらの興味は、つかの間のものであり、視聴者に直ぐ忘れ去られ得る。視聴
者は、最近刺激された興味を追求することに、特に追求が現番組の楽しみを中断
するような場合には、気が進まない場合がある。例えば、コカコーラ（登録商標
）の表示は、１２オンス缶のコーク（登録商標）のカロリ数への興味を刺激し得
るが、該興味は視聴者に、この情報を見つけ及び該興味を満足させるべくコーク
（登録商標）の缶を取り出させる程、大きくはないであろう。即座に対応しない
限り、この興味は後で直ぐに忘れられるであろう。
【０００５】
【発明の開示】
簡単に言うと、メディア表示システムは、メディア信号内のパターンを認識し
、認識されたパターンに応じて該メディア信号を変更することによりコンテンツ
を増強させる。例えば、テレビジョン放送環境においては、上記メディア信号は
テレビジョン番組であり得る。或る時点において、テレビジョンは自動車会社の
ロゴを含むかもしれない。該システムは、このロゴを認識し、該ロゴをローカル
に記憶された増強されたコンテンツと相関させる。ユーザの好み（例えば、該ユ
ーザが当該特定の自動車会社に興味があるか）及び上記の相関された増強コンテ
ンツに基づいて、該システムは放送信号を適切な方法で変更する。例えば、上記
の増強コンテンツは、コマーシャルビデオクリップ又はローカルなカーディーラ
の電話番号とすることができる。このような場合、上記放送信号に対する変更は
、ビデオ信号へ上記ローカルなカーディーラの番号を重畳させること、又は上記
放送信号をバッファし、コマーシャルビデオクリップを再生することを含む。
【０００６】 本発明は、ビデオ及び／又はオーディオ信号におけるパターンを認識し、該認
識されたパターンに基づいて追加の情報を取り出して出力する。パターンは、種
々の既知の信号処理技術の何れかを使用して認識することができる。本発明の方
法は、パターンを分類し、当該信号において識別された分類をデータベースにお
いてルックアップし、該認識された分類に対応する追加のコンテンツを現ビデオ
／オーディオ信号と共に出力することにより、該信号を増強させる。従って、例
えば、或る自動車会社のロゴがビデオストリーム内で認識され、データベース内
のある分類に対応することが分かると、該システムは該ロゴに対応する追加のデ
ータ、例えばローカルディーラの名称及び住所、を見つけ、該データを当該ビデ
オストリームにスーパーインポーズされたテキストとして出力する。該システム
の応答は、ユーザの好みに基づいて専用化することができる。従って、例えば、
自動車会社に関するロゴは当該システムに採用されたシンボル分類のデータベー
スを用いて分類することができるが、該ユーザは、その車に興味がないか、又は
コンテンツ増強が発生しないようにオフされた何らかの汎用スイッチを有してい
るかもしれない。ユーザ固有の好みデータは、ユーザがかまわないものも含む多
数のシンボル用の分類データを含むような汎用分類データベースと一緒に使用さ
れるべき別のデータベースの形をとることができる。他の例として、ユーザのプ
ロフィールデータを、特定のユーザの興味に対応する分類のみが記憶されるよう
にシンボル分類データベースを設定するために使用することもできる。後者は、
ローカルに記憶されるデータの量が最小化されるのを可能にするという利点を有
している。
【０００７】 係属中の米国特許出願第09/370,931号、第09/441,943号及び第09/441,949号は
、ビデオストリームにおける特にテキスト及びテキストブロックのようなシンボ
ルを分類する方法及び装置を記載している。これら米国特許出願は、参照するこ
とにより、全体してあたかも記載されているかのように本明細書に組み込まれる
ものとする。本発明を構成する目的で、同じ方法及び何らかの他の好適な方法を
ビデオストリーム内のシンボルを認識するために使用することができる。音声認
識は、継続的に改良されている、熟した技術分野である。音声を認識することが
できるソフトウェアは、それらの音が商標であるか、又は朝食穀類に関係するト
ニー・ザ・タイガの有名な声のような良く知られた特徴を有する場合に、種々の
言葉を認識するのに充分な程開発されている。音声認識に使用されるのと同様の
基本技術を、他の音の分類にも同様に適用することができる。このように、加速
している車の音及びコマーシャルの反復の音等も分類することができる。
【０００８】 コンテンツの増強は多くの形態をとることができる。例えば、インターネット
・リンクが呼び出され、ユーザに対して画面上トークンとして、又は合成音声句
として、等々のように示すことができる。この場合、ウェブＴＶ（登録商標）様
システムは、ユーザがリンクを即座に呼び出すのを可能にするように補助するこ
とができる。他の例として、該システムは認識されたパターンに関係するサウン
ド・クリップを再生することができる。該システムは、当該システムが応答する
ようにプログラムされているシンボル又はシンボルの配列を一旦認識すれば、情
報を即座に表示することにより自動的に動作することができる。該システムは、
言葉、句又は音を認識した場合に、自動的に応答するようにプログラムすること
もできる。可能性のある認識可能なパターンの例は、表示された言葉、話された
句、ロゴ又は一連の音符を含む。表示される情報は、テキスト情報、サウンド・
クリップ、オブジェクト、顔、絵、又は認識されたパターンに関係する何れかの
メディア形態（音的、視覚的等）の何らかの他の情報からなることができる。
【０００９】 上記情報はビデオ表示上に、視聴者が番組を受信しながら上記追加の記憶情報
を受信することができるように、スーパーインポーズすることができる。他の例
として、上記ビデオデータストリームを、上記追加コンテンツが進行中の場面の
ユーザの楽しみを妨害しないように、自動的にバッファすることもできる。画面
上にテキストをスーパーインポーズさせる処理は、“テキストがスーパーインポ
ーズされた画像の所定領域における知覚されるコントラストの低減機能を備える
テレビジョン受信機”なる名称の米国特許第5,418,576号に詳細に記載されてい
る。画像、既存の視覚情報の歪め（例えば、アイコン上の既存の可視フィールド
の浮き出し処理）、顔等の他の視覚情報を挿入するために同様の技術を使用する
ことができる。
【００１０】 下記は、本発明システムの動作の例である。
【００１１】 １．視聴者はテレビジョン画面上でメルセデス・ベンツ（登録商標）のコマー
シャルを見る。当該システムは、該メルセデスのロゴをビデオ入力を介して認識
し、最新のメルセデスの車に関する情報をテレビジョン画面上に該情報をスーパ
ーインポーズすることにより表示する。
【００１２】 ２．当該システムにより、右下側に “マーチン・ルーサ・キング”なるテキ
スト文字を有するビデオ入力が受信される。該システムは、これら文字を市民権
リーダの名前であると認識して、彼の“私は夢を持っている”なる演説のサウン
ド・クリップを再生する。
【００１３】 ３．当該システムは、オーディオ入力を受信及び処理して、或る言葉、句又は
音等を認識する。一例においては、インテル（登録商標）社の商標化されたメロ
ディの処理が当該システムを起動して、インテルの経営者の名前を取り出すこと
ができる。音声／テキスト変換器を介して認識されたマイクロソフト（登録商標
）のオーディオ入力が当該システムを起動して、ウイリアム・ゲーツ三世に関す
る個人情報を取り出すことができる。
【００１４】 ４．当該システムの他の例は、アインシュタインの顔を認識して、自動的に物
理学ウェブサイトへのリンクを提供する。
【００１５】 ５．増強されたコンテンツのソースは、例えば、ウェブのＵＲＬ、ウェブ頁、
映画データベース、株式市況データベース、ショッピングのオンラインカタログ
、美術館情報、オンライン書店、辞書又は百科事典等とすることができる。
【００１６】 表示される情報及び当該システムが認識するようプログラムされる、異なるパ
ターンは、ユーザの好みに従って設定することができる。或る時点において、認
識されるパターンの数を制限して、視聴者が当該視聴者にとり興味のないトピッ
クに関する情報により情報攻めにされないようにするのが好ましい。斯様な制限
は、設定された時間フレーム当たりの応答の数の制限、又は特定の選択されたパ
ターンに対してのみの応答の形態をとることができる。
【００１７】 一実施例においては、認識可能なパターン及び対応する記憶情報は、インター
ネットからダウンロードされる。このようにして、情報は、外部のソースにより
周期的に更新され、視聴者に更新された情報が提供されるようにすることができ
る。該システムは、増強されたコンテンツに対するユーザからの応答を要求し、
それに応じてプロフィールを更新するようにプログラムすることができる。他の
例として、該システムは、セットアップ時にユーザがパラメータを明示的に設定
するのを可能にするようにプログラムすることもできる。
【００１８】 当該システムは、この機能をオフさせるソフトウェアスイッチ、又は該システ
ムが現在ログオン中のユーザの好みに従って動作することができるようにするロ
グオン機能を組み込んでもよい。ユーザは、単一の認識されたパターンに関して
２組以上の情報が利用可能である場合に、各パターン入力に対して表示される情
報の型式を選択することもできる。例えば、当該システムがティファニに関する
認識可能なパターンに対して場所情報と株価情報との両方を有している場合、該
システムはユーザの好みに従って上記の利用可能な情報の一方又は両方を表示す
ることができる。
【００１９】 視聴者に利用価値のある情報を提供する利点の他に、当該システムは宣伝を興
味のあるユーザに対してのみ向けることにより宣伝者にも利益がある。このよう
に、向けられた宣伝情報は、認識されたパターンに関係する製品又はサービスに
関する特別な提供を含むことができる。当該システムを介して配信するための、
宣伝者によるコンテンツのユーザのセットトップボックスへの配信は、インター
ネットを介して管理することができる。ユーザは、セットトップボックスを新た
なコンテンツで動的に更新することができる。システムのサービスプロバイダは
、コンテンツ及び表示のための規則の幾つかの宣伝者による動的な更新を許可す
ることができる。
【００２０】 ローカルなコンテンツは、現在の季節によって（例えば、バーベキュのコンテ
ンツは冬の間にローカルに記憶される必要はなく、雪掻きサービスは夏にはロー
カルに記憶される必要はないであろう）、及び宣伝者による進行中の宣伝キャン
ペーンによって等と同様に、ユーザのローカルな好みにより動的に制御すること
ができる。
【００２１】 ビデオ及びオーディオ入力は、当該システムによる応答を起動するために変更
又は意図的にプログラムすることもできる。例えば、ビデオ／オーディオ入力提
供者は、認識可能なパターンを、画面上に意図されるビデオパターンを白い背景
上に配置する等により強調するプログラムを提供することができる。増強された
項目は、例えばローカルに記憶されたメディア項目、オンライン商店の接続等へ
のクリック可能なリンクを伴って識別され、及び斯かるリンクとして機能するこ
とができる。この機能は、常に発生することがないように、ショウの型式又は何
らかの他のパラメータ（例えば、１日の時間、チャンネル等）に感応するように
させることができる。従って、例えばトークショウにおける人が特定のデザイナ
で識別可能な衣装を着ている場合、該デザイナの商品を購入することができるア
ウトレット商店が表示され得るか、又はさもなければリンクにより利用可能とさ
れる。
【００２２】 以下、本発明を好ましい実施例に関し、一層完全に理解することができるよう
に解説的図を参照して説明する。
【００２３】 尚、図に関しては、図示される細目は例示的なものであって本発明の好ましい
実施例を解説する目的のためのものであり、本発明の原理及び思想的特徴の最も
有効且つ容易に理解される説明であると信じられものを示すために提示されてい
る。この点に関しては、本発明の構成的細部は、本発明の基本的な理解に必要と
される以上に詳細に示そうとは試みられてはおらず、図面を参照してなされる記
載は当業者に対し本発明の幾つかの形態が如何に実際に具現化することができる
かを明らかにするものである。
【００２４】
【発明を実施するための最良の形態】 図１を参照すると、本発明はインターネット機能を備えるテレビジョンの環境
に関して使用することができる。図１の実施例において、コンピュータ２４０は
番組情報をテレビジョン２３０に送出する。コンピュータ２４０は、ビデオ信号
２７０を受信すると共にチャンネル変更機能を制御し、且つ、インターネットブ
ラウザ機能を提供するように構成することができる。コマンドは、メモリカード
若しくはディスク２２０、リモートコントローラ２１０（ＩＲポート２１５を介
して接続される）又はキーボード２１２を介してコンピュータ２４０に入力され
るか、又はネットワーク接続を介してダウンロードされる。データリンク２６０
はインターネット接続を提供し、アンテナ、ケーブル又は衛星リンク２７０はオ
ーディオ及び／又はビデオデータを提供する。これは、インターネットのサービ
スプロバイダに接続可能な電話回線か、又は何らかの他の適切なデータ接続とす
ることができる。データ及びオーディオ／ビデオリンク２６０及び２７０は同一
の物理的チャンネルを含むことができることに注意すべきである。コンピュータ
２４０は、好ましくは、番組スケジュール情報、プログラムアプリケーション及
び更新、並びに他の情報を記憶するために例えばハードディスクのような大容量
記憶装置２３５を有する。ユーザの好みに関する情報及び他のデータを、メモリ
カード又はディスク２２０のような着脱可能な媒体を介してコンピュータ２４０
にアップロードすることができる。
【００２５】 上述した例のハードウェア環境において多くの代替例が可能であり、全てを本
発明に関して使用することができることに注意すべきである。上記コンピュータ
は、処理能力を備えるセットトップボックスとすることができる。上記大容量記
憶装置は、揮発性メモリ又は不揮発性メモリに置換することができる。上記デー
タはローカルでも遠隔でも記憶することができる。事実、全体のコンピュータ２
４０は、リンクを介して現場で動作するサーバと置換することもできる。コンピ
ュータ２４０にコマンドを送るためにリモートコントローラ２１０又はキーボー
ド２１２を使用するよりは、これらコントローラは、ビデオを伝送する物理的チ
ャンネルと同一又は別のものとすることができるデータチャンネル２６０を介し
てコマンドを送ることができる。ビデオ２７０又は他のコンテンツは、ケーブル
、衛星、ＲＦ若しくは何らかの他の物理的チャンネルにより伝送することができ
るか、又は大容量記憶媒体若しくは着脱可能記憶媒体から得ることができる。こ
れは、電話回線のような切り換えられる物理的チャンネル、又はＡＴＭのような
仮想的に切り換えられるチャンネル、又は同期データ通信に適した他のネットワ
ークにより伝送することができる。コンテンツは、今日のＩＰネットワークを使
用することができるように、非同期であり、欠損に耐性のあるものとすることが
できる。更に、プログラミングコンテンツが受信される回線のコンテンツは、オ
ーディオ、チャット会話データ、ウェブサイト、又は種々の選択が可能な如何な
る他の種類のコンテンツとすることもできる。データは、別個のデータリンク２
６０以外のチャンネルを介して受信することができる。例えば、データは、上記
ビデオ又は他のコンテンツと同一の物理的チャンネルを介して受信することがで
きる。データは、メモリカード又はディスク２２０のような着脱可能なデータ記
憶媒体を介して供給することさえもできる。リモートコントローラ２１０は、キ
ーボード、ボイスコマンドインターフェース、３Ｄマウス、ジョイスティック又
は如何なる他の適切な入力装置により置換することもできる。選択は、強調指示
子を移動させることにより、選択を記号的に（例えば、名前又は番号により）識
別することにより、又はデータ伝送により若しくは着脱可能な媒体を介してバッ
チ形態で選択を実行することにより行うことができる。後者の場合、１以上の選
択が何らかの形で記憶されると共に、コンピュータ２４０に表示器１７０を全く
介さないで伝送することもできる。例えば、バッチデータは、携帯記憶装置（例
えば、パーソナルデジタルアシスト、メモリカード若しくはスマートカード、又
はダウンロードされる）から到来することができる。このような装置は、種々の
環境で使用するための多くの好みを記憶しており、使用されるべきコンピュータ
装置を専用化することができる。
【００２６】 図１の実施例において、宣伝者クライアント処理１７０の形態の宣伝者ユーザ
インターフェースは、ホストサーバ１７５にデータを供給する。該ホストサーバ
はデータをコンピュータ２４０に送り、該コンピュータはこのデータを例えばデ
ィスク２３５のようなローカルなデータ記憶部上に選択的に記憶する。宣伝者ク
ライアント処理１７０はブラウザセッションを介して実施化することができ、該
ブラウザセッションにおいて、本発明の一実施例により提供される、向けられた
宣伝チャンネルを介してコンテンツ増強を提供しようとする宣伝者は、メディア
コンテンツ及び種々の制御データを含むデータをアップロードすることができる
。このアップロードされたデータは、視聴者システム２００の制御及び定期的な
更新のためにサービスホストサーバ１７５上に記憶される。
【００２７】 図２を参照すると、ビデオ、オーディオ及び／又は他のメディアデータは、何
らかのソース又は複数のソース３１０により出力装置３５０に供給される。該メ
ディア信号は、変更され、変位され、及び／又はハードディスクビデオレコーダ
、ＤＶＤ−ＲＷ若しくはウェブＴＶボックス又はメディア出力合成器／スイッチ
／バッファ／クライアント３９０により記憶される。コンピュータ２４０と機能
的に同様のセットトップボックス（図示略）は、後者の機能を提供することがで
きる。シンボル分類器３３０は、上記メディアデータを受信し、該信号を解析し
て認識可能な要素を検索する。これらの要素は、グラフィック画像、画像、オー
ディオシーケンス、声紋又は如何なる他の分類可能な信号とすることもできる。
シンボル分類器３３０は分類識別子を増強コンテンツプロセッサ３６０に出力す
る。ユーザプロフィールデータ記憶部３２０は、表示することができる増強メデ
ィアコンテンツに関するユーザの好みを記憶する。例えば、該ユーザプロフィー
ルデータは、当該ユーザがスポーツカーに興味があり、該ユーザはスポーツカー
に関係する宣伝者から増強されたコンテンツを受信するためには放送メディアの
中断を気にしないとの指示を含むことができる。増強コンテンツプロセッサ３６
０は、上記シンボル分類器からの分類識別子を分類／増強コンテンツ相関データ
記憶部３７０に供給して、増強コンテンツデータ記憶部３４０に含まれるメディ
アコンテンツへのポインタを見つけ出す。上記分類識別子及び増強コンテンツデ
ータ記憶部３４０に含まれるメディアコンテンツへのポインタはユーザプロフィ
ールデータ記憶部３２０からのユーザプロフィールデータと合成されて、コンテ
ンツの増強がなされるべきかを決定する。後者の決定は増強コンテンツプロセッ
サ３６０によりなされ、該プロセッサは当該コンテンツを示す制御パラメータと
、増強コンテンツ出力コントローラ３９５に供給されるべき増強コンテンツとメ
ディアデータとを合成するための命令とを発生する。増強コンテンツ出力コント
ローラ３９５は、増強コンテンツデータ記憶部３４０から増強されたコンテンツ
を取り込むと共に、上記増強コンテンツプロセッサからの命令及び入力装置３５
５からのコマンドに応答してメディア出力合成器／スイッチ３９０に対する命令
を発生する。次いで、該増強コンテンツ出力コントローラ３９５は、選択された
メディアコンテンツ及び命令をメディア出力合成器／スイッチ３９０に出力して
、当該メディアデータストリームを出力装置３５０上で表示される前に修正する
。ユーザ入力装置３５５は、ユーザプロフィールデータがユーザプロフィールデ
ータ記憶部３２０において更新されるのも可能にする。
【００２８】 上記シンボル分類器は、メディアデータ信号ストリームを分類する如何なる適
切な機構も使用することができる。例えば、ビデオストリーム内の特にテキスト
及びテキストブロックのようなシンボルを分類する係属中の米国特許出願第09/3
70,931号、第09/441,943号及び09/441,949号に記載された方法を使用することが
でき、特に後者の出願に記載されたニューラルネットワーク方法及びシステムが
好ましい。音声の認識は、継続的に改良されている成熟した技術分野である。音
声を認識することができるソフトウェアは、種々の言葉を認識するように十分に
開発されている。例えば特定の個人の声を識別するために使用することができる
声紋技術のような同じ関連する信号処理技術をシンボル分類器３３０により使用
することができる。分類は、商標的音声、又は朝食穀類に関連するトニー・ザ・
タイガの有名な声のような良く知られた特徴の音声であり得る。分類は、加速し
ている車の音、コマーシャルの反復の音等の様な音声に関して定義することがで
きる。
【００２９】 ユーザプロフィールデータ記憶部３２０は、図２を参照して記載した実施例に
おいて使用される制御処理に伝達する種々のユーザが修正可能なパラメータの何
れをも含むことができる。該プロフィールデータは下記の何れか及び如何なる他
の適切なパラメータを含むこともできる。
【００３０】 １）ウェブサイト、コマーシャル、テキスト又はオーディオクリップ等の種々
の型式の増強コンテンツに関する増強技術、例えば該プロフィールは、 ａ）当該メディアデータがバッファされ、分類されたメディア要素に対応す
るウェブサイトを呼び出すために表示が変更されるべきか、 ｂ）ビデオ画像がゴースト処理されて、背景内に維持される（図５を参照し
ての説明参照）一方、ウェブサイト表示がその上に示されるようにすべきか、 ｃ）リンクが当該表示上に配置されるべきで、次いで選択する（例えば、リ
モートコントローラ２１０上のポインタ及び釦を使用して）ことができるか、 ｄ）画面内画面（ピクチャインピクチャ）表示（図６を参照しての説明参照
）をコマーシャル、ウェブサイト等の追加のコンテンツを伴って示すことができ
るか、 ｅ）コマーシャル又はインフォマーシャル（infomercial）のような広帯域
項目上へのテキスト重ね書きが好ましいか、 を示すことができる。
【００３１】 ２）将来の表示のために、増強コンテンツがブックマークされるのを可能にす
る記憶オプション。
【００３２】 ３）分類された項目が、ビデオ表示の一部に反転フィルタを適用すると共に停
止させる（及びそれをバッファする）、コントラストを増加させる、又は他の視
界に切り換えること等により、どの様に識別されるべきか。
【００３３】 ４）例えば、スポーツカー、ビール、結婚式、仕事、技術、文学、天気等の、
ユーザにとり興味のあるコンテンツの型式。
【００３４】 ａ）これは、異なるレベルの興味を含み得る。従って、例えばユーザが通常
は天気自体には特に興味はない場合、ユーザは、該ユーザの地域に関して気象注
意報が発せられた場合にのみ増強コンテンツを受信するという興味を示すことが
できる。
【００３５】 ５）追加のユーザプロフィールデータを抽出するためにどの様なデータソース
が利用可能であるか、例えば増強された電子番組案内情報でテレビジョンを見る
ために使用されるセットトップボックスは、ジャンル、１日の時間、好きなチャ
ンネル及び番組等に関するユーザの好みを記憶することができ、斯かるデータソ
ースはユーザプロフィールデータ記憶部３２０にデータを供給するために使用す
ることができる。
【００３６】 分類／増強コンテンツ相関データ記憶部３７０は、認識された分類と出力する
ことができる増強コンテンツとの間の対応を示すルックアップテーブルデータと
することができる。この分類／増強コンテンツ相関データ記憶部３７０は、宣伝
者クライアント処理１７０から発生しサービスホストサーバ１７５からダウンロ
ードされたデータであって、コンテストの締め切り日、コンテンツが出力される
前に得なければならない気象条件（例えば、雪が降っている場合にのみ雪掻きサ
ービスの宣伝をする）等の当該コンテンツに関する或る特定の命令を示すような
データを含むこともできる。かくして、分類／増強コンテンツ相関データ記憶部
３７０により記憶されたデータは、増強コンテンツデータ記憶部３４０における
特定の項目を指し示す。
【００３７】 増強コンテンツプロセッサ３６０は、自身の命令を、ユーザプロフィールデー
タ及びシンボル分類器３３０により供給される分類識別子から取り出す。該増強
コンテンツプロセッサは、関連するコンテンツデータを見付けるのに要するベク
トル（又は複数のベクトル）を求め、これと制御情報とを増強コンテンツ出力コ
ントローラ３９５に供給する。図２ないし図６を参照すると、前記メディアデー
タはステップＡ−１においてシンボル分類器３３０によりサンプルされ処理され
る。該シンボル分類器は、ステップＡ−２において上記メディアデータの全体又
は各部を、パターンを識別し且つ分類するまで分類しようと試みる。ステップＡ
−３において、パターンが成功裏に分類されると、分類識別子が増強コンテンツ
プロセッサ３６０に供給される。次いで、ステップＡ−４において、増強コンテ
ンツプロセッサ３６０は、前記ユーザプロフィールデータにおける何らかの条件
及び規則、並びに分類／増強コンテンツ相関データ記憶部３７０に記憶されたコ
ンテンツプロバイダ（例えば、宣伝者）データを適用して、当該メディアデータ
ストリームを増強するために的確なコンテンツが及び何の的確なコンテンツが使
用されるべきかを決定する。コンテンツの増強が指示された場合には、ステップ
Ａ−５において、制御はステップＡ−６に進み、該ステップにおいて増強コンテ
ンツ出力コントローラ３９５がメディア合成器／スイッチ／バッファ／クライア
ント３９０を制御し、当該メディア信号をそれに応じて増強する。従って、例え
ば自動車会社のロゴ３１０がシンボル分類器３３０により当該メディアデータ内
で識別された場合、分類識別子が増強コンテンツプロセッサ３６０に供給される
。その結果は、ユーザプロフィールデータ記憶部３２０から得られる規則及び分
類／増強コンテンツ相関データ３７０に依存した、ウェブサイトの重ね書き３２
５であるかもしれない。他の例として、気象警報メッセージ３１５がマルキ形式
（marquis-style）で画面を横切って表示されたとしたら、気象情報ウェブサイ
ト又は他の放送チャンネルの利用可能性を示す画面内画面（ＰＩＰ）窓３３０を
、視聴者に対する追加のコンテンツへ切り換える勧誘と共に表示することができ
る。
【００３８】 上述したように、コンテンツを増強する思想は、その選択が追加のメディアコ
ンテンツの追加を提供するようなアイコンの追加を含むことができ、又は元のメ
ディアストリームへの単なるコンテンツの追加とすることもできることに注意す
べきである。後者の一例は、フォード（登録商標）のコマーシャル又はロゴに応
答したローカルなフォード（登録商標）ディーラの電話番号を伴うスーパーイン
ポーズされたテキストであろう。このように、増強されたコンテンツのアイデア
は、メディア要素の分類に応答して、増強されたコンテンツのタイミング、内容
、範囲等をユーザにより制御することができるような対話的要素を含むことがで
きる。このように、例えばユーザは、短期間のリンク（ＰＩＰの窓３３０）を選
択することにより追加の気象情報にリンクさせるか、又はそれを無視するかを決
定することができる。ユーザが該リンクを選択すると、ユーザが無視したよりは
多くのメディアコンテンツが表示される。更に、当該リンクが生のウェブサイト
に対するものであれば、全てのメディアコンテンツが増強コンテンツデータ記憶
部３４０を介して供給されるものではない。
【００３９】 増強コンテンツ出力コントローラ３９５は、増強コンテンツプロセッサ３６０
により供給される制御パラメータに応答する。これら制御パラメータは、増強コ
ンテンツ出力コントローラ３９５により従われるべき基本処理及び増強コンテン
ツデータ記憶部３４０内の特定のコンテンツの項目への一連のポインタを含むこ
とができる。例えば、上記基本処理は、表示器の特定の領域を指定された時間だ
け強調すること、表示器上の選択可能な領域を規定すること、及び当該領域の入
力装置３５５を介しての選択に応じてウェブリンクを起動することであり得る。
上記メディアコンテンツは、ＵＲＬ、ビデオクリップ、音、又はちょっとしたフ
ォーマット化されたテキストであり得る。該コンテンツは上記メディアデータス
トリームを修正する詳細な命令と共に、メディア出力合成器／スイッチ／バッフ
ァ／クライアント３９０に供給される。後者は、増強コンテンツ出力コントロー
ラ３９５からのコマンドに従って、テキストを重ね書きする、メディアデータを
バッファする、インターネットクライアントサービスを提供する、ウェブサイト
を呼び出す等を行うための上記命令を実行する。増強コンテンツ出力コントロー
ラ３９５は２組以上の命令及びメディア項目を伝送してもよいことに注意すべき
である。例えば、増強コンテンツの初期段階がウェブリンクの発生であるなら、
リンクメディアデータ及び該スーパーインポーズされるリンクを定義する命令の
みが伝送される。入力装置３５５を介しての選択の入力の後、ＵＲＬのような更
なるコンテンツがメディア出力合成器／スイッチ／バッファ／クライアント３９
０に供給される。
【００４０】 種々の入力及び出力装置を、本発明を実施するために使用することができるこ
とに注意すべきである。入力装置３５５は、ライトペン、ＴＶ型リモートコント
ローラ、キーボード、マウス、又はコマンドを発生する如何なる他の適切な装置
とすることもできる。出力装置３５０は、ＴＶ、モニタ、ＴＶ壁、放送又はマル
チキャストチャンネル、チャットクライアント、インターネットコンソール、又
は如何なる他の適切な装置とすることもできる。メディアデータは、テキスト、
ビデオ、オーディオ、閉回路系による生データ、チャットデータ、ＩＰパケット
等を含む如何なる型式の情報を含むこともできる。出力装置３５０は２以上の物
理的装置を含むこともできる。例えば、該出力装置は、一方が増強コンテンツを
出力するために使用され、他方が元のメディアデータを出力するような複モニタ
とすることもできる。
【００４１】 判断を行うために、増強コンテンツプロセッサ３６０により他のデータ３３２
を使用することができることに注意すべきである。例えば、電子番組案内データ
はメディアデータストリームのジャンル（例えば、喜劇ジャンルのＴＶ放送）を
示すことができる。増強コンテンツを供給する判断に関係し得る他のデータは、
１日の時間、１年の日、現在の天候、メディア信号に現れる放送項目の名称等を
含むことができる。
【００４２】 ビデオ又は他のストリーミング情報の処理は、クライアント（例えば、視聴者
の近くの遠隔端末又はテレビジョンセットボックス）におけるというよりは、後
置処理として実施することができることに注意すべきである。このような実施構
成においては、制御情報のみしかクライアント処理に伝送する必要がなく、処理
及び記憶容量は低減することができる。即ち、生データを分類するための全ての
可能性のあるシンボル分類及び情報はバックエンドプロセッサに記憶することが
できる。コンテンツ増強を生成するのに要するデータのみが伝送される。コンテ
ンツ増強データは、ビデオ透かし、帰線期間に挿入されるデータ等の何らかの好
適な処理を用いて、埋込制御情報として伝送することができる。制御データは、
ＸＭＬ、又はMPEG-7、ＡＴＳＣ、ＤＶＢ等を含むマルチメディアデータパッケー
ジ化用の他の準規格により配信することもできる。
【００４３】 当業者にとっては、本発明は上述した解説的実施例の詳細に限定されるもので
はなく、本発明は、その趣旨又は必須属性から逸脱することなく他の特定の形態
で実施化することもできることは明らかである。従って、上記実施例は全ての点
において解説的なものであって限定するものではないと見なされるべきであり、
本発明の範囲は上述した記載によってというよりは添付請求項により示されるも
のであり、従って、これら請求項の意味及び等価の範囲内に入る全ての変更は斯
かる請求項に含まれることを意図するものである。
【図面の簡単な説明】
【図１】 図１は、本発明を実施化するために使用することができる構成要素を図示する
説明図である。
【図２】 図２は、本発明を一実施例により構成するために使用することができる機能要
素のブロック図である。
【図３】 図３は、本発明の一実施例による基本コンテンツ増強方法を示すフローチャー
トである。
【図４】 図４は、コンテンツ増強を起動し得る２つの認識可能なシンボルを示す表示の
表象的画像である。
【図５】 図５は、ビデオ画像上にスーパーインポーズされたウェブサイトを示す表示の
表象的画像であり、進行中のマルチメディア表示を中断することなくコンテンツ
を増強させる方法を図示している。
【図６】 図６は、ビデオ画像上にスーパーインポーズされた画像内画像（ピクチャイン
ピクチャ）にウェブサイトを示す表示の表象的画像であり、進行中のマルチメデ
ィア表示を中断することなくコンテンツを増強させる他の方法を図示している。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アグニホトリ ラリサ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 マクジー トーマス エフ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 マンコビッチ ニコラス ジェイ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C025 BA28 CA06 CA09 CB10 DA01 DA05 5C053 FA20 JA15 JA16 LA14 5C064 BA01 BB10 BC06 BC16 BC23 BC25 BD02 BD03 BD08 BD09 5K061 AA09 BB06 DD00 FF01 JJ06 JJ07

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ出力のコンテンツを増強する方法において、 増強されたコンテンツデータをサーバに記憶するステップと、 前記増強されたコンテンツデータをクライアントシステムにダウンロードする
    ステップと、 前記クライアントシステムに供給されるメディアデータストリームの部分を分
    類するステップと、 前記メディアデータストリームをプロフィールデータ及び前記増強されたコン
    テンツデータに応答して修正し、増強されたメディアデータストリームを生成す
    るステップと、 前記増強されたメディアデータストリームを出力するステップと、 を有していることを特徴とするビデオ出力のコンテンツを増強する方法。
  2. 【請求項２】 請求項１に記載の方法において、前記分類するステップがグ
    ラフィック的パターンを認識するステップを含んでいることを特徴とする方法。
  3. 【請求項３】 請求項１に記載の方法において、前記修正するステップが、
    ウェブサイトへの選択可能なリンクに対応する視覚又はオーディオ要素の少なく
    とも一方の１以上の追加を含むことを特徴とする方法。
  4. 【請求項４】 請求項１に記載の方法において、前記分類するステップが音
    声を認識するステップを含むことを特徴とする方法。
  5. 【請求項５】 放送メディアストリームのコンテンツを増強するシステムに
    おいて、 出力装置と、 メディアデータ信号を前記出力装置に供給すると共に前記放送メディアストリ
    ームを受信するように接続された信号修正装置と、 ユーザプロフィールデータを記憶するユーザプロフィールデータ記憶部と、 メディアコンテンツ項目を記憶するメディアコンテンツデータ記憶部と、 前記ユーザプロフィールデータ記憶部及び前記メディアコンテンツデータ記憶
    部に接続され、前記放送メディアトリームの部分を認識するようにプログラムさ
    れたコントローラと、 を有し、前記コントローラは前記信号修正装置を前記ユーザプロフィールデータ
    及び前記メディアコンテンツ項目とに応答して制御するようにプログラムされて
    いることを特徴とする放送メディアストリームのコンテンツを増強するシステム
    。
  6. 【請求項６】 請求項５に記載のシステムにおいて、前記放送メディアスト
    リームはビデオストリームを含み、前記メディアコンテンツ項目はテキストを含
    み、前記コントローラは前記信号修正装置を、前記ビデオストリームに前記テキ
    ストに対応する画像を重ね書きするように制御するようプログラムされているこ
    とを特徴とするシステム。
  7. 【請求項７】 請求項５に記載のシステムにおいて、前記出力装置がテレビ
    ジョンであることを特徴とするシステム。
  8. 【請求項８】 請求項５に記載のシステムにおいて、前記放送メディアスト
    リームはテレビジョン放送信号であり、前記部分はテレビジョン信号の通常可視
    要素として表示される部分を含んでいることを特徴とするシステム。
  9. 【請求項９】 請求項５に記載のシステムにおいて、前記出力装置は少なく
    とも２つの別個のビデオ表示器を含み、前記メディアコンテンツ項目は前記少な
    くとも別個のビデオ表示器の少なくとも一方に出力され、前記放送メディアスト
    リームは前記２つの別個のビデオ出力装置の他方に出力されることを特徴とする
    システム。
  10. 【請求項１０】 ビデオ出力のコンテンツを増強する方法において、 クライアントシステムに配信可能なメディアデータストリームの部分を分類す
    るステップと、 前記メディアデータストリームにおける特徴を分類するステップと、 前記分類するステップに応答して制御信号を発生するステップと、 前記メディアデータストリームを、前記制御信号とユーザの分類の好みを規定
    するプロフィールデータとに応答して修正するステップと、 前記修正するステップの結果を出力するステップと、 を有していることを特徴とするビデオ出力のコンテンツを増強する方法。
  11. 【請求項１１】 請求項１０に記載の方法において、前記制御信号の少なく
    とも１つがサーバにおいて発生されると共に、前記メディアデータストリームに
    埋め込まれて前記クライアントに配信されることを特徴とする方法。
  12. 【請求項１２】 出力装置上にメディアコンテンツを表示する装置において
    、 メディア放送信号を受信すると共に該メディア放送信号で認識されたパターン
    に応答して分類識別子を出力するように接続されたパターン分類器と、 前記メディアコンテンツを格納するメディアコンテンツデータ記憶部と、 ユーザ好みデータを保持するユーザ好みデータ記憶部と、 前記出力装置上に、前記ユーザ好みデータ及び前記分類識別子に応答して前記
    メディアコンテンツの選択された部分を出力するようにプログラムされたコント
    ローラと、 を有していることを特徴とする出力装置上にメディアコンテンツを表示する装置
    。
  13. 【請求項１３】 請求項１２に記載の装置において、前記コントローラは、
    前記メディアコンテンツの選択された部分を前記放送信号と合成して前記出力装
    置に対する合成された出力信号を発生するようにプログラムされていることを特
    徴とする装置。
JP2001568614A 2000-03-21 2001-03-12 マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法 Pending JP2003528498A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US53284500A 2000-03-21 2000-03-21
US09/532,845 2000-03-21
PCT/EP2001/002759 WO2001072040A2 (en) 2000-03-21 2001-03-12 System and method for automatic content enhancement of multimedia output device

Publications (1)

Publication Number Publication Date
JP2003528498A true JP2003528498A (ja) 2003-09-24

Family

ID=24123412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001568614A Pending JP2003528498A (ja) 2000-03-21 2001-03-12 マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法

Country Status (4)

Country Link
EP (1) EP1205075A2 (ja)
JP (1) JP2003528498A (ja)
TW (1) TW518890B (ja)
WO (1) WO2001072040A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013538521A (ja) * 2010-08-27 2013-10-10 インテル コーポレイション デジタルオンスクリーングラフィックを増強する技術

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1311124A1 (en) * 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
FR2832580B1 (fr) * 2001-11-16 2004-01-30 Thales Sa Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes
US8261306B2 (en) 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
GB2387730B (en) * 2002-03-07 2006-01-04 Chello Broadband N V Media playout system
GB2387984B (en) * 2002-03-07 2005-11-09 Chello Broadband N V Display of enhanced content
US7373336B2 (en) 2002-06-10 2008-05-13 Koninklijke Philips Electronics N.V. Content augmentation based on personal profiles
FR2841724A1 (fr) 2002-06-28 2004-01-02 Thomson Licensing Sa Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
FR2848767B1 (fr) * 2002-12-17 2005-04-15 Nptv Telediffusion video
EP1661403B1 (en) * 2003-08-25 2008-05-14 Koninklijke Philips Electronics N.V. Real-time media dictionary
US7966552B2 (en) 2006-10-16 2011-06-21 Sony Corporation Trial selection of STB remote control codes
US7991271B2 (en) 2007-02-14 2011-08-02 Sony Corporation Transfer of metadata using video frames
US8077263B2 (en) 2006-10-23 2011-12-13 Sony Corporation Decoding multiple remote control code sets
US7814524B2 (en) 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US8438589B2 (en) 2007-03-28 2013-05-07 Sony Corporation Obtaining metadata program information during channel changes
US7987478B2 (en) 2007-08-28 2011-07-26 Sony Ericsson Mobile Communications Ab Methods, devices, and computer program products for providing unobtrusive video advertising content
JP5116492B2 (ja) * 2008-01-15 2013-01-09 三菱電機株式会社 アプリケーション実行端末
US8320674B2 (en) 2008-09-03 2012-11-27 Sony Corporation Text localization for image and video OCR
TWI484831B (zh) * 2008-11-13 2015-05-11 Mstar Semiconductor Inc 多媒體播放方法與多媒體播放裝置
US8035656B2 (en) 2008-11-17 2011-10-11 Sony Corporation TV screen text capture
JP2010266880A (ja) * 2010-06-23 2010-11-25 Sony Corp 携帯端末装置、情報処理方法、及びプログラム
US8655805B2 (en) 2010-08-30 2014-02-18 International Business Machines Corporation Method for classification of objects in a graph data stream
US10070201B2 (en) 2010-12-23 2018-09-04 DISH Technologies L.L.C. Recognition of images within a video based on a stored representation
GB2500653A (en) 2012-03-28 2013-10-02 Sony Corp Broadcast audio video content distribution system with associated metadata defining links to other content
DE102012212435A1 (de) * 2012-07-16 2014-01-16 Axel Springer Digital Tv Guide Gmbh Vorrichtung und Verfahren zur Wiedergabe linearer Medieninhalte
US20140255003A1 (en) * 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
US9658994B2 (en) * 2013-05-20 2017-05-23 Google Inc. Rendering supplemental information concerning a scheduled event based on an identified entity in media content
KR20150107464A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 컨텐츠 처리 장치 및 그 이벤트 제공 방법
WO2015144248A1 (en) * 2014-03-28 2015-10-01 Arcelik Anonim Sirketi Image display device with automatic subtitle generation function
WO2016012875A1 (en) 2014-07-23 2016-01-28 Comigo Ltd. Reducing interference of an overlay with underlying content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998028906A2 (en) * 1996-12-20 1998-07-02 Princeton Video Image, Inc. Set top device for targeted electronic insertion of indicia into video
WO1999011065A1 (en) * 1997-08-27 1999-03-04 Starsight Telecast, Inc. Systems and methods for replacing television signals
JP2000041198A (ja) * 1998-04-21 2000-02-08 Internatl Business Mach Corp <Ibm> テレビ・コンパニオン装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4204689A1 (de) * 1992-02-17 1993-08-19 Peter Biet Schaltungsanordnung zur unterdrueckung von reklamebildern waehrend der bildaufzeichnung in einm videorecorder
US5614940A (en) * 1994-10-21 1997-03-25 Intel Corporation Method and apparatus for providing broadcast information with indexing
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
GB9715228D0 (en) * 1997-07-18 1997-09-24 Sertway Limited Communications system and method
US6029045A (en) * 1997-12-09 2000-02-22 Cogent Technology, Inc. System and method for inserting local content into programming content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998028906A2 (en) * 1996-12-20 1998-07-02 Princeton Video Image, Inc. Set top device for targeted electronic insertion of indicia into video
WO1999011065A1 (en) * 1997-08-27 1999-03-04 Starsight Telecast, Inc. Systems and methods for replacing television signals
JP2000041198A (ja) * 1998-04-21 2000-02-08 Internatl Business Mach Corp <Ibm> テレビ・コンパニオン装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013538521A (ja) * 2010-08-27 2013-10-10 インテル コーポレイション デジタルオンスクリーングラフィックを増強する技術
JP2013538522A (ja) * 2010-08-27 2013-10-10 インテル コーポレイション オブジェクトに基づく動作のための技術

Also Published As

Publication number Publication date
WO2001072040A3 (en) 2002-03-21
WO2001072040A2 (en) 2001-09-27
EP1205075A2 (en) 2002-05-15
TW518890B (en) 2003-01-21

Similar Documents

Publication Publication Date Title
JP2003528498A (ja) マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法
US11915263B2 (en) Device functionality-based content selection
JP6487367B2 (ja) 選択的コンテンツ提示エンジン
US7284202B1 (en) Interactive multi media user interface using affinity based categorization
EP2293301A1 (en) Method for generating streaming media increment description file and method and system for cutting in multimedia in streaming media
US8605958B2 (en) Method and apparatus for generating meta data of content
US8185923B2 (en) System and method for selecting advertisements
JP4436138B2 (ja) 個人向けコマーシャルチャネルを生成する方法及び装置
CN112602077A (zh) 交互式视频内容分发
US20170257665A1 (en) Television content management with integrated third party interface
US20030208755A1 (en) Conversational content recommender
US20080276266A1 (en) Characterizing content for identification of advertising
JP2006012171A (ja) 生体認識を用いたレビュー管理システム及び管理方法
KR20100122486A (ko) 컨텐츠 및 메타데이터를 사용하는 기법
US20030158780A1 (en) Information distribution method and apparatus, business method, and storage medium
WO2001060071A2 (en) Interactive multimedia user interface using affinity based categorization
EP2541481A1 (en) Personalized advertising
KR20050004216A (ko) 프리젠테이션 합성기
EP3434022A1 (fr) Procédé et dispositif de contrôle du réglage d&#39;au moins un paramètre audio et/ou vidéo, terminal et programme d&#39;ordinateur correspondants
WO2000033197A1 (en) Method and apparatus for content-linking supplemental information with time-sequence data
JP2020156001A (ja) Ａｉを活用した広告推奨方法、プログラム、およびコンピュータ
CN111901629A (zh) 生成、播放视频流的方法和装置
KR20030065719A (ko) 데이터 방송 서비스장치 및 방법
JP2003505945A (ja) 放送プログラムと共にマルチメディア情報を表示する方法及び装置
JP2002108601A (ja) 情報処理システム及び装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100921