JP2013529331A - 表示中のテレビジョン・コンテンツのための自動画像発見および推薦 - Google Patents

Abstract

関係した画像を自動的に発見して推薦することのできる方法およびシステムが提供される。同じページ上に現れるまたは同じ写真家によって撮影された画像を画像発見のために使う。本システムは、画像をフィルタリングするために意味的な関連性を使うこともできる。画像のランク付けおよび写真家のランク付けのために感情分析が使われることもできる。

Description

関連出願への相互参照
本願は、ここに参照によってその全体において組み込まれる、2010年4月30日に出願された米国仮出願第61/343,547号の利益を主張する。

技術分野
本発明は、推薦システムに、より詳細には、現在試聴されているコンテンツのクローズド・キャプションに基づいて画像を発見および推薦することに関する。

テレビジョンはマス・メディアである。同じチャンネルについて、すべての視聴者が同じ番組のシーケンスを受ける。ユーザーが現在の番組に関係した異なる情報を選択するオプションは、ほとんどあるいは全くない。チャンネルを選択した後は、ユーザーは受動的になる。ユーザー対話はチャンネルを変更すること、電子番組ガイド（EPG: electronic program guide）を表示することなどに限定される。いくつかの番組について、ユーザーは関係した情報を取得したがる。たとえば、旅行チャンネルを見ているとき、多くの人は関連した画像を見たがる。

本発明は、関係した画像を自動的に発見して推薦することのできるシステムを開示する。

本発明は、同じページ上に現れるまたは同じ写真家によって撮影された画像を画像発見のために使う。本システムは、画像をフィルタリングするための意味的な関連性を使うこともできる。画像のランク付けおよび写真家のランク付けのために感情分析が使われることもできる。

ある実施形態によれば、表示されているコンテンツのための自動的な画像発見を実行する方法が提供される。本方法は、表示されているコンテンツのトピックを検出し、検出されたトピックに基づいて問い合わせ用語を抽出し、問い合わせ用語に基づいて画像を発見し、一つまたは複数の発見画像を表示する段階を含む。

もう一つの実施形態によれば、表示されているコンテンツのための自動的な画像発見を実行するシステムが提供される。本システムは、トピック検出モジュール、キーワード抽出モジュール、画像発見モジュールおよびコントローラを含む。トピック検出モジュールは、表示されているコンテンツのトピックを検出するよう構成される。キーワード抽出モジュールは、表示されているコンテンツのトピックから問い合わせ用語を抽出するよう構成される。画像発見モジュールは、問い合わせ用語に基づいて画像を発見するよう構成され、コントローラは、トピック検出モジュール、キーワード抽出モジュールおよび画像発見モジュールを制御するよう構成される。

本願の原理のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき例示的な実施形態の以下の詳細な説明から明白となるであろう。

本願の原理は、以下の例示的な図面に基づいてよりよく理解されうる。
家庭またはエンド・ユーザーにコンテンツを送達するシステムのある実施形態のブロック図である。 メディア・サーバー、オンライン・ソーシャル・ネットワークおよびメディアを消費するための消費装置の配置を提示するシステムのブロック図である。 セットトップボックス／デジタル・ビデオ・レコーダーのある実施形態のブロック図である。 あるビデオ資産についてトピックが変わったかどうかを判定するフローチャートのための方法を示す図である。 図４の機能を実行することを受け取るための構成のブロック図である。 返された画像を放送されているビデオとともに表示するある実施形態を示す図である。

本願の原理は、向き付けられた推薦システム、より詳細には、現在試聴されているコンテンツのクローズド・キャプションに基づいて画像を発見および推薦することである。

ここで、本稿で明示的に記載や図示がされていなくても、本発明を具現し、その精神および範囲に含まれるさまざまな構成を当業者が考案できるであろうことは理解されるであろう。

本稿に記載されるあらゆる例および条件付きの言辞は、読者が、本発明および当該技術を進歩させる発明者によって寄与される概念を理解するのを支援するという教育目的のために意図されているのであって、そのような個別的に記載されている例および条件に限定することなく解釈されるものである。

さらに、本発明の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。

よって、たとえば、当業者は、本稿に呈示されるブロック図が本発明を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。

図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。

従来のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。

本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含むソフトウェアを、当該機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わせたものを包含することが意図されている。そのような請求項によって定義される本発明は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本願で示されている手段と等価であると見なされる。

明細書における本発明の「一つの実施形態」または「ある実施形態」またはその変形への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本発明の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」といった句やそれらの何らかの変形の出現は、必ずしもみな同じ実施形態を指すのではない。

図１を参照するに、家庭またはエンド・ユーザーにコンテンツを送達するシステム１００のある実施形態のブロック図が示されている。コンテンツは、映画スタジオまたはプロダクション会社のようなコンテンツ源１０２から発する。コンテンツは、二つの形のうちの少なくとも一つにおいて供給されることができる。一つの形は、コンテンツの放送される形であることができる。放送されるコンテンツは放送アフィリエート・マネージャ１０４に提供される。放送アフィリエート・マネージャは典型的には全国的な放送サービスであり、アメリカン・ブロードキャスティング・カンパニー（ABC: American Broadcasting Company）、ナショナル・ブロードキャスティング・カンパニー（NBC: National Broadcasting Company）、コロンビア・ブロードキャスティング・システム（CBS: Columbia Broadcasting System）といったものである。放送アフィリエート・マネージャはコンテンツを収集し、記憶することができ、送達ネットワーク１（１０６）として示される送達ネットワークを通じたコンテンツの送達をスケジューリングすることができる。送達ネットワーク１（１０６）は、全国的なセンターから一つまたは複数の地方もしくは地域のセンターへの衛星リンク送信を含むことができる。送達ネットワーク１（１０６）はまた、空中無線放送、衛星放送、ケーブル放送を通じてまたはIPを介して外部ネットワークからなどで、ローカルな送達システムを使うローカルなコンテンツ送達を含むこともできる。ローカルに送達されるコンテンツは、ユーザーの家庭にあるユーザーのセットトップボックス／デジタル・ビデオ・レコーダー（DVR: digital video recorder）１０８に提供され、そこで、コンテンツはその後、ユーザーによって検索可能な、利用可能なコンテンツのボディ内に含められる。

第二の形のコンテンツは、特殊コンテンツと称される。特殊コンテンツは、プレミアム試聴、ペイパービューまたは通常なら放送アフィリエート・マネージャに提供されない他のコンテンツとして送達されるコンテンツを含むことができる。多くの場合、特殊コンテンツは、ユーザーによって要求されたコンテンツであることができる。特殊コンテンツはコンテンツ・マネージャ１１０に送達されることができる。コンテンツ・マネージャ１１０は、たとえばコンテンツ・プロバイダー、放送サービスまたは送達ネットワーク・サービスと連携したインターネット・ウェブサイトのようなサービス・プロバイダーであることができる。コンテンツ・マネージャ１１０はまた、インターネット・コンテンツを送達システム中に組み込むこともでき、あるいは、ただユーザーのセットトップボックス／デジタル・ビデオ・レコーダー１０８にまだ送達されていないコンテンツが検索できるよう、明示的に検索中に組み込むこともできる。コンテンツ・マネージャ１１０はコンテンツをユーザーのセットトップボックス／デジタル・ビデオ・レコーダー１０８に別個の送達ネットワーク、送達ネットワーク２（１１２）を通じて送達できる。送達ネットワーク２（１１２）は高速ブロードバンド・インターネット型の通信システムを含むことができる。放送アフィリエート・マネージャ１０４からのコンテンツが送達ネットワーク２（１１２）の全部または諸部分を使って送達されることもでき、コンテンツ・マネージャ１１０からのコンテンツが送達ネットワーク１（１０６）の全部または諸部分を使って送達されることもできることを注意しておくことが重要である。さらに、ユーザーは、必ずしもコンテンツをコンテンツ・マネージャ１１０によって管理してもらうことなく、コンテンツを、送達ネットワーク２（１１２）を介してインターネットから直接取得することもできる。さらに、検索の範囲は、利用可能なコンテンツを越えて、将来放送されるまたは利用可能にされることのできるコンテンツまで広がる。

セットトップボックス／デジタル・ビデオ・レコーダー１０８は送達ネットワーク１および送達ネットワーク２の一方または両方から種々の型のコンテンツを受信できる。セットトップボックス／デジタル・ビデオ・レコーダー１０８はコンテンツを処理し、ユーザー選好およびコマンドに基づいてコンテンツの分離を提供する。セットトップボックス／デジタル・ビデオ・レコーダーは、オーディオおよびビデオ・コンテンツを記録および再生するための、ハードドライブまたは光学式ディスク・ドライブのような記憶装置を含むこともできる。セットトップボックス／デジタル・ビデオ・レコーダー１０８の動作のさらなる詳細および記憶されたコンテンツの再生に関連する機能は図３との関係で後述する。処理されたコンテンツは表示装置１１４に与えられる。表示装置１１４は通常の2D型のディスプレイであることもできるし、あるいはまた高度な3Dディスプレイであることもできる。無線電話、PDA、コンピュータ、ゲーム・プラットフォーム、リモコン、マルチメディア・プレーヤーなどといった表示機能をもつ他の装置が本開示の教示を用いることもでき、本開示の範囲内と考えられることは理解しておくべきである。

送達ネットワーク２は、ソーシャル・ネットワーキング機能を提供するウェブサイトまたはサーバーを表すオンライン・ソーシャル・ネットワーク１１６に結合される。たとえば、セットトップボックス１０８を操作するユーザーはオンライン・ソーシャル・ネットワーク１１６にアクセスでき、それにより、他のユーザーからの電子メッセージにアクセスし、コンテンツ選択のために他のユーザーによってなされる推薦をチェックし、他のユーザーによってポストされた写真を見、「インターネット・コンテンツ」パスを通じて利用可能な他のウェブサイトを参照する。

オンライン・ソーシャル・ネットワーク・サーバー１１６はコンテンツ・マネージャ１１０とも接続でき、両要素間で情報が交換できる。コンテンツ・マネージャ１１０を介してセットトップボックス１０８上で見るために選択されているメディアは、この接続から、オンライン・ソーシャル・ネットワーキング１１６のための電子メッセージにおいて参照されることができる。このメッセージは、セットトップボックス１０８でそのメディアを閲覧している消費ユーザーの状態情報にポストされることができる。すなわち、セットトップボックス１０８を使っているユーザーは、特定のメディア資産の<<ASSETID>>〔アセットID〕、<ASSETTYPE>>〔アセット型〕および<<LOCATION>>〔位置〕といった情報を示すコマンドがコンテンツ・マネージャ１１０から発されることを指示することができる。該情報は、ユーザーを識別するために使われる特定のフィールド<<USERNAME>>〔ユーザー名〕によって識別される特定のユーザーについて<<SERVICE ID>>〔サービスID〕においてリストされたオンライン・ソーシャル・ネットワーキング・サーバー１１６へのメッセージ内であることができる。識別子は、電子メール・アドレス、ハッシュ、英数字列などであることができる。

コンテンツ・マネージャ１１０はこの情報を、<<SERVICE ID>>内にリストされる示されたソーシャル・ネットワーキング・サーバー１１６に送る。&USERNAMEのための電子メッセージは、ユーザーの状態情報にポストされたメディア資産の<<ASSETID>>、<ASSETTYPE>>および<<LOCATION>>に適合する情報をもつ。ソーシャル・ネットワーキング・サーバー１１６にアクセスできる他のユーザーは、消費ユーザーがどのメディアを閲覧したかを見るために消費ユーザーの状態情報を読むことができる。

そのようなフィールドの情報の例を以下に挙げる。

メディア資産〔アセット〕という用語は（表３について下記で述べるように）、ビデオ・ベースのメディア、オーディオ・ベースのメディア、テレビ番組、映画、対話的サービス、ビデオ・ゲーム、HTMLベースのウェブ・ページ、ビデオ・オン・デマンド、オーディオ／ビデオ放送、ラジオ番組、広告、ポッドキャストなどであることができる。

図２は、メディア・サーバー、オンライン・ソーシャル・ネットワークおよびメディアを消費するための消費装置の配置を呈示するシステム２００のブロック図を呈示している。メディア・サーバー２１０、２１５、２２５および２３０はメディアが記憶されるメディア・サーバーを表す。そのようなメディア・サーバーはハードドライブ、複数のハードドライブ、サーバー・ファーム、ディスク・ベースの記憶装置およびブロードバンド・ネットワークを通じたメディアの送達のために使用される他の型の大容量記憶装置であることができる。

メディア・サーバー２１０および２１５はコンテンツ・マネージャ１１０によって制御される。同様に、メディア・サーバー２２５および２３０はコンテンツ・マネージャ２３５によって制御される。メディア・サーバー上のコンテンツにアクセスするために、STB １０８、パーソナル・コンピュータ２６０、テーブル２７０および電話２８０のような消費装置を操作するユーザーはそのようなコンテンツについて有料の加入資格をもつことができる。加入資格は、コンテンツ・マネージャ２３５との協定を通じて管理されることができる。たとえば、コンテンツ・マネージャ２３５はサービス・プロバイダーであることができ、STB １０８を操作するユーザーは、映画チャンネルからの番組への、およびブロードバンド・ネットワーク２５０を通じてユーザーに音楽が送信されることができる音楽加入サービスへの加入資格をもつ。コンテンツ・マネージャ２３５は、STB １０８に送達されるコンテンツの記憶および送達を管理する。同様に、パーソナル・コンピュータ２６０、タブレット２７０および電話２８０などといった他の装置については他の加入が存在できる。コンテンツ・マネージャ２０５および２３５を通じて利用可能な加入資格は重なりがあってもよいことを注意しておく。たとえば、ディズニーのような特定の映画スタジオに適合するコンテンツは両方のコンテンツ・マネージャを通じて利用可能であってもよい。同様に、両コンテンツ・マネージャ２０５および２３５は、利用可能なコンテンツにおいて違いがあってもよく、たとえば、コンテンツ・マネージャ２０５はESPNからのスポーツ番組を有することができ、一方、コンテンツ・マネージャ２３５はフォックススポーツからのコンテンツを利用可能にする。コンテンツ・マネージャ２０５および２３５は、NETFLIX、HULUなどといったコンテンツ・プロバイダーであることもできる。これらは、そのようなコンテンツ・プロバイダーにユーザーが加入する場合にメディア資産を提供する。そのような型のコンテンツ・プロバイダーについての代替名は用語、オーバー・ザ・トップ（over the top）サービス・プロバイダー（OTT）である。別のサービスの「上で」（on top of）送達されることができるからである。たとえば、図１を考えると、コンテンツ・マネージャ１１０はセットトップボックス１０８を操作しているユーザーにインターネット・アクセスを提供する。（図２におけるような）コンテンツ・マネージャ２０５／２３５からのオーバー・ザ・トップ・サービスは、コンテンツ源１０２などから「インターネット・コンテンツ」接続を通じて送達されることができる。

加入は、コンテンツ・マネージャ２０５、２３５によってコンテンツが許諾されることができる唯一の方法ではない。コンテンツ・マネージャがアクセスされるコンテンツについていかなる料金も課さない場合には、一部のコンテンツは、コンテンツ・マネージャ２０５、２３５を通じて自由にアクセスできる。コンテンツ・マネージャ２０５、２３５はまた、固定期間（時間数）の閲覧について単一料金でビデオ・オン・デマンドのように送達される他のコンテンツについても課金することができる。コンテンツは、購入され、STB １０８、パーソナル・コンピュータ２６０、タブレット２７０などのような、コンテンツ・マネージャ２０５、２３５からコンテンツが受信されるユーザーの装置に記憶されることができる。コンテンツ・マネージャ２０５、２３５についての他の購入、レンタルおよび加入オプションも利用できる。

オンライン・ソーシャル・サーバー２４０、２４５は、ブロードバンド・ネットワーク２５０を通じて通信するオンライン・ソーシャル・ネットワークを運営するサーバーを表す。STB １０８、パーソナル・コンピュータ２６０、タブレット２７０および電話２８０のような消費装置を操作するユーザーは、該装置を通じてオンライン・ソーシャル・サーバー２４０、２４５と、および他のユーザーと対話できる。実装されることのできるソーシャル・ネットワークのための一つの特徴は、異なる型の装置（PC、電話、タブレット、STB）を使っているユーザーがソーシャル・ネットワークを通じて互いと通信できるということである。たとえば、第一のユーザーおよび第二のユーザーがいずれも同じソーシャル・ネットワークを使っている場合、第一のユーザーが電話２８０を使い、一方、第二のユーザーがパーソナル・コンピュータ２６０を使っていたとしても、第一のユーザーは第二のユーザーのアカウントにメッセージをポストすることができる。ブロードバンド・ネットワーク２５０、パーソナル・コンピュータ２６０、タブレット２７０および電話２８０は、当技術分野において知られている用語である。たとえば、電話２８０はインターネット機能および音声通信に従事する能力をもつ携帯装置であることができる。

ここで図３に目を転じると、消費装置の一例として、セットトップボックス／デジタル・ビデオ・レコーダー３００のコアのある実施形態のブロック図が示されている。示された装置３００は、表示装置１１４を含む他のシステムに組み込まれることもできる。いずれの場合も、システムの完全な動作に必要ないくつかのコンポーネントは、当業者にはよく知られているので、簡潔のため示していない。

図３に示した装置３００において、コンテンツは、入力信号受信器３０２において受領される。入力信号受信器３０２は、空中、ケーブル、衛星、イーサネット（登録商標）、ファイバーおよび電話線ネットワークを含むいくつかの可能なネットワークの一つを通じて提供される信号を受信し、復調し、復号するために使われるいくつかの既知の受信器回路の一つであることができる。入力信号受信器３０２において、制御インターフェース（図示せず）を通じて与えられるユーザー入力に基づいて、所望される入力信号が選択され、取り出されることができる。復号された出力信号は入力ストリーム・プロセッサ３０４に与えられる。入力ストリーム・プロセッサ３０４は最終的な信号選択および処理を実行し、そのコンテンツ・ストリームについてのオーディオ・コンテンツからビデオ・コンテンツの分離を含む。オーディオ・コンテンツは、圧縮されたデジタル信号のような受信されたフォーマットからアナログ波形信号への変換のためにオーディオ・プロセッサ３０６に提供される。アナログ波形信号はオーディオ・インターフェース３０８に、さらに表示装置１１４またはオーディオ・アンプ（図示せず）に与えられる。あるいはまた、オーディオ・インターフェース３０８はデジタル信号を、高精細度マルチメディア・インターフェース（HDMI: High-Definition Multimedia Interface）ケーブルまたはソニー／フィリップス・デジタル相互接続フォーマット（Sony/Philips Digital Interconnect Format）のような代わりのオーディオ・インターフェースを使って、オーディオ出力装置または表示装置に与えることができる。オーディオ・プロセッサ３０６は、オーディオ信号の記憶のための任意の必要な変換をも実行する。

入力ストリーム・プロセッサ３０４からのビデオ出力はビデオ・プロセッサ３１０に与えられる。ビデオ信号はいくつかのフォーマットの一つであることができる。ビデオ・プロセッサ３１０は、必然的に、入力信号フォーマットに基づくビデオ・コンテンツの変換を提供する。ビデオ・プロセッサ３１０はまた、ビデオ信号の記憶のための任意の必要な変換をも実行する。

記憶装置３１２は入力において受領されたオーディオおよびビデオ・コンテンツを記憶する。記憶装置３１２は、コントローラ３１４の制御のもとで、またユーザー・インターフェース３１６から受領されるコマンド、たとえば早送り（FF: fast-forward）および巻き戻し（Rew: rewind）のようなナビゲーション命令に基づいて、コンテンツののちの取得および再生を許容する。記憶装置３１２はハードディスク・ドライブ、静的ランダム・アクセス・メモリもしくは動的ランダム・アクセス・メモリのような一つまたは複数の大容量の統合された電子メモリであることができ、あるいはコンパクト・ディスク・ドライブまたはデジタル・ビデオ・ディスク・ドライブのような交換可能な光ディスク記憶システムであることもできる。ある実施形態では、記憶装置３１２は外付けで、本システム内に存在しなくてもよい。

入力にまたは記憶装置３１２に由来する、ビデオ・プロセッサ３１０からの変換されたビデオ信号は、ディスプレイ・インターフェース３１８に与えられる。ディスプレイ・インターフェース３１８はさらに、上記の型の表示装置に表示信号を提供する。ディスプレイ・インターフェース３１８は、赤緑青（RGB）のようなアナログ信号インターフェースであることができ、あるいは高精細度マルチメディア・インターフェース（HDMI）のようなデジタル・インターフェースであることができる。ディスプレイ・インターフェース３１８は、のちにより詳細に述べるように、三次元配列において検索結果を呈示するためのさまざまな画面を生成することが理解される。

コントローラ３１４はバスを介して、入力ストリーム・プロセッサ３０２、オーディオ・プロセッサ３０６、ビデオ・プロセッサ３１０、記憶装置３１２およびユーザー・インターフェース３１６を含む装置３００のコンポーネントのいくつかに相互接続される。コントローラ３１４は、入力ストリーム信号を記憶装置上での記憶のためまたは表示のための信号に変換するための変換プロセスを管理する。コントローラ３１４は、記憶されたコンテンツの取り出しおよび再生をも管理する。さらに、後述するように、コントローラ３１４は、記憶されている、または上記の送達ネットワークを介して送達されるべきコンテンツの検索を実行する。コントローラ３１４はさらに、コントローラ２１４のための情報および命令コードを記憶する制御メモリ３２０（たとえば、ランダム・アクセス・メモリ、静的RAM、動的RAM、読み出し専用メモリ、プログラム可能型ROM、フラッシュ・メモリ、EPROM、EEPROMなどを含む揮発性もしくは不揮発性メモリ）に結合される。さらに、メモリの実装は、単一メモリ・デバイスまたは代替的に二つ以上のメモリ回路が一緒に接続されて共有または共通メモリを形成したものといったいくつかの可能な実施形態を含むことができる。さらに、メモリは、バス通信回路の一部のような他の回路と一緒に、より大きな回路の中に含められることができる。

効果的に操作するために、本開示のユーザー・インターフェース３１６はディスプレイのあたりでカーソルを動かす入力装置を用いる。カーソルがコンテンツの上を通過する際、コンテンツが拡大される。ある実施形態では、入力装置は、ジャイロスコープまたは加速度計のような何らかの形の動き検出を備えるリモコンであり、ユーザーがカーソルを画面または表示に関して自由に動かせるようにする。もう一つの実施形態では、入力装置はタッチパッドまたはタッチ感応性デバイスの形の、パッド上、画面上でのユーザーの動きを追跡するコントローラである。もう一つの実施形態では、入力装置は、方向ボタンをもつ伝統的なリモコンであることができる。

図４は、メディア資産に関連付けられたトピックを取得するための方法４００を記載している。本方法はステップ４０５で始まる。本方法は、メディア資産に関連付けられた補助情報からキーワードを抽出することによって始まる（ステップ４１０）。しかしながら、他のキーワード抽出技法とは異なり、これはこの方法の最終的な処理ではない。一つのアプローチは、（セットトップボックス１０８中、コンテンツ・マネージャ２０５／２３５中などの）ビデオ・メディア資産と一緒に伝送されるEIA-608/EIA-708形式のクローズド・キャプション情報を処理するまたは読み込むクローズド・キャプション・プロセッサを使うことができる。クローズド・キャプション・プロセッサは、捕捉されたクローズド・キャプション・データをASCIIテキスト・ストリームとして出力するデータ・スライサーを有することができる。

異なる放送源が異なる仕方で構成されることができることを注意しておく。クローズド・キャプションおよび他の型の補助情報は、データ・ストリームがどのように構成されるかに依存して関心対象データを抽出するよう構成されることができる。たとえば、ATSC形式を使う米国での放送のためにフォーマットされたMPEG-2トランスポート・ストリームは、ヨーロッパでDVB-T送信のために使われるデジタル・ストリームとは異なり、日本で使われるARIBベースの送信とも異なる。

ステップ４１５では、このステップは、出力されたテキスト・ストリームが段階的に処理されて一連のキーワードを生成することで始まり、それらのキーワードがトピックにマッピングされる。すなわち、出力されたテキスト・ストリームは一連のセンテンスにフォーマットされる。

〈キーワード抽出〉
ある実施形態では、二つの型のキーワードに焦点が置かれる。名前のあるエンティティおよび有意な、単一語または複数語の句である。各センテンスについて、名前のあるエンティティ認識がまず使われて、すべての名前のあるエンティティ、たとえば人の名前、場所名などが同定される。しかしながら、クローズド・キャプションには、たとえば「彼」「彼女」「彼ら」などの代名詞もある。そこで、名前解決が適用されて、代名詞を、それが指す、名前のあるエンティティの全名に解決する。次いで、クローズド・キャプション・センテンスの（名前のあるエンティティ以外の）全nグラムについて、有意な句を見出すための辞書としてウィキペディアのようなデータベースが使用できる。1を超える長さの候補句それぞれについて、その先頭か末尾がストップワードであったら、それが除去される。ウィキペディアの使用は、ある種の無意味な句、たとえば「is a」「this is」を消去できる。

〈表層形態の解決〉
多くの句は種々の形をもつ。たとえば、「leaf cutter ant」「leaf cutter ants」「leaf-cutter ant」「leaf-cutter ants」〔ハキリアリ〕はみな同じものを指す。これらの句のいずれかが候補であるならば、正しい形が見出される必要がある。この問題を解決するために、ウィキペディアのようなデータベースのリダイレクト・ページが使用できる。ウィキペディアでは、「leaf cutter ant」「leaf cutter ants」「leaf-cutter ant」「leaf-cutter ants」はみな「leafcutter ant」というタイトルの単一のページにリダイレクトされる。ある句を与えられたとき、候補句としてすべてのリダイレクト・ページ・タイトルおよびターゲット・ページ・タイトルが使用できる。

〈追加的なストップワード・リスト〉
学術的ストップワード・リストおよび一般サービス・リストとして知られる、ストップワードの二つのリストも使用できる。これらの用語は、あまりに一般的であり、そのため有意な画像を位置発見するために使用できない句を除去するために、既存のストップワードのリストと組み合わされることができる。

〈データベース属性に基づくキーワードの選択〉
各データベース項目にはいくつかの属性が関連付けられることができる。たとえば、各ウィキペディア記事には次の属性が関連付けられることができる：ページにはいってくるリンクの数、出ていくリンクの数、一般性、曖昧さの数、ウィキペディア・コーパスにおいて記事タイトルが現れる総回数、それがリンクとして現れる回数など。

具体的な用語の大半について、属性の大半の値は、あまりに一般的と考えられた用語の値に比べて非常に小さいことが観察された。よって、具体的なまたは有意な用語の集合が使われ、その属性値が閾値を設定するために選ばれる。すると、この閾値内にはいらなかった特徴値をもつ用語はノイズ用語と考えられ、無視される。閾値より低い特徴値をもつ用語から、フィルタリングされたnグラム辞書が生成される。このフィルタリングされたnグラムは、クローズド・キャプションを処理し、クローズド・キャプションされたセンテンス中で有意な用語を見出すために使われる。

〈カテゴリーに基づくキーワードの選択〉
候補句〔候補フレーズ〕があるカテゴリー、たとえば「動物」にはいるとき、さらなるフィルタリングが実行できる。ワードネット（Wordnet）パッケージに対して徹底的な調査が実行された。ある単語、たとえば「python」〔ニシキヘビ〕がこのパッケージに与えられる場合、英語における単語「python」についてのあらゆる可能な意味が返される。よって、pythonについて、可能な意味は「reptile、reptilian、programming language」〔爬虫類、爬虫動物、プログラミング言語〕である。次いで、これらの意味が、一致を求めてコンテキスト用語と比較されることができる。

ある実施形態では、ウィキペディア・アプローチがワードネット・アプローチと組み合わされる。よって、いったんクローズド・キャプション化されたセンテンスが得られたら、その行が処理され、nグラムが見出され、それらのnグラムが検査されてそれらのnグラムがウィキペディア・コーパスに属するかどうかおよびそれらのnグラムがワードネット・コーパスに属するかどうかが判定される。このアプローチの試験において、クローズド・キャプション中の有意な用語の大半を取得することにおいてかなりの成功が達成できた。この方法に関する一つの問題は、ワードネットは単語についての意味しか与えず、キーフレーズについての意味は与えないという点であった。よって、たとえば、「blue whale」〔シロナガスクジラ〕はキーフレーズなので、意味が得られない。この問題に対する解決策は、キーフレーズの最後の用語のみを取り、ワードネットにおいてその意味を調べることによって見出された。よって、ワードネットにおいて「whale」〔クジラ〕の意味の検索が実行される場合、それが現在のコンテキストに属することが識別でき、よって「blue whale」が避けられることはない。

〈センテンス構造に基づくキーワードの選択〉
クローズド・キャプションにおける多くのセンテンスについて、主題フレーズは非常に重要である。よって、依存性解析器（dependency parser）を使ってセンテンスのヘッドを見出すことができ、センテンスのヘッドも候補フレーズであれば、センテンスのヘッドがより高い優先度を与えられることができる。

〈意味的関連性に基づくキーワードの選択〉
名前のあるエンティティ、用語フレーズは、現在のテレビ番組に直接関係しない種々のトピックを表すことがありうる。よって、どの用語フレーズがより関連しているかを判定することが必要である。いくつかのセンテンスを処理したのち、意味的関連性を使って、すべての用語が一緒にクラスター化される。次いで、最大の密度をもつクラスターが決定される。このクラスター内の用語は、関連画像問い合わせのために使用できる。

ステップ４２０では、キーワードはさらに処理される。それは、ある種のキーワードを特定のトピックに関連付ける所定のシソーラス・データベースを使って、抽出されたキーワードを（問い合わせ用語としての）一連のトピックにマッピングすることによる。このデータベースは、トピックの限られたセレクションが定義されており（特定の人々、主題など）、キーワードを特定の主題に対してマッピングするよう試みる比較器を使って、さまざまなキーワードがそのようなトピックに関連付けられるところでセットアップできる。たとえば、シソーラス・データベース（ワードネットおよびヤフー・オープンディレクトリー・プロジェクトのような）が、お金、株、市場といったキーワードがトピック「金融」に関連付けられているところでセットアップされることができる。同様に、米国大統領、第４４代大統領、オバマ大統領、バラク・オバマのようなキーワードはトピック「バラク・オバマ」に関連付けられる。他のトピックは、トピック決定についてのこのまたは同様なアプローチを使って、キーワードから決定できる。これを行うもう一つの方法は、コンテンツがトピックに基づいてカテゴリー化されている、ウィキペディアまたは同様の知識ベースを使うことができる。ウィキペディアにおいて関連付けられたトピックをもつキーワードが与えられると、シソーラス・データベースを生成する目的のために、上述したようなキーワードのトピックへのマッピングを得ることができる。

ひとたび各センテンスについてそのようなトピックが決定されたら、そのようなセンテンスは、<topic_1:weight_1;topic_2;weight_2,…,topic_n,:weightN,ne_1,ne_2,…,ne_m>の形に表現できる。

topic_iはセンテンス中のキーワードに基づいて識別されるトピックであり、weight_iは対応する関連性であり、ne_iはセンテンス中で認識される名前のあるエンティティである。名前のあるエンティティは、センテンス中の人々、場所または他の固有名詞を参照する。これらは文法解析を使って認識できる。

いくつかのエンティティが頻繁に言及されるが、「he,she,they〔彼、彼女、彼ら〕」のような代名詞の使用を通じて間接的に挙げられることがありうる。各センテンスが別個に解析される場合には、そのような代名詞は算入されない。そのような単語はストップワード・リストに含まれるからである。単語「you〔あなた〕」は、それが頻繁に使われるので特別な場合である。名前解決の使用が、用語「you」を、前／現在のセンテンスで言及された特定のキーワード／トピックに割り当てる助けとなる。そうではなく、特定の用語に参照付けられない場合には、「you」は無視される。この問題を解決するため、名前解決は、ストップワード除去の前に行われることができる。

いくつかのセンテンスが同じセットのトピックを論じており、同じセットの名前のあるエンティティに言及する場合、一連のセンテンスの「現在トピック」が現在言及されているとの想定がなされる。新たな一組のセンテンスにおいて新たなトピックに言及される場合、新たなトピックが扱われていると想定される。ビデオ番組の過程でトピックは頻繁に変わることが予期される。

これらの同じ原理は、典型的にはユーザーによって「申し込み」され、ユーザーの装置によって受信されるリアリー・シンプル・シンジケーション（RSS: Really Simple Syndication）フィードの受領に適用されることもできる。これらのフィードは典型的にはテキストおよび関連するタグを表し、フィードから関連するトピックを見出すために本キーワード抽出プロセスを使うことができる。RSSフィードは関連する検索結果を返すために、後述するアプローチを使って解析されることができる。重要なことに、放送およびRSSフィード両方の使用は、本明細書に挙げられているアプローチを使うことによって、同時にできる。

〈トピック変化検出〉
現在のテレビ・トピックが終わって新しいトピックが始まるとき、新しいトピックに基づいて関連する画像が取得できるよう、この変化が検出される必要がある。この変化を検出できないと、古い問い合わせ結果と新しいトピックとの間にミスマッチが生じ、視聴者を混乱させる。早まった検出は不要な処理を招くことになりうる。

現在のトピックが終わって（４０５）新しいトピックが始まるとき、そのような変化は、ある時間期間にわたるキーワードのベクトルを使って検出される。たとえば、ニュース放送では、スポーツ、政治、気象などといった多くのトピックが論じられる。先に述べたように、各センテンスはトピック重みのリスト（ベクトルと称される）として表現される。連続するセンテンスの（あるいはまた固定数の単語を含む二つの窓の間での）類似性を比較することが可能である。ベクトルを比較するためには、余弦類似性またはジャカール指数（Jaccard index）を使うなど、多くの既知の類似性指標がある。そのようなベクトルの生成から、用語が比較でき、類似性が実行され、それによりそのようなベクトル間の相違が記録される。これらの比較はある時間期間にわたって実行される。そのような比較はトピックからトピックへとどのくらいの変化が起こるかを決定する助けになる。それにより、所定の閾値を決定することができる。使用される技法に依存する「相違」指標がその閾値を超えたらトピックが変化した可能性が高いのである。

このアプローチの一例として、現在のセンテンスが、依存性解析器を使って、現在トピックと突き合わせて検査される。依存性解析器は所与のセンテンスを処理し、該センテンスの文法構造を決定する。これらは、与えられたセンテンスに正確にタグ付けし、処理するために、機械学習技法を用いる高度に洗練されたアルゴリズムである。これは、英語に固有の多くの曖昧さのため、英語にとっては特にやっかいな問題である。第一に、センテンス中に代名詞があるかどうかを確認する検査が実行される。もしあれば、エンティティ解決ステップが実行されて、現在センテンスにおいてどのエンティティが言及されているかが決定される。代名詞が使われていない場合および新たなトピックが見出されない場合には、現在センテンスは前のセンテンスと同じトピックについてであると想定される。たとえば、「he/she/they/his/her」が現在センテンスにある場合、そのような用語は前のセンテンスからのエンティティを指している可能性が高い。そのような代名詞の用法は現在センテンスに、前のセンテンスと同じトピックに言及させることが想定できる。同様に、後続センテンスについて、該センテンス中での代名詞の使用は前のセンテンスと同じトピックを示すことが想定できる。

現在トピックについて、最も確からしいトピックおよび最も頻繁に言及されるエンティティが保持される。すると、トピックとエンティティの共起が、トピックの変化を検出するために使用できる。具体的には、少なくとも一つのトピックおよびそのために認識される一つのエンティティがある場合にセンテンスが使用される。ある数の連続したセンテンスについてその<topic_1,topic_2,…,topic_n,ne_1,ne_2,…,ne_m>が現在のトピックおよびエンティティをカバーしない場合に、トピックが変更される。大きな数を選ぶことは、より正確なトピック変更の検出を与えうるが、遅延が増大するという代償を伴う。試験のためには数3が選ばれた。

トピック間の変更（ステップ４０５）は、連続するセンテンスのベクトルの間に変化があるときに認知される。ここで、二つのベクトル間の相違は著しい差によって変動する。そのような相違はさまざまな実施形態において変更されることができるが、（相違における）大きな数はトピック変化の検出においてはより正確になることができるが、大きな数を使うことは、トピックの検出のより長い遅延を与える。ステップ４２５では、この新しいトピックをもって新しい問い合わせが提出されることができる。

〈画像発見〉
意味のある用語を抽出したのち、意味のある用語は、画像貯蔵サイト、たとえばFlickrに問い合わせしてこれらの用語でタグ付けされた画像を取得するために使用できる（ステップ４３０）。しかしながら、問い合わせ結果はしばしば、現在の番組に関係しないいくつかの画像を含む。現在のコンテキストに関連しない画像を除去するための一つの解決策は、結果画像のタグが現在のコンテキストに属するかどうかを検査することである。各番組について、それに関係する最も一般的な用語であるコンテキスト用語のリストが生成される。たとえば、自然、野生生物、風景および動物界のような諸コンテキストについて用語リストが生成されることができる。よって、ひとたびキーフレーズでタグ付けされた画像が得られたら、画像のタグのいずれかが現在のコンテキストまたはコンテキスト用語のリストにマッチするかどうかを検査することができる。マッチが見出された画像のみが関係した画像のリストに加えられる。

この問い合わせアプローチは、マッチする用語で明示的にタグ付けされている画像を与えるだけである。他の用語に関係する画像は取得できない。画像発見のために共起アプローチを使うことができる。直観的には、いくつかの画像が同じトピックを論じる同じページ内に一緒に現れるか、非常に似通った主題について同じ写真家によって撮影されたものであるならば、それらは関係している。ユーザーがその一つを好めば、他の画像が異なる用語を使ってタグ付けされているとしても、ユーザーは他の画像も好む可能性が高い。画像発見ステップは、現在のテレビ番組に関係する可能性のあるすべての画像候補を見出す。

各ウェブ文書はベクトルとして表現される：（ウェブ・ページについては、通例、ノイズとなるデータ、たとえば広告テキストを除去することが必要である）
D=<IMG₁,TXT₁,IMG₂,TXT₂,…IMG_n,TXT_n>
この文書の純粋なテキスト表現は
D_txt=<TXT₁,TXT₂,…,TXT_n>
となる。

IMG_iはページ中に埋め込まれた画像であるところ、TXT_iはこの画像の対応するテキスト記述である。画像の記述はその周囲のテキスト、たとえば同じHTMLエレメント（div）内のテキストであることができる。また、この画像に割り当てられたタグであることもできる。画像が、この画像のより大きなバージョンを示す別のページにリンクしている場合、新しいページのタイトルおよびテキストも画像記述として扱われる。

同様に、各写真家の写真コレクションは
P_u=<IMG₁,TXT₁,IMG₂,TXT₂,…IMG_n,TXT_n>
と表現される。

IMG_iは写真家uによって撮影された画像であるところ、TXT_i（1≦i≦n）はこの画像の対応するテキスト記述である。

この写真家の純粋なテキスト表現は
P_u,txt=<TXT₁,TXT₂,…,TXT_n>
と表現される。

用語抽出段が用語ベクトル<T₁ T₂ … T_k>を抽出するとする。これらの抽出された用語はウェブ・ページおよび写真家コレクションのテキスト表現を問い合わせするために使われることができる。ウェブ・ページに含まれるまたは同じ写真家によって撮影された結果として得られる画像が候補として選ばれる。

〈画像推薦〉
画像発見ステップは、同じページ内に共起する、または同じ写真家によって撮影されたすべての画像を発見する。しかしながら、いくつかの共起するまたは同じ写真家に撮られた画像は、現在のテレビ番組とは全く異なるトピックについてであることがある。これらの画像が推薦されるとしたら、ユーザーは戸惑いかねない。したがって、関係しない画像は除去される。

各候補画像について、そのテキスト記述が現在のコンテキストと比較される。意味的関連性が、現在のテレビ・クローズド・キャプションと画像記述との間の関連性を測るために使用できる。次いで、ステップ４４０で、すべての画像が、現在のコンテキストとの意味的距離に従ってランク付けされる。意味的に関係した画像が上位にランク付けされる。

上位にランク付けされる画像は現在のテレビ・コンテキストに意味的に関係している。しかしながら、それらの画像は、画像品質、視覚効果、解像度などのため、ユーザーにとっては関心の度合いが異なることがある。したがって、意味的に関係した画像がすべてユーザーにとって関心があるものではない。よって、ステップ４４０は、これら意味的に関連する画像のさらなるランク付けを含む。

第一のランク付けアプローチは、意味的に関係した画像のそれぞれについて、レギュラー・ユーザーによってなされたコメントを使うことである。画像についてのコメントの数はしばしば画像の人気の高さを示す。より多くのコメントが画像についているほど、興味深いものであることがある。これは、大半のコメントが肯定的である場合に特に真である。最も単純なアプローチは、画像をランク付けするためにコメントの数を使うというものである。しかしながら、コメントの大半が否定的なものである場合には、満足のいくランク付けは達成できない。各コメントの方向性を考慮に入れる必要がある。各コメントについて、そのユーザーが肯定的であるか否定的であるかを見出すために、感情分析を使うことができる。人気のある画像は何百ものコメントがついている可能性が高く、一方、人気のない画像は高々数コメントしかついていないことがありうる。構成設定可能な数、たとえば100が評価を測るための閾値として指定されることができる。肯定的な評価だけが計数され、スコアは0から1までの間の範囲に制限される。それは次式によって定義される。

もう一つのランク付けアプローチは、写真家の平均的な評価を使うことである。写真家の評価が高いほど、ユーザーがその写真家の他の画像を好む可能性が高くなる。写真家の評価は、その写真家が撮影した画像すべてを平均することによって計算されることができる。

ウェブサイトがユーザー・コメントを許可していないため、あるいはアップロードされたばかりで多くのユーザーの目に触れていないために、いくつかの画像が既知の写真家をもたず、コメントをもたないことがありうる。第三のランク付けアプローチは、画像色ヒストグラム分布を使うことである。人間の目は色の変化に対してより敏感だからである。第一に、人気のある画像のグループが選出され、その色ヒストグラム情報が抽出される。次いで、これらの画像の過半数の共通の属性が見出される。新たに発見された画像について、その共通属性からの距離が計算される。次いで、最も類似した画像が推薦のために選択される。

〈多様化〉
現在のコンテキストにマッチする上位N個の画像が互いにきわめて似通っている可能性がある。たいていのユーザーは、単一の型よりは多様な画像を好む。結果を多様にするため、ステップ４５０において、画像は、互いとの類似性に基づいてクラスター分類され、各クラスターからの最高ランクの画像が推薦される。画像のクラスター分類は記述テキストを使ってできる。それにより、非常に似通った記述をもつ画像は同じクラスターに入れられる。

〈パフォーマンスの考慮〉
画像のランク付けは、データ・セット全体に対する膨大な処理を必要とする。しかしながら、いくつかの特徴は頻繁には変化しない。たとえば、プロの写真家がすでに高く評価されている場合、その評価は、毎回再計算することなく、キャッシュすることができる。ある写真がすでに多くのコメント、たとえば100を超えるコメントにより高く評価されている場合、その評価もキャッシュされることができる。さらに、新たにアップロードされた写真または新しい写真家については、その評価が定期的に更新され、結果がキャッシュされることができる
次いで、ステップ４６０において、選択された代表画像がユーザーに対して呈示される。この時点で、図４に描かれた方法は終了する（ステップ４７０）。

図５は、上記の方法を実行するために使用できるコンポーネントの簡略化された構成のブロック図５００を描いている。これらのコンポーネントは、コントローラ５１０およびメモリ５１５、ディスプレイ・インターフェース５２０、通信インターフェース５３０、キーワード抽出モジュール５４０、トピック変化検出モジュール５５０および画像発見モジュール５６０および画像推薦モジュール５７０を含む。これらのそれぞれについて下記でより詳細に論じる。

コントローラ５１０は他のすべてのコンポーネントと通信しており、他のコンポーネントを制御するはたらきをする。コントローラ５１０は、図３に関して述べたのと同じコントローラ３１４、コントローラ３１４のサブセットまたは全く別個のコントローラであることができる。

メモリ５１５は、コントローラ５１０によって使用されるデータや他のコンポーネントを制御するためにコントローラ５１０によって実行されるコードを記憶するよう構成される。メモリ５１０は図３に関して述べたのと同じメモリ３２０、メモリ３２０のサブセットまたは全く別個のメモリであることができる。

ディスプレイ・インターフェース５２０はユーザーへの画像推薦の出力を扱う。よって、それは、図４のステップ４６０の実行に関わる。ディスプレイ・インターフェース５２０は、図３に関して述べたのと同じディスプレイ・インターフェース３１６、ディスプレイ・インターフェース３１６のサブセットまたは全く別個のディスプレイ・インターフェースであることができる。

通信インターフェース５３０は、コントローラの、インターネットおよびユーザーとの通信を扱う。通信インターフェース５３０は、図３に関して述べた入力信号受信器３０２またはユーザー・インターフェース３１６、両者の組み合わせ、いずれかのサブセットまたは全く別個の通信インターフェースであることができる。

キーワード抽出モジュール５４０は、図４のステップ４２０および４２５との関連で述べた機能を実行する。キーワード抽出モジュール５４０はソフトウェア、ハードウェアまたは両者の組み合わせで実装できる。

トピック変化検出モジュール５５０は、図４のステップ４１０および４１５との関連で述べた機能を実行する。トピック変化検出モジュール５５０はソフトウェア、ハードウェアまたは両者の組み合わせで実装できる。

画像発見モジュール５６０は、図４のステップ４３０との関連で述べた機能を実行する。画像発見モジュール５６０はソフトウェア、ハードウェアまたは両者の組み合わせで実装できる。

画像推薦モジュール５７０は、図４のステップ４４０および４５０との関連で述べた機能を実行する。画像推薦モジュール５７０はソフトウェア、ハードウェアまたは両者の組み合わせで実装できる。

図６は、表示されている番組６２０のトピックに関係した、発見された画像６１０を表示する例示的な画面キャプチャ６００を描いている。この実施例では、画像６１０は、複数の見出された関連画像の画像クラスターの代表画像である。画面キャプチャ６００に見られるように、表示されている番組６２０は、ゴルフ選手タイガー・ウッズについてのCNNリポートである。よって、推薦される見出された画像６１０はゴルフ関係のものである。

本願の原理のこれらおよびその他の特徴および利点は、本稿の教示に基づいて当業者には容易に見きわめられるであろう。本願の原理の教示はハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解しておくべきである。

最も好ましくは、本願の原理の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット（「CPU」）、ランダム・アクセス・メモリ（「RAM」）および入出力（「I/O」）インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。

付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本願の原理がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本願の原理のこれらおよび同様の実装または構成を考えることができるであろう。

本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本願の原理はそうした厳密な実施形態に限定されるものではなく、当業者は本願の原理の範囲や精神から外れることなくそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本願の原理の範囲内に含まれることが意図されている。

Claims (14)

1. 表示されているコンテンツのための自動的な画像発見を実行する方法であって：
   表示されているコンテンツのトピックを検出する段階と；
   検出されたトピックに基づいて問い合わせ用語を抽出する段階と；
   前記問い合わせ用語に基づいて画像を発見する段階と；
   一つまたは複数の発見された画像を表示する段階とを含む、
   方法。
2. トピックが変化したかどうかを検出する段階と；
   前記問い合わせ用語を更新する段階とをさらに含む、
   請求項１記載の方法。
3. 表示されているコンテンツのトピックを検出する前記段階が：
   表示されているコンテンツに備わるクローズド・キャプションを処理することを含む、
   請求項１記載の方法。
4. 検出されたトピックに基づいて問い合わせ用語を抽出する前記段階が：
   名前を挙げられているエンティティおよび有意な句に基づいてキーワードを抽出することを含む、
   請求項１記載の方法。
5. キーワード抽出が：
   カテゴリーに基づいてキーワードを選択すること；
   センテンス構造に基づいてキーワードを選択すること；および
   意味的関連性に基づいてキーワードを選択すること、
   のうちの一つまたは複数を含む、請求項４記載の方法。
6. キーワード抽出が：
   有意な句を判別するためにデータベースを参照することを含む、
   請求項４記載の方法。
7. 検出されたトピックに基づいて問い合わせ用語を抽出する前記段階が：
   ある候補句について表層形態を解決することを含む、
   請求項１記載の方法。
8. 発見された画像を、トピックとの関連性に基づいてランク付けする段階をさらに含む、
   請求項１記載の方法。
9. 前記問い合わせ用語に基づいて画像を発見する前記段階が：
   オンライン画像データベースを検索することを含む、
   請求項１記載の方法。
10. 関係した画像をクラスター化する段階と；
    各クラスターについて代表画像を選択する段階とをさらに含む、
    請求項１記載の方法。
11. 表示されているコンテンツのための自動的な画像発見を実行するシステムであって：
    表示されているコンテンツのトピックを検出するよう構成されているトピック検出モジュールと；
    検出されたトピックから問い合わせ用語を抽出するよう構成されているキーワード抽出モジュールと；
    問い合わせ用語に基づいて画像を発見するよう構成されている画像発見モジュールと；
    前記トピック検出モジュール、キーワード抽出モジュールおよび画像発見モジュールを制御するよう構成されているコントローラとを有する、
    システム。
12. 発見された画像の一つまたは複数を表示するために構成されているディスプレイ・インターフェースをさらに有する、請求項１１記載のシステム。
13. 前記コントローラのためのデータおよび命令を記憶するよう構成されているメモリと；
    前記コントローラにインターネットおよびユーザーとのインターフェースをもたせるよう構成されている通信インターフェースとをさらに有する、
    請求項１１記載のシステム。
14. コンピュータ可読プログラムを有するコンピュータ使用可能媒体を有するコンピュータ・プログラム・プロダクトであって、前記コンピュータ可読プログラムは、コンピュータ上で実行されたときに、該コンピュータに：
    表示されているコンテンツのための自動的な画像発見を実行することを含む方法段階を実行させるものであって、該方法段階は：
    表示されているコンテンツのトピックを検出する段階と；
    検出されたトピックに基づいて問い合わせ用語を抽出する段階と；
    前記問い合わせ用語に基づいて画像を発見する段階と；
    一つまたは複数の発見された画像を表示する段階とを含む、
    コンピュータ・プログラム・プロダクト。

Images