JP2017535889A - コンテンツ属性の効率的な発見および表出 - Google Patents

コンテンツ属性の効率的な発見および表出 Download PDF

Info

Publication number
JP2017535889A
JP2017535889A JP2017528451A JP2017528451A JP2017535889A JP 2017535889 A JP2017535889 A JP 2017535889A JP 2017528451 A JP2017528451 A JP 2017528451A JP 2017528451 A JP2017528451 A JP 2017528451A JP 2017535889 A JP2017535889 A JP 2017535889A
Authority
JP
Japan
Prior art keywords
content
information
item
computing device
aggregation service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017528451A
Other languages
English (en)
Inventor
サチェティ,アルン
ハシャム,カリーム
ゴーヴィンダラジェン,パルタサラティ
ウー,クン
バイジャ,ガウタム・ヴイ
トラン,アンソニー
ウエストファル,シャノン
ウー,ナン
ムニーブ,アーメド
パーク,ジェーン・ジユン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017535889A publication Critical patent/JP2017535889A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

コンテンツの項目に関する情報を効率的にユーザーに表出させるシステム、コンピューティング・デバイス、および方法を紹介する。ユーザーのコンピューティング・デバイス上で実行するプロセスが、コンテンツの項目に関する関連情報を求めるユーザー指示を監視する。この指示を受けると、プロセスは、関連情報を求める要求を規定し、この要求をコンテンツ集計サービスに提出する。コンテンツ集計サービスはそのコンテンツを確認し、このコンテンツの項目の主題に関する複数の属性/値対を集計コンテンツ・ストアから抽出する。抽出された情報は、関連情報として、要求元のプロセスに戻され、次いでユーザーに提示される。【選択図】図2

Description

[0001] 人々はオンライン・コンテンツ、特に、非テキスト型コンテンツ(画像、ビデオ、オーディオ等を含む)を見れば見る程、そのコンテンツについて増々好奇心が湧き、もっと知りたくなることが多い。例えば、人(コンピューター・ユーザー)が仲間のオンライン・ブログのコンテンツを見ると、このコンピューター・ユーザーは画像に出くわすかもしれず、この画像について彼/彼女はもっと知りたくなることもある。実際、画像がキャプチャされても、および/または周囲のコンテンツが画像の主題の態様を記述しても、ビュー/コンピューター・ユーザーはなおも質問があるかもしれないが、これらの質問には回答されない。少なくとも、情報を発見するために具体的な行動を行わなければ回答は得られない。
[0002] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。
[0003] 開示する主題の態様によれば、コンテンツの項目に関する情報をユーザーに効率的に表出させるシステム、コンピューティング・デバイス、および方法を紹介する。ユーザーのコンピューティング・デバイス上で実行するプロセスが、コンテンツの項目に関する関連情報を求めるユーザーの指示を監視する。この指示を受けると、このプロセスは、関連情報を求める要求を規定し(formulate)、この要求をコンテンツ集計サービスに提出する。コンテンツ集計サービスは、そのコンテンツを確認し(identify)、コンテンツの項目の主題に関する複数の属性/値対を集計コンテンツ・ストアから抽出する。抽出された情報は、要求元プロセスに関連情報として戻され、次いでユーザーに提示される。
[0004] 開示する主題の更に他の態様によれば、コンテンツ属性への効率的なアクセスを与えるように構成されたユーザー・コンピューティング・デバイスを紹介する。このコンピューティング・デバイスは、プロセッサーとメモリーとを含み、プロセッサーは、コンテンツ属性への効率的なアクセスを与えるために、コンピューティング・デバイスの追加のコンポーネントの一部として、またはこれらと協働して、メモリーに格納されている命令を実行する。これらの追加のコンポーネントは、コンピューティング・デバイス上のプロセスとして実行するコンテンツ確認コンポーネントを含む。コンテンツ確認コンポーネントは、コンテンツの項目に関する関連情報を求める指示を監視し、この指示を受けると、コンテンツの項目に関する追加情報を求める要求を規定する。次いで、この要求はコンテンツ集計サービスに提出され、応答して、このプロセスは、コンテンツの項目に関する関連情報をコンテンツ集計サービスから入手する。種々の実施形態によれば、関連情報は、コンテンツの項目に関する複数の属性/値対を含む。この関連情報は、次いで、コンピューティング・デバイス上においてユーザーに提示される。
[0005] 開示する主題の更に他の態様によれば、プロセッサーとメモリーとを含むコンピューティング・デバイス上に実装され、コンテンツの項目に関する情報を提供するコンテンツ集計サービスを紹介する。コンテンツ集計サービスは、情報要求APIを含む。情報要求APIは、ユーザー・コンピューターからのコンテンツの項目に関する追加情報を求める要求を受けるためにネットワーク通信コンポーネントを介して通信する。コンテンツの項目に関する追加情報を求める要求を受けると、情報確認コンポーネントを実行する。情報確認コンポーネントは、集計コンテンツ・ストアに格納されているコンテンツ項目の情報にしたがって、受けた要求においてコンテンツの項目の主題を確認する。更に、情報確認コンポーネントは、コンテンツの項目に対する関連情報を集計コンテンツ・ストアから抽出する。抽出された関連情報は、集計コンテンツ・ストアからの、特定された主題の複数の属性/値対を含む。その後、関連情報は要求元のコンピューター・デバイスに戻される。
[0006] 開示する主題の更に他の態様によれば、コンテンツの未知の項目に関する情報を効率的に入手して表出させるコンピューター実装方法を紹介する。実行中、この方法は、コンピューティング・デバイス上においてユーザーに提示されたコンテンツの項目に関する関連情報を求める指示を監視する。この指示を受けると、コンテンツの項目に関する追加情報を入手するための要求が自動的に規定され、コンテンツ集計サービスに提出される。応答して、コンテンツの項目に関する関連情報が、コンテンツ集計サービスから得られる。種々の実施形態によれば、関連情報は、コンテンツの項目に関する複数の属性/値対を含む。関連情報は、コンピューティング・デバイスを介してユーザーに提示される。更に、この方法の監視、受け取る、規定する、提出する、入手する、および提示することに関するステップは、コンピューティング・デバイス上における実行のコンテキストを変更せずに実行される。
[0007] 開示する主題の以上の態様および付随する利点の多くは、以下の説明を参照し以下の図面と合わせて検討することによって増々理解されるにつれて、一層容易に認められるであろう。
図1は、開示する主題の態様を実現するのに適した例証的なネットワーク環境を示す絵図(pictorial diagram)である。 図2は、ユーザーのコンピューティング・デバイス上に表示されたコンテンツに関する情報を入手するときにおける、ユーザーのコンピューティング・デバイスとコンテンツ集計サービスとの間の例証的な交換を示す。 図3は、相応しく構成されたコンテンツ集計サービスの例証的なコンポーネントを示すブロック図である。 図4は、クローリング・プロセスによって確認されたコンテンツ項目および/またはコンテンツ情報要求において確認されたコンテンツ項目のような、コンテンツ項目を処理するために、相応しく構成されたコンテンツ集計サービスによって実装される例証的なルーチンを示す流れ図である。 図5は、コンテンツ項目に関する情報要求に応答するための、コンテンツ集計サービスによって実装される例証的なルーチンを示す流れ図である。 図6は、コンテンツの項目に関する追加情報を入手するための例証的なルーチンを示す流れ図である。 図7Aは、コンテンツの項目に関する追加情報を入手するための例証的なユーザー対話処理を示す絵図である。 図7Bは、コンテンツの項目に関する追加情報を入手するための例証的なユーザー対話処理を示す絵図である。 図7Cは、コンテンツの項目に関する追加情報を入手するための例証的なユーザー対話処理を示す絵図である。 図8は、開示する主題の態様を実現するのに適したコンピューティング・デバイスの、特に、コンテンツを確認するためにコンピューティング・デバイス上において実行するプロセスに関する例証的なコンポーネントを示すブロック図である。
[0016] 明確化のために、本文書における「例証的な」(exemplary)という用語は、ある物事の例示(illustration)または例(example)として役割を果たすというように解釈されてしかるべきであり、その物事の理想的なおよび/または主要な(leading)例示であると解釈されてはならない。
[0017] 「コンテンツ」という用語は、提示、格納、配列(arranged)、および/または作用(acted upon)することができる項目および/またはデーターを指す。多くの場合、コンテンツはコンピューティング・デバイスを介してコンピューター・ユーザーに提示することができるデーター/項目に対応するが、そうとは限らない。コンテンツの例には、例示としてそして限定ではなく、テキスト・ファイル、画像、オーディオ、ビデオ、文書/書籍データー・ファイル、ウェブ・ページ、ユーザー・ポスト、データー・ストリーム等、およびこれらの一部が含まれる。コンテンツは、1つ以上のフォーマットで永続化/格納することもできる。加えて、コンテンツを永続化するとは、コンテンツ自体をデーター・ストアに格納すること、および/またはこのコンテンツに対する参照をデーター・ストアに格納することも含むことができる。コンテンツの特定の一分野(division)に「非テキスト型コンテンツ」がある。非テキスト型コンテンツは、テキスト・データーではなく、テキストに基づくフォーマットでないコンテンツに対応する。非限定的な例として、画像、オーディオ・ファイル、ハプティック・ファイル(haptic file)、プレゼンテーション・ファイル等は全て非テキスト型コンテンツの例である。非テキスト型コンテンツは、署名の画像またはテキスト・メッセージがあるビルボード(billboard)のような、テキスト型コンテンツの表現を含むことができるが、コンテンツのフォーマットはテキストに基づくフォーマットではない。更に他の例として、PDF(移植可能な文書フォーマット)ファイルは非テキスト型コンテンツの例であり、周知のように、テキスト型コンテンツの表現を含むことができ、更にファイルのテキスト型コンテンツのテキスト型転記(transcription)を含むことができる。
[0018] 「アプリケーション」および「アプリ」という用語に関して、一般的に言うと、「アプリケーション」または「ソフトウェア・アプリケーション」とは、コンピューティング・デバイス上でプロセッサーによる実行として1つ以上の処理を実行するように設計されたソフトウェア・コード/命令の本体を指す。同様に、「アプリ」も、コンピューティング・デバイス上でプロセッサーによる実行として1つ以上の処理を実行するように設計されたソフトウェア・コード/命令の本体である。「アプリ」は、通例では、総合的なタスクに関して相互に関係することが多い、小さい1組の処理を実行することに狭く重点を置き、一方「アプリケーション」はその目的に関してもっと大きな目的および広い範囲を有するのが通例であるが、そうとも限らない。アプリおよびアプリケーションという用語は本文書では別個に述べられることもあるが、開示する主題に関しては、アプリおよびアプリケーション間の差は殆ど無意味である。したがって、アプリおよびアプリケーションという用語が開示文書において別個に述べられることもあるが(これらには何らかの差があるためである)、コンテンツをコンテンツ・ストアにキャプチャするという場合に限って言えば(本文書において開示するように)、これらは同義語として見なされてしかるべきである。
[0019] 通例、コンピューター・ユーザーがコンテンツに関してもっと多く知りたいとき、特に、非テキスト型コンテンツに関して、コンピューター・ユーザーは所望の情報を入手するためには積極的に多数のステップを実行しなければならない。これらのステップは、(一例としてそして限定ではなく)ユーザーのコンピューティング・デバイス上における実行コンテキストを、コンピューター・ユーザーがコンテンツに関するクエリーを提出することができるもの(他のアプリ、アプリケーション、またはウェブ・ページ)に変更するステップを含む。勿論、このコンテキスト切り換えは、更に、コンテンツのコピーをローカル・データー・ストアに保存し、求められる情報を入手するために、コンテンツに関する1つ以上の具体的なクエリーを形成し提出することを必要とする場合もある。勿論、結果的に得られた情報は、おそらくはコンピューター・ユーザーがプロセスを開始した実行コンテキストとは異なる実行コンテキストで、一連の検索結果ページにおいて提示され、必要に応じて、任意の具体的な検索結果を保存し、最終的に、このプロセスが開始した、元の実行コンテキストに戻す。この厄介で非効率的なプロセスとは対照的に、そして開示する主題の態様によれば、コンテンツ(非テキスト型コンテンツのような)に関する情報は、現在の実行コンテキスト内で、即ち、コンピューター・ユーザーに実行コンテキストを切り換えることを要求することなく、コンピューター・ユーザーに提供される。更に、コンピューター・ユーザーはコンテンツに関する情報を突き止めるために1つ以上の検索クエリーを必要とせず(そうすることが禁止されるのではないが)、コンテンツに関するロバストで多様な情報が、現在の実行コンテキストにおいてコンピューター・ユーザーに提供される。有利なこととして、開示する主題の態様によれば、コンピューター・ユーザーはコンテンツ(即ち、追加情報が求められる主題)をキャプチャし一時的に格納する必要がない。加えて、開示する主題のエレメントは、現在見ている情報/提示されている情報に関する追加情報を先行して入手するように動作することができ、これによってこのような追加情報を入手するときのレイテンシを低減する。その上更に、開示する主題の態様によれば、現在の実行コンテキスト、ユーザーの好み、およびパターンは、コンテンツに関する関連情報を確認し優先順位を決めるために使用することができる。開示する主題のこれらおよびその他の態様について、以下に明記する。開示する主題の更に別の利点は、コンピューター・ユーザーが追加の関連情報を求めるコンテンツが、コンピューター・ユーザーには全く不詳でも未知でもよいことである。
[0020] 開示する主題の態様によれば、コンテンツ集計サービスを提供する。コンテンツ集計サービスは、インターネットまたはワールド・ワイド・ウェブのような、ネットワーク上で入手可能なコンテンツに関する集計情報の集計コンテンツ・ストアを維持する。コンテンツ集計サービスは、ネットワーク上で入手可能なそのコンテンツの集計コンテンツ・ストアを維持する。通例、集計コンテンツ・ストアにおけるコンテンツ・データーおよび/または情報は、素早いアクセスおよび情報の引き出しを容易にするために、多数のインデックス・キーにしたがってインデックス化されるが、そうとも限らない。以下で更に詳しく論ずるように、インデックス・キーの少なくとも一部は、集計コンテンツ・ストアに格納されているコンテンツ項目の属性および/または態様(aspect)に対応する。集計コンテンツ・ストアを維持することに加えて、コンテンツ集計サービスは、更に、インターフェース、即ち、情報要求API(アプリケーション・プログラミング・インターフェース)も備えており、コンピューター・ユーザーのコンピューティング・デバイス上で実行するプロセスは、特定のコンテンツ項目に関する情報を入手するために、この情報要求APIにアクセスすることができる。種々の構成によれば、コンテンツ集計サービスは、コンピューター・ユーザーのコンピューティング・デバイス上に実装することができるが、通例、コンピューター集計サービスは、ネットワークを通じて1人以上のコンピューター・ユーザーにアクセス可能な独立サービス(即ち、コンピューター・ユーザーのコンピューティング・デバイスとは独立した)として実装される。
[0021] 以上で示したように、コンピューター・ユーザーのコンピューティング・デバイス上で実行するプロセスまたはサービスは、コンテンツ集計サービスと相互作用して、コンピューティング・デバイス上でコンピューター・ユーザーに提示/表示されるコンテンツの1つ以上の項目に関する追加情報を入手するように構成される。種々の実施形態によれば、このプロセスは、特定のコンテンツの項目に関するより多くの情報を求めるユーザー指示を検出すると、コンピューター・ユーザーの代わりに、情報要求APIを介してコンテンツ集計サービスと通信する。次いで、情報要求APIから入手した情報の全てまたは一部がコンピューター・ユーザーに表示される。より多くの情報を求めるユーザーの指示に応答することに加えて、種々の実施形態では、コンピューター・ユーザーのコンピューティング・デバイス上で実行するプロセス/サーバーは、コンピューター・ユーザーへの表示のために、非テキスト型コンテンツを含む、1つ以上のコンテンツの項目に関する情報を先行して入手することができる。
[0022] 開示する主題のこの全体的な説明を念頭に入れて、これより図を参照する。図1は、開示する主題の態様を実現するのに適した例証的なネットワーク環境100を、特に、非テキスト型コンテンツに関する情報を提供することに関して示す絵図である。図1に示すように、ネットワーク環境100は、コンテンツをホストするネットワーク108のような1つ以上のネットワークを通じて接続された、種々のウェブサイト/サービスを含む。例示としてそして限定ではなく、これらのウェブサイト/サービスは、ソーシャル・ネットワーキング・サイト112のような1つ以上のソーシャル・ネットワーキング・サイト、ネットワーク買い物サイト114のような1つ以上のネットワーク買い物サイト、検索エンジン116のような1つ以上のユーザー・オンライン・サービス・プロバイダー、1つ以上のニュース関連ネットワーク・サイト(図示せず)、1つ以上のユーザー・ブログ・サイト/サービス(図示せず)等を含むことができる。その上更に、ネットワーク環境100は、ユーザー・コンピューティング・デバイス102および104のような、1つ以上のユーザー・コンピューティング・デバイスも含み、コンピューター・ユーザー101のようなコンピューター・ユーザーは、ユーザー・コンピューティング・デバイスによって、開示する主題の態様にしたがって、特定のコンテンツの項目に関する追加情報を入手することができる。
[0023] 勿論、ネットワーク環境100にはコンテンツ集計サービス110も含まれる。コンテンツ集計サービス110は、コンピューティング・デバイス(コンピューティング・デバイス102のような)上における、コンピューター・ユーザー101のようなコンピューター・ユーザーへの提示のために、1つ以上のコンテンツ項目に関する情報を求める情報要求に応答する。開示する主題の態様によれば、コンテンツ集計サービス110は、ネットワーク108全域にわたって入手可能なコンテンツに関する情報を入手する。コンテンツ集計サービス110は、種々のソースにしたがって入手可能なコンテンツに関する情報を入手することができ、例示としてそして限定ではなく、ネットワーク108上でネットワーク・サイトをクロールする(crawl)し、ソーシャル・ネットワーキング・サイト112のようなソーシャル・ネットワーキング・サイトを含む種々のユーザー中心サイト(user-centric site)から情報を入手して、検索エンジン116のような1つ以上の検索サービスから検索クエリー・ログを入手して、コンピューティング・デバイス102および104のような1つ以上のコンピューティング・デバイスのブラウズ履歴を入手する等を行う1つ以上のプロセスを含む。更に、コンテンツ集計サービス110は、コンテンツの項目(コンテンツのフォーマット・タイプ、コンテンツ内のオブジェクト等を含む)のコンテキスト理解から、コンテンツを消費、作成、および/または編集するアプリ/アプリケーションから、更には、以下で論ずるように、コンピューター・ユーザーの対話処理および/またはユーザー要求において得られるコンテンツの使用のコンテキスト理解から、コンテンツに関する情報を入手することができる。開示する主題の態様によれば、これら種々の「入手」プロセスによってコンテンツに遭遇すると、このコンテンツが確認され、コンテンツ集計サービス110の集計コンテンツ・ストアにおいて集計される。更にその上、確認および集計されたコンテンツに関する属性および態様も確認され、遭遇したコンテンツの位置、確認されたコンテンツの属性等のような、コンテンツに関する集計情報が、コンテンツ情報要求に応答するときに使用するために、集計コンテンツ・ストアに格納される。
[0024] 図2は、ユーザーのコンピューティング・デバイス上に表示されたコンテンツに関する情報を入手するときにおける、ユーザー・コンピューティング・デバイス102とコンテンツ集計サービス110との間における例証的な交換200を示す。矢印202で示すように、コンピューティング・デバイス102上で実行するプロセス203によって、コンピューター・ユーザーに提示されたコンテンツに関する追加情報を要求するための要求201が生成/規定される。開示する主題の態様によれば、要求201(プロセスによって生成された)は、情報が要求されるコンテンツを確認する情報、またはこのコンテンツを含む情報を含む。種々の実施形態において、ユニバーサル・リソース・ロケーター(URL)またはユニバーサル・リソース識別子(URI)がコンテンツの識別情報(identity)として供給される。代わりにまたは加えて、コンテンツのコピーまたは一部が、コンテンツ集計サービス110に対してコンテンツを確認する方法として、要求201に含まれてもよい。更に他の代替実施形態では、コンテンツの「シグネチャー」を供給することもできる。シグネチャーは、ハッシュ・アルゴリズム、圧縮アルゴリズム等のような所定のアルゴリズムにしたがって、コンテンツまたはその一部から生成される。
[0025] コンテンツ集計サービス110に対してコンテンツを確認する情報に加えて、コンテキスト情報も要求201に含めることができる。コンテキスト情報は、例示としてそして限定ではなく、現在コンテンツを表示しているアプリケーション、コンテンツ・タイプ(例えば、オーディオ・ファイル、ビデオ・ファイル、画像、プレゼンテーション・ファイル、PDFファイル等)、コンテンツにおける特定の場所(例えば、章/名称、現在の位置、ページ番号、場面等)等を含むことができる。勿論、コンテキスト情報および特定情報は、コンテンツ・タイプに依存するのでもよい。即ち、提供される具体的な情報は、追加の情報が求められるコンテンツ・タイプと相関してもよい。
[0026] また、関連情報も要求201に含めることができる。関連情報は、例示としてそして限定ではなく、コンテンツに関連するキャプション、および/またはコンテンツに関する説明(双方共同じウェブ・ページ/ポスト/ブログ等において発見されるとよい)を含むことができる。また、関連情報はユーザーのコメントおよび/またはコンテンツに関するポストも含むことができる。
[0027] 更に、要求201における他の情報には、コンピューター・ユーザーの好み(明示的に定められるもの、および暗示的に判定されるものの双方)および行動も含むことができる。これらは、情報、およびこの情報が求められるコンテンツに関する情報ピボット(information pivot)を表出させるときに優先順位を特定する際に使用することができる。要するに、要求201は、コンテンツ集計サービス110がコンテンツを確認するために、そして可能な限りコンテンツに関するどのような情報が求められているのか確認するために使用することができる情報を含む。後者、即ち、コンテンツに関するどのような情報が求められているのか確認することは、特に、コンピューター・ユーザーが、ビデオの特定の場面における俳優が誰なのか、またはオーディオ・ファイルにおけるソリストが誰なのかに関する情報を知りたいときに有用であると考えられる。
[0028] 一旦要求201が生成または規定されたなら、矢印204で示すように、コンテンツ集計サービス110に提出される。
[0029] 要求201を受けると、コンテンツ集計サービス110は、最初に、矢印206で示すように、要求が行われたコンテンツを確認する。コンテンツは、要求201において提供された情報にしたがって確認される。供給された特定の情報に応じて、コンテンツ集計サービス110は、コンテンツのコピーを入手することができる(供給されるURL/URIにしたがって)。供給された情報に基づいて、コンテンツ集計サービス110は、このコンテンツのエントリーが、コンテンツ集計サービス110が維持する集計コンテンツ・ストア230内に既に存在するか否か判定する。以下で更に詳しく論ずるが、集計コンテンツ・ストア230におけるコンテンツのエントリーは、コンテンツの複数の属性および態様に対応する情報を含む。この情報を以後コンテンツ属性と呼ぶ。各コンテンツ属性には、対応するコンテンツを記述する1つ以上の値(コンテンツ属性の性質に依存する)が関連付けられる。コンテンツ属性の例には、例示としてそして限定ではなく、対応するコンテンツの最良の概要(または複数の概要)、対応するコンテンツの最良のキャプション(または複数のキャプション)、コンテンツのインターネットにおける流通、コンテンツの最高品質のバージョンの場所(または複数の場所)、同様のコンテンツの場所、コンテンツに関するユーザー・コメント・スレッド、コンテンツの創作者、コンテンツの主題、コンテンツが最も多く視聴/再生/アクセスされる場所、コンテンツを突き止める可能性が最も高いクエリー、コンテンツを検索する典型的なユーザーの意図、コンテンツの主題を提供する販売所(shopping location)、コンピューター・ユーザーがコンテンツと対話処理することを可能とし、タスクにとって最良のアプリおよび/またはアプリケーションであると考えられるアプリ/アプリケーションを含むアプリケーション/アプリ等が含まれる。明らかに、集計コンテンツ・ストア230におけるコンテンツの各項目は多数のコンテンツ属性を含むことができる。更に、以下で更に詳しく説明するが、各コンテンツ属性は、情報ピボット、即ち、コンテンツおよびコンテンツの他の項目を見ることおよび調べることができる、コンテンツに関するデーター・ポイントを含むもできる。
[0030] 図2に戻り、集計コンテンツ・ストア230内でコンテンツを確認した後、またはコンテンツが集計コンテンツ・ストアには未だない新たな項目であると判定した後、コンテンツ集計サービス110は、コンテンツのコンテンツ属性の値を判定し、矢印208で示すように、集計コンテンツ・ストアにおける情報を更新し(コンテンツが既に集計コンテンツ・ストアにおけるコンテンツ項目によって表されている場合)、またはコンテンツ項目を集計コンテンツ・ストアに、対応するコンテンツ属性/値対と共に追加する(コンテンツが、集計コンテンツ・ストアにおけるコンテンツ項目によって未だ表されていない場合)。勿論、集計コンテンツ・ストア230を更新する(または追加する)には、情報が求められるコンテンツに関連するキャプションが最良のキャプションであるか否か判定し、コンテンツが最高品質のコンテンツであるか否か判定し、コンテンツのURLがコンテンツの流通場所の中に既に含まれているか否か等を判定しなければならない場合もある。
[0031] 集計コンテンツ・ストア230を更新した後、矢印210で示すように、コンテンツ集計サービス110はコンテンツの関連情報を確認する。即ち、コンテンツ属性/値対にアクセスする。次いで、コンテンツ属性/値対を処理し(必要に応じて)、戻される情報に優先順位を付けることができる。種々の実施形態によれば、矢印212で示すように、要求元のコンピューター・ユーザーの好みおよびコンテキストにしたがって、情報に優先順位を付ける、および/または情報を処理することができる。矢印214で示すように、結果213(即ち、関連情報)がコンピューター・ユーザー(または、更に特定すれば、コンピューター・ユーザーのコンピューティング・デバイス102で実行するプロセス203)に戻され、矢印216で示すように、関連情報はコンピューター・ユーザーに提示される。
[0032] コンテンツ集計サービス110に関して、コンテンツ集計サービスは、1つ以上のコンピューティング・デバイス上にホストされるサービスとして実装され、1つ以上のユーザー・コンピューティング・デバイスからのコンテンツに関する情報要求に応答するように構成することができる。複数のコンピューティング・デバイス上で構成されるとき、各コンピューティング・デバイスには、コンテンツ集計サービスの全てのコンポーネントを構成することができ(以下で説明するように)、または異なるコンピューティング・デバイス上に配置された種々のコンポーネントを構成することもできる。しかしながら、簡単にするために、1つのコンピューティング・デバイス上における実装に関して、コンテンツ集計サービスについて説明する。図3は、相応しく構成されたコンテンツ集計サービス110の例証的なコンポーネントを示すブロック図である。コンテンツ集計サービス110は、1つのコンピューティング・デバイス上に実装される場合、少なくとも1つのプロセッサー302(または処理ユニット)とメモリー304とを含み、これらはシステム・バス310によって相互接続されている。容易に認められるであろうが、メモリー304は通例揮発性メモリー306および不揮発性メモリー308の双方を含む(が常にではない)。揮発性メモリー306は、メモリーに電力が給電されている限り、情報を保持または格納する。対照的に、不揮発性メモリー308は、電源が入手可能でないときでも情報を格納する(または永続化する)ことができる。一般的に言うと、RAMおよびCPUキャッシュ・メモリーが機発明メモリー306の例であり、一方ROM、ソリッド・ステート・メモリー・デバイス、メモリー記憶デバイス、および/またはメモリー・カードが不揮発性メモリー308の例である。
[0033] プロセッサー302は、種々の機能を実行するとき、特にコンテンツに関する情報要求(図2の情報要求201のような)に応答することに関して、メモリー304から引き出された命令を実行する。プロセッサー302は、単一プロセッサー、マルチプロセッサー、シングルコア・ユニット、およびマルチコア・ユニットのような、種々の市販されているプロセッサーの内任意のもので構成することができる。システム・バス310は、移動体デバイスの種々のコンポーネントが相互通信するためのインターフェースを提供する。システム・バス310は、種々のコンポーネント(内部および外部双方のコンポーネントを含む)を相互接続することができる様々なタイプのバス構造のいずれでも可能である。コンテンツ集計システムとして構成される例証的なコンピューティング・システム110は、更に、コンピューティング・デバイス/コンテンツ集計サービス110を他のネットワーク・アクセス可能なコンピューター、オンライン・サービス、および/またはネットワーク・エンティティ、更には、ネットワーク108のような、コンピューター・ネットワーク上の他のデバイスと相互接続するために、ネットワーク通信コンポーネント312を含む。ネットワーク通信コンポーネント312は、ネットワーク108を通じて、ユーザー・コンピューティング・デバイス102および104、ならびにコンピューティング・デバイスおよびサービス112〜116のような、種々のコンピューターおよびデバイスと通信するように構成することができる。この通信は、ネットワーク通信コンポーネント312によって、有線接続、ワイヤレス接続、または双方を介して行うことができる。当業者には容易に認められるであろうが、ネットワーク通信コンポーネント312のようなネットワーク通信コンポーネントは、通例、通信媒体(即ち、ネットワーク108)を介してディジタルおよび/またはアナログ信号を送信および受信するハードウェアおよび/またはファームウェア・コンポーネントで構成される(更にソフトウェア・コンポーネントも含むことができる(include or comprise))。
[0034] また、コンテンツ集計サービス110には情報要求API314も含まれる。情報要求API314は、図2の情報要求201のような情報要求を受けてこれに応答するサービスを実施する実行可能コンポーネントである。一般的に言うと、情報要求API314はポータルであり、コンピューター・ユーザーのコンピューティング・デバイス上のサービスは、このポータルを介して、コンピューター・ユーザーには未だ知られていないコンテンツを含むコンテンツの項目に関する追加情報を入手する。情報要求API314は、コンテンツに関するコンピューター・ユーザーからの情報要求を処理するときに、他のコンポーネント(以下で説明する)と相互作用する。図2の矢印206に関して論じたように、コンテンツ確認コンポーネント322は、コンテンツ項目(情報要求201の主題)を、コンテンツ集計サービス110には既に知られているコンテンツ項目として、または新たなコンテンツ項目として確認する。
[0035] 一旦コンテンツ項目が、コンテンツ集計サービス110にとって既存のコンテンツ項目として、または新たなコンテンツ項目として確認されたなら、コンテンツ属性抽出コンポーネント320は、確認されたコンテンツ項目の属性および/または態様対を抽出する。この実例では、抽出とは、確認されたコンテンツ項目の属性および/または態様を確認し、確認された属性に対応する1つ以上の値を判定することを含意する。この抽出は、確認されたコンテンツのタイプにしたがって、殆どの場合は特定的である、コンテンツの分析を含む様々なプロセスを必要とするが、コンテンツ・タイプ、コンテンツの主題、主題の品質、コンテキスト的使用状況等を確認するプロセスを含んでもよい。コンテンツの解像度、チャネル、題名/章/ページ、キャプション、説明、URL/URI、関連項目等(これらの多くについては既に論じた)というような情報は、これらのプロセスによって確認され、確認されたコンテンツと関連付けられる。確認されたコンテンツがコンテンツ集計サービス110にとって既知のコンテンツ項目である限りでは、この項目に関する属性データーは、集計コンテンツ・ストア230においてしかるべく更新することができる。逆に、確認されたコンテンツがコンテンツ集計サービス110にとって新しい限りにおいて、コンテンツ項目および属性対は集計コンテンツ・ストア230に追加される。
[0036] 確認されたコンテンツの項目と関連付けられるとよい追加の属性情報には、例示としてそして限定ではなく、コンテンツ項目を編集、消費、または作成するのに適した1つ以上のアプリおよび/またはアプリケーション、コンテンツ項目のコンテキスト的使用状況(例えば、買い物、広告、旅行、ファンの評価、社会的交流等)に基づくコンテンツの使用意図等を含むことができる。
[0037] コンテンツ項目がコンテンツ集計サービス110に対して確認されたことに確証を得た後、そして情報要求API314の指示により、情報確認コンポーネント316は、要求されたコンテンツ項目に関して要求された追加情報を確認し、集計コンテンツ・ストアから抽出する。この追加情報は、コンテンツ項目と関連付けられた属性/態様−値対に対応する。必要に応じて、情報優先順位コンポーネント324が、要求されたコンテンツに関して抽出された情報を整列し、優先順位を付けることができる。この整列/優先順位付けは、情報要求201のコンテキスト、追加情報を要求した(直接または間接的に)コンピューター・ユーザーの好みおよび/または優先順位、コンテンツに関する総合的なユーザーの好み等にしたがって行うことができる。更にその上、情報プレゼンテーション・コンポーネント318が、コンピューティング・デバイス102上におけるコンピューター・ユーザーへの提示のために、抽出された情報を処理することができる。
[0038] コンテンツ項目に関して要求された情報を入手した(そして、必要に応じて、優先順位を付け、および/または整列し、更に、必要に応じてコンピューティング・デバイス102上におけるコンピューター・ユーザーへの提示のために編成した)後、結果的に得られた情報(結果213)は、コンピューター・ユーザーへの提示のために、要求元コンピューティング・デバイスに戻される。
[0039] コンテンツ集計サービス110の種々のコンポーネントに関して、そして特にコンテンツ属性抽出コンポーネント320、コンテンツ確認コンポーネント322、情報優先順位コンポーネント324、情報プレゼンテーション・コンポーネント318、および情報確認コンポーネント316に関して、これらのコンポーネントはコンテンツ集計サービスにおける実行可能サービスとして実装されるのが通例であるが、そうとは限らない。代わりに、これらのコンポーネントの内任意のものまたは全てが、コンテンツ集計サービス110におけるハードウェアおよび/またはファームウェア・コンポーネントとして実装されてもよい。
[0040] 図4に移り、図4は、クローリング・プロセスから受け取られたコンテンツ、および/または要求201のようなコンテンツ情報要求において確認されたコンテンツのようなコンテンツを処理するために、相応しく構成されたコンテンツ集計サービス110によって実行される例証的なルーチン400を示す流れ図である。ブロック402において開始し、コンテンツ集計サービス110はコンテンツの項目の情報(例えば、コンテンツ項目のURL)を受け取る。ブロック404において、コンテンツ集計サービス110はコンテンツを確認する、即ち、コンテンツについての識別情報を判定する。判断ブロック406において、コンテンツ項目が既にコンテンツ集計サービスに知られているか、即ち、既に集計コンテンツ・ストア230内にあるか、またはこれがコンテンツ集計サービスにとって新しいかに関して判定を行う。
[0041] コンテンツが未だ集計コンテンツ・ストアにない/知られていない(即ち、新しい)場合、ブロック408において、この新しいコンテンツで集計コンテンツ・ストアを更新する。ブロック410において、受け取ったコンテンツ項目に関係があると考えられるコンテンツ項目も確認し、集計コンテンツ・ストア230においてこれらの接続を行う。ブロック412において、関連コンテンツ情報で集計コンテンツ・ストアを更新する。
[0042] コンテンツが既に集計コンテンツ・ストア230内にある場合、または受け取ったコンテンツおよび関連コンテンツ情報を確認した後、受け取ったコンテンツに関する属性および態様情報を確認する。これらの属性は、先に論じたものを含み、1つ以上の値と関連付けられ、ブロック416において、受け取ったコンテンツに関する情報はしかるべき更新される。この更新は、新たに確認されたコンテンツについての属性/値対を追加することを含む。その後、ルーチン400は終了する。図4には示されていないが、ある場合には、このルーチンを実行する機能として、受け取ったコンテンツの識別情報が戻される。
[0043] 図5は、コンテンツ項目に関する情報要求に応答するために、コンテンツ集計サービス110によって実行される例証的なルーチン500を示す流れ図である。ブロック502において開始して、コンテンツ集計サービス110は、図3の情報要求API314を介してコンテンツ要求を受ける。先に論じたように、この要求201は、追加情報が要求されたコンテンツ、コンテキスト情報、ユーザーの好み等を記述する情報を含む。ブロック504において、図4のルーチン400のような、コンテンツを処理し確認するルーチンをコールする。
[0044] ブロック506において、ブロック504において判定した、受け取ったコンテンツの識別情報に基づいて、確認したコンテンツに関する情報を集計コンテンツ・ストア230から抽出する。必要に応じて、ブロック508において、抽出した情報(即ち、関連情報)を、要求元ユーザーのために処理する。前述のように、この情報は、要求元コンピューター・ユーザーへの提示のために、優先順位を付ける、整列する、および/またはフォーマット化することもできる。その後、ブロック510において、情報要求のコンテンツ項目に対する関連情報を、要求元コンピューター・ユーザーに戻し、ルーチン500は終了する。
[0045] コンテンツ集計サービス110に対して行われる処理およびルーチンとは対照的に、図6は、コンテンツの項目に関する追加情報を入手するための例証的なルーチン600を示す流れ図である。ブロック602において開始し、コンピューター・ユーザーのコンピューティング・デバイス(コンピューティング・デバイス102または104のような)上で実行するプロセスは、コンテンツの項目に関する追加情報を望むという指示を受ける。この指示は、コンピューティング・デバイスのコンピューター・ユーザーによって行われる明示的な指示でもよく、または、代わりに、コンテンツの項目に関する情報を入手するためにコンピューター・ユーザーに代わって先行して行われてもよい。例えば、コンピューター・ユーザーによって見られたコンテンツの項目が、キャプションまたは記述情報と関連付けられていない場合、本プロセスはユーザーのために追加情報を先行して要求することができる。
[0046] ブロック604において、情報要求を生成する。先に示したように、情報要求は、追加情報が要求されたコンテンツを識別する情報、またはこのコンテンツを含む情報を含む。種々の実施形態では、ユニバーサル・リソース・ロケーター(URL)またはユニバーサル・リソース識別子(URI)が、コンテンツの識別情報として供給される。代わりにまたは加えて、コンテンツ集計サービスに対してコンテンツを確認する方法として、コンテンツのコピーまたは一部を要求に含ませるのでもよい。更に他の代替実施形態では、コンテンツの「シグネチャー」を与えてもよい。これは、ハッシュ・アルゴリズム、圧縮アルゴリズム等のような所定のアルゴリズムにしたがって、コンテンツまたはその一部から生成される。
[0047] 前述のように、コンテンツ集計サービス110に対してコンテンツ項目を確認する情報に加えて、コンテキスト情報も要求に含ませることができる。コンテキスト情報は、例示としてそして限定ではなく、現在コンテンツを表示しているアプリケーション、コンテンツ・タイプ(例えば、オーディオ・ファイル、ビデオ・ファイル、画像、プレゼンテーション・ファイル、PDFファイル等)、コンテンツにおける特定の場所(例えば、章/題名、現在の位置、ページ番号、場面等)等を含むことができる。勿論、識別情報だけでなくコンテキスト情報も、コンテンツ・タイプに依存するのでもよい。即ち、提供される具体的な情報が、追加情報を求めるコンテンツ・タイプと相関してもよい。
[0048] また、関連情報も、コンテンツ集計サービス110への要求に含むことができる。この関連情報は、例示としてそして限定ではなく、コンテンツに関連するキャプション、および/またはコンテンツに関する説明(双方共同じウェブ・ページ/ポスト/ブログ等において発見されてもよい)を含むことができる。また、関連情報はユーザー・コメントおよび/またはコンテンツに関するポストも含むことができる。
[0049] また、要求における他の情報には、更に、コンピューター・ユーザーの好み(明示的に定められたものおよび暗示的に判定されたもの)および行動も含むことができる。これらは、情報が求められたコンテンツに関して情報および情報ピボットを表出させるときに、優先順位を特定する際に使用することができる。要約すると、要求は、コンテンツ集計サービス110がコンテンツを確認するため、そして可能な限りにおいて、コンテンツに関してどんな情報が求められているのか確認するために使用することができる情報を含む。
[0050] ブロック606において、前述のように、情報要求をコンテンツ集計サービス110に提出する。応答して、ブロック608において、例証的なルーチンは情報要求の結果、即ち、コンテンツの項目に関する追加関連情報を受け取る。前述のように、戻された結果は、ユーザーの好み、現在のコンテキストにしたがって、更には要求元のコンピューター・ユーザーのコンピューティング・デバイス上での提示のために、コンテンツ集計サービス110によって処理されている場合もある。代わりにおよび必要に応じて、ブロック610において、コンテンツおよびユーザーに対して最も重要であると見なされる項目が、そうでないものよりも前に表示されるように、そしてコンピューティング・デバイスの表示または提示能力に関して、コンテンツ集計サービス110からの結果に優先順位を付けるために、結果をコンピューター・ユーザーのコンピューティング・デバイス上で処理することもできる。その後、ブロック612において、情報をコンピューター・ユーザーに提示し、ルーチン600は終了する。
[0051] 以上で説明したルーチン400、500、および600に関して、そして本明細書において説明した他のプロセスに関して、これらのルーチン/プロセスは別々のステップで表現されているが、これらのステップは、性質上論理的であると見なされてしかるべきであり、特定の実施態様のいずれかの実際のおよび/または別々のステップに対応する場合も、しない場合もある。また、これらのステップが種々のルーチンおよびプロセスにおいて現れる(presented)順序は、これらのステップを実行できる唯一の順序と解釈してはならない。ある場合には、これらのステップの一部を削除することもできる。更に、これらのルーチンは開示する主題の種々の新規の特徴を含むが、これらのルーチンにおいて明記される主題の実行において他のステップ(記載なし)も実行することができる。尚、これらのルーチンの論理ステップは、一緒に組み合わされても、複数のステップで構成されてもよいことは、当業者には認められよう。以上で説明したルーチンのステップは、並列または直列に実行することもできる。種々のルーチンの機能は、ソフトウェア(例えば、アプリケーション、システム・サービス、ライブラリー等)で具体化されることが多いが、そうとも限らない。ソフトウェアは、コンテンツ集計サービス110に関して、そして図8に関して以下で説明するユーザー・コンピューティング・デバイスに関して説明したコンピューティング・デバイスのような、コンピューティング・デバイスの1つ以上のプロセッサー上で実行される。既に述べたように、種々の実施形態において、種々のルーチンの全部または一部は実行可能なハードウェア・モジュールで具体化することもできる。実行可能なハードウェア・モジュールには、コンピューター・システム上におけるシステム・オン・チップ、特殊設計プロセッサー、および/または論理回路等が含まれるが、これらに限定されるのではない。
[0052] これらのルーチン/プロセスは、通例、実行可能コードで実装される。実行可能コードは、ルーチン、関数、ループ構造、if−thenおよびif−then−elseステートメントのようなセレクター、割り当て(assignment)、算術計算等を含む。しかしながら、これらのルーチンの各々の実行可能ステートメントによる正確な実装は、プログラミング言語、コンパイラ、ターゲット・プロセッサー、動作環境、およびリンク(linking)またはバインド(binding)動作を含む、種々の実装構成および判断に基づく。尚、これらのルーチンにおいて明らかにされた論理ステップは、任意の数の方法で実装することができ、したがって以上で明記した論理的な説明は、同様の結果を入手することを十分に可能にすることは、当業者には容易に認められよう。
[0053] 開示する主題の多くの新規の態様は、アプリケーション(コンピューター・プログラムとも呼ぶ)、アプリ(小型で、一般に1つのまたは狭い目的のアプリケーション)、および/または方法で具体化されるルーチンで表現されるが、これらの態様は、コンピューター読み取り可能媒体によって格納されるコンピューター実行可能命令として具体化することもできる。コンピューター読み取り可能媒体をコンピューター読み取り可能記憶媒体とも呼ぶ。尚、コンピューター読み取り可能媒体は、今後の引き出しおよび実行のために、コンピューター実行可能命令をホストできることは、当業者には認められよう(recognize)。コンピューター読み取り可能記憶デバイス上に格納されているコンピューター実行可能命令が実行されると、その実行は、種々の例示したルーチンに関して以上で説明したステップ、方法、およびルーチンを含む、種々のステップ、方法、および/または機能をコンピューティング・デバイスに実行させ、コンピューティング・デバイスを構成し、および/またはコンピューティング・デバイスを適応させる。コンピューター読み取り可能媒体の例には、Blu−ray(登録商標)ディスク、ディジタル・ビデオ・ディスク(DVD)、コンパクト・ディスク(CD)、光ディスク・カートリッジ等のような光記憶媒体、ハード・ディスク・ドライブ、フロッピー・ディスク、磁気テープ等を含む磁気記憶媒体、ランダム・アクセス・メモリー(RAM)、リード・オンリー・メモリー(ROM)、メモリー・カード、サム・ドライブ等のようなメモリー記憶デバイス、クラウド・ストレージ(即ち、オンライン・ストレージ・サービス)等が含まれるが、これらに限定されるのではない。しかしながら、この開示に限って言えば、コンピューター読み取り可能媒体は搬送波および伝搬信号を明確に除外する。
[0054] 以上で示したように、コンピューター・ユーザーは、コンテンツの項目に関する追加情報を求める命令を明示的に与えることができる。開示した主題の種々の実施形態によれば、ユーザーは、現在の実行コンテキストを変更する、および/または手作業でそのコンテンツに関する検索クエリーを規定する必要なく、追加情報を入手することができるという利点がある。代わりに、コンピューター・ユーザーのコンピューティング・デバイス上で実行するプロセスを呼び出せばよい。このプロセスは、オペレーティング・システム・レベルのサービスとして実行することができる。有利なこととして、オペレーティング・システム・レベルのプロセスまたはサービスには実行コンテキスト内からアクセスすることができ、呼び出されたオペレーティング・システム・レベルのプロセスは、実行コンテキストを変更することなく機能する。言い換えると、コンテンツの項目に関する追加情報にアクセスするプロセスは、オペレーティング・システム・レベルのサービスであり、実行コンテキストを変更する(即ち、他のアプリケーションに切り換える)ことなく、実行中のアプリケーション内から使用することができる。勿論、開示したオペレーティング・システム・レベルのプロセスは、コンピューティング・デバイスのオペレーティング・システムの機能として実装される必要はなく、むしろこのプロセスは全ての実行コンテキストおよびプロセス機能から同じように、現在の実行コンテキストの延長として呼び出すことができるので、実行コンテキストは変更されないことは認められてしかるべきである。
[0055] 代替実施形態では、コンテンツの項目に関する追加情報を入手するための機能が、任意の数のコンピューター・アプリケーション内でリンクされることが可能な実行ライブラリーにおいて実装されてもよい。例えば、ネットワーク・ブラウザー(または任意の数のアプリおよび/またはアプリケーション)が、コンテンツの項目に関する追加情報を入手する機能を提供するライブラリーまたは実行モジュールを含むこともできる。
[0056] コンテンツの項目に関する追加情報を入手するためのユーザー対話処理に関して、図7A〜図7Cは、コンテンツの項目の追加情報にアクセスするための例証的なユーザー対話処理を示す絵図である。見て分かるように、図7Aは、表示面704上に画像702(コンテンツの非テキスト項目)を表示するコンピューティング・デバイス700を含む。この例では、そしてコンピューター・ユーザーが特定の画像702を確認することを望むと仮定すると、コンピューター・ユーザーは矢印706で示すように、表示面704の右縁からスワイプすることによって、追加情報を入手するプロセスと対話処理することができる。
[0057] 図7Bにおいて、表示面704の右縁からスワイプした後、確認アイコン710を含む対話処理アイコンのウィンドウ708が提示される。この例では、単に確認アイコン710と対話処理することによって、基礎のプロセス(図6のルーチン600に関して説明したような)が、コンテンツを求める情報要求を生成し、この要求をコンテンツ集計サービス110に提出し、結果を受け取る(図5のルーチン500において説明したように)。図7Cに移り、コンテンツ集計サービス110から結果を受け取った後、結果表示ウィンドウ712が現れ(presenting)、コンテンツ/画像702に関する情報を示す。実例を示すと、結果表示ウィンドウは、画像702の主題について説明するエンティティ・カード714、ならびに画像の追加属性および/または態様を表示するための様々なリンク716〜720を含む。
[0058] エンティティ・カード714に関して、そして開示した主題の態様によれば、コンテンツ集計サービス110は、検索エンジン、あるいは複数のエンティティに関してエンティティ・グラフおよび/またはデーター・ストアを維持する他のサービスというような、他のサービスによってコンテンツ項目の主題を付加的に確認するように構成することもできる。コンテンツ集計サービス110はこの追加サービスと協同動作して、集計コンテンツ・ストア230内に格納されているコンテンツ情報の中からエンティティを確認することができる。コンテンツの項目に関する情報が要求されたとき、そしてコンテンツ集計サービス110が、このコンテンツの項目が既知のエンティティであることを知っているとき、コンテンツ集計サービス110は、ユーザー要求に応答するときにこのサービスから情報を入手することもできる。このように開示する主題の種々の実施形態によれば、エンティティ・カード714を外部サービス(検索エンジン等のような)からコンテンツ集計サービスに引き出すことができる。
[0059] 以上で示唆したように、リンク716〜720によって表される属性/値対のような、コンテンツの項目の具体的な属性/態様に加えて、関連情報属性に関するリンクは、意図する使用またはユーザーに示唆する次のステップに関する属性も含むことができる。例えば、コンテンツの項目が調理法に関するとき、属性/値対は、買い物リストを生成するための情報、または調理法を準備する手引きを含むこともできる。同様に、コンテンツの項目が実際の場所に関する場合、関連情報はその場所への地図/道順を与える「属性」を含むこともできる。更にその上、コンテンツの項目の主題が商品(item of commerce)に関する場合、関連情報は、その商品を購入できる1つ以上の場所、および/またはその商品に対する最良の価格を確認できる1つ以上の場所を含むこともできる。これらの実例の各々において、コンピューター・ユーザーは、ユーザーのコンピューティング・デバイス上における現在の実行コンテンツを変更することなく、関連情報が提示されるという利点がある。
[0060] 図7A〜図7Cの例は画像に関して作られたが、この例は開示した主題を例示するのであり、開示する主題を限定するように解釈してはならないことは認められてしかるべきである。更に、以上の論述の多くは非テキスト型コンテンツであるコンテンツに関して行われたが、開示した主題は、テキスト型コンテンツを確認するためにも同様に実装することができる。勿論、他のタイプの非テキスト型コンテンツに関しても、開示した主題には多くの利点がある。例えば、ユーザーが、相応しく構成され、コンテンツを確認するための実行中のプロセスを含むデバイス上で映画(オーディオおよびビデオ)を見ている場合、ある時点において、特定の場面の間に流れている音楽は何かユーザーが知りたくなることがある。開示した主題がないと、ユーザーは映画を再生し、その音響をキャプチャするために他のデバイスに回答(reply)しなければならない。そこから、ユーザーは理論的にその音響を確認サービスに渡すことになる。複数のプロセスおよびデバイスを伴う代わりに、相応しく構成されたコンピューティング・デバイス上で、ユーザーは本プロセスを呼び出してコンテンツを確認することができる。あるコンピューティング・デバイス上では、ユーザーはクエリーを作るためにタッチに基づくインターフェースを使用することもできる(図7A〜図7Cに示したような)。他の代替および/または相補実施形態では、ユーザーは、「背景音楽を知りたい(identify)」と発話するというように、オーディオ・トリガーによって本プロセスを呼び出すこともできる。有利なこととして、他のデバイス、実行コンテキスト等を必要とすることなく、本プロセスを呼び出してコンテンツを確認することができ、応答して、このコンテンツに関する1つ以上の情報の項目(通例、複数の属性/値対)を受け取ることができる。同様に、視覚的合図および/またはジェスチャによって、コンテンツを確認するプロセスを呼び出すこともできる。また、共通のユーザー・インターフェース・デバイスがプロセスを呼び出すこともできる。
[0061] これより図8に移ると、図8は、特に、コンピューター・デバイス上でコンテンツを確認するために実行するプロセスに関して開示した主題の態様を実現するのに適したコンピューティング・デバイス800の例証的なコンポーネントを示すブロック図である。例示としてそして限定ではなく、適したコンピューティング・デバイスは、デスクトップ・コンピューター、ラップトップ・コンピューター、タブレット・コンピューター、スマート・フォン、いわゆるファブレット・デバイス(タブレットとスマート・フォンの混成)、ミニおよびメインフレーム・コンピューター、ゲームおよび娯楽用コンソール、コンピューターを装備したアプライアンス(テレビジョン、ビデオ再生機等)等を含む。
[0062] 例証的なコンピューティング・デバイス800は、プロセッサー802のような1つ以上のプロセッサー(または処理ユニット)と、メモリー804とを含み、これらはシステム・バス810によって相互接続されている。メモリー804は、通例、先に論じたように、揮発性メモリー806および不揮発性メモリー808を含む(が常にそうとは限らない)。更にその上、例証的なコンピューティング・デバイス800は、ネットワーク108のようなコンピューター・ネットワークを通じて、コンピューティング・デバイスをコンテンツ集計サービス110と相互接続するネットワーク通信コンポーネント812を含む。ネットワーク通信コンポーネント812は、ネットワーク・インターフェース・カードまたはNICと呼ばれることもあり、ネットワーク108を通じて、1つ以上の通信プロトコルを使用して、有線接続、ワイヤレス接続、または双方を介して通信する。当業者には容易に認められようが、ネットワーク通信コンポーネント812のようなネットワーク通信コンポーネントは、通例、送信媒体(即ち、ネットワーク108)を通じてディジタルおよび/またはアナログ信号を送信および受信するハードウェアおよび/またはファームウェア・コンポーネントで構成される(そして、ソフトウェア・コンポーネントも含んでもよい(include or comprise))。
[0063] また、例証的なコンピューティング・デバイス800には、ユーザーI/Oサブシステム814も含まれ、コンピューター・ユーザーはこれを介してコンピューティング・デバイスと対話処理することができる。ユーザーI/Oサブシステム814は、ディスプレイ・デバイス、スピーカー、マイクロフォン、入力デバイス(タッチ感応面、ポインティング・デバイス、キーボード等)、触覚応答メカニズム等を含むことができ、これらを介してコンピューター・ユーザーはコンピューティング・デバイスと対話処理することもできる。コンピューティング・デバイス上で動作するオペレーティング・システム816は、コンピューティング・デバイス上で実行する1つ以上のアプリケーション818にサービスを提供する。情報はコンテンツ・ストア822に格納することができ、コンテンツの項目の確認に関する情報を含む。
[0064] 例証的なコンピューティング・デバイス800は、コンテンツ確認コンポーネント820も含む。コンピューティング・デバイス上の実行中に、コンテンツ確認コンポーネント820は、図6のルーチン600に関して先に説明したように、コンテンツを確認するプロセスを提供する。通例、コンテンツ確認コンポーネント820は、プロセッサー802による実行のために、アプリ/アプリケーションのような、実行可能コンポーネントとして実装される。前述のように、開示した主題の態様によれば、コンテンツ確認コンポーネント820は、全ての実行中のアプリケーションおよび/またはプロセスによってアクセスすることができるように、実行中にオペレーティング・システム・レベルのプロセスとして実装されるとよく、いずれの実行コンテンツからでも一貫してアクセスされ、現在の実行コンテキストを変化させないような方法で実行することができる。
[0065] 例証的なコンピューティング・デバイス800の種々のコンポーネント、および例証的なコンテンツ集計サービス100に関して、これらのコンポーネントの多くは、コンピューティング・デバイスのメモリーに格納されている実行可能ソフトウェア・モジュールとして、ハードウェア・モジュールとして(SoCs、即ち、システム・オン・チップを含む)、または2つの組み合わせとして実装することができる。更に、種々のコンポーネントの多くは、1つ以上のコンピューター・システムおよび/またはコンピューティング・デバイスと共に動作するあるいはこれらにおいて動作する、独立した協同プロセスまたはデバイスとして実装することもできる。更に、勿論、例証的なコンピューティング・デバイス800またはコンテンツ集計サービス110に関して以上で説明した種々のコンポーネントは、種々の説明した機能を実行する論理コンポーネントとして見なされることも認められてしかるべきである。論理コンポーネントおよび/またはサブシステムは、直接1対1で実際の別々のコンポーネントに対応しても、対応しなくてもよいことは、当業者には認められよう。実際の実施形態では、各コンピューター・システムの種々のコンポーネントを一緒に組み合わせること、または複数の実際のコンポーネントに跨がって分散すること、および/またはコンピューター・ネットワーク上で協同プロセスとして実装することもできる。
[0066] 以上、開示した主題の種々の新規の態様について説明したが、これらの態様は例に過ぎず、限定として解釈されてはならないことは認められてしかるべきである。種々の態様に対する変形や変更も、開示した主題の範囲から逸脱することに行うことができる。

Claims (14)

  1. 実行コンテキストを変更することなく、コンテンツ属性への効率的なアクセスを与えるように構成されたユーザー・コンピューティング・デバイスであって、前記コンピューティング・デバイスがプロセッサーとメモリーとを含み、前記プロセッサーが、コンテンツ属性への効率的なアクセスを与えるために、追加コンポーネントの一部として、または追加コンポーネントと共に、前記メモリーに格納されている命令を実行し、前記追加コンポーネントが、
    前記ユーザー・コンピューティング・デバイスが、コンテンツ集計サービスを含む他のサービスとネットワークを通じて通信するネットワーク通信コンポーネントと、
    前記コンピューティング・デバイス上における実行に適した1つ以上のアプリケーションと、
    前記コンピューティング・デバイス上におけるプロセスとして実行するように構成されたコンテンツ確認コンポーネントと、
    を含み、
    前記コンピューティング・デバイス上における実行中に、前記コンテンツ確認コンポーネントが、
    コンテンツの項目に関する関連情報を求める指示を監視し、前記指示を受けたときに、
    前記コンテンツの項目に関する追加情報を求める要求を規定し、
    前記要求をコンテンツ集計サービスに提出し、
    前記コンテンツ集計サービスから前記コンテンツの項目に関する関連情報を入手し、前記関連情報が、前記コンテンツの項目に関する複数の属性/値対を含み、
    前記関連情報を前記コンピューティング・デバイスを介して提示し、
    前記コンテンツ確認コンポーネントが、前記コンピューティング・デバイスの実行コンテキストを変更することなく、前記監視する、受け取る、規定する、提出する、入手する、および提示する動作を実行する、コンピューティング・デバイス。
  2. 請求項1記載のコンピューティング・デバイスにおいて、コンテンツ確認コンポーネントが、オペレーティング・システム・レベルのプロセスとして動作し、前記コンピューティング・デバイス上における実行において、前記1つ以上のアプリケーションの各々にコンテンツの項目に対する追加情報への一貫したアクセスを与える、コンピューティング・デバイス。
  3. 請求項1記載のコンピューティング・デバイスにおいて、前記コンテンツ確認コンポーネントが、前記コンテンツの項目を前記コンテンツ集計サービスに対して確認する情報を構成するために(comprise)、前記コンテンツの項目に関する追加情報を求める要求を規定する、コンピューティング・デバイス。
  4. 請求項3記載のコンピューティング・デバイスにおいて、前記コンテンツ確認コンポーネントが、前記コンテンツの項目、および前記コンピューティング・デバイスのユーザーに対応する好みに関するコンテキスト情報を更に構成するために、前記コンテンツの項目に関する追加情報を求める前記要求を規定する、コンピューティング・デバイス。
  5. 請求項1記載のコンピューティング・デバイスにおいて、前記コンテンツ集計サービスから入手した前記コンテンツの項目に関する前記関連情報の前記属性/値対が、前記ネットワーク上における前記コンテンツの項目の流通情報を含む、コンピューティング・デバイス。
  6. 請求項1記載のコンピューティング・デバイスにおいて、前記コンテンツ集計サービスから入手した前記コンテンツの項目に関する前記関連情報の前記属性/値対が、前記ネットワーク上における前記コンテンツの項目の最高品質バージョンの位置を確認する情報を含む、コンピューティング・デバイス。
  7. 請求項1記載のコンピューティング・デバイスにおいて、前記コンテンツ集計サービスから入手した前記コンテンツの項目に関する前記関連情報の前記属性/値対が、前記ネットワーク上において入手可能な前記コンテンツの項目の最良の説明の位置を確認する情報を含む、コンピューティング・デバイス。
  8. コンテンツの項目に関する情報を提供するためにコンピューティング・デバイス上で実行されるコンテンツ集計サービスであって、前記コンピューティング・デバイスがプロセッサーとメモリーとを含み、前記プロセッサーが、コンテンツの項目に関する情報を提供するために、前記集計コンテンツ・サービスの追加コンポーネントの一部として、または追加コンポーネントと共に、前記メモリーに格納されている命令を実行し、前記追加コンポーネントが、
    ネットワークを通じてユーザー・コンピューターからコンテンツの項目に関する追加情報を求める要求を受けるために、ネットワーク通信コンポーネントを介して通信する情報要求APIと、
    コンテンツの項目に関する追加情報を求める要求を受けたときに、前記情報要求APIによって実行される情報確認コンポーネントであって、前記情報確認コンポーネントが、集計コンテンツ・ストアに格納されているコンテンツ項目の情報にしたがって、前記受けた要求における前記コンテンツの項目の主題を確認し、前記コンテンツの項目に対する関連情報を抽出し、前記関連情報が、前記集計コンテンツ・ストアからの、前記確認された主題の複数の属性/値対を含み、前記関連情報を前記要求元コンピューター・デバイスに戻す、情報確認コンポーネントと、
    を含む、コンテンツ集計サービス。
  9. 請求項8記載のコンテンツ集計サービスであって、更に、前記要求元コンピューター・デバイス上におけるユーザーへの提示のために、前記関連情報を構成する情報プレゼンテーション・コンポーネントを含む、コンテンツ集計サービス。
  10. 請求項8記載のコンテンツ集計サービスにおいて、前記複数の属性/値対が、
    前記ネットワーク上における前記コンテンツの項目の流通情報と、
    前記ネットワーク上で入手可能な前記コンテンツの項目の最高品質バージョンの位置と、
    前記ネットワーク上で入手可能な前記コンテンツの最良の説明の位置と、
    前記ネットワーク上で入手可能な前記コンテンツの項目の最良のキャプションの位置と、
    の内1つ以上を含む、コンテンツ集計サービス。
  11. 請求項8記載のコンテンツ集計サービスにおいて、前記関連情報が、更に、前記ネットワークを通じて第三者検索サービスから入手される前記コンテンツの項目の主題に関する追加関連情報を含む、コンテンツ集計サービス。
  12. 未知のコンテンツの項目に関する情報を効率的に入手して表出させるためのコンピューター実装方法であって、
    コンピューティング・デバイス上でユーザーに提示されたコンテンツの項目に関する関連情報を求める指示を監視するステップと、
    前記指示を受けたときに、前記コンテンツの項目に関する追加情報を求める要求を自動的に規定するステップと、
    前記要求をコンテンツ集計サービスに提出するステップと、
    前記コンテンツ集計サービスから前記コンテンツの項目に関する関連情報を入手するステップであって、前記関連情報が前記コンテンツの項目に関する複数の属性/値対を含む、ステップと、
    前記関連情報を前記コンピューティング・デバイスを介して提示するステップと、
    を含み、
    前記監視するステップ、受けるステップ、規定するステップ、提出するステップ、入手するステップ、および提示するステップが、前記コンピューティング・デバイス上における実行コンテキストを変更することなく行われる、コンピューター実装方法。
  13. 請求項12記載のコンピューター実装方法において、前記方法が、前記コンピューティング・デバイス上で実行する前記1つ以上のアプリケーションまたはプロセスのいずれの1つに対しても等しくアクセス可能なオペレーティング・システム・レベルのサービスとして実装される、コンピューター実装方法。
  14. 請求項12記載のコンピューター実装方法であって、更に、前記コンテンツおよびユーザーにとって最も重要であると確認された関連情報の項目が、前記ユーザーにとって重要性が低いと確認されたものよりも前に表示されるように、前記関連情報に優先順位を付けるステップを含む、コンピューター実装方法。
JP2017528451A 2014-11-26 2015-11-20 コンテンツ属性の効率的な発見および表出 Pending JP2017535889A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462085053P 2014-11-26 2014-11-26
US62/085,053 2014-11-26
US14/572,750 2014-12-16
US14/572,750 US20160150038A1 (en) 2014-11-26 2014-12-16 Efficiently Discovering and Surfacing Content Attributes
PCT/US2015/061716 WO2016085773A1 (en) 2014-11-26 2015-11-20 Efficiently discovering and surfacing content attributes

Publications (1)

Publication Number Publication Date
JP2017535889A true JP2017535889A (ja) 2017-11-30

Family

ID=56011431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528451A Pending JP2017535889A (ja) 2014-11-26 2015-11-20 コンテンツ属性の効率的な発見および表出

Country Status (7)

Country Link
US (1) US20160150038A1 (ja)
EP (1) EP3224741A1 (ja)
JP (1) JP2017535889A (ja)
CN (1) CN107004014A (ja)
BR (1) BR112017007328A2 (ja)
RU (1) RU2017118178A (ja)
WO (1) WO2016085773A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9697236B2 (en) * 2014-12-05 2017-07-04 Microsoft Technology Licensing, Llc Image annotation using aggregated page information from active and inactive indices
US11675924B2 (en) * 2019-05-28 2023-06-13 SquelchAI, LLC Content aggregation system for intelligent searching of indexed content based on extracted security identifiers

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236768B1 (en) * 1997-10-14 2001-05-22 Massachusetts Institute Of Technology Method and apparatus for automated, context-dependent retrieval of information
US6711585B1 (en) * 1999-06-15 2004-03-23 Kanisa Inc. System and method for implementing a knowledge management system
US6999916B2 (en) * 2001-04-20 2006-02-14 Wordsniffer, Inc. Method and apparatus for integrated, user-directed web site text translation
US7305381B1 (en) * 2001-09-14 2007-12-04 Ricoh Co., Ltd Asynchronous unconscious retrieval in a network of information appliances
US20120272134A1 (en) * 2002-02-06 2012-10-25 Chad Steelberg Apparatus, system and method for a media enhancement widget
US7254587B2 (en) * 2004-01-12 2007-08-07 International Business Machines Corporation Method and apparatus for determining relative relevance between portions of large electronic documents
US8612208B2 (en) * 2004-04-07 2013-12-17 Oracle Otc Subsidiary Llc Ontology for use with a system, method, and computer readable medium for retrieving information and response to a query
US20070067275A1 (en) * 2005-09-20 2007-03-22 Microsoft Corporation Context sensitive web search queries
US7849405B1 (en) * 2006-12-18 2010-12-07 Intuit Inc. Contextual user-contributed help information for a software application
US8332414B2 (en) * 2008-07-01 2012-12-11 Samsung Electronics Co., Ltd. Method and system for prefetching internet content for video recorders
PL2474161T3 (pl) * 2009-09-03 2015-11-30 Koninklijke Kpn Nv Określanie i wstępne wczytywanie treści uzupełniających w urządzeniu odbiorczym
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US20110191336A1 (en) * 2010-01-29 2011-08-04 Microsoft Corporation Contextual image search
WO2011102827A1 (en) * 2010-02-19 2011-08-25 Thomson Licensing Smart catch-up for media content viewing
US8700655B2 (en) * 2010-11-08 2014-04-15 At&T Intellectual Property I, L.P. Systems, methods, and computer program products for location salience modeling for multimodal search
US10444979B2 (en) * 2011-01-31 2019-10-15 Microsoft Technology Licensing, Llc Gesture-based search
US10409851B2 (en) * 2011-01-31 2019-09-10 Microsoft Technology Licensing, Llc Gesture-based search
US8959082B2 (en) * 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US20130106892A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US9646313B2 (en) * 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
US8965897B2 (en) * 2012-02-29 2015-02-24 International Business Machines Corporation Intelligent product feedback analytics tool
US9916396B2 (en) * 2012-05-11 2018-03-13 Google Llc Methods and systems for content-based search
US9483518B2 (en) * 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
US9298778B2 (en) * 2013-05-14 2016-03-29 Google Inc. Presenting related content in a stream of content
US10108601B2 (en) * 2013-09-19 2018-10-23 Infosys Limited Method and system for presenting personalized content
US9357277B1 (en) * 2014-09-17 2016-05-31 Cox Communications, Inc. Dynamic URL personalization system for enhancing interactive television

Also Published As

Publication number Publication date
BR112017007328A2 (pt) 2017-12-12
WO2016085773A1 (en) 2016-06-02
EP3224741A1 (en) 2017-10-04
CN107004014A (zh) 2017-08-01
RU2017118178A (ru) 2018-11-26
US20160150038A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
US10686788B2 (en) Developer based document collaboration
US11036722B2 (en) Providing an application specific extended search capability
US9954746B2 (en) Automatically generating service documentation based on actual usage
JP6806894B2 (ja) クライアントデバイス上で実行されるアプリケーションによるコンテンツアイテムの提示の不適切な実施を検出するためのシステムおよび方法
US10063662B2 (en) Method and system for establishing a trust association
US10984065B1 (en) Accessing embedded web links in real-time
CN114270312A (zh) 经由模态窗口的安全授权
US9804774B1 (en) Managing gesture input information
JP6162134B2 (ja) ソーシャルページのトリガー
US8418058B2 (en) Graphical indication of signed content
CN104376095A (zh) 一种信息处理方法及电子设备
US10176153B1 (en) Generating custom markup content to deter robots
JP2017535889A (ja) コンテンツ属性の効率的な発見および表出
US20150134639A1 (en) Inline Commenting on Social Threads
US20120124091A1 (en) Application file system access
US20110225502A1 (en) Accessing web services and presenting web content according to user specifications
US10698794B1 (en) Application container and application service system
TW201447617A (zh) 使用社群過濾器作爲運算子的搜尋
US20180367848A1 (en) Method and system for auto-viewing of contents
US11601485B2 (en) Instant conferencing system
US20220179528A1 (en) Aggregator widget
US11972280B2 (en) Graphical user interface for conversational task completion
EP4115562A1 (en) Instant conferencing system
US10223457B2 (en) Identification of distributed user interface (DUI) elements