JP2018523187A - 個人エンティティのモデル化 - Google Patents

Abstract

コンピューティングデバイスのための個人エンティティモデル化のためのシステムおよび方法が提供される。たとえば、コンピューティングデバイスは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されると、モバイルデバイスに動作を実行させる命令を記憶するメモリとを備え、動作は、モバイルデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別することと、コンテンツから個人エンティティのための訓練例を生成することと、訓練例を使用して個人エンティティをモデル化するために使用される埋込みを更新することとを含む。埋込みは、個人エンティティに関する予測を行うために使用されてもよい。たとえば、動作はまた、埋込みに基づいて、コンピューティングデバイス上に表示された第1の個人エンティティと第2のエンティティとの間の関連性を予測することと、第2のエンティティに関連する、コンピューティングデバイス上に表示される推奨を提供することとを含んでもよい。

Description

関連出願
本出願は、その開示が全体として本明細書に組み込まれる、2015年7月29日に出願し、「MODELING PERSONAL ENTITIES」と題する米国特許出願第14/812,877号の優先権を主張するものであり、その継続出願である。

スマートフォン、ウェアラブルデバイス、タブレット、ラップトップなどのモバイルデバイスの使用が増加している。モバイルデバイスは、ユーザによって見られるコンテンツおよびユーザの対話を理解することによって、たとえば、ユーザに対して個人化された予測および支援を提供することができる。コンテンツおよび対話を理解することの一部は、デバイス画面のコンテンツにおいて認識されたエンティティを、ナレッジベース内のエンティティにマッピングすることを含む。そのようなパブリックナレッジベースは、巨大である場合があるが、ユーザがしばしば対話する多くの個人エンティティが欠けている。

本明細書で説明する実装形態は、埋込み空間内の個人エンティティを検出しモデル化する。埋込み空間は、埋込みがユーザの個人ナレッジベースの表現となるように、時間の経過とともに学習され調整される。システムは、モバイルデバイス上の画面、ユーザのアカウントにおける電子メールメッセージ、ユーザのソーシャルメディアアカウントにおける更新および投稿などを含む、コンピューティングデバイスによって生成される任意のコンテンツ内のエンティティをモデル化することができる。電子メールシステムなどのいくつかの実装形態では、個人エンティティの検出は、(たとえば、電子メールの送信者または受信者アドレス内の)エンティティを具体的に識別するユーザに基づいてもよい。いくつかの実装形態では、システムは、所与の画面上のどのテキストがエンティティを構成する可能性が高いのかを決定してもよい。いくつかの実装形態では、システムは、アプリケーション/画面にわたって遭遇するnグラムを追跡してもよく、特定のnグラムが頻繁に現れるとき、システムは、nグラムを個人エンティティとみなしてもよい。個人エンティティがまだモデル化されていないとき、システムは、エンティティの名前を正規化し、エンティティに特徴ベクトルのランダムなセットを割り当て、エンティティのモデル化を開始してもよい。

エンティティをモデル化する際、システムは、システムが特徴または特徴のセットを与えられると個人エンティティを予測するコンティニュアスバッグオブワーズ(CBOW:continuous bag of words)のような訓練モデルを使用してもよい。特徴は、(たとえば、過去および現在の画面からの)他の個人エンティティ、公開エンティティ/トピック、エンティティが最も頻繁に現れるアプリケーション、などを含むことができる。たとえば、システムは、別のエンティティが与えられた1つエンティティを予測するためにモデルを訓練してもよい(たとえば、MaryおよびRobが、しばしば両方とも同じ電子メールストリームに含まれ、Johnとの通信においてフットボールがよく議論される)。いくつかの実装形態では、ウィンドウ内で識別された個人エンティティを識別しモデル化するためのコンテキストを提供するために、キャプチャされた画像コンテンツのスライディングウィンドウが使用され得る。加えて、システムは、ユーザが典型的には電子メールを読み、次いでニュースアプリを開くなど、個人的なシーケンスを予測するように訓練され得る。

本明細書で説明される態様では、方法は、モバイルデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別するステップと、コンテンツから個人エンティティのための訓練例を生成するステップと、訓練例を使用して個人エンティティをモデル化するために使用される埋込みを更新するステップとを含む。個人エンティティは、モバイルデバイスのユーザにとって個人的であってもよい。埋込みは、個人エンティティに関する予測を行うために使用されてもよい。

本明細書で説明される別の態様では、方法は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の第1の個人エンティティを識別するステップであって、第1の個人エンティティが、コンピューティングデバイスのユーザに関連付けられた個人ナレッジベース内の埋込みに関連付けられている、ステップと、埋込みに基づいて第1の個人エンティティと第2の個人エンティティとの間の関連性を予測するステップと、第2のエンティティに関連する推奨を提供するステップであって、推奨が、コンピューティングデバイス上に表示される、ステップとを含む。

本明細書で説明される別の態様では、方法は、表示デバイス上に表示するために生成されたコンテンツ内の特徴を識別するステップと、個人エンティティを埋込みとしてモデル化する個人ナレッジベース内の個人エンティティの埋込みを使用して特徴によって予測される個人エンティティを識別するステップと、個人エンティティに関連する推奨を提供するステップであって、推奨が表示デバイス上に表示される、ステップとを含む。

本明細書で説明される別の態様では、コンピューティングシステムは、少なくとも1つのプロセッサと、命令を記憶するメモリとを備え、命令は、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに、開示された方法、動作、またはプロセスのいずれかを実行させる。

本明細書で説明される別の態様では、コンピュータ可読記憶デバイス上に具体化されたコンピュータプログラム製品は、命令を含み、命令は、基板上に形成された少なくとも1つのプロセッサによって実行されると、コンピューティングデバイスに、開示された方法、動作、またはプロセスのいずれかを実行させる。本明細書で説明される別の一般的な態様は、図の少なくとも1つに関連して実質的に示されているおよび/または説明されているように、ならびに、特許請求の範囲内により完全に記載されているように、コンピューティングデバイス上に表示するために生成されたコンテンツ内に発見される個人エンティティをモデル化するために予測モデルを訓練するためのシステムおよび/または方法を含む。個人エンティティの埋込みは、特定のトピックを議論するとき、または特定のアクティビティを実行するときなど、特定のエンティティが特定のアプリケーションにおいて遭遇する可能性がより高いことをモデルが決定するという点でコンテキストを説明する。

本明細書で説明する主題の実装形態のうちの1つまたは複数は、以下の利点のうちの1つまたは複数を実現するように実装され得る。一例として、個人エンティティのモデル化(たとえば、個人ナレッジベース)が生成されると、システムは、画面上のコンテンツに基づいて単語またはフレーズを予測するため、個人エンティティのサークルまたはカテゴリを識別するため、最近傍検索でデバイス上探索を強化するため、予測を個人化する(たとえば、特定の人にメッセージを送るときなど、特定のカテゴリに関連するエンティティを偏らせるために、以前の画面上コンテンツに基づいてテキストメッセージの受信を予測する)ため、ユーザに配信されるコンテンツを個人化するため、などのために、それを使用することができる。個人エンティティの表現として埋込みを使用することは、システムが、エンティティが関与する関係について決定する必要がなく、個人エンティティの使用においてより大きい柔軟性を提供することを意味する。埋込み空間内の各個人エンティティをモデル化することは、任意の分類器が予測タスクのための特徴として埋込みを使用することも可能にする。

1つまたは複数の実装形態の詳細は、添付図面および以下の説明に記載されている。他の特徴は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。

開示された主題による例示的なシステムを示すブロック図である。 開示された主題による、ユーザ体験を個人化するために個人エンティティを発見し使用するための例示的なプロセスのフロー図である。 開示された実装形態による、個人エンティティをモデル化するための例示的なプロセスのフロー図である。 開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための例示的なプロセスのフロー図である。 開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセスのフロー図である。 開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセスのフロー図である。 開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセスのフロー図である。 開示された技法を実施するために使用され得るコンピュータデバイスの一例を示す図である。 開示された技法を実施するために使用され得る分散コンピュータデバイスの一例を示す図である。

様々な図面中の同様の参照符号は、同様の要素を示す。

図1は、例示的な実装形態による個人エンティティモデル化システムのブロック図である。システム100は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の個人(たとえば、非公開)エンティティを検出し、コンピューティングデバイスにおけるユーザ体験を個人化するために機械学習推奨エンジンによって使用される埋込みとしてエンティティをモデル化するために使用されてもよい。ユーザ体験を個人化することは、トピック、単語、またはフレーズを予測すること、関連する個人エンティティのクラスタを識別すること、ユーザに配信されるターゲットコンテンツなどを含むことができる。図1中のシステム100は、なんらかのデータ処理またはデータ記憶がサーバ170において生じてクライアント-サーバシステムによって使用され得る。しかしながら、他の構成およびアプリケーションが使用されもよい。たとえば、データ処理およびデータ記憶は、コンピューティングデバイス110において排他的に生じることができる。いくつかの実装形態では、コンピューティングデバイス110のユーザは、処理の一部がサーバ170において実行されることを指示してもよい。したがって、実装形態は、図示された正確な構成に限定されない。

個人エンティティモデル化システム100は、コンピューティングデバイス110を含んでもよい。コンピューティングデバイス110は、従来のオープンウェブベースの環境ではなく、閉じられたモバイル環境において動作する、スマートフォンまたは他のハンドヘルドコンピューティングデバイス、タブレット、ウェアラブルコンピューティングデバイスなどの任意のモバイルコンピューティングデバイスであってもよい。コンピューティングデバイス110はまた、ラップトップまたはネットベースのコンピュータ、デスクトップコンピュータ、プロセッサを有するテレビなどの、他のタイプのパーソナル電子コンピューティングデバイスであってもよい。コンピューティングデバイス110は、図8に示すように、コンピュータデバイス800または850の一例であってもよい。コンピューティングデバイス110は、単一のユーザによって使用されるコンピューティングデバイスであってもよく、または複数のユーザによって共有されるコンピューティングデバイスであってもよい。

コンピューティングデバイス110は、ソフトウェア、ファームウェア、またはそれらの組合せの1つまたは複数の機械実行可能命令または部分を実行するように構成された、基板上に形成された1つまたは複数のプロセッサを含んでもよい。プロセッサは、半導体ベースであってもよく、すなわち、プロセッサは、デジタル論理を実行することができる半導体材料を含むことができる。したがって、コンピューティングデバイス110は、一時的に、恒久的に、半恒久的に、またはそれらの組合せで、1つまたは複数のデータを記憶するように構成された1つまたは複数のコンピュータメモリを含んでもよい。したがって、コンピューティングデバイス110は、ソフトウェア、ファームウェア、またはそれらの組合せの形態において機械可読命令を表すアプリケーション120を含んでもよい。アプリケーション120において識別される構成要素は、オペレーティングシステムの一部であってもよく、またはオペレーティングシステムを使用して動作するように開発されたアプリケーションであってもよい。いくつかの実装形態では、アプリケーション120は、モバイルアプリケーションであってもよい。従来、モバイルアプリケーションは、閉じられた環境で動作し、ユーザが従来ウェブベースのブラウザ環境で実行されるアクティビティを実行するために別個のアプリケーションを用いることを意味する。たとえば、ホテルを予約するためにbookit.comに行くのではなく、コンピューティングデバイス110のユーザは、bookit.comによって提供されるアプリケーション120内のモバイルアプリケーションを使用することができる。アプリケーション120はまた、ウェブアプリケーションを含んでもよく、ウェブアプリケーションは、モバイルアプリケーションを反映することができ、たとえば、モバイルアプリケーションと同じまたは類似のコンテンツを提供する。いくつかの実装形態では、アプリケーション120は、コンピューティングデバイス110のオペレーティングシステムによって実行される機能を含んでもよい。

アプリケーション120は、画面コンテンツエンジン122と、個人エンティティ検出エンジン124と、個人エンティティモデル化エンジン126と、推奨エンジン128とを含んでもよい。いくつかの実装形態では、これらのアプリケーションのうちの1つまたは複数は、コンピューティングデバイス110のオペレーティングシステム(図示せず)によって提供され得る。いくつかの実装形態では、これらのアプリケーションのうちの1つまたは複数は、ユーザによってダウンロードされインストールされ得る。

画面コンテンツエンジン122は、様々な機能を含むことができる。いくつかの実装形態では、画面コンテンツエンジン122は、アプリケーションプログラムインターフェース(API)からコンピューティングデバイスの画面上に表示されるテキスト情報を受け取るように構成されてもよい。いくつかの実装形態では、画面コンテンツエンジン122は、オペレーティングシステムに組み込まれてもよく、画面上に表示されるテキストフィールドのコンテンツを決定することができる。テキスト情報は、画面キャプチャされたコンテンツとみなされてもよく、APIへの各呼び出し、またはテキストフィールドのコンテンツが決定される各回は、画面キャプチャとみなされてもよい。いくつかの実装形態では、画面コンテンツエンジン122は、デバイスのフレームバッファのコンテンツをコピーまたは読み取ることによって、画面上に表示された画像をキャプチャするように構成されてもよい。したがって、キャプチャされた画面は、画像であってもよく、キャプチャされた画像と呼ばれてもよい。画面コンテンツエンジン122は、間隔をおいて画面をキャプチャしてもよい。間隔は、たとえば、半秒ごとまたは毎秒ごと、小さくされ得る。いくつかの実装形態では、画面コンテンツエンジン122は、タッチイベントが発生するたびに(たとえば、スクロールする、ズームする、リンクをクリックするなどのために、ユーザが画面をタッチするたびに)、明確なユーザの要求もしくはコマンドに応答して、またはデバイスが1つのモバイルアプリケーションから別のモバイルアプリケーションに移行したとき、画面をキャプチャするように構成されてもよい。いくつかの実装形態では、画面コンテンツエンジン122は、画面が変化しないとき、画面キャプチャが生じる間隔を増加させてもよい。言い換えれば、画面が静的であるとき、画面コンテンツエンジン122は、画面をあまり頻繁にキャプチャしなくてもよい。

画面コンテンツエンジン122は、キャプチャされたコンテンツまたは画面画像およびメタデータを認識エンジンに提供してもよく、認識エンジンは、画面コンテンツエンジン122の一部であってもよく、コンピューティングデバイス110またはサーバ170などのサーバ上に位置してもよい。画面キャプチャ画像が認識エンジンに提供された場合、認識エンジンは、画面キャプチャ画像のコンテンツ内の単語、エンティティ、ロゴなどを識別してもよい。したがって、認識エンジンは、単語からならびに画像からのものであり得る認識されたコンテンツを生成してもよい。メタデータは、タイムスタンプ、モバイルデバイスのタイプ、モバイルデバイス識別子、コンテンツがキャプチャされたときに動作しているモバイルアプリケーション、たとえば、画面上に表示されたコンテンツをレンダリングしたアプリケーションなどを含んでもよい。いくつかの実装形態では、メタデータはまた、どのアプリケーションがアクティブであるか、デバイスの位置、周辺光、デバイスの動きなどを含んでもよい。システムは、コンテンツ分析(たとえば、エンティティの曖昧性除去)、特徴生成(たとえば、エンティティに関連するコンテキストおよび環境を決定すること)などを支援するために、この追加のデバイス情報を使用してもよい。したがって、認識エンジンは、従来のまたは後に開発された技法を使用して、文字認識、画像認識、ロゴ認識などの様々なタイプの認識を実行するように構成されてもよい。

コンピューティングデバイス110はまた、個人エンティティ検出エンジン124を含んでもよい。個人エンティティ検出エンジン124は、画面コンテンツエンジン122によって認識されたどのエンティティが潜在的な個人エンティティであるのかを決定するように構成されてもよい。エンティティは、人、場所、アイテム、アイデア、トピック、単語、フレーズ、抽象的概念、具体的要素、他の適切なもの、またはこれらの任意の組合せであってもよい。エンティティは、ナレッジベース内に記憶されてもよく、ナレッジベースは、エンティティだけでなくエンティティに関する情報も記憶する。いくつかの実装形態では、ナレッジベースは、エンティティに関する情報をエンティティ間の関係の形態で記憶する。たとえば、公開ナレッジベース内のエンティティは、関係を表すラベル付きエッジによって互いに関連する場合がある。公開ナレッジベース144または公開ナレッジベース184などのナレッジベースは、公開エンティティを含んでもよい。公開エンティティは、ナレッジベース184などの公的に利用可能なナレッジベース内に存在するエンティティである。公開ナレッジベースは、インターネットを介して利用可能な情報から生成されてもよく、ユーザの集合によってキュレートされてもよい。そのような公開ナレッジベースは、大きく、時には数百万のエンティティを含む。対照的に、個人エンティティは、コンピューティングデバイスのユーザにとって関係があるまたは関心があるエンティティであり、公開ナレッジベース内に存在しない。たとえば、ユーザは、俳優のTom Hanksに関心がある場合があるが、大部分の公開ナレッジベースは、Tom Hanksを表すエンティティを有するので、Tom Hanksは、個人エンティティではない。対照的に、ユーザは、しばしば、同僚のTom Smithにテキストを送信するか、またはTom Smithを参照する場合がある。公開ナレッジベースは、同僚を表すエンティティを持たないか、または、Tom Smithと名付けられたエンティティを有する可能性があるが、画面上のコンテンツに基づいて、システムは、公開のTom Smithが参照されたエンティティと同じではないと決定する可能性があるので、同僚のTom Smithは、個人エンティティである可能性が高い。同様に、ユーザは、岩石収集に関心がある場合がある。岩石収集は、より専門的な関心事であるので、公開ナレッジベースは、岩石収集を表すエンティティを含まない場合がある。そのようなエンティティは、ユーザにとって個人エンティティである場合がある。

いくつかの実装形態では、個人エンティティ検出エンジン124は、潜在的な個人エンティティを識別するために、既知のエンティティタイプを有するフィールドを使用してもよい。たとえば、電子メールアプリケーションまたは連絡先アプリケーションでは、電子メールのtoフィールドまたはccフィールドなどのように、特定のテキストフィールドが個人エンティティを含むことがわかっている。他のフィールドがアドレス、電話番号などの他のエンティティタイプを含むことがわかっている場合がある。アプリケーションがそのようなエンティティタイプフィールドを含むことがわかっているとき、個人エンティティ検出エンジン124は、潜在的な個人エンティティを識別するためにエンティティタイプフィールド内のテキストを使用してもよい。個人エンティティ検出エンジン124はまた、個人エンティティを識別する他の方法を使用してもよい。たとえば、システムは、どの認識されたアイテムが可能なエンティティであるのかを決定するために、従来のエンティティ識別方法を使用してもよい。従来の方法は、コンテンツ内の潜在的な個人エンティティを識別するための自然言語処理技法を含む。自然言語処理は、品詞タグ付け、名詞句識別、名前付きエンティティ認識、およびタイプ割り当てなどを含む、いくつかの実装形態では、個人エンティティ検出エンジン124はまた、アプリケーションにわたってnグラムの発生を追跡してもよい。個人エンティティ検出エンジン124は、公開コンテンツアプリケーション(たとえば、ニュースフィード、予約アプリケーション、ゲームなど)においては同じ頻度で発生しない、電子メール、連絡先、メッセージング、ソーシャルメディアにおけるコメントおよび投稿などのような個人コンテンツアプリケーションにおいて頻繁に発生するnグラムを探してもよい。個人エンティティ検出エンジン124は、公開コンテンツアプリケーションよりも個人コンテンツアプリケーションにおいて頻繁に発生するnグラムを個人エンティティであるとみなしてもよい。

いくつかの実装形態では、個人エンティティ検出エンジン124は、潜在的な個人エンティティが公開ナレッジベース内に存在するかどうかを検証してもよい。たとえば、ナレッジベース144または184などの公開ナレッジベースは、エンティティならびに曖昧性除去データを識別するために使用されるテキスト記述、または説明、またはキーワードを含んでもよい。たとえば、公開ナレッジベースはまた、2つの同様の名前付きエンティティ間の違いを決定するのを助けるために、エンティティと共起する他のエンティティまたは単語を含んでもよい。個人エンティティ検出エンジン124が、公開ナレッジベース内に潜在的な個人エンティティの一致を見つけた場合、個人エンティティ検出エンジン124は、エンティティを破棄してもよい。そうでなければ、エンティティは、個人エンティティとみなされてもよい。個人エンティティ検出エンジン124は、エンティティの名前を正規化し、個人ナレッジベース134内に個人エンティティを記憶してもよい。個人エンティティ検出エンジン124は、次いで、個人エンティティの埋込みを学習するために、個人エンティティモデル化エンジン128にエンティティを提供してもよい。

最初に、個人エンティティに初期埋込みを割り当ててもよい。初期埋込みは、ランダムであってもよく、または、わかっているときには、個人エンティティのエンティティタイプに基づいてもよい。初期埋込みは、エンティティ名とともに個人ナレッジベース134内に記憶されてもよい。個人エンティティモデル化エンジン126は、個人エンティティの適切な埋込みを学習するために、word2vecシステムなどの予測モデルを連続的に訓練してもよい。たとえば、個人エンティティモデル化エンジン126は、他の個人エンティティのセットを与えられると個人エンティティを予測するコンティニュアスバッグオブワーズ(CBOW)のようなモデルを使用してもよい。他の個人エンティティは、個人エンティティがモデル化されている状態で現在の画面(たとえば、現在の画面キャプチャ)上に、または、過去および/もしくは将来の画面キャプチャ内に発生する場合がある。ウィンドウの長さは、実装形態に依存してもよい。このタイプの訓練は、関連する個人エンティティを一緒に埋込み空間内にクラスタ化する。

いくつかの実装形態では、個人エンティティモデル化エンジン126は、同じ画面(たとえば、同じ画面キャプチャイベント)上で、または画面キャプチャイベントのウィンドウ内で個人エンティティとともに生じる公開エンティティおよび個人エンティティのセットが与えられると個人エンティティを予測するために予測モデルを訓練してもよい。いくつかの実装形態では、個人エンティティモデル化エンジン126は、個人エンティティが画像キャプチャコンテンツ内のどこにどのように現れるのかの構造的特性を予測するために訓練されてもよい。構造的特性は、フォント特性、フォーマット特性、またはレイアウト特性を含むことができる。このタイプの訓練は、同じコンテンツ内に現れる個人エンティティを一緒にクラスタ化する。いくつかの実装形態では、個人エンティティモデル化エンジン126は、特定の個人エンティティが与えられると、現在実行中のアプリケーション、次のアプリケーション、または個人エンティティタイプを予測してもよい。このタイプの訓練は、同じコンテンツ内に存在する同じタイプの個人エンティティを埋込み空間内に一緒にクラスタ化する。これらは、予測モデルのために使用される連続的な訓練のタイプの例として与えられる。予測モデルの意図された使用は、どの訓練方法が使用されるのかを要求してもよい。いくつかの実装形態では、個人エンティティモデル化エンジン126は、複数の予測タイプを表す訓練例(たとえば、構造的特性を予測するための例、および他のエンティティが与えられると個人エンティティを予測するための例)を生成してもよい。いくつかの実装形態では、異なるタイプの訓練例は、あるタイプを別のタイプよりも優先させるように重み付けされてもよい。たとえば、構造を予測する訓練例は、個人エンティティを予測する訓練例よりも少なく重み付けされてもよい(またはその逆)。そのような実装形態では、より高く重み付けされた例は、結果として生じる埋込みにより多く寄与する。

個人エンティティモデル化エンジン126などの予測モデルは、特徴のセットが与えられるとクラスまたは値を予測することができる、長短期メモリ(LSTM:long short-term memory)ニューラルネットワーク、フィードフォワードニューラルネットワーク、サポートベクトルマシン(SVM:support vector machine)分類器などの、任意のタイプの機械学習アルゴリズムである。たとえば、予測モデルは、別のエンティティ、特定のモデルアプリケーション、他のエンティティのセット、トピック、構造的特性のセットなどが与えられると、1つのエンティティを予測するように訓練され得る。個人エンティティモデル化エンジン126は、訓練モードと推論モードの2つのモードを有する。訓練モードでは、個人エンティティ検出エンジン124は、予測モデルのための実際的な訓練例として、キャプチャされたコンテンツ(たとえば、コンピューティングデバイス上に表示されたコンテンツ)から生成された特徴ベクトルを使用する。訓練例は、時間の経過とともに収集され、個人エンティティの埋込みを更新するために使用されてもよい。特徴ベクトルは、モデルが予測するために訓練されているもの(たとえば、別のエンティティ、トピック、エンティティのセット、モバイルアプリケーションなど)に依存してもよい。いくつかの実装形態では、エンティティのための訓練例は、ユーザがエンティティの表示に続いてどのようなタイプのアクションをとるのかを含んでもよい。たとえば、ユーザが1つのモバイルアプリケーションから別のモバイルアプリケーションに切り替えたとき、このコンテンツは、第1のモバイルアプリケーションにおいて現れる個人エンティティの埋込みを更新するために使用されてもよい。したがって、特定の個人エンティティに時間の経過とともに遭遇するにつれて、埋込みは、エンティティが現れるコンテキスト、および、典型的にどのコンテンツが続くのかをより正確に反映する。モデルは、推論モードにおいて、モデルがどのように訓練されたかに応じて、様々な方法でユーザ体験を個人化するために使用されてもよい。

いくつかの実装形態では、画面コンテンツエンジン122は、キャプチャされたコンテンツをインデックス化するように構成されたインデックス化エンジンを含むことができる。インデックスは、画面キャプチャ画像を、画像内で識別されたテキスト、エンティティ、画像、ロゴなどと関連付けてもよい。したがって、たとえば、インデックス化エンジンは、キャプチャされた画像およびキャプチャされたコンテンツのためのインデックスエントリ(たとえば、画面キャプチャインデックス146内に記憶される)を生成してもよい。いくつかの実装形態では、インデックス化エンジンは、サーバ170などのサーバ上にあってもよく、画面コンテンツエンジン122は、キャプチャされた画像およびキャプチャされたコンテンツをサーバに提供してもよい。インデックスは、キー値(たとえば、単語、フレーズ、エンティティ、画像、ロゴなど)が、キー値を含む画像のリスト(たとえば、キャプチャされた画面画像のコピー)に関連付けられる転置インデックスであってもよい。インデックスは、リスト内の各キャプチャされた画像に関連するメタデータ(たとえば、キャプチャされた画像上でキー値が発生する場所、画像に関するキー値のランクなど)を含んでもよい。いくつかの実装形態では、インデックスはまた、タイムスタンプによってインデックス化されたキャプチャされた画像のリストを含んでもよい。インデックス化エンジンは、インデックスをメモリ内に、たとえば、画面キャプチャインデックス146内に記憶してもよい。もちろん、いくつかの実装形態では、システムは、コンピューティングデバイス110上に加えて、またはその代わりに、サーバ上のユーザアカウントにおいてインデックスを記憶してもよい。コンピューティングデバイス110のユーザは、画面コンテンツエンジン122がアクティブであるときを制御してもよい。たとえば、ユーザは、他の指摘されたアプリケーション120が動作しているときにのみ(たとえば、ソーシャルメディアモバイルアプリケーションにおけるときにのみ)、画面コンテンツエンジン122がアクティブであることを指定してもよい。ユーザはまた、たとえば、設定アプリケーションを介して、画面コンテンツエンジン122を手動でオンおよびオフにしてもよい。いくつかの実装形態では、いくつかの実装形態では、ユーザは、ジェスチャまたはアクションを用いて画面コンテンツエンジン122を呼び出してもよい。画面コンテンツエンジン122を無効にすることはまた、本明細書で説明する画面コンテンツ内の個人エンティティの検出およびモデル化を無効にしてもよい。

アプリケーション120はまた、推奨エンジン128を含んでもよい。推奨エンジン128は、コンピューティングデバイス110のユーザに個人化された支援を提供するために、推論モードにおいて個人エンティティモデル化エンジン126および個人ナレッジベース134を使用してもよい。個人化された支援は、実装形態に応じて様々な技法を含んでもよい。たとえば、いくつかの実装形態では、推奨エンジン128は、入力のコンテキストに基づいて入力の完了を決定してもよい。別の例では、推奨エンジン128は、同様の個人エンティティのクラスタまたはグループを識別してもよい。たとえば、推奨エンジン128は、フットボールにおける関心を共有する個人エンティティのグループ、メキシコレストランに関連する個人エンティティのグループ、コンテキスト、たとえば、火曜日の昼食のためのミーティングなどを共有する個人エンティティのグループなどを識別してもよい。推奨エンジン128または別のアプリケーションは、ユーザに配信されるコンテンツ、追加の電子メールまたはテキスト受信者、議論のトピック、現在の画面を共有する人々などを示唆するためにグループを使用することができる。いくつかの実装形態では、推奨エンジン128は、2つの個人エンティティの埋込みが近いとき、2つの個人エンティティを併合することを示唆する調和プロセスを含んでもよい。たとえば、推奨エンジン128は、2つの個人エンティティの埋込み間の距離が、たとえば、高度の類似性を表す高いしきい値内にあるとき、2つの個人エンティティの併合を示唆してもよく、または併合を自動的に実行してもよい。個人ナレッジベース内の個人エンティティを併合することは、様々な名前を介して個人エンティティが識別されることを可能にすることができる。同様に、推奨エンジン128は、埋込みが不安定であるとき、または、個人エンティティのための訓練例がしばしば不適合であるとき、1つの個人エンティティを2つの個人エンティティに分割することを示唆(または自動的に実行)してもよい。上記の個人化された支援のシナリオは、単なる例として提供され、実装形態は、与えられた例に限定されない。

コンピューティングデバイス110は、コンピューティングデバイス110のメモリ内に記憶され、アプリケーション120によって使用されるデータストア130を含んでもよい。いくつかの実装形態では、データストア130は、画面キャプチャ画像内の識別されたアイテムを含む画面キャプチャインデックス146と、公開ナレッジベース144とを含んでもよい。公開ナレッジベース144は、データと、演繹的推論を提供する形態でデータに関する知識を記述するルールとを記憶するグラフベースのデータストアであってもよい。たとえば、ナレッジベースにおいて、情報は、他のエンティティとの関係の形態でエンティティに関して記憶されてもよい。エンティティは、人、場所、アイテム、アイデア、トピック、単語、フレーズ、抽象的概念、具体的要素、他の適切なもの、またはこれらの任意の組合せであってもよい。エンティティは、関係を表すラベル付きエッジによって互いに関連してもよい。ラベル付きエッジは、方向付きまたは方向なしであってもよい。たとえば、ナショナルフットボールリーグを表すエンティティは、「チームを有する」という関係によってジャガーのエンティティに関連している場合がある。公開ナレッジベース144は、特に、大きいナレッジベース184が数百万のエンティティと数十億の関係とを含む場合、サーバ170に位置するより大きいナレッジベース184内のエンティティおよび関係のサブセットであってもよい。たとえば、個人ナレッジベース144内のエンティティおよび関係は、ナレッジベース184からの最も一般的なエンティティおよび関係を表してもよく、または、ユーザ嗜好に基づいて選択されてもよい。たとえば、ユーザがプロファイルを有する場合、エンティティおよび関係は、プロファイルに基づいて、または、画面キャプチャ画像のコンテンツ内で頻繁に識別されたエンティティのタイプに基づいて、公開ナレッジベース144内に含めるために選択されてもよい。

データストア130は、個人ナレッジベース134を含んでもよい。個人ナレッジベース134は、コンピューティングデバイス110などのユーザデバイス上、および/または、個人ナレッジベース182などのユーザに関連付けられたアカウントにおいてサーバ170上に記憶されてもよい。個人ナレッジベース134(および個人ナレッジベース182)は、個人エンティティの1つまたは複数の説明と、個人エンティティのための関連する埋込みとを記憶してもよい。したがって、個人ナレッジベース134において、個人エンティティは、埋込みによって表され、1つまたは複数のテキスト説明によって識別される。テキスト説明は、正規化されてもよく、たとえば、大文字使用などを除去する。いくつかの実装形態では、個人エンティティに関する他の情報はまた、個人ナレッジベース134内に記憶されてもよい。たとえば、電子メールアドレス、電話番号、またはソーシャルメディア識別子が、個人エンティティに関連付けられてもよく、これは、推奨エンジン128を支援することができる。たとえば、推奨エンジン128が、トピックを共有する個人エンティティを示唆するとき、推奨エンジン128は、電子メール、テキスト、または投稿を個人エンティティに自動的に送るために、この追加情報を使用してもよい。

個人エンティティモデル化システム100は、サーバ170を含んでもよく、サーバ170は、いくつかの異なるデバイス、たとえば、標準サーバ、そのようなサーバのグループ、またはラックサーバシステムの形態をとるコンピューティングデバイスであってもよい。たとえば、サーバ170は、複数のコンピューティングデバイスにわたって分散して実装されてもよい。加えて、サーバ170は、パーソナルコンピュータ、たとえば、ラップトップコンピュータにおいて実装されてもよい。サーバ170は、図8に示すようにコンピュータデバイス800の一例であってもよく、または図9に示すようにコンピュータデバイス900の一例であってもよい。サーバ170は、1つまたは複数の機械実行可能命令、またはソフトウェア、ファームウェア、もしくはそれらの組合せの部分を実行するように構成された、基板上に形成された1つまたは複数のプロセッサを含んでもよい。プロセッサは、半導体ベースであってもよく、すなわち、プロセッサは、デジタル論理を実行することができる半導体材料を含むことができる。

サーバ170はまた、1つまたは複数のコンピュータメモリを含むことができる。メモリ、たとえば、メインメモリは、一時的に、恒久的に、半恒久的に、またはそれらの組合せで、1つまたは複数のデータを記憶するように構成されてもよい。メモリは、1つまたは複数のプロセッサによって読み出され得るおよび/または実行され得るフォーマットにおいて情報を記憶する任意のタイプの記憶デバイスを含んでもよい。メモリは、揮発性メモリ、不揮発性メモリ、またはそれらの組合せを含んでもよく1つまたは複数のプロセッサによって実行されたとき、特定の動作を実行するモジュールまたはエンジンを記憶してもよい。いくつかの実装形態では、モジュールは、外部記憶デバイス内に記憶され、サーバ170のメモリにロードされてもよい。いくつかの実装形態では、モジュールは、画面コンテンツエンジン122、個人エンティティ検出エンジン124、個人エンティティモデル化エンジン126、または推奨エンジン128の機能のうちの1つまたは複数を実行してもよい。いくつかの実装形態では、サーバ170は、データストア130内に情報ファイルのうちの1つまたは複数のバックアップコピーを記憶し、データストア130内の情報ファイルのうちの1つまたは複数のためのソースデータを提供してもよい。

たとえば、サーバ170は、画面コンテンツエンジン172、エンティティモデル化エンジン176、および/または推奨エンジン178を含んでもよい。たとえば、画面コンテンツエンジン172は、コンピューティングデバイス110上の画面コンテンツエンジン122から画面キャプチャ画像を受信し、画像内のキーアイテムを識別するために認証を実行してもよい。したがって、画面コンテンツエンジン172は、画面キャプチャ画像内の画面コンテンツを分析し、画面コンテンツ内の単語、エンティティ、ロゴなどのキーアイテムを識別する構成要素を含んでもよい。識別されたエンティティは、公開ナレッジベース184および/またはユーザアカウントに関連付けられた個人ナレッジベース182内にあるエンティティであってもよい。したがって、画面コンテンツエンジン172は、従来のまたは後に開発された技法を使用して、文字認識、画像認識、ロゴ認識などの様々なタイプの認識を実行するように構成され得る。いくつかの実装形態では、画面コンテンツエンジン172は、上記で説明したように、キーアイテムをインデックス化し、転置インデックスを画面キャプチャインデックス186内に記憶してもよい。画面キャプチャインデックス186は、コンピューティングデバイス110のユーザに関連付けられる。

いくつかの実装形態では、画面コンテンツエンジン172は、認識されたアイテムをコンピューティングデバイス110上の個人エンティティ検出エンジン124に提供してもよく、または、認識されたアイテムをエンティティモデル化エンジン176に提供してもよい。エンティティモデル化エンジン176は、個人エンティティ検出エンジン124に関して上記で説明したように、キャプチャされた画面(または画面のウィンドウ)から個人エンティティを識別してもよい。いくつかの実装形態では、エンティティモデル化エンジン176はまた、個人エンティティモデル化エンジン126に関して上記で説明したように、画面コンテンツ内で識別された個人エンティティの埋込みを更新してもよい。したがって、エンティティモデル化エンジン176は、個人エンティティ検出エンジン124または個人エンティティモデル化エンジン126の機能のうちの1つまたは複数を実行してもよい。エンティティモデル化エンジン176は、したがって、個人ナレッジベース134または個人ナレッジベース182を更新してもよい。

サーバ170は、公開ナレッジベース184を記憶してもよい。公開ナレッジベース184は、データと、演繹的推論を提供する形態でデータに関する知識を記述するルールとを記憶する大きいグラフベースのデータストアであってもよい。多数のエンティティと限られた数の関係とを有するナレッジベースは、数十億の接続を有する場合がある。いくつかの実装形態では、ナレッジベース184は、サーバ170および/またはコンピューティングデバイス110からアクセス可能な外部記憶デバイス内に記憶されてもよい。いくつかの実装形態では、公開ナレッジベース184は、複数の記憶デバイスおよび/または複数のコンピューティングデバイス、たとえば、複数のサーバにわたって分散されてもよい。公開ナレッジベース184内のエンティティおよび関係は、たとえば、インデックスを介して探索可能であってもよい。たとえば、インデックスは、エンティティが参照されたテキストを含んでもよい。したがって、ナレッジベース184への言及は、テキスト等価物を使用してエンティティを見つけるのを容易にするインデックスを含むように理解されてもよい。

コンピューティングデバイス110は、ネットワーク160を介してサーバ170および他のモバイルデバイスと通信してもよい。ネットワーク160は、たとえば、インターネットであってもよく、または、ネットワーク160は、たとえば、ゲートウェイデバイス、ブリッジ、スイッチなどを使用して実装される、有線もしくはワイヤレスのローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)などであってもよい。ネットワーク160はまた、セルラー通信ネットワークを表してもよい。ネットワーク160を介して、サーバ170は、コンピューティングデバイス110と通信してもよく、コンピューティングデバイス110に/からデータを送信してもよく、コンピューティングデバイス110は、他のモバイルデバイス(図示せず)と通信してもよい。

個人エンティティモデル化システム100は、1つの例示的な構成を表し、実装形態は、他の構成を組み込んでもよい。たとえば、いくつかの実装形態は、画面コンテンツエンジン122、個人エンティティ検出エンジン124、個人エンティティモデル化エンジン126、または推奨エンジン128の構成要素のうちの1つまたは複数を単一のモジュールまたはエンジンに組み合わせてもよい。同様に、いくつかの実装形態は、画面コンテンツエンジン172、エンティティモデル化エンジン176、または推奨エンジン178のうちの1つまたは複数を単一のモジュールまたはアプリケーションに組み合わせてもよい。別の例として、画面キャプチャインデックス146、公開ナレッジベース144、もしくは個人ナレッジベース134などのデータストアのうちの1つもしくは複数は、単一のデータストアに組み合わされてもよく、または複数のコンピューティングデバイスにわたって分散されてもよく、またはサーバ170もしくはユーザによって指定された別の場所において記憶されてもよい。さらに、特定の実装形態では、本明細書で説明する方法の態様は、プライバシー、低レイテンシ、ネットワーク範囲外の動作などのために、サーバ170と通信せずにコンピューティングデバイス110上で行われてもよい。

個人エンティティモデル化システム100がユーザ固有のデータを収集し記憶するか、または個人情報を使用することができる限り、ユーザは、プログラムまたは特徴がユーザ情報(たとえば、ユーザのソーシャルネットワーク、ソーシャルアクションもしくはアクティビティ、ユーザの嗜好、またはユーザの現在の位置に関する情報)を収集するかどうかを制御する機会、または画面キャプチャ画像およびコンテンツを記憶するかどうかおよび/もしくは記憶する方法を制御する機会が与えられ得る。たとえば、システムは、バンキングアプリケーション、ヘルスアプリケーション、もしくは他の同様のアプリケーションなどの特定のアプリケーションについて、または、そのようなコンテンツをキャプチャすることが利用規約に違反する場合、コンテンツをキャプチャすることを控えてもよい。加えて、ユーザは、特定のアプリケーションまたはアプリケーションのカテゴリについて、画面コンテンツをキャプチャすることを無効にする機会が与えられ得る。加えて、個人識別可能な情報が除去されるように、特定のデータは、記憶または使用される前に、1つまたは複数の方法で処理されてもよい。たとえば、個人識別可能な情報がユーザについて決定され得ないように、もしくは、位置情報(都市、郵便番号、または州レベルなど)が得られるユーザの地理的位置が一般化され得るように、または、ユーザの特定の位置が特定され得ないように、ユーザの身元が取り扱われてもよい。したがって、ユーザは、情報がユーザに関してどのように収集され、モバイル個人エンティティモデル化システムによって使用されるのかを制御してもよい。

図2は、開示された主題による、ユーザ体験を個人化するために個人エンティティを発見して使用するための例示的なプロセス200のフロー図を示す。プロセス200は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス200は、個人エンティティを検出し、それらを埋込みとしてモデル化するために使用されてもよく、それは、システムが様々な柔軟な方法でユーザ体験を個人化することを可能にする。プロセス200は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の個人エンティティを検出することによって開始してもよい(205)。システムは、図1に関連して上記で説明したように、画面上に表示された情報を取得し、情報に対して認識を実行するために、画面キャプチャ画像またはAPI呼び出しを使用してもよい。システムは、特定のデータフィールド(たとえば、電子メールアプリケーションにおける受信者アドレス)との関連に基づいて、個人コンテンツアプリケーションにおいて現れる頻繁なnグラムに基づいて、またはテキストおよび画像のための従来のエンティティ検出技法に基づいて、個人エンティティを検出してもよい。個人エンティティは、公開ナレッジベース内に見つからないエンティティであってもよい。システムは、個人エンティティを埋込みとしてモデル化してもよい(210)。いくつかの実装形態では、システムは、最小回数検出された個人エンティティのみをモデル化してもよい。モデル化は、初期埋込みで開始してもよく、初期埋込みは、次いで、モデルに提供された例に基づいて機械学習予測モデルによって変更される。たとえば、システムは、画面情報を(たとえば、画面キャプチャまたはAPI呼び出しから)周期的に取得し、個人エンティティが訓練例として生じるコンテキストを予測モデルに提供してもよい。図3に関して以下に説明するように、訓練例として提供されるコンテキストは、実装形態に依存してもよい。

埋込みが十分に訓練されると、システムは、ユーザ体験を個人化するために、個人エンティティのための埋込みを使用してもよい(215)。充分な訓練は、たとえば、個人エンティティに特定の回数遭遇したとき、(訓練データにおける)個人エンティティを含む分類の誤り率が特定のしきい値を下回ったときなどに决定されてもよい。ユーザ体験を個人化することは、様々な機能を含んでもよい。たとえば、システムは、画面上のコンテンツに基づいて単語またはフレーズを予測してもよい。画面上のコンテンツは、他の個人エンティティと公開エンティティの両方を含むことができる。別の例として、システムは、特定のトピックまたはイベント(たとえば、アニメの議論、平日の昼食、またはフットボールの試合)と共起する個人エンティティなどの同様の個人エンティティを識別するために埋込みを使用してもよい。別の例として、システムは、トピック分類器のために埋込みを使用してもよく、それは、画面上のコンテンツに基づいて、ユーザが特定の人に連絡したいときを予測することができる。たとえば、システムは、ユーザがレストランの情報を見るにつれて、ユーザが、典型的には3つの個人エンティティとともに食事をすることを決定してもよく、レストランに関する情報、またはレストランの予約を3つの個人エンティティと共有することを示唆してもよい。

同様に、システムは、ユーザが1つまたは複数の個人エンティティとチャットしていることを決定してもよく、議論のトピックを示唆してもよい。たとえば、埋込みは、個人エンティティのグループが映画のコンテキストにおいてしばしば言及されていることを示してもよく、ユーザがグループの1つまたは複数のメンバーとチャットしているとき、議論するために、俳優に関する新しい映画または最近のニュースアイテムを示唆してもよい。別の例として、システムは、埋込みに基づいてユーザに配信される個人化されたコンテンツを提供してもよい。たとえば、システムは、埋込みが映画のコンテキスト内で共起することを示す画面上の個人エンティティのための新しい映画の広告を提供してもよい。別の例として、システムは、デバイス上での探索において最近傍検索のために埋込みを使用してもよい。したがって、ユーザが特定のエンティティを探索する場合、システムは、探索結果を向上させるために、探索に関する最近傍一致を提供してもよい。埋込みからユーザ体験を個人化するこれらの例示は、単なる例として提供され、実装形態は、ユーザ体験を個人化するための埋込みの他の使用を含むことができる。

図3は、開示された実施形態による、個人エンティティをモデル化するための例示的なプロセス300のフロー図を示す。プロセス300は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス300は、個人エンティティを検出し、それらを埋込みとしてモデル化するために使用されてもよい。プロセス300は、キャプチャされた画面情報内の非公開エンティティを検出することによって開始してもよい(305)。上記で説明したように、非公開エンティティは、公開ナレッジベース、たとえば、システムによってアクセスされる公開ナレッジベース内に存在しないエンティティである。システムによって使用される公開ナレッジベースがエンティティを欠いている場合、それは、非公開エンティティである。非公開エンティティは、画像ならびにテキストにおいて認識されてもよい。たとえば、いくつかの画像は、関連する記述を有し、記述は、非公開エンティティに関する記述または他の識別子であるか、またはそれらを含んでもよい。これの例は、連絡に関連付けられた画像、またはソーシャルメディアユーザ識別子にタグ付けされた画像である。システムは、非公開エンティティが個人エンティティであるかどうかを決定してもよい(310)。エンティティが、図1の公開ナレッジベース134などの公開ナレッジベース内に既に存在する場合、エンティティは、個人エンティティである(310、Yes)。そうでない場合(310、No)、システムは、非公開エンティティに、個人エンティティとみなされるのに十分なほど頻繁に遭遇したかどうかを決定してもよい(315)。頻度は、エンティティを検出するために使用される方法に依存してもよい。たとえば、フィールドタイプ(たとえば、送信者の電子メールアドレス)に基づいて検出されたエンティティは、1回現れる必要があるだけである場合があるが、個人コンテンツアプリケーションによって生成されたコンテンツから検出されたnグラムであるエンティティは、数回遭遇する必要がある場合がある。したがって、頻度しきい値は、実装形態固有ならびにソース固有(たとえば、異なるソースは、異なるしきい値を有する)であってもよい。頻度しきい値が満たされない場合(315、No)、システムは、エンティティの他の出現を見つけるために、画面コンテンツを分析し続けてもよい(305)。頻度しきい値が満たされた場合(315、Yes)、システムは、エンティティに初期埋込みを割り当ててもよい(320)。初期埋込みは、ランダムに割り当てられてもよく、またはエンティティタイプに基づいて割り当てられたデフォルトであってもよい。たとえば、個人エンティティは、アドレスエンティティ、トピックエンティティ、または電話番号エンティティなどから異なる初期埋め込みを有してもよい。初期埋め込みおよび非公開エンティティは、システムが埋込みとして個人エンティティをモデル化することを開始できるように、ステップ320の一部として、個人ナレッジベースに追加される。

システムは、キャプチャされた画面情報から個人エンティティのための訓練例を生成してもよい(325)。訓練例は、画面キャプチャ情報から検出された様々な情報を含んでもよい。たとえば、訓練例は、画面キャプチャ情報内で識別された他の個人エンティティ、画面キャプチャ情報内で識別された公開エンティティ、画面キャプチャ情報内で識別された公開エンティティおよび個人エンティティの組合せ、フォーマットおよびレイアウトなどの構造的特性、個人エンティティが画面上に現れる場所および方法、コンピューティングデバイスの状態に関するメタデータ、現在動作しているアプリケーションに関するメタデータなどを含んでもよい。いくつかの実装形態では、訓練例は、1つの画面に関する画面キャプチャ情報に基づいてもよい。いくつかの実装形態では、訓練例は、過去の画面または過去および未来の画面のウィンドウからの画面キャプチャ情報に基づいてもよい。言い換えれば、システムは、時間ウィンドウが経過するまで訓練例を生成するのを遅らせてもよく、訓練例を生成するために時間ウィンドウからの画面キャプチャイベントを含んでもよい。時間ウィンドウを使用する実装形態では、訓練例のいくつかは、個人エンティティが検出された画面キャプチャイベントに続いてユーザによってとられたアクションを含んでもよい。たとえば、ユーザが特定のトピック(たとえば、昼食)を議論した後にしばしば予約アプリケーションに切り替える場合、システムは、トピックが与えられると予約アプリケーションを予測する訓練例を含んでもよい。システムは、予測モデルを訓練するために訓練例を使用してもよく、そのようにして個人エンティティのための埋込みを更新する(330)。システムは、エンティティのための埋込みを改善するために、ユーザの設定が許す限り、連続的にプロセス300を実行してもよい。これは、個人エンティティに画面上のコンテンツにおいて遭遇したとき、または個人エンティティが画面上のコンテンツに関連付けられているとき、システムが、埋込みに基づいて個人化された支援を提供するために最終的に埋め込みを使用することができるようにする。

図4は、開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための例示的なプロセス400のフロー図を示す。予測モデルが訓練されると、システムは、様々な方法において予測モデルを使用してもよい。1つの方法は、個人エンティティと公開エンティティの両方を自動補完動作における提案として提供することであってもよい。訓練された予測モデルは、他の画面上コンテンツに基づいて単語またはフレーズを予測してもよい。これは、ユーザが既にタイプしたもののみを使用する従来の自動補完動作とは異なる。従来の自動補完動作を上回るプロセス400の利点は、プロセス400が、ユーザによって提供されたどのような文字も存在しない場合でも、単語またはフレーズを示唆することができることである。言い換えれば、プロセス400は、ユーザが任意のテキストを入力する前に、ユーザがテキストボックス内にカーソルを置いたことを決定すると、示唆されたエンティティを提供することができる。プロセス400は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス400は、図2のステップ215に関して説明したように、ユーザ体験を個人化するために埋込みを使用する例である。プロセス400は、システムによって反復的に実行されてもよく、たとえば、ユーザが最初にテキストボックスなどの入力制御にフォーカスを送るとき、システムは、プロセス400を実行し、示唆された補完としてエンティティのリストを提供してもよい。ユーザが補完の1つを選択しない場合、システムは、ユーザからの入力を受信した後、たとえば、各テキスト入力が受信された後、補完として示唆されたエンティティを改善するためにテキスト入力を使用して、プロセス400を再び実行してもよい。

プロセス400は、ユーザによって提供される入力を決定することによって開始してもよい(405)。実際の入力は、入力を提供する意図を表す空白またはヌルであってもよい。たとえば、ユーザが、テキストボックス内にカーソルを置くなど、入力制御にフォーカスを送ると、システムは、ユーザが入力を提供しようとしていることを決定し、入力が現在空白またはヌルであることを決定してもよい。ユーザが任意のテキスト、数字、または文字を提供した場合、入力制御を介して、システムは、入力が提供されたテキストを含むこと決定してもよい。システムはまた、入力に関連付けられたコンピューティングデバイスによって表示されるコンテンツを決定してもよい。たとえば、システムは、入力制御に関連付けられた画面キャプチャ情報において表示される他のエンティティ、たとえば、現在の画面上に表示されるエンティティ、または現在の画面を含むウィンドウ内に表示されるエンティティを決定してもよい。画面キャプチャ情報内および画面キャプチャ情報に関するメタデータ内で認識されるエンティティは、入力に関連付けられたコンテンツである。システムは、コンテンツに基づいて入力のための特徴のセットを生成してもよい(410)。特徴は、現在の画面に関する他のエンティティおよびメタデータを含む。たとえば、実行中のアプリケーション、画面上で入力が生じる場所、入力制御に典型的に関連付けられたエンティティのタイプ(たとえば、人または場所)などを含んでもよい。

システムは、次いで、入力のための補完を決定してもよい(415)。システムは、従来の方法(たとえば、ユーザによって提供される入力で開始することが知られている単語)を使用する補完、ならびに、特徴および予測モデルを使用して決定される補完を決定してもよい。言い換えれば、システムは、予測モデルに特徴を提供してもよく、予測モデルは、次に、埋込みおよび特徴に基づいて入力のためのいくつかの補完を提供してもよい。予測モデルによって提供される補完は、エンティティを説明する単語またはフレーズの形態における、個人エンティティ、個人エンティティのグループ、公開エンティティ、トピックなどであってもよい。たとえば、単語は、エンティティのグループに関連するカテゴリまたはトピックを記述してもよい。別の例として、単語は、エンティティを記述してもよい。補完を決定する際、予測モデルは、確率しきい値を満たす補完のみを提供してもよい。言い換えれば、人、場所、トピックを含む最も可能性の高い補完のみが、補完として予測モデルによって提供されてもよい。システムは、補完をランク付けしてもよく、ランク付けは、埋込みに基づいて予測モデルによって決定されるスコアを考慮する(420)。スコアは、提供された特徴に基づいて補完が予測される可能性を表してもよい。予測モデルによって提供される補完のためのランクは、このスコアと、補完に関連付けられた単語/フレーズがユーザによってここまでに提供された入力とどれくらい厳密に一致するかの決定とを考慮してもよい。たとえば、入力がヌルであるとき、ランクは、確率スコアのみに依存してもよい。入力が3つの文字を含むとき、ランクは、確率スコアと、単語/フレーズがどれくらい厳密に3つの文字と一致するのかを反映するスコアとの組合せであってもよい。これは、システムがユーザによる誤字および誤植を考慮することを可能にする。たとえば、補完の記述における最初の3文字のうちの2文字のみがユーザによって提供された3文字と一致する場合、非常に高い確率で予測された補完は、依然として高いランクを有する。

システムは、最も高くランク付けされた補完を示唆としてユーザに提供してもよい(425)。これは、ユーザがより少ないキーストロークで入力を完了することを可能にし得る。場合によっては、ユーザは、予測された補完のうちの1つを選択する前にテキストボックス内にカーソルを置く必要があるだけである場合があり、したがって、キーストロークをまったく避けることができる。したがって、プロセス400は、埋込みとしてモデル化された個人エンティティに基づいて個人化された補完を提供することによってユーザ体験を改善する一例である。

図5は、開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセスのフロー図を示す。プロセス500は、現在の画面上に表示された個人エンティティに関連する関心に関する推奨を提供することによってユーザ体験をカスタマイズために予測モデルを使用する別の方法を示す。従来の推奨システムを上回るプロセス500の利点は、公開エンティティだけでなく個人エンティティに関する推奨を示唆できることである。エンティティをモデル化することは、典型的にはかなりの量の入力を必要とするので、個人エンティティをモデル化することは、困難な問題であった。たとえば、公開ナレッジベースのキュレーションは、数十万の工数を含んでいる。これは、個人的なレベルで実行可能ではない。さらに、ナレッジベースは、典型的には、エンティティ間の関係の形態においてエンティティに関する情報を含む。このタイプの表現も、個人的なレベルで実行可能ではない。プロセス500で使用される個人ナレッジベースは、ユーザがナレッジベースを積極的にポピュレートして訓練する必要がないように、個人エンティティを埋込みとして表す。代わりに、個人ナレッジベースは、機械学習予測モデルを利用する。したがって、プロセス500は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス500は、図2のステップ215に関して説明したように、ユーザ体験を個人化するために埋込みを使用する一例である。プロセス500は、システムによって連続的に実行されてもよく、たとえば、システムは、ユーザに配信されるコンテンツ、たとえば、画面上のコンテンツに関する広告を表示するために、または個人通信タイプのアプリケーションにおける会話のトピックを示唆するために、周期的にプロセス500を実行してもよい。

プロセス500は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別することによって開始する(505)。コンテンツは、画面キャプチャイベントまたは画面キャプチャイベントのウィンドウに関連付けられてもよい。システムは、画面コンテンツエンジン122および個人エンティティ検出エンジン124ならびに図2のステップ205および図3のステップ305に関して上記で説明した認識技法を使用して個人エンティティを識別してもよい。システムは、個人エンティティのための埋込みを使用して個人エンティティに関連する第2のエンティティを識別してもよい(510)。言い換えれば、システムは、画面キャプチャコンテンツおよび識別された個人エンティティから生成された特徴を予測モデルに提供してもよく、予測モデルは、個人エンティティに関する特徴および埋込みに基づいて第2のエンティティを予測してもよい。第2のエンティティは、別の個人エンティティであってもよく、または公開エンティティであってもよい。個人エンティティおよび公開エンティティは、しばしば個人エンティティに関連付けられる、人、場所、コンテンツ、トピック、趣味、アクティビティなどを表してもよい。たとえば、システムは、個人エンティティRobが、しばしばフットボールに関する議論(公開エンティティのようだが、おそらくは個人エンティティ)に関連付けられていることを決定する場合がある。別の例として、システムは、個人エンティティAliceが、しばしば、Uncle Joe'sにおける昼食などのコンテキストに関連付けられていることを決定する場合がある。コンテキストは、イベントの時間または場所を表すことができる。

システムは、次いで、第2のエンティティに関連する推奨を提供し、コンピューティングデバイス上で推奨の表示を開始してもよい(515)。推奨は、第2のエンティティに関連する広告、第2のエンティティに関連する会話の示唆されたトピック、第2のエンティティ(たとえば、トピックまたは関心)に関連する友人のサークルなどの、ユーザに配信されるコンテンツであり得る。たとえば、ユーザがRobとの会話を開始すると、システムは、新しいフットボール映画のための広告、または今後のフットボールの試合の詳細を提供してもよい。別の例として、システムは、Tomは、フットボールに関連付けられた第2の個人エンティティである場合があるので、TomをRobとの会話に加えることを示唆してもよい。同様に、ユーザが昼食についてAliceとチャットしているとき、Uncle Joesにおける予約を行うことを示唆してもよい。これらは、システムが画面上のコンテンツに基づいて個人化された推奨を提供するためにどのようにプロセス500を使用するのかの非網羅的な例として提供される。いくつかの実装形態では、システムは、予測モデルのための訓練例として選択された推奨を使用してもよい。プロセス500は、次いで終了する。

図6は、開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセス600のフロー図を示す。プロセス600は、現在の画面に関連付けられた個人エンティティに関連する推奨を提供することによってユーザ体験をカスタマイズするために予測モデルを使用する別の方法を示す。プロセス600は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス600は、図2のステップ215に関連して説明したように、ユーザ体験を個人化するために埋込みを使用する一例である。プロセス600は、システムによって連続的に実行されてもよく、たとえば、システムは、画面コンテンツ内で識別された公開エンティティに基づいて、会話に含む、画面または画面上の情報を共有する、または予約に含む個人エンティティを示唆するために、周期的にプロセス600を実行してもよい。

プロセス600は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の特徴を識別することによって開始する(605)。コンテンツは、画面キャプチャイベントまたは画面キャプチャイベントのウィンドウに関連付けられてもよい。特徴は、公開エンティティ、コンテキスト、個人エンティティなどを含んでもよい。コンテキストは、イベント(たとえば、Luigisでの夕食)の時間および/または場所を表してもよい。エンティティは、公開であれ個人であれ、人、場所、トピック、趣味、アクティビティなどを表してもよい。システムは、画面コンテンツエンジン122および個人エンティティ検出エンジン124ならびに図2のステップ205および図3のステップ305に関して上記で説明した認識技法を使用して特徴を識別してもよい。本明細書に示すように、画面キャプチャ情報のウィンドウは、コンテンツ内の特徴を識別するためのコンテキストとして使用されてもよい。システムは、個人エンティティのための埋込みを使用して特徴によって予測される個人エンティティを識別してもよい(610)。言い換えれば、システムは、コンテンツから生成された特徴を予測モデルに与えてもよく、予測モデルは、特徴に基づいて個人エンティティを予測してもよい。個人エンティティは、個人ナレッジベースにおいて見出される人、トピック、趣味、アクティビティなどを表してもよい。たとえば、システムは、Aliceがイタリアンレストランに関連付けられていると決定してもよい。システムは、次いで、個人エンティティに関連する推奨を提供し、コンピューティングデバイス上で推奨の表示を開始してもよい(615)。推奨は、関心に関連するユーザに配信されるコンテンツ、関心に関連する会話の示唆されるトピック、関心に関連する友人のサークル、コンテキストに関連するアクションなどであり得る。たとえば、ユーザがフットボールに関する記事を共有する要望を示したとき、システムは、RobおよびTomを受信者として推奨してもよい。別の例として、ユーザがUncle Joe'sにおける昼食メニューを見ている場合、システムは、Aliceと画面を共有する、またはUncle Joe'sでの昼食のためのカレンダーへの招待にAliceを含めるなどのアクションを示唆してもよい。これらは、画面上のコンテンツに基づいて個人化された推奨を提供するためにシステムがどのようにプロセス600を使用し得るのかの非網羅的な例として与えられる。いくつかの実装形態では、ユーザが推奨を選択する場合、システムは、個人エンティティのための実際的な訓練例として選択を使用してもよい。プロセス600は、次いで終了する。

図7は、開示された実装形態による、ユーザ体験をカスタマイズするために、モデル化された個人エンティティを使用するための別の例示的なプロセス700のフロー図を示す。プロセス700は、関連する個人エンティティを見つけ、それらをユーザに提供される探索結果内に含めることによって、デバイス上探索をカスタマイズするために予測モデルを使用する別の方法を示す。プロセス700は、図1のシステム100などのモバイル個人エンティティモデル化システムによって実行されてもよい。プロセス700は、図2のステップ215に関して説明したように、ユーザ体験を個人化するために埋込みを使用する一例である。プロセス700は、たとえば、明示的な探索要求を介してユーザによって、または要求による暗黙の探索要求の結果としてシステムによって開始されてもよい。

プロセス700は、デバイス上探索に対するクエリを受信することによって開始する(705)。クエリは、個人エンティティを含んでもよい。システムは、画面コンテンツエンジン122および個人エンティティ検出エンジン124ならびに図2のステップ205および図3のステップ305に関して上記で説明したエンティティ認識技法に基づいてクエリ内の個人エンティティを識別してもよい。システムは、埋込みに基づいて個人エンティティへの最近傍を決定してもよい(710)。言い換えれば、システムは、従来の最近傍技法を使用して埋込みの類似性に基づいて個人エンティティとの近似一致を探してもよい。システムは、探索結果を決定し(715)、探索結果をユーザに提供する(720)ために、最近傍と個人エンティティとを使用してもよい。探索結果は、たとえば、画面キャプチャのインデックスから、またはファイルのディレクトリなどから取得され得る。プロセス700は、次いで終了する。

たとえば、予測モデルは、BillとJasonの2つの個人エンティティを含む場合がある。BillおよびJasonは、両方ともしばしば同じコンテキスト内に現れる(たとえば、同じカレンダーの招待に含まれる、グループテキスト会話内に含まれる、同じ電子メール内に含まれるなど)ので、非常に類似した埋込みを有する場合がある。ユーザがBillとの会話またはBillの写真を探索しているとき、システムはまた、Jasonとの会話またはJasonの写真を含む場合がある。これは、ユーザが、会話について探索されたものがJasonではなくRobに関係づけられていたと誤って考えた場合、または写真について探されたものがRobではなくJasonとラベル付けされていたと誤って考えた場合、システムがユーザが求めたものと類似している探索結果を提供することを可能にする。別の例として、ユーザは、コンピューティングデバイス上で「テニス」を探索してもよい。このクエリに応答して、システムは、個人エンティティ(または2つ以上の個人エンティティ)がテニスに関連していることを決定するために、予測モデルを使用し、会話がテニスという用語を含まないとしても、テニスに対するクエリに応答して個人エンティティとの会話を返してもよい。

図8は、本明細書で説明した技法とともに使用され得る、図1のサーバ170および/またはデバイス110として動作され得る汎用コンピュータデバイス800の一例を示す。コンピューティングデバイス800は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、セルラー電話、スマートフォン、タブレット、サーバ、およびウェアラブルデバイスを含む他のコンピューティングデバイスなどの、様々な例示的な形態のコンピューティングデバイスを表すことが意図される。本明細書に示された構成要素、それらの接続、および関係、ならびにそれらの機能は、単なる例を意味し、本書類において説明されるおよび/または特許請求される本発明の実装形態を限定することを意味しない。

コンピューティングデバイス800は、インターフェース808を介して接続された、プロセッサ802と、メモリ804と、記憶デバイス806と、拡張ポート810とを含む。いくつかの実装形態では、コンピューティングデバイス800は、インターフェース808を介して接続された、他の構成要素の中でも、トランシーバ846と、通信インターフェース844と、GPS(全地球測位システム)レシーバモジュール848とを含んでもよい。デバイス800は、通信インターフェース844を介してワイヤレスに通信してもよく、通信インターフェース844は、必要に応じてデジタル信号処理回路を含んでもよい。構成要素、802、804、806、808、810、840、844、846、および848の各々は、共通のマザーボード上に、または適切な他の方法で取り付けられてもよい。

プロセッサ802は、ディスプレイ816などの外部入力/出力デバイス上のGUIのためのグラフィカル情報を表示するためにメモリ804内または記憶デバイス806上に記憶された命令を含む、コンピューティングデバイス800内で実行するための命令を処理することができる。ディスプレイ816は、モニタまたはフラットタッチスクリーンディスプレイであってもよい。いくつかの実装形態では、適切なように、複数のメモリおよび複数のメモリのタイプとともに、複数のプロセッサおよび/または複数のバスが使用されてもよい。また、複数のコンピューティングデバイス800が(たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)接続されてもよく、各デバイスが必要な動作の一部を提供する。

メモリ804は、コンピューティングデバイス800内に情報を記憶する。一実装形態では、メモリ804は、揮発性メモリユニットである。別の実装形態では、メモリ804は、不揮発性メモリユニットである。メモリ804は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。いくつかの実装形態では、メモリ804は、拡張インターフェースを介して提供される拡張メモリを含んでもよい。

記憶デバイス806は、コンピューティングデバイス800のための大容量ストレージを提供することができる。一実装形態では、記憶デバイス806は、ストレージエリアネットワークもしくは他の構成におけるデバイスを含む、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様の固体メモリデバイス、またはデバイスのアレイなどのコンピュータ可読媒体であってもよく、またはそれを含んでもよい。コンピュータプログラム製品は、そのようなコンピュータ可読媒体において有形に具体化され得る。コンピュータプログラム製品はまた、実行されると、上記で説明したものなどの1つまたは複数の方法を実行する命令を含んでもよい。コンピュータ可読媒体または機械可読媒体は、メモリ804、記憶デバイス806、またはプロセッサ802上のメモリなどの記憶デバイスである。

インターフェース808は、コンピューティングデバイス800のための帯域消費型動作
を管理する高速コントローラ、または低帯域消費型動作を管理する低速コントローラ、またはそのようなコントローラの組合せであってもよい。外部インターフェース840は、デバイス800の他のデバイスとの近距離通信を可能にするために設けられてもよい。いくつかの実装形態では、コントローラ800は、記憶デバイス806および拡張ポート814に結合されてもよい。様々な通信ポート(たとえば、USB、Bluetooth（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット（登録商標）)を含んでもよい拡張ポートは、たとえば、ネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナー、またはスイッチもしくはルータなどのネットワーキングデバイスなどの1つまたは複数の入力/出力デバイスに結合されてもよい。

コンピューティングデバイス800は、図に示すように、いくつかの異なる形態で実装されてもよい。たとえば、コンピューティングデバイス800は、標準サーバ830として実装されてもよく、またはそのようなサーバのグループ内で複数回実装されてもよい。コンピューティングデバイス800はまた、ラックサーバシステムの一部として実装されてもよい。加えて、コンピューティングデバイス800は、ラップトップコンピュータ832、パーソナルコンピュータ834、またはタブレット/スマートフォン836などのコンピューティングデバイスにおいて実装されてもよい。システム全体は、互いに通信する複数のコンピューティングデバイス800から作られてもよい。他の構成も可能である。

図9は、本明細書で説明する技法とともに使用され得る、図1のサーバ170であってもよい汎用コンピュータデバイス900の一例を示す。コンピューティングデバイス900は、サーバ、ブレードサーバ、データセンタ、メインフレーム、および他の大規模コンピューティングデバイスなどの、様々な例示的な形態の大規模データ処理デバイスを表すことが意図される。コンピューティングデバイス900は、1つまたは複数の通信ネットワークによって相互接続された、おそらくはネットワーク接続ストレージノードを含む、複数のプロセッサを有する分散システムであってもよい。本明細書に示された構成要素、それらの接続、および関係、ならびにそれらの機能は、単なる例を意味し、本書類において説明されるおよび/または特許請求される本発明の実装形態を限定することを意味しない。

分散コンピューティングシステム900は、任意の数のコンピューティングデバイス980を含んでもよい。コンピューティングデバイス980は、ローカルエリアネットワークまたはワイドエリアネットワーク、専用光リンク、モデム、ブリッジ、ルータ、スイッチ、有線ネットワークまたはワイヤレスネットワークなどを介して通信する、サーバまたはラックサーバ、メインフレームなどを含んでもよい。

いくつかの実装形態では、各コンピューティングデバイスは、複数のラックを含んでもよい。たとえば、コンピューティングデバイス980aは、複数のラック958a〜958nを含む。各ラックは、プロセッサ952a〜952nおよび962a〜962nなどの1つまたは複数のプロセッサを含んでもよい。プロセッサは、データプロセッサ、ネットワーク接続ストレージデバイス、および他のコンピュータ制御デバイスを含んでもよい。いくつかの実装形態では、1つのプロセッサは、マスタプロセッサとして動作し、スケジューリングおよびデータ配信タスクを制御してもよい。プロセッサは、1つまたは複数のラックスイッチ958を介して相互接続されてもよく、1つまたは複数のラックは、スイッチ978を介して接続されてもよい。スイッチ978は、複数の接続されたコンピューティングデバイス900間の通信を処理してもよい。

各ラックは、メモリ954およびメモリ964などのメモリと、956および966などのストレージとを含んでもよい。ストレージ956および966は、大容量ストレージを提供してもよく、ネットワーク接続ディスク、フロッピーディスク、ハードディスク、光ディスク、テープ、フラッシュメモリもしくは他の同様の固体メモリデバイス、または、ストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどの、揮発性または不揮発性のストレージを含んでもよい。ストレージ956または966は、複数のプロセッサ間、複数のラック間、または複数のコンピューティングデバイス間で共有されてもよく、プロセッサのうちの1つまたは複数によって実行可能な命令を記憶するコンピュータ可読媒体を含んでもよい。メモリ954および964は、たとえば、揮発性メモリユニット、不揮発性メモリユニット、ならびに/または、磁気ディスクもしくは光ディスク、フラッシュメモリ、キャッシュ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、およびその組合せなどの他の形態のコンピュータ可読媒体を含んでもよい。メモリ954などのメモリはまた、プロセッサ952a〜952nの間で共有されてもよい。インデックスなどのデータ構造は、たとえば、ストレージ956およびメモリ954にわたって記憶されてもよい。コンピューティングデバイス900は、コントローラ、バス、入力/出力デバイス、通信モジュールなどの、図示されていない他の構成要素を含んでもよい。

システム100などのシステム全体は、互いに通信する複数のコンピューティングデバイス900から作られてもよい。たとえば、デバイス980aは、デバイス980b、980c、および980dと通信してもよく、これらは、まとめてシステム100として知られる場合がある。別の例として、図1のシステム100は、1つまたは複数のコンピューティングデバイス900を含んでもよい。コンピューティングデバイスのうちのいくつかは、互いに地理的に近くに配置されてもよく、他は、地理的に遠くに配置されてもよい。システム900のレイアウトは、単なる一例であり、システムは、他のレイアウトまたは構成をとってもよい。

本開示の特定の態様によれば、モバイルデバイスは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されると、モバイルデバイスに動作を実行させる命令を記憶するメモリとを備える。動作は、モバイルデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別することと、コンテンツから個人エンティティのための訓練例を生成することと、訓練例を使用して個人エンティティをモデル化するために使用される埋込みを更新することとを含んでもよい。個人エンティティは、モバイルデバイスのユーザにとって個人的であってもよい。埋込みは、個人エンティティに関する予測を行うために使用されてもよい。

この態様および他の態様は、以下の特徴のうちの1つまたは複数を含むことができる。たとえば、個人エンティティは、メッセージの送信者フィールドまたは受信者フィールド内の位置に基づいて識別されてもよい。別の例として、個人エンティティを識別することは、コンテンツ内のnグラムを識別することと、個人コンテンツアプリケーションにおけるnグラムの出現頻度がしきい値を満たすまたはしきい値を超えることを決定することとを含むことができる。別の例として、個人エンティティを識別することは、個人エンティティが個人ナレッジベース内に存在するかどうかを決定することと、個人エンティティが個人ナレッジベース内に存在しないとき、個人エンティティに初期埋込みを割り当てることとを含むことができる。別の例として、コンテンツは、第1のコンテンツであり、メモリは、モバイルデバイスのユーザによって提供される入力を識別することであって、入力がモバイルデバイス上に表示された第2のコンテンツに関連付けられている、識別することと、入力のための補完を決定することであって、補完が第2のコンテツに基づく個人エンティティを含む、決定することと、補完をランク付けすることであって、個人エンティティのランクが、第2のコンテツを与えられると個人エンティティのための埋込みによって決定されるスコアを考慮する、ランク付けすることと、モバイルデバイス上に表示するために最も高くランク付けされた補完を提供することとをモバイルデバイスに行わせる命令をさらに記憶する。

別の例として、訓練例を生成することは、コンテンツ内で識別された他の個人エンティティのセットに対して、セットと個人エンティティとの間の予測を生成することを含む。別の例として、訓練例を生成することは、コンテンツ内で識別された公開エンティティについて、公開エンティティと個人エンティティとの間の予測を生成することを含む。別の例として、個人エンティティは、第1の個人エンティティであり、訓練例を生成することは、第2の個人エンティティと、コンテンツ内で識別された公開エンティティとについて、第2の個人エンティティおよび公開エンティティと第1の個人エンティティとの間の予測を生成することとを含む。別の例では、表示するための生成されたコンテンツは、時間ウィンドウの間に生成されたコンテンツを含む。

本開示の特定の態様によれば、方法は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の第1の個人エンティティを識別するステップであって、第1の個人エンティティがコンピューティングデバイスのユーザに関連付けられた個人ナレッジベース内の埋込みに関連付けられている、ステップと、埋込みに基づいて第1の個人エンティティと第2の個人エンティティとの間の関連性を予測するステップと、第2のエンティティに関連する推奨を提供するステップであって、推奨がコンピューティングデバイスに表示される、ステップとを含む。

この態様および他の態様は、以下の特徴のうちの1つまたは複数を含むことができる。たとえば、推奨は、第2のエンティティに関連する広告であってもよい。別の例として、第2のエンティティは、トピックを表し、推奨は、第2のエンティティに関連付けられた第3の個人エンティティである。そのような実装形態では、推奨を表示することは、コンテンツを第3の個人エンティティと共有することを示唆することを含むことができる。コンテンツは、メッセージを含んでもよく、推奨は、第3の個人エンティティがメッセージを見るための招待であり得る。別の例として、第2のエンティティは、コンテキストを表してもよく、推奨を表示することは、第1の個人エンティティとコンテキストとを含むアクションを示唆することを含むことができる。いくつかの実装形態では、コンテキストは、時間であり、アクションは、第1の個人エンティティに関連する予約である。

上記で説明した態様のいずれかと組み合わせて説明した特徴は、上記で説明した態様の他のものとともに利用されてもよいことが理解されるであろう。

本開示の特定の態様によれば、コンピューティングシステムは、少なくとも1つのプロセッサと、表示デバイスと、個人ナレッジベースを記憶するメモリと、個人エンティティを埋込みとしてモデル化する個人ナレッジベースと、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに動作を実行させる命令を記憶するメモリとを含む。動作は、表示デバイス上に表示するために生成されたコンテンツ内の特徴を識別することと、個人ナレッジベース内の個人エンティティのための埋込みを使用して特徴によって予測される個人エンティティを識別することと、個人エンティティに関連する推奨を提供することであって、推奨が表示デバイス上に表示される、提供することとを含んでもよい。

この態様および他の態様は、以下の特徴のうちの1つまたは複数を含むことができる。たとえば、推奨は、個人エンティティが関与するアクションであってもよく、または、現在の画面に関連付けられたコンテンツを個人エンティティと共有するような示唆であってもよい。別の例として、表示するために生成されたコンテンツは、第1のアプリケーションによって生成されてもよく、推奨は、第2のアプリケーションを開くような示唆である。第2のアプリケーションは、コンピューティングデバイス上にインストールされていなくてもよく、示唆は、第2のアプリケーションをインストールすることを含んでもよい。別の例として、推奨は、入力制御においてユーザから入力を受信する前の入力制御の補完である。

様々な実装形態は、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合された専用または汎用であってもよい少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および/または解釈可能な1つまたは複数のコンピュータプログラムにおける実装態様を含むことができる。

これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる)は、プログラム可能なプロセッサのための機械命令を含み、高水準手続き型および/もしくはオブジェクト指向のプログラミング言語において、ならびに/またはアセンブリ言語/機械語において実装され得る。本明細書で使用する、「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するために使用される、任意の非一時的コンピュータプログラム製品、装置および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ(ランダムアクセスメモリを含む)、プログラム可能論理デバイス(PLD))を指す。

本明細書で説明するシステムおよび技法は、(たとえば、データサーバとして)バックエンド構成要素を含む、またはミドルウェア構成要素(たとえば、アプリケーションサーバ)を含む、またはフロントエンド構成要素(たとえば、ユーザが本明細書で説明するシステムおよび技法の実装形態と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、またはそのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実装され得る。システムの構成要素は、任意の形式または媒体のデジタルデータ通信(たとえば、通信ネットワーク)によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットを含む。

コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、一般に、互いに遠く離れており、典型的には、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。

いくつかの実施形態について説明した。それにもかかわらず、本発明の要旨および範囲から逸脱することなく、様々な変更が行われてもよい。加えて、図に描かれた論理フローは、望ましい結果を達成するために、示された特定の順序、または逐次的な順序を必要としない。加えて、他のステップが設けられてもよく、またはステップが説明したフローから省略されてもよく、他の構成要素が説明したシステムに追加されてもよく、または説明したシステムから除去されてもよい。したがって、他の実装形態は、以下の特許請求の範囲内にある。

以下では、本開示によるシステムおよび方法のさらなる例について説明する。

第1の例では、方法は、モバイルデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別するステップと、コンテンツから個人エンティティのための訓練例を生成するステップと、訓練例を使用して個人エンティティをモデル化するために使用される埋込みを更新するステップとを含む。

第1の例に基づく第2の例では、個人エンティティは、メッセージの送信者フィールドまたは受信者フィールド内の位置に基づいて識別されてもよい。第1または第2の例に基づく第3の例では、個人エンティティを識別するステップは、コンテンツ内のnグラムを識別するステップと、個人コンテンツアプリケーション内のnグラムの出現の頻度がしきい値を満たすか、またはしきい値を超えることを決定するステップとを含んでもよい。前述のいずれかの例に基づく第4の例では、個人エンティティを識別するステップは、個人エンティティが個人ナレッジベース内に存在するかどうかを決定するステップと、個人エンティティが個人ナレッジベース内に存在しないとき、個人エンティティに初期埋込みを割り当てるステップとを含んでもよい。

前述のいずれかの例に基づく第5の例では、コンテンツは、第1のコンテンツであってもよく、方法は、モバイルデバイスのユーザによって提供される入力を識別するステップをさらに備えてもよい。入力は、モバイルデバイス上に表示される第2のコンテンツに関連付けられてもよい。入力のための補完が决定されてもよく、補完は、第2のコンテンツに基づく個人エンティティを含む。補完は、ランク付けされてもよく、個人エンティティのランクは、第2のコンテツが与えられると個人エンティティのための埋込みによって決定されるスコアを考慮する。最も高くランク付けされた補完は、モバイルデバイス上に表示するために提供されてもよい。

前述のいずれかの例に基づく第6の例では、訓練例を生成するステップは、コンテンツ内で識別された他の個人エンティティのセットについて、セットと個人エンティティとの間の予測を生成するステップを含んでもよい。前述のいずれかの例に基づく第7の例では、訓練例を生成するステップは、コンテンツ内で識別された公開エンティティについて、公開エンティティと個人エンティティとの間の予測を生成するステップを含んでもよい。前述のいずれかの例に基づく第8の例では、表示するために生成されたコンテンツは、時間ウィンドウの間に生成されたコンテンツを含んでもよい。前述のいずれかの例に基づく第9の例では、個人エンティティは、モバイルデバイスのユーザにとって個人的であってもよい。

第10の例では、方法は、コンピューティングデバイス上に表示するために生成されたコンテンツ内の第1の個人エンティティを識別するステップであって、第1の個人エンティティがコンピューティングデバイスのユーザに関連付けられた個人ナレッジベース内の埋込みに関連付けられている、ステップと、埋込みに基づいて第1の個人エンティティと第2のエンティティとの間の関連性を予測するステップと、第2のエンティティに関連する推奨を提供するステップであって、推奨がコンピューティングデバイス上に表示される、ステップとを含む。

第10の例に基づく第11の例では、推奨は、第2のエンティティに関連するユーザに配信されるコンテンツであってもよい。

第10の例に基づく第12の例では、第2のエンティティは、トピックを表してもよく、推奨は、第2のエンティティに関連付けられた第3の個人エンティティである。

第12の例に基づく第13の例では、推奨を表示するステップは、第3の個人エンティティとコンテンツを共有することを示唆するステップを含んでもよい。

第13の例に基づく第14の例では、コンテンツは、メッセージを含んでもよく、推奨は、メッセージを見るように第3の個人エンティティを招待することであってもよい。

第10の例に基づく第15の例では、第2のエンティティは、コンテキストを表してもよく、推奨を表示するステップは、第1の個人エンティティとコンテキストとを含むアクションを示唆するステップを含んでもよい。

第15の例に基づく第16の例では、コンテキストは、時間であってもよく、アクションは、第1の個人エンティティに関連する予約であってもよい。

第17の例では、方法は、表示デバイス上に表示するために生成されたコンテンツ内の特徴を識別するステップと、埋込みとして個人エンティティをモデル化する個人ナレッジベース内の個人エンティティのための埋込みを使用して特徴によって予測される個人エンティティを識別するステップと、個人エンティティに関連する推奨を提供するステップであって、推奨が表示デバイス上に表示される、ステップとを含む。

第17の例に基づく第18の例では、推奨は、個人エンティティが関与するアクションであってもよい。第17の例に基づく第19の例では、推奨は、現在の画面に関連付けられたコンテンツを個人エンティティと共有するような示唆であってもよい。第17の例に基づく第20の例では、表示するために生成されたコンテンツは、第1のアプリケーションによって生成されてもよく、推奨は、第2のアプリケーションを開くような示唆である。

第17の例に基づく第21の例では、推奨は、入力制御においてユーザから入力を受信する前の、入力制御のための補完であってもよい。

第22の例では、コンピューティングシステムは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに前述のいずれかの例の方法を実行させる命令を記憶するメモリとを備える。

第23の例では、コンピュータ可読命令を記憶するコンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、コンピューティングシステムに、第1の例から第20の例の方法を実行させる。

100 個人エンティティモデル化システム
110 コンピューティングデバイス
120 アプリケーション
122 画面コンテンツエンジン
124 個人エンティティ検出エンジン
126 個人エンティティモデル化エンジン
128 推奨エンジン
130 データストア
134 個人ナレッジベース
144 公開ナレッジベース
146 画面キャプチャインデックス
160 ネットワーク
170 サーバ
172 画面コンテンツエンジン
176 エンティティモデル化エンジン
178 推奨エンジン
182 個人ナレッジベース
184 公開ナレッジベース
186 画面キャプチャインデックス
800 コンピュータデバイス、汎用コンピュータデバイス、コンピューティングデバイス
802 プロセッサ
804 メモリ
806 記憶デバイス
808 インターフェース
810 拡張ポート
814 拡張ポート
816 ディスプレイ
830 標準サーバ
832 ラップトップコンピュータ
834 パーソナルコンピュータ
836 タブレット/スマートフォン
840 外部インターフェース
844 通信インターフェース
846 トランシーバ
848 GPS(全地球測位システム)レシーバモジュール
900 コンピュータデバイス、汎用コンピュータデバイス、コンピューティングデバイス、分散コンピューティングシステム
952a〜952n プロセッサ
954 メモリ
956 ストレージ
958a〜958n ラック
962a〜962n プロセッサ
964 メモリ
966 ストレージ
978 スイッチ
980 コンピューティングデバイス
980a コンピューティングデバイス、デバイス
980b デバイス
980c デバイス
980d デバイス

Claims (19)

1. モバイルデバイスであって、
   少なくとも1つのプロセッサと、
   前記少なくとも1つのプロセッサによって実行されると、前記モバイルデバイスに、
   前記モバイルデバイス上に表示するために生成されたコンテンツ内の個人エンティティを識別させ、
   前記コンテンツから前記個人エンティティのための訓練例を生成させ、
   前記訓練例を使用して前記個人エンティティをモデル化するために使用される埋込みを更新させる命令を記憶するメモリと
   を備えるモバイルデバイス。
2. 前記個人エンティティが、メッセージの送信者フィールドまたは受信者フィールド内の位置に基づいて識別される、請求項1に記載のモバイルデバイス。
3. 前記個人エンティティを識別するステップが、
   前記コンテンツ内のnグラムを識別するステップと、
   個人コンテンツアプリケーションにおける前記nグラムの出現頻度がしきい値を満たすか、またはしきい値を超えることを決定するステップと
   を含む、請求項1に記載のモバイルデバイス。
4. 前記個人エンティティを識別するステップが、
   前記個人エンティティが個人ナレッジベース内に存在するかどうかを決定するステップと、
   前記個人エンティティが前記個人ナレッジベース内に存在しないとき、前記個人エンティティに初期埋込みを割り当てるステップと
   を含む、請求項1に記載のモバイルデバイス。
5. 前記コンテンツが第1のコンテンツであり、前記メモリが、前記少なくとも1つのプロセッサによって実行されると、前記モバイルデバイスに、
   前記モバイルデバイスのユーザによって提供される入力を識別することであって、前記入力が前記モバイルデバイス上に表示される第2のコンテンツに関連付けられている、識別することと、
   前記入力のための補完を決定することであって、前記補完が前記第2のコンテンツに基づく前記個人エンティティを含む、決定することと、
   前記補完をランク付けすることであって、前記個人エンティティの前記ランクが、前記第2のコンテツを与えられると前記個人エンティティのための前記補完によって決定されるスコアを考慮する、ランク付けすることと、
   前記モバイルデバイス上に表示するために最も高くランク付けされた補完を提供することと
   を行わせる命令をさらに記憶する、請求項1に記載のモバイルデバイス。
6. 前記訓練例を生成するステップが、前記コンテツ内で識別された他の個人エンティティのセットについて、前記セットと前記個人エンティティとの間の予測を生成するステップを含む、請求項1に記載のモバイルデバイス。
7. 前記訓練例を生成することが、前記コンテンツ内で識別された公開エンティティについて、前記公開エンティティと前記個人エンティティとの間の予測を生成するステップを含む、請求項1に記載のモバイルデバイス。
8. 表示するために生成された前記コンテンツが、時間ウィンドウの間に生成されたコンテンツを含む、請求項1に記載のモバイルデバイス。
9. コンピューティングデバイス上に表示するために生成されたコンテンツ内の第1の個人エンティティを識別するステップであって、前記第1の個人エンティティが、前記コンピューティングデバイスのユーザに関連付けられた個人ナレッジベース内の埋込みに関連付けられている、ステップと、
   前記埋込みに基づいて前記第1の個人エンティティと第2のエンティティとの間の関連性を予測するステップと、
   前記第2のエンティティに関連する推奨を提供するステップであって、前記推奨が前記コンピューティングデバイス上に表示される、ステップと
   を備える方法。
10. 前記第2のエンティティがトピックを表し、推奨が、前記第2のエンティティに関連付けられた第3の個人エンティティである、請求項9に記載の方法。
11. 前記推奨を表示するステップが、
    前記第3の個人エンティティと前記コンテンツを共有することを示唆するステップを含む、請求項10に記載の方法。
12. 前記コンテンツがメッセージを含み、前記推奨が、前記メッセージを見るように前記第3の個人エンティティを招待することである、請求項11に記載の方法。
13. 前記第2のエンティティがコンテンツを表し、前記推奨を表示するステップが、前記第1の個人エンティティと前記コンテンツとを含むアクションを示唆するステップを含む、請求項9に記載の方法。
14. 前記コンテンツが時間であり、前記アクションが、前記第1の個人エンティティに関連する予約である、請求項13に記載の方法。
15. 表示デバイス上に表示するために生成されたコンテンツ内の特徴を識別するステップと、
    個人エンティティを埋込みとしてモデル化する個人ナレッジベース内の個人エンティティの埋込みを使用して前記特徴によって予測される前記個人エンティティを識別するステップと、
    前記個人エンティティに関連する推奨を提供するステップであって、前記推奨が前記表示デバイス上に表示される、ステップと
    を備える方法。
16. 前記推奨が、前記個人エンティティが関与するアクションである、請求項15に記載の方法。
17. 前記推奨が、現在の画面に関連付けられた前記コンテンツを前記個人エンティティと共有するような示唆である、請求項15に記載の方法。
18. 表示するために生成された前記コンテンツが、第1のアプリケーションによって生成され、前記推奨が、第2のアプリケーションを開くような示唆である、請求項15に記載の方法。
19. 前記推奨が、入力制御においてユーザから入力を受信する前の前記入力制御のための補完である、請求項15に記載の方法。

Images