JP2022551788A - 補助システムのためのプロアクティブコンテンツを生成すること - Google Patents

補助システムのためのプロアクティブコンテンツを生成すること Download PDF

Info

Publication number
JP2022551788A
JP2022551788A JP2021577907A JP2021577907A JP2022551788A JP 2022551788 A JP2022551788 A JP 2022551788A JP 2021577907 A JP2021577907 A JP 2021577907A JP 2021577907 A JP2021577907 A JP 2021577907A JP 2022551788 A JP2022551788 A JP 2022551788A
Authority
JP
Japan
Prior art keywords
user
proactive
suggestions
way
particular embodiments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577907A
Other languages
English (en)
Inventor
ウィリアム クロスビー プレサント，
シアオレイ リー，
ハオ チョウ，
ピユシュ ケムカ，
ポール アンソニー クルック，
カイ チュン ウォン，
フランツ－ジュリアス チェン，
マイケル ロバート ハンソン，
リサ シアオイー ファン，
エリック シアオ，
アヌイ クマール，
チンソン ユイ，
バイヤン リョウ，
フランシスラフ ピー． ペノフ，
シャオフー リウ，
パラルト パレシュ シャー，
ヴィンセント チャールズ チャン，
ニコラス マイケル ベンソン，
ヤーティン ション，
ツーチエン ホー，
ルイ シャオ，
アニメシュ シンハ，
クシティス マリク，
スンファン ムン，
ホンレイ リョウ，
アハメド アリー，
ホンユアン チャン，
Original Assignee
メタ プラットフォームズ， インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メタ プラットフォームズ， インク． filed Critical メタ プラットフォームズ， インク．
Publication of JP2022551788A publication Critical patent/JP2022551788A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信することと、１つまたは複数のプロアクティブポリシーに基づいて、第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定することと、第１のユーザに関連付けられた１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成することと、第１のユーザに関連付けられたタスク履歴データに基づいて、プロアクティブ提案のうちの１つまたは複数を選択することと、プロアクティブコンテンツを第１のユーザに提示するための命令を、第１のユーザに関連付けられたクライアントシステムに送ることであって、プロアクティブコンテンツが、選択されたプロアクティブ提案を含む、命令をクライアントシステムに送ることと、を含む、システム、媒体、および方法。【選択図】図８

Description

優先権
本出願は、２０２０年８月２８日に出願の米国非仮特許出願第１７／００６，２６０号、２０１９年１０月１８日に出願の米国仮特許出願第６２／９２３，３４２号、および２０２０年６月２５日に出願の米国仮特許出願第６３／０４４，２７０号の利益を主張する。上記の特許出願の開示は、本明細書によって参照により本明細書に組み込まれる。
本開示は、一般に、ネットワーク環境内のデータベースおよびファイル管理に関し、詳細には、スマート補助システムのためのハードウェアおよびソフトウェアに関する。
補助システムは、ユーザ入力と、ロケーションアウェアネスと、（気象条件、交通渋滞、ニュース、株価、ユーザスケジュール、小売価格などの）様々なオンラインソースからの情報にアクセスする能力との組合せに基づいて、ユーザのために情報またはサービスを提供することができる。ユーザ入力は、特にインスタントメッセージングアプリケーションまたは他のアプリケーションにおけるテキスト（たとえば、オンラインチャット）、ボイス、画像、動き、またはそれらの組合せを含み得る。補助システムは、コンシェルジュタイプのサービス（たとえば、ディナーを予約すること、イベントチケットを購入すること、旅行の手配をすること）を実施するか、またはユーザ入力に基づいて情報を提供し得る。補助システムはまた、ユーザ始動または対話なしに、オンライン情報およびイベントに基づいて、管理またはデータハンドリングタスクを実施し得る。補助システムによって実施され得るタスクの例は、スケジュール管理（たとえば、ディナーデートについて交通状況によりユーザが遅れているというアラートを送る、双方のためのスケジュールを更新する、およびレストラン予約時間を変更する）を含み得る。補助システムは、コンピューティングデバイスと、アプリケーションプログラミングインターフェース（ＡＰＩ）と、ユーザデバイス上のアプリケーションの普及との組合せによって可能にされ得る。
ソーシャルネットワーキングウェブサイトを含み得る、ソーシャルネットワーキングシステムは、そのユーザ（個人または法人など）が、ソーシャルネットワーキングシステムと対話し、ソーシャルネットワーキングシステムを通して互いと対話することを可能にし得る。ソーシャルネットワーキングシステムは、ユーザからの入力を用いて、ユーザに関連付けられたユーザプロファイルを作成し、ソーシャルネットワーキングシステムに記憶し得る。ユーザプロファイルは、人口統計学的情報、通信チャネル情報、およびユーザの個人的な興味に関する情報を含み得る。ソーシャルネットワーキングシステムはまた、ユーザからの入力を用いて、ソーシャルネットワーキングシステムの他のユーザとのユーザの関係のレコードを作成し、記憶し、ならびに、サービス（たとえば、プロファイル／ニュースフィード投稿、写真共有、イベント編成、メッセージング、ゲーム、または広告）を提供して、ユーザ間のソーシャルな対話を円滑にし得る。
ソーシャルネットワーキングシステムは、１つまたは複数のネットワークを介して、そのサービスに関係するコンテンツまたはメッセージを、ユーザのモバイルまたは他のコンピューティングデバイスに送り得る。ユーザはまた、ユーザのモバイルまたは他のコンピューティングデバイス上に、ユーザのユーザプロファイルおよびソーシャルネットワーキングシステム内の他のデータにアクセスするためのソフトウェアアプリケーションをインストールし得る。ソーシャルネットワーキングシステムは、ユーザにつながっている他のユーザの集約されたストーリーのニュースフィードなど、ユーザに表示するためのコンテンツオブジェクトの個人化されたセットを生成し得る。
特定の実施形態では、補助システムは、ユーザが情報またはサービスを取得するのを補助し得る。補助システムは、ユーザが、補助を得るためのステートフルおよびマルチターン会話における（ボイス、テキスト、画像、ビデオ、動きなどの）マルチモーダルユーザ入力で補助システムと対話することを可能にし得る。限定としてではなく一例として、補助システムは、ビジョン、ロケーション、ジェスチャー、動き、またはハイブリッド／マルチモーダル入力など、オーディオ（口頭）入力と非口頭入力の両方をサポートし得る。補助システムは、ユーザに関連付けられた個人情報とコンテキスト情報の両方を含むユーザプロファイルを作成および記憶し得る。特定の実施形態では、補助システムは、自然言語理解を使用してユーザ入力を分析し得る。分析は、より個人化されたおよびコンテキストアウェア理解のために、ユーザのユーザプロファイルに基づき得る。補助システムは、分析に基づいて、ユーザ入力に関連付けられたエンティティを解析し得る。特定の実施形態では、補助システムは、解析されるエンティティに関連付けられた情報またはサービスを取得するために、異なるエージェントと対話し得る。補助システムは、自然言語生成を使用することによって、情報またはサービスに関してユーザのための応答を生成し得る。ユーザとの対話を通して、補助システムは、ダイアログ管理技法を使用して、ユーザとの会話のフローを管理し進め得る。特定の実施形態では、補助システムは、情報を要約することによって、ユーザが、取得された情報を効果的におよび効率的に消化するのをさらに補助し得る。補助システムはまた、（たとえば、投稿、コメント、メッセージを作成して）ユーザがオンラインソーシャルネットワークと対話するのを助けるツールを提供することによって、ユーザがオンラインソーシャルネットワークにより関与するのを補助し得る。補助システムは、ユーザが、イベントを追跡することなど、異なるタスクを管理するのをさらに補助し得る。特定の実施形態では、補助システムは、ユーザ入力なしに、ユーザにとって好適なときに、ユーザプロファイルに基づいて、ユーザ興味および選好に関連するタスクをプロアクティブに実行し得る。特定の実施形態では、補助システムは、ユーザのプロファイルまたは他のユーザ情報にアクセスすることと、異なるタスクを実行することとが、ユーザのプライバシー設定を条件として許諾されることを確実にするために、プライバシー設定を検査し得る。
特定の実施形態では、補助システムは、クライアント側処理とサーバ側処理の両方に構築されたハイブリッドアーキテクチャを介してユーザを補助し得る。クライアント側処理とサーバ側処理とは、ユーザ入力を処理するため、およびユーザへの補助を提供するための２つの並行のワークフローであり得る。特定の実施形態では、クライアント側処理は、ユーザに関連付けられたクライアントシステム上でローカルに実施され得る。対照的に、サーバ側処理は、１つまたは複数のコンピューティングシステム上でリモートに実施され得る。特定の実施形態では、クライアントシステム上のアービトレータは、ユーザ入力（たとえば、オーディオ信号）の受信を協調させること、ユーザ入力に応答するために、クライアント側処理を使用すべきか、サーバ側処理を使用すべきか、両方を使用すべきか決定すること、および、各処理からの処理結果を分析することを行い得る。アービトレータは、前述の分析に基づいて、ユーザ入力に関連付けられたタスクを実行するように、クライアント側またはサーバ側のエージェントに命令し得る。実行結果は、クライアントシステムへの出力としてさらにレンダリングされ得る。クライアント側処理とサーバ側処理の両方を活用することによって、補助システムは、ユーザプライバシーを保護すること、およびセキュリティを強化することを同時に行いつつ、ユーザがコンピューティングリソースを最適に使用するのを効果的に補助することができる。
特定の実施形態では、補助システムは、様々なマルチモーダル信号によってトリガされ得る、ユーザへのプロアクティブコンテンツ提案を行い得る。プロアクティブコンテンツはまた、ユーザの要求に応答したフォローアップアクションとして提供され得、セミプロアクティブユースケースの１つのタイプと考えられ得る（すなわち、プロアクティブコンテンツは、ユーザ要求に応答性があるので、完全にプロアクティブでなくなり得る）。プロアクティブコンテンツは、提案されるクエリ、提案されるフォローアップアクション、補足情報、調査、または任意の他の好適なコンテンツを含み得る。フォローアップアクションとして提供されるとき、プロアクティブコンテンツは、ユーザのタスクが完了した後、ダイアログを延長することによってユーザダイアログを豊かにし得る。限定としてではなく一例として、ユーザは、「何時ですか。」と尋ね得る。補助システムは、「午前１１：３０です。」と答え得る。補助システムは、「カレンダーを見たいですか。」などの提案されるフォローアップアクション、または「正午の歯医者の予約にたどり着くのに１５分かかります。」のような補足情報をさらに提供し得る。限定としてではなく別の一例として、ユーザは「今何の歌を流しているのですか。」と尋ね得、ここで、ユーザからの要求タスクは、［ＩＮ：ｇｅｔ＿ｔｒａｃｋ＿ｉｎｆｏ＿ｍｕｓｉｃ（）］であり得る。補助システムは、「ＯｕｔｋａｓｔによるＨｅｙ Ｙａです。」と答え得、これがタスクの完了をマークする。補助システムは、「この歌をお気に入りに追加したいですか。」とさらにプロアクティブに尋ね得、これが、提案されるフォローアップアクション（すなわち、［ＩＮ：ａｄｄ＿ｔｏ＿ｆａｖｏｒｉｔｅｓ（）］）に対応する。タスクの完了、ユーザコンテキストの変化、または関連するマルチモーダル信号は、プロアクティブポリシーをトリガし得る。プロアクティブポリシーに基づいて、補助システムは、どの種類のプロアクティブコンテンツを実行すべきかを決定し得る。補助システムは、どのプロアクティブコンテンツが好適であるかを決定するために、ユーザとの事前対話またはユーザについての予備知識を考慮し得る。補助システムは、ダイアログの各ターンへのユーザフィードバックに基づいて、または、（ユーザによるプロアクティブコンテンツとの対話、もしくは動的なマルチモーダル信号に応答してコンテンツをプロアクティブに提供することを補助システムが続け得る）マルチモーダルコンテキストにおいて、プロアクティブコンテンツのチェーンを生成し得る。限定としてではなく一例として、補助システムは、補助システムが各ターンの終わりに新しい推奨を提供するリコメンダシステムとして機能し得る。プロアクティブコンテンツを通じて、補助システムは、成長（たとえば、ユーザ教育）のすぐに得られる機会、ならびに、ユーザ満足度測定、および、補助システムに関連付けられたさらなる特徴または強化のために使用され得るコア技法を提供し得る。本開示は、特定の様式で特定のシステムによって特定のプロアクティブコンテンツを生成することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なプロアクティブコンテンツを生成することを企図する。
特定の実施形態では、補助システムは、第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信し得る。補助システムは、１つまたは複数のプロアクティブポリシーに基づいて、第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定し得る。補助システムは、次いで、第１のユーザに関連付けられた１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成し得る。特定の実施形態では、補助システムは、第１のユーザに関連付けられたタスク履歴データに基づいて、プロアクティブ提案のうちの１つまたは複数を選択し得る。補助システムは、さらに、プロアクティブコンテンツを第１のユーザに提示するための命令を、第１のユーザに関連付けられたクライアントシステムに送り得る。プロアクティブコンテンツは、選択されたプロアクティブ提案を含み得る。
プロアクティブ提案を提供するという目的を達成するために、いくつかの技術的課題が存在し得る。１つの技術課題は、どのプロアクティブ提案をユーザに提供すべきかを正確に決定することを含み得る。上記の課題に対処するための、本明細書で開示される実施形態によって提示されるソリューションは、ユーザコンテキスト、ダイアログコンテキスト、ユーザタスク履歴、ユーザメモリ、および知識グラフが、推奨されるプロアクティブ提案がユーザに関するものであり、ユーザにとって興味のあるものであることを保証し得るので、これらの種々のタイプのデータを使用してプロアクティブ提案を決定することである。別の技術課題は、不要な提案でユーザに過負荷をかけないことを含み得る。この課題に対処するための、本明細書で開示される実施形態によって提示されるソリューションは、ユーザコンテキストデータ、タスク履歴データ、またはユーザメモリに基づくダイアログポリシーが、ユーザに関連した現在の情報と履歴情報の両方を使用して、ユーザがプロアクティブ提案を望むかどうかを効果的に評価し得るので、このようなダイアログポリシーを使用して、ユーザがプロアクティブ提案に適格であるかどうかを決定することを含む。別の技術課題は、最適な状態でプロアクティブコンテンツをユーザに提供することを含み得る。この課題に対処するための、本明細書で開示される実施形態によって提示されるソリューションは、プロアクティブコンテンツで促される意思をユーザが有し得る個人的な選好を、ユーザコンテキストデータ、ユーザメモリ、または知識グラフがキャプチャし得るので、これらのタイプのデータに基づいて、プロアクティブコンテンツの配信スケジュールを決定することを含む。
本明細書で開示されるいくつかの実施形態は、１つまたは複数の技術的利点を提供し得る。実施形態の技術的利点は、種々のタイプのマルチモーダル信号に応答して、プロアクティブ提案をユーザに自動的に提供することによって、ユーザが補助システムと関わり合う度合いを増加させることを含み得る。別の実施形態の技術的利点は、補助システムが、履歴データに基づいて、どのスキルをユーザがまだ探求していないかを正確に決定し、このようなスキルに関する提案をユーザに提供し得るので、補助システムが有し得る新しいスキルをユーザが学習するのを補助することを含み得る。本明細書で開示されるいくつかの実施形態は、上記の技術的利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。１つまたは複数の他の技術的利点が、本開示の図、説明、および特許請求の範囲に鑑みて、当業者に容易に明らかになり得る。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれかは、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。
補助システムに関連付けられた例示的なネットワーク環境を示す図である。 補助システムの例示的なアーキテクチャを示す図である。 補助システムのサーバ側処理の例示的な図のフローである。 補助システムによるユーザ入力の処理の例示的な図のフローである。 プロアクティブ提案を提供するための例示的なアーキテクチャを示す図である。 時間を確かめたいというユーザ要求に応答した、例示的なプロアクティブ提案を示す図である。 時間を確かめたいというユーザ要求に応答した、別の例示的なプロアクティブ提案を示す図である。 写真を撮りたいというユーザ要求に応答した、例示的なプロアクティブ提案を示す図である。 写真を撮りたいというユーザ要求に応答した、別の例示的なプロアクティブ提案を示す図である。 ビジュアル信号に応答した、例示的なプロアクティブ提案を示す図である。 オーディオ信号に応答した、例示的なプロアクティブ提案を示す図である。 プロアクティブ提案のチェーンの一例を示す図である。 プロアクティブ提案を提供するための例示的な方法を示す図である。 例示的なソーシャルグラフを示す図である。 埋込み空間の例示的なビューを示す図である。 例示的な人工ニューラルネットワークを示す図である。 例示的なコンピュータシステムを示す図である。
システムの全体像
図１は、補助システムに関連付けられた例示的なネットワーク環境１００を示す。ネットワーク環境１００は、ネットワーク１１０によって互いに接続された、クライアントシステム１３０と、補助システム１４０と、ソーシャルネットワーキングシステム１６０と、サードパーティシステム１７０とを含む。図１は、クライアントシステム１３０、補助システム１４０、ソーシャルネットワーキングシステム１６０、サードパーティシステム１７０、およびネットワーク１１０の特定の構成を示すが、本開示は、クライアントシステム１３０、補助システム１４０、ソーシャルネットワーキングシステム１６０、サードパーティシステム１７０、およびネットワーク１１０の任意の好適な構成を企図する。限定としてではなく一例として、クライアントシステム１３０、ソーシャルネットワーキングシステム１６０、補助システム１４０、およびサードパーティシステム１７０のうちの２つまたはそれ以上が、ネットワーク１１０をバイパスして、直接互いに接続され得る。別の例として、クライアントシステム１３０、補助システム１４０、ソーシャルネットワーキングシステム１６０、およびサードパーティシステム１７０のうちの２つまたはそれ以上が、全体的にまたは部分的に、物理的にまたは論理的に互いとコロケートされ得る。その上、図１は、特定の数のクライアントシステム１３０、補助システム１４０、ソーシャルネットワーキングシステム１６０、サードパーティシステム１７０、およびネットワーク１１０を示すが、本開示は、任意の好適な数のクライアントシステム１３０、補助システム１４０、ソーシャルネットワーキングシステム１６０、サードパーティシステム１７０、およびネットワーク１１０を企図する。限定としてではなく一例として、ネットワーク環境１００は、複数のクライアントシステム１３０と、補助システム１４０と、ソーシャルネットワーキングシステム１６０と、サードパーティシステム１７０と、ネットワーク１１０とを含み得る。
本開示は、任意の好適なネットワーク１１０を企図する。限定としてではなく一例として、ネットワーク１１０の１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラー電話ネットワーク、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。ネットワーク１１０は、１つまたは複数のネットワーク１１０を含み得る。
リンク１５０は、クライアントシステム１３０と、補助システム１４０と、ソーシャルネットワーキングシステム１６０と、サードパーティシステム１７０とを、通信ネットワーク１１０にまたは互いに接続し得る。本開示は、任意の好適なリンク１５０を企図する。特定の実施形態では、１つまたは複数のリンク１５０は、１つまたは複数の、（たとえば、デジタル加入者回線（ＤＳＬ）またはデータオーバーケーブルサービスインターフェース仕様（ＤＯＣＳＩＳ）などの）ワイヤラインリンク、（たとえば、Ｗｉ－Ｆｉまたはワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）などの）ワイヤレスリンク、または（たとえば、同期光ネットワーク（ＳＯＮＥＴ）または同期デジタルハイアラーキ（ＳＤＨ）などの）光リンクを含む。特定の実施形態では、１つまたは複数のリンク１５０は、各々、アドホックネットワーク、イントラネット、エクストラネット、ＶＰＮ、ＬＡＮ、ＷＬＡＮ、ＷＡＮ、ＷＷＡＮ、ＭＡＮ、インターネットの一部分、ＰＳＴＮの一部分、セルラー技術ベースネットワーク、衛星通信技術ベースネットワーク、別のリンク１５０、または２つまたはそれ以上のそのようなリンク１５０の組合せを含む。リンク１５０は、ネットワーク環境１００の全体にわたって必ずしも同じである必要はない。１つまたは複数の第１のリンク１５０は、１つまたは複数の第２のリンク１５０とは１つまたは複数の点で異なり得る。
特定の実施形態では、クライアントシステム１３０は、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のそのような構成要素の組合せを含み、クライアントシステム１３０によって実装またはサポートされる適切な機能性を行うことが可能な、電子デバイスであり得る。限定としてではなく一例として、クライアントシステム１３０は、デスクトップコンピュータ、ノートブックまたはラップトップコンピュータ、ネットブック、タブレットコンピュータ、電子ブックリーダー、ＧＰＳデバイス、カメラ、携帯情報端末（ＰＤＡ）、ハンドヘルド電子デバイス、セルラー電話、スマートフォン、スマートスピーカー、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）スマートグラス、他の好適な電子デバイス、あるいはそれらの任意の好適な組合せなど、コンピュータシステムを含み得る。特定の実施形態では、クライアントシステム１３０は、スマート補助デバイスであり得る。スマート補助デバイスに関するより多くの情報が、その各々が参照により組み込まれる、２０１８年４月９日に出願された米国特許出願第１５／９４９０１１号、２０１８年１０月５日に出願された米国特許出願第１６／１５３５７４号、２０１８年１月３日に出願された米国意匠特許出願第２９／６３１９１０号、２０１８年１月２日に出願された米国意匠特許出願第２９／６３１７４７号、２０１８年１月３日に出願された米国意匠特許出願第２９／６３１９１３号、および２０１８年１月３日に出願された米国意匠特許出願第２９／６３１９１４号において見つけられ得る。本開示は、任意の好適なクライアントシステム１３０を企図する。クライアントシステム１３０は、クライアントシステム１３０におけるネットワークユーザが、ネットワーク１１０にアクセスすることを可能にし得る。クライアントシステム１３０は、クライアントシステム１３０のユーザが、他のクライアントシステム１３０における他のユーザと通信することを可能にし得る。
特定の実施形態では、クライアントシステム１３０は、ウェブブラウザ１３２を含み得、１つまたは複数のアドオン、プラグイン、あるいは、他の拡張を有し得る。クライアントシステム１３０におけるユーザは、ウェブブラウザ１３２を（サーバ１６２、またはサードパーティシステム１７０に関連付けられたサーバなどの）特定のサーバに向けるユニフォームリソースロケータ（ＵＲＬ）または他のアドレスを入力し得、ウェブブラウザ１３２は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）要求を生成し、ＨＴＴＰ要求をサーバに通信し得る。サーバは、ＨＴＴＰ要求を受け入れ、ＨＴＴＰ要求に応答する１つまたは複数のハイパーテキストマークアップ言語（ＨＴＭＬ）ファイルをクライアントシステム１３０に通信し得る。クライアントシステム１３０は、ユーザへの提示のためにサーバからのＨＴＭＬファイルに基づいてウェブインターフェース（たとえば、ウェブページ）をレンダリングし得る。本開示は、任意の好適なソースファイルを企図する。限定としてではなく一例として、ウェブインターフェースは、特定の必要に応じて、ＨＴＭＬファイル、拡張可能ハイパーテキストマークアップ言語（ＸＨＴＭＬ）ファイル、または拡張可能マークアップ言語（ＸＭＬ）ファイルから、レンダリングされ得る。そのようなインターフェースは、スクリプト、マークアップ言語とスクリプトとの組合せなどをも実行し得る。本明細書では、ウェブインターフェースへの言及は、適切な場合、（ブラウザがウェブインターフェースをレンダリングするために使用し得る）１つまたは複数の対応するソースファイルを包含し、その逆も同様である。
特定の実施形態では、クライアントシステム１３０は、クライアントシステム１３０上にインストールされたソーシャルネットワーキングアプリケーション１３４を含み得る。クライアントシステム１３０におけるユーザは、オンラインソーシャルネットワーク上でアクセスするために、ソーシャルネットワーキングアプリケーション１３４を使用し得る。クライアントシステム１３０におけるユーザは、ユーザのソーシャルつながり（たとえば、友達、フォロワー、フォローされるアカウント、連絡先など）と通信するために、ソーシャルネットワーキングアプリケーション１３４を使用し得る。クライアントシステム１３０におけるユーザはまた、オンラインソーシャルネットワーク上の複数のコンテンツオブジェクト（たとえば、投稿、ニュース記事、エフェメラルコンテンツなど）と対話するために、ソーシャルネットワーキングアプリケーション１３４を使用し得る。限定としてではなく一例として、ユーザは、ソーシャルネットワーキングアプリケーション１３４を使用して、トレンディングトピックおよびニュース速報をブラウズし得る。
特定の実施形態では、クライアントシステム１３０は、補助アプリケーション１３６を含み得る。クライアントシステム１３０におけるユーザは、補助システム１４０と対話するために、補助アプリケーション１３６を使用し得る。特定の実施形態では、補助アプリケーション１３６は、スタンドアロンアプリケーションを含み得る。特定の実施形態では、補助アプリケーション１３６は、ソーシャルネットワーキングアプリケーション１３４または別の好適なアプリケーション（たとえば、メッセージングアプリケーション）に組み込まれ得る。特定の実施形態では、補助アプリケーション１３６は、クライアントシステム１３０、補助ハードウェアデバイス、または任意の他の好適なハードウェアデバイスにも組み込まれ得る。特定の実施形態では、補助アプリケーション１３６は、ウェブブラウザ１３２を介してアクセスされ得る。特定の実施形態では、ユーザは、異なるモダリティを介して入力を提供し得る。限定としてではなく一例として、モダリティは、オーディオ、テキスト、画像、ビデオ、動き、向きなどを含み得る。補助アプリケーション１３６は、ユーザ入力を補助システム１４０に通信し得る。ユーザ入力に基づいて、補助システム１４０は、応答を生成し得る。補助システム１４０は、生成された応答を補助アプリケーション１３６に送り得る。補助アプリケーション１３６は、次いで、クライアントシステム１３０におけるユーザに応答を提示し得る。提示された応答は、オーディオ、テキスト、画像、およびビデオなど、異なるモダリティに基づき得る。限定としてではなく一例として、ユーザは、クライアントシステム１３０のマイクロフォンに話しかけることによって、交通情報について補助アプリケーション１３６に口頭で（すなわち、オーディオモダリティを介して）尋ね得る。補助アプリケーション１３６は、次いで、要求を補助システム１４０に通信し得る。したがって、補助システム１４０は、応答を生成し、結果を補助アプリケーション１３６に返送し得る。さらに、補助アプリケーション１３６は、クライアントシステム１３０のディスプレイに、テキストおよび／または画像でユーザへの応答を提示し得る。
特定の実施形態では、補助システム１４０は、ユーザが、異なるソースから情報を取り出すのを補助し得る。補助システム１４０はまた、ユーザが、異なるサービスプロバイダにサービスを要求するのを補助し得る。特定の実施形態では、補助システム１４０は、クライアントシステム１３０中の補助アプリケーション１３６を介して情報またはサービスについてのユーザ要求を受信し得る。補助システム１４０は、ユーザのプロファイルおよび他の関連情報に基づいて、ユーザ要求を分析するために、自然言語理解を使用し得る。分析の結果は、オンラインソーシャルネットワークに関連付けられた異なるエンティティを含み得る。補助システム１４０は、次いで、これらのエンティティに関連付けられた情報を取り出すか、またはサービスを要求し得る。特定の実施形態では、補助システム１４０は、ユーザのために情報を取り出すかまたはサービスを要求するとき、ソーシャルネットワーキングシステム１６０および／またはサードパーティシステム１７０と対話し得る。特定の実施形態では、補助システム１４０は、自然言語生成技法を使用して、ユーザのための個人化された通信コンテンツを生成し得る。個人化された通信コンテンツは、たとえば、取り出された情報または要求されたサービスのステータスを含み得る。特定の実施形態では、補助システム１４０は、ダイアログ管理技法を使用することによって、ユーザが、ステートフルおよびマルチターン会話において情報またはサービスに関して補助システム１４０と対話することを可能にし得る。補助システム１４０の機能性は、以下の図２の説明でより詳細に説明される。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、オンラインソーシャルネットワークをホストすることができるネットワークアドレス指定可能なコンピューティングシステムであり得る。ソーシャルネットワーキングシステム１６０は、たとえば、ユーザプロファイルデータ、概念プロファイルデータ、ソーシャルグラフ情報、またはオンラインソーシャルネットワークに関係する他の好適なデータなど、ソーシャルネットワーキングデータを生成し、記憶し、受信し、送り得る。ソーシャルネットワーキングシステム１６０は、直接的にまたはネットワーク１１０を介してのいずれかで、ネットワーク環境１００の他の構成要素によってアクセスされ得る。限定としてではなく一例として、クライアントシステム１３０は、直接的にまたはネットワーク１１０を介してのいずれかで、ウェブブラウザ１３２、またはソーシャルネットワーキングシステム１６０に関連付けられたネイティブアプリケーション（たとえば、モバイルソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、別の好適なアプリケーション、またはそれらの任意の組合せ）を使用して、ソーシャルネットワーキングシステム１６０にアクセスし得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、１つまたは複数のサーバ１６２を含み得る。各サーバ１６２は、単一サーバ、あるいは複数のコンピュータまたは複数のデータセンターにわたる分散型サーバであり得る。サーバ１６２は、たとえば、限定はしないが、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書で説明される機能またはプロセスを実施するのに好適な別のサーバ、あるいはそれらの任意の組合せなど、様々なタイプのものであり得る。特定の実施形態では、各サーバ１６２は、サーバ１６２によって実装またはサポートされる適切な機能性を行うための、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のそのような構成要素の組合せを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、１つまたは複数のデータストア１６４を含み得る。データストア１６４は、様々なタイプの情報を記憶するために使用され得る。特定の実施形態では、データストア１６４に記憶された情報は、固有のデータ構造に従って編成され得る。特定の実施形態では、各データストア１６４は、リレーショナルデータベース、列指向データベース、相関データベース、または他の好適なデータベースであり得る。本開示は、特定のタイプのデータベースを説明するかまたは示すが、本開示は任意の好適なタイプのデータベースを企図する。特定の実施形態は、クライアントシステム１３０、ソーシャルネットワーキングシステム１６０、補助システム１４０、またはサードパーティシステム１７０が、データストア１６４に記憶された情報を管理する、取り出す、修正する、追加する、または削除することを可能にするインターフェースを提供し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、１つまたは複数のソーシャルグラフを１つまたは複数のデータストア１６４に記憶し得る。特定の実施形態では、ソーシャルグラフは、（各々特定のユーザに対応する）複数のユーザノードまたは（各々特定の概念に対応する）複数の概念ノードを含み得る、複数のノードと、ノードを接続する複数のエッジとを含み得る。ソーシャルネットワーキングシステム１６０は、オンラインソーシャルネットワークのユーザに、他のユーザと通信および対話する能力を提供し得る。特定の実施形態では、ユーザは、ソーシャルネットワーキングシステム１６０を介してオンラインソーシャルネットワークに加わり、次いで、ユーザがつなげられることを希望するソーシャルネットワーキングシステム１６０の何人かの他のユーザへのつながり（たとえば、関係）を追加し得る。本明細書では、「友達」という用語は、ソーシャルネットワーキングシステム１６０を介してユーザがつながり、関連付け、または関係を形成したソーシャルネットワーキングシステム１６０の任意の他のユーザを指し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ソーシャルネットワーキングシステム１６０によってサポートされる様々なタイプのアイテムまたはオブジェクトに関するアクションをとる能力をユーザに提供し得る。限定としてではなく一例として、アイテムおよびオブジェクトは、ソーシャルネットワーキングシステム１６０のユーザが属し得るグループまたはソーシャルネットワーク、ユーザが興味があり得るイベントまたはカレンダーエントリ、ユーザが使用し得るコンピュータベースアプリケーション、ユーザがサービスを介してアイテムを購入または販売することを可能にするトランザクション、ユーザが実施し得る広告との対話、あるいは他の好適なアイテムまたはオブジェクトを含み得る。ユーザは、ソーシャルネットワーキングシステム１６０において、またはソーシャルネットワーキングシステム１６０とは別個であり、ネットワーク１１０を介してソーシャルネットワーキングシステム１６０に結合された、サードパーティシステム１７０の外部システムによって、表されることが可能であるものと対話し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、様々なエンティティをリンクすることが可能であり得る。限定としてではなく一例として、ソーシャルネットワーキングシステム１６０は、ユーザが、互いと対話し、ならびにサードパーティシステム１７０または他のエンティティからコンテンツを受信することを可能にするか、あるいは、ユーザが、アプリケーションプログラミングインターフェース（ＡＰＩ）または他の通信チャネルを通して、これらのエンティティと対話することを可能にし得る。
特定の実施形態では、サードパーティシステム１７０は、１つまたは複数のタイプのサーバ、１つまたは複数のデータストア、限定はしないがＡＰＩを含む１つまたは複数のインターフェース、１つまたは複数のウェブサービス、１つまたは複数のコンテンツソース、１つまたは複数のネットワーク、またはたとえばサーバが通信し得る任意の他の好適な構成要素を含み得る。サードパーティシステム１７０は、ソーシャルネットワーキングシステム１６０を動作させるエンティティとは異なるエンティティによって動作させられ得る。しかしながら、特定の実施形態では、ソーシャルネットワーキングシステム１６０とサードパーティシステム１７０とは、互いと連携して動作して、ソーシャルネットワーキングシステム１６０またはサードパーティシステム１７０のユーザにソーシャルネットワーキングサービスを提供し得る。この意味で、ソーシャルネットワーキングシステム１６０は、サードパーティシステム１７０などの他のシステムが、インターネットにわたってユーザにソーシャルネットワーキングサービスおよび機能性を提供するために使用し得る、プラットフォームまたはバックボーンを提供し得る。
特定の実施形態では、サードパーティシステム１７０は、サードパーティコンテンツオブジェクトプロバイダを含み得る。サードパーティコンテンツオブジェクトプロバイダは、クライアントシステム１３０に通信され得る、コンテンツオブジェクトの１つまたは複数のソースを含み得る。限定としてではなく一例として、コンテンツオブジェクトは、たとえば、映画の上映時間、映画のレビュー、レストランのレビュー、レストランのメニュー、製品情報およびレビュー、または他の好適な情報など、ユーザにとって興味のある物またはアクティビティに関する情報を含み得る。限定としてではなく別の例として、コンテンツオブジェクトは、クーポン、ディスカウントチケット、ギフト券、または他の好適なインセンティブオブジェクトなど、インセンティブコンテンツオブジェクトを含み得る。特定の実施形態では、サードパーティコンテンツプロバイダは、１つまたは複数のサードパーティエージェントを使用して、コンテンツオブジェクトおよび／またはサービスを提供し得る。サードパーティエージェントは、サードパーティシステム１７０でホストされ、実行している実装形態であり得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ソーシャルネットワーキングシステム１６０とのユーザの対話を向上させ得る、ユーザ生成されたコンテンツオブジェクトをも含む。ユーザ生成されたコンテンツは、ユーザがソーシャルネットワーキングシステム１６０に追加するか、アップロードするか、送るか、または「投稿」することができるものを含み得る。限定としてではなく一例として、ユーザは、クライアントシステム１３０からソーシャルネットワーキングシステム１６０に投稿を通信する。投稿は、ステータス更新または他のテキストデータ、ロケーション情報、写真、ビデオ、リンク、音楽あるいは他の同様のデータまたはメディアなど、データを含み得る。コンテンツはまた、ニュースフィードまたはストリームなどの「通信チャネル」を通して、サードパーティによってソーシャルネットワーキングシステム１６０に追加され得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、様々なサーバ、サブシステム、プログラム、モジュール、ログ、およびデータストアを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ウェブサーバ、アクションロガー、ＡＰＩ要求サーバ、関連性およびランキングエンジン、コンテンツオブジェクト分類子、通知コントローラ、アクションログ、サードパーティコンテンツオブジェクト露出ログ、推論モジュール、許可／プライバシーサーバ、検索モジュール、広告ターゲッティングモジュール、ユーザインターフェースモジュール、ユーザプロファイルストア、つながりストア、サードパーティコンテンツストア、またはロケーションストアのうちの１つまたは複数を含み得る。ソーシャルネットワーキングシステム１６０は、ネットワークインターフェース、セキュリティ機構、ロードバランサ、フェイルオーバサーバ、管理およびネットワーク運用コンソール、他の好適な構成要素、またはそれらの任意の好適な組合せなど、好適な構成要素をも含み得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ユーザプロファイルを記憶するための１つまたは複数のユーザプロファイルストアを含み得る。ユーザプロファイルは、たとえば、経歴情報、人口統計学的情報、行動情報、ソーシャル情報、あるいは、職歴、学歴、趣味もしくは選好、興味、親和性、またはロケーションなど、他のタイプの記述的情報を含み得る。興味情報は、１つまたは複数のカテゴリーに関係する興味を含み得る。カテゴリーは一般的であるかまたは固有のものであり得る。限定としてではなく一例として、ユーザが、靴のブランドに関する記事に対して「いいね！」を表明した場合、カテゴリーは、ブランド、あるいは「靴」または「衣類」の一般的なカテゴリーであり得る。つながりストアは、ユーザに関するつながり情報を記憶するために使用され得る。つながり情報は、同様のまたは共通の職歴、グループメンバーシップ、趣味、学歴を有するか、あるいはいかなる形でも関係するか、または共通属性を共有する、ユーザを指示し得る。つながり情報は、（内部と外部の両方の）異なるユーザとコンテンツとの間のユーザ定義されたつながりをも含み得る。ウェブサーバは、ネットワーク１１０を介して、ソーシャルネットワーキングシステム１６０を、１つまたは複数のクライアントシステム１３０または１つまたは複数のサードパーティシステム１７０にリンクするために使用され得る。ウェブサーバは、ソーシャルネットワーキングシステム１６０と１つまたは複数のクライアントシステム１３０との間でメッセージを受信およびルーティングするためのメールサーバまたは他のメッセージング機能性を含み得る。ＡＰＩ要求サーバは、たとえば、補助システム１４０またはサードパーティシステム１７０が、１つまたは複数のＡＰＩを呼び出すことによってソーシャルネットワーキングシステム１６０からの情報にアクセスすることを可能にし得る。アクションロガーは、ソーシャルネットワーキングシステム１６０上の、またはソーシャルネットワーキングシステム１６０から離れた、ユーザのアクションに関するウェブサーバからの通信を受信するために使用され得る。アクションログと併せて、サードパーティコンテンツオブジェクトへのユーザ露出についてのサードパーティコンテンツオブジェクトログが維持され得る。通知コントローラは、クライアントシステム１３０にコンテンツオブジェクトに関する情報を提供し得る。情報は、通知としてクライアントシステム１３０にプッシュされ得るか、または、情報は、クライアントシステム１３０から受信された要求に応答してクライアントシステム１３０からプルされ得る。許可サーバは、ソーシャルネットワーキングシステム１６０のユーザの１つまたは複数のプライバシー設定を施行するために使用され得る。ユーザのプライバシー設定は、ユーザに関連付けられた特定の情報がどのように共有され得るかを決定する。許可サーバは、ユーザが、たとえば、適切なプライバシー設定をセットすることなどによって、そのユーザのアクションがソーシャルネットワーキングシステム１６０によってロギングされるか、または他のシステム（たとえば、サードパーティシステム１７０）と共有されることをオプトインまたはオプトアウトすることを可能にし得る。サードパーティコンテンツオブジェクトストアは、サードパーティシステム１７０など、サードパーティから受信されたコンテンツオブジェクトを記憶するために使用され得る。ロケーションストアは、ユーザに関連付けられたクライアントシステム１３０から受信されたロケーション情報を記憶するために使用され得る。広告価格設定モジュールは、ソーシャル情報、現在時間、ロケーション情報、または他の好適な情報を組み合わせて、関連する広告を通知の形態でユーザに提供し得る。
補助システム
図２は、補助システム１４０の例示的なアーキテクチャを示す。特定の実施形態では、補助システム１４０は、ユーザが情報またはサービスを取得するのを補助し得る。補助システム１４０は、ユーザが、補助を得るためのステートフルおよびマルチターン会話における（ボイス、テキスト、画像、ビデオ、動きなどの）マルチモーダルユーザ入力で補助システム１４０と対話することを可能にし得る。限定としてではなく一例として、補助システム１４０は、ビジョン、ロケーション、ジェスチャー、動き、またはハイブリッド／マルチモーダル入力など、オーディオ入力（口頭）と非口頭入力の両方をサポートし得る。補助システム１４０は、ユーザに関連付けられた個人情報とコンテキスト情報の両方を含むユーザプロファイルを作成および記憶し得る。特定の実施形態では、補助システム１４０は、自然言語理解を使用してユーザ入力を分析し得る。分析は、より個人化されたおよびコンテキストアウェア理解のために、ユーザのユーザプロファイルに基づき得る。補助システム１４０は、分析に基づいて、ユーザ入力に関連付けられたエンティティを解析し得る。特定の実施形態では、補助システム１４０は、解析されるエンティティに関連付けられた情報またはサービスを取得するために、異なるエージェントと対話し得る。補助システム１４０は、自然言語生成を使用することによって、情報またはサービスに関してユーザのための応答を生成し得る。ユーザとの対話を通して、補助システム１４０は、ダイアログ管理技法を使用して、ユーザとの会話のフローを管理およびフォワーディングし得る。特定の実施形態では、補助システム１４０は、情報を要約することによって、ユーザが、取得された情報を効果的におよび効率的に消化するのをさらに補助し得る。補助システム１４０はまた、（たとえば、投稿、コメント、メッセージを作成して）ユーザがオンラインソーシャルネットワークと対話するのを助けるツールを提供することによって、ユーザがオンラインソーシャルネットワークにより関与するのを補助し得る。補助システム１４０は、ユーザが、イベントを追跡することなど、異なるタスクを管理するのをさらに補助し得る。特定の実施形態では、補助システム１４０は、ユーザ入力なしに、ユーザについて関連する時間において、ユーザプロファイルに基づいて、ユーザ興味および選好に関連する、事前許可されたタスクをプロアクティブに実行し得る。特定の実施形態では、補助システム１４０は、ユーザのプロファイルまたは他のユーザ情報にアクセスすることと、異なるタスクを実行することとが、ユーザのプライバシー設定を条件として許諾されることを確実にするために、プライバシー設定を検査し得る。プライバシー設定を条件とするユーザを補助することに関するより多くの情報が、参照により組み込まれる、２０１８年１１月６日に出願された米国特許出願第１６／１８２５４２号において見つけられ得る。
特定の実施形態では、補助システム１４０は、クライアント側処理とサーバ側処理の両方に構築されたハイブリッドアーキテクチャを介してユーザを補助し得る。クライアント側処理とサーバ側処理とは、ユーザ入力を処理するため、およびユーザへの補助を提供するための２つの並行のワークフローであり得る。特定の実施形態では、クライアント側処理は、ユーザに関連付けられたクライアントシステム１３０上でローカルに実施され得る。対照的に、サーバ側処理は、１つまたは複数のコンピューティングシステム上でリモートに実施され得る。特定の実施形態では、クライアントシステム１３０上の補助オーケストレータは、ユーザ入力（たとえば、オーディオ信号）の受信を協調させること、および、ユーザ入力に応答するために、クライアント側処理を使用すべきか、サーバ側処理を使用すべきか、両方を使用すべきかを決定することを行い得る。ダイアログアービトレータは、各処理からの処理結果を分析し得る。ダイアログアービトレータは、前述の分析に基づいて、ユーザ入力に関連付けられたタスクを実行するように、クライアント側またはサーバ側のエージェントに命令し得る。実行結果は、クライアントシステム１３０への出力としてさらにレンダリングされ得る。クライアント側処理とサーバ側処理の両方を活用することによって、補助システム１４０は、ユーザプライバシーを保護すること、およびセキュリティを強化することを同時に行いつつ、ユーザがコンピューティングリソースを最適に使用するのを効果的に補助することができる。
特定の実施形態では、補助システム１４０は、ユーザに関連付けられたクライアントシステム１３０からユーザ入力を受信し得る。特定の実施形態では、ユーザ入力は、シングルターンで補助システム１４０に送られる、ユーザ生成された入力でよい。ユーザ入力は、口頭、非口頭、またはそれらの組合せであり得る。限定としてではなく一例として、非口頭ユーザ入力は、ユーザのボイス、ビジョン、ロケーション、アクティビティ、ジェスチャー、動き、またはそれらの組合せに基づき得る。ユーザ入力がユーザのボイスに基づく場合（たとえば、ユーザがクライアントシステム１３０に話しかけ得る場合）、このようなユーザ入力は、システムオーディオＡＰＩ２０２（アプリケーションプログラミングインターフェース）によって最初に処理され得る。システムオーディオＡＰＩ２０２は、補助システム１４０で容易に処理可能なオーディオデータを生成するために、エコーキャンセル、ノイズ除去、ビーム形成、ならびに、セルフユーザボイス活性化、話者識別、ボイスアクティビティ検出（ＶＡＤ）、および任意の他の音響技法を行い得る。特定の実施形態では、システムオーディオＡＰＩ２０２は、ユーザ入力からの起動ワード検出２０４を実施し得る。限定としてではなく一例として、起動ワードは、「ヘイ、アシスタント。」でよい。このような起動ワードが検出されると、補助システム１４０は、適宜アクティブにされ得る。代替実施形態では、ユーザは、起動ワードなしに、ビジュアル信号を介して補助システム１４０をアクティブにし得る。ビジュアル信号は、様々なビジュアル信号を検出可能な低電力センサー（たとえば、カメラ）において受信され得る。限定としてではなく一例として、ビジュアル信号は、クライアントシステム１３０によって検出されたバーコード、ＱＲコード、または統一商品コード（ＵＰＣ）であり得る。限定としてではなく別の例として、ビジュアル信号は、オブジェクトへのユーザの注視であり得る。限定としてではなくさらに別の例として、ビジュアル信号は、ユーザジェスチャー（たとえば、ユーザがオブジェクトを指し示すこと）であり得る。
特定の実施形態では、システムオーディオＡＰＩ２０２からのオーディオデータは、補助オーケストレータ２０６に送られ得る。補助オーケストレータ２０６は、クライアントシステム１３０において実行中であり得る。特定の実施形態では、補助オーケストレータ２０６は、クライアント側処理、サーバ側処理、または両方を使用することによってユーザ入力に応答すべきかどうかを決定し得る。図２に示されているように、クライアント側処理が断続線２０７の下に示されており、その一方でサーバ側処理が断続線２０７の上に示されている。補助オーケストレータ２０６はまた、クライアント側処理とサーバ側処理の両方を同時に使用することによってユーザ入力に応答することを決定し得る。図２は、補助オーケストレータ２０６をクライアント側処理として示しているが、補助オーケストレータ２０６はサーバ側処理でもよく、またはクライアント側処理とサーバ側処理との間で分かれるハイブリッド処理でもよい。
特定の実施形態では、オーディオデータがシステムオーディオＡＰＩ２０２から生成された後、サーバ側処理は以下のようなものであり得る。補助オーケストレータ２０６は、ユーザ入力に応答するために、補助システム１４０の種々のモジュールをホストするリモートコンピューティングシステムにオーディオデータを送り得る。特定の実施形態では、オーディオデータは、リモート自動言語認識（ＡＳＲ）モジュール２０８において受信され得る。ＡＳＲモジュール２０８は、ユーザが口述筆記させ、発言を、書かれたテキストとして文字に起こさせること、オーディオストリームとしてドキュメントを合成させること、またはシステムによってそのようなものとして認識されたコマンドを発行することを可能にし得る。ＡＳＲモジュール２０８は、統計モデルを使用して、補助システム１４０によってオーディオ入力として受信された発言の所与の部分に対応する単語の最も可能性の高いシーケンスを決定し得る。モデルは、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングモデル、またはそれらの任意の組合せのうちの１つまたは複数を含み得る。受信されたオーディオ入力は、特定のサンプリングレート（たとえば、１６ｋＨｚ、４４．１ｋＨｚ、または９６ｋＨｚ）で、および、各サンプルを表す特定の数のビット（たとえば、２４ビットのうちの８ビット、１６ビット）で、デジタルデータにエンコードされ得る。
特定の実施形態では、ＡＳＲモジュール２０８は、種々の構成要素を備え得る。ＡＳＲモジュール２０８は、書記素－音素（Ｇ２Ｐ：ｇｒａｐｈｅｍｅ－ｔｏ－ｐｈｏｎｅｍｅ）モデル、発音学習モデル、個人化音響モデル（ｐｅｒｓｏｎａｌｉｚｅｄ ａｃｏｕｓｔｉｃ ｍｏｄｅｌ）、個人化言語モデル（ＰＬＭ：ｐｅｒｓｏｎａｌｉｚｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ）、またはエンドポインティングモデルのうちの１つまたは複数を備え得る。特定の実施形態では、Ｇ２Ｐモデルは、ユーザの書記素－音素スタイル（たとえば、特定のユーザが特定の単語を話すときに聞こえ得るようなもの）を決定するために使用され得る。個人化音響モデルは、オーディオ信号と、言語内の音声単位の音との間の関係のモデルであり得る。したがって、このような個人化音響モデルは、ユーザのボイスがどのように聞こえるかを識別し得る。個人化音響モデルは、オーディオ入力、および（発言に対応する）対応する音声単位として受信されたトレーニング発言などの、トレーニングデータを使用して生成され得る。個人化音響モデルは、特定のユーザの発言を認識するために、特定のユーザのボイスを使用してトレーニングまたは洗練され得る。特定の実施形態では、個人化言語モデルは、次いで、特定のオーディオ入力に対する識別された音声単位に対応する最も可能性の高い句を決定し得る。個人化言語モデルは、様々な単語シーケンスが言語の中で発生し得る確率のモデルであり得る。オーディオ入力内の音声単位の音は、個人化言語モデルを使用して単語シーケンスと一致され得、より大きな重みが、言語内の句である可能性が最も高い単語シーケンスに割り当てられ得る。最大の重みを有する単語シーケンスが、次いで、オーディオ入力に対応するテキストとして選択され得る。特定の実施形態では、個人化言語モデルはまた、文脈を考慮に入れて、どの単語をユーザが言う可能性が最も高いかを予測するために使用され得る。特定の実施形態では、エンドポインティングモデルは、いつ発話の終わりに達したかを検出し得る。
特定の実施形態では、ＡＳＲモジュール２０８の出力は、リモート自然言語理解（ＮＬＵ）モジュール２１０に送られ得る。ＮＬＵモジュール２１０は、固有表現解決（ＮＥＲ：ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ）を実施し得る。ＮＬＵモジュール２１０は、ユーザ入力を分析するときにコンテキスト情報をさらに考慮し得る。特定の実施形態では、意図および／またはスロットは、ＮＬＵモジュール２１０の出力であり得る。意図は、補助システム１４０と対話するユーザの目的を指示し得る、意味論的意図の事前定義された分類法における要素であり得る。ＮＬＵモジュール２１０は、ユーザ入力を、事前定義された分類法のメンバーに分類し得、たとえば、入力「ベートーベンの第５番をプレイしてください」の場合、ＮＬＵモジュール２１０は、その入力を、意図［ＩＮ：ｐｌａｙ＿ｍｕｓｉｃ］を有するものとして分類し得る。特定の実施形態では、ドメインは、対話の社会的背景（たとえば、教育）、または、意図のセットのための名前空間、たとえば、音楽を示し得る。スロットは、基本的な意味論的エンティティを表す、ユーザ入力内の文字ストリングに対応する名前付きサブストリングでよい。たとえば、「ピザ」のためのスロットは、［ＳＬ：ｄｉｓｈ］であり得る。特定の実施形態では、有効なまたは予想される名前付きスロットのセットは、分類された意図を条件とし得る。限定としてではなく一例として、意図［ＩＮ：ｐｌａｙ＿ｍｕｓｉｃ］に対して、有効なスロットは［ＳＬ：ｓｏｎｇ＿ｎａｍｅ］であり得る。特定の実施形態では、ＮＬＵモジュール２１０は、ソーシャルグラフ、知識グラフ、または概念グラフのうちの１つまたは複数から情報をさらに抽出し、１つまたは複数のリモートデータストア２１２からユーザのプロファイルを取り出し得る。ＮＬＵモジュール２１０は、さらに、どの情報を集約すべきか決定すること、ユーザ入力のｎグラムにアノテーションを付けること、集約された情報に基づいて信頼性スコアでｎグラムをランク付けすること、および、ランク付けされたｎグラムを、ユーザ入力を理解するためにＮＬＵモジュール２１０によって使用され得る特徴に構築することによって、これらの異なるソースからの情報を処理し得る。
特定の実施形態では、ＮＬＵモジュール２１０は、個人化されたおよびコンテキスト認識様式で、ユーザ入力からのドメイン、意図、またはスロットのうちの１つまたは複数を識別し得る。限定としてではなく一例として、ユーザ入力は「コーヒーショップへの行き方を教えてください」を含み得る。ＮＬＵモジュール２１０は、ユーザの個人情報および関連付けられたコンテキスト情報に基づいて、ユーザが行くことを希望する特定のコーヒーショップを識別し得る。特定の実施形態では、ＮＬＵモジュール２１０は、特定の言語の辞典と、センテンスを内部表現に区分するためのパーサおよび文法ルールとを含み得る。ＮＬＵモジュール２１０は、ユーザ入力を理解するための語用論の使用に対して単純な意味論または確率的意味論的分析を実施する、１つまたは複数のプログラムをも含み得る。特定の実施形態では、パーサは、複数の長短期記憶（ＬＳＴＭ）ネットワークを含む、深層学習アーキテクチャに基づき得る。限定としてではなく一例として、パーサは、リカレントおよび再帰的ＬＳＴＭアルゴリズムのタイプである、リカレントニューラルネットワーク文法（ＲＮＮＧ）モデルに基づき得る。自然言語理解に関するより多くの情報が、その各々が参照により組み込まれる、２０１８年６月１８日に出願された米国特許出願第１６／０１１０６２号、２０１８年７月２日に出願された米国特許出願第１６／０２５３１７号、および２０１８年７月１７日に出願された米国特許出願第１６／０３８１２０号において見つけられ得る。
特定の実施形態では、ＮＬＵモジュール２１０の出力は、リモート推理モジュール２１４に送られ得る。推理モジュール２１４は、ダイアログマネージャおよびエンティティ解析構成要素を備え得る。特定の実施形態では、ダイアログマネージャは、複雑なダイアログロジックおよび製品関連ビジネスロジックを有し得る。ダイアログマネージャは、ユーザと補助システム１４０との間の会話のダイアログ状態およびフローを管理し得る。ダイアログマネージャは、ユーザと補助システム１４０との間の以前の会話をさらに記憶し得る。特定の実施形態では、ダイアログマネージャは、１つまたは複数のスロットに関連付けられたエンティティを解析するために、エンティティ解析構成要素と通信し得、エンティティ解析構成要素は、ユーザと補助システム１４０との間の会話のフローを進めるようにダイアログマネージャをサポートする。特定の実施形態では、エンティティ解析構成要素は、エンティティを解析するときに、ソーシャルグラフ、知識グラフ、または概念グラフのうちの１つまたは複数にアクセスし得る。エンティティは、たとえば、一意のユーザまたは概念を含み得、それらの各々は、一意の識別子（ＩＤ）を有し得る。限定としてではなく一例として、知識グラフは、複数のエンティティを含み得る。各エンティティは、１つまたは複数の属性値に関連付けられた単一のレコードを含み得る。特定のレコードは、一意のエンティティ識別子に関連付けられ得る。各レコードは、エンティティの属性について多様な値を有し得る。各属性値は、信頼性確率に関連付けられ得る。属性値についての信頼性確率は、所与の属性について値が正確である確率を表す。各属性値は、意味論的重みにも関連付けられ得る。属性値についての意味論的重みは、すべての利用可能な情報を考慮して、所与の属性について値が意味論的にどのくらい適切であるかを表し得る。たとえば、知識グラフは、「Ａｌｉｃｅ’ｓ Ａｄｖｅｎｔｕｒｅｓ」という本のエンティティを備え得、このエンティティは、複数のコンテンツソース（たとえば、オンラインソーシャルネットワーク、オンライン百科事典、ブックレビューソース、メディアデータベース、およびエンターテイメントコンテンツソース）から抽出され、その後、知識グラフのための単一の一意のレコードを生成するために重複排除、解析、および融合が行われた情報を含む。エンティティは、「Ａｌｉｃｅ’ｓ Ａｄｖｅｎｔｕｒｅｓ」という本のジャンルを示す「空想」属性値と関連付けられ得る。知識グラフに関するより多くの情報が、その各々が参照により組み込まれる、２０１８年７月２７日に出願された米国特許出願第１６／０４８０４９号、および２０１８年７月２７日に出願された米国特許出願第１６／０４８１０１号において見つけられ得る。
特定の実施形態では、エンティティ解析構成要素は、エンティティの解析がプライバシーポリシーに違反しないことを保証するために、プライバシー制約を検査し得る。限定としてではなく一例として、解析されるべきエンティティは、自分の識別情報がオンラインソーシャルネットワーク上で検索可能であるべきでないことを、自分のプライバシー設定において指定する別のユーザであり得、したがって、エンティティ解析構成要素は、要求に応答する、そのユーザの識別子を返さないことがある。ソーシャルグラフ、知識グラフ、概念グラフ、およびユーザプロファイルから取得された情報に基づいて、ならびに適用可能なプライバシーポリシーを条件として、エンティティ解析構成要素は、したがって、個人化された、コンテキストアウェアの、およびプライバシーアウェアの様式で、ユーザ入力に関連付けられたエンティティを解析し得る。特定の実施形態では、解析されたエンティティの各々は、ソーシャルネットワーキングシステム１６０によってホストされる１つまたは複数の識別子に関連付けられ得る。限定としてではなく一例として、識別子は、特定のユーザに対応する一意のユーザ識別子（ＩＤ）（たとえば、一意のユーザ名またはユーザＩＤ番号）を含み得る。特定の実施形態では、解析されたエンティティの各々は、信頼性スコアにも関連付けられ得る。エンティティを解析することに関するより多くの情報が、その各々が参照により組み込まれる、２０１８年７月２７日に出願された米国特許出願第１６／０４８０４９号、および２０１８年７月２７日に出願された米国特許出願第１６／０４８０７２号において見つけられ得る。
特定の実施形態では、ダイアログマネージャは、ダイアログ最適化および補助状態追跡を行い得る。ダイアログ最適化は、データを使用して、ダイアログにおける最も可能性の高い分岐が何であるべきかを理解するという問題である。限定としてではなく一例として、ダイアログ最適化を用いて、補助システム１４０は、ダイアログ最適化に基づいて推論された人物が、ユーザが電話したいと思う非常に可能性の高い人であるはずであるという高い信頼性を補助システム１４０が有するので、誰にユーザが電話したいと思っているかを確認する必要がなくなり得る。特定の実施形態では、ダイアログマネージャは、ダイアログ最適化のために強化学習を使用し得る。補助状態追跡は、ユーザが世界と対話し、補助システム１４０がユーザと対話すると同時に経時的に変化する状態の経過を追うことを目指す。限定としてではなく一例として、補助状態追跡は、適用可能なプライバシーポリシーに従って、何についてユーザが話しているか、誰とユーザが一緒にいるか、どこにユーザがいるか、どのタスクが現在進んでいるか、およびどこをユーザが注視しているか等を追跡し得る。特定の実施形態では、ダイアログマネージャは、オペレータのセットを使用してダイアログ状態を追跡し得る。オペレータは、ダイアログ状態を更新するのに必要なデータおよびロジックを含み得る。各オペレータは、入ってくる要求を処理した後のダイアログ状態のデルタとして機能し得る。特定の実施形態では、ダイアログマネージャは、ダイアログ状態トラッカおよびアクションセレクタをさらに含み得る。代替実施形態では、ダイアログ状態トラッカは、エンティティ解析構成要素を置き替え、参照／言及を解析し、状態の経過を追い得る。
特定の実施形態では、推理モジュール２１４は、さらに、偽トリガの軽減を行い得る。偽トリガの軽減の目的は、補助要求の偽トリガ（たとえば、起動ワード）を検出すること、および、ユーザが実際には補助システム１４０を起動するつもりがないときの偽のレコードの生成を回避することである。限定としてではなく一例として、推理モジュール２１４は、ナンセンス検出器に基づいて、偽トリガの軽減を実現し得る。ユーザとの対話におけるこの時点で起動ワードが意味をなさないことをナンセンス検出器が決定すると、推理モジュール２１４は、ユーザが補助システム１４０を起動するつもりだったとの推論が正しくない可能性があると決定し得る。特定の実施形態では、推理モジュール２１４の出力は、リモートダイアログアービトレータ２１６に送られ得る。
特定の実施形態では、ＡＳＲモジュール２０８、ＮＬＵモジュール２１０、および推理モジュール２１４の各々は、ユーザをより効果的に補助する方法を決定するために、ユーザエピソードメモリを備えるリモートデータストア２１２にアクセスし得る。エピソードメモリについてのより多くの情報は、参照により組み込まれる、２０１９年８月２７日に出願の米国特許出願第１６／５５２５５９号において見つけられ得る。データストア２１２は、さらに、ユーザのユーザプロファイルを記憶し得る。ユーザのユーザプロファイルは、ユーザに関連付けられた人口統計学的情報、社会情報、およびコンテキスト情報を含むユーザプロファイルデータを備え得る。ユーザプロファイルデータはまた、ニュースフィードについての会話、検索ログ、メッセージングプラットフォーム等を通じて集約された複数のトピックについてのユーザ興味および選好を含み得る。ユーザプロファイルの使用は、ユーザの情報がユーザの利益のためだけに使用され得ること、および他人と共有され得ないことを保証するために、プライバシー制約に従い得る。ユーザプロファイルについてのより多くの情報は、参照により組み込まれる、２０１８年４月３０日に出願の米国特許出願第１５／９６７２３９号において見つけられ得る。
特定の実施形態では、ＡＳＲモジュール２０８、ＮＬＵモジュール２１０、および推理モジュール２１４を伴う前述のサーバ側処理と同様に、クライアント側処理は以下のようなものであり得る。特定の実施形態では、補助オーケストレータ２０６の出力は、クライアントシステム１３０上のローカルＡＳＲモジュール２１６に送られ得る。ＡＳＲモジュール２１６は、個人化言語モデル（ＰＬＭ）、Ｇ２Ｐモデル、およびエンドポインティングモデルを備え得る。クライアントシステム１３０の限定的な計算能力により、補助システム１４０は、クライアント側処理中の実行時に個人化言語モデルを最適化し得る。限定としてではなく一例として、補助システム１４０は、ユーザが話し得る複数の考えうる主題のための複数の個人化言語モデルを予め計算し得る。ユーザが補助を要求すると、補助システム１４０は、次いで、ユーザアクティビティに基づいて、実行時に補助システム１４０によって個人化言語モデルがローカルに最適化され得るように、これらの予め計算された言語モデルを素早く取り替え得る。結果として、補助システム１４０は、何についてユーザが話している可能性があるかを効率的に決定しつつ、計算リソースを節約するという技術的利点を有し得る。特定の実施形態では、補助システム１４０はまた、実行時にユーザ発音を素早く再学習し得る。
特定の実施形態では、ＡＳＲモジュール２１６の出力は、ローカルＮＬＵモジュール２１８に送られ得る。特定の実施形態では、ここでのＮＬＵモジュール２１８は、サーバ側でサポートされるリモートＮＬＵモジュール２１０に比べて、よりコンパクトであり得る。ＡＳＲモジュール２１６およびＮＬＵモジュール２１８がユーザ入力を処理するとき、これらは、ローカル補助メモリ２２０にアクセスし得る。ローカル補助メモリ２２０は、ユーザプライバシーを保護するために、データストア２１２に記憶されたユーザメモリとは異なり得る。特定の実施形態では、ローカル補助メモリ２２０は、ネットワーク１１０を介して、データストア２１２に記憶されたユーザメモリと同期している可能性がある。限定としてではなく一例として、ローカル補助メモリ２２０は、ユーザのクライアントシステム１３０上のカレンダーを、ユーザに関連付けられたサーバ側のカレンダーと同期し得る。特定の実施形態では、ローカル補助メモリ２２０内の任意のセキュアなデータが、クライアントシステム１３０上でローカルに実行している補助システム１４０のモジュールにしかアクセス可能になり得ない。
特定の実施形態では、ＮＬＵモジュール２１８の出力は、ローカル推理モジュール２２２に送られ得る。推理モジュール２２２は、ダイアログマネージャおよびエンティティ解析構成要素を備え得る。限定的な計算能力により、推理モジュール２２２は、クライアントシステム１３０に特に合わせられた学習アルゴリズムに基づくオンデバイス学習を行い得る。限定としてではなく一例として、連合学習は、推理モジュール２２２によって使用され得る。連合学習は、携帯電話などのエンドデバイス上に常駐する非集中化データを使用して機械学習モデルをトレーニングする、分散型機械学習アプローチの特定のカテゴリーである。特定の実施形態では、推理モジュール２２２は、特定の連合学習モデル、すなわち連合ユーザ表現学習を使用して、既存のニューラルネットワーク個人化技法を連合学習に拡張し得る。連合ユーザ表現学習は、タスク固有のユーザ表現（すなわち、埋込み）を学習することによって、または、モデルの重みを個人化することによって、連合学習におけるモデルを個別化することができる。連合ユーザ表現学習は、簡単であり、拡張可能であり、プライバシーを保護し、リソース効率が良い。連合ユーザ表現学習は、モデルパラメータを連合およびプライベートパラメータに分割し得る。プライベートユーザ埋込みなどのプライベートパラメータは、リモートサーバに移送またはリモートサーバ上で分配されるのでなく、クライアントシステム１３０上でローカルにトレーニングされ得る。連合パラメータは、対照的に、サーバ上でリモートにトレーニングされ得る。特定の実施形態では、推理モジュール２２２は、別の特定の連合学習モデル、すなわちアクティブな連合学習を使用して、リモートサーバ上でトレーニングされたグローバルモデルをクライアントシステム１３０に伝送し、これらのクライアントシステム１３０上でローカルに勾配を計算し得る。アクティブな連合学習は、モデルのダウンロードおよび勾配のアップロードに関連付けられた伝送コストを推理モジュールが最小化することを可能にし得る。アクティブな連合学習については、各ラウンドにおいて、クライアントシステムは、一様ではなく、効率を最大化するために、現在のモデルおよびクライアントシステム上のデータを条件とする確率でランダムに選択される。特定の実施形態では、推理モジュール２２２は、別の特定の連合学習モデル、すなわち連合Ａｄａｍを使用し得る。従来の連合学習モデルは、確率的勾配降下（ＳＧＤ）オプティマイザを使用し得る。対照的に、連合Ａｄａｍモデルは、モーメントベースのオプティマイザを使用し得る。従来の機能が行うもののように、分配されたモデルを直接使用するのではなく、連合Ａｄａｍモデルは、分配されたモデルを使用して近似勾配を計算し得る。これらの勾配は、次いで、連合Ａｄａｍモデルに供給され得、連合Ａｄａｍモデルは確率勾配をノイズ除去し、パラメータごとの適応可能な学習率を使用し得る。連合学習によって生み出された勾配は、（データが独立しておらず、同一に配布され得ないので）確率的勾配降下よりもさらにノイズが多くなり得、したがって、連合Ａｄａｍモデルは、ノイズにさらに多く対処するのに役立ち得る。連合Ａｄａｍモデルは勾配を使用して、目的関数の最小化に向けてよりスマートなステップを行い得る。実験は、ベンチマークに対する従来の連合学習が、ＲＯＣ（受信者動作特性）曲線において１．６％の低下を有し、その一方で連合Ａｄａｍモデルが、０．４％の低下しか有していないことを示す。さらに、連合Ａｄａｍモデルは、通信またはオンデバイス計算の増加がない。特定の実施形態では、推理モジュール２２２はまた、偽トリガの軽減を実施し得る。この偽トリガの軽減は、ユーザの発言入力がプライバシー制約に従うデータを含むとき、クライアントシステム１３０上での偽の活性化要求（たとえば、起動ワード）の検出に役立ち得る。限定としてではなく一例として、ユーザが音声電話中のとき、ユーザの会話はプライベートであり、このような会話に基づく偽トリガの検出は、ユーザのクライアントシステム１３０上でローカルにしか発生し得ない。
特定の実施形態では、補助システム１４０は、ローカルコンテキストエンジン２２４を備え得る。コンテキストエンジン２２４は、より有益な手がかりを推理モジュール２２２に提供するために、他の利用可能な信号すべてを処理し得る。限定としてではなく一例として、コンテキストエンジン２２４は、人々に関する情報、コンピュータビジョン技術によってさらに分析されるクライアントシステム１３０のセンサー（たとえば、マイクロフォン、カメラ）からのセンサーデータ、形状構築、アクティビティデータ、（たとえば、ＶＲヘッドセットによって収集された）慣性データ、ロケーション等を有し得る。特定の実施形態では、コンピュータビジョン技術は、人の骨格の再現、顔検出、顔認識、ハンドトラッキング、視線追跡等を含み得る。特定の実施形態では、形状構築は、クライアントシステム１３０によって収集されたデータを使用して、ユーザを取り囲むオブジェクトを構築することを含み得る。限定としてではなく一例として、ユーザはＡＲグラスを着用していてよく、形状構築は、どこに床があるか、どこに壁があるか、どこにユーザの手があるか等を決定することを目指し得る。特定の実施形態では、慣性データは、線運動および角運動に関連付けられたデータでよい。限定としてではなく一例として、慣性データは、ユーザの体の部位がどのように動くかを測定するＡＲグラスによってキャプチャされ得る。
特定の実施形態では、ローカル推理モジュール２２２の出力は、ダイアログアービトレータ２１６に送られ得る。ダイアログアービトレータ２１６は、３つのシナリオでそれぞれに機能し得る。第１のシナリオでは、補助オーケストレータ２０６はサーバ側処理を使用することを決定し、サーバ側処理のために、ダイアログアービトレータ２１６は、推理モジュール２１４の出力をリモートアクション実行モジュール２２６に伝送し得る。第２のシナリオでは、補助オーケストレータ２０６は、サーバ側処理とクライアント側処理の両方を使用することを決定し、これらの処理のために、ダイアログアービトレータ２１６は、両方の処理の両方の推理モジュール（すなわち、リモート推理モジュール２１４とローカル推理モジュール２２２と）からの出力を集約し、これらを分析し得る。限定としてではなく一例として、ダイアログアービトレータ２１６はランク付けを実施し、ユーザ入力に応答するための最善の推理結果を選択し得る。特定の実施形態では、ダイアログアービトレータ２１６は、さらに、分析に基づいて、関連タスクを実行するために、サーバ側のエージェントを使用すべきか、クライアント側のエージェントを使用すべきかを決定し得る。第３のシナリオでは、補助オーケストレータ２０６は、クライアント側処理を使用することを決定し、ダイアログアービトレータ２１６は、ローカル推理モジュール２２２の出力を評価して、ユーザ入力をハンドリングするタスクをクライアント側処理が完了させることができるかを決定する必要がある。代替実施形態では、推理モジュール２２２の出力は、クライアント側処理を使用すること、および、クライアント側処理がユーザ入力を完全に処理可能であることを補助オーケストレータ２０６が決定した場合、ダイアログアービトレータ２１６に送られなくてよい。
特定の実施形態では、上記で言及された第１および第２のシナリオのために、ダイアログアービトレータ２１６は、サーバ側のエージェントが、ユーザ入力に応答してタスクを実行する必要があると決定し得る。したがって、ダイアログアービトレータ２１６は、ユーザ入力に関する必要な情報をアクション実行モジュール２２６に送り得る。アクション実行モジュール２２６はタスクを実行するために、１つまたは複数のエージェントをコールし得る。代替実施形態では、ダイアログマネージャのアクションセレクタは、実行すべきアクションを決定し、アクション実行モジュール２２６に適宜命令し得る。特定の実施形態では、エージェントは、１つのドメインのための複数のコンテンツプロバイダにわたるブローカーとして働く実装形態であり得る。コンテンツプロバイダは、意図に関連付けられたアクションを行うこと、または意図に関連付けられたタスクを完了することを担当するエンティティであり得る。特定の実施形態では、エージェントは、ファーストパーティエージェントとサードパーティエージェントとを含み得る。特定の実施形態では、ファーストパーティエージェントは、補助システム１４０によってアクセス可能かつ制御可能な内部エージェント（たとえば、メッセージングサービスまたは写真共有サービスなどのオンラインソーシャルネットワークによって提供されるサービスに関連付けられたエージェント）を備え得る。特定の実施形態では、サードパーティエージェントは、補助システム１４０が制御を有しない外部エージェント（たとえば、サードパーティオンライン音楽アプリケーションエージェント、チケットセールスエージェント）を含み得る。ファーストパーティエージェントは、ソーシャルネットワーキングシステム１６０によってホストされるコンテンツオブジェクトおよび／またはサービスを提供するファーストパーティプロバイダに関連付けられ得る。サードパーティエージェントは、サードパーティシステム１７０によってホストされるコンテンツオブジェクトおよび／またはサービスを提供するサードパーティプロバイダに関連付けられ得る。特定の実施形態では、ファーストパーティエージェントまたはサードパーティエージェントの各々は、特定のドメインのために指定され得る。限定としてではなく一例として、ドメインは、天候、輸送手段、音楽、ショッピング、ソーシャル、ビデオ、写真、イベント、ロケーション、作業等を含み得る。特定の実施形態では、補助システム１４０は、ユーザ入力に応答するために複数のエージェントを共同的に使用し得る。限定としてではなく一例として、ユーザ入力は「次の会議に私を案内してください」を含み得る。補助システム１４０は、次の会議のロケーションを取り出すためにカレンダーエージェントを使用し得る。補助システム１４０は、次いで、ユーザを次の会議に案内するためにナビゲーションエージェントを使用し得る。
特定の実施形態では、上記で言及された第２のおよび第３のシナリオのために、ダイアログアービトレータ２１６は、クライアント側のエージェントが、ユーザ入力に応答してタスクを実行可能であるが、追加の情報が必要であること（たとえば、応答テンプレート）、またはサーバ側のエージェントによってのみタスクをハンドリング可能であることを決定し得る。サーバ側のエージェントによってのみタスクをハンドリング可能であるとダイアログアービトレータ２１６が決定すると、ダイアログアービトレータ２１６は、ユーザ入力に関する必要な情報をアクション実行モジュール２２６に送り得る。クライアント側のエージェントがタスクを実行可能であるが、応答テンプレートが必要であることをダイアログアービトレータ２１６が決定すると、ダイアログアービトレータ２１６は、ユーザ入力に関する必要な情報をリモート応答テンプレート生成モジュール２２８に送り得る。応答テンプレート生成モジュール２２８の出力は、クライアントシステム１３０上で実行するローカルアクション実行モジュール２３０にさらに送られ得る。特定の実施形態では、クライアント側処理を使用すること、および、クライアント側処理がユーザ入力を完全に処理可能であることを補助オーケストレータ２０６が決定すると、推理モジュール２２２の出力は、アクション実行モジュール２３０に直接送られ得る。
特定の実施形態では、アクション実行モジュール２３０は、タスクを実行するためにローカルエージェントをコールし得る。クライアントシステム１３０上のローカルエージェントは、サーバ側のエージェントに比べて、より単純なタスクを実行可能であり得る。限定としてではなく一例として、複数のデバイス固有の実装形態（たとえば、クライアントシステム１３０のためのリアルタイムのコール、またはクライアントシステム１３０上のメッセージングアプリケーション）は、単一のエージェントによって内部でハンドリングされ得る。代替として、これらのデバイス固有の実装形態は、複数のドメインに関連付けられた複数のエージェントによってハンドリングされ得る。特定の実施形態では、アクション実行モジュール２３０は、一般的な実行可能ダイアログアクションのセットをさらに実施し得る。実行可能ダイアログアクションのセットは、エージェント、ユーザ、および補助システム１４０自体と対話し得る。これらのダイアログアクションは、スロット要求、承認、あいまいさ除去、エージェント実行等のためのダイアログアクションを含み得る。ダイアログアクションは、アクションセレクタまたはダイアログポリシーの基礎をなす実装形態と無関係でよい。ツリーベースのポリシーとモデルベースのポリシーの両方が、同じ基本的なダイアログアクションを生成し得、コールバック関数が、任意のアクションセレクタ固有の実装形態の詳細を隠す。
特定の実施形態では、サーバ側のリモートアクション実行モジュール２２６からの出力は、リモート応答実行モジュール２３２に送られ得る。特定の実施形態では、アクション実行モジュール２２６は、より多くの情報を求めてダイアログアービトレータ２１６に通信し返し得る。応答実行モジュール２３２は、リモート会話理解（ＣＵ）コンポーザに基づき得る。特定の実施形態では、アクション実行モジュール２２６からの出力は、＜ｋ，ｃ，ｕ，ｄ＞タプルとして構築され得、ここで、ｋは知識ソースを示し、ｃは通信目標を示し、ｕはユーザモデルを示し、ｄは談話モデルを示す。特定の実施形態では、ＣＵコンポーザは、自然言語生成（ＮＬＧ）モジュールと、ユーザインターフェース（ＵＩ）ペイロード生成器とを備え得る。自然言語生成器は、種々の言語モデルおよび／または言語テンプレートを使用して、アクション実行モジュール２２６の出力に基づいて通信コンテンツを生成し得る。特定の実施形態では、通信コンテンツの生成は、各ユーザに固有で、また、個人化されたアプリケーションでよい。ＣＵコンポーザはまた、ＵＩペイロード生成器を使用して、生成された通信コンテンツのモダリティを決定し得る。特定の実施形態では、ＮＬＧモジュールは、コンテンツ決定構成要素と、センテンスプランナと、表層実現構成要素とを備え得る。コンテンツ決定構成要素は、知識ソース、通信目標、およびユーザの予想に基づいて、通信コンテンツを決定し得る。限定としてではなく一例として、決定することは、記述論理に基づき得る。記述論理は、たとえば、（ドメインにおけるオブジェクトを表す）個体、（個体のセットを記述する）概念、および（個体または概念間の２項関係を表す）役割である、３つの基本観念を含み得る。記述論理は、自然言語生成器が原子的なものから複雑な概念／役割を組み立てることを可能にする、コンストラクタのセットによって特徴づけられ得る。特定の実施形態では、コンテンツ決定構成要素は、通信コンテンツを決定するために、以下のタスクを実施し得る。第１のタスクは、自然言語生成器への入力が概念にトランスレートされ得る、トランスレーションタスクを含み得る。第２のタスクは、関連する概念が、ユーザモデルに基づいて、トランスレーションタスクから生じたものの中から選択され得る、選択タスクを含み得る。第３のタスクは、選択された概念の一貫性が検証され得る、検証タスクを含み得る。第４のタスクは、検証された概念が、自然言語生成器によって処理され得る実行ファイルとしてインスタンス化され得る、インスタンス化タスクを含み得る。センテンスプランナは、通信コンテンツを人間が理解できるものにするために、通信コンテンツの編成を決定し得る。表層実現構成要素は、使用すべき固有ワード、センテンスのシーケンス、および通信コンテンツのスタイルを決定し得る。ＵＩペイロード生成器は、ユーザに提示されるべき通信コンテンツの選好されるモダリティを決定し得る。特定の実施形態では、ＣＵコンポーザは、通信コンテンツの生成がプライバシーポリシーに従っていることを確実にするために、ユーザに関連付けられたプライバシー制約を検査し得る。自然言語生成に関するより多くの情報が、その各々が参照により組み込まれる、２０１８年４月３０日に出願された米国特許出願第１５／９６７２７９号、および２０１８年４月３０日に出願された米国特許出願第１５／９６６４５５号において見つけられ得る。
特定の実施形態では、クライアントシステム１３０上のローカルアクション実行モジュール２３０からの出力は、ローカル応答実行モジュール２３４に送られ得る。応答実行モジュール２３４は、ローカル会話理解（ＣＵ）コンポーザに基づき得る。ＣＵコンポーザは、自然言語生成（ＮＬＧ）モジュールを備え得る。クライアントシステム１３０の計算能力は限定され得るので、ＮＬＧモジュールは、計算効率の考慮が簡単になり得る。ＮＬＧモジュールが簡単になり得るので、応答実行モジュール２３４の出力は、ローカル応答拡大モジュール２３６に送られ得る。応答拡大モジュール２３６は、応答をより自然にし、より豊かな意味論的情報を収めるように、応答実行モジュール２３４の結果をさらに拡大し得る。
特定の実施形態では、ユーザ入力がオーディオ信号に基づく場合、サーバ側の応答実行モジュール２３２の出力は、リモートテキスト音声（ＴＴＳ：ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ）モジュール２３８に送られ得る。同様に、クライアント側の応答拡大モジュール２３６の出力は、ローカルＴＴＳモジュール２４０に送られ得る。両方のＴＴＳモジュールが、応答をオーディオ信号にコンバートし得る。特定の実施形態では、両側の応答実行モジュール２３２、応答拡大モジュール２３６、またはＴＴＳモジュールからの出力は、最終的に、ローカルレンダリング出力モジュール２４２に送られ得る。レンダリング出力モジュール２４２は、クライアントシステム１３０に好適な応答を生成し得る。限定としてではなく一例として、応答実行モジュール２３２または応答拡大モジュール２３６の出力は、ＶＲヘッドセットまたはＡＲスマートグラスに表示可能な、自然言語ストリング、発言、パラメータを伴うアクション、またはレンダリングされた画像もしくはビデオのうちの１つまたは複数を備え得る。結果として、レンダリング出力モジュール２４２は、応答を適切にレンダリングして、ＶＲヘッドセットまたはＡＲスマートグラスに表示するために、ＣＵコンポーザの出力に基づいて、どのタスクを実施すべきかを決定し得る。たとえば、応答は、ＶＲヘッドセットまたはＡＲスマートグラスを介して表示可能な視覚ベースモーダリティ（たとえば、画像またはビデオクリップ）でよい。別の例として、応答は、ＶＲヘッドセットまたはＡＲスマートグラスを介してユーザによって再生可能なオーディオ信号でよい。さらに別の例として、応答は、ユーザの体感を強化するために、ＶＲヘッドセットまたはＡＲスマートグラスを介してレンダリング可能な拡張現実データでよい。
特定の実施形態では、補助システム１４０は、音声認知、視覚認知、シグナルインテリジェンス、推理、およびメモリを含む様々な能力を有し得る。特定の実施形態では、音声認識の能力は、補助システム１４０が、種々の言語での様々なドメインに関連付けられたユーザの入力を理解すること、会話を理解し、会話を要約可能であること、複雑なコマンドのオンデバイス音声認知を実施すること、ボイスでユーザを識別すること、会話からのトピックおよび会話の自動タグセクションを抽出すること、起動ワードのない音声対話を可能にすること、環境ノイズおよび会話からユーザのボイスをフィルタリングし、増幅すること、どのクライアントシステム１３０（複数のクライアントシステム１３０が近くにある場合）にユーザが話しているかを理解することを可能にし得る。
特定の実施形態では、視覚認知の能力は、顔検出および追跡を実施すること、ユーザを認識すること、様々な角度で主要大都市圏における関心のあるほとんどの人々を認識すること、既存の機械学習モデルと１回限りの学習との組合せを通じて世界中の関心のあるオブジェクトの大部分を認識すること、関心のある瞬間を認識し、これを自動キャプチャすること、時間の異なるエピソードにわたる複数の視覚フレームに対する意味論的理解を実現すること、人々、場所、オブジェクト認識におけるさらなる能力へのプラットフォームサポートを提供すること、個人化されたロケーションを含む設定およびマイクロロケーションの完全なセットを認識すること、複雑なアクティビティを認識すること、クライアントシステム１３０を制御するための複雑なジェスチャーを認識すること、（たとえば、動き、キャプチャ角度、解像度等により）自己中心的カメラからの画像／ビデオをハンドリングすること、より低い解像度の画像に関する同様のレベルの正確さおよびスピードを実現すること、人々、場所、およびオブジェクトの１回限りの登録および認識を行うこと、ならびに、クライアントシステム１３０上で視覚認識を実施することを、補助システム１４０が行うことを可能にし得る。
特定の実施形態では、補助システム１４０は、視覚認知を実現するために、コンピュータビジョン技法を活用し得る。コンピュータビジョン技法の他に、補助システム１４０は、オブジェクトの認識を拡大するために、これらの技法を補足可能なオプションを探究し得る。特定の実施形態では、補助システム１４０は、オブジェクトのラベルの光学式文字認識（ＯＣＲ）などの補足信号、場所認識のためのＧＰＳ信号、ユーザを識別するためのユーザのクライアントシステム１３０からの信号を使用し得る。特定の実施形態では、補助システム１４０は、最も可能性の高いオブジェクトまたは人々を識別するために、一般的なシーン認識（家、仕事、公共空間等）を実施して、ユーザのためのコンテキストをセットし、コンピュータビジョン検索空間を低減させ得る。特定の実施形態では、補助システム１４０は、補助システム１４０をトレーニングするようにユーザを誘導し得る。たとえば、クラウドソーシングは、ユーザにタグを付けてもらい、補助システム１４０がより多くのオブジェクトを経時的に認識するのに役立てるために、使用され得る。別の例として、ユーザは、補助システム１４０を使用するときに、初期セットアップの一部として、ユーザの個人的なオブジェクトを登録することができる。補助システム１４０は、さらに、ユーザのための個人化されたモデルをトレーニングし、改善するために、ユーザが対話するオブジェクトに正／負の信号をユーザが提供することを可能にし得る。
特定の実施形態では、シグナルインテリジェンスの能力は、補助システム１４０が、ユーザロケーションを決定すること、日付／時刻を理解すること、ファミリロケーションを決定すること、ユーザのカレンダーおよび将来の所望のロケーションを理解すること、音だけを通じて設定／コンテキストを識別するために、より豊かな音理解を統合すること、ユーザの個々のルーチンに個人化され得るシグナルインテリジェンスモデルを実行時に構築することを可能にし得る。
特定の実施形態では、推理の能力は、補助システム１４０が、将来の任意の時点で任意の以前の会話スレッドをピックアップする能力を有すること、マイクロコンテキストおよび個人化されたコンテキストを理解するためにすべての信号を合成すること、ユーザの履歴上の行動から対話パターンおよび選好を学習し、ユーザが尊重し得る対話を正確に提案すること、マイクロコンテキスト理解に基づいて、非常に予測的なプロアクティブ提案を生成すること、１日のどの時刻にどのコンテンツをユーザが見たいと思い得るかを理解すること、シーンの変化、およびシーンの変化がユーザの所望のコンテンツにどのようにインパクトを及ぼし得るかを理解することを可能にし得る。
特定の実施形態では、メモリの能力は、補助システム１４０が、どのソーシャル接続をユーザが以前にコールまたは対話したかを覚えていること、メモリに書き込み、メモリに随意に問い合わせること（すなわち、オープンディクテーションおよび自動タグ）、事前対話および長期学習に基づいて、より豊かな選好を抽出すること、ユーザのライフヒストリを覚えていること、データおよび自動カタログの自己中心的ストリームから豊かな情報を抽出すること、ならびに、豊かで短い、エピソードの、および長期のメモリを形成するために構造化形式でメモリに書き出すことを可能にし得る。
図３は、補助システム１４０のサーバ側処理の例示的な図のフローを示す。特定の実施形態では、サーバ補助サービスモジュール３０１は、ユーザ要求を受信すると、要求マネージャ３０２にアクセスし得る。代替実施形態では、ユーザ要求は、ユーザ要求がオーディオ信号に基づく場合、リモートＡＳＲモジュール２０８によって最初に処理され得る。特定の実施形態では、要求マネージャ３０２は、コンテキスト抽出器３０３および会話理解オブジェクト生成器（ＣＵオブジェクト生成器）３０４を備え得る。コンテキスト抽出器３０３は、ユーザ要求に関連付けられたコンテキスト情報を抽出し得る。コンテキスト抽出器３０３はまた、クライアントシステム１３０上で実行している補助アプリケーション１３６に基づいて、コンテキスト情報を更新し得る。限定としてではなく一例として、コンテキスト情報の更新は、コンテンツアイテムがクライアントシステム１３０上に表示されることを含み得る。限定としてではなく別の例として、コンテキスト情報の更新は、アラームがクライアントシステム１３０上でセットされたかどうかを含み得る。限定としてではなく別の例として、コンテキスト情報の更新は、歌がクライアントシステム１３０上でプレイしているかどうかを含み得る。ＣＵオブジェクト生成器３０４は、ユーザ要求に関連する特定のコンテンツオブジェクトを生成し得る。コンテンツオブジェクトは、補助システム１４０のすべてのモジュールと共有され得る、ユーザ要求に関連付けられたダイアログセッションデータおよび特徴を含み得る。特定の実施形態では、要求マネージャ３０２は、コンテキスト情報および生成されたコンテンツオブジェクトを、補助システム１４０において実装される特定のデータストアであるデータストア２１２に記憶し得る。
特定の実施形態では、要求マネージャ３０２は、生成されたコンテンツオブジェクトをリモートＮＬＵモジュール２１０に送り得る。ＮＬＵモジュール２１０は、コンテンツオブジェクトを処理するために複数のステップを実施し得る。ステップ３０５において、ＮＬＵモジュール２１０は、コンテンツオブジェクトについてのホワイトリストを生成し得る。特定の実施形態では、ホワイトリストは、ユーザ要求に一致する解釈データを含み得る。ステップ３０６において、ＮＬＵモジュール２１０は、ホワイトリストに基づいて特徴化を実施し得る。ステップ３０７において、ＮＬＵモジュール２１０は、ユーザ要求を、事前定義されたドメインに分類するために、特徴化から生じた特徴に基づいて、ユーザ要求に関するドメイン分類／選択を実施し得る。ドメイン分類／選択の結果は、２つの関係するプロシージャに基づいて、さらに処理され得る。ステップ３０８ａにおいて、ＮＬＵモジュール２１０は、意図分類器を使用して、ドメイン分類／選択の結果を処理し得る。意図分類器は、ユーザ要求に関連付けられたユーザの意図を決定し得る。特定の実施形態では、所与のドメインにおいて最も可能性がある意図を決定するために、各ドメインについて１つの意図分類器があり得る。限定としてではなく一例として、意図分類器は、ドメイン分類／選択の結果を入力としてとり、その入力が特定の事前定義された意図に関連付けられる確率を計算し得る、機械学習モデルに基づき得る。ステップ３０８ｂにおいて、ＮＬＵモジュール２１０は、メタ意図分類器を使用して、ドメイン分類／選択の結果を処理し得る。メタ意図分類器は、ユーザの意図について説明するカテゴリーを決定し得る。特定の実施形態では、複数のドメインに共通である意図は、メタ意図分類器によって処理され得る。限定としてではなく一例として、メタ意図分類器は、ドメイン分類／選択の結果を入力としてとり、その入力が特定の事前定義されたメタ意図に関連付けられる確率を計算し得る、機械学習モデルに基づき得る。ステップ３０９ａにおいて、ＮＬＵモジュール２１０は、ユーザ要求に関連付けられた１つまたは複数のスロットにアノテーションを付けるために、スロットタガーを使用し得る。特定の実施形態では、スロットタガーは、ユーザ要求のｎグラムについての１つまたは複数のスロットにアノテーションを付け得る。ステップ３０９ｂにおいて、ＮＬＵモジュール２１０は、メタ意図分類器からの分類結果についての１つまたは複数のスロットにアノテーションを付けるために、メタスロットタガーを使用し得る。特定の実施形態では、メタスロットタガーは、アイテム（たとえば、第１の）、スロットのタイプ、スロットの値などへの参照など、一般スロットをタグ付けし得る。限定としてではなく一例として、ユーザ要求は「私の口座の５００ドルを日本円に両替してください」を含み得る。意図分類器は、ユーザ要求を入力としてとり、その入力をベクトルに構築し得る。意図分類器は、次いで、ユーザ要求を表すベクトルと、異なる事前定義された意図を表すベクトルとの間のベクトル比較に基づいて、ユーザ要求が、異なる事前定義された意図に関連付けられる、確率を計算し得る。同様にして、スロットタガーは、ユーザ要求を入力としてとり、各ワードをベクトルに構築し得る。意図分類器は、次いで、ワードを表すベクトルと、異なる事前定義されたスロットを表すベクトルとの間のベクトル比較に基づいて、各ワードが、異なる事前定義されたスロットに関連付けられる、確率を計算し得る。ユーザの意図は「両替する」として分類され得る。ユーザ要求のスロットは、「５００」と「ドル」と「口座」と「日本円」とを含み得る。ユーザのメタ意図は「金融サービス」として分類され得る。メタスロットは「金融」を含み得る。
特定の実施形態では、ＮＬＵモジュール２１０は、意味論的情報アグリゲータ３１０を備え得る。意味論的情報アグリゲータ３１０は、意味論的情報を提供することによって、ＮＬＵモジュール２１０がコンテンツオブジェクトのドメイン分類／選択を改善するのに役立ち得る。特定の実施形態では、意味論的情報アグリゲータ３１０は、以下のようにして意味論的情報を集約し得る。意味論的情報アグリゲータ３１０は、最初に、ユーザコンテキストエンジン３１５から情報を取り出し得る。特定の実施形態では、ユーザコンテキストエンジン３１５は、オフラインアグリゲータとオンライン推論サービスとを含み得る。オフラインアグリゲータは、前の時間ウィンドウから収集された、ユーザに関連付けられた複数のデータを処理し得る。限定としてではなく一例として、データは、所定の時間フレーム中に（たとえば、前の９０日のウィンドウから）収集された、ニュースフィード投稿／コメント、ニュースフィード投稿／コメントとの対話、検索履歴等を含み得る。処理結果は、ユーザプロファイルの一部として、ユーザコンテキストエンジン３１５に記憶され得る。オンライン推論サービスは、現在時間において補助システム１４０によって受信された、ユーザに関連付けられた会話データを分析し得る。分析結果は、同じくユーザプロファイルの一部として、ユーザコンテキストエンジン３１５に記憶され得る。特定の実施形態では、オフラインアグリゲータとオンライン推論サービスの両方は、複数のデータから個人化特徴を抽出し得る。抽出された個人化特徴は、ユーザ入力をより良く理解するために、補助システム１４０の他のモジュールによって使用され得る。特定の実施形態では、意味論的情報アグリゲータ３１０は、次いで、以下のステップにおいて、ユーザコンテキストエンジン３１５からの取り出された情報、すなわち、ユーザプロファイルを処理し得る。ステップ３１１において、意味論的情報アグリゲータ３１０は、自然言語処理（ＮＬＰ）に基づいて、ユーザコンテキストエンジン３１５からの取り出された情報を処理し得る。特定の実施形態では、意味論的情報アグリゲータ３１０は、テキスト正規化によってテキストをトークン化し、テキストからシンタックス特徴を抽出し、ＮＬＰに基づいてテキストから意味論的特徴を抽出し得る。意味論的情報アグリゲータ３１０は、ユーザと補助システム１４０との間のダイアログ履歴からアクセスされるコンテキスト情報から、特徴をさらに抽出し得る。意味論的情報アグリゲータ３１０は、コンテキスト情報に基づいて、グローバルワード埋込み、ドメイン固有埋込み、および／または動的埋込みをさらに行い得る。ステップ３１２において、処理結果は、エンティティタガーによってエンティティでアノテーションを付けられ得る。アノテーションに基づいて、意味論的情報アグリゲータ３１０は、ステップ３１３において、取り出された情報についての辞書を生成し得る。特定の実施形態では、辞書は、オフラインで動的に更新され得るグローバル辞書特徴を含み得る。ステップ３１４において、意味論的情報アグリゲータ３１０は、エンティティタガーによってタグ付けされたエンティティをランク付けし得る。特定の実施形態では、意味論的情報アグリゲータ３１０は、ユーザコンテキストエンジン３１５からの取り出された情報に関連するオントロジデータを抽出するために、ソーシャルグラフ、知識グラフ、または概念グラフのうちの１つまたは複数を含む、異なるグラフ３３０と通信し得る。特定の実施形態では、意味論的情報アグリゲータ３１０は、ユーザプロファイルと、ランク付けされたエンティティと、グラフ３２０からの情報とを集約し得る。意味論的情報アグリゲータ３１０は、次いで、ドメイン分類／選択を可能にするために、集約された情報をＮＬＵモジュール２１０に提供し得る。
特定の実施形態では、ＮＬＵモジュール２１０の出力は、リモート推理モジュール２１４に送られ得る。推理モジュール２１４は、共参照構成要素３２５、エンティティ解析構成要素３３０、およびダイアログマネージャ３３５を備え得る。ＮＬＵモジュール２１０の出力は、ユーザ要求に関連付けられたコンテンツオブジェクトの参照を解釈するために、共参照構成要素３２５で最初に受信され得る。特定の実施形態では、共参照構成要素３２５は、ユーザ要求が指すアイテムを識別するために使用され得る。共参照構成要素３２５は、参照作成３２６と参照解析３２７とを含み得る。特定の実施形態では、参照作成３２６は、ＮＬＵモジュール２１０によって決定されたエンティティについての参照を作成し得る。参照解析３２７は、これらの参照を正確に解析し得る。限定としてではなく一例として、ユーザ要求は「最寄の雑貨店を見つけて、私をそこに案内してください」を含み得る。共参照構成要素３２５は、「そこ」を「最寄の雑貨店」として解釈し得る。特定の実施形態では、共参照構成要素３２５は、改善された正確さで参照を解釈するのに必要なとき、ユーザコンテキストエンジン３１５およびダイアログマネージャ３３５にアクセスし得る。
特定の実施形態では、識別されたドメイン、意図、メタ意図、スロット、およびメタスロットは、解析された参照とともに、関連するエンティティを解析するためにエンティティ解析構成要素３３０に送られ得る。エンティティは、（一般的な知識ベースからの）現実世界エンティティ、（ユーザメモリからの）ユーザエンティティ、コンテキストエンティティ（デバイスコンテキスト／ダイアログコンテキスト）、または値解析（数字、日時等）のうちの１つまたは複数を含み得る。エンティティ解析構成要素３３０は、包括的かつドメイン固有のエンティティ解析を実行し得る。特定の実施形態では、エンティティ解析構成要素３３０は、ドメインエンティティ解析３３１と一般エンティティ解析３３２とを含み得る。ドメインエンティティ解析３３１は、スロットおよびメタスロットを、異なるドメインにカテゴリー分類することによって、エンティティを解析し得る。特定の実施形態では、エンティティは、グラフ３２０から抽出されたオントロジデータに基づいて解析され得る。オントロジデータは、異なるスロット／メタスロットおよびドメイン間の構造関係を含み得る。オントロジは、スロット／メタスロットがどのように、グループ化され、より高いレベルがドメインを含む階層内で関係付けられ、類似度および差異に従って再分割され得るかという情報をも含み得る。一般エンティティ解析３３２は、スロットおよびメタスロットを、異なる一般トピックにカテゴリー分類することによって、エンティティを解析し得る。特定の実施形態では、解析することは、グラフ３２０から抽出されたオントロジデータにも基づき得る。オントロジデータは、異なるスロット／メタスロットおよび一般トピック間の構造関係を含み得る。オントロジは、スロット／メタスロットがどのように、グループ化され、より高いレベルがトピックを含む階層内で関係付けられ、類似度および差異に従って再分割され得るかという情報をも含み得る。限定としてではなく一例として、特定のブランドの電気自動車の利点の照会の入力に応答して、一般エンティティ解析３３２は、参照されたブランドの電気自動車を車両として解析し得、ドメインエンティティ解析３３１は、参照されたブランドの電気自動車を電気自動車として解析し得る。
特定の実施形態では、エンティティ解析構成要素３３０は、種々の技法を使用して、種々のタイプのエンティティを解析し得る。現実世界エンティティについて、エンティティ解析構成要素３３０は、知識グラフを使用して、「音楽トラック」、「映画」等の、エンティティへのスパンを解析し得る。ユーザエンティティについて、エンティティ解析構成要素３３０は、ユーザメモリまたはいくつかのエージェントを使用して、「連絡先」、「リマインダ」、「関係」等のユーザ固有エンティティへのスパンを解析し得る。コンテキストエンティティについて、エンティティ解析構成要素３３０は、共参照モジュール３２５を使用して、「彼を」、「彼女を」、「最初の１つ」、「最後の１つ」等のコンテキスト内のエンティティへの参照を解析し得る。さらに、エンティティ解析構成要素３３０は、画面に示されたエンティティ、最新の会話履歴からのエンティティ等のコンテキスト（デバイスコンテキストまたはダイアログコンテキスト）の下でのエンティティを解析し得る。値解析について、エンティティ解析構成要素３３０は、数値、日時、アドレス等の標準形式の正確な値への言及を解析し得る。
特定の実施形態では、エンティティ解析構成要素３３０は、エンティティ解析を実施するために、ＡＳＲモジュール２０８またはＡＳＲモジュール２１６と同等に機能し得る。名前の解析を例としてとると、エンティティ解析構成要素３３０は、以下のように機能し得る。エンティティ解析構成要素３３０は、ダブルメタフォンアルゴリズムを使用して、ユーザに関連付けられた名前を、これらの正規化テキスト形式、および音声子音表現に最初に拡大し得る。エンティティ解析構成要素３３０は、次いで、候補転写の完全なｎベストセットを決定し、すべての転写に対する包括処理を同時に実行し得る。特定の実施形態では、同じ意図に解析する各転写は、単一の意図に解体され得る。意図は、最も高いスコア候補転写に対応するスコアを得ることができる。解体中、エンティティ解析構成要素３３０は、スロットの転写に関連付けられた境界タイミングオフセットによって相関され、各スロットに関連付けられた様々な可能なテキスト転写を識別し得る。エンティティ解析構成要素３３０は、候補転写が同じ意図に分類されるかどうかにかかわらず、複数の（たとえば、１０００個の）候補転写からスロットテキストの可能性を抽出し得る。意図におけるスロットは、したがって、句のスコア付きリストでよい。特定の実施形態では、意図をハンドリング可能な新しいまたは実行中のタスクが識別され、意図を配信し得る。タスクは、タスクのスロットのうちの１つに関連付けられた句のスコア付きリスト、および、タスクが解析されるべきカテゴリーをエンティティ解析構成要素３３０が提供することをトリガし得る。
特定の実施形態では、友人カテゴリーが指定されると、エンティティ解析構成要素３３０は、マッチャーコンパイル（ｍａｔｃｈｅｒ ｃｏｍｐｉｌａｔｉｏｎ）時に実行された同じ広がりで、用語のあらゆる候補リストを検索し得る。用語の各候補の広がりは、事前コンパイルされたトライマッチング構造内で一致され得る。一致は、文字に起こされた入力、一致した形式、および友人名を利用する関数を使用してスコア付けされ得る。特定の実施形態では、有名人／著名人カテゴリーが指定されると、エンティティ解析構成要素３３０は、ＡＳＲモジュール２０８またはＡＳＲモジュール２１６からのスロットのために、用語の各候補セットのための知識グラフに対して同時検索を実行し得る。エンティティ解析構成要素３３０は、一致した人物の評判およびＡＳＲ提供のスコア信号に基づいて、一致にスコア付けし得る。特定の実施形態では、メモリカテゴリーが指定されると、エンティティ解析構成要素３３０は、ユーザメモリに対して同じ検索を実施し得る。エンティティ解析構成要素３３０は、ユーザメモリを通じて遡ってクロールし、各メモリ（たとえば、会話で最近言及された、またはビジュアル信号を介して確認され、認識された人物、等）を一致させようとし得る。各人物について、エンティティ解析構成要素３３０は、友人と一致する方法と同様の（すなわち、音声の）マッチングを使用し得る。特定の実施形態では、スコア付けは、名前がどれだけ最近言及されたかに関連した時間的減衰要因を含み得る。エンティティ解析構成要素３３０はさらに、すべての一致の結合、ソート、および重複排除を行い得る。特定の実施形態では、タスクは、候補のセットを受信し得る。複数の高いスコアの候補が存在するとき、エンティティ解析構成要素３３０は、ユーザを容易にするあいまいさ除去を実施し得る。
特定の実施形態では、エンティティ解析構成要素３３０は、（エージェント３５０に対応する）タスクによって動かされ得る。処理順序のこの反転は、そうすることが明らかかつ好適なとき、解析ターゲットのセットを事前フィルタリングするか、バイアスをかけるように、タスク内に存在するドメイン知識が適用されることを可能にし得る。限定としてではなく一例として、「誰がＪｏｈｎですか。」という発話については、発話の中ではっきりしたカテゴリーが示唆されない。したがって、エンティティ解析構成要素３３０は、あらゆるものに対して「Ｊｏｈｎ」を解析し得る。限定としてではなく別の例として、「メッセージをＪｏｈｎに送る。」という発話については、エンティティ解析構成要素３３０は、人がメッセージを送ることが可能な人物を「Ｊｏｈｎ」が指すことを簡単に決定し得る。結果として、エンティティ解析構成要素３３０は、友人への解析にバイアスをかけ得る。限定としてではなく別の例として、「Ｊｏｈｎの最も有名なアルバムは何ですか。」という発話については、「Ｊｏｈｎ」を解析するために、エンティティ解析構成要素３３０は、発話に対応するタスクを最初に決定し得、タスクは、音楽アルバムを見つけることである。エンティティ解析構成要素３３０は、音楽アルバムに関するエンティティが、歌手、プロデューサ、およびレコーディングスタジオを含むと決定し得る。したがって、エンティティ解析構成要素３３０は、「Ｊｏｈｎ」を解析するために、音楽ドメインにおけるエンティティのこれらのタイプの中から検索し得る。
特定の実施形態では、エンティティ解析構成要素３３０の出力は、ユーザとの会話のフローを進めるために、ダイアログマネージャ３３５に送られ得る。ダイアログマネージャ３３５は、状態を繰り返し更新し、新しい状態に基づいてアクションを選択する、非同期式ステートマシンでよい。ダイアログマネージャ３３５は、ダイアログ意図解析３３６およびダイアログ状態トラッカ３３７を備え得る。特定の実施形態では、ダイアログマネージャ３３５は、選択されたアクションを実行し、次いで、選択されたアクションがユーザ応答を要求するか、または実行すべきアクションがこれ以上なくなるまで、ダイアログ状態トラッカ３３７を再びコールし得る。選択された各アクションは、前のアクションからの実行結果に依存し得る。特定の実施形態では、ダイアログ意図解析３３６は、ユーザと補助システム１４０との間のダイアログ履歴に基づいて、現在のダイアログセッションに関連付けられたユーザ意図を解析し得る。ダイアログ意図解析３３６は、ＮＬＵモジュール２１０によって決定された意図を、異なるダイアログ意図にマッピングし得る。ダイアログ意図解析３３６は、さらに、ＮＬＵモジュール２１０、エンティティ解析構成要素３３０からの信号と、ユーザと補助システム１４０との間のダイアログ履歴とに基づいて、ダイアログ意図をランク付けし得る。特定の実施形態では、ダイアログ状態を直接変化させるのではなく、ダイアログ状態トラッカ３３７は、副次的作用のない構成要素であり得、ダイアログ状態への更新を提案するダイアログ状態更新オペレータのｎベスト候補を生成し得る。ダイアログ状態トラッカ３３７は、ダイアログ状態に基づいて種々のタイプのＮＬＵ意図をハンドリングし、オペレータを生成するためのロジックを収める意図リゾルバを備え得る。特定の実施形態では、ロジックは、補助システム１４０があいまいさ除去を依頼するときに意図をハンドリングするためのあいまいさ除去意図ハンドラ、承認をハンドリングするためのロジックを備える承認意図ハンドラ等の、意図ハンドラによって編成され得る。意図リゾルバは、ユーザとの会話のためのコンテキスト更新を生成するために、ダイアログ状態とともにターン意図を結合させ得る。スロット解決構成要素は、次いで、知識グラフおよびドメインエージェントを含む解析プロバイダで、更新オペレータ内のスロットを再帰的に解析し得る。特定の実施形態では、ダイアログ状態トラッカ３３７は、現在のダイアログセッションのダイアログ状態を更新／ランク付けし得る。限定としてではなく一例として、ダイアログ状態トラッカ３３７は、ダイアログセッションが終了した場合、ダイアログ状態を「完了した」として更新し得る。限定としてではなく別の例として、ダイアログ状態トラッカ３３７は、ダイアログ状態に関連付けられた優先度に基づいて、ダイアログ状態をランク付けし得る。
特定の実施形態では、推理モジュール２１４は、リモートアクション実行モジュール２２６およびダイアログアービトレータ２１６とそれぞれ通信し得る。特定の実施形態では、推理モジュール２１４のダイアログマネージャ３３５は、ダイアログ意図および関連付けられたコンテンツオブジェクトについて、アクション実行モジュール２２６のタスク完了構成要素３４０と通信し得る。特定の実施形態では、タスク完了モジュール３４０は、異なるダイアログ意図について、異なるダイアログ仮定をランク付けし得る。タスク完了モジュール３４０は、アクションセレクタ３４１を備え得る。代替実施形態では、アクションセレクタ３４１は、ダイアログマネージャ３３５に含まれ得る。特定の実施形態では、ダイアログマネージャ３３５は、さらに、ダイアログ状態に関して、ダイアログアービトレータ２１６に含まれるダイアログポリシー３４５に対して検査し得る。特定の実施形態では、ダイアログポリシー３４５は、エージェント３５０によるアクションの実行プランについて説明するデータ構造を含み得る。ダイアログポリシー３４５は、一般ポリシー３４６およびタスクポリシー３４７を備え得る。特定の実施形態では、一般ポリシー３４６は、個々のタスクに固有でないアクションのために使用され得る。一般ポリシー３４６は、低信頼性意図、内部エラー、再試行を伴う受入れ不能なユーザ応答、ＡＳＲまたはＮＬＵ信頼性スコアに基づく承認のスキップまたは挿入、等をハンドリングすることを含み得る。一般ポリシー３４６はまた、ダイアログ状態トラッカ３３７の出力からダイアログ状態更新候補をランク付けするロジックを含み、（最上位にランク付けされたタスク意図を選ぶことなど）更新のための１つを選び得る。特定の実施形態では、補助システム１４０は、散らばったクロスドメインポリシー／ビジネスルール、特にダイアログ状態トラッカ３３７において見つかるものをアクションセレクタ３４１の機能に統合することを可能にする、一般ポリシー３４６のための特定のインターフェースを有し得る。また、一般ポリシー３４６のためのインターフェースは、特定の状況またはクライアントに結びつけられ得る自己完結型サブポリシーユニットのオーサリング（たとえば、クライアント、状況等に基づいて簡単にスイッチオンまたはオフされ得るポリシー機能）を可能にし得る。一般ポリシー３４６のためのインターフェースはまた、特定の状況を扱う非常に特化されたポリシーユニットが、より広い状況で適用されるより多くの一般ポリシー３４６によってバックアップされる、バックオフ、すなわち複数のポリシーユニットで、ポリシーの層を作成することを可能にし得る。このコンテキストでは、一般ポリシー３４６は、代替として、意図またはタスク固有のポリシーを含み得る。特定の実施形態では、タスクポリシー３４７は、タスクおよび現在の状態に基づく、アクションセレクタ３４１のためのロジックを備え得る。特定の実施形態では、タスクポリシー３４７のタイプは、（１）手動で策定されたツリーベースのダイアログプラン、（２）アクションを生成するためのインターフェースを直接実装するコード化されたポリシー、（３）コンフィギュレータ指定のスロット補充タスク、または（４）データから学習された機械学習モデルベースのポリシー、といったタイプのうちの１つまたは複数を含み得る。特定の実施形態では、補助システム１４０は、ルールベースのロジックで新しいドメインをブートストラップし、タスクポリシー３４７を機械学習モデルで、後で洗練し得る。特定の実施形態では、ダイアログポリシー３４５は、事前構築されたダイアログプランであるツリーベースのポリシーであり得る。現在のダイアログ状態に基づいて、ダイアログポリシー３４５は、対応するアクションを実行および生成するためのノードを選び得る。限定としてではなく一例として、ツリーベースのポリシーは、トピックグルーピングノードおよびダイアログアクション（葉）ノードを備え得る。
特定の実施形態では、アクションセレクタ３４１は、ダイアログ状態の候補オペレータを利用し、どのアクションが実行されるべきかを決めるためにダイアログポリシー３４５を調べ得る。補助システム１４０は、クロスドメインビジネスロジックをハンドリングする一般ポリシー３４６を伴う階層式ダイアログポリシーを使用し得、タスクポリシー３４７は、タスク／ドメイン固有ロジックをハンドリングする。特定の実施形態では、一般ポリシー３４６は、タスクポリシー３４７によるユーザ対応アクションの選択の前にダイアログ状態を更新するために、候補オペレータから１つのオペレータを選び得る。タスクがダイアログ状態においてアクティブになると、対応するタスクポリシー３４７は、正しいアクションを選択するために調べられ得る。特定の実施形態では、ダイアログ状態トラッカ３３７とアクションセレクタ３４１の両方は、選択されたアクションが実行されるまで、ダイアログ状態を変更し得ない。これは、補助システム１４０が、憶測によるＡＳＲ結果を処理するためにダイアログ状態トラッカ３３７およびアクションセレクタ３４１を実行すること、ならびに、予行演習によるｎベストランク付けを行うことを可能にし得る。特定の実施形態では、アクションセレクタ３４１は、ダイアログ状態更新オペレータを入力の一部として利用して、ダイアログアクションを選択し得る。ダイアログアクションの実行は、将来のターンをハンドリングするようにダイアログ状態トラッカ３３７に命令するために、予想のセットを生成し得る。特定の実施形態では、予想は、次のターンからのユーザ入力をハンドリングするときに、ダイアログ状態トラッカ３３７にコンテキストを提供するために使用され得る。限定としてではなく一例として、スロット要求ダイアログアクションは、要求されたスロットの値の証明の予想を有し得る。
特定の実施形態では、ダイアログマネージャ３３５は、スロットの言及のマルチターン構成解析をサポートし得る。ＮＬＵ２１０からの構成パースに対して、リゾルバは、ネストされたスロットを再帰的に解析し得る。ダイアログマネージャ３３５は、さらに、ネストされたスロットのためのあいまいさ除去をサポートし得る。限定としてではなく一例として、ユーザ要求は、「Ａｌｅｘに電話するのを思い出させてください。」であり得る。リゾルバは、実行可能なリマインダｔｏ－ｄｏエンティティを作り出す前に、どのＡｌｅｘに電話すべきかを知る必要があり得る。リゾルバは、さらなるユーザ明確化が特定のスロットに必要なとき、解決を停止し、解決状態をセットし得る。一般ポリシー３４６は、解決状態を検査し、ユーザ明確化のための対応するダイアログアクションを作り出し得る。ダイアログ状態トラッカ３３７において、ユーザ要求および最新のダイアログアクションに基づいて、ダイアログマネージャは、ネストされたスロットを更新し得る。この能力は、欠落したスロット値を収集するだけでなく、より複雑な／あいまいな発話のあいまいさを低減させてタスクを完了させるためにも、補助システム１４０がユーザと対話することを可能にし得る。特定の実施形態では、ダイアログマネージャは、ユーザが要求するネストされた意図およびマルチ意図中の欠落したスロットを要求することをさらにサポートし得る（たとえば、「この写真を撮って、写真を父さんに送ってください。」）。特定の実施形態では、ダイアログマネージャ３３５は、より堅牢なダイアログ体験のための機械学習モデルをサポートし得る。限定としてではなく一例として、ダイアログ状態トラッカ３３７は、ニューラルネットワークベースのモデル（または任意の他の好適な機械学習モデル）を使用して、タスク仮定に対する信念をモデル化し得る。限定としてではなく別の例として、アクションセレクタ３４１のために、最高優先度のポリシーユニットは、デザインごとに発生しなければならなくなり得るホワイトリスト／ブラックリストのオーバーライドを備え得、中優先度のユニットは、アクション選択のためにデザインされた機械学習モデルを備え得、より低い優先度のユニットは、状況をハンドリングしないことを機械学習モデルが選んだときのルールベースのフォールバックを備え得る。特定の実施形態では、機械学習モデルベースの一般ポリシーユニットは、補助システム１４０が冗長なあいまいさ除去または承認ステップを低減させ、これにより、ユーザ要求を実行するためのターンの数を低減させるのに役立ち得る。
特定の実施形態では、アクション実行モジュール２２６は、タスク実行のために異なるエージェント３５０をコールし得る。エージェント３５０は、アクションを完了させるために登録コンテンツプロバイダの中から選択し得る。データ構造は、意図および意図に関連付けられた１つまたは複数のスロットに基づいて、ダイアログマネージャ３３５によってコンストラクトされ得る。ダイアログポリシー３４５は、論理演算子を通して互いに関係する複数の目標をさらに含み得る。特定の実施形態では、目標は、ダイアログポリシーの一部分の成果であり得、それは、ダイアログマネージャ３３５によってコンストラクトされ得る。目標は、目標をパラメータ化する、１つまたは複数の名前付き引数をもつ識別子（たとえば、ストリング）によって表され得る。限定としてではなく一例として、その関連付けられた目標引数をもつ目標は、｛ｃｏｎｆｉｒｍ＿ａｒｔｉｓｔ，ａｒｇｓ：｛ａｒｔｉｓｔ：“Ｍａｄｏｎｎａ”｝｝として表され得る。特定の実施形態では、ダイアログポリシーは、目標がツリーのリーフにマッピングされる、ツリー構造化された表現に基づき得る。特定の実施形態では、ダイアログマネージャ３３５は、行うべき次のアクションを決定するために、ダイアログポリシー３４５を実行し得る。ダイアログポリシー３４５は、一般ポリシー３４６とドメイン固有ポリシー３４７とを含み得、それらの両方は、ダイアログ状態に基づいて、次のシステムアクションをどのように選択すべきかをガイドし得る。特定の実施形態では、アクション実行モジュール２２６のタスク完了構成要素３４０は、次のシステムアクションのガイダンスを取得するために、ダイアログアービトレータ２１６に含まれるダイアログポリシー３４５と通信し得る。特定の実施形態では、アクション選択構成要素３４１は、したがって、ダイアログ意図、関連付けられたコンテンツオブジェクト、およびダイアログポリシー３４５からのガイダンスに基づいて、アクションを選択し得る。
特定の実施形態では、アクション実行モジュール２２６の出力は、リモート応答実行モジュール２３２に送られ得る。具体的には、アクション実行モジュール２２６のタスク完了構成要素３４０の出力は、応答実行モジュール２２６のＣＵコンポーザ３５５に送られ得る。代替実施形態では、選択されたアクションは、１つまたは複数のエージェント３５０が関与することを必要とし得る。その結果、タスク完了モジュール３４０は、エージェント３５０に選択されたアクションを通知し得る。一方、ダイアログマネージャ３３５は、ダイアログ状態を更新するようにとの命令を受信し得る。限定としてではなく一例として、更新は、エージェント３５０の応答を待つことを含み得る。特定の実施形態では、ＣＵコンポーザ３５５は、タスク完了モジュール３４０の出力に基づいて、自然言語生成（ＮＬＧ）モジュール３５６を使用して、ユーザのための通信コンテンツを生成し得る。特定の実施形態では、ＮＬＧモジュール３５６は、自然言語出力を生成するために、異なる言語モデルおよび／または言語テンプレートを使用し得る。自然言語出力の生成は、アプリケーション固有であり得る。自然言語出力の生成はまた、各ユーザについて個人化され得る。ＣＵコンポーザ３５５はまた、ＵＩペイロード生成器３５７を使用して、生成された通信コンテンツのモダリティを決定し得る。生成された通信コンテンツは、ユーザ要求への応答と見なされ得るので、ＣＵコンポーザ３５５は、さらに、応答ランカー３５８を使用して、生成された通信コンテンツをランク付けし得る。限定としてではなく一例として、ランキングは、応答の優先度を指示し得る。特定の実施形態では、ＣＵコンポーザ３５５は、ＮＬＧモジュール３５６とは別個であり得る自然言語合成（ＮＬＳ：ｎａｔｕｒａｌ－ｌａｎｇｕａｇｅ ｓｙｎｔｈｅｓｉｓ）モジュールを備え得る。ＮＬＳモジュールは、特定のユーザ、タスク、またはエージェントのための応答をカスタマイズするために、性、ボリューム、ペース、スタイル、またはレジスタを含む、ＣＵコンポーザ３５５によって生成された合成発言の属性を指定し得る。ＮＬＳモジュールは、関連付けられたタスクの実装形態を利用せずに言語合成を調整し得る。自然言語生成のカスタマイズについてのより多くの情報は、参照により組み込まれる、２０１８年４月３０日に出願の米国特許出願第１５／９６６４５５号において見つけられ得る。
特定の実施形態では、応答実行モジュール２３２は、ＣＵコンポーザ３５５の出力に基づいて異なるタスクを実施し得る。これらのタスクは、データストア２１２から取り出されたダイアログ状態の書込み３６１（すなわち、記憶／更新）、および応答の生成３６２を含み得る。特定の実施形態では、ＣＵコンポーザ３５５の出力は、ＶＲヘッドセットまたはＡＲスマートグラスに表示可能な、自然言語ストリング、発言、パラメータを伴うアクション、またはレンダリングされた画像もしくはビデオのうちの１つまたは複数を含み得る。結果として、応答実行モジュール２３２は、ＣＵコンポーザ３５５の出力に基づいて、どのタスクを実施すべきかを決定し得る。特定の実施形態では、生成された応答および通信コンテンツは、応答実行モジュール２３２によって、ローカルレンダリング出力モジュール２４２に送られ得る。代替実施形態では、ＣＵコンポーザ３５５の出力は、通信コンテンツの決定されたモダリティがオーディオの場合、リモートＴＴＳモジュール２３８にさらに送られ得る。ＴＴＳモジュール２３８によって生成された発言、および応答実行モジュール２３２によって生成された応答は、次いで、レンダリング出力モジュール２４２に送られ得る。
図４は、補助システム１４０によるユーザ入力の処理の例示的な図のフローを示す。限定としてではなく一例として、ユーザ入力は、オーディオ信号に基づき得る。特定の実施形態では、クライアントシステム１３０のマイクアレイ４０２は、オーディオ信号（たとえば、発言）を受信し得る。オーディオ信号は、オーディオフレームのフォーマットで処理ループ４０４に伝送され得る。特定の実施形態では、処理ループ４０４は、ボイスアクティビティ検出（ＶＡＤ：ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｉｏｎ）４０６およびウェイクオンボイス（ＷｏＶ：ｗａｋｅ－ｏｎ－ｖｏｉｃｅ）検出４０８のためにオーディオフレームを送り得る。検出結果は、処理ループ４０４に返され得る。ユーザが補助システム１４０を起動したいと思っていることをＷｏＶ検出４０８が示す場合、オーディオフレームはＶＡＤ４０６の結果とともに、エンコードされたオーディオデータを生成するためにエンコードユニット４１０に送られ得る。エンコード後、エンコードされたオーディオデータは、リンクユニット４１４および復号ユニット４１６の前に、プライバシーおよびセキュリティのために暗号化ユニット４１２に送られ得る。復号後、オーディオデータはマイクドライバ４１８に送られ得、マイクドライバ４１８は、オーディオデータをオーディオサービスモジュール４２０にさらに伝送し得る。代替実施形態では、ユーザ入力は、クライアントシステム１３０とペアリングされたワイヤレスデバイス（たとえば、Ｂｌｕｅｔｏｏｔｈデバイス）において受信され得る。これに対応して、オーディオデータは、ワイヤレスデバイスドライバ４２２（たとえば、Ｂｌｕｅｔｏｏｔｈドライバ）からオーディオサービスモジュール４２０に送られ得る。特定の実施形態では、オーディオサービスモジュール４２０は、クライアントシステム１３０上で実行するアプリケーションによってユーザ入力が果たされ得ると決定し得る。したがって、オーディオサービスモジュール４２０は、ユーザ入力をリアルタイム通信（ＲＴＣ：ｒｅａｌ－ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュール４２４に送り得る。ＲＴＣモジュール４２４は、オーディオパケットをビデオまたはオーディオ通信システム（たとえば、ＶＯＩＰまたはビデオコール）に配信し得る。ＲＴＣモジュール４２４は、関連アプリケーション（Ａｐｐ）４２６をコールして、ユーザ入力に関連したタスクを実行し得る。
特定の実施形態では、オーディオサービスモジュール４２０は、補助システム１４０が応答する必要がある補助をユーザが要求していると決定し得る。したがって、オーディオサービスモジュール４２０は、クライアント補助サービスモジュール４２６に知らせ得る。特定の実施形態では、クライアント補助サービスモジュール４２６は、補助オーケストレータ２０６と通信し得る。補助オーケストレータ２０６は、ユーザ入力に応答するために、クライアント側処理を使用すべきか、サーバ側処理を使用すべきかを決定し得る。特定の実施形態では、補助オーケストレータ２０６は、クライアント側処理を使用し、クライアント補助サービスモジュール４２６にこのような決定を知らせることを決定し得る。結果として、クライアント補助サービスモジュール４２６は、ユーザ入力に応答するために関連モジュールをコールし得る。
特定の実施形態では、クライアント補助サービスモジュール４２６は、ローカルＡＳＲモジュール２１６を使用して、ユーザ入力を分析し得る。ＡＳＲモジュール２１６は、書記素－音素（Ｇ２Ｐ）モデル、発音学習モデル、個人化言語モデル（ＰＬＭ）、エンドポインティングモデル、および個人化音響モデルを備え得る。特定の実施形態では、クライアント補助サービスモジュール４２６は、さらに、ローカルＮＬＵモジュール２１８を使用してユーザ入力を理解し得る。ＮＬＵモジュール２１８は、固有表現解決（ＮＥＲ）構成要素およびコンテキストセッションベースＮＬＵ構成要素を備え得る。特定の実施形態では、クライアント補助サービスモジュール４２６は、意図ブローカー４２８を使用して、ユーザの意図を分析し得る。ユーザの意図について正確であるように、意図ブローカー４２８は、ユーザおよび世界に関連付けられたエンティティを含むエンティティストア４３０にアクセスし得る。代替実施形態では、ユーザ入力は、クライアントシステム１３０上で実行するアプリケーション４３２を介して投入され得る。この場合、入力マネージャ４３４はユーザ入力を受信し、アプリケーション環境（Ａｐｐ Ｅｎｖ）モジュール４３６によってユーザ入力を分析し得る。分析結果はアプリケーション４３２に送られ得、アプリケーション４３２は、分析結果をＡＳＲモジュール２１６およびＮＬＵモジュール２１８にさらに送り得る。代替実施形態では、ユーザ入力は、クライアントシステム１３０上で実行する補助アプリケーション４３８を介してクライアント補助サービスモジュール４２６に直接投入され得る。次いで、クライアント補助サービスモジュール４２６は、前述のようなモジュール、すなわち、ＡＳＲモジュール２１６、ＮＬＵモジュール２１８、および意図ブローカー４２８に基づいて、同様の手順を実施し得る。
特定の実施形態では、補助オーケストレータ２０６は、サーバ側処理を使用することを決定し得る。したがって、補助オーケストレータ２０６は、補助システム１４０の異なるモジュールをホストする１つまたは複数のコンピューティングシステムにユーザ入力を送り得る。特定の実施形態では、サーバ補助サービスモジュール３０１は、補助オーケストレータ２０６からユーザ入力を受信し得る。サーバ補助サービスモジュール３０１は、ユーザ入力のオーディオデータを分析するようにリモートＡＳＲモジュール２０８に命令し得る。ＡＳＲモジュール２０８は、書記素－音素（Ｇ２Ｐ）モデル、発音学習モデル、個人化言語モデル（ＰＬＭ）、エンドポインティングモデル、および個人化音響モデルを備え得る。特定の実施形態では、サーバ補助サービスモジュール３０１は、ユーザ入力を理解するようにリモートＮＬＵモジュール２１０にさらに命令し得る。特定の実施形態では、サーバ補助サービスモジュール３０１は、ＡＳＲモジュール２０８およびＮＬＵモジュール２１０からの出力を処理するために、リモート推理モデル２１４をコールし得る。特定の実施形態では、推理モデル２１４は、エンティティ解析およびダイアログ最適化を実施し得る。特定の実施形態では、推理モデル３１４の出力は、１つまたは複数の関連タスクを実行するためにエージェント３５０に送られ得る。
特定の実施形態では、エージェント３５０は、関連タスクを正確に実行できるように、エンティティ解析およびダイアログ最適化からの結果を正確に理解するために、オントロジモジュール４４０にアクセスし得る。オントロジモジュール４４０は、複数の所定のドメイン、意図、およびスロットに関連付けられたオントロジデータを提供し得る。また、オントロジデータは、異なるスロットとドメインとの間の構造関係を含み得る。オントロジデータは、さらに、スロットが、グループ化され、高い方のレベルがドメインを含む階層内で関連付けられ、類似点および差に従って再分割され得る方法についての情報を含み得る。オントロジデータはまた、スロットが、グループ化され、高い方のレベルがトピックを含む階層内で関連付けられ、類似点および差に従って再分割され得る方法についての情報を含み得る。タスクが実行されると、エージェント３５０は、タスク完了指示とともに実行結果を推理モジュール２１４に返し得る。
本明細書で開示される実施形態は、人工現実システムを含むか、人工現実システムとともに実施され得る。人工現実は、ユーザへの提示の前に何らかの方法で調節された現実の形式であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらのいくつかの組合せおよび／もしくは派生語を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、または、キャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触感フィードバック、またはそれらのいくつかの組合せを含み得、これらのいずれかが、単一のチャネル、または複数のチャネル（ビューアへの３次元効果を生み出すステレオビデオなど）で提示され得る。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、かつ／または人工現実で使用される（たとえば、人工現実におけるアクティビティを実施する）、アプリケーション、製品、アクセサリ、サービス、またはそれらのいくつかの組合せに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、人工現実コンテンツを１つまたは複数のビューアに提供可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォームで実施され得る。
プロアクティブコンテンツの生成
特定の実施形態では、補助システム１４０は、様々なマルチモーダル信号によってトリガされ得る、ユーザへのプロアクティブコンテンツ提案を行い得る。プロアクティブコンテンツはまた、ユーザの要求に応答したフォローアップアクションとして提供され得、セミプロアクティブユースケースの１つのタイプと考えられ得る（すなわち、プロアクティブコンテンツは、ユーザ要求に応答性があるので、完全にプロアクティブでなくなり得る）。プロアクティブコンテンツは、提案されるクエリ、提案されるフォローアップアクション、補足情報、調査、または任意の他の好適なコンテンツを含み得る。フォローアップアクションとして提供されるとき、プロアクティブコンテンツは、ユーザのタスクが完了した後、ダイアログを延長することによってユーザダイアログを豊かにし得る。限定としてではなく一例として、ユーザは、「何時ですか。」と尋ね得る。補助システム１４０は、「午前１１：３０です。」と答え得る。補助システム１４０は、「カレンダーを見たいですか。」などの提案されるフォローアップアクション、または「正午の歯医者の予約にたどり着くのに１５分かかります。」のような補足情報をさらに提供し得る。限定としてではなく別の例として、ユーザは「今何の歌を流しているのですか。」と尋ね得、ここで、ユーザからの要求タスクは、［ＩＮ：ｇｅｔ＿ｔｒａｃｋ＿ｉｎｆｏ＿ｍｕｓｉｃ（）］であり得る。補助システム１４０は、「ＯｕｔｋａｓｔによるＨｅｙ Ｙａです。」と答え得、これがタスクの完了をマークする。補助システム１４０は、「この歌をお気に入りに追加したいですか。」とさらにプロアクティブに尋ね得、これが、提案されるフォローアップアクション（すなわち、［ＩＮ：ａｄｄ＿ｔｏ＿ｆａｖｏｒｉｔｅｓ（）］）に対応する。タスクの完了、ユーザコンテキストの変化、または関連するマルチモーダル信号は、プロアクティブポリシーをトリガし得る。プロアクティブポリシーに基づいて、補助システム１４０は、どの種類のプロアクティブコンテンツを実行すべきかを決定し得る。補助システム１４０は、どのプロアクティブコンテンツが好適であるかを決定するために、ユーザとの事前対話またはユーザについての予備知識を考慮し得る。補助システム１４０は、ダイアログの各ターンへのユーザフィードバックに基づいて、または、マルチモーダルコンテキストにおいて、プロアクティブコンテンツのチェーンを生成し得、マルチモーダルコンテキストでは、補助システム１４０は、ユーザによるプロアクティブコンテンツとの対話、または動的なマルチモーダル信号に応答して、コンテンツをプロアクティブに提供し続け得る。限定としてではなく一例として、補助システム１４０は、補助システム１４０が各ターンの終わりに新しい推奨を提供するリコメンダシステムとして機能し得る。プロアクティブコンテンツを通じて、補助システム１４０は、成長（たとえば、ユーザ教育）のためのすぐに得られる機会、ならびに、補助システム１４０に関連付けられたさらなる特徴または強化のために使用され得るユーザ満足度測定およびコア技法を提供し得る。本開示は、特定の様式で特定のシステムによって特定のプロアクティブコンテンツを生成することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なプロアクティブコンテンツを生成することを企図する。
特定の実施形態では、補助システム１４０は、第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信し得る。補助システム１４０は、１つまたは複数のプロアクティブポリシーに基づいて、第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定し得る。補助システム１４０は、次いで、第１のユーザに関連付けられた１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成し得る。特定の実施形態では、補助システム１４０は、第１のユーザに関連付けられたタスク履歴データに基づいて、プロアクティブ提案のうちの１つまたは複数を選択し得る。補助システム１４０は、さらに、プロアクティブコンテンツを第１のユーザに提示するための命令を、第１のユーザに関連付けられたクライアントシステム１３０に送り得る。プロアクティブコンテンツは、選択されたプロアクティブ提案を含み得る。
特定の実施形態では、補助システム１４０は、種々のタイプのマルチモーダル信号を使用して、どのプロアクティブコンテンツをユーザに提供すべきかを決定し得る。マルチモーダル信号は、日付、時間、ロケーション、ビジュアル信号、サウンド信号、エンティティ更新、またはユーザコンテキストのうちの１つまたは複数を含み得る。限定としてではなく一例として、日付および時刻がクリスマス前の週を示す場合、プロアクティブコンテンツは、ギフトを買うためのプロアクティブ提案でよい。限定としてではなく別の例として、サウンドが歌の場合、プロアクティブコンテンツは、関連するアーティストのプロアクティブ提案でよい。結果として、補助システム１４０は、種々のタイプのマルチモーダル信号に応答して、プロアクティブ提案をユーザに自動的に提供することによって、ユーザが補助システム１４０と関わり合う度合いを増加させるという技術的利点を有し得る。本開示は、特定の様式で特定の信号に基づいて特定のコンテンツを決定することを説明するが、本開示は、任意の好適な様式で任意の好適な信号に基づいて任意の好適なコンテンツを決定することを企図する。
図５は、プロアクティブ提案を提供するための例示的なアーキテクチャ５００を示す。特定の実施形態では、プロアクティブ提案は、ユーザ要求に応答して提供され得る。図５に示されるように、ユーザ要求は発言に基づき、サーバ側のＡＳＲモジュール２０８またはクライアント側のＡＳＲモジュール２１６で受信され得る。ＡＳＲモジュール２０８／２１６は、発言からテキストを抽出し、抽出されたテキストをサーバ側のＮＬＵモジュール２１０またはクライアント側のＮＬＵモジュール２１８に送り得る。ＮＬＵモジュール２１０／２１８は、ユーザ要求に関連付けられた意図およびスロットを決定し得る。意図およびスロットは、ダイアログ状態トラッカ３３７に送られ得る。特定の実施形態では、プロアクティブ提案は、マルチモーダル信号に応答して提供され得る。限定としてではなく一例として、マルチモーダル信号は、ジェスチャー、ロケーション、ビジュアル等であり得る。補助システム１４０はマルチモーダル信号を理解し、マルチモーダル信号をイベントにマッピングし得る。イベントは、異なるソースから生じ得る。限定としてではなく一例として、意図は、特別なタイプのイベントと見なされ得る。補助システム１４０は、オントロジを使用して、有効なイベントのタイプを維持し得る。特定の実施形態では、マルチモーダル信号は、ユーザコンテキストエンジン（ＵＣＥ：ｕｓｅｒ ｃｏｎｔｅｘｔ ｅｎｇｉｎｅ）３１５で受信され得る。ＵＣＥ３１５は、１つまたは複数のマルチモーダルイベントを決定し、マルチモーダルイベントをダイアログ状態トラッカ３３７に送り得る。特定の実施形態では、プロアクティブ提案は、世界またはソーシャルの最新情報に応答して提供され得る。１つまたは複数のオブザーバ５０５は、このような更新情報を検出し、世界／ソーシャルイベントを適宜生成し得る。限定としてではなく一例として、世界イベントはサンフランシスコの天候変化であり得る。限定としてではなく別の例として、ソーシャルイベントは、ママがオンラインに接続することであり得る。オブザーバ５０５は、世界／ソーシャルイベントをダイアログ状態トラッカ３３７に送り得る。特定の実施形態では、補助システム１４０は、ダイアログ状態トラッカ３３７の前または内部のいずれかで、有効なイベントをフィルタリングし得る。本開示は、特定の様式で特定のシステムによって特定の信号に応答して特定の提案を提供することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適な信号に応答して任意の好適な提案を提供することを企図する。
特定の実施形態では、ダイアログ状態トラッカ３３７は、ユーザに関連したイベントを追跡し、意図、スロット、マルチモーダルイベント、世界イベント、またはソーシャルイベントのうちの１つまたは複数に基づく候補タスクを提案し得る。ユーザ状態（たとえば、ユーザの現在のアクティビティ）とタスク状態（たとえば、トリガ条件）の両方が追跡され得る。現在の状態を考慮して、ダイアログ状態トラッカ３３７は、補助システム１４０がユーザのために行い得る候補タスクを提案し得る。限定としてではなく一例として、候補タスクは、「提案を示すこと」、「天候情報を得ること」、または「写真を撮ること」であり得る。特定の実施形態では、ダイアログ状態トラッカ３３７は、知識グラフ５１０、ユーザメモリ５１５、およびユーザタスク履歴５２０を含む利用可能な知識に基づく候補タスクを提案し得る。特定の実施形態では、ユーザメモリ５１５は、ユーザのためにトリガされ得るすべての可能なプロアクティブタスクを記憶するための真実を語る資料であり得る。候補タスクは、プロアクティブコンテンツをユーザに提示するために他のモジュールと通信し得る、アクションセレクタ３４１に送られ得る。特定の実施形態では、アクションセレクタ３４１は、ダイアログ状態トラッカ３３７から提案された候補タスクを取り込み、このタスクの優先度、および、このタスクを配信することがＯＫであるかどうかを決定するためにスマートスケジューラ５２５を調べ得る。アクションセレクタ３４１はまた、ペイロードを生成して、クライアントシステム１３０に行くことが予想される「インフォーム」アクションを返すために、ペイロード生成器をコールし得る。提案される候補タスクを考慮して、アクションセレクタ３４１は、タスクを果たすために行うべきアクションを決め得る。タスクが実行／配信される用意ができているかなどの確認は、アクションセレクタ３４１によって行われ得る。特定の実施形態では、補助リコメンダ５３０は、どのプロアクティブ提案をユーザに提供すべきかを決定し得る。補助リコメンダ５３０は、第１のユーザに関連付けられたユーザコンテキストデータ、第１のユーザに関連付けられたユーザメモリ５１５、または知識グラフ５１０のうちの１つまたは複数に基づいて、プロアクティブ提案のうちの１つまたは複数を選択し得る。特定の実施形態では、補助リコメンダ５３０は、プロアクティブ提案がエージェント３５０によって実行されることを要求する場合、異なるエージェント３５０と通信し得る。補助リコメンダ５３０はまた、ユーザ教育モジュール５３５と通信し得る。本開示は、特定の様式で特定のシステムによって特定のタスクおよびアクションを決定することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なタスクおよびアクションを決定することを企図する。
特定の実施形態では、ユーザ教育モジュール５３５は、補助システム１４０が何を行えるかについての新しいスキルをユーザが学習できるプロアクティブ提案を推奨することを担当し得る。ユーザ教育モジュール５３５は、何を行う方法をユーザが既に知っているかを確認し、次いで、ユーザが以前に行おうとしたことがないスキルを推奨するためにユーザタスク履歴５２０およびユーザメモリ５１５にアクセスし得る。結果として、補助システム１４０は、補助システム１４０が、履歴データに基づいて、どのスキルをユーザがまだ探求していないかを正確に決定し、このようなスキルに関する提案をユーザに提供し得るので、補助システム１４０が行うことができる新しいスキルをユーザが学習するのを補助するという技術的利点を有し得る。さらに、ユーザ教育モジュール５３５は、推奨されるプロアクティブ提案がユーザに関するものであり、ユーザにとって興味のあるものであることを確実にするために、ユーザコンテキスト、ダイアログコンテキスト、ユーザタスク履歴５２０、ユーザメモリ５１５を考慮に入れ得る。ユーザ教育モジュール５３５は、特定の補助スキルを決定するためにユーザの次の意図を予測し得る。具体的には、ユーザ教育モジュール５３５は、１つまたは複数の入力に基づいて、第１のユーザに関連付けられた初期の意図を決定し得る。ユーザ教育モジュール５３５は、次いで、初期の意図に基づいて、第１のユーザに関連付けられたその後の意図を決定し得る。したがって、補助システム１４０は、その後の意図にさらに基づいて、１つまたは複数のプロアクティブ提案を生成し得る。限定としてではなく一例として、次の意図は、新しいタスクについての推奨であり得る。特定の実施形態では、次の意図は、ユーザが以前に使用したスキルをユーザが次に行いたいと思い得ることを、補助システム１４０がＵＣＥ３１５およびユーザタスク履歴５２０から知っている場合、このスキルについての推奨でよい。結果として、ユーザ教育モジュール５３５は、既にユーザに以前推奨されたことがあるプロアクティブ提案を推奨し得る。特定の実施形態では、その後の意図を決定することは、機械学習モデルに基づき得る。機械学習モデルは、複数の意図のペアに関連付けられたデータに基づいてトレーニングされ得る。特定の実施形態では、複数の意図のペアに関連付けられたデータは、初期の意図とその後の意図との間の意図のペアに関連付けられたデータを含み得る。限定としてではなく一例として、意図Ｂが意図Ａに常に続いたことを複数のユーザ対話が明らかにする場合、補助システム１４０は、意図のペアＡ－Ｂを生成し得る。したがって、ユーザ教育モジュール５３５が将来、意図Ａを識別するとき、ユーザ教育モジュール５３５は、ユーザの次の意図が意図Ｂであると予測し得る。特定の実施形態では、ユーザ教育モジュール５３５は、値－モデルランカーを使用して、モジュール層における第１レベルのランク付けを得て、推奨のための最善のプロアクティブ提案を決定し得る。ユーザコンテキスト、ダイアログコンテキスト、ユーザタスク履歴、ユーザメモリ、および知識グラフを使用してプロアクティブ提案を決定することは、推奨されるプロアクティブ提案がユーザに関するものであり、ユーザにとって興味のあるものであることを、これらの種々のタイプのデータが保証し得るので、どのプロアクティブ提案をユーザに提供すべきかを正確に決定するという技術課題に対処するための効果的なソリューションになり得る。本開示は、特定の様式で特定のシステムによって特定の提案を推奨することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適な提案を推奨することを企図する。
特定の実施形態では、スマートスケジューラ５２５は、タスクがまだスケジュールされていない場合、タスクをスケジュールするため、ならびに、配信のためのペイロードを生成する前に、速度制限、優先度設定、および任意の他の個人化要件を施行するために使用され得る。スマートスケジューラ５２５は、プロアクティブコンテンツの配信スケジュールを決定し得る。これに対応して、プロアクティブコンテンツを第１のユーザに提示するための命令を送ることは、配信スケジュールに基づき得る。配信スケジュールは、第１のユーザに関連付けられた（すなわち、ＵＣＥ３１５からの）ユーザコンテキストデータ、第１のユーザに関連付けられたユーザメモリ５１５、または知識グラフ５１０のうちの１つまたは複数に基づいて決定され得る。スマートスケジューラ５２５は、決定された配信スケジュールをアクションセレクタ３４１に送り返し得る。ユーザコンテキストデータ、ユーザメモリ、または知識グラフに基づいて、プロアクティブコンテンツの配信スケジュールを決定することは、プロアクティブコンテンツで促される意思をユーザが有し得る個人的な選好を、これらのタイプのデータがキャプチャし得るので、最適な状態下のプロアクティブコンテンツをユーザに提供するための効果的なソリューションになり得る。特定の実施形態では、アクションセレクタ３４１は、特定のデバイスにアクションを配信すること、および、リアルタイムのデバイスコンテキストをフェッチすること、および、上流の構成要素によってセットされた対話モード（たとえば、割込みなし）とデバイスコンテキストをマッチングすることによって、タスクを果たすためにクライアントシステム１３０に対するアクションを配信および実行し得る。限定としてではなく一例として、アクションは、知らせること、提案すること、スロットの要求、またはデバイス制御のうちの１つまたは複数を含み得る。たとえば、補助システム１４０は、意図－承認ダイアログアクション（すなわち、「プロンプト」ダイアログアクトタイプ）を構築し得る。これは、新しいタスクのためのプロアクティブ提案のための意図およびスロットを含み得る。補助システム１４０は、「プロンプト」ダイアログアクトテンプレートに対応する、はい／いいえの質問をさらに尋ね得る。ユーザが「はい。」と言うと、新しいタスクが実行され得る。さらに、アクションセレクタ３４１は、配信状態の最新情報を考慮して、ダイアログ状態トラッカ３３７にフィードバックを送り得る。本開示は、特定の様式で特定のシステムによって特定のコンテンツをスケジュールすることを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なコンテンツをスケジュールすることを企図する。
特定の実施形態では、補助システム１４０はプロアクティブタスクを、オンライン式に（たとえば、ユーザの明示的な要求を考慮してすぐに作り出される）、または、オフライン式に（たとえば、ユーザの行動パターンをオフラインでマイニングすることによって非同期的に作り出される）、のいずれかで作り出し得る。限定としてではなく一例として、タスクの完了時にフィードバックをユーザに送るため、またはタスクを再試行するためのタスクは、オンラインで作り出され得る。プロアクティブタスクはまた、オフライン処理で非同期的に作り出され得る。補助システム１４０は、ユーザメモリに加えてオフライン推理を実施してユーザ行動パターンをマイニングし、次いで、ユーザのためのルーチンベースのプロアクティブタスクをスケジュールし得る。補助システム１４０は、ユーザメモリ５１５に加えて推論層を実行し、バッチ処理をハンドリングするためにスマートスケジューラ５２５を非同期的にコールし得る。本開示は、特定の様式で特定のシステムによって特定のタスクを作り出すことを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なタスクを作り出すことを企図する。
特定の実施形態では、補助システム１４０は、ダイアログポリシーを使用して、ユーザにプロアクティブ提案を提供すべきかどうか、および提供する場合、どのプロアクティブ提案を提供すべきかを決定し得る。ダイアログポリシーは、ユーザがプロアクティブ提案の基準を満たすかどうかを決定可能な適格性ポリシーを含み得る。また、適格性ポリシーは、このようなプロアクティブ提案を提供するのに好適な時間であるかどうかを決定し得る。適格性ポリシーは、ユーザコンテキスト（ＵＣＥ３１５からの）、ユーザタスク履歴５２０、またはユーザメモリ５１５などの異なる情報に基づき得る。言い換えれば、第１のユーザがプロアクティブ提案を受け取るのに適格であるかどうかを決定することは、第１のユーザに関連付けられたユーザコンテキストデータ、第１のユーザに関連付けられたタスク履歴データ５２０、または第１のユーザに関連付けられたユーザメモリ５１５のうちの１つまたは複数にさらに基づき得る。ユーザコンテキストは、第１のユーザが従事する現在のタスク／アクティビティを示し得る。限定としてではなく一例として、ユーザが眠るつもりである場合、または、ユーザが別のタスクに集中すること（たとえば、運転すること、走ること、もしくは会議中であること）に忙しい場合、補助システム１４０は、適格性ポリシーに基づいてプロアクティブ提案を提供し得ない。特定の実施形態では、ユーザは、入力に関連付けられたタスク／意図がタスク／意図／スキルのホワイトリスト内にある場合、プロアクティブ提案を受け取るのに適格であり得る。さらに、ユーザが最近（たとえば、つい先ほど、昨日等に）別のプロアクティブ提案を受け取っていた場合、適格性ポリシーは、不要な提案でユーザに過負荷をかけないように、どの新しいプロアクティブ提案も提供しないことを決定し得る。それでも、プロアクティブポリシーは、プロアクティブ提案のチェーンでつなぐことを可能にするための最新の提案をユーザが受け入れていた場合、適格性ポリシーを無視することを決定し得る。ユーザコンテキストデータ、タスク履歴データ、またはユーザメモリに基づくダイアログポリシーを使用して、ユーザがプロアクティブ提案に適格であるかどうかを決定することは、このようなダイアログポリシーが、ユーザに関連した現在の情報と履歴情報の両方を使用して、ユーザがプロアクティブ提案を望むかどうかを効果的に評価し得るので、不要な提案でユーザに過負荷をかけないという技術課題に対処するための効果的なソリューションになり得る。本開示は、特定の様式で特定の提案のための特定のポリシーを説明するが、本開示は、任意の好適な様式で任意の好適な提案のための任意の好適なポリシーを企図する。
各ユーザのために、補助システム１４０は、構造化された意図履歴をユーザタスク履歴５２０またはユーザメモリ５１５に記憶し得る。結果として、各ユーザおよび各意図のために、補助システム１４０は、ユーザの以前の意図を素早く探索可能であり得る。さらに、各ユーザのために、補助システム１４０は、いずれかのプロアクティブ提案が提供され、プロアクティブ提案がユーザの補助アクティビティログとして提供された最新の時間を記憶し得る。ユーザの補助アクティビティログを記憶することは、プロアクティブ提案をトリガし過ぎないこと、および同じプロアクティブ提案を２回以上行わないことという目的を満たすのに有用であり得る。本開示は、特定の様式で特定のシステムによって特定のユーザ履歴／メモリを記憶することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なユーザ履歴／メモリを記憶することを企図する。
特定の実施形態では、補助システム１４０は、異なるプロアクティブコンテンツモジュールを使用してプロアクティブ提案を生成し得る。これらのコンテンツモジュールは、どのプロアクティブ提案が関連するか、または利用可能であるかを決定し得る。すべてのコンテンツモジュールが同時に実行し、候補プロアクティブ提案を生み出し得る。プロアクティブコンテンツモジュールの同時化は、単一のポリシーがモジュールすべてを制御すること、および、さらなるタイプのプロアクティブコンテンツへのスケーリングをより容易にすることを可能にし得る。ダイアログアクションを作り出す任意のモジュールは、他のモジュールと同時に実行するためのプロアクティブコンテンツモジュールのうちの１つであり得る。特定の実施形態では、各モジュールは、可能なプロアクティブコンテンツの独自のランク付けを決定し、最高にランク付けされたコンテンツだけを出力し得る。本開示は、特定の様式で特定のコンテンツモジュールを説明するが、本開示は、任意の好適な様式で任意の好適なコンテンツモジュールを企図する。
特定の実施形態では、１つまたは複数のプロアクティブ提案の各々は、提案される調査、提案されるクエリ、または提案されるタスクのうちの１つまたは複数を含み得る。特定の実施形態では、プロアクティブ提案が１つまたは複数の提案される調査を含む場合、補助システム１４０は、ユーザフィードバックを要求するダイアログアクションを作り出すことによって、包括的なユーザ満足度調査を生成し得る。限定としてではなく一例として、提案される調査は、「今日、あなたの経験は良かったですか。」でよく、これに対して、ユーザは「はい。」または「いいえ。」を回答し得る。限定としてではなく別の例として、提案される調査は、「あなたの経験を１から５までで評価してください。」でよく、これに対して、ユーザは１から５までを選び得る。限定としてではなくさらに別の例として、提案される調査は、「私が学習するのを手伝ってください。私はあなたの要求を正しく解析しましたか。」でよい。補助システム１４０は、提案される調査を利用して、ユーザ満足度測定についての明示的なユーザフィードバックを集め得る。本開示は、特定の様式で特定の調査を説明するが、本開示は、任意の好適な様式で任意の好適な調査を企図する。
特定の実施形態では、１つまたは複数のプロアクティブ提案を生成することは、複数のプロアクティブ提案を含む所定の提案リストにアクセスすることを含み得る。所定の提案リストは、第１のユーザに関連付けられたタスク履歴データ５２０、第１のユーザに関連付けられたユーザメモリ５１５、または知識グラフ５１０のうちの１つまたは複数に基づいて生成され得る。限定としてではなく一例として、プロアクティブ提案が１つまたは複数の提案される質問を含む場合、所定の提案リストは、ブラックリストに載った質問シナリオ／意図を含み得る。ブラックリストに載った質問シナリオ／意図は、ユーザが、ユーザが以前に既に回答したことがある提案される質問を受信しないこと、所与の期間内に２回以上、何らかの提案される質問で促されないこと（たとえば、１日あたり最大１つの提案される質問）、および、何らかの特定の提案される質問でこれまでに２回以上促されないことを保証し得る。補助システム１４０は、ユーザが特定のスキルを実行したいと思っているかどうかについて尋ねるダイアログアクションを作り出し得る。限定としてではなく一例として、ダイアログアクションタイプは「プロンプト」、たとえば、「新しいアラームをセットしたいですか。」でよい。ユーザが「はい。」と言うと、補助システム１４０は、推奨されるスキルを実行し得る。ユーザが「いいえ。」と言うと、補助システム１４０はアクションを実行し得ない。限定としてではなく別の例として、プロアクティブ提案が１つまたは複数の提案されるタスクを含む場合、所定の提案リストは、ブラックリストに載ったタスクシナリオ／意図を含み得る。ブラックリストに載ったタスクシナリオ／意図は、ブラックリストに載った質問シナリオ／意図として同様の目的を満たし得る。補助システム１４０は、別の補助スキルをユーザに知らせるダイアログアクションを作り出し得る。限定としてではなく一例として、ダイアログアクションタイプは「提案」、たとえば、「私もあなたのためにアラームをセットすることができます。ヘイ、アシスタント、明日朝７時にアラームをセットしてください、のようなことを言ってみてください。」でよい。この場合、ユーザフィードバック／応答は要求され得ない。本開示は、特定の様式で特定のリストに基づいて特定の提案を生成することを説明するが、本開示は、任意の好適な様式で任意の好適なリストに基づいて任意の好適な提案を生成することを企図する。
ユーザが提案される調査、提案される質問、提案されるタスク、または任意のタイプのプロアクティブコンテンツに適格な場合、補助システム１４０は、ユーザに提供するために１つだけを選び得る。特定の実施形態では、アクションセレクタ３４１は、最高のプロアクティブ提案を提示するために、プロアクティブコンテンツモジュールすべての中からオプションをランク付けし得る。言い換えれば、アクションセレクタ３４１は、クロスドメインランク付けを実施し得る。プロアクティブコンテンツモジュールの各々は、任意選択として、ダイアログアクションを生み出し得、これに対して、アクションセレクタ３４１は、実際に実行するために、これらのアクションのうちの１つを選び得る。特定の実施形態では、ダイアログアクションは、ランダムに、またはより洗練されたルール／モデルに基づいて、選ばれ得る。限定としてではなく一例として、１つのルールは、多様性を改善することを目指す、ユーザタスク履歴５２０および／またはユーザメモリ５１５に基づくプロアクティブ提案のために、最も長い間使用されていないどのプロアクティブコンテンツモジュールにも、選好が与えられるべきであるというものであり得る。アクションセレクタ３４１は、ユーザタスク履歴５２０および／またはユーザメモリ５１５にアクセスすること、プロアクティブダイアログアクションがタイムスタンプを提供されたと決定すること、アクションを実行したプロアクティブコンテンツモジュールの名称を識別すること、ならびに、モジュール固有情報にアクセスすることを行い得る。本開示は、特定の様式で特定のシステムによって特定の提案をランク付けすることを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適な提案をランク付けすることを企図する。
特定の実施形態では、１つまたは複数の入力は、第１のタスクの完了の１つまたは複数の指示を含み得る。これに対応して、１つまたは複数のプロアクティブ提案の各々は、フォローアップ調査、フォローアップ質問、またはフォローアップタスクのうちの１つまたは複数を含み得る。このシナリオでは、補助システム１４０は、第１のタスクが、プロアクティブ提案に適格なタスクのホワイトリスト内にあることを検証し得る。特定の実施形態では、補助システム１４０は、各ターンにおけるユーザフィードバックに基づいて、プロアクティブ提案のチェーンを生成し得る。補助システム１４０は、提示されたプロアクティブコンテンツに応答して、第１のユーザからのユーザ入力をクライアントシステム１３０から受信し得る。補助システム１４０は、次いで、ユーザ入力に応答して第２のタスクを実行し得る。補助システム１４０は、さらに、第１のタスクと、第２のタスクの実行とに基づいて、１つまたは複数の更新されたプロアクティブ提案を生成し得る。特定の実施形態では、補助システム１４０は、チェーンでつながれたプロアクティブ提案を生成するために、コンテキストキャリーオーバーを使用し得る（すなわち、意図および／またはスロットをユーザの初期の要求からプロアクティブ提案に発展させ得る）。限定としてではなく一例として、第１のタスクが完了した後、補助システム１４０は、第２のタスクに対応する第１のプロアクティブ提案を生成し、第１のプロアクティブ提案をユーザにプロアクティブに提示し得る。ユーザが、（たとえば、「はい。」と言うことによって）第１のプロアクティブ提案を承認すると、補助システム１４０は、第２のタスクを完了させ得る。補助システム１４０は、次いで、第１のタスクと第２のタスクの両方を考慮して、第３のタスクに対応する第２のプロアクティブ提案を生成し、第２のプロアクティブ提案をユーザにプロアクティブに提示し得る。補助システム１４０は、ユーザがプロアクティブ提案にこれ以上関心がないことを、ユーザフィードバックが示すまで、プロアクティブ提案のこのようなチェーンでつながれたシーケンスを続け得る。本開示は、特定の様式で特定のシステムによって特定のチェーンでつながれた提案を生成することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なチェーンでつながれた提案を生成することを企図する。
特定の実施形態では、１つまたは複数の入力は、１つまたは複数のマルチモーダル信号を含み得る。各マルチモーダル信号は、日付、時間、ロケーション、ビジュアル信号、サウンド信号、エンティティ更新、またはユーザコンテキストのうちの１つまたは複数に基づき得る。補助システム１４０は、同様に、マルチモーダルコンテキストにおけるプロアクティブ提案のチェーンを生成し得る。特定の実施形態では、補助システム１４０は、１つまたは複数の更新されたマルチモーダル信号を受信し得る。補助システム１４０は、次いで、更新されたマルチモーダル信号に基づいて、１つまたは複数の更新されたプロアクティブ提案を生成し得る。限定としてではなく一例として、新しいマルチモーダル信号が入って来ると、ＵＣＥ３１５は、ユーザに関連付けられたユーザコンテキストを更新し得る。更新されたユーザコンテキストは、マルチモーダルダイアログ状態に記録され得る。補助システム１４０は、次いで、更新されたユーザコンテキストに応答して、新しいプロアクティブ提案を提供し得る。本開示は、特定の様式で特定のシステムによって特定のチェーンでつながれた提案を生成することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適なチェーンでつながれた提案を生成することを企図する。
特定の実施形態では、選択されたプロアクティブ提案は、ダイアログマネージャ３３５に返され得る。ダイアログマネージャ３３５は、ＮＬＧモジュール３５６を使用して、プロアクティブ提案、たとえば、提案される調査、提案される質問、または提案されるタスクに基づいて応答を生成し得る。特定の実施形態では、ＮＬＧダイアログアクトは、ターゲットロケールがダイアログアクトのスタッキングを可能にするために有効化され得る。プロアクティブ提案のためのＮＬＧテンプレートはローカライズされ得る。特定の実施形態では、選択されたプロアクティブ提案は、将来の使用のためにユーザタスク履歴５２０および／またはユーザメモリ５１５に同時に記憶され得る。本開示は、特定の様式で特定のシステムによって特定の応答を生成することを説明するが、本開示は、任意の好適な様式で任意の好適なシステムによって任意の好適な応答を生成することを企図する。
図６Ａは、時間を確かめたいというユーザ要求に応答した、例示的なプロアクティブ提案を示す。図６Ａに示されているように、ユーザ６００は、自分のクライアントシステム１３０（たとえば、スマートフォン）を介して補助システム１４０に「ヘイ、アシスタント、何時ですか。（６０２）」と尋ね得る。補助システム１４０は、時間を確かめるタスクを実行し、「午前１１：３０です。（６０４）」と答え得る。補助システム１４０は、「カレンダーを見たいですか。（６０６）」というプロアクティブ提案をさらに生成し得る。図６Ｂは、時間を確かめたいというユーザ要求に応答した、別の例示的なプロアクティブ提案を示す。図６Ｂに示されているように、ユーザ６００は、「ヘイ、アシスタント、何時ですか。（６０２）」という同じ質問を補助システム１４０に尋ね得る。補助システム１４０は時間を確かめ、「午前１１：３０です。（６０４）」と答え得る。補助システム１４０は、ユーザ６００のカレンダーをさらに確かめ、「正午の歯医者の予約にたどり着くのに１５分かかります。（６０６）」というプロアクティブ提案を生成し得る。
図７Ａは、写真を撮りたいというユーザ要求に応答した、例示的なプロアクティブ提案を示す。図７Ａに示されているように、ユーザ７００は、自分のクライアントシステム１３０（たとえば、タブレット）を介して補助システム１４０に、「ヘイ、アシスタント、この犬の写真を撮ってください。（７０２）」という要求を話しかけ得る。補助システム１４０はタスクを実行し、「行いました。（７０４）」と答える。補助システム１４０は、「これをオンラインに投稿したいですか。（７０６）」というプロアクティブ提案をさらに生成し得る。図７Ｂは、写真を撮りたいというユーザ要求に応答した、別の例示的なプロアクティブ提案を示す。図７Ｂに示されているように、ユーザ７００は同じこと、すなわち写真を撮ることを行うように補助システム１４０に要求し得る。補助システム１４０はタスクを実行し、「行いました。（７０４）」と答える。補助システム１４０は、「あなたはスマートカメラツールを使用してこれを編集することができます。（７０８）」というプロアクティブ提案をさらに生成し得る。
図８は、ビジュアル信号に応答した、例示的なプロアクティブ提案を示す。図８に示されているように、ユーザ８００は、ＡＲ／ＶＲグラスをクライアントシステム１３０として着用中であり得る。ユーザは時計８０２を見ることができ、時計８０２は、日付が２０２０年１２月２０日であることを示している。ＡＲ／ＶＲグラスによってキャプチャされたビジュアル信号は、プロアクティブ提案をトリガし得る。したがって、補助システム１４０は、「そろそろクリスマスです。クリスマスギフトのために何かオンラインショッピングを行いたいですか。（８０４）」というプロアクティブ提案を生成し得る。
図９は、オーディオ信号に応答した、例示的なプロアクティブ提案を示す。図９に示されているように、ユーザ９００はリビングルーム内に着座中であり得、スマートドック（すなわち、クライアントシステム１３０）が近くにある。ユーザは何かの音楽が聞こえ得る。スマートドックによってキャプチャされたオーディオ信号は、プロアクティブ提案をトリガし得る。したがって、補助システム１４０は、受信されたオーディオ信号に基づいて音楽の検索を最初に実施し、これが何の歌であるか、およびこれがどのアーティストのものであるかを決定し得る。補助システム１４０は、「これは、アーティストＡによる新しいビルボードヒットです。アーティストＢおよびＣが同様の歌を有しています。聴きたいですか。」のような応答９０２を生成し得る。応答９０２は、ユーザが聞いた音楽の情報、およびまた、いくつかの同様の歌を聴くことをユーザに提案するプロアクティブ提案を備え得る。
図１０は、プロアクティブ提案のチェーンの一例を示す。図１０に示されているように、ユーザ９００はリビングルーム内に着座中であり得、スマートドック（すなわち、クライアントシステム１３０）が近くにある。ユーザ９００は、「ヘイ、アシスタント、何か良いギリシャレストランが近くにありますか。（９０４）」と補助システム１４０に尋ね得る。補助システム１４０は、「Ｇｙｒｏ Ｂｉｓｔｒｏが良いレストランです。（９０６）」と答え得る。補助システム１４０は、「予約するか、宅配を注文したいですか。（９０８）」という第１のプロアクティブ提案を生成し得る。ユーザ９００は「宅配。（９１０）」と答え得る。ユーザフィードバックに基づいて、補助システム１４０は、「配信アプリで注文するなら、配信アプリが今プロモーションを行っています。（９１２）」という第２のプロアクティブ提案をさらに生成し得る。ユーザ９００は、「あ、本当に？それなら、配信アプリで注文しよう。（９１４）」と言い得る。ユーザ９００の承認を受信すると、補助システム１４０は、「グリークラムサラダを注文したいですか。これは、彼らの特別料理であり、ベストセラーです。（９１６）」という第３のプロアクティブ提案を生成し得る。ユーザ９００は、「ええ。（９１８）」と言って承認し得る。補助システム１４０は、「他に何か欲しいですか。（９２０）」という第４のプロアクティブ提案をさらに生成し得る。ユーザ９００は、「以上です。（９２２）」と言うことによって、自分がこれ以上の提案を聞く意思がないことを示し得る。補助システム１４０は食品注文のタスクを実行し、「現在注文中（９２４）」というステータスをユーザに通知し得る。
図１１は、プロアクティブ提案を提供するための例示的な方法１１００を示す。方法はステップ１１１０において始まり得、ここで、補助システム１４０は、第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信し得、１つまたは複数の入力は、第１のタスクの完了の指示、または、日付、時間、ロケーション、ビジュアル信号、サウンド信号、エンティティ更新、もしくはユーザコンテキストのうちの１つもしくは複数に基づくマルチモーダル信号のうちの１つまたは複数を含む。ステップ１１２０において、補助システム１４０は、プロアクティブポリシー、第１のユーザに関連付けられたユーザコンテキストデータ、第１のユーザに関連付けられたタスク履歴データ、または第１のユーザに関連付けられたユーザメモリのうちの１つまたは複数に基づいて、第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定し得る。ステップ１１３０において、補助システム１４０は、第１のユーザに関連付けられた１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成し得、１つまたは複数のプロアクティブ提案の各々は、提案される調査、提案されるクエリ、提案されるタスク、フォローアップ調査、フォローアップ質問、またはフォローアップタスクのうちの１つまたは複数を含み、生成することは、複数のプロアクティブ提案を含む所定の提案リストにアクセスすることを含み、所定の提案リストは、第１のユーザに関連付けられたタスク履歴データ、第１のユーザに関連付けられたユーザメモリ、知識グラフ、またはその後の意図のうちの１つまたは複数に基づいて生成される。ステップ１１４０において、補助システム１４０は、１つまたは複数の入力に基づいて、第１のユーザに関連付けられた初期の意図を決定し得る。ステップ１１５０において、補助システム１４０は、機械学習モデルに基づいて、初期の意図に基づいて、第１のユーザに関連付けられたその後の意図を決定し得、機械学習モデルは、複数の意図のペアに関連付けられたデータに基づいてトレーニングされ、複数の意図のペアに関連付けられたデータは、初期の意図とその後の意図との間の意図のペアに関連付けられたデータを含む。ステップ１１６０において、補助システム１４０は、第１のユーザに関連付けられたタスク履歴データ、第１のユーザに関連付けられたユーザコンテキストデータ、第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて、プロアクティブ提案のうちの１つまたは複数を選択し得る。ステップ１１７０において、補助システム１４０は、プロアクティブコンテンツの配信スケジュールを決定し得、配信スケジュールは、第１のユーザに関連付けられたユーザコンテキストデータ、第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて決定される。ステップ１１８０において、補助システム１４０は、配信スケジュールに基づいて、プロアクティブコンテンツを第１のユーザに提示するための命令を、第１のユーザに関連付けられたクライアントシステム１３０に送り得、プロアクティブコンテンツは、選択されたプロアクティブ提案を含む。特定の実施形態は、適切な場合、図１１の方法の１つまたは複数のステップを繰り返し得る。本開示は、図１１の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図１１の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図１１の方法の特定のステップを含むプロアクティブ提案を提供するための例示的な方法を説明し、示すが、本開示は、適切な場合、図１１の方法のステップのすべてまたは一部を含み得るか、どれも含み得ない任意の好適なステップを含むプロアクティブ提案を提供するための任意の好適な方法を企図する。さらに、本開示は、図１１の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図１１の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。
ソーシャルグラフ
図１２は、例示的なソーシャルグラフ１２００を示す。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、１つまたは複数のソーシャルグラフ１２００を１つまたは複数のデータストアに記憶し得る。特定の実施形態では、ソーシャルグラフ１２００は、複数のユーザノード１２０２または複数の概念ノード１２０４を含み得る、複数のノードと、それらのノードを接続する複数のエッジ１２０６とを含み得る。各ノードは、一意の数字またはユーザ名など、一意の識別子（ＩＤ）をその各々が有し得る、一意のエンティティ（すなわち、ユーザまたは概念）に関連付けられ得る。説明のために、２次元ビジュアルマップ表現において、図１２に示されている例示的なソーシャルグラフ１２００が示される。特定の実施形態では、ソーシャルネットワーキングシステム１６０、クライアントシステム１３０、補助システム１４０、またはサードパーティシステム１７０は、好適な適用例のためにソーシャルグラフ１２００および関係するソーシャルグラフ情報にアクセスし得る。ソーシャルグラフ１２００のノードおよびエッジは、たとえば（ソーシャルグラフデータベースなどの）データストアに、データオブジェクトとして記憶され得る。そのようなデータストアは、ソーシャルグラフ１２００のノードまたはエッジの１つまたは複数の検索可能またはクエリ可能なインデックスを含み得る。
特定の実施形態では、ユーザノード１２０２は、ソーシャルネットワーキングシステム１６０または補助システム１４０のユーザに対応し得る。限定としてではなく一例として、ユーザは、ソーシャルネットワーキングシステム１６０または補助システム１４０と、あるいはソーシャルネットワーキングシステム１６０または補助システム１４０上で、対話または通信する個人（人間のユーザ）、エンティティ（たとえば、企業、ビジネス、またはサードパーティアプリケーション）、または（たとえば、個人またはエンティティの）グループであり得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０にユーザがアカウントを登録すると、ソーシャルネットワーキングシステム１６０は、ユーザに対応するユーザノード１２０２を作成し、１つまたは複数のデータストアにユーザノード１２０２を記憶し得る。本明細書で説明されるユーザおよびユーザノード１２０２は、適切な場合、登録済みユーザおよび登録済みユーザに関連付けられたユーザノード１２０２を指し得る。さらに、または代替として、本明細書で説明されるユーザおよびユーザノード１２０２は、適切な場合、ソーシャルネットワーキングシステム１６０に登録されていないユーザを指し得る。特定の実施形態では、ユーザノード１２０２は、ユーザによって提供された情報、またはソーシャルネットワーキングシステム１６０を含む様々なシステムによって集められた情報に関連付けられ得る。限定としてではなく一例として、ユーザは、自分の名前、プロファイルピクチャ、連絡先情報、生年月日、性、配偶者の有無、家族状況、勤務先、学歴、選好、興味、または他の人口統計学的情報を提供し得る。特定の実施形態では、ユーザノード１２０２は、ユーザに関連付けられた情報に対応する１つまたは複数のデータオブジェクトに関連付けられ得る。特定の実施形態では、ユーザノード１２０２は、１つまたは複数のウェブインターフェースに対応し得る。
特定の実施形態では、概念ノード１２０４は、概念に対応し得る。限定としてではなく一例として、概念は、（たとえば、映画館、レストラン、ランドマーク、または都市などの）場所、（たとえば、ソーシャルネットワーキングシステム１６０に関連付けられたウェブサイト、またはウェブアプリケーションサーバに関連付けられたサードパーティウェブサイトなどの）ウェブサイト、（たとえば、人、ビジネス、グループ、スポーツチーム、または有名人などの）エンティティ、ソーシャルネットワーキングシステム１６０内に、またはウェブアプリケーションサーバなどの外部サーバ上に置かれ得る（たとえば、オーディオファイル、ビデオファイル、デジタル写真、テキストファイル、構造化文書、またはアプリケーションなどの）リソース、（たとえば、彫刻、絵画、映画、ゲーム、歌、アイデア、写真、または書かれた作品などの）物的財産または知的財産、ゲーム、アクティビティ、アイデアまたは理論、別の好適な概念、あるいは２つまたはそれ以上のそのような概念に対応し得る。概念ノード１２０４は、ユーザによって提供された概念の情報、またはソーシャルネットワーキングシステム１６０と補助システム１４０とを含む様々なシステムによって集められた情報に関連付けられ得る。限定としてではなく一例として、概念の情報は、名前またはタイトル、１つまたは複数の画像（たとえば、本のカバーページの画像）、ロケーション（たとえば、住所または地理的ロケーション）、（ＵＲＬに関連付けられ得る）ウェブサイト、連絡先情報（たとえば、電話番号または電子メールアドレス）、他の好適な概念情報、あるいはそのような情報の任意の好適な組合せを含み得る。特定の実施形態では、概念ノード１２０４は、概念ノード１２０４に関連付けられた情報に対応する１つまたは複数のデータオブジェクトに関連付けられ得る。特定の実施形態では、概念ノード１２０４は、１つまたは複数のウェブインターフェースに対応し得る。
特定の実施形態では、ソーシャルグラフ１２００内のノードは、（「プロファイルインターフェース」と呼ばれることがある）ウェブインターフェースを表すか、またはウェブインターフェースによって表され得る。プロファイルインターフェースは、ソーシャルネットワーキングシステム１６０または補助システム１４０によってホストされるか、あるいはソーシャルネットワーキングシステム１６０または補助システム１４０にとってアクセス可能であり得る。プロファイルインターフェースはまた、サードパーティシステム１７０に関連付けられたサードパーティウェブサイト上でホストされ得る。限定としてではなく一例として、特定の外部ウェブインターフェースに対応するプロファイルインターフェースは、特定の外部ウェブインターフェースであり得、プロファイルインターフェースは、特定の概念ノード１２０４に対応し得る。プロファイルインターフェースは、他のユーザのすべてまたは選択されたサブセットによって閲覧可能であり得る。限定としてではなく一例として、ユーザノード１２０２は、対応するユーザが、コンテンツを追加するか、発表するか、または場合によっては自分自身を明示し得る、対応するユーザプロファイルインターフェースを有し得る。限定としてではなく別の例として、概念ノード１２０４は、特に、概念ノード１２０４に対応する概念に関連して、１人または複数のユーザがコンテンツを追加するか、発表するか、または自分自身を明示し得る、対応する概念プロファイルインターフェースを有し得る。
特定の実施形態では、概念ノード１２０４は、サードパーティシステム１７０によってホストされるサードパーティウェブインターフェースまたはリソースを表し得る。サードパーティウェブインターフェースまたはリソースは、他の要素の中でも、コンテンツ、選択可能なまたは他のアイコン、あるいは、アクションまたはアクティビティを表す他の対話可能オブジェクトを含み得る。限定としてではなく一例として、サードパーティウェブインターフェースは、「いいね！」、「チェックイン」、「食べる」、「推奨」、あるいは別の好適なアクションまたはアクティビティなど、選択可能なアイコンを含み得る。サードパーティウェブインターフェースを閲覧しているユーザは、アイコンのうちの１つ（たとえば「チェックイン」）を選択することによってアクションを実施し、クライアントシステム１３０が、ユーザのアクションを指示するメッセージをソーシャルネットワーキングシステム１６０に送ることを引き起こし得る。メッセージに応答して、ソーシャルネットワーキングシステム１６０は、ユーザに対応するユーザノード１２０２と、サードパーティウェブインターフェースまたはリソースに対応する概念ノード１２０４との間のエッジ（たとえば、チェックインタイプのエッジ）を作成し、１つまたは複数のデータストアにエッジ１２０６を記憶し得る。
特定の実施形態では、ソーシャルグラフ１２００内のノードのペアが、１つまたは複数のエッジ１２０６によって互いに接続され得る。ノードのペアを接続するエッジ１２０６は、ノードのペア間の関係を表し得る。特定の実施形態では、エッジ１２０６は、ノードのペア間の関係に対応する１つまたは複数のデータオブジェクトまたは属性を含むか、または表し得る。限定としてではなく一例として、第１のユーザは、第２のユーザが第１のユーザの「友達」であることを指示し得る。この指示に応答して、ソーシャルネットワーキングシステム１６０は、「友達要求」を第２のユーザに送り得る。第２のユーザが「友達要求」を承認した場合、ソーシャルネットワーキングシステム１６０は、ソーシャルグラフ１２００内で、第１のユーザのユーザノード１２０２を第２のユーザのユーザノード１２０２に接続するエッジ１２０６を作成し、データストア１６４の１つまたは複数にソーシャルグラフ情報としてエッジ１２０６を記憶し得る。図１２の例では、ソーシャルグラフ１２００は、ユーザ「Ａ」のユーザノード１２０２とユーザ「Ｂ」のユーザノード１２０２との間の友達関係を指示するエッジ１２０６と、ユーザ「Ｃ」のユーザノード１２０２とユーザ「Ｂ」のユーザノード１２０２との間の友達関係を指示するエッジとを含む。本開示は、特定の属性をもつ特定のエッジ１２０６が、特定のユーザノード１２０２を接続することを説明するかまたは示すが、本開示は、任意の好適な属性をもつ任意の好適なエッジ１２０６が、ユーザノード１２０２を接続することを企図する。限定としてではなく一例として、エッジ１２０６は、友人関係、家族関係、ビジネスまたは雇用関係、（たとえば、いいね！を表明することなどを含む）ファン関係、フォロワー関係、（たとえば、アクセスすること、閲覧すること、チェックインすること、共有することなどを含む）ビジター関係、加入者関係、上下関係、互恵関係、非互恵関係、別の好適なタイプの関係、あるいは２つまたはそれ以上のそのような関係を表し得る。その上、本開示は一般に、ノードを、接続されているものとして説明しているが、本開示は、ユーザまたは概念も、接続されているものとして説明する。本明細書では、接続されるユーザまたは概念への参照は、適切な場合、１つまたは複数のエッジ１２０６によってソーシャルグラフ１２００内で接続されるこれらのユーザまたは概念に対応するノードを参照し得る。２つのノードによってそれぞれ表された２つのオブジェクトの間の分離の程度は、ソーシャルグラフ１２００における２つのノードを接続する最短経路におけるエッジのカウントである。限定としてではなく一例として、ソーシャルグラフ１２００において、ユーザ「Ｃ」のユーザノード１２０２は、たとえば、ユーザ「Ｂ」のユーザノード１２０２を直接通る第１の経路、会社「Ａ１ｍｅ」の概念ノード１２０４とユーザ「Ｄ」のユーザノード１２０２とを通る第２の経路、ならびに、ユーザノード１２０２と、学校「Ｓｔａｔｅｆｏｒｄ」、ユーザ「Ｇ」、会社「Ａ１ｍｅ」、およびユーザ「Ｄ」を表す概念ノード１２０４とを通る第３の経路を含む、複数の経路を介してユーザ「Ａ」のユーザノード１２０２に接続される。ユーザ「Ｃ」およびユーザ「Ａ」は、これらの対応するノードに接続する最短経路（すなわち、第１の経路）が２つのエッジ１２０６を含むので、２つの分離の程度を有する。
特定の実施形態では、ユーザノード１２０２と概念ノード１２０４との間のエッジ１２０６は、概念ノード１２０４に関連付けられた概念に向かってユーザノード１２０２に関連付けられたユーザによって実施された特定のアクションまたはアクティビティを表し得る。限定としてではなく一例として、図１２に示されているように、ユーザは、概念に対して「いいね！」を表明する、「通っていた」、「プレイした」、「聴いた」、「料理した」、「勤務した」、または「読んだ」ことがあり、これらの各々が、エッジのタイプまたはサブタイプに対応し得る。概念ノード１２０４に対応する概念プロファイルインターフェースは、たとえば、（たとえば、クリック可能な「チェックイン」アイコンなどの）選択可能な「チェックイン」アイコン、または選択可能な「お気に入りに追加」アイコンを含み得る。同様に、ユーザがこれらのアイコンをクリックした後、ソーシャルネットワーキングシステム１６０は、それぞれのアクションに対応するユーザのアクションに応答して、「お気に入り」エッジ、または「チェックイン」エッジを作成し得る。限定としてではなく別の例として、ユーザ（ユーザ「Ｃ」）は、特定のアプリケーション（サードパーティオンラインミュージックアプリケーション）を使用して、特定の歌（「イマジン」）を聴き得る。この場合、ソーシャルネットワーキングシステム１６０は、ユーザに対応するユーザノード１２０２と、歌およびアプリケーションに対応する概念ノード１２０４との間に（図１２に示されているような）「聴いた」エッジ１２０６および「使用した」エッジを作成し、ユーザが歌を聴き、アプリケーションを使用したことを指示し得る。その上、ソーシャルネットワーキングシステム１６０は、歌に対応する概念ノード１２０４と、アプリケーションに対応する概念ノード１２０４との間に（図１２に示されているような）「プレイした」エッジ１２０６を作成し、特定の歌が特定のアプリケーションによってプレイされたことを指示し得る。この場合、「プレイした」エッジ１２０６は、外部オーディオファイル（歌「Ｉｍａｇｉｎｅ」）に対して外部アプリケーション（サードパーティオンラインミュージックアプリケーション）によって実施されるアクションに対応する。本開示は、特定の属性をもつ特定のエッジ１２０６が、ユーザノード１２０２と概念ノード１２０４とを接続することを説明するが、本開示は、任意の好適な属性をもつ任意の好適なエッジ１２０６が、ユーザノード１２０２と概念ノード１２０４とを接続することを企図する。その上、本開示は、ユーザノード１２０２と概念ノード１２０４との間のエッジが、単一の関係を表すことを説明するが、本開示は、ユーザノード１２０２と概念ノード１２０４との間のエッジが、１つまたは複数の関係を表すことを企図する。限定としてではなく一例として、エッジ１２０６は、ユーザが、特定の概念に対して、いいね！を表明することと、特定の概念において使用したことの両方を表し得る。代替的に、別のエッジ１２０６は、（図１２において、ユーザ「Ｅ」のためのユーザノード１２０２と「オンラインミュージックアプリケーション」のための概念ノード１２０４との間に示されているような）ユーザノード１２０２と概念ノード１２０４との間の関係（または単一の関係の倍数）の各タイプを表し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ソーシャルグラフ１２００内にユーザノード１２０２と概念ノード１２０４との間にエッジ１２０６を作成し得る。限定としてではなく一例として、（たとえば、ウェブブラウザ、またはユーザのクライアントシステム１３０によってホストされる専用アプリケーションを使用することなどによって）概念プロファイルインターフェースを閲覧するユーザは、「いいね！」アイコンをクリックまたは選択することによって、概念ノード１２０４によって表される概念に対して自分が、いいね！を表明したことを指示し得、これにより、ユーザのクライアントシステム１３０に、概念プロファイルインターフェースに関連付けられた概念に対してユーザが、いいね！を表明したことを指示するメッセージをソーシャルネットワーキングシステム１６０に送らせ得る。メッセージに応答して、ソーシャルネットワーキングシステム１６０は、ユーザと概念ノード１２０４との間の「いいね！」エッジ１２０６によって示されているように、ユーザに関連付けられたユーザノード１２０２と、概念ノード１２０４との間にエッジ１２０６を作成し得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、１つまたは複数のデータストアにエッジ１２０６を記憶し得る。特定の実施形態では、エッジ１２０６は、特定のユーザアクションに応答して、ソーシャルネットワーキングシステム１６０によって自動的に形成され得る。限定としてではなく一例として、第１のユーザがピクチャをアップロードするか、本を読むか、映画を観るか、または歌を聴く場合、エッジ１２０６は、第１のユーザに対応するユーザノード１２０２とそれらの概念に対応する概念ノード１２０４との間に形成され得る。本開示は、特定の様式で特定のエッジ１２０６を形成することについて説明するが、本開示は、任意の好適な様式で任意の好適なエッジ１２０６を形成することを企図する。
ベクトル空間および埋込み
図１３は、ベクトル空間１３００の例示的なビューを示す。特定の実施形態では、オブジェクトまたはｎグラムは、ｄ次元ベクトル空間において表され得、ここで、ｄは、任意の好適な数の次元を示す。ベクトル空間１３００は３次元空間として示されているが、ベクトル空間１３００は任意の好適な次元のものであり得るので、これは説明のためのものにすぎない。特定の実施形態では、ｎグラムは、用語埋込みと呼ばれるベクトルとして、ベクトル空間１３００において表され得る。各ベクトルは、ベクトル空間１３００における特定の点（すなわち、ベクトルの終点）に対応する座標を含み得る。限定としてではなく一例として、ベクトル１３１０、１３２０、および１３３０は、図１３に示されているように、ベクトル空間１３００における点として表され得る。ｎグラムは、それぞれのベクトル表現にマッピングされ得る。限定としてではなく一例として、ｎグラムｔ１およびｔ２が、辞書によって定義された
Figure 2022551788000002
を適用することによって、それぞれ、ベクトル空間１３００における
Figure 2022551788000003
にマッピングされ得、したがって、
Figure 2022551788000004
である。限定としてではなく別の例として、テキストをベクトル表現にマッピングするようにトレーニングされた辞書が利用され得るか、または、そのような辞書は、それ自体、トレーニングを介して生成され得る。限定としてではなく別の例として、ｎグラムを、ベクトル空間１３００におけるベクトル表現にマッピングするために、ワード埋込みモデルが使用され得る。特定の実施形態では、ｎグラムは、機械学習モデル（たとえば、ニューラルネットワーク）を使用することによって、ベクトル空間１３００におけるベクトル表現にマッピングされ得る。機械学習モデルは、トレーニングデータのシーケンス（たとえば、各々がｎグラムを含むオブジェクトのコーパス）を使用してトレーニングされていることがある。
特定の実施形態では、オブジェクトは、特徴ベクトルまたはオブジェクト埋込みと呼ばれるベクトルとして、ベクトル空間１３００において表され得る。限定としてではなく一例として、オブジェクトｅ１およびｅ２が、
Figure 2022551788000005
を適用することによって、それぞれ、ベクトル空間１３００における
Figure 2022551788000006
にマッピングされ得、したがって、
Figure 2022551788000007
である。特定の実施形態では、オブジェクトは、オブジェクトの１つまたは複数の特性、属性、または特徴、他のオブジェクトとのオブジェクトの関係、あるいはオブジェクトに関連付けられた任意の他の好適な情報に基づいて、ベクトルにマッピングされ得る。限定としてではなく一例として、
Figure 2022551788000008
が、特徴抽出によってオブジェクトをベクトルにマッピングし得、特徴抽出は、測定されたデータの初期セットから開始し、導出される値（たとえば、特徴）を組み立て得る。限定としてではなく一例として、ビデオまたは画像を含むオブジェクトが、オブジェクトの様々な所望の部分または形状を検出または分離するためのアルゴリズムを使用することによって、ベクトルにマッピングされ得る。ベクトルを計算するために使用される特徴が、エッジ検出、コーナー検出、ブロブ検出、リッジ検出、スケール不変特徴変換、エッジ方向、変化する強度、自己相関、動き検出、オプティカルフロー、しきい値処理、ブロブ抽出、テンプレートマッチング、ハフ変換（たとえば、線、円、楕円、任意の形状）から取得された情報、または任意の他の好適な情報に基づき得る。限定としてではなく別の例として、オーディオデータを含むオブジェクトが、スペクトル傾斜、調性係数、オーディオスペクトル重心、オーディオスペクトルエンベロープ、メル周波数ケプストラムなどの特徴、または任意の他の好適な情報に基づいて、ベクトルにマッピングされ得る。特定の実施形態では、オブジェクトが、効率的に処理されるには大きすぎるか、または冗長データを含むかのいずれかであるデータを有するとき、
Figure 2022551788000009
が、変換された低減された特徴のセット（たとえば、特徴選択）を使用して、オブジェクトをベクトルにマッピングし得る。特定の実施形態では、
Figure 2022551788000010
が、オブジェクトｅに関連付けられた１つまたは複数のｎグラムに基づいて、オブジェクトｅを
Figure 2022551788000011
にマッピングし得る。本開示は、特定の様式でベクトル空間においてｎグラムまたはオブジェクトを表すことについて説明するが、本開示は、任意の好適な様式でベクトル空間においてｎグラムまたはオブジェクトを表すことを企図する。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、ベクトル空間１３００におけるベクトルの類似度メトリックを計算し得る。類似度メトリックは、コサイン類似度、ミンコフスキー距離、マハラノビス距離、ジャカード類似度係数、または任意の好適な類似度メトリックであり得る。限定としてではなく一例として、
Figure 2022551788000012
との類似度メトリックは、
Figure 2022551788000013
であり得る。限定としてではなく別の例として、
Figure 2022551788000014
との類似度メトリックは、
Figure 2022551788000015
であり得る。２つのベクトルの類似度メトリックは、ベクトル空間１３００における２つのベクトル間の距離によって測定されるように、それぞれ、２つのベクトルに対応する２つのオブジェクトまたはｎグラムが、互いにどのくらい類似しているかを表し得る。限定としてではなく一例として、それぞれのベクトル間の距離に基づいて、ベクトル１３１０およびベクトル１３２０は、ベクトル１３１０およびベクトル１３３０に対応するオブジェクトよりも互いに類似しているオブジェクトに対応し得る。本開示は、特定の様式でベクトル間の類似度メトリックを計算することについて説明するが、本開示は、任意の好適な様式でベクトル間の類似度メトリックを計算することを企図する。
ベクトル空間、埋込み、特徴ベクトル、および類似度メトリックに関するより多くの情報が、その各々が参照により組み込まれる、２０１５年１１月２３日に出願された米国特許出願第１４／９４９４３６号、２０１６年１０月５日に出願された米国特許出願第１５／２８６３１５号、および２０１６年１１月３０日に出願された米国特許出願第１５／３６５７８９号において見つけられ得る。
人工ニューラルネットワーク
図１４は、例示的な人工ニューラルネットワーク（「ＡＮＮ」）１４００を示す。特定の実施形態では、ＡＮＮは、１つまたは複数のノードを含む計算モデルを指し得る。例示的なＡＮＮ１４００は、入力層１４１０と、隠れ層１４２０、１４３０、１４４０と、出力層１４５０とを含み得る。ＡＮＮ１４００の各層は、ノード１４０５またはノード１４１５など、１つまたは複数のノードを含み得る。特定の実施形態では、ＡＮＮの各ノードは、ＡＮＮの別のノードに接続され得る。限定としてではなく一例として、入力層１４１０の各ノードは、隠れ層１４２０のより多くのノードのうちの１つに接続され得る。特定の実施形態では、１つまたは複数のノードは、バイアスノード（たとえば、前の層中のいかなるノードにも接続されず、前の層中のいかなるノードからも入力を受信しない、層中のノード）であり得る。特定の実施形態では、各層中の各ノードは、前のまたは後続の層の１つまたは複数のノードに接続され得る。図１４は、特定の数の層、特定の数のノード、およびノード間の特定の接続をもつ特定のＡＮＮを示すが、本開示は、任意の好適な数の層、任意の好適な数のノード、およびノード間の任意の好適な接続をもつ任意の好適なＡＮＮを企図する。限定としてではなく一例として、図１４は、入力層１４１０の各ノードと隠れ層１４２０の各ノードとの間の接続を示すが、入力層１４１０の１つまたは複数のノードが、隠れ層１４２０の１つまたは複数のノードに接続されないことがある。
特定の実施形態では、ＡＮＮは、フィードフォワードＡＮＮ（たとえば、入力層から始まり、連続する層に進む一方向において、ノード間の通信が流れる、サイクルまたはループのないＡＮＮ）であり得る。限定としてではなく一例として、隠れ層１４２０の各ノードへの入力は、入力層１４１０の１つまたは複数のノードの出力を含み得る。限定としてではなく別の例として、出力層１４５０の各ノードへの入力は、隠れ層１４４０の１つまたは複数のノードの出力を含み得る。特定の実施形態では、ＡＮＮは、深層ニューラルネットワーク（たとえば、少なくとも２つの隠れ層を含むニューラルネットワーク）であり得る。特定の実施形態では、ＡＮＮは、深層残差ネットワークであり得る。深層残差ネットワークは、残差ブロックに編成された隠れ層を含むフィードフォワードＡＮＮであり得る。第１の残差ブロックの後の各残差ブロックへの入力は、前の残差ブロックの出力と前の残差ブロックの入力との関数であり得る。限定としてではなく一例として、残差ブロックＮへの入力は、Ｆ（ｘ）＋ｘであり得、ここで、Ｆ（ｘ）は、残差ブロックＮ－１の出力であり得、ｘは、残差ブロックＮ－１への入力であり得る。本開示は、特定のＡＮＮについて説明するが、本開示は、任意の好適なＡＮＮを企図する。
特定の実施形態では、活性化関数が、ＡＮＮの各ノードに対応し得る。ノードの活性化関数は、所与の入力に対するノードの出力を定義し得る。特定の実施形態では、ノードへの入力は、入力のセットを含み得る。限定としてではなく一例として、活性化関数は、恒等関数、バイナリステップ関数、ロジスティック関数、または任意の他の好適な関数であり得る。限定としてではなく別の例として、ノードｋについての活性化関数は、
Figure 2022551788000016
、
Figure 2022551788000017
、整流器Ｆｋ（ｓｋ）＝ｍａｘ（０，ｓｋ）、または任意の他の好適な関数Ｆｋ（ｓｋ）であり得、ここで、ｓｋは、ノードｋへの有効な入力であり得る。特定の実施形態では、ノードに対応する活性化関数の入力は、重み付けされ得る。各ノードは、重み付けされた入力に基づいて、対応する活性化関数を使用して、出力を生成し得る。特定の実施形態では、ノード間の各接続は、重みに関連付けられ得る。限定としてではなく一例として、ノード１４０５とノード１４１５との間の接続１４２５は、０．４の重み付け係数を有し得、これは、０．４にノード１４０５の出力を乗算したものが、ノード１４１５への入力として使用されることを指示し得る。限定としてではなく別の例として、ノードｋの出力ｙｋは、ｙｋ＝Ｆｋ（ｓｋ）であり得、ここで、Ｆｋは、ノードｋに対応する活性化関数であり得、ｓｋ＝Σｊ（ｗｊｋｘｊ）は、ノードｋへの有効な入力であり得、ｘｊは、ノードｋに接続されたノードｊの出力であり得、ｗｊｋは、ノードｊとノードｋとの間の重み付け係数であり得る。特定の実施形態では、入力層のノードへの入力は、オブジェクトを表すベクトルに基づき得る。本開示は、ノードへの特定の入力およびノードの特定の出力について説明するが、本開示は、ノードへの任意の好適な入力およびノードの任意の好適な出力を企図する。その上、本開示は、ノード間の特定の接続および重みについて説明し得るが、本開示は、ノード間の任意の好適な接続および重みを企図する。
特定の実施形態では、ＡＮＮは、トレーニングデータを使用してトレーニングされ得る。限定としてではなく一例として、トレーニングデータは、ＡＮＮ１４００への入力と予想される出力とを含み得る。限定としてではなく別の例として、トレーニングデータは、各々がトレーニングオブジェクトを表すベクトルと、各トレーニングオブジェクトについての予想されるラベルとを含み得る。特定の実施形態では、ＡＮＮをトレーニングすることは、目的関数を最適化することによって、ＡＮＮのノード間の接続に関連付けられた重みを修正することを含み得る。限定としてではなく一例として、（たとえば、２乗和誤差を最小限に抑えるコスト関数を使用して）トレーニングオブジェクトを表す各ベクトル間の距離として測定された２乗和誤差をバックプロパゲートするためのトレーニング方法（たとえば、共役勾配法、勾配降下法、確率的勾配降下法）が使用され得る。特定の実施形態では、ＡＮＮは、ドロップアウト技法を使用してトレーニングされ得る。限定としてではなく一例として、１つまたは複数のノードは、トレーニングしている間、一時的に省略され得る（たとえば、入力を受信せず、出力を生成しない）。各トレーニングオブジェクトについて、ＡＮＮの１つまたは複数のノードは、ある程度の省略される確率を有し得る。特定のトレーニングオブジェクトについて省略されるノードは、他のトレーニングオブジェクトについて省略されるノードとは異なり得る（たとえば、ノードは、オブジェクトごとに一時的に省略され得る）。本開示は、特定の様式でＡＮＮをトレーニングすることについて説明するが、本開示は、任意の好適な様式でＡＮＮをトレーニングすることを企図する。
プライバシー
特定の実施形態では、コンピューティングシステムの１つまたは複数のオブジェクト（たとえば、コンテンツまたは他のタイプのオブジェクト）は、１つまたは複数のプライバシー設定に関連付けられ得る。１つまたは複数のオブジェクトは、たとえば、ソーシャルネットワーキングシステム１６０、クライアントシステム１３０、補助システム１４０、サードパーティシステム１７０、ソーシャルネットワーキングアプリケーション、補助アプリケーション、メッセージングアプリケーション、写真共有アプリケーション、あるいは任意の他の好適なコンピューティングシステムまたはアプリケーションなど、任意の好適なコンピューティングシステムまたはアプリケーションに記憶されるか、または場合によっては関連付けられ得る。本明細書で説明される例はオンラインソーシャルネットワークのコンテキストにおけるものであるが、これらのプライバシー設定は、任意の他の好適なコンピューティングシステムに適用され得る。オブジェクトについてのプライバシー設定（または「アクセス設定」）は、たとえば、オブジェクトに関連して、許可サーバ上のインデックス中で、別の好適な様式で、またはそれらの任意の好適な組合せなど、任意の好適な様式で記憶され得る。オブジェクトについてのプライバシー設定は、オブジェクト（またはオブジェクトに関連付けられた特定の情報）がオンラインソーシャルネットワーク内でどのようにアクセスされ、記憶され、または場合によっては使用され（たとえば、閲覧、共有、修正、コピー、実行、表面化、または識別され）得るかを指定し得る。オブジェクトについてのプライバシー設定が、特定のユーザまたは他のエンティティがそのオブジェクトにアクセスすることを可能にするとき、オブジェクトは、そのユーザまたは他のエンティティに関して「可視」であるものとして説明され得る。限定としてではなく一例として、オンラインソーシャルネットワークのユーザは、ユーザプロファイルページに関する職歴情報にアクセスし得るユーザのセットを識別するユーザプロファイルページについてのプライバシー設定を指定し、したがって、他のユーザがその情報にアクセスすることを除外し得る。
特定の実施形態では、オブジェクトについてのプライバシー設定は、オブジェクトに関連付けられたある情報にアクセスすることを可能にされるべきでないユーザまたは他のエンティティの「ブロックリスト」を指定し得る。特定の実施形態では、ブロックリストは、サードパーティエンティティを含み得る。ブロックリストは、オブジェクトが可視でない１つまたは複数のユーザまたはエンティティを指定し得る。限定としてではなく一例として、ユーザは、ユーザに関連付けられた写真アルバムにアクセスしてはいけないユーザのセットを指定し、したがって、それらのユーザが写真アルバムにアクセスすることを除外し得る（また、場合によってはユーザの指定されたセット内にない何人かのユーザが写真アルバムにアクセスすることを可能にする）。特定の実施形態では、プライバシー設定は、特定のソーシャルグラフ要素に関連付けられ得る。ノードまたはエッジなど、ソーシャルグラフ要素のプライバシー設定は、ソーシャルグラフ要素、ソーシャルグラフ要素に関連付けられた情報、またはソーシャルグラフ要素に関連付けられたオブジェクトが、どのようにオンラインソーシャルネットワークを使用してアクセスされ得るかを指定し得る。限定としてではなく一例として、特定の写真に対応する特定の概念ノード１２０４は、写真が、写真においてタグ付けされたユーザと写真においてタグ付けされたユーザの友達とによってのみアクセスされ得ることを指定するプライバシー設定を有し得る。特定の実施形態では、プライバシー設定は、ユーザが、そのユーザのコンテンツ、情報、またはアクションがソーシャルネットワーキングシステム１６０または補助システム１４０によって記憶／ロギングされるか、または他のシステム（たとえば、サードパーティシステム１７０）と共有されることをオプトインまたはオプトアウトすることを可能にし得る。本開示は、特定の様式で特定のプライバシー設定を使用することについて説明するが、本開示は、任意の好適な様式で任意の好適なプライバシー設定を使用することを企図する。
特定の実施形態では、プライバシー設定は、ソーシャルグラフ１２００の１つまたは複数のノードまたはエッジに基づき得る。プライバシー設定は、ソーシャルグラフ１２００の１つまたは複数のエッジ１２０６またはエッジタイプについて、あるいはソーシャルグラフ１２００の１つまたは複数のノード１２０２、１２０４またはノードタイプに関して指定され得る。２つのノードを接続する特定のエッジ１２０６に適用されるプライバシー設定は、ノードに対応する２つのエンティティ間の関係がオンラインソーシャルネットワークの他のユーザに可視であるかどうかを制御し得る。同様に、特定のノードに適用されるプライバシー設定は、ノードに対応するユーザまたは概念がオンラインソーシャルネットワークの他のユーザに可視であるかどうかを制御し得る。限定としてではなく一例として、第１のユーザは、ソーシャルネットワーキングシステム１６０に対してオブジェクトを共有し得る。オブジェクトは、エッジ１２０６によって第１のユーザのユーザノード１２０２に接続された概念ノード１２０４に関連付けられ得る。第１のユーザは、オブジェクトの概念ノード１２０４に接続する特定のエッジ１２０６に適用されるプライバシー設定を指定し得るか、または概念ノード１２０４に接続するすべてのエッジ１２０６に適用されるプライバシー設定を指定し得る。限定としてではなく別の例として、第１のユーザは、特定のオブジェクトタイプのオブジェクトのセット（たとえば、画像のセット）を共有し得る。第１のユーザは、特定のプライバシー設定を有するものとして、その特定のオブジェクトタイプの第１のユーザに関連付けられたすべてのオブジェクトに関してプライバシー設定を指定し得る（たとえば、第１のユーザによって投稿されたすべての画像が、第１のユーザの友達、および／または画像においてタグ付けされたユーザのみに可視であることを指定する）。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、第１のユーザが１つまたは複数のプライバシー設定を指定するのを補助するために、第１のユーザに（たとえば、ウェブページ、モジュール、１つまたは複数のダイアログボックス、または任意の他の好適なインターフェース内に）「プライバシーウィザード」を提示し得る。プライバシーウィザードは、命令、好適なプライバシー関係情報、現在のプライバシー設定、プライバシー設定の変更または確認を指定する、第１のユーザからの１つまたは複数の入力を受け付けるための１つまたは複数の入力フィールド、あるいはそれらの任意の好適な組合せを表示し得る。特定の実施形態では、ソーシャルネットワーキングシステム１６０は、第１のユーザの現在のプライバシー設定を第１のユーザに表示し得る「ダッシュボード」機能性を第１のユーザに与え得る。ダッシュボード機能性は、任意の適切な時間において（たとえば、ダッシュボード機能性を召喚する第１のユーザからの入力に続いて、特定のイベントまたはトリガアクションの発生に続いて）第１のユーザに表示され得る。ダッシュボード機能性は、第１のユーザが、任意の時間において、任意の好適な様式（たとえば、第１のユーザをプライバシーウィザードにリダイレクトすること）で第１のユーザの現在のプライバシー設定のうちの１つまたは複数を修正することを可能にし得る。
オブジェクトに関連付けられたプライバシー設定は、許諾されるアクセスまたはアクセスの拒否の任意の好適なグラニュラリティを指定し得る。限定としてではなく一例として、アクセスまたはアクセスの拒否は、特定のユーザ（たとえば、私のみ、私のルームメート、私の上司）、特定の分離の程度内のユーザ（たとえば、友達、友達の友達）、ユーザグループ（たとえば、ゲームクラブ、私の家族）、ユーザネットワーク（たとえば、特定の雇用主の従業員、特定の大学の学生または卒業生）、すべてのユーザ（「公開」）、ユーザなし（「プライベート」）、サードパーティシステム１７０のユーザ、特定のアプリケーション（たとえば、サードパーティアプリケーション、外部ウェブサイト）、他の好適なエンティティ、あるいはそれらの任意の好適な組合せについて指定され得る。本開示は、許諾されるアクセスまたはアクセスの拒否の特定のグラニュラリティについて説明するが、本開示は、許諾されるアクセスまたはアクセスの拒否の任意の好適なグラニュラリティを企図する。
特定の実施形態では、１つまたは複数のサーバ１６２が、プライバシー設定を施行するための許可／プライバシーサーバであり得る。データストア１６４に記憶された特定のオブジェクトについてのユーザ（または他のエンティティ）からの要求に応答して、ソーシャルネットワーキングシステム１６０は、オブジェクトについての要求をデータストア１６４に送り得る。要求は、要求に関連付けられたユーザを識別し得、オブジェクトは、オブジェクトに関連付けられたプライバシー設定に基づいてユーザがオブジェクトにアクセスすることを許可されると許可サーバが決定した場合、ユーザ（またはユーザのクライアントシステム１３０）にのみ送られ得る。要求元ユーザがオブジェクトにアクセスすることを許可されない場合、許可サーバは、要求されたオブジェクトがデータストア１６４から取り出されることを防ぎ得るか、または要求されたオブジェクトがユーザに送られることを防ぎ得る。検索クエリコンテキストでは、問い合わせているユーザがオブジェクトにアクセスすることを許可された場合のみ、たとえば、オブジェクトについてのプライバシー設定が、オブジェクトが、問い合わせているユーザに対して表面化されること、そのユーザによって発見されること、または場合によってはそのユーザに可視であることを可能にする場合のみ、オブジェクトが検索結果として提供され得る。特定の実施形態では、オブジェクトは、ユーザのニュースフィードを通してユーザに可視であるコンテンツを表し得る。限定としてではなく一例として、１つまたは複数のオブジェクトは、ユーザの「トレンディング」ページに可視であり得る。特定の実施形態では、オブジェクトは、特定のユーザに対応し得る。オブジェクトは、特定のユーザに関連付けられたコンテンツであり得るか、あるいはソーシャルネットワーキングシステム１６０、または他のコンピューティングシステムに記憶された特定のユーザのアカウントまたは情報であり得る。限定としてではなく一例として、第１のユーザは、オンラインソーシャルネットワークの「知り合いかも」機能を通して、または第１のユーザの友達のリストを閲覧することによって、オンラインソーシャルネットワークの１人または複数の第２のユーザを閲覧し得る。限定としてではなく一例として、第１のユーザは、第１のユーザが、第１のユーザのニュースフィードまたは友達リスト中の特定の第２のユーザに関連付けられたオブジェクトを参照することを望まないことを指定し得る。オブジェクトについてのプライバシー設定が、オブジェクトが、ユーザに対して表面化されること、ユーザによって発見されること、またはユーザに可視であることを可能にしない場合、オブジェクトは、検索結果から除外され得る。本開示は、特定の様式でプライバシー設定を施行することについて説明するが、本開示は、任意の好適な様式でプライバシー設定を施行することを企図する。
特定の実施形態では、ユーザに関連付けられた同じタイプの異なるオブジェクトは、異なるプライバシー設定を有し得る。ユーザに関連付けられた異なるタイプのオブジェクトは、異なるタイプのプライバシー設定を有し得る。限定としてではなく一例として、第１のユーザは、第１のユーザのステータス更新が公開であるが、第１のユーザによって共有される画像がオンラインソーシャルネットワーク上の第１のユーザの友達にのみ可視であることを指定し得る。限定としてではなく別の例として、ユーザは、個人ユーザ、友達の友達、フォロワー、ユーザグループ、または企業エンティティなど、異なるタイプのエンティティについて異なるプライバシー設定を指定し得る。限定としてではなく別の例として、第１のユーザは、第１のユーザによって投稿されたビデオが第１のユーザの雇用主に可視でないようにしながら、それらのビデオを閲覧し得るユーザのグループを指定し得る。特定の実施形態では、異なるユーザグループまたはユーザ層について異なるプライバシー設定が提供され得る。限定としてではなく一例として、第１のユーザは、第１のユーザと同じ大学に通う他のユーザが、第１のユーザのピクチャを閲覧し得ることを指定するが、第１のユーザの家族である他のユーザが、それらの同じピクチャを閲覧し得ないことを指定し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０は、特定のオブジェクトタイプの各オブジェクトについての１つまたは複数のデフォルトプライバシー設定を提供し得る。デフォルト値に設定されたオブジェクトについてのプライバシー設定は、そのオブジェクトに関連付けられたユーザによって変更され得る。限定としてではなく一例として、第１のユーザによって投稿されるすべての画像は、第１のユーザの友達にのみ可視であるというデフォルトプライバシー設定を有し得、特定の画像について、第１のユーザは、画像が友達および友達の友達に可視であるようにプライバシー設定を変更し得る。
特定の実施形態では、プライバシー設定は、ソーシャルネットワーキングシステム１６０または補助システム１４０が任意の目的のために第１のユーザに関連付けられた特定のオブジェクトまたは情報を受信すること、収集すること、ロギングすること、または記憶することを行い得るかどうかを、第１のユーザが（たとえば、オプトアウトすることによって、オプトインしないことによって）指定することを可能にし得る。特定の実施形態では、プライバシー設定は、特定のアプリケーションまたはプロセスが第１のユーザに関連付けられた特定のオブジェクトまたは情報にアクセスすること、それを記憶すること、または使用することを行い得るかどうかを、第１のユーザが指定することを可能にし得る。プライバシー設定は、固有のアプリケーションまたはプロセスによって、オブジェクトまたは情報がアクセスされること、記憶されること、または使用されることを、第１のユーザがオプトインすることまたはオプトアウトすることを可能にし得る。ソーシャルネットワーキングシステム１６０または補助システム１４０は第１のユーザに特定の機能またはサービスを提供するためにそのような情報にアクセスし、ソーシャルネットワーキングシステム１６０または補助システム１４０は任意の他の目的のためにその情報へのアクセスを有しないことがある。そのようなオブジェクトまたは情報にアクセスするか、それを記憶するか、または使用する前に、ソーシャルネットワーキングシステム１６０または補助システム１４０は、任意のそのようなアクションを可能にする前に、もしあれば、どのアプリケーションまたはプロセスがオブジェクトまたは情報にアクセスするか、それを記憶するか、または使用し得るかを指定するプライバシー設定を提供するようにユーザにプロンプトし得る。限定としてではなく一例として、第１のユーザは、オンラインソーシャルネットワークに関係するアプリケーション（たとえば、メッセージングアプリ）を介して第２のユーザにメッセージを伝送し得、そのようなメッセージがソーシャルネットワーキングシステム１６０または補助システム１４０によって記憶されるべきでないというプライバシー設定を指定し得る。
特定の実施形態では、ユーザは、第１のユーザに関連付けられたオブジェクトまたは情報の特定のタイプが、ソーシャルネットワーキングシステム１６０または補助システム１４０によってアクセス、記憶、または使用され得るかどうかを指定し得る。限定としてではなく一例として、第１のユーザは、ソーシャルネットワーキングシステム１６０または補助システム１４０を通して第１のユーザによって送られた画像が、ソーシャルネットワーキングシステム１６０または補助システム１４０によって記憶され得ないことを指定し得る。限定としてではなく別の例として、第１のユーザは、第１のユーザから特定の第２のユーザに送られたメッセージが、ソーシャルネットワーキングシステム１６０または補助システム１４０によって記憶され得ないことを指定し得る。限定としてではなくまた別の例として、第１のユーザは、特定のアプリケーションを介して送られたすべてのオブジェクトが、ソーシャルネットワーキングシステム１６０または補助システム１４０によって保存され得ることを指定し得る。
特定の実施形態では、プライバシー設定は、第１のユーザに関連付けられた特定のオブジェクトまたは情報が特定のクライアントシステム１３０またはサードパーティシステム１７０からアクセスされ得るかどうかを、第１のユーザが指定することを可能にし得る。プライバシー設定は、特定のデバイス（たとえば、ユーザのスマートフォン上の電話帳）から、特定のアプリケーション（たとえば、メッセージングアプリ）から、または特定のシステム（たとえば、電子メールサーバ）からオブジェクトまたは情報がアクセスされることを、第１のユーザがオプトインするかまたはオプトアウトすることを可能にし得る。ソーシャルネットワーキングシステム１６０または補助システム１４０は、各デバイス、システム、またはアプリケーションに関してデフォルトプライバシー設定を提供し得、および／または、第１のユーザは、各コンテキストについての特定のプライバシー設定を指定するようにプロンプトされ得る。限定としてではなく一例として、第１のユーザは、ユーザに近接しているレストランまたは他の場所についての推奨を提供するために、ソーシャルネットワーキングシステム１６０または補助システム１４０のロケーションサービス特徴を利用し得る。第１のユーザのデフォルトプライバシー設定は、ソーシャルネットワーキングシステム１６０または補助システム１４０が、ロケーションベースサービスを提供するために、第１のユーザのクライアントシステム１３０から提供されたロケーション情報を使用し得ることを指定するが、ソーシャルネットワーキングシステム１６０または補助システム１４０が、第１のユーザのロケーション情報を記憶すること、またはそれを任意のサードパーティシステム１７０に提供することを行い得ないことを指定し得る。第１のユーザは、次いで、写真にジオタグを付けるために、ロケーション情報がサードパーティ画像共有アプリケーションによって使用されることを可能にするように、プライバシー設定を更新し得る。
特定の実施形態では、プライバシー設定は、オブジェクトがアクセスされ得る１つまたは複数の地理的ロケーションを、ユーザが指定することを可能にし得る。オブジェクトに対するアクセスまたはアクセスの拒否は、オブジェクトにアクセスすることを試みているユーザの地理的ロケーションに依存し得る。限定としてではなく一例として、ユーザは、オブジェクトを共有し、同じ都市におけるユーザのみがオブジェクトにアクセスすること、またはオブジェクトを閲覧することを行い得ることを指定し得る。限定としてではなく別の例として、第１のユーザは、オブジェクトを共有し、第１のユーザが特定のロケーションにいる間のみ、オブジェクトが第２のユーザに可視であることを指定し得る。第１のユーザが特定のロケーションを離れた場合、オブジェクトは第２のユーザにもはや可視でないことがある。限定としてではなく別の例として、第１のユーザは、第１のユーザからしきい値距離内の第２のユーザにのみ、オブジェクトが可視であることを指定し得る。その後、第１のユーザがロケーションを変更した場合、オブジェクトへのアクセスをもつ元の第２のユーザはアクセスを失うことがあるが、第２のユーザの新しいグループが、第１のユーザのしきい値距離内に自身が入るので、アクセスを獲得し得る。
特定の実施形態では、ソーシャルネットワーキングシステム１６０または補助システム１４０は、ユーザ認証またはエクスペリエンス個人化目的のために、ユーザの個人情報または生体情報を入力として使用し得る機能性を有し得る。ユーザは、オンラインソーシャルネットワーク上のユーザのエクスペリエンスを向上させるためにこれらの機能性を利用することを選び得る。限定としてではなく一例として、ユーザは、ソーシャルネットワーキングシステム１６０または補助システム１４０に個人情報または生体情報を提供し得る。ユーザのプライバシー設定は、そのような情報が認証などの特定のプロセスのためにのみ使用され得ることを指定し、そのような情報が、任意のサードパーティシステム１７０と共有されないか、またはソーシャルネットワーキングシステム１６０または補助システム１４０に関連付けられた他のプロセスまたはアプリケーションのために使用され得ないことをさらに指定し得る。限定としてではなく別の例として、ソーシャルネットワーキングシステム１６０は、ユーザがオンラインソーシャルネットワークにボイスプリント記録を提供するための機能性を提供し得る。限定としてではなく一例として、ユーザが、オンラインソーシャルネットワークのこの機能を利用することを望む場合、ユーザは、オンラインソーシャルネットワーク上でステータス更新を行うために自分自身のボイスのボイス記録を提供し得る。ボイス入力の記録は、どんなワードがユーザによって話されたかを決定するために、ユーザのボイスプリントと比較され得る。ユーザのプライバシー設定は、そのようなボイス記録がボイス入力目的のために（たとえば、ユーザを認証するために、ボイスメッセージを送るために、オンラインソーシャルネットワークのボイス動作式特徴を使用するためにボイス認識を改善するために）のみ使用され得ることを指定し、そのようなボイス記録が、任意のサードパーティシステム１７０と共有されないか、またはソーシャルネットワーキングシステム１６０に関連付けられた他のプロセスまたはアプリケーションによって使用され得ないことをさらに指定し得る。限定としてではなく別の例として、ソーシャルネットワーキングシステム１６０は、ユーザがオンラインソーシャルネットワークに参照画像（たとえば、顔プロファイル、網膜スキャン）を提供するための機能性を提供し得る。オンラインソーシャルネットワークは、（たとえば、ユーザを認証するために、写真においてユーザをタグ付けするために）参照画像を、後で受信された画像入力と比較し得る。ユーザのプライバシー設定は、そのような画像が限られた目的（たとえば、認証、写真においてユーザをタグ付けすること）のためにのみ使用され得ることを指定し、そのような画像が、任意のサードパーティシステム１７０と共有されないか、またはソーシャルネットワーキングシステム１６０に関連付けられた他のプロセスまたはアプリケーションによって使用され得ないことをさらに指定し得る。
システムおよび方法
図１５は、例示的なコンピュータシステム１５００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム１５００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム１５００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１５００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１５００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。
本開示は、任意の好適な数のコンピュータシステム１５００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム１５００を企図する。限定としてではなく例として、コンピュータシステム１５００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム１５００は、１つまたは複数のコンピュータシステム１５００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム１５００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム１５００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム１５００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。
特定の実施形態では、コンピュータシステム１５００は、プロセッサ１５０２と、メモリ１５０４と、ストレージ１５０６と、入出力（Ｉ／Ｏ）インターフェース１５０８と、通信インターフェース１５１０と、バス１５１２とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
特定の実施形態では、プロセッサ１５０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ１５０２は、内部レジスタ、内部キャッシュ、メモリ１５０４、またはストレージ１５０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ１５０４、またはストレージ１５０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ１５０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１５０２を企図する。限定としてではなく一例として、プロセッサ１５０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ１５０４またはストレージ１５０６中の命令のコピーであり得、命令キャッシュは、プロセッサ１５０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ１５０２において実行する命令が動作する対象のメモリ１５０４またはストレージ１５０６中のデータのコピー、プロセッサ１５０２において実行する後続の命令によるアクセスのための、またはメモリ１５０４もしくはストレージ１５０６に書き込むための、プロセッサ１５０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ１５０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ１５０２のための仮想アドレストランスレーションを高速化し得る。特定の実施形態では、プロセッサ１５０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１５０２を企図する。適切な場合、プロセッサ１５０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ１５０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
特定の実施形態では、メモリ１５０４は、プロセッサ１５０２が実行するための命令、またはプロセッサ１５０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム１５００は、ストレージ１５０６または（たとえば、別のコンピュータシステム１５００などの）別のソースからメモリ１５０４に命令をロードし得る。プロセッサ１５０２は、次いで、メモリ１５０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ１５０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ１５０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ１５０２は、次いで、メモリ１５０４にそれらの結果のうちの１つまたは複数を書き込み得る。特定の実施形態では、プロセッサ１５０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１５０６または他の場所とは対照的な）メモリ１５０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１５０６または他の場所とは対照的な）メモリ１５０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ１５０２をメモリ１５０４に結合し得る。バス１５１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１５０２とメモリ１５０４との間に常駐し、プロセッサ１５０２によって要求されるメモリ１５０４へのアクセスを可能にする。特定の実施形態では、メモリ１５０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は任意の好適なＲＡＭを企図する。メモリ１５０４は、適切な場合、１つまたは複数のメモリ１５０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
特定の実施形態では、ストレージ１５０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ１５０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ１５０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ１５０６は、適切な場合、コンピュータシステム１５００の内部または外部にあり得る。特定の実施形態では、ストレージ１５０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ１５０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ１５０６を企図する。ストレージ１５０６は、適切な場合、プロセッサ１５０２とストレージ１５０６との間の通信を可能にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ１５０６は、１つまたは複数のストレージ１５０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
特定の実施形態では、Ｉ／Ｏインターフェース１５０８は、コンピュータシステム１５００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム１５００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム１５００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース１５０８とを企図する。適切な場合、Ｉ／Ｏインターフェース１５０８は、プロセッサ１５０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース１５０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース１５０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。
特定の実施形態では、通信インターフェース１５１０は、コンピュータシステム１５００と、１つまたは複数の他のコンピュータシステム１５００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース１５１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース１５１０とを企図する。限定としてではなく一例として、コンピュータシステム１５００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム１５００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム１５００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース１５１０を含み得る。通信インターフェース１５１０は、適切な場合、１つまたは複数の通信インターフェース１５１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。
特定の実施形態では、バス１５１２は、コンピュータシステム１５００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス１５１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス１５１２は、適切な場合、１つまたは複数のバス１５１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。
本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。
その他
本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。
本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、構成されるか、実施することが可能であるか、実施するように設定されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、構成されるか、可能であるか、設定されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (20)

  1. 方法であって、１つまたは複数のコンピューティングシステムによって、
    第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信することと、
    １つまたは複数のプロアクティブポリシーに基づいて、前記第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定することと、
    前記第１のユーザに関連付けられた前記１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成することと、
    前記第１のユーザに関連付けられたタスク履歴データに基づいて、前記プロアクティブ提案のうちの１つまたは複数を選択することと、
    プロアクティブコンテンツを前記第１のユーザに提示するための命令を、前記第１のユーザに関連付けられたクライアントシステムに送ることであって、前記プロアクティブコンテンツが、前記選択されたプロアクティブ提案を含む、命令をクライアントシステムに送ることと
    を含む、
    方法。
  2. 前記プロアクティブコンテンツの配信スケジュールを決定することであって、前記プロアクティブコンテンツを前記第１のユーザに提示するための前記命令を送ることが、前記配信スケジュールに基づく、配信スケジュールを決定すること
    をさらに含む、
    請求項１に記載の方法。
  3. 前記配信スケジュールが、前記第１のユーザに関連付けられた前記ユーザコンテキストデータ、前記第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて決定される、
    請求項２に記載の方法。
  4. 前記１つまたは複数のプロアクティブ提案の各々が、提案される調査、提案されるクエリ、または提案されるタスクのうちの１つまたは複数を含む、
    請求項１に記載の方法。
  5. 前記１つまたは複数の入力が、第１のタスクの完了の１つまたは複数の指示を含み、
    前記１つまたは複数のプロアクティブ提案の各々が、フォローアップ調査、フォローアップ質問、またはフォローアップタスクのうちの１つまたは複数を含む、
    請求項１に記載の方法。
  6. 前記提示されたプロアクティブコンテンツに応答して、前記第１のユーザからのユーザ入力を前記クライアントシステムから受信することと、
    前記ユーザ入力に応答して第２のタスクを実行することと、
    前記第１のタスクと、前記第２のタスクの実行とに基づいて、１つまたは複数の更新されたプロアクティブ提案を生成することと
    をさらに含む、
    請求項５に記載の方法。
  7. 前記１つまたは複数の入力が、１つまたは複数のマルチモーダル信号を含み、
    各マルチモーダル信号が、日付、時間、ロケーション、ビジュアル信号、サウンド信号、エンティティ更新、またはユーザコンテキストのうちの１つまたは複数に基づく、
    請求項１に記載の方法。
  8. １つまたは複数の更新されたマルチモーダル信号を受信することと、
    前記更新されたマルチモーダル信号に基づいて、１つまたは複数の更新されたプロアクティブ提案を生成することと
    をさらに含む、
    請求項７に記載の方法。
  9. 前記１つまたは複数のプロアクティブ提案を生成することが、複数のプロアクティブ提案を含む所定の提案リストにアクセスすることを含む、
    請求項１に記載の方法。
  10. 前記所定の提案リストが、前記第１のユーザに関連付けられた前記タスク履歴データ、前記第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて生成される、
    請求項９に記載の方法。
  11. 前記第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定することが、前記第１のユーザに関連付けられた前記ユーザコンテキストデータ、前記第１のユーザに関連付けられた前記タスク履歴データ、または前記第１のユーザに関連付けられたユーザメモリのうちの１つまたは複数にさらに基づく、
    請求項１に記載の方法。
  12. 前記プロアクティブ提案のうちの前記１つまたは複数を選択することが、前記第１のユーザに関連付けられた前記ユーザコンテキストデータ、前記第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数にさらに基づく、
    請求項１に記載の方法。
  13. 前記１つまたは複数の入力に基づいて、前記第１のユーザに関連付けられた初期の意図を決定することと、
    前記初期の意図に基づいて、前記第１のユーザに関連付けられたその後の意図を決定することであって、前記１つまたは複数のプロアクティブ提案を生成することが、当該その後の意図にさらに基づく、その後の意図を決定することと
    をさらに含む、
    請求項１に記載の方法。
  14. 前記その後の意図を決定することが、機械学習モデルに基づき、
    前記機械学習モデルが、複数の意図のペアに関連付けられたデータに基づいてトレーニングされ、
    前記複数の意図のペアに関連付けられた前記データが、前記初期の意図と前記その後の意図との間の意図のペアに関連付けられたデータを含む、
    請求項１３に記載の方法。
  15. ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的ストレージ媒体であって、前記ソフトウェアが、実行されると、
    第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信することと、
    １つまたは複数のプロアクティブポリシーに基づいて、前記第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定することと、
    前記第１のユーザに関連付けられた前記１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成することと、
    前記第１のユーザに関連付けられたタスク履歴データに基づいて、前記プロアクティブ提案のうちの１つまたは複数を選択することと、
    プロアクティブコンテンツを前記第１のユーザに提示するための命令を、前記第１のユーザに関連付けられたクライアントシステムに送ることであって、前記プロアクティブコンテンツが、前記選択されたプロアクティブ提案を含む、命令をクライアントシステムに送ることと
    を行うように動作可能である、
    １つまたは複数のコンピュータ可読非一時的ストレージ媒体。
  16. 前記ソフトウェアが、実行されると、
    前記プロアクティブコンテンツの配信スケジュールを決定することであって、前記プロアクティブコンテンツを前記第１のユーザに提示するための前記命令を送ることが、前記配信スケジュールに基づく、配信スケジュールを決定すること
    を行うようにさらに動作可能な、
    請求項１５に記載の媒体。
  17. 前記配信スケジュールが、前記第１のユーザに関連付けられた前記ユーザコンテキストデータ、前記第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて決定される、
    請求項１６に記載の媒体。
  18. システムであって、１つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む前記プロセッサに連結された非一時的メモリとを備え、前記プロセッサが、前記命令を実行すると、
    第１のユーザに関連付けられたプロアクティブトリガに関連付けられた１つまたは複数の入力を受信することと、
    １つまたは複数のプロアクティブポリシーに基づいて、前記第１のユーザがプロアクティブ提案を受信するのに適格であるかどうかを決定することと、
    前記第１のユーザに関連付けられた前記１つまたは複数の入力およびユーザコンテキストデータに基づいて、１つまたは複数のプロアクティブ提案を生成することと、
    前記第１のユーザに関連付けられたタスク履歴データに基づいて、前記プロアクティブ提案のうちの１つまたは複数を選択することと、
    プロアクティブコンテンツを前記第１のユーザに提示するための命令を、前記第１のユーザに関連付けられたクライアントシステムに送ることであって、前記プロアクティブコンテンツが、前記選択されたプロアクティブ提案を含む、命令をクライアントシステムに送ることと
    を行うように動作可能な、
    システム。
  19. 前記プロセッサが、前記命令を実行すると、
    前記プロアクティブコンテンツの配信スケジュールを決定することであって、前記プロアクティブコンテンツを前記第１のユーザに提示するための前記命令を送ることが、前記配信スケジュールに基づく、配信スケジュールを決定すること
    を行うようにさらに動作可能な、
    請求項１８に記載のシステム。
  20. 前記配信スケジュールが、前記第１のユーザに関連付けられた前記ユーザコンテキストデータ、前記第１のユーザに関連付けられたユーザメモリ、または知識グラフのうちの１つまたは複数に基づいて決定される、
    請求項１９に記載のシステム。
JP2021577907A 2019-10-18 2020-10-16 補助システムのためのプロアクティブコンテンツを生成すること Pending JP2022551788A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962923342P 2019-10-18 2019-10-18
US62/923,342 2019-10-18
US202063044270P 2020-06-25 2020-06-25
US63/044,270 2020-06-25
US17/006,260 2020-08-28
US17/006,260 US20210117214A1 (en) 2019-10-18 2020-08-28 Generating Proactive Content for Assistant Systems
PCT/US2020/056188 WO2021077043A1 (en) 2019-10-18 2020-10-16 Generating proactive content for assistant systems

Publications (1)

Publication Number Publication Date
JP2022551788A true JP2022551788A (ja) 2022-12-14

Family

ID=75490913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577907A Pending JP2022551788A (ja) 2019-10-18 2020-10-16 補助システムのためのプロアクティブコンテンツを生成すること

Country Status (6)

Country Link
US (1) US20210117214A1 (ja)
EP (1) EP4046097A1 (ja)
JP (1) JP2022551788A (ja)
KR (1) KR20220083789A (ja)
CN (1) CN114930363A (ja)
WO (1) WO2021077043A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
EP3935628B1 (en) * 2019-05-06 2023-09-20 Google LLC Proactive caching of assistant action content at a client device to enable on-device resolution of spoken or typed utterances
US11328729B1 (en) * 2020-02-24 2022-05-10 Suki AI, Inc. Systems, methods, and storage media for providing presence of modifications in user dictation
US11245648B1 (en) * 2020-07-31 2022-02-08 International Business Machines Corporation Cognitive management of context switching for multiple-round dialogues
US11783827B2 (en) * 2020-11-06 2023-10-10 Apple Inc. Determining suggested subsequent user actions during digital assistant interaction
US20220147547A1 (en) * 2020-11-12 2022-05-12 International Business Machines Corporation Analogy based recognition
US20220156299A1 (en) * 2020-11-13 2022-05-19 International Business Machines Corporation Discovering objects in an ontology database
CN112765477B (zh) * 2021-03-05 2022-03-25 北京百度网讯科技有限公司 信息处理、信息推荐的方法和装置、电子设备和存储介质
CN113297359B (zh) * 2021-04-23 2023-11-28 阿里巴巴新加坡控股有限公司 交互信息的方法以及装置
CN113222031B (zh) * 2021-05-19 2022-04-12 浙江大学 基于联邦个性化学习的光刻热区检测方法
US11593819B2 (en) * 2021-06-09 2023-02-28 Maplebear Inc. Training a model to predict likelihoods of users performing an action after being presented with a content item
WO2022266209A2 (en) * 2021-06-16 2022-12-22 Apple Inc. Conversational and environmental transcriptions
EP4290185A1 (en) * 2021-07-13 2023-12-13 LG Electronics Inc. Mixed reality-based display device and route guide system
US20230027628A1 (en) * 2021-07-26 2023-01-26 Microsoft Technology Licensing, Llc User context-based enterprise search with multi-modal interaction
CN113591459B (zh) * 2021-08-10 2023-09-15 平安银行股份有限公司 地址标准化处理方法、装置、电子设备及可读存储介质
US20230350928A1 (en) * 2022-04-28 2023-11-02 Knowbl LLC Systems and methods for implementing a virtual agent performing context and query transformations using unsupervised machine learning models
KR102518520B1 (ko) * 2022-07-19 2023-04-05 주식회사 엠브이아이 시각장애인의 디지털 정보격차를 해소하기 위한 클라우드 기반의 경영 관리 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865260B1 (en) * 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs

Also Published As

Publication number Publication date
CN114930363A (zh) 2022-08-19
US20210117214A1 (en) 2021-04-22
WO2021077043A1 (en) 2021-04-22
KR20220083789A (ko) 2022-06-20
EP4046097A1 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
US11669918B2 (en) Dialog session override policies for assistant systems
US20210117214A1 (en) Generating Proactive Content for Assistant Systems
US11159767B1 (en) Proactive in-call content recommendations for assistant systems
US11567788B1 (en) Generating proactive reminders for assistant systems
US11658835B2 (en) Using a single request for multi-person calling in assistant systems
US20220279051A1 (en) Generating Proactive Reminders for Assistant Systems
US11809480B1 (en) Generating dynamic knowledge graph of media contents for assistant systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230825