JP2022058437A

JP2022058437A - ネットワーク化環境における遅延２要素認証

Info

Publication number: JP2022058437A
Application number: JP2021212700A
Authority: JP
Inventors: ジャスティン・ルイス; Lewis Justin; ルクサンドラ・デイヴィーズ; Davies Ruxandra
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2018-04-25
Filing date: 2021-12-27
Publication date: 2022-04-12
Anticipated expiration: 2038-04-25
Also published as: JP7262565B2

Abstract

【課題】音声駆動インタフェースなど、限られたユーザインタフェースを持つクライアントデバイスを認証するシステムを提供する。【解決手段】コンピューティングデバイスを認証する方法２００は、音声入力信号を受信し２０２、音声入力信号を構文解析し２０４、クライアントコンピューティングデバイスにデジタルコンポーネントの第１の部分（曲）を送信し２０６、認可要求を送信し２０８、確認メッセージを受信し２１０、クライアントコンピューティングデバイスにデジタルコンポーネントの第２の部分（残りの曲）を送信する２１２。【選択図】図２

Description

本発明は、ネットワーク化環境における遅延２要素認証に関する。

コンピューティングデバイスが、ネットワーク化クライアントデバイスにデジタルコンテンツを提供することができる。コンピューティングデバイスは、ネットワーク化クライアントデバイスにコンテンツを送信する前に認証または認可を必要とし得る。音声駆動インタフェースなど、限られたユーザインタフェースを持つクライアントデバイスを認証することは困難であり得る。

本開示の少なくとも1つの態様によれば、コンピューティングデバイスを認証するシステムがデータ処理システムを含むことができる。データ処理システムは、自然言語プロセッサコンポーネント、コンテンツ選択コンポーネントおよび認可コンポーネントを実行できる。データ処理システムは、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信できる。自然言語プロセッサコンポーネントは、入力オーディオ信号を構文解析して、入力オーディオ信号中に第1のデジタルコンポーネント要求を識別できる。コンテンツ選択コンポーネントは、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信できる。認可コンポーネントは、第1のクライアントデバイスへのデジタルコンポーネントの第2の部分の送信を認可するために第2のクライアントデバイスに認可要求を送信できる。認可要求は、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信したことに少なくとも基づいて第2のクライアントデバイスに送信できる。認可コンポーネントは、第2のクライアントデバイスから、認可要求に応答した確認メッセージを受信できる。コンテンツ選択コンポーネントは、第2のクライアントデバイスから確認メッセージを受信したことに少なくとも基づいて第1のクライアントデバイスにデジタルコンポーネントの第2の部分を送信できる。

本開示の少なくとも1つの態様によれば、コンピューティングデバイスを認証する方法が、データ処理システムによって実行される自然言語プロセッサコンポーネントによって、データ処理システムのインタフェースを介して、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信するステップを含むことができる。本方法は、自然言語プロセッサコンポーネントによって、入力オーディオ信号を構文解析して、入力オーディオ信号中に第1のデジタルコンポーネント要求を識別するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信するステップを含むことができる。本方法は、第1のクライアントデバイスへのデジタルコンポーネントの第2の部分の送信を認可するために認可コンポーネントによって第2のクライアントデバイスに認可要求を送信するステップを含むことができる。認可要求は、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信したことに少なくとも基づいて第2のクライアントデバイスに送信できる。本方法は、第2のクライアントデバイスから認可コンポーネントによって、認可要求に応答した確認メッセージを受信するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、第2のクライアントデバイスから確認メッセージを受信したことに少なくとも基づいて第1のクライアントデバイスにデジタルコンポーネントの第2の部分を送信するステップを含むことができる。

本開示の少なくとも1つの態様によれば、ネットワーク化環境においてコンピューティングデバイスを認証するシステムが、1つまたは複数のプロセッサおよびメモリを含むことができるデータ処理システムを含むことができる。1つまたは複数のプロセッサは、自然言語プロセッサコンポーネント、コンテンツ選択コンポーネントおよび認可コンポーネントを実行できる。本システムは、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信できる。本システムは、自然言語プロセッサコンポーネントによって、入力オーディオ信号を構文解析して、入力オーディオ信号中に第1のデジタルコンポーネント要求を識別できる。本システムは、コンテンツ選択コンポーネントによって、少なくとも第1のデジタルコンポーネント要求に基づいて第1のデジタルコンポーネントおよび第2のデジタルコンポーネントを選択できる。本システムは、コンテンツ選択コンポーネントによって、第1のクライアントデバイスに、第1のデジタルコンポーネントの第1の部分を送信できる。本システムは、第1のクライアントデバイスへのデジタルコンポーネントの第2の部分の送信を認可するために認可コンポーネントによって第2のクライアントデバイスに、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信したことに少なくとも基づいて第2のクライアントデバイスに送信される認可要求を送信できる。本システムは、コンテンツ選択コンポーネントによって、第2のクライアントデバイスに、第2のデジタルコンポーネントを送信できる。本システムは、コンテンツ選択コンポーネントによって、認可要求に応答して生成される確認メッセージを受信したことに少なくとも基づいて第1のクライアントデバイスにデジタルコンポーネントの第2の部分を送信できる。

本開示の少なくとも1つの態様によれば、コンピューティングデバイスを認証する方法が、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信するステップを含むことができる。本方法は、自然言語プロセッサコンポーネントによって、入力オーディオ信号を構文解析して、入力オーディオ信号中に第1のデジタルコンポーネント要求を識別するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、少なくとも第1のデジタルコンポーネント要求に基づいて第1のデジタルコンポーネントおよび第2のデジタルコンポーネントを選択するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、第1のクライアントデバイスに、第1のデジタルコンポーネントの第1の部分を送信するステップを含むことができる。本方法は、第1のクライアントデバイスへのデジタルコンポーネントの第2の部分の送信を認可するために認可コンポーネントによって第2のクライアントデバイスに、第1のクライアントデバイスに第1のデジタルコンポーネントの第1の部分を送信したことに少なくとも基づいて第2のクライアントデバイスに送信される認可要求を送信するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、第2のクライアントデバイスに、第2のデジタルコンポーネントを送信するステップを含むことができる。本方法は、コンテンツ選択コンポーネントによって、認可要求に応答して生成される確認メッセージを受信したことに少なくとも基づいて第1のクライアントデバイスにデジタルコンポーネントの第2の部分を送信するステップを含むことができる。

これらおよび他の態様および実装が以下に詳細に述べられる。以上の情報および以下の詳細な説明は、様々な態様および実装の例示的な例を含み、かつ特許請求される態様および実装の本質および性質を理解するための概観または枠組みを提供する。図面は、様々な態様および実装の例示および更なる理解を提供するものであり、本明細書に援用されかつその一部を構成する。

添付図面は、一定の比率で描かれるとは意図されない。様々な図面における同様の参照番号および記号は同様の要素を示す。明確にする目的で、あらゆるコンポーネントがあらゆる図面において標記され得るわけではない。

本開示の一例に従う、コンピューティングデバイスを認証するシステム例のブロック図である。本開示の一例に従う、図1に例示されるシステムにおいてコンピューティングデバイスを認証する方法例のブロック図である。本開示の一例に従う、図1に例示されるシステムのコンポーネント間のネットワーク送信を例示するブロック図である。本開示の一例に従う、図1に例示されるシステムにおいて使用できるコンピュータシステム例のブロック図である。

以下に続くのは、セキュアな処理環境においてデータを転送する方法、装置およびシステムに関連する様々な概念、およびその実装のより詳細な説明である。以上に提起されて以下に更に詳細に述べられる様々な概念は、多数の仕方のいずれかで実装され得る。本開示は概して、相互接続ネットワークにおけるオーディオベースの対話デバイスの認証を対象とする。例えば、デジタルアシスタントコンポーネントが、発語を含むことができるオーディオ入力を受信できる。発語は、コンテンツの要求を含むことができる。デジタルアシスタントコンポーネントは、オーディオ入力に応じてサードパーティにコンテンツを要求できる。デジタルアシスタントコンポーネントへのコンテンツの配信は認可を必要とし得る。音声ベースのインタフェースを使用するデバイスを認証することは困難であり得る。例えば、プライバシーおよびセキュリティ上の懸念のためエンドユーザが声に発したくないクレジットカード番号またはパスワードなど、一部の入力は、音声ベースのインタフェースを通して提供するのが困難または不安であり得る。追加的に、コンテンツ配信を認可する会話インタフェースを生成する結果として、プロセッサおよびメモリ資源などの、過剰な計算資源、ネットワーク帯域幅、またはリモートプロシージャコールを消費することになり得るため、音声ベースのインタフェースを持つデバイスを認可することは困難または非効率的であり得る。追加的に、エンドユーザが第2のデバイスを通じてインタフェースするように切り替えるよりもむしろ大抵要求を断念してしまうので、第2のデバイスの非音声ベースのインタフェースを通しての即時認可を必要とする結果として、ネットワーク資源が浪費され得る。

本技術的解決策のシステムおよび方法により、ネットワーク化デバイスにおいて、計算資源利用、ネットワーク帯域幅またはリモートプロシージャコールを削減しつつ、要求されたデジタルコンポーネントの配信を改善する遅延2要素認証が発生することを可能にする。例えば、本技術的解決策のシステムおよび方法は、デジタルコンポーネントの即時配信を可能にする結果として、デジタルコンポーネント配信が遅延2要素認証プロセスを通じて認可されつつ、断念される要求が少なくなる。

例示的な例では、デジタルコンポーネントを要求するために音声駆動(かつハンズフリー)デジタルアシスタントデバイスを使用できる。デジタルコンポーネントは、サブスクリプションベースのサービス(例えば、ストリーミング音楽サービス)を通じて提供でき、または支払い認可(例えば、曲を購入すること)を必要とし得る。デジタルアシスタントへのデジタルコンポーネントの配信は、第2の、非音声駆動クライアントデバイスにおける認可を必要とすることができる。本技術的解決策のこのシステムは、状態機械を含むことができる。状態機械は、デジタルコンポーネントを提供するサービスの使用可能状態(デジタルアシスタントに対する)もデジタルアシスタントの認証状態も追跡できる。

コンテンツの要求に応じて、たとえ状態機械の状態が非認証状態にあるとしても、本システムは、デジタルアシスタントに要求されたコンテンツを提供できる。本システムは、デジタルアシスタントと関連付けられる第2のクライアントデバイスに認可要求を送信できる。本システムは、認可要求に応答する所定の時間量を第2のクライアントデバイスに提供できる。この所定の時間量の間に、デジタルアシスタントは、要求されたデジタルコンポーネントをレンダリングまたは提示できる。一旦認可要求が受信されると、第2のデバイスは、確認オプションおよび拒否オプションを伴う通知を示すことができ、または通知は、それらのオプションを伴うダイアログを開き得る。第2のクライアントデバイスは、第2のクライアントデバイスがデジタルアシスタントから所定の距離内にあるかどうかなどの、ローカルデバイス状態に基づいて認可要求を自動的に承認できる。エンドユーザがダイアログを確認する(またはその他認可要求に明確に関与する)と、第2のクライアントデバイスは、認証トークンおよび一意のアクション識別子を本システムに送ることができる。本システムは、認証トークンおよび一意のアクション識別子を使用して、デジタルアシスタントの状態機械を認可状態に変化させることができる。

初期関与アクションが、使用不能サービスを一時的に使用可能にし、そして第2のデバイスに通知を配布することになる。この状態変化は、一時的状態がもはや有効でない時を表すタイムスタンプも含むことになる。この通知は、2組のパラメータを有するアクションを伴うペイロードを含むことになり、第1のパラメータは、ユーザを認証する命令およびどの具体的なアクションが認証されているかについてユーザに知らせるダイアログコンポーネント(またはダイアログコンポーネントの参照)であり、そして第2のパラメータは、認証されることになるアクションに対する具体的なアクションまたはイベント識別子である。

図1は、ネットワーク化環境においてデバイスを認証するシステム例100を例示する。システム100は、デジタルコンポーネント選択インフラストラクチャを含むことができる。システム100は、データ処理システム102を含むことができる。データ処理システム102は、ネットワーク105を介してデジタルコンポーネントプロバイダデバイス106(例えば、コンテンツプロバイダデバイス)またはクライアントコンピューティングデバイス104の1つまたは複数と通信できる。ネットワーク105は、インターネットなどのコンピュータネットワーク、ローカル、ワイド、メトロまたは他のエリアネットワーク、イントラネット、衛星ネットワーク、および音声またはデータ移動電話ネットワークなどの他の通信ネットワークを含むことができる。ネットワーク105は、ラップトップ、デスクトップ、タブレット、デジタルアシスタント、携帯情報端末、スマートウォッチ、ウェアラブルデバイス、スマートフォン、ポータブルコンピュータまたはスピーカなどの、少なくとも1つのコンピューティングデバイス104上で提示、出力、レンダリングまたは表示できるウェブページ、ウェブサイト、ドメイン名またはユニフォームリソースロケータなどの情報資源にアクセスするために使用できる。例えば、ネットワーク105を介して、クライアントコンピューティングデバイス104のユーザが、デジタルコンポーネントプロバイダデバイス106によって提供される情報またはデータにアクセスできる。クライアントコンピューティングデバイス104は、ディスプレイを含んでも含まなくてもよい。例えば、クライアントコンピューティングデバイス104は、マイクロホンおよびスピーカなどの、限られた種類のユーザインタフェースを含み得る(例えば、クライアントコンピューティングデバイス104は、音声駆動またはオーディオベースのインタフェースを含むことができる)。コンピューティングデバイス104の主要なユーザインタフェースは、マイクロホンおよびスピーカを含むことができる。

ネットワーク105は、表示ネットワーク、例えば、コンテンツ配置もしくは検索エンジン結果システムと関連付けられる、またはサードパーティデジタルコンポーネントを含む資格がある、インターネット上で利用可能な情報資源の部分集合を含むまたは構成することができる。ネットワーク105は、クライアントコンピューティングデバイス104によって提示、出力、レンダリングまたは表示できるウェブページ、ウェブサイト、ドメイン名またはユニフォームリソースロケータなどの情報資源にアクセスするためにデータ処理システム102によって使用できる。例えば、ネットワーク105を介して、クライアントコンピューティングデバイス104のユーザが、デジタルコンポーネントプロバイダデバイス106によって提供される情報またはデータにアクセスできる。

ネットワーク105は、任意の種類または形態のネットワークでよく、以下のいずれかを含んでよい:地点間ネットワーク、放送ネットワーク、ワイドエリアネットワーク、ローカルエリアネットワーク、遠隔通信ネットワーク、データ通信ネットワーク、コンピュータネットワーク、ATM(非同期転送モード)ネットワーク、SONET(同期光ネットワーク)ネットワーク、SDH(同期デジタルハイアラーキ)ネットワーク、無線ネットワークおよび有線ネットワーク。ネットワーク105は、赤外線チャネルまたは衛星帯域などの無線リンクを含んでよい。ネットワーク105のトポロジは、バス、スターまたはリングネットワークトポロジを含んでよい。ネットワークは、高度移動電話プロトコル(「AMPS」)、時分割多元接続(「TDMA」)、符号分割多元接続(「CDMA」)、移動通信用グローバルシステム(「GSM」)、汎用パケット無線サービス(「GPRS」)またはユニバーサル移動通信システム(「UMTS」)を含む、モバイルデバイスの間で通信するために使用される任意の1つまたは複数のプロトコルを使用する移動電話ネットワークを含んでよい。異なる種類のデータが異なるプロトコルを介して送信されてよく、または同じ種類のデータが異なるプロトコルを介して送信されてよい。

システム100は、少なくとも1つのデータ処理システム102を含むことができる。データ処理システム102は、例えばコンピューティングデバイス104またはデジタルコンポーネントプロバイダデバイス106とネットワーク105を介して通信する、プロセッサを有するコンピューティングデバイスなどの、少なくとも1つの論理デバイスを含むことができる。データ処理システム102は、少なくとも1つの計算資源、サーバ、プロセッサまたはメモリを含むことができる。例えば、データ処理システム102は、少なくとも1つのデータセンタに設けられる複数の計算資源またはサーバを含むことができる。データ処理システム102は、多数の、論理的にグループ化されたサーバを含み、そして分散コンピューティング技術を促進できる。サーバの論理グループは、データセンタ、サーバファームまたはマシンファームと称されてよい。サーバは、地理的にも分散できる。データセンタもしくはマシンファームが単一のエンティティとして管理されてよく、またはマシンファームは複数のマシンファームを含むことができる。各マシンファーム内のサーバは異種であることができ、サーバまたはマシンの1つまたは複数が1つまたは複数の種類のオペレーティングシステムプラットフォームに従って動作できる。

マシンファームにおけるサーバは、関連するストレージシステムと共に高密度ラックシステムに格納され、そして企業データセンタに設けることができる。例えば、このようにサーバを統合することは、局所的高性能ネットワーク上にサーバおよび高性能ストレージシステムを設けることによってシステム管理性、データセキュリティ、システムの物理的セキュリティ、およびシステム性能を改善し得る。サーバおよびストレージシステムを含む、データ処理システム102のコンポーネントの全部または一部の集中化、ならびにそれらを高度システム管理ツールと結合することが、サーバ資源のより効率的な使用を許容して、電力および処理要件を節約しかつ帯域幅使用を削減する。

クライアントコンピューティングデバイス104は、少なくとも1つのローカルデジタルアシスタント134、少なくとも1つのセンサ138、少なくとも1つのトランスデューサ140、少なくとも1つのオーディオドライバ142または少なくとも1つのディスプレイ144の1つまたは複数を含む、実行する、それらとインタフェースする、またはその他通信することができる。センサ138は、例えば、カメラ、周辺光センサ、近接センサ、温度センサ、加速度計、ジャイロスコープ、動き検出器、GPSセンサ、位置センサ、マイクロホン、ビデオ、画像検出またはタッチセンサを含むことができる。トランスデューサ140はスピーカまたはマイクロホンを含む、またはその一部であることができる。オーディオドライバ142は、ハードウェアトランスデューサ140にソフトウェアインタフェースを提供できる。オーディオドライバ142は、データ処理システム102によって提供されるオーディオファイルまたは他の命令を実行して、対応する音響波または音波を生成するようにトランスデューサ140を制御できる。ディスプレイ144は、発光ダイオード、有機発光ダイオード、液晶ディスプレイ、レーザまたはディスプレイなど、ビジュアル指示または光出力を提供するように構成される1つまたは複数のハードウェアまたはソフトウェアコンポーネントを含むことができる。

ローカルデジタルアシスタント134は、1つもしくは複数のプロセッサ、論理アレイまたはメモリを含むことができる、またはそれによって実行できる。ローカルデジタルアシスタント134は、キーワードを検出し、そしてキーワードに基づいてアクションを行うことができる。ローカルデジタルアシスタント134は、データ処理システム102において実行されるリモートデジタルアシスタントコンポーネント112のインスタンスであることができ、またはリモートデジタルアシスタントコンポーネント112の機能のいずれかを行うことができる。ローカルデジタルアシスタント134は、更なる処理のためにデータ処理システム102(例えば、リモートデジタルアシスタントコンポーネント112)にデータとして用語を送信する前に1つまたは複数の用語を除去または用語を修正できる。ローカルデジタルアシスタント134は、トランスデューサ140によって検出されるアナログオーディオ信号をデジタルオーディオ信号へ変換し、そしてネットワーク105を介してデータ処理システム102にデジタルオーディオ信号を搬送する1つまたは複数のデータパケットを送信できる。ローカルデジタルアシスタント134は、そのような送信を行う命令を検出したことに応じて入力オーディオ信号の一部または全部を搬送するデータパケットを送信できる。命令は、例えば、データ処理システム102に入力オーディオ信号を備えるデータパケットを送信するトリガキーワードまたは他のキーワードまたは承認を含むことができる。

ローカルデジタルアシスタント134は、入力オーディオ信号にプレフィルタリングまたは前処理を行って、オーディオの或る周波数を除去できる。プレフィルタリングは、ローパスフィルタ、ハイパスフィルタまたはバンドパスフィルタなどのフィルタを含むことができる。フィルタは、周波数領域において適用できる。フィルタは、デジタル信号処理技術を使用して適用できる。フィルタは、人声または人語に対応する周波数を保つ一方で、人語の典型的な周波数から外れる周波数を排除するように構成できる。例えば、バンドパスフィルタは、第1の閾値(例えば、70Hz、75Hz、80Hz、85Hz、90Hz、95Hz、100Hzまたは105Hz)未満のおよび第2の閾値(例えば、200Hz、205Hz、210Hz、225Hz、235Hz、245Hzまたは255Hz)を超える周波数を除去するように構成できる。バンドパスフィルタを適用することで、下流処理における計算資源利用を削減できる。コンピューティングデバイス104上のローカルデジタルアシスタント134は、データ処理システム102に入力オーディオ信号を送信する前にバンドパスフィルタを適用し、それによってネットワーク帯域幅利用を削減できる。しかしながら、コンピューティングデバイス104に利用可能な計算資源および利用可能なネットワーク帯域幅に基づいて、データ処理システム102に入力オーディオ信号を提供して、データ処理システム102がフィルタリングを行うことを許容することがより効率的であり得る。

ローカルデジタルアシスタント134は、雑音低減技術などの追加の前処理またはプレフィルタリング技術を適用して、自然言語プロセッサに干渉し得る周囲雑音レベルを低減させることができる。雑音低減技術は、自然言語プロセッサの精度および速度を改善し、それによってデータ処理システム102の性能を改善し、かつディスプレイ144を介して提供されるグラフィカルユーザインタフェースのレンダリングを管理できる。

クライアントコンピューティングデバイス104は、クライアントコンピューティングデバイス104へ(センサ138またはトランスデューサ140を介して)オーディオ入力として音声クエリを入力し、そしてデータ処理システム102またはデジタルコンポーネントプロバイダデバイス106からオーディオ(または他の)出力を受け取るエンドユーザと関連付けられて、クライアントコンピューティングデバイス104のエンドユーザに提示、表示またはレンダリングできる。デジタルコンポーネントは、データ処理システム102またはデジタルコンポーネントプロバイダデバイス106からクライアントコンピューティングデバイス104に提供できるコンピュータ生成音声を含むことができる。クライアントコンピューティングデバイス104は、トランスデューサ140(例えば、スピーカ)を介してエンドユーザにコンピュータ生成音声をレンダリングできる。コンピュータ生成音声は、実際の人物またはコンピュータ生成言語からの録音を含むことができる。クライアントコンピューティングデバイス104は、コンピューティングデバイス104に通信的に結合されるディスプレイデバイス144を介してビジュアル出力を提供できる。

クライアントコンピューティングデバイス104に音声クエリを入力するエンドユーザは、複数のクライアントコンピューティングデバイス104と関連付けることができる。例えば、エンドユーザは、スピーカベースのデジタルアシスタントデバイスであることができる第1のクライアントコンピューティングデバイス104、モバイルデバイス(例えば、スマートフォン)であることができる第2のクライアントコンピューティングデバイス104、およびデスクトップコンピュータであることができる第3のクライアントコンピューティングデバイス104と関連付けることができる。データ処理システム102は、共通のログイン、位置、ネットワークまたは他のリンキングデータを通じてクライアントコンピューティングデバイス104の各々を関連付けることができる。例えば、エンドユーザは、同じアカウントユーザ名およびパスワードでクライアントコンピューティングデバイス104の各々へログインしてよい。

クライアントコンピューティングデバイス104は、コンピューティングデバイス104のセンサ138(例えば、マイクロホン)によって検出される入力オーディオ信号を受信できる。入力オーディオ信号は、例えば、言語で提供されるクエリ、質問、コマンド、命令または他の文を含むことができる。入力オーディオ信号は、質問または要求が向けられるサードパーティ(例えば、デジタルコンポーネントプロバイダデバイス106)の識別子または名前を含むことができる。例えば、クエリは、サブスクリプションベースの音楽サービス(デジタルコンポーネントプロバイダデバイス106の例)に要求を提供するようにデータ処理システム102に命令するために、入力オーディオ信号に指定されたサブスクリプションベースの音楽サービスの名前を含むことができる。例えば、入力オーディオ信号は、「XYZ音楽サービスの私の音楽プレイリストをかけて」を含むことができる。音楽サービスは、プレイリストと関連した曲を、ネットワーク105を通じてクライアントコンピューティングデバイス104に提供でき、またはデータ処理システム102に提供でき、これがプレイリストと関連した曲をネットワーク105を通じてクライアントコンピューティングデバイス104に提供できる。

クライアントコンピューティングデバイス104は、デジタルアシスタントデバイスを含む、実行する、またはそのように称することができる。デジタルアシスタントデバイスは、コンピューティングデバイス104の1つまたは複数のコンポーネントを含むことができる。デジタルアシスタントデバイスは、データ処理システム102から表示出力を受信し、そしてディスプレイ144上に表示出力をレンダリングできるグラフィックスドライバを含むことができる。グラフィックスドライバは、グラフィックスまたはビジュアル出力がディスプレイ144上にどのように表示されるかを制御または改良するハードウェアまたはソフトウェアコンポーネントを含むことができる。グラフィックスドライバは、例えば、グラフィックコンポーネントがコンピューティングデバイス104(またはデジタルアシスタント)の残りとどのように機能するかを制御するプログラムを含むことができる。ローカルデジタルアシスタント134は、入力オーディオ信号をフィルタリングしてフィルタ済み入力オーディオ信号を作成し、フィルタ済み入力オーディオ信号をデータパケットに変換し、そして1つまたは複数のプロセッサおよびメモリを備えるデータ処理システムにデータパケットを送信できる。

デジタルアシスタントデバイスは、オーディオドライバ142およびスピーカコンポーネント(例えば、トランスデューサ140)を含むことができる。プリプロセッサコンポーネント140は、表示出力の指示を受信し、そして出力オーディオ信号を生成するようにオーディオドライバ142に命令して、スピーカコンポーネント(例えば、トランスデューサ140)に表示出力の指示に対応するオーディオ出力を送信させる。

システム100は、少なくともデジタルコンポーネントプロバイダデバイス106を含む、それにアクセスする、またはその他それと対話することができる。デジタルコンポーネントプロバイダデバイス106は、クライアントコンピューティングデバイス104またはデータ処理システム102にデジタルコンポーネントを提供できる1つまたは複数のサーバを含むことができる。デジタルコンポーネントプロバイダデバイス106またはそのコンポーネントは、データ処理システム102と統合でき、またはデータ処理システム102によって少なくとも部分的に実行できる。デジタルコンポーネントプロバイダデバイス106は、例えばコンピューティングデバイス104、データ処理システム102またはデジタルコンポーネントプロバイダデバイス106とネットワーク105を介して通信する、プロセッサを有するコンピューティングデバイスなどの、少なくとも1つの論理デバイスを含むことができる。デジタルコンポーネントプロバイダデバイス106は、少なくとも1つの計算資源、サーバ、プロセッサまたはメモリを含むことができる。例えば、デジタルコンポーネントプロバイダデバイス106は、少なくとも1つのデータセンタに設けられる複数の計算資源またはサーバを含むことができる。

デジタルコンポーネントプロバイダデバイス106は、オーディオ出力デジタルコンポーネントまたはビジュアル出力デジタルコンポーネントとしてのクライアントコンピューティングデバイス104による提示のためにオーディオ、ビジュアルまたはマルチメディアベースのデジタルコンポーネントを提供できる。デジタルコンポーネントは、デジタルコンテンツである、またはそれを含むことができる。デジタルコンポーネントは、デジタルオブジェクトである、またはそれを含むことができる。デジタルコンポーネントは、サブスクリプションベースのコンテンツまたは従量課金コンテンツを含むことができる。デジタルコンポーネントが複数のデジタルコンテンツアイテムを含むことができる。例えば、デジタルコンポーネントが、ストリーミング音楽サービス(例えば、デジタルコンポーネントプロバイダデバイス106)からのデータストリームであることができる。ストリーミングされるデジタルコンポーネントは、異なるデジタルコンテンツアイテムとして複数の曲を含むことができる。デジタルコンポーネントは、デジタル映画、ウェブサイト、曲、アプリケーション(例えば、スマートフォンもしくは他のクライアントデバイスアプリケーション)、または他のテキストベース、オーディオベース、画像ベースもしくはビデオベースのコンテンツを含むことができる、またはそれであることができる。

デジタルコンポーネントプロバイダデバイス106は、ネットワーク105を介してクライアントコンピューティングデバイス104にデジタルコンポーネントを提供し、データ処理システム102をバイパスできる。デジタルコンポーネントプロバイダデバイス106は、ネットワーク105およびデータ処理システム102を介してクライアントコンピューティングデバイス104にデジタルコンポーネントを提供できる。例えば、デジタルコンポーネントプロバイダデバイス106は、デジタルコンポーネントをデータ処理システム102に提供でき、これがデジタルコンポーネントを記憶し、そしてクライアントコンピューティングデバイス104によって要求されるとクライアントコンピューティングデバイス104にデジタルコンポーネントを提供できる。

データ処理システム102は、少なくとも1つの計算資源またはサーバを含むことができる。データ処理システム102は、少なくとも1つのインタフェース110を含む、それとインタフェースする、またはその他通信することができる。データ処理システム102は、少なくとも1つのリモートデジタルアシスタントコンポーネント112を含む、それとインタフェースする、またはその他通信することができる。リモートデジタルアシスタントコンポーネント112は、少なくとも1つの自然言語プロセッサコンポーネント114を含む、それとインタフェースする、またはその他通信することができる。データ処理システム102は、少なくとも1つのデジタルコンポーネントセレクタ120を含む、それとインタフェースする、またはその他通信することができる。データ処理システム102は、少なくとも1つの認可コンポーネント122を含む、それとインタフェースする、またはその他通信することができる。データ処理システム102は、少なくとも1つのデータリポジトリ124を含む、それとインタフェースする、またはその他通信することができる。少なくとも1つのデータリポジトリ124は、1つまたは複数のデータ構造またはデータベースに、ディープリンク126、ペイロードポリシー128、イベント識別子130またはコンテンツデータ132を含むまたは記憶することができる。データリポジトリ124は、1つまたは複数のローカルまたは分散データベースを含むことができ、かつデータベース管理を含むことができる。

インタフェース110、リモートデジタルアシスタントコンポーネント112、自然言語プロセッサコンポーネント114、デジタルコンポーネントセレクタ120および認可コンポーネント122は、データベースリポジトリまたはデータベース124と通信するように構成されるプログラマブル論理アレイエンジンまたはモジュールなどの、少なくとも1つの処理ユニットまたは他の論理デバイスを各々含むことができる。インタフェース110、リモートデジタルアシスタントコンポーネント112、自然言語プロセッサコンポーネント114、デジタルコンポーネントセレクタ120、認可コンポーネント122およびデータリポジトリ124は、別々のコンポーネント、単一のコンポーネント、または複数データ処理システム102の一部であることができる。システム100および、データ処理システム102などの、そのコンポーネントは、1つまたは複数のプロセッサ、論理デバイスまたは回路などの、ハードウェア要素を含むことができる。

データ処理システム102は、インタフェース110を含むことができる。インタフェース110は、例えばデータパケットを使用して情報を受信および送信するように構成、構築または動作できる。インタフェース110は、ネットワークプロトコルなどの、1つまたは複数のプロトコルを使用して情報を受信および送信できる。インタフェース110は、ハードウェアインタフェース、ソフトウェアインタフェース、有線インタフェースまたは無線インタフェースを含むことができる。インタフェース110は、データを1つの形式から別の形式に翻訳または形式化するのを容易にすることができる。例えば、インタフェース110は、ソフトウェアコンポーネントなどの、様々なコンポーネント間で通信するための定義を含むアプリケーションプログラミングインタフェースを含むことができる。

データ処理システム102は、ローカルデジタルアシスタント134など、クライアントコンピューティングデバイス104においてインストールされて、データ処理システム102のインタフェース110に入力オーディオ信号を通信し、そして出力オーディオ信号またはビジュアル出力をレンダリングするようにクライアントコンピューティングデバイスのコンポーネントを駆動するアプリケーション、スクリプトまたはプログラムを含むことができる。データ処理システム102は、或る入力オーディオ信号(または複数の入力オーディオ信号)を含むまたは識別するデータパケット、デジタルファイルまたは他の信号を受信できる。コンピューティングデバイス104は、トランスデューサ140を介してオーディオ信号を検出し、そしてアナログデジタル変換器を介してアナログオーディオ信号をデジタルファイルに変換できる。例えば、オーディオドライバ142は、アナログデジタル変換器コンポーネントを含むことができる。プリプロセッサコンポーネント140は、オーディオ信号を、ネットワーク105を通じてデータパケットを介して送信できるデジタルファイルに変換できる。

データ処理システム102のリモートデジタルアシスタントコンポーネント112は、NLPコンポーネント114を実行してまたは走らせて、コンピューティングデバイス104のセンサ138によって検出された入力オーディオ信号を含むデータパケットを受信または取得できる。データパケットはデジタルファイルを提供できる。NLPコンポーネント114は、オーディオ信号を備えるデジタルファイルまたはデータパケットを受信または取得し、そしてオーディオ信号を構文解析できる。例えば、NLPコンポーネント114は、人間とコンピュータとの間の対話に備えることができる。NLPコンポーネント114には、自然言語を理解し、そしてデータ処理システム102が人間または自然言語入力から意味を導き出すことを可能にするための技術を構成できる。NLPコンポーネント114には、統計的機械学習などの機械学習に基づく技術を含むことができる、または構成できる。NLPコンポーネント114は、決定木、統計モデルまたは確率モデルを利用して入力オーディオ信号を構文解析できる。NLPコンポーネント114は、例えば、固有表現認識(例えば、テキストのストリームが与えられると、テキストにおけるどの項目が、人々または場所などの固有名にマッピングするか、および各そのような名前の種類が、人物、位置または組織など、何であるかを判定する)、自然言語生成(例えば、コンピュータデータベースからの情報または意味的意図を理解可能な人間語へ変換する)、自然言語理解(例えば、テキストを、コンピュータモジュールが操作できる一階論理構造などのより正式な表現へ変換する)、機械翻訳(例えば、テキストを1つの人間言語から別の言語に自動的に翻訳する)、形態分割(例えば、語を個々の形態素へ分離し、そして形態素のクラスを識別するが、検討されている言語の語の形態または構造の複雑さに基づいて困難であり得る)、質問応答(例えば、具体的または自由回答式であることができる人間語質問への回答を決定する)、意味処理(例えば、識別される語を類似の意味を持つ他の語と関連させるために、語を識別してその意味を符号化した後に起こることができる処理)などの機能を行うことができる。

NLPコンポーネント114は、記憶された、オーディオ波形の代表集合(例えば、データリポジトリ124における)に対して入力信号を比較し、そして最も近い一致を選ぶことによって入力オーディオ信号を認識テキストへ変換できる。オーディオ波形の集合は、データリポジトリ124またはデータ処理システム102にとってアクセス可能な他のデータベースに記憶できる。代表波形はユーザの大集合にわたって生成され、次いでユーザからの発語サンプルで強化されてよい。オーディオ信号が認識テキストへ変換された後に、NLPコンポーネント114は、データ処理システム102が扱うことができるアクションと、例えばユーザにわたる訓練を介してまたはマニュアル仕様を通じて、関連付けられる語にテキストを照合する。NLPコンポーネント114は、画像またはビデオ入力をテキストまたはデジタルファイルに変換できる。NLPコンポーネント114は、画像またはビデオ入力を処理、分析または解釈して、アクションを行う、要求を生成する、またはデータ構造を選択もしくは識別することができる。

データ処理システム102は、入力オーディオ信号に加えて、またはそれの代わりに、画像またはビデオ入力信号を受信できる。データ処理システム102は、例えば画像解釈技術、コンピュータビジョン、機械学習エンジン、または画像もしくはビデオを認識もしくは解釈する他の技術を使用して画像またはビデオ入力信号を処理して、画像またはビデオをデジタルファイルに変換できる。1つまたは複数の画像解釈技術、コンピュータビジョン技術、機械学習技術は、集合的に映像技術と称することができる。データ処理システム102(例えば、NLPコンポーネント114)には、オーディオ処理技術に加えて、またはそれの代わりに、映像技術を構成できる。

NLPコンポーネント114は、入力オーディオ信号を取得できる。入力オーディオ信号から、NLPコンポーネント114は、少なくとも1つの要求または要求に対応する少なくとも1つのトリガキーワードを識別できる。要求は、意図、デジタルコンポーネント、または入力オーディオ信号の対象を示すことができる。トリガキーワードは、とられることになりそうなアクションの種類を示すことができる。例えば、NLPコンポーネント114は、入力オーディオ信号を構文解析して、夕方に家を出て夕食および映画に向かうとの少なくとも1つの要求を識別できる。トリガキーワードは、とられることになるアクションを示す少なくとも1つの語、句、語根もしくは部分語、または派生語を含むことができる。例えば、入力オーディオ信号からのトリガキーワード「行く」または「に行く」は移動の必要を示すことができる。この例では、入力オーディオ信号(または識別された要求)は、移動の意図を直接表すものではないが、しかしながらトリガキーワードは、移動が要求によって示される少なくとも1つの他のアクションに付随するアクションであることを示す。

NLPコンポーネント114は、入力オーディオ信号を構文解析して要求およびトリガキーワードを識別、決定、検索、またはその他取得できる。例えば、NLPコンポーネント114は、入力オーディオ信号に意味処理技術を適用してトリガキーワードまたは要求を識別できる。NLPコンポーネント114は、入力オーディオ信号に意味処理技術を適用して、第1のトリガキーワードおよび第2のトリガキーワードなどの、1つまたは複数のトリガキーワードを含むトリガフレーズを識別できる。例えば、入力オーディオ信号は、文「私のお気に入りの曲をかけて」を含むことができる。NLPコンポーネント114は、入力オーディオ信号がトリガキーワード「かける」を含むと判定できる。NLPコンポーネント114は、要求がエンドユーザのお気に入りの曲(デジタルコンポーネント)に対してであると判定できる。NLPコンポーネント114は、入力オーディオ信号中にアプリケーション識別子またはデジタルコンポーネントプロバイダデバイス106の識別子を識別できる。アプリケーション識別子またはデジタルコンポーネントプロバイダデバイス106の識別子は、エンドユーザがどのアプリケーションまたはデジタルコンポーネントプロバイダデバイス106に要求を満たして欲しいかを示すことができる。

データ処理システム102は、認可コンポーネント122のインスタンスを実行するまたは走らせることができる。認可コンポーネント122は、データ処理システム102が遅延2要素認証を行うことを可能にすることができる。入力オーディオ信号中にNLPコンポーネント114によって識別されるデジタルコンポーネントは、デジタルコンポーネントプロバイダデバイス106からクライアントコンピューティングデバイス104に提供できる。クライアントコンピューティングデバイス104にデジタルコンポーネントを提供するため、デジタルコンポーネントプロバイダデバイス106またはデータ処理システム102は認可を必要とすることができる。認可コンポーネント122は、デジタルコンポーネントの要求に応じて、かつ完全なデジタルコンポーネントの送信が認可される前にデジタルコンポーネントの一部分がクライアントコンピューティングデバイス104に送信またはストリーミングされることを可能にすることができる。例えば、デジタルコンポーネントの一部分は、クライアントコンピューティングデバイスの認可が開始するまたは完了される前にクライアントコンピューティングデバイス104に送信できる。

認可コンポーネント122は、クライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106からデジタルコンポーネントを受信することを認可されているかどうか、およびデジタルコンポーネントプロバイダデバイス106がクライアントコンピューティングデバイス104に対して使用可能にされているかどうかを判定できる状態機械を含むことができる。一旦デジタルコンポーネントプロバイダデバイス106がクライアントコンピューティングデバイス104に対して使用可能にされると、クライアントコンピューティングデバイス104に対するデフォルト状態は非認可状態であることができる。非認可状態にあると、認可コンポーネント122は、クライアントコンピューティングデバイス104に要求されたデジタルコンポーネントの一部分を提供するだけでよい。

デジタルコンポーネントの要求を受信したことに基づいて、デジタルコンポーネントセレクタ120は、データ処理システム102に入力オーディオ信号を送信した第1のクライアントコンピューティングデバイス104に送信するデジタルコンポーネントの一部分を選択できる。第1のクライアントデバイスに第1のデジタルコンポーネントの一部分を送信したことに少なくとも基づいて、認可コンポーネント122は、第2のクライアントデバイスに認可要求を送信できる。認可要求は、第1のクライアントコンピューティングデバイス104への要求されたデジタルコンポーネントの第2の部分(または残り)の送信を認可せよとの要求を含むことができる。認可要求は、クライアントコンピューティングデバイス104に送信またはプッシュできるデジタルメッセージまたは他の関与信号を含むことができる。例えば、認可要求は、データ処理システム102から第2のクライアントコンピューティングデバイス104に送信される通知、SMS、電子メールまたは他の電子メッセージを含むことができる。

認可コンポーネント122は、認可要求に含めるダイアログコンポーネント、アクション識別子もしくはイベント識別子、または他のパラメータを選択できる。ダイアログコンポーネントは、データリポジトリ124に記憶されるディープリンク126から選択されるディープリンクを含むことができる。クライアントコンピューティングデバイス104におけるディープリンクの実行により、クライアントコンピューティングデバイス104に、クライアントコンピューティングデバイス104上で実行される所定のアプリケーションを開かせることができる。ディープリンクは、開いたアプリケーションのウィンドウの1つまたは複数のフィールドへ読み込まれる情報を含むことができる。第2のクライアントコンピューティングデバイス104において認可要求をレンダリングすることで、第2のクライアントコンピューティングデバイス104に確認オプションまたは拒否オプションを含むダイアログを提示させることができる。

認可コンポーネント122は、確認メッセージをインタフェース110およびネットワーク105を介して受信できる。クライアントコンピューティングデバイス104は、確認オプションのアクティブ化に応答して確認メッセージを生成できる。例えば、認可要求は、クライアントコンピューティングデバイス104のエンドユーザに対して、ユーザがエンドユーザと関連した異なるクライアントコンピューティングデバイス104(例えば、データ処理システム102に入力オーディオ信号を送信したクライアントコンピューティングデバイス104)へのデジタルコンポーネントの送信を認証することを望むかどうかを尋ねる通知ウィンドウを、クライアントコンピューティングデバイス104に表示させることができる。通知ウィンドウは、確認オプションを受入れボタンとしておよび拒否オプションを断りボタンとしてレンダリングできる。確認オプションの選択により、クライアントコンピューティングデバイス104に、データ処理システム102へ確認メッセージを生成および送信させることができる。拒否オプションの選択により、クライアントコンピューティングデバイス104に、データ処理システム102へ断りメッセージを生成および送信させることができる。

認可要求は、クライアントコンピューティングデバイス104に所定のまたは要求されたデジタルコンポーネントを送信せよとの要求を含むことができる。認可要求は、デジタルコンポーネントがクライアントコンピューティングデバイス104に送信されるために必要とされるデジタルコンポーネントプロバイダデバイス106とのサブスクリプション(例えば、ストリーミング音楽サブスクリプション)を開始せよとの要求を含むことができる。

確認メッセージは、認可トークンおよび認可要求のアクションまたはイベント識別子を含むことができる。認可コンポーネント122は、データ処理システム102に入力オーディオ信号を送信したクライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106からデジタルコンポーネントの第2の部分または追加のデジタルコンポーネントを受信することを認可されていることを示す認可トークンを受信したことに基づいて状態機械を更新できる。

認可コンポーネント122は、イベント識別子130を参照して、クライアントコンピューティングデバイス104が以前にデジタルコンポーネントプロバイダデバイス106と接続を確立したか、またはデジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求したかどうかを判定できる。認可コンポーネント122は、イベント識別子130としてクライアントコンピューティングデバイス104の識別子と関連付けて要求の指示を記憶できる。認可コンポーネント122がデジタルコンポーネントを提供する認可要求に応答した確認メッセージを受信しなければ、認可コンポーネント122は、要求の指示を記憶するだけでよい。例えば、データ処理システム102は、第1のクライアントコンピューティングデバイス104に曲がストリーミングされるように要求する入力オーディオ信号を受信できる。要求に応答して、認可コンポーネント122は、第1のクライアントコンピューティングデバイス104と関連付けられる第2のクライアントコンピューティングデバイス104に認可要求を送信できる。データ処理システム102は、第1のクライアントコンピューティングデバイス104に要求された曲の第1の部分を送信できる。認可コンポーネント122が所定の長さの時間内に確認メッセージを受信しなければ、認可コンポーネント122は、要求された曲の少なくとも一部分が第1のクライアントコンピューティングデバイス104に送信されたという指示をイベント識別子130として記憶できる。

認可コンポーネント122は、デジタルコンポーネントの少なくとも一部分が以前にクライアントコンピューティングデバイス104に送信されていること、またはクライアントコンピューティングデバイス104が以前にデジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求していることに基づいてデジタルコンポーネントの要求を断ることができる。認可コンポーネント122は、クライアントコンピューティングデバイス104と関連した一意の識別子を使用して、要求されたデジタルコンポーネント(または同じデジタルコンポーネントプロバイダデバイス106からのデジタルコンポーネント)が以前にクライアントコンピューティングデバイス104に送信されたかどうかをイベント識別子130中を調べることができる。例えば、データ処理システム102は、デジタルコンポーネントプロバイダデバイス106からクライアントコンピューティングデバイス104に音楽プレイリストがストリーミングされるように要求する入力オーディオ信号を受信できる。認可コンポーネント122は、クライアントコンピューティングデバイス104が以前にデジタルコンポーネントプロバイダデバイス106にプレイリストまたは他のデジタルコンポーネントのストリーミングを要求したかどうかを判定できる。認可コンポーネント122が、クライアントコンピューティングデバイス104に以前にデジタルコンポーネントがストリーミングまたは送信された(認可コンポーネント122が確認メッセージを受信せずに)と判定すれば、認可コンポーネント122は、データ処理システム102がクライアントコンピューティングデバイス104に要求されたプレイリスト(またはその一部分)をストリーミングするのを防止できる。

認可コンポーネント122は、認可コンポーネント122が確認メッセージを受信せずにクライアントコンピューティングデバイス104がデジタルコンポーネントを要求した回数に基づいて認可メッセージの受取り前に送信される、クライアントコンピューティングデバイス104に送信されるデジタルコンポーネントの一部分の長さまたは期間を短縮できる。例えば、初めてクライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106に映画(例えば、デジタルコンポーネント)を要求すると、認可コンポーネント122は、映画の10分間部分を、確認メッセージを受信せずにクライアントコンピューティングデバイス104に送信されるように選択または認可できる。2回目にクライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106に映画を要求すると、認可コンポーネント122は、映画の5分間部分を、確認メッセージを受信せずにクライアントコンピューティングデバイス104に送信されるように選択または認可できる。以降の要求ごとに、認可コンポーネント122は、デジタルコンポーネントの最初の要求に基づいてクライアントコンピューティングデバイス104に送信されるデジタルコンポーネントの一部分のより小さい(またはより短い)下位部分を認可または選択できる。

デジタルコンポーネントセレクタ120は、クライアントコンピューティングデバイス104によって処理され、そしてディスプレイ144またはトランスデューサ140(例えば、スピーカ)を介してユーザに提示できるテキスト、文字列、文字、ビデオファイル、画像ファイルまたはオーディオファイルを含むデジタルコンポーネントを選択できる。デジタルコンポーネントセレクタ120は、入力オーディオ信号中にNLPコンポーネント114によって識別される要求に応じたデジタルコンポーネントを選択できる。デジタルコンポーネントセレクタ120は、どのデジタルコンポーネントプロバイダデバイス106が要求を満足させるべきであるまたは満足させることができるかを選択でき、そしてそのデジタルコンポーネントプロバイダデバイス106に要求を転送できる。例えば、データ処理システム102は、デジタルコンポーネントプロバイダデバイス106とクライアントコンピューティングデバイス104との間のセッションを開始して、デジタルコンポーネントプロバイダデバイス106がクライアントコンピューティングデバイス104にデジタルコンポーネントを送信することを可能にすることができる。デジタルコンポーネントセレクタ120は、デジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求できる。デジタルコンポーネントプロバイダデバイス106は、デジタルコンポーネントをデータ処理システム102に提供でき、これがデジタルコンポーネントをデータリポジトリ124に記憶できる。デジタルコンポーネントの要求に応じて、デジタルコンポーネントセレクタ120は、データリポジトリ124からデジタルコンポーネントを検索できる。

デジタルコンポーネントの要求に応答して、例えば、デジタルコンポーネントセレクタ120は、要求に応答してクライアントコンピューティングデバイス104に提供するデジタルコンポーネントの一部分を選択できる。デジタルコンポーネントセレクタ120は、認可コンポーネント122によって設定される期間または長さに対応するデジタルコンポーネントの一部分を選択できる。

デジタルコンポーネントセレクタ120は、リアルタイムコンテンツ選択プロセスを介して複数のデジタルコンポーネントを選択できる。デジタルコンポーネントセレクタ120は、デジタルコンポーネントをスコア付けおよびランク付けし、そして出力マージャコンポーネント120に複数のデジタルコンポーネントを提供して、出力マージャコンポーネント120が最高ランクのデジタルコンポーネントを選択することを許容できる。デジタルコンポーネントセレクタ120は、入力オーディオ信号(またはそこに含まれるキーワードおよび要求)に基づいて第2のクライアントコンピューティングデバイス104に送信される1つまたは複数の追加のデジタルコンポーネントを選択できる。1つまたは複数の追加のデジタルコンポーネントは、認可要求の一部としてまたはそれに加えて第2のクライアントコンピューティングデバイス104に送信できる。例えば、第1のクライアントコンピューティングデバイス104からの入力オーディオ信号が第1のデジタルコンポーネントプロバイダデバイス106へのデジタルコンポーネントの要求を含めば、デジタルコンポーネントセレクタ120は、1つまたは複数の関連するデジタルコンポーネントプロバイダデバイス106に対応する1つまたは複数のデジタルコンポーネントを選択できる。1つの例示的な例では、入力オーディオ信号は、第1のクライアントコンピューティングデバイス104にストリーミング音楽を開始せよとの要求を含むことができる。デジタルコンポーネントセレクタ120は、異なるデジタルコンポーネントプロバイダデバイス106と関連した追加のデジタルコンポーネント(例えば、広告)を選択できる。データ処理システム102は、第2のクライアントコンピューティングデバイス104への認可要求に追加のデジタルコンポーネントを含むことができる。追加のデジタルコンポーネントは、第1のクライアントコンピューティングデバイス104からの要求を満足させ得る追加のまたは関連するデジタルコンポーネントプロバイダデバイス106をエンドユーザに知らせることができる。

デジタルコンポーネントセレクタ120は、コンピューティングデバイス104またはローカルデジタルアシスタント134またはコンピューティングデバイス104上で実行するアプリケーションに、入力オーディオ信号中に識別される要求に応答して選択される選択デジタルコンポーネントを提示のために提供できる。このように、デジタルコンポーネントセレクタ120は、クライアントコンピューティングデバイス104からコンテンツ要求を受信し、コンテンツ要求に応じて、デジタルコンポーネントを選択し、そしてクライアントコンピューティングデバイス104に、デジタルコンポーネントを提示のために送信できる。デジタルコンポーネントセレクタ120は、ローカルデジタルアシスタント134に、ローカルデジタルアシスタント134自体またはクライアントコンピューティングデバイス104によって実行されるサードパーティアプリケーションによる提示のために選択デジタルコンポーネントを送信できる。例えば、ローカルデジタルアシスタント134は、選択デジタルコンポーネントに対応するオーディオ信号を再生または出力できる。

データリポジトリ124は、1つまたは複数のデータ構造またはデータファイルに記憶できるディープリンク126を記憶できる。ディープリンク126はテーブルまたはデータベースに記憶できる。ディープリンク126は、クライアントコンピューティングデバイス104によって実行できるアプリケーションのリンク、ポインタ、リファレンス、または他のアドレスもしくは位置情報を含むことができる。アプリケーションへのディープリンクは、具体的なリソース、ウェブコンテンツ、アプリケーションまたはアプリケーション内のビューにリンクするユニフォームリソースロケータまたはハイパーリンクを指すことができる。ディープリンクは、特定のリソースもしくはアプリケーションを示す、アプリケーションを起動する、またはアプリケーション内の所定のフィールドを埋めるために使用される情報を含むことができる。ディープリンクは、アプリケーションを起動することに加えてモバイルアプリケーション内の具体的な位置にリンクするユニフォームリソース識別子(「URI」)を含むことができる。例えば、クライアントコンピューティングデバイス104上でディープリンクを開く、選択する、または実行することで、クライアントコンピューティングデバイス104に、デジタルコンポーネントプロバイダデバイス106と関連したアプリケーションを開かせることができる。ディープリンクは、開かれたアプリケーション内の登録または加入フォームを完全にまたは部分的に事前に埋める。この例では、デジタルコンポーネントプロバイダデバイス106によって提供されるサブスクリプションサービスに登録するため、エンドユーザは、フォームへ入力される情報を見直し、次いでロードされたアプリケーションページに設けられる確認アイコンを選択するだけでよい。ディープリンク126のデータ構造は、アプリケーション名またはアプリケーションのビューをディープリンクにマッピングするハッシュテーブルを含むことができる。

データリポジトリ124は、1つまたは複数のデータ構造またはデータファイルに記憶できるペイロードポリシー128を記憶できる。ペイロードポリシー128は、ディープリンク126が生成されるときにディープリンク126にどんなデータまたは情報が含まれるべきかを示すことができる。データ処理システム102は、データ処理システム102と関連したデジタルコンポーネントプロバイダデバイス106の各々に対して異なるペイロードポリシー128を記憶できる。ペイロードポリシー128は、サブスクリプションサービスまたは購入プロセスを開始または継続するためにデジタルコンポーネントプロバイダデバイス106がどんな情報を必要とし得るかをデータ処理システム102に示すことができる。例えば、ペイロードポリシー128は、デジタルコンポーネントプロバイダデバイス106に登録するときにアカウント名またはクレジットカード番号が必要とされるかどうかを示すことができる。ペイロードポリシー128は、データ処理システム102がディープリンク126に情報を自動的に含むことができる、ディープリンク126に情報を含むことを許容されていない、またはディープリンク126に情報を含む前にエンドユーザ承認を受信しなければならないかをデータ処理システム102に示すこともできる。

データリポジトリ124は、1つまたは複数のデータ構造またはデータファイルとしてイベント識別子130を記憶できる。本明細書に記載されるように、認可コンポーネント122は、クライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106と接続を確立する、またはデジタルコンポーネントプロバイダデバイス106もしくはデータ処理システム102に登録もしくは認証せずにデジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求する回数を監視または計数できる。イベント識別子130は、クライアントコンピューティングデバイス104がデジタルコンポーネントプロバイダデバイス106またはデータ処理システム102に行う現在および過去の要求の態様を指すことができる。イベント識別子130は、エンドユーザによって認可されなかったクライアントコンピューティングデバイス104とデジタルコンポーネントプロバイダデバイス106との間の接続の時刻および期間を示すことができる1つまたは複数のデータ構造を含むことができる。イベント識別子は、入力オーディオファイルの指示(例えば、一意の識別子)、要求がどのデジタルコンポーネントプロバイダデバイス106に向けられたかの指示、および入力オーディオファイルを含んだクライアントコンピューティングデバイス104の指示(例えば、ハッシュ)を含むことができる。

データリポジトリ124は、例えば、デジタルコンポーネントプロバイダデバイス106によって提供される、またはコンテンツ選択を容易にするためにデータ処理システム102によって取得もしくは決定されるデジタルコンポーネントを含むことができるコンテンツデータ132を記憶する。例えば、コンテンツデータ132は、例えばコンテンツアイテム、オンライン文書、オーディオ、画像、ビデオ、マルチメディアコンテンツまたはサードパーティコンテンツを含むことができるデジタルコンポーネント(またはデジタルコンポーネントオブジェクト)を含むことができる。デジタルコンポーネントプロバイダデバイス106は、データ処理システム102にノーカットデジタルコンポーネントを提供して、コンテンツデータ132として記憶できる。デジタルコンポーネントプロバイダデバイス106は、データ処理システム102にデジタルコンポーネントの下位部分を提供できる。データ処理システム102は、クライアントコンピューティングデバイス104がデジタルコンポーネントにアクセスするためのアカウントまたはサブスクリプションが認可されるまでクライアントコンピューティングデバイス104にデジタルコンポーネントの下位部分を提供できる。デジタルコンポーネントの下位部分は、デジタルコンポーネント(例えば、曲、テレビ番組、映画もしくは他のビデオ)の最初の所定の分数もしくは秒数または要求されたデジタルコンポーネントと関連したサンプルを含むことができる。例えば、デジタルコンポーネントが映画であれば、下位部分としてデータ処理システム102に送信されるサンプルは映画の予告編であることができる。

図2は、コンピューティングデバイスを認証する方法例200のブロック図を例示する。方法200は、入力信号を受信するステップ(ACT202)を含むことができる。方法200は、入力信号を構文解析するステップ(ACT204)を含むことができる。方法200は、クライアントコンピューティングデバイスにデジタルコンポーネントの第1の部分を送信するステップ(ACT206)を含むことができる。方法200は、認可要求を送信するステップ(ACT208)を含むことができる。方法200は、確認メッセージを受信するステップ(ACT210)を含むことができる。方法200は、クライアントコンピューティングデバイスにデジタルコンポーネントの第2の部分を送信するステップ(ACT212)を含むことができる。

方法200は、図1、図3または図4に例示される1つまたは複数のコンポーネントまたはシステムによって行うことができる。上述したように、方法200は、入力信号を受信するステップ(ACT202)を含むことができる。本方法は、データ処理システムによって実行される自然言語プロセッサコンポーネントによって、入力信号を受信するステップを含むことができる。入力信号は、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号であることができる。センサは、第1のクライアントデバイスのマイクロホンであることができる。例えば、1つまたは複数のプロセッサおよびメモリを含むデータ処理システムによって少なくとも部分的に実行されるデジタルアシスタントコンポーネントが入力オーディオ信号を受信できる。入力オーディオ信号は、デジタルアシスタントによって促進される会話を含むことができる。会話は、1つまたは複数の入力および出力を含むことができる。会話は、オーディオベース、テキストベース、またはオーディオおよびテキストの組合せであることができる。入力オーディオ信号は、テキスト入力、または会話情報を提供できる他の種類の入力を含むことができる。データ処理システムは、会話に対応するセッションのためにオーディオ入力を受信できる。データ処理システムは、オーディオ入力を1つもしくは複数の部分に分けて、またはバルクもしくはバッチアップロード(例えば、送信数を削減するために会話の複数部分が単一の送信においてアップロードされる)として受信できる。

方法200は、入力信号を構文解析するステップ(ACT204)を含むことができる。データ処理システムのNLPコンポーネントは、入力信号を構文解析してデジタルコンポーネント要求を識別できる。NLPコンポーネントは、入力信号中にトリガキーワードを識別できる。例えば、入力オーディオ信号は、「OK、私の音楽サービスから今日のトップヒットをかけて」を含むことができる。NLPコンポーネントは、入力信号を構文解析して、要求されたデジタルコンポーネントが「トップヒット」の音楽プレイリストであると判定できる。NLPコンポーネントは、トリガキーワードが再生することであると判定でき、これは、エンドユーザがクライアントコンピューティングデバイスに音楽プレイリスト上の曲をストリーミングし始めることを望んでいることを示すことができる。データ処理システムは、私の音楽サービスが、デジタルコンポーネント(例えば、曲)を提供するようにエンドユーザが要求しているデジタルコンポーネントプロバイダデバイスであると判定できる。

方法200は、デジタルコンポーネントの第1の部分を送信するステップ(ACT206)を含むことができる。デジタルコンポーネントセレクタは、入力オーディオ信号中に識別される要求に基づいてデジタルコンポーネントを選択できる。デジタルコンポーネントは、曲、ストリームもしくは複数の曲、ビデオ、アプリケーション、画像、または他のデジタルコンテンツを含むことができる。デジタルコンポーネントの一部分は、デジタルコンポーネントのセグメント(例えば、ビデオファイルの最初の数分のビデオセグメント)または要求されたデジタルコンポーネントに関連するデジタルコンポーネントである、またはそれを含むことができる。例えば、デジタルコンポーネントの一部分は、予告編、ティーザ、または要求されたデジタルコンポーネントに関連する他のコンテンツを含むことができる。データ処理システムは、要求をデジタルコンポーネントプロバイダデバイスに送信でき、これがクライアントコンピューティングデバイスにデジタルコンポーネントの一部分を提供できる。データ処理システムは、デジタルコンポーネントプロバイダデバイスによって提供されるデジタルコンポーネントおよびその部分をデータリポジトリに記憶でき、そしてデータ処理システムは、クライアントコンピューティングデバイスにデジタルコンポーネントおよびその部分を提供できる。データ処理システムは、デジタルコンポーネントプロバイダデバイスとクライアントコンピューティングデバイスとの間の接続を確立して、デジタルコンポーネントプロバイダデバイスがクライアントコンピューティングデバイスにデジタルコンポーネントおよびその部分を提供することを可能にすることができる。データ処理システムは、クライアントコンピューティングデバイスの認可を完了することなくクライアントコンピューティングデバイスにデジタルコンポーネントの一部分を送信する、またはその送信を開始することができる。例えば、デジタルコンポーネントがサブスクリプションサービスの一部または従量課金コンテンツアイテムであれば、データ処理システムは、支払いまたはクライアントコンピューティングデバイスのエンドユーザが必要なサブスクリプションに加入することを必要とすることなくクライアントコンピューティングデバイスにデジタルコンポーネントの一部分を送信できる。

方法200は、認可要求を送信するステップ(ACT208)を含むことができる。クライアントコンピューティングデバイスは、クライアントコンピューティングデバイスを介してユーザにデジタルコンポーネントをレンダリング、再生または提示するために支払い、ログインまたは認可を必要とする前にデジタルコンポーネントの一部分を受信してクライアントコンピューティングデバイスのエンドユーザにレンダリング、再生または提示し始めることができる。認可コンポーネントは、第2のクライアントコンピューティングデバイスに認可要求を送信できる。第2のクライアントコンピューティングデバイスは、第1のクライアントコンピューティングデバイスと関連付けることができる。例えば、両第1および第2のクライアントコンピューティングデバイスは、同じエンドユーザに登録できる。認可要求は、第1のクライアントコンピューティングデバイスにデジタルコンポーネントの第2の部分を送信せよとの要求を含むことができる。例えば、ACT204で識別された要求は、スピーカベースのアシスタントデバイスに対してクライアントコンピューティングデバイスに音楽をストリーミングすることであり得る。デジタルコンポーネントの第1の部分は、期間が5分に制限される音楽のストリームであることができる。この例では、第1のクライアントコンピューティングデバイスが音楽の5分間ストリームを再生する間に、認可コンポーネントは第2のクライアントコンピューティングデバイスに認証要求を送信できる。第2のクライアントコンピューティングデバイスはエンドユーザのモバイルデバイスであることができる。認可要求は、ストリーミング音楽を提供しているデジタルコンポーネントプロバイダデバイスと関連した登録ページを開かせるディープリンクを含むことができる。ディープリンクは、登録ページへ読み込まれる情報を含むことができる。

方法200は、確認メッセージを受信するステップ(ACT210)を含むことができる。データ処理システムは、認可要求が送信されたクライアントコンピューティングデバイスから確認メッセージを受信できる。データ処理システムは、デジタルコンポーネントの第1の部分が送信されたクライアントコンピューティングデバイスと異なる第2のクライアントコンピューティングデバイスに認可要求を送信し、それから確認メッセージを受信できる。データ処理システムは、デジタルコンポーネントプロバイダデバイスから確認メッセージを受信できる。例えば、認可要求は、デジタルコンポーネントプロバイダデバイスによって提供されるサービスに登録する登録ページを埋めるディープリンクを含むことができる。第2のクライアントコンピューティングデバイスにおいて認可要求を受け入れることで、第2のクライアントコンピューティングデバイスに、デジタルコンポーネントプロバイダデバイスへ登録情報を送信させて、例えば、デジタルコンポーネントプロバイダデバイスにアカウントを作成できる。一旦デジタルコンポーネントプロバイダデバイスにおいて(登録情報を受信したことに基づいて)エンドユーザのアカウントが確立されると、デジタルコンポーネントプロバイダデバイスはデータ処理システムにメッセージを送信でき、確認メッセージによりエンドユーザがデジタルコンポーネントプロバイダデバイスに登録されていると示す。

方法200は、デジタルコンポーネントの第2の部分を送信するステップ(ACT212)を含むことができる。データ処理システムは、デジタルコンポーネントの第1の部分を受信したクライアントコンピューティングデバイスにデジタルコンポーネントの第2の部分を送信できる。デジタルコンポーネントの第2の部分は、第1の部分に含まれなかったデジタルコンポーネントの残りの部分であることができる。デジタルコンポーネントの第2の部分は、追加のデジタルコンポーネントであることができる。例えば、第1の部分はプレイリスト中の第1の曲であることができ、第2の部分はプレイリスト中の以降の曲であることができる。

図3は、システム100および、例えば方法200の段階の間のシステム100のコンポーネント間のネットワーク送信のブロック図を例示する。

クライアントコンピューティングデバイス104(1)は、エンドユーザからオーディオ信号を受信できる。クライアントコンピューティングデバイス104(1)は、マイクロホンなどのセンサでオーディオ信号を検出できる。クライアントコンピューティングデバイス104(1)は、オーディオ信号を入力オーディオ信号へ変換し、そして送信301でデータ処理システム102に入力オーディオ信号を送信できる。送信301(および図3に例示されるその他の送信)は、図1に例示されるネットワーク105と類似のネットワークを通じて確立できる。入力オーディオ信号は、デジタルコンポーネントプロバイダデバイス106によってクライアントコンピューティングデバイス104(1)に提供されるデジタルコンポーネントの要求を含むことができる。デジタルコンポーネントプロバイダデバイス106は、クライアントコンピューティングデバイス104(1)にネットワーク105を通じて直接またはデータ処理システム102を通じてデジタルコンポーネントを提供できる。デジタルコンポーネントプロバイダデバイス106によって提供されるデジタルコンポーネントは、サブスクリプション(例えば、ストリーミング音楽サービス)の一部として提供でき、または従量課金コンテンツ(例えば、ストリーミング映画)である。

入力オーディオ信号中の要求を受信したことに基づいて、データ処理システム102およびデジタルコンポーネントプロバイダデバイス106は、クライアントコンピューティングデバイス104にデジタルコンポーネントの第1の部分を提供できる。データ処理システム102は、送信302を通じて、クライアントコンピューティングデバイス104にデジタルコンポーネントの第1の部分を送信するようにデジタルコンポーネントプロバイダデバイス106に命令できる。データ処理システム102は、デジタルコンポーネントプロバイダデバイス106とクライアントコンピューティングデバイス104との間のセッションを確立することもできる。送信302を通じて、データ処理システム102は、デジタルコンポーネントプロバイダデバイス106によって提供されるサービスまたはデジタルコンポーネントへのAPIコールを通じてデジタルコンポーネントプロバイダデバイス106と対話できる。デジタルコンポーネントプロバイダデバイス106は、クライアントコンピューティングデバイス104(1)への送信303を介してクライアントコンピューティングデバイス104に第1の部分を送信できる。第1の部分はバルクもしくはバッチ送信で送信でき、またはデジタルコンポーネントの第1の部分はクライアントコンピューティングデバイス104にストリーミングできる。

データ処理システム102は、クライアントコンピューティングデバイス104(1)が以前にデジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求したかどうかを判定できる。クライアントコンピューティングデバイス104(1)が以前にデジタルコンポーネントプロバイダデバイス106にデジタルコンポーネントを要求していれば、データ処理システム102は、クライアントコンピューティングデバイス104(1)にデジタルコンポーネントの第1の部分を送信するのを断ることができる。データ処理システム102は、クライアントコンピューティングデバイス104(1)にデジタルコンポーネントの第1の部分を送信するのを断ることができるが、しかしクライアントコンピューティングデバイス104(2)に認可要求を送信できる。データ処理システム102がクライアントコンピューティングデバイス104(2)から確認メッセージを受信すれば、データ処理システム102は次いで、クライアントコンピューティングデバイス104(1)に要求されたデジタルコンポーネントを送信してよい。

クライアントコンピューティングデバイス104(1)へのデジタルコンポーネントの第1の部分の送信に応答してまたはその前に、データ処理システム102は、送信304を通じてクライアントコンピューティングデバイス104(2)に認可要求を送信できる。クライアントコンピューティングデバイス104(1)およびクライアントコンピューティングデバイス104(2)は、同じエンドユーザと関連付けることができる。デジタルコンポーネントプロバイダデバイス106によって提供されるサービスまたはデジタルコンポーネントがサブスクリプションを必要とすれば、認可要求は、デジタルコンポーネントプロバイダデバイス106とのサブスクリプションを開始するための情報を含むことができ、または登録フォームのフィールドを少なくとも部分的に満たすディープリンクを含むことができる。認可要求は、クライアントコンピューティングデバイス104(2)のユーザに対して、ユーザがクライアントコンピューティングデバイス104(1)への入力オーディオ信号中に要求されたデジタルコンポーネントの送信を認可することを望むかどうかを尋ねるメッセージである、またはそれを含むことができる。

認可要求を受信したことに応答して、クライアントコンピューティングデバイス104(2)は、データ処理システム102に確認メッセージを送信して、クライアントコンピューティングデバイス104(2)のエンドユーザがクライアントコンピューティングデバイス104(1)への要求されたデジタルコンポーネントの送信を認可することを示すことができる。エンドユーザがクライアントコンピューティングデバイス104(1)へのデジタルコンポーネントの送信を認可することを望まなければ、エンドユーザは、認可要求を断って、クライアントコンピューティングデバイス104(2)に送信305でデータ処理システム102に断りメッセージを送信させることができる。データ処理システム102がクライアントコンピューティングデバイス104(2)に認可要求を送信してから所定の時間内にクライアントコンピューティングデバイス104(2)から確認メッセージを受信しなければ、データ処理システム102は、あたかもデータ処理システム102が断りメッセージを受信したかのように非応答を登録できる。クライアントコンピューティングデバイス104(2)においてアクションまたはコンテキストが発生して以来の時間遅延に基づいて、クライアントコンピューティングデバイス104(2)は断りメッセージを自動的に送信できる(またはデータ処理システム102は非応答を登録できる)。一旦時間遅延が所定の閾値を超えると、クライアントコンピューティングデバイス104(2)は、データ処理システム102に断りメッセージを送信できる。アクションは、とりわけ、確認メッセージを開くこと、確認メッセージの受取りまたはアプリケーションを開くことであることができる。例えば、クライアントコンピューティングデバイス104(2)が確認メッセージを受信し、そしてクライアントコンピューティングデバイス104(2)のエンドユーザが確認メッセージを開いたが応答を入力しなければ、確認メッセージは、一旦所定の時間遅延閾値に達するとタイムアウトし、そしてデータ処理システム102に断りメッセージを自動的に送ることができる。コンテキストは、とりわけ、位置コンテキストまたはアプリケーションコンテキストであることができる。例えば、クライアントコンピューティングデバイス104(2)は、コンテキストが開始された後に所定の時間量エンドユーザが確認メッセージに応答しなければデータ処理システム102に断りメッセージを自動的に生成および送信できる。所定の時間量はアクションまたはコンテキストに基づくことができる。例えば、コンテキストが、ユーザの住宅などの第1の位置であれば、所定の時間遅延は第1の長さの時間であることができ、コンテキストが、ユーザの車内などの第2の位置であれば、所定の時間遅延はより長くても短くてもよい。

データ処理システム102は、クライアントコンピューティングデバイス104(2)がクライアントコンピューティングデバイス104(1)から所定の距離306内であると判定し、そして認可要求に対する確認メッセージを自動的に生成できる。所定の距離306は、物理的距離によって定義できる。例えば、所定の距離は、クライアントコンピューティングデバイス104(1)の位置から5ft、10ft、30ft、50ft、100ftまたはそれ以上の半径によって定義できる。所定の距離306は、地理的名称によって定義できる。例えば、所定の距離306は、同じ家、建物、都市、郡、国、郵便番号または他の地理的領域内の2つの位置を含むことができる。所定の距離は、クライアントコンピューティングデバイス104(1)とクライアントコンピューティングデバイス104(2)との間の近接度によって定義できる。近接度は、クライアントコンピューティングデバイス104(1)およびクライアントコンピューティングデバイス104(2)が互いと接続307を確立できる距離によって定義できる。例えば、所定の距離306は、無線もしくは有線ネットワーク、ブルートゥース(登録商標)リンク、または一方のクライアントコンピューティングデバイス104によって生成されて他方のクライアントコンピューティングデバイス104によって検出される可聴以下の信号によって定義できる。

クライアントコンピューティングデバイス104(1)およびクライアントコンピューティングデバイス104(2)が互いから所定の距離306内であるとき、クライアントコンピューティングデバイス104(1)は、入力オーディオ信号中にメタデータとしてクライアントコンピューティングデバイス104(2)がクライアントコンピューティングデバイス104(1)から所定の距離内にあることを示すことができる。クライアントコンピューティングデバイス104(2)は、それがクライアントコンピューティングデバイス104(1)から所定の距離306内であると判定し、そして認可要求に自動的に応答できる。認可要求は、クライアントコンピューティングデバイス104(2)がクライアントコンピューティングデバイス104(1)から所定の距離306内であるかどうかに基づいて異なるレベルの認可または情報を要求できる。例えば、クライアントコンピューティングデバイス104(2)が所定の距離内にあるときは、クライアントコンピューティングデバイス104(2)は、クライアントコンピューティングデバイス104(2)においてパスワードを入力することなく認可要求に応答することができてよいが、しかしクライアントコンピューティングデバイス104(2)が所定の距離306内でないときは、パスワードが必要とされてよい。

確認メッセージを受信したことに応答して、データ処理システム102は、デジタルコンポーネントプロバイダデバイス106への送り送信308を確立できる。送信308を介して、データ処理システム102は、クライアントコンピューティングデバイス104(1)に要求されたデジタルコンポーネントの第2の部分を送信するようにデジタルコンポーネントプロバイダデバイス106に命令する、または許可メッセージが受信されたことをデジタルコンポーネントプロバイダデバイス106に示すことができる。送信309を通じて、デジタルコンポーネントプロバイダデバイス106は、クライアントコンピューティングデバイス104(1)にデジタルコンポーネントの第2の部分を提供できる。

本開示の少なくとも1つの態様によれば、本方法は、コンテンツ選択コンポーネントによって、少なくとも第1のデジタルコンポーネント要求に基づいて第1のデジタルコンポーネントおよび第2のデジタルコンポーネントを選択するステップと、コンテンツ選択コンポーネントによって、第2のクライアントデバイスに、第2のデジタルコンポーネントを送信するステップとを更に含んでよい。第1のクライアントデバイスおよび第2のクライアントデバイスは共に、同じユーザと関連付けられてよい。本方法は、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される第2の入力オーディオ信号を受信するステップを更に含んでよい。第2の入力オーディオ信号は、自然言語プロセッサコンポーネントによって構文解析されて、第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別してよい。認可コンポーネントは、第2のデジタルコンポーネントの第1の部分が以前に第1のクライアントデバイスに送信されたと判定してよく、そして認可コンポーネントは、第1のクライアントデバイスに第2のデジタルコンポーネントの第1の部分を送信するのを断ってよい。本方法は、認可コンポーネントによって、第1のクライアントデバイスへのデジタルコンポーネントの送信を認可する第2のクライアントデバイスに第2の認可要求を送信するステップを更に含んでよい。

本方法は、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される第2の入力オーディオ信号を受信するステップを更に含んでよい。自然言語プロセッサコンポーネントは、第2の入力オーディオ信号を構文解析して、第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別してよい。認可コンポーネントは、第2のデジタルコンポーネントの第1の部分が以前に第1のクライアントデバイスに送信されたと判定してよく、そしてコンテンツ選択コンポーネントは、第1のクライアントデバイスに第2のデジタルコンポーネントの第1の部分の下位部分を送信してよい。

本方法は、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される第2の入力オーディオ信号を受信するステップを更に含んでよい。自然言語プロセッサコンポーネントは、第2の入力オーディオ信号を構文解析して、第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別してよい。認可コンポーネントによって、第2のクライアントデバイスが第1のクライアントデバイスから所定の距離内にあることが判定されてよく、そしてコンテンツ選択コンポーネントは、第2のクライアントデバイスが第1のクライアントデバイスから所定の距離内にあると判定したことに基づいて第1のクライアントデバイスに第2のデジタルコンポーネントを送信してよい。認可コンポーネントは、第2のクライアントデバイスが第1のクライアントデバイスから所定の距離内にあることを示すメッセージを受信してよい。

本方法は、認可コンポーネントによって、第1のデジタルコンポーネントを提供するように構成されるコンテンツプロバイダの指示、コンテンツプロバイダと関連したユニフォームリソースロケータ(URL)、またはコンテンツプロバイダと関連した登録情報のうちの少なくとも1つを備えるペイロードを生成するステップを更に含んでよい。

本方法は、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される第2の入力オーディオ信号を受信するステップを更に含んでよい。自然言語プロセッサコンポーネントは、第2の入力オーディオ信号を構文解析して、第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別してよい。コンテンツ選択コンポーネントは、第1のクライアントデバイスに第2のデジタルコンポーネントをストリーミングしてよい。認可コンポーネントは、第1のクライアントデバイスへのデジタルコンポーネントのストリーミングを認可する第2のクライアントデバイスに第2の認可要求を送信してよく、そして認可コンポーネントは、所定の時間内に第2の認可要求に対する応答を受信しないことに基づいて第1のクライアントデバイスへの第2のデジタルコンポーネントのストリーミングを終了してよい。

本方法は、自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される第2の入力オーディオ信号を受信するステップを更に含んでよい。自然言語プロセッサコンポーネントは、第2の入力オーディオ信号を構文解析して、第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別してよい。コンテンツ選択コンポーネントは、第1のクライアントデバイスに第2のデジタルコンポーネントをストリーミングしてよい。認可コンポーネントは、第1のクライアントデバイスへのデジタルコンポーネントのストリーミングを認可する第2のクライアントデバイスに第2の認可要求をストリーミングしてよい。認可コンポーネントは、第2の認可要求に応答した断りメッセージを受信してよく、そして認可コンポーネントは、断りメッセージを受信したことに基づいて第1のクライアントデバイスへの第2のデジタルコンポーネントのストリーミングを終了してよい。

図4は、コンピュータシステム例400のブロック図である。コンピュータシステムまたはコンピューティングデバイス400は、システム100または、データ処理システム102などの、そのコンポーネントを含むことができる、またはそれらを実装するために使用できる。データ処理システム102は、インテリジェントパーソナルアシスタントまたは音声ベースのデジタルアシスタントを含むことができる。コンピューティングシステム400は、情報を通信するためのバス405または他の通信コンポーネント、および情報を処理するための、バス405に結合されるプロセッサ410または処理回路を含む。コンピューティングシステム400は、情報を処理するための、バスに結合される1つまたは複数のプロセッサ410または処理回路を含むこともできる。コンピューティングシステム400は、情報およびプロセッサ410によって実行されることになる命令を記憶するための、バス405に結合される、ランダムアクセスメモリ(RAM)または他のダイナミックストレージデバイスなどのメインメモリ415も含む。メインメモリ415はデータリポジトリ124である、またはそれを含むことができる。メインメモリ415は、プロセッサ410による命令の実行中に位置情報、一時変数または他の中間情報を記憶するためにも使用できる。コンピューティングシステム400は、プロセッサ410のための静的情報および命令を記憶するための、バス405に結合されるリードオンリメモリ(ROM)420または他のスタティックストレージデバイスを更に含んでよい。ソリッドステートデバイス、磁気ディスクまたは光ディスクなどのストレージデバイス425がバス405に結合されて情報および命令を永続的記憶できる。ストレージデバイス425はデータリポジトリ124を含む、またはその一部であることができる。

コンピューティングシステム400は、ユーザに情報を表示するための、液晶ディスプレイまたはアクティブマトリクスディスプレイなどのディスプレイ435にバス405を介して結合されてよい。英数字および他のキーを含むキーボードなどの入力デバイス430が、プロセッサ410に情報およびコマンド選択を通信するためにバス405に結合されてよい。入力デバイス430はタッチスクリーンディスプレイ435を含むことができる。入力デバイス430は、プロセッサ410に方向情報およびコマンド選択を通信するための、かつディスプレイ435上のカーソル移動を制御するための、マウス、トラックボールまたはカーソル方向キーなどのカーソル制御部も含むことができる。ディスプレイ435は、例えば、図1のデータ処理システム102、クライアントコンピューティングデバイス104または他のコンポーネントの一部であることができる。

本明細書に記載されるプロセス、システムおよび方法は、メインメモリ415に含まれる命令の配列をプロセッサ410が実行することに応答してコンピューティングシステム400によって実装できる。そのような命令は、ストレージデバイス425などの別のコンピュータ可読媒体からメインメモリ415へ読み込むことができる。メインメモリ415に含まれる命令の配列の実行により、コンピューティングシステム400に本明細書に記載される例示的なプロセスを行わせる。多重処理配置における1つまたは複数のプロセッサは、メインメモリ415に含まれる命令を実行するためにも利用されてよい。本明細書に記載されるシステムおよび方法と共に、ハードワイヤード回路網がソフトウェア命令の代わりにまたはそれと組み合わせて使用できる。本明細書に記載されるシステムおよび方法は、ハードウェア回路網およびソフトウェアのいかなる具体的な組合せにも限定されない。

コンピューティングシステム例が図4に記載されたが、本明細書に記載される動作を含む対象は、他の種類のデジタル電子回路網で、または本明細書に開示される構造およびそれらの構造的均等物を含め、コンピュータソフトウェア、ファームウェアもしくはハードウェアで、またはそれらの1つもしくは複数の組合せで実装できる。

本明細書で述べられるシステムがユーザについての個人情報を収集する、または個人情報を使用し得る状況に関して、ユーザには、プログラムまたは機能が個人情報(例えば、ユーザのソーシャルネットワーク、ソーシャルアクションもしくはアクティビティ、ユーザの嗜好、またはユーザの位置についての情報)を収集してよいかどうかを管理する、あるいはユーザに更に関連し得るコンテンツサーバまたは他のデータ処理システムからコンテンツを受信するかどうか、またはどのように受信するかを管理する機会が与えられてよい。加えて、或るデータは、それが記憶または使用される前に1つまたは複数の仕方で匿名化され得る結果、パラメータを生成するときに個人識別可能情報は削除される。例えば、ユーザに対して個人識別可能情報が確定できないようにユーザの身元が匿名化され得、または位置情報が得られる程度にユーザの地理的位置が一般化され得(都市、郵便番号または州レベルなど)、したがって、ユーザの特定の位置は確定できない。このように、ユーザは、自分について情報がどのように収集され、そしてコンテンツサーバによって使用されるかを管理し得る。

本明細書に記載される対象および動作は、デジタル電子回路網で、または本明細書に開示される構造およびそれらの構造的均等物を含め、コンピュータソフトウェア、ファームウェアもしくはハードウェアで、またはそれらの1つもしくは複数の組合せで実装できる。本明細書に記載される対象は、1つまたは複数のコンピュータプログラムとして、例えば、データ処理装置による実行のために、またはその動作を制御するために1つまたは複数のコンピュータ記憶媒体に符号化されたコンピュータプログラム命令の1つまたは複数の回路として実装できる。代替的に、または加えて、プログラム命令は、データ処理装置による実行のために適切な受信器装置に送信するための情報を符号化するために発生される人工発生伝搬信号、例えば機械発生電気、光または電磁信号上に符号化できる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらの1つもしくは複数の組合せであることができる、またはそれに含めることができる。コンピュータ記憶媒体は伝搬信号でないが、コンピュータ記憶媒体は、人工発生伝搬信号に符号化されるコンピュータプログラム命令の供給源または供給先であることができる。コンピュータ記憶媒体は、1つまたは複数の別々の部品または媒体(例えば、複数CD、ディスクまたは他の記憶デバイス)であることもできる、またはそれに含めることもできる。本明細書に記載される動作は、1つまたは複数のコンピュータ可読記憶デバイスに記憶されたまたは他の供給源から受信されたデータに対してデータ処理装置によって行われる動作として実装できる。

用語「データ処理システム」、「コンピューティングデバイス」、「コンポーネント」または「データ処理装置」は、例としてプログラマブルプロセッサ、コンピュータ、システムオンチップもしくはその複数、または以上の組合せを含め、データを処理するための様々な装置、デバイスおよび機械を包含する。装置は、専用論理回路網、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの1つもしくは複数の組合せを構成するコードも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現できる。例えば、インタフェース110、デジタルコンポーネントセレクタ120またはNLPコンポーネント114および他のデータ処理システム102のコンポーネントは、1つまたは複数のデータ処理装置、システム、コンピューティングデバイスまたはプロセッサを含むまたは共有することができる。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、スクリプトまたはコードとしても知られている)は、コンパイラ型またはインタープリタ型言語、宣言型または手続き型言語を含め、任意の形式のプログラミング言語で書くことができ、そしてスタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクトもしくはコンピューティング環境での使用に適する他のユニットとしてを含め、任意の形式に展開できる。コンピュータプログラムは、ファイルシステムにおけるファイルに相当することができる。コンピュータプログラムは、他のプログラムもしくはデータ(例えば、マークアップ言語文書に記憶される1つもしくは複数のスクリプト)を保持するファイルの一部分に、当該プログラムに専用の単一のファイルに、または複数連係ファイル(例えば、1つもしくは複数のモジュール、サブプログラムもしくはコードの一部分を記憶するファイル)に記憶できる。コンピュータプログラムは、展開されて1つのコンピュータ上で、または1つのサイトに設けられるもしくは複数サイトにわたって分散されて通信ネットワークによって相互接続される複数コンピュータ上で実行できる。

本明細書に記載されるプロセスおよび論理フローは、1つまたは複数のコンピュータプログラム(例えば、データ処理システム102のコンポーネント)を実行して、入力データを演算して出力を生成することによってアクションを行う1つまたは複数のプログラマブルプロセッサによって行うことができる。プロセスおよび論理フローは、専用論理回路網、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によっても行うことができ、かつ装置がそれとしても実装できる。コンピュータプログラム命令およびデータを記憶するのに適するデバイスは、例として半導体メモリデバイス、例えばEPROM、EEPROMおよびフラッシュメモリデバイス、磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含め、全ての形態の不揮発性メモリ、媒体およびメモリ素子を含む。プロセッサおよびメモリは専用論理回路網によって補足できる、またはそれに組み込むことができる。

ここで記載される対象は、バックエンドコンポーネントを、例えばデータサーバとして含む、あるいはミドルウェアコンポーネント、例えばアプリケーションサーバを含む、あるいはフロントエンドコンポーネント、例えば、本明細書に記載される対象の実装例とユーザが対話できるグラフィカルユーザインタフェースもしくはウェブブラウザを有するクライアントコンピュータ、または1つもしくは複数のそのようなバックエンド、ミドルウェアもしくはフロントエンドコンポーネントの組合せを含む、コンピューティングシステムにおいて実装できる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体、例えば通信ネットワークによって相互接続できる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、ならびにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)を含む。

システム100またはシステム400などのコンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いから離れており、典型的に通信ネットワーク(例えば、ネットワーク105)を通じて対話する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で走っており、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。一部の実装例では、サーバが、クライアントデバイスにデータ(例えば、デジタルコンポーネントを表すデータパケット)を送信する(例えば、クライアントデバイスと対話しているユーザにデータを表示する、およびユーザからユーザ入力を受信する目的で)。クライアントデバイスにおいて生成されるデータ(例えば、ユーザ対話の結果)は、サーバにおいてクライアントデバイスから受信できる(例えば、クライアントコンピューティングデバイス104またはデジタルコンポーネントプロバイダデバイス106からデータ処理システム102によって受信できる)。

図面において動作が特定の順に描かれるが、そのような動作が図示される特定の順にまたは順番に行われる必要はなく、しかも全ての例示された動作が行われる必要もない。本明細書に記載されるアクションは異なる順に行うことができる。

様々なシステムコンポーネントの分離は、全ての実装例において分離を必要とするわけではなく、そして記載されるプログラムコンポーネントを単一のハードウェアまたはソフトウェア製品に含めることができる。例えば、NLPコンポーネント114またはデジタルコンポーネントセレクタ120は、単一のコンポーネント、アプリもしくはプログラム、または1つもしくは複数の処理回路を有する論理デバイス、またはデータ処理システム102の1つもしくは複数のサーバの一部であることができる。

一部の例示的な実装例を記載してきたが、以上が、例として提示されており、例示的であり限定的でないことは明らかである。特に、本明細書に提示される例の多くが方法段階またはシステム要素の具体的な組合せを伴うが、それらの段階およびそれらの要素は同じ目的を達成する他の手段に組み込まれてよい。1つの実装例に関連して述べられる段階、要素および機能が他の実装例において類似の役割から除外されるとは意図されない。

本明細書で使用される語法および術語は説明の目的であり、限定的と考えるべきでない。本明細書における「含む」「備える」「有する」「含有する」「伴う」「を特徴とする」「ことを特徴とする」およびその変形の使用は、その後に列記される項目、その均等物および追加項目の他に、排他的にその後に列記される項目から成る代替実装例を包含するものとされる。1つの実装例では、本明細書に記載されるシステムおよび方法は、記載された要素、段階またはコンポーネントの1つ、2つ以上の各組合せ、または全てから成る。

単数で言及される本明細書におけるシステムおよび方法の実装例または要素または段階のいかなる言及も、複数のこれらの要素を含む実装例を同じく包含でき、そして本明細書におけるいかなる実装例または要素または段階の複数でのいかなる言及も、単一の要素だけを含む実装例を同じく包含できる。単数または複数形での言及は、本開示のシステムまたは方法、それらのコンポーネント、段階または要素を単数または複数構成に限定するとは意図されない。任意の情報、段階または要素に基づいているいかなる段階または要素の言及も、段階または要素が任意の情報、段階または要素に少なくとも部分的に基づく実装例を含み得る。

本明細書に開示されるいかなる実装例も、任意の他の実装例または実施形態と組み合わされてよく、そして「一実装例」、「一部の実装例」、「1つの実装例」等の言及は、必ずしも互いに排他的であるわけではなく、実装例に関連して記載される特定の機能、構造または特性が少なくとも1つの実装例または実施形態に含まれ得ることを示すと意図される。本明細書で使用されるそのような用語は、必ずしも全てが同じ実装例に関しているわけではない。いかなる実装例も、本明細書に開示される態様および実装例と一貫した任意の様式で、包括的または排他的に、任意の他の実装例と組み合わされてよい。

「または」の言及は、「または」を使用して記載されるいかなる用語も、単一の、2つ以上の、および全ての記載された用語のいずれを示してもよいように包括的と解釈されてよい。例えば、「『A』および『B』の少なくとも1つ」の言及は、「A」だけ、「B」だけの他に「A」も「B」もを含むことができる。「備えている」または他のオープンな術語に関連して使用されるそのような言及は追加項目を含むことができる。

図面、詳細な説明または任意の請求項における技術的特徴に参照符号が続く場合、参照符号は、図面、詳細な説明および請求項の理解度を上げるために含まれている。したがって、参照符号もそれらの欠如も、いかなる請求項要素の範囲にもいかなる限定効果も有しない。

本明細書に記載されるシステムおよび方法は、その特性から逸脱することなく他の具体的な形態で具現化され得る。例えば、コンピューティングデバイス104は、サードパーティアプリケーションを起動するときにパッケージ化データオブジェクトを生成し、そしてそれをアプリケーションに転送できる。以上の実装例は、記載されたシステムおよび方法を限定するよりはむしろ例示的である。本明細書に記載されたシステムおよび方法の範囲は、したがって、以上の説明よりはむしろ、添付の請求項によって示され、請求項の等価の意味および範囲内に収まる変更は、そこに包含される。

100 システム
102 データ処理システム
104 クライアントコンピューティングデバイス
105 ネットワーク
106 デジタルコンポーネントプロバイダデバイス
110 インタフェース
112 リモートデジタルアシスタントコンポーネント
114 自然言語プロセッサコンポーネント
120 デジタルコンポーネントセレクタ
122 認可コンポーネント
124 データリポジトリ
126 ディープリンク
128 ペイロードポリシー
130 イベント識別子
132 コンテンツデータ
134 ローカルデジタルアシスタント
138 センサ
140 トランスデューサ
142 オーディオドライバ
144 ディスプレイ
400 コンピュータシステム
405 バス
410 プロセッサ
415 メインメモリ
420 ROM
425 ストレージデバイス
430 入力デバイス
435 ディスプレイ

Claims

ネットワーク化環境においてコンピューティングデバイスを認証するシステムであって、
1つまたは複数のプロセッサおよびメモリを備えるデータ処理システムを備え、前記1つまたは複数のプロセッサが、自然言語プロセッサコンポーネント、コンテンツ選択コンポーネントおよび認可コンポーネントを実行して、
前記自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信し、
前記自然言語プロセッサコンポーネントによって、前記入力オーディオ信号を構文解析して、前記入力オーディオ信号中にコンテンツの要求を識別し、
前記コンテンツ選択コンポーネントによって、前記コンテンツの要求に少なくとも基づいて第1のデジタルコンポーネントを選択し、
前記認可コンポーネントによって、その中で前記第1のクライアントデバイスが認可されることになる時間遅延を、第2のクライアントデバイスのコンテキストに基づいて判定し、
前記コンテンツ選択コンポーネントによって、前記第1のクライアントデバイスに、第1のデジタルコンポーネントの第1の部分を送信し、
前記認可コンポーネントによって、前記第2のクライアントデバイスに認可要求を送信して、前記時間遅延内に前記第2のクライアントデバイスにおけるプロンプトに対してアクションを検出することに応答して、前記データ処理システムの前記認可コンポーネントによって、前記第1のクライアントデバイスへの前記第1のデジタルコンポーネントの第2の部分の送信を認可するために、プロンプトを前記第2のクライアントデバイスにレンダリングさせるステップと、
前記コンテンツ選択コンポーネントによって、前記時間遅延内に確認メッセージを受信したことに応じて、前記第1のデジタルコンポーネントの前記第1の部分とともに提示するために前記第1のクライアントデバイスに前記第1のデジタルコンポーネントの前記第2の部分を送信する、システム。
前記第1のクライアントデバイスおよび前記第2のクライアントデバイスが共に同じユーザと関連付けられる、請求項1に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記認可コンポーネントが、
前記第2のデジタルコンポーネントの第1の部分が以前に前記第1のクライアントデバイスに送信されたと判定し、
前記認可コンポーネントによって、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントの前記第1の部分を送信するのを断るように構成される、
請求項1に記載のシステム。
前記認可コンポーネントが、前記第1のクライアントデバイスへの前記デジタルコンポーネントの送信を認可するために前記第2のクライアントデバイスに第2の認可要求を送信するように構成される、
請求項3に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記認可コンポーネントが、
前記第2のクライアントデバイスのアクションまたはコンテキストに基づく時間遅延を判定し、
前記認可コンポーネントによって、前記第2のクライアントデバイスの前記アクションまたは前記コンテキストに基づく前記時間遅延が所定の閾値を超えたことに少なくとも基づいて、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントの第2の部分を送信するのを断るように構成される、
請求項1に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記認可コンポーネントが、
前記第2のデジタルコンポーネントの第1の部分が以前に前記第1のクライアントデバイスに送信されたと判定し、
前記第1のクライアントデバイスに前記第2のデジタルコンポーネントの第1の部分の下位部分を送信するように構成される、
請求項1に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記認可コンポーネントが、
前記第2のクライアントデバイスが前記第1のクライアントデバイスから所定の距離内にあると判定し、
前記第2のクライアントデバイスが前記第1のクライアントデバイスから前記所定の距離内にあると判定したことに基づいて前記第1のクライアントデバイスに前記第2のデジタルコンポーネントを送信するように構成される、
請求項1に記載のシステム。
前記認可コンポーネントが、前記第2のクライアントデバイスが前記第1のクライアントデバイスから所定の距離内にあることを示すメッセージを受信するように構成される、
請求項1に記載のシステム。
前記認可コンポーネントが、前記第1のデジタルコンポーネントを提供するように構成されるコンテンツプロバイダの指示、前記コンテンツプロバイダと関連したユニフォームリソースロケータ(URL)、または前記コンテンツプロバイダと関連した登録情報のうちの少なくとも1つを備えるペイロードを生成するように構成される、
請求項1に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記コンテンツ選択コンポーネントが、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントをストリーミングするように構成され、
前記認可コンポーネントが、
前記第1のクライアントデバイスへの前記デジタルコンポーネントのストリーミングを認可するために前記第2のクライアントデバイスに第2の認可要求を送信し、
所定の時間内に前記第2の認可要求に対する応答を受信しないことに基づいて前記第1のクライアントデバイスへの前記第2のデジタルコンポーネントの前記ストリーミングを終了するように構成される、
請求項1に記載のシステム。
前記自然言語プロセッサコンポーネントが、
前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信し、
前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するように構成され、
前記コンテンツ選択コンポーネントが、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントをストリーミングするように構成され、
前記認可コンポーネントが、
前記第1のクライアントデバイスへの前記デジタルコンポーネントのストリーミングを認可するために前記第2のクライアントデバイスに第2の認可要求を送信し、
前記第2の認可要求に応答した断りメッセージを受信し、
前記断りメッセージを受信したことに基づいて前記第1のクライアントデバイスへの前記第2のデジタルコンポーネントの前記ストリーミングを終了するように構成される、
請求項1に記載のシステム。
コンピューティングデバイスを認証する方法であって、
自然言語プロセッサコンポーネントによって、第1のクライアントデバイスにおいてセンサによって検出される入力オーディオ信号を受信するステップと、
前記自然言語プロセッサコンポーネントによって、前記入力オーディオ信号を構文解析して、前記入力オーディオ信号中にコンテンツの要求を識別するステップと、
コンテンツ選択コンポーネントによって、前記コンテンツの要求に少なくとも基づいて第1のデジタルコンポーネントを選択し、
認可コンポーネントによって、その中で前記第1のクライアントデバイスが認可されることになる時間遅延を、第2のクライアントデバイスのコンテキストに基づいて判定し、
コンテンツ選択コンポーネントによって、前記第1のクライアントデバイスに、前記第1のデジタルコンポーネントの第1の部分を送信するステップと、
前記認可コンポーネントによって、前記第2のクライアントデバイスに認可要求を送信して、前記時間遅延内に前記第2のクライアントデバイスにおけるプロンプトに対してアクションを検出することに応答して、データ処理システムの前記認可コンポーネントによって、前記第1のクライアントデバイスへの前記第1のデジタルコンポーネントの第2の部分の送信を認可するために、プロンプトを前記第2のクライアントデバイスにレンダリングさせるステップと、
前記コンテンツ選択コンポーネントによって、前記時間遅延内に確認メッセージを受信したことに応じて、前記第1のデジタルコンポーネントの前記第1の部分とともに提示するために前記第1のクライアントデバイスに前記第1のデジタルコンポーネントの前記第2の部分を送信するステップとを含む、方法。
前記自然言語プロセッサコンポーネントによって、前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信するステップと、
前記自然言語プロセッサコンポーネントによって、前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するステップと、
前記認可コンポーネントによって、前記第2のデジタルコンポーネントの第1の部分が以前に前記第1のクライアントデバイスに送信されたと判定するステップと、
前記認可コンポーネントによって、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントの前記第1の部分を送信するのを断るステップ、または、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントの第1の部分の下位部分を送信するステップとを含む、
請求項12に記載の方法。
前記自然言語プロセッサコンポーネントによって、前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信するステップと、
前記自然言語プロセッサコンポーネントによって、前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するステップと、
前記認可コンポーネントによって、前記第2のクライアントデバイスが前記第1のクライアントデバイスから所定の距離内にあると判定するステップと、
前記コンテンツ選択コンポーネントによって、前記第2のクライアントデバイスが前記第1のクライアントデバイスから前記所定の距離内にあると判定したことに基づいて前記第1のクライアントデバイスに前記第2のデジタルコンポーネントを送信するステップとを含む、
請求項12に記載の方法。
前記認可コンポーネントによって、前記第2のクライアントデバイスが前記第1のクライアントデバイスから所定の距離内にあることを示すメッセージを受信するステップを含む、
請求項12～14のいずれか一項に記載の方法。
前記認可コンポーネントによって、前記第1のデジタルコンポーネントを提供するように構成されるコンテンツプロバイダの指示、前記コンテンツプロバイダと関連したユニフォームリソースロケータ(URL)、または前記コンテンツプロバイダと関連した登録情報のうちの少なくとも1つを備えるペイロードを生成するステップを含む、
請求項12～15のいずれか一項に記載の方法。
前記自然言語プロセッサコンポーネントによって、前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信するステップと、
前記自然言語プロセッサコンポーネントによって、前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するステップと、
前記コンテンツ選択コンポーネントによって、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントをストリーミングするステップと、
前記認可コンポーネントによって、前記第1のクライアントデバイスへの前記デジタルコンポーネントのストリーミングを認可するために前記第2のクライアントデバイスに第2の認可要求を送信するステップと、
前記認可コンポーネントによって、所定の時間内に前記第2の認可要求に対する応答を受信しないことに基づいて前記第1のクライアントデバイスへの前記第2のデジタルコンポーネントの前記ストリーミングを終了するステップとを含む、
請求項12に記載の方法。
前記自然言語プロセッサコンポーネントによって、前記第1のクライアントデバイスにおいて前記センサによって検出される第2の入力オーディオ信号を受信するステップと、
前記自然言語プロセッサコンポーネントによって、前記第2の入力オーディオ信号を構文解析して、前記第2の入力オーディオ信号中に第2のデジタルコンポーネント要求を識別するステップと、
前記コンテンツ選択コンポーネントによって、前記第1のクライアントデバイスに前記第2のデジタルコンポーネントをストリーミングするステップと、
前記認可コンポーネントによって、前記第1のクライアントデバイスへの前記デジタルコンポーネントのストリーミングを認可するために前記第2のクライアントデバイスに第2の認可要求を送信するステップと、
前記認可コンポーネントによって、前記第2の認可要求に応答した断りメッセージを受信するステップと、
前記認可コンポーネントによって、前記断りメッセージを受信したことに基づいて前記第1のクライアントデバイスへの前記第2のデジタルコンポーネントの前記ストリーミングを終了するステップとを含む、
請求項12に記載の方法。