JP2019505023A - 音声起動されたデータ・パケットのデータ構造プーリング - Google Patents

音声起動されたデータ・パケットのデータ構造プーリング Download PDF

Info

Publication number
JP2019505023A
JP2019505023A JP2017556893A JP2017556893A JP2019505023A JP 2019505023 A JP2019505023 A JP 2019505023A JP 2017556893 A JP2017556893 A JP 2017556893A JP 2017556893 A JP2017556893 A JP 2017556893A JP 2019505023 A JP2019505023 A JP 2019505023A
Authority
JP
Japan
Prior art keywords
data structure
action
computing device
pooling
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017556893A
Other languages
English (en)
Other versions
JP6830444B2 (ja
Inventor
ガウラフ・バハヤ
ロバート・ステッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019505023A publication Critical patent/JP2019505023A/ja
Application granted granted Critical
Publication of JP6830444B2 publication Critical patent/JP6830444B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2428Query predicate definition using graphical user interfaces, including menus and forms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Abstract

音声起動されたデータ・パケット・ベースの環境における音声起動されたスレッド管理のシステムおよび方法が提供される。自然言語プロセッサ(「NLP」)コンポーネントは、第1の入力オーディオ信号を含むデータ・パケットを解析して、第1の要求および第1のトリガキーワードを識別することができる。ダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)は第1のアクションデータ構造を第1のアクションを定義するパラメータで生成することができる。前記NLPコンポーネントは、第2の入力オーディオ信号を受信し解析して、第2の要求および第2のトリガキーワードを識別し、第2のアクションデータ構造を第2のアクションを定義するパラメータで生成することができる。プーリング・コンポーネントが、前記第1のおよび第2のアクションデータ構造をプールされたデータ構造に生成し、前記プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信し、そのデバイスに前記プールされたデータ構造により定義された動作を実施させることができる。

Description

本願は発明の名称を「音声起動されたデータ・パケットのデータ構造プーリング」とした2016年12月30日に出願された米国特許出願番号第15/395、707号の優先権の利益を主張し、本明細書に引用によりすべての目的で全体として取り込まれる。
コンピューティングデバイスの間のパケット・ベースのまたは、ネットワークトラフィックデータの過度なネットワーク送信は、コンピューティングデバイスが当該ネットワークトラフィックデータを正しく処理し、当該ネットワークトラフィックデータに関連する動作を完了し、または当該ネットワークトラフィックデータにタイムリーに応答することを不可能としうる。ネットワークトラフィックデータの過度なネットワーク送信はまた、応答するコンピューティングデバイスがその処理能力を上回る場合に、データのルーティングを複雑化しまたは当該応答の品質を劣化させうる、これは非効率的な帯域幅利用をもたらしうる。コンテンツ・アイテムオブジェクトに対応するネットワーク送信の制御は、コンピューティングデバイスの間のネットワークトラフィックデータのネットワーク送信を開始しうる多数のコンテンツ・アイテムオブジェクトにより複雑化されうる。
少なくとも1つの態様は、音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するためのシステムに関する。データ処理システムにより実行される自然言語プロセッサコンポーネントは、当該データ処理システムのインタフェースを介して、第1のクライアント・コンピューティング・デバイスのセンサにより検出された第1の入力オーディオ信号を含むデータ・パケットを受信することができる。当該自然言語プロセッサコンポーネントは第1の入力オーディオ信号を解析して、第1の要求および第1の要求に対応する第1のトリガキーワードを識別することができる。当該データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)は、第1のトリガキーワードに基づいておよび第1の要求に応答して、第1のアクションを定義するパラメータを有する第1のアクションデータ構造を生成することができる。当該自然言語プロセッサコンポーネントは、当該データ処理システムのインタフェースを介して、第2のクライアント・コンピューティング・デバイスのセンサにより検出された第2の入力オーディオ信号を含むデータ・パケットを受信し、第2の入力オーディオ信号を解析して、第2の要求および第2の要求に対応する第2のトリガキーワードを識別することができる。当該ダイレクト・アクションAPIは、第2のトリガキーワードに基づいておよび第2の要求に応答して、第2のアクションを定義するパラメータを有する第2のアクションデータ構造を生成することができる。当該データ処理システムのプーリング・コンポーネントは、第1のアクションデータ構造のパラメータおよび第2のアクションデータ構造のパラメータに適用されるヒューリスティック技術に基づいて、第1のアクションデータ構造および第2のアクションデータ構造の間の重複のレベルを示すプーリング・パラメータを決定することができる。当該プーリング・コンポーネントは、当該プーリング・パラメータに基づいて、第1のアクションデータ構造を第2のアクションデータ構造とともにプールされたデータ構造に結合することができる。当該プーリング・コンポーネントは、コンピュータ・ネットワークを介して、当該プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信して、当該サービス・プロバイダ・コンピューティング・デバイスに、当該プールされたデータ構造により定義され第1のアクションおよび第2のアクションに対応する動作を実施させることができる。
少なくとも1つの態様は、音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するための方法に関する。当該方法は、データ処理システムにより実行される自然言語プロセッサコンポーネントにより、当該データ処理システムのインタフェースを介して、第1のクライアント・コンピューティング・デバイスのセンサにより検出された第1の入力オーディオ信号を含むデータ・パケットを受信するステップを含むことができる。当該方法は当該自然言語プロセッサコンポーネントにより、第1の入力オーディオ信号を解析して第1の要求および第1の要求に対応する第1のトリガキーワードを識別するステップを含むことができる。当該方法は、当該データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)により、第1のトリガキーワードに基づいておよび第1の要求に応答して、第1のアクションを定義するパラメータを有する第1のアクションデータ構造を生成するステップを含むことができる。当該方法は、当該自然言語プロセッサコンポーネントにより、当該データ処理システムのインタフェースを介して、第2のクライアント・コンピューティング・デバイスのセンサにより検出された第2の入力オーディオ信号を含むデータ・パケットを受信し、当該自然言語プロセッサコンポーネントにより、第2の入力オーディオ信号を解析して、第2の要求および第2の要求に対応する第2のトリガキーワードを識別するステップを含むことができる。当該方法は、当該ダイレクト・アクションAPIにより、第2のトリガキーワードに基づいておよび第2の要求に応答して、第2のアクションを定義するパラメータを有する第2のアクションデータ構造を生成するステップを含むことができる。当該方法は、当該データ処理システムのプーリング・コンポーネントにより、第1のアクションデータ構造のパラメータおよび第2のアクションデータ構造のパラメータに適用されるヒューリスティック技術に基づいて、第1のアクションデータ構造および第2のアクションデータ構造の間の重複のレベルを示すプーリング・パラメータを決定するステップを含むことができる。当該方法は、当該プーリング・パラメータに基づいて、第1のアクションデータ構造を第2のアクションデータ構造とともにプールされたデータ構造に結合するステップを含むことができる。当該方法は、コンピュータ・ネットワークを介して、当該プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信して、当該サービス・プロバイダ・コンピューティング・デバイスに、当該プールされたデータ構造により定義され第1のアクションおよび第2のアクションに対応する動作を実施させるステップを含むことができる。
少なくとも1つの態様は、1つまたは複数のデータプロセッサにより実行されたとき、当該1つまたは複数のデータプロセッサに音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するための動作を実施させる命令を格納するコンピュータ可読記憶媒体に関する。当該動作は、データ処理システムにより実行される自然言語プロセッサコンポーネントにより、当該データ処理システムのインタフェースを介して、第1のクライアント・コンピューティング・デバイスのセンサにより検出された第1の入力オーディオ信号を含むデータ・パケットを受信するステップを含むことができる。当該動作は、当該自然言語プロセッサコンポーネントにより、第1の入力オーディオ信号を解析して第1の要求および第1の要求に対応する第1のトリガキーワードを識別するステップを含むことができる。当該動作は、当該データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)により、第1のトリガキーワードに基づいておよび第1の要求に応答して、第1のアクションを定義するパラメータを有する第1のアクションデータ構造を生成するステップを含むことができる。当該動作は、当該自然言語プロセッサコンポーネントにより、当該データ処理システムのインタフェースを介して、第2のクライアント・コンピューティング・デバイスのセンサにより検出された第2の入力オーディオ信号を含むデータ・パケットを受信し、当該自然言語プロセッサコンポーネントにより、第2の入力オーディオ信号を解析して、第2の要求および第2の要求に対応する第2のトリガキーワードを識別するステップを含むことができる。当該動作は、当該ダイレクト・アクションAPIにより、第2のトリガキーワードに基づいておよび第2の要求に応答して、第2のアクションを定義するパラメータを有する第2のアクションデータ構造を生成するステップを含むことができる。当該動作は、当該データ処理システムのプーリング・コンポーネントにより、第1のアクションデータ構造のパラメータおよび第2のアクションデータ構造のパラメータに適用されるヒューリスティック技術に基づいて、第1のアクションデータ構造および第2のアクションデータ構造の間の重複のレベルを示すプーリング・パラメータを決定するステップを含むことができる。当該動作は、当該プーリング・パラメータに基づいて、第1のアクションデータ構造を第2のアクションデータ構造とともにプールされたデータ構造に結合するステップを含むことができる。当該動作は、コンピュータ・ネットワークを介して、当該プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信して、当該サービス・プロバイダ・コンピューティング・デバイスに、当該プールされたデータ構造により定義され第1のアクションおよび第2のアクションに対応する動作を実施させるステップを含むことができる。
これらのおよび他の態様および実装を以下で説明する。以上の情報および以下の詳細な説明は様々な態様および実装の例示的な例を含み、クレームした態様および実装の性質と特徴を理解するための概要またはフレームワークを提供する。当該図面は当該様々な態様および実装の例示とさらなる理解を提供し、本明細書に組み込まれ本明細書の一部を構成する。
添付図面は正しい縮尺で描かれていない。当該様々な図面における同じ参照番号および指定は同じ要素を示す。明確さの目的のため、全てのコンポーネントが全ての図面においてラベル付けされていないかもしれない。
音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するためのシステムを示す図である。 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境に対するプールされたデータ構造の機能図である。 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における、リモートデータ処理システムおよびサービス・プロバイダ・コンピューティング・デバイスの間のアクションデータ構造プーリングおよび通信の機能図である。 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するための方法を示す図である。 本明細書で説明し図示したシステムおよび方法の要素を実装するために使用されうるコンピュータシステムのための汎用アーキテクチャを示すブロック図である。
以下は、音声起動されたデータ・パケット(または他のプロトコル)ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するための方法、装置、およびシステムの実装に関連する様々な概念のより詳細な説明である。上で導入し以下でさらに詳細に説明する様々な概念を任意の多数の方法で実装してもよい。
本開示のシステムおよび方法は一般に、音声起動されたコンピュータ・ネットワーク環境における冗長なまたは重複する音声起動されたスレッドを管理するデータ処理システムに関する。当該音声起動されたスレッドは、少なくとも1つのアクションデータ構造により表された1つまたは複数のアクションを示すことができる。当該データ処理システムは、重複する主題または他の重複するまたは共通のパラメータに起因するアクションデータ構造をプーリング(例えば、マージ、集約、またはバッチ処理)することで、1つまたは複数のコンピュータ・ネットワーク上のデータ・パケット送信の効率および有効性を高めることができる。当該プールされたアクションデータ構造に対応するデータ・パケットまたは他のプロトコルベースの信号を、当該データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(API)により処理して、応答データ(例えば、オーディオ出力)を提供するか、または、当該プールされたアクションデータ構造に関連するタスクまたはアクションを実現することができる。当該プールされたアクションデータ構造に対応するデータ・パケットまたは他のプロトコルベースの信号を、コンピュータ・ネットワークを通じて、当該データ処理システムから少なくとも1つのサービス・プロバイダ・コンピューティング・デバイスにルーティングして、当該プールされたアクションデータ構造に関連するタスクまたはアクションを実現することができる。
複数のアクションデータ構造を単一のまたはプールされたアクションデータ構造にマージまたはプーリングし、当該プールされたアクションデータ構造をバッチ処理することで、当該データ処理システムは、独立なアクションデータ構造の独立なまたは非プールされた評価に対するプロセッサ利用、電力消費、帯域幅利用、およびメモリ利用を減らすことができる。例えば、コンピュータ・ネットワークを介して当該プールされたアクションデータ構造を当該サービス・プロバイダ・コンピューティング・デバイスに提供することは、複数の独立なアクションデータ構造を当該サービス・プロバイダ・コンピューティング・デバイスに提供するよりも少ない帯域幅を使用することができる。当該プールされたアクションデータ構造は、複数の独立なアクションデータ構造に存在する冗長性を排除でき、各独立なまたはプールされていないアクションデータ構造に応答してアクションを決定することと比較して、当該プールされたアクションデータ構造に応答してアクションを決定するときに、当該データ処理システムによるプロセッサおよび電力利用を減らすことができる。
独立なアクションデータ構造の処理を少なくとも部分的にバイパスし、その代わりプールされたアクションデータ構造を生成することで、当該データ処理システムは、独立なアクションデータ構造の動作に関連付けられたデータ処理を減らし、遅延させ、または排除することができる。これは、処理電力およびメモリのような他のコンピューティングリソースを節約し、当該データ処理システムによる電気電力消費および当該コンピュータ・ネットワークを介した削減されたデータ送信を減らし、当該データ処理システムの帯域幅要件および利用を減らす。
本明細書で説明するシステムおよび方法は入力オーディオクエリを受信するデータ処理システムを含むことができる。当該入力オーディオクエリをまた、入力オーディオ信号と称することができる。当該入力オーディオ信号から当該データ処理システムは要求および当該要求に対応するトリガキーワードを識別することができる。当該トリガキーワードまたは当該要求に基づいて、当該データ処理システムは、第1のアクションを定義する少なくとも1つのパラメータを含む第1のアクションデータ構造を決定することができる。当該データ処理システムはまた、少なくとも1つの要求または第2の入力オーディオ信号のトリガキーワードから第2の入力オーディオ信号を受信でき、第2の入力オーディオ信号から、第2のアクションを定義する少なくとも1つのパラメータを含む第2のアクションデータ構造を識別することができる。当該データ処理システムは、第1のおよび第2のアクションデータ構造のパラメータから、少なくとも1つのプーリング・パラメータを決定することができる。当該プーリング・パラメータは第1のアクションデータ構造および第2のアクションデータ構造の間の重複のレベル(例えば、主題共通性)を示すことができる。
当該プーリング・パラメータに基づいて、当該データ処理システムは、第1のアクションデータ構造および第2のアクションデータ構造を結合して、プールされたデータ構造を生成することができる。当該プールされたデータ構造は当該入力オーディオ信号の当該ソースであるクライアント・コンピューティング・デバイスに共通なアクション(例えば、第1のアクションまたは第2のアクション)の少なくとも1つのパラメータを示すことができる。当該データ処理システムは、当該プールされたデータ構造を処理して出力信号(例えば、1つまたは複数のクライアント・コンピューティング・デバイスで描画するためのオーディオコンテンツ・アイテム)を生成するか、または、第1のおよび第2のアクションに関連するタスクを実現することができる。当該データ処理システムはまた、当該プールされたデータ構造を少なくとも1つのサービス・プロバイダ・コンピューティング・デバイスに送信して、当該サービスプロバイダに当該プールされたデータ構造により定義された動作を実施させることができる。これらの動作は第1のまたは第2のアクションに対応することができ、第1のまたは第2のアクションに関連するタスクを実現することができる。当該アクションデータ構造をプーリングすることは、第1のまたは第2のアクションに対応する動作またはタスクを、当該データ処理システムにより(または当該サービス・プロバイダ・コンピューティング・デバイスにより)、当該プーリング動作のない場合よりも少ないデータ処理および少ない電気電力利用で実施または実現させる。
図1は、音声起動されたデータ・パケット(または他のプロトコル)ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドの処理を管理または最適化する例示的なシステム100を示す。システム100は少なくとも1つのデータ処理システム105を含むことができる。データ処理システム105は、少なくとも1つのプロセッサを有する少なくとも1つのサーバを含むことができる。例えば、データ処理システム105は、少なくとも1つのデータセンタまたはサーバ・ファームに配置された複数のサーバを含むことができる。データ処理システム105は、オーディオ入力信号から、要求および当該要求に関連付けられたトリガキーワードを決定することができる。当該要求およびトリガキーワードに基づいて、データ処理システム105は、それぞれが各アクションを示すかまたは定義する各パラメータを有する、アクションデータ構造を生成することができる。データ処理システム105は、当該各パラメータから、当該アクションデータ構造の間の共通性または重複のレベルを決定することができる。当該データ処理システムによる十分な重複のレベルの判定に応答して、データ処理システム105は、複数の異なるアクションデータ構造をプールされたアクションデータ構造にプール(または結合またはマージ)することができる。
データ処理システム105は、複数の、論理的にグループ化されたサーバを含むことができ、分散コンピューティング技術を促進する。サーバの当該論理グループをデータセンタ、サーバ・ファームまたはマシン・ファームと称してもよい。当該サーバは地理的に分散されることができる。データセンタまたはマシン・ファームを単一のエンティティとして管理してもよく、または当該マシン・ファームは複数のマシン・ファームを含むことができる。各マシン・ファーム内のサーバは不均一であることができる。即ち、当該サーバまたはマシンのうち1つまたは複数が1つまたは複数のタイプのオペレーティング・システムプラットフォームに従って動作することができる。データ処理システム105は、関連付けられた記憶システムとともに1つまたは複数の高密度ラック・システムに格納され、例えばエンタープライズデータセンタに配置された、データセンタ内のサーバを含むことができる。このように統合されたサーバを有するデータ処理システム105は、当該システムのシステム管理可能性、データセキュリティ、物理セキュリティ、高性能ネットワーク上にサーバおよび高性能記憶システムを配置することで、システム性能を高めることができる。サーバおよび記憶システムを含むデータ処理システム105のコンポーネントの全部または一部の集約と、それらを高度なシステム管理ツールと組み合わせることで、サーバリソースのより効率的な利用が可能となり、これは電力および処理要件を節約し帯域幅利用を減らす。
データ処理システム105は、少なくとも1つの自然言語プロセッサ(NLP)コンポーネント110、少なくとも1つのインタフェース115、少なくとも1つのプーリング・コンポーネント120、少なくとも1つのコンテンツセレクタコンポーネント125、少なくとも1つのオーディオ信号ジェネレータコンポーネント130、少なくとも1つのダイレクト・アクションアプリケーションプログラミングインタフェース(API)135、少なくとも1つのセッションハンドラコンポーネント140、および少なくとも1つのデータリポジトリ145を含むことができる。NLPコンポーネント110、インタフェース115、プーリング・コンポーネント120、コンテンツセレクタコンポーネント125、オーディオ信号ジェネレータコンポーネント130、ダイレクト・アクションAPI135、およびセッションハンドラコンポーネント140はそれぞれ、データリポジトリ145および他のコンピューティングデバイス(例えば、クライアント・コンピューティング・デバイス150、コンテンツプロバイダ・コンピューティングデバイス155、またはサービス・プロバイダ・コンピューティング・デバイス160)と、少なくとも1つのコンピュータ・ネットワーク165を介して、通信するように構成されたプログラム可能論理アレイのような少なくとも1つの処理ユニット、サーバ、仮想サーバ、回路、エンジン、エージェント、機器、または他の論理デバイスを含むことができる。ネットワーク165は、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、メトロポリタン・ネットワーク、または他の領域ネットワーク、イントラネット、衛星ネットワーク、音声またはデータモバイル電話通信ネットワーク、およびその組合せのような他のコンピュータ・ネットワークのようなコンピュータ・ネットワークを含むことができる。
ネットワーク165は、ディスプレイネットワーク、例えば、音声起動されたアシスタントシステム、コンテンツ配置または検索エンジン結果システムに関連付けられるか、または、サードパーティコンテンツ・アイテムをコンテンツ・アイテム配置キャンペーンの一部として含む権利がある、インターネット上で利用可能な情報リソースのサブセットを含むかまたは構成することができる。ネットワーク165を、クライアント・コンピューティング・デバイス150により提供、出力、描画、または表示できるウェブページ、ウェブサイト、ドメイン名、またはユニフォーム・リソース・ロケータのような情報リソースにアクセスするためにデータ処理システム105により使用することができる。例えば、ネットワーク165を介してクライアント・コンピューティング・デバイス150のユーザは、コンテンツプロバイダ・コンピューティングデバイス155またはサービス・プロバイダ・コンピューティング・デバイス160により提供された情報またはデータにアクセスすることができる。
ネットワーク165は、例えばポイント・ツー・ポイントネットワーク、ブロードキャストネットワーク、広帯域ネットワーク、ローカル・エリア・ネットワーク、電気通信ネットワーク、データ通信ネットワーク、コンピュータ・ネットワーク、ATM(Asynchronous Transfer Mode)ネットワーク、SONET(Synchronous Optical Network)ネットワーク、SDH(Synchronous Digital Hierarchy)ネットワーク、ワイヤレスネットワークまたは有線ネットワーク、およびその組合せを含むことができる。ネットワーク165は、赤外線チャネルまたは衛星帯域のような無線リンクを含むことができる。ネットワーク165のトポロジはバス、星形、またはリング・ネットワークトポロジを含んでもよい。ネットワーク165は、高度携帯電話プロトコル(「AMPS」)、時分割多重アクセス(「TDMA」)、符号分割多重アクセス(「CDMA」)、グローバル・システム・フォー・モバイル・コミュニケーション(「GSM(登録商標)」)、汎用パケット無線サービス(「GPRS」)またはユニバーサル・モバイル電気通信システム(「UMTS」)を含む、モバイルデバイスの間で通信するために使用される任意の1つまたは複数のプロトコルを用いた携帯電話ネットワークを含むことができる。様々なタイプのデータが異なるプロトコルを介して送信されてもよく、または、同一のタイプのデータが異なるプロトコルを介して送信されてもよい。
クライアント・コンピューティング・デバイス150、コンテンツプロバイダ・コンピューティングデバイス155、およびサービス・プロバイダ・コンピューティング・デバイス160はそれぞれ、ネットワーク165を介して互いにまたはデータ処理システム105と通信するためのプロセッサを有するコンピューティングデバイスのような少なくとも1つの論理デバイスを含むことができる。クライアント・コンピューティング・デバイス150、コンテンツプロバイダ・コンピューティングデバイス155、およびサービス・プロバイダ・コンピューティング・デバイス160はそれぞれ、少なくとも1つのデータセンタに配置された少なくとも1つのサーバ、プロセッサまたはメモリ、または複数の計算リソースまたはサーバを含むことができる。クライアント・コンピューティング・デバイス150、コンテンツプロバイダ・コンピューティングデバイス155、およびサービス・プロバイダ・コンピューティング・デバイス160はそれぞれ、デスクトップコンピュータ、ラップトップ、タブレット、携帯情報端末、スマートフォン、ポータブルコンピュータ、サーバ、シン・クライアントコンピュータ、仮想サーバ、または他のコンピューティングデバイスのような少なくとも1つのコンピューティングデバイスを含むことができる。
クライアント・コンピューティング・デバイス150は少なくとも1つのセンサ151、少なくとも1つのトランスデューサ152、少なくとも1つのオーディオドライバ153、および少なくとも1つのスピーカ154を含むことができる。センサ151はマイクロフォンまたはオーディオ入力センサを含むことができる。トランスデューサ152は当該オーディオ入力を電子信号に変換することができる。オーディオドライバ153は、オーディオ入力を処理するかまたはオーディオ出力を提供するようにクライアント・コンピューティング・デバイス150の他のコンポーネントのうちセンサ151、トランスデューサ152またはオーディオドライバ153を制御するための、クライアント・コンピューティング・デバイス150の1つまたは複数のプロセッサにより実行されるスクリプトまたはプログラムを含むことができる。スピーカ154は当該オーディオ出力信号を送信または描画することができる。
クライアント・コンピューティング・デバイス150を、音声クエリをオーディオ入力としてクライアント・コンピューティング・デバイス150に(センサ151を介して)入力し、データ処理システム105(またはコンテンツプロバイダ・コンピューティングデバイス155またはサービス・プロバイダ・コンピューティング・デバイス160)からクライアント・コンピューティング・デバイス150に提供できるコンピュータ生成された音声の形でオーディオ出力を受信し、スピーカ154から出力するエンド・ユーザに関連付けることができる。当該コンピュータ生成された音声は、実際の人またはコンピュータ生成された言語からのレコードを含むことができる。
コンテンツプロバイダ・コンピューティングデバイス155は、クライアント・コンピューティング・デバイス150により表示するためのオーディオベースのコンテンツ・アイテムをオーディオ出力コンテンツ・アイテムとして提供することができる。当該コンテンツ・アイテムは「Would you like me to order you a taxi?」と述べる音声ベースのメッセージのような商品またはサービスの申し出を含むことができる。例えば、コンテンツプロバイダ・コンピューティングデバイス155は、音声ベースのクエリに応答して提供できる一連のオーディオコンテンツ・アイテムを格納するためのメモリを含むことができる。コンテンツプロバイダ・コンピューティングデバイス155はまた、オーディオベースのコンテンツ・アイテム(または他のコンテンツ・アイテム)をデータ処理システム105に提供することができる。それらをデータリポジトリ145に格納することができる。データ処理システム105は当該オーディオコンテンツ・アイテムを選択することができ、当該オーディオコンテンツ・アイテムをクライアント・コンピューティング・デバイス150に提供する(または提供するようにコンテンツプロバイダ・コンピューティングデバイス155に指示する)。当該オーディオベースのコンテンツ・アイテムは、排他的にオーディオであることができ、または、テキスト、画像、またはビデオデータと組み合わせることができる。
データ処理システム105はまた、変換を実施し、例えば、入力オーディオ信号に応答してタスクを実現することができる。例えば、ダイレクト・アクションAPI135を介して、データ処理システム105は、クライアント・コンピューティング・デバイス150から受信されたそのように行う要求に応答してタクシーをオーダーすることができる。データ処理システム105はまた、当該サービス・プロバイダ・コンピューティング・デバイスがデータ処理システム105によりクライアント・コンピューティング・デバイス150から受信されたそのように行う要求に応答して、例えば、タクシーのオーダーによりタスクによりタスクを実現できるように、データ(例えば、プールされたデータ構造)をサービス・プロバイダ・コンピューティング・デバイス160に提供することで変換を実施することができる。データ処理システム105はまた、変換情報、例えば、タスクまたはアクションが、クライアント・コンピューティング・デバイス150から、コンテンツプロバイダ・コンピューティングデバイス155から、またはサービス・プロバイダ・コンピューティング・デバイス160から実現されたことを示す情報を取得することができる。
サービス・プロバイダ・コンピューティング・デバイス160は少なくとも1つのサービスプロバイダ自然言語プロセッサ(NLP)コンポーネント161および少なくとも1つのサービスプロバイダインタフェース162を含むことができる。サービスプロバイダNLPコンポーネント161(またはサービス・プロバイダ・コンピューティング・デバイス160のダイレクト・アクションAPIのような他のコンポーネント)は、クライアント・コンピューティング・デバイス150(データ処理システム105を介してまたはデータ処理システム105をバイパスして)と協調して、クライアント・コンピューティング・デバイス150およびサービス・プロバイダ・コンピューティング・デバイス160の間で行き来するリアルタイム音声またはオーディオベースの会話(例えば、セッション)を生成することができる。例えば、サービスプロバイダインタフェース162は、データメッセージを受信し、または、データメッセージをデータ処理システム105のダイレクト・アクションAPI135に提供することができる。サービス・プロバイダ・コンピューティング・デバイス160およびコンテンツプロバイダ・コンピューティングデバイス155を同一のエンティティに関連付けることができる。例えば、コンテンツプロバイダ・コンピューティングデバイス155はカーシェア・サービスに対して利用可能なコンテンツ・アイテムを生成、格納、または作成でき、サービス・プロバイダ・コンピューティング・デバイス160は、セッションをクライアント・コンピューティング・デバイス150とを確立して、タクシーまたは当該カーシェアサービスの車の配送がクライアント・コンピューティング・デバイス150のエンド・ユーザをピックアップするのをアレンジすることができる。データ処理システム105はまた、ダイレクト・アクションAPI135、NLPコンポーネント110または他のコンポーネントを介して、サービス・プロバイダ・コンピューティング・デバイス160を含むかまたはバイパスして、当該クライアント・コンピューティング・デバイスとのセッションを確立して、例えばタクシーまたは当該カーシェアサービスの車の配送をアレンジすることができる。
データリポジトリ145は1つまたは複数のローカルまたは分散データベースを含むことができ、データベース管理システムを含むことができる。データリポジトリ145はコンピュータデータ記憶またはメモリを含むことができ、他のデータのうち1つまたは複数のパラメータ146、1つまたは複数のポリシ147、コンテンツデータ148、またはテンプレート149を格納することができる。パラメータ146、ポリシ147、およびテンプレート149はクライアント・コンピューティング・デバイス150およびデータ処理システム105(またはサービス・プロバイダ・コンピューティング・デバイス160)の間の音声ベースのセッションに関するルールのような情報を含むことができる。コンテンツデータ148は、オーディオ出力に対するコンテンツ・アイテムまたは関連付けられたメタデータ、ならびにクライアント・コンピューティング・デバイス150との1つまたは複数の通信セッションの一部でありうる入力オーディオメッセージを含むことができる。
システム100は、音声起動されたデータ・パケット(または他のプロトコル)環境内の(例えば、1つまたは複数のアクションを示す)音声起動されたスレッドの処理を最適化または管理することができる。例えば、データ処理システム105は、音声起動されたアシスタントサービス、音声コマンドデバイス、インテリジェント・パーソナル・アシスタント、知識ナビゲータ、イベント計画、または他のアシスタントプログラムを含むことができるかまたはその一部であることができる。データ処理システム105は、クライアント・コンピューティング・デバイス150から表示するためのオーディオ出力の1つまたは複数のインスタンスを提供して、この入力オーディオ信号に関連するタスクを実現することができる。当該タスクは、サービス・プロバイダ・コンピューティング・デバイス160または他のサードパーティコンピューティングデバイスを含み、例えば、サービス・プロバイダ・コンピューティング・デバイス160または他のサードパーティコンピューティングデバイスと通信して、ディナー予約を行うかまたは映画チケットを購入することができる。例えば、エンド・ユーザは、「OK, I would like to go to go dinner and then a movie tonight」の入力オーディオ信号をクライアント・コンピューティング・デバイス150に入力することができる。
データ処理システム105は、入力オーディオ信号をデータ処理システム105のインタフェース115に通信して、当該クライアント・コンピューティング・デバイスのコンポーネントを駆動して、出力オーディオ信号を描画する音声起動されたアシスタントシステムのアプリのような、クライアント・コンピューティング・デバイス150にインストールされたアプリケーション、スクリプトまたはプログラムを含むことができる。データ処理システム105はオーディオ入力信号を含むかまたは識別するデータ・パケットまたは他の信号を受信することができる。例えば、データ処理システム105は、NLPコンポーネント110を実行して当該オーディオ入力信号を受信することができる。
当該オーディオ入力信号は、当該クライアント・コンピューティング・デバイスのセンサ151(例えば、マイクロフォン)により検出されることができる。トランスデューサ152、オーディオドライバ153、または他のコンポーネントを介して、クライアント・コンピューティング・デバイス150は当該オーディオ入力信号をデータ処理システム105に(例えば、ネットワーク165を介して)提供することができる。それは、(例えば、インタフェース115により)受信され、NLPコンポーネント110に提供され、または、データリポジトリ145にコンテンツデータ148として格納されることができる。
NLPコンポーネント110は当該入力オーディオ信号を取得することができる。当該入力オーディオ信号から、NLPコンポーネント110は、少なくとも1つの要求または当該要求に対応する少なくとも1つのトリガキーワードを識別することができる。当該要求は当該入力オーディオ信号の意図または主題を示すことができる。当該トリガキーワードは行われる可能性があるアクションのタイプを示すことができる。例えば、NLPコンポーネント110は当該入力オーディオ信号を解析して、夕方に家を出てディナーおよび映画に参加する少なくとも1つの要求を識別することができる。当該トリガキーワードは、取るべきアクションを示す少なくとも1つの単語、フレーズ、語源または部分語、または派生物を含むことができる。例えば、当該入力オーディオ信号からのトリガキーワード「go」または「to go to」は輸送に対する必要性を示すことができる。本例では、当該入力オーディオ信号(または識別された要求)は輸送の意図を直接表現しないが、当該トリガキーワードは、輸送が、当該要求により示される少なくとも1つの他のアクションに対する付属物またはサブアクションであることを示す。
NLPコンポーネント110は、当該入力信号を(例えば、データリポジトリ145に)格納された、代表的な組のオーディオ波形と比較し、最も近いマッチを選択することによって、当該オーディオ入力信号を認識されたテキストに変換することができる。当該代表的な波形は多数のユーザにわたって生成され、会話サンプルで補強することができる。当該オーディオ信号を認識されたテキストに変換した後、NLPコンポーネント110は、例えばユーザにわたるトレーニングを介してまたはマニュアル仕様を通じて、データ処理システム105がサービス提供できるアクションに関連付けられる単語に当該テキストをマッチすることができる。
ダイレクト・アクションAPI135は、プログラムまたはスクリプトを、例えばNLPコンポーネント110から、プーリング・コンポーネント120、またはコンテンツセレクタコンポーネント125を実行して、これらのアクションの1つまたは複数に対するコンテンツ・アイテムを識別することができる。ダイレクト・アクションAPI135はデータ処理システム105により決定されるものとして、指定されたアクションを実行してエンド・ユーザの意図を満たすことができる。その入力で指定されたアクションに依存して、ダイレクト・アクションAPI135は、ユーザ要求を満たすのに必要なパラメータを識別するコードまたはダイアログスクリプトを実行することができる。かかるコードは、例えば、ホーム・オートメーションサービスの名前のようなデータリポジトリ145内の追加の情報を検索することができるか、または、クライアント・コンピューティング・デバイス150で描画するためのオーディオ出力を提供して、例えば、当該エンド・ユーザに要求されたタクシーの意図した宛先のような質問をすることができる。ダイレクト・アクションAPI135は必要なパラメータを決定し、当該情報をアクションデータ構造にパッケージ化することができ、それを次いで、コンテンツセレクタコンポーネント125のような別のコンポーネントにまたは満たすべきサービス・プロバイダ・コンピューティング・デバイス160に送信することができる。方向アクションAPI135は、1つまたは複数のデータセンタ内の1つまたは複数のサーバの1つまたは複数のプロセッサのようなデータ処理システム105のハードウェアで実行できるか、またはそれを含むことができる。
データ処理システム105のダイレクト・アクションAPI135は、当該要求または当該トリガキーワードに基づいて、当該スレッドのアクションに対するデータ構造を生成することができる。当該アクションデータ構造を当該要求に応答して生成することができる。当該アクションデータ構造は、例えばプールされたデータ構造の一部としてまたはプールされたデータ構造に関連付けられた、サービス・プロバイダ・コンピューティング・デバイス160により送受信されるメッセージに含まれることができる。NLPコンポーネント110により解析された要求に基づいて、ダイレクト・アクションAPI135は複数のサービス・プロバイダ・コンピューティング・デバイス160のうちどれに当該メッセージを送信すべきかを判定することができる。例えば、入力オーディオ信号が「order a taxi」を含む場合、NLPコンポーネント110はトリガ単語「order」およびタクシーに対する要求を識別することができる。ダイレクト・アクションAPI135は当該要求を、タクシーサービスのサービス・プロバイダ・コンピューティング・デバイス160へのメッセージとして送信するためのアクションデータ構造へパッケージ化することができる。当該メッセージはまた、コンテンツセレクタコンポーネント125に渡すことができる。当該アクションデータ構造は要求を完了するための情報を含むことができる。本例では、当該情報はピックアップ位置および宛先位置を含むことができる。ダイレクト・アクションAPI135は、どのフィールドを当該アクションデータ構造に含めるべきかを判定するために、テンプレート149をリポジトリ145から取り出すことができる。ダイレクト・アクションAPI135は、コンテンツをリポジトリ145から取り出して、当該データ構造のフィールドに関する情報を取得することができる。ダイレクト・アクションAPI135は、当該テンプレートからのフィールドをその情報で埋めて、当該データ構造を生成することができる。ダイレクト・アクションAPI135はまた、当該フィールドを当該入力オーディオ信号からのデータで埋めることができる。テンプレート149を、サービスプロバイダのカテゴリに対して標準化するか、または、特定のサービスプロバイダに対して標準化することができる。例えば、乗車共有サービスプロバイダは以下の標準化されたテンプレート149、即ち、{client_device_identifier; authentication_credentials; pick_up_location; destination_location; no_passengers; service_level}を使用して当該データ構造を生成することができる:。
NLPコンポーネント110は入力オーディオ信号を、データ・パケットまたは他のプロトコルベースの送信としてクライアント・コンピューティング・デバイス150から取得することができる。例えば、当該入力オーディオ信号は、「OK, take me home」というセンサ152(例えば、マイクロフォン)への音声入力でありうる。この入力オーディオ信号から、NLPコンポーネント110は少なくとも1つの要求または少なくとも1つのトリガキーワードを識別することができる。当該要求は当該入力オーディオ信号の主題、例えば、旅行を示すことができる。当該トリガキーワードはアクションを示すことができ、例えば、「take」または「home」は、当該入力オーディオ信号を生成したクライアント・コンピューティング・デバイス150の家の宛先に関連付けられた宛先へのカーシェアサービスに対する必要性を示すことができる。
ダイレクト・アクションAPI135は、当該入力オーディオ信号に対応する要求またはトリガキーワードを取得でき、この情報から、アクションデータ構造を生成することができる。当該アクションデータ構造は、例えば、当該サービス・プロバイダ・コンピューティング・デバイスと通信して、(当該クライアント・コンピューティング・デバイスへの入力オーディオ信号を開始した)エンド・ユーザを宛先に連れて行く車をカーシェアサービスから予約するために使用される情報を含むことができる。当該アクションデータ構造は、エンド・ユーザ同意により、当該カーシェアサービスによるピックアップをアレンジするためのクライアント・コンピューティング・デバイス150の位置を識別する情報、ならびに当該宛先位置を識別する情報のようなパラメータを含むことができる。データ処理システム105コンポーネントにより、当該パラメータ(例えば、パラメータ146)をデータリポジトリに格納し、当該データリポジトリから取り出すことができる。方向アクションAPI135はまた、カーシェアサービスに関連付けられたアカウントのアカウント情報のようなパラメータを含むかまたは示すアクションデータ構造を生成することができる。例えば、ダイレクト・アクションAPI135は、エンド・ユーザの同意により、クライアント・コンピューティング・デバイス150にインストールされたカーシェアサービスに対するアプリまたはプログラムからこのアカウント情報(または他のパラメータ)を取得することができる。当該パラメータは、アクションデータ構造に関連付けられたアクションを示すかまたは定義することができる。ダイレクト・アクションAPI135は、クライアント・コンピューティング・デバイス150からリモートに、データ処理システム105にインストールされることができる。ダイレクト・アクションAPI135は、直接変換を実施すること、例えば、カーシェアサービス旅行に対してサービス・プロバイダ・コンピューティング・デバイス160で注文を行うことができ、または、サービス・プロバイダ・コンピューティング・デバイス160が当該アクションデータ構造を処理して車予約トランザクションを完了するためにサービス・プロバイダ・コンピューティング・デバイス160に当該アクションデータ構造を間接的に提供することができる。
NLPコンポーネント110は、同一のまたは異なるクライアント・コンピューティング・デバイス150から複数の入力オーディオ信号を取得することができる。入力オーディオ信号ごとに、当該NLPコンポーネントは対応する要求または対応するトリガキーワードを識別または生成することができる。ダイレクト・アクションAPI135は、当該各要求またはキーワードに基づいて、各入力オーディオ信号に対応するアクションデータ構造を生成することができる。例えば、NLPコンポーネント110は、音声入力「OK, take me home」を示す第1の入力オーディオ信号を受信することができる。応答して、ダイレクト・アクションAPI135は、第1の入力オーディオ信号に関連付けられたエンド・ユーザのために車をカーシェアサービスから予約するために使用できる第1のアクションデータ構造を生成することができる。NLPコンポーネント110はまた、例えば、「OK, can I get a taxi please」を示す第2の入力オーディオ信号を受信することができる。応答して、ダイレクト・アクションAPI135は、第2の入力オーディオ信号に関連付けられたエンド・ユーザに対するカーシェアサービスのための第2のアクションデータ構造を生成することができる。
第1のおよび第2の入力オーディオ信号は、同一のクライアント・コンピューティング・デバイス150または異なるクライアント・コンピューティング・デバイス150から生ずることができ、同一のまたは異なるエンド・ユーザに関連付けることができる。例えば、NLPコンポーネント110は、第1の入力オーディオ信号を第1のクライアント・コンピューティング・デバイス150から受信でき、第2の入力オーディオ信号を、異なるエンド・ユーザに関連付けうる第2のクライアント・コンピューティング・デバイス150から受信することができる。この情報は、例えばデータリポジトリ145のコンテンツデータ148から入力オーディオ信号と異なるソースにより取得されうる補完的情報のうちパケット・ベースの送信のメタデータまたはヘッダ情報を含むことができ、この情報から、ダイレクト・アクションAPI135は、第1の入力オーディオ信号に対する第1のデータ構造と第2の入力オーディオ信号に対する第2のデータ構造を生成することができる。当該第1のデータ構造と第2のデータ構造は両方とも、カーシェアサービスから車を予約するための要求を示すことができる。各アクション・データ構造は、それらの発生元および宛先位置を示すパラメータを含むことができ、または、異なるエンド・ユーザが当該カーシェアサービス(または他のパラメータ)で有する異なるアカウントを示すことができる。当該アクションデータ構造はまた、クライアント・コンピューティング・デバイス150(または関連付けられたエンド・ユーザ)が当該カーシェアサービスまたは他のエンティティでのアカウントを有さないことを示す1つまたは複数のパラメータを含むことができる。
例えば、複数のアクションデータ構造のパラメータに基づいて、プーリング・コンポーネント120は、異なる入力オーディオ信号から生成された複数の異なるアクションデータ構造の間の重複または類似性を識別することができる。例えば、1つまたは複数のデータ処理システム105のプロセッサは、複数の異なるアクションデータ構造の重複するまたは共通の主題を識別するために、クライアント・コンピューティング・デバイス105からリモートに、サービス・プロバイダ・コンピューティング・デバイス160からリモートに、プーリング・コンポーネント120を含むかまたは実行することができる。プーリング・コンポーネント120は、ヒューリスティック技術を適用して、当該異なるアクションデータ構造のパラメータのうち共通のパターンの確実度の閾値を識別することができる。
当該重複のレベルは、複数のアクションデータ構造の共通の特徴を示す類似性メトリックであることができるかまたはそれを含むことができる。プーリング・コンポーネント120は、当該複数のアクションデータ構造を示す類似性メトリックが時間データ、位置データ、サービスプロバイダエンティティデータ、主題データ、または地理的データに関すると判定することができる。例えば、プーリング・コンポーネント120は、複数のアクションデータ構造が、同一の輸送会社からの輸送の要求、または同一のレストランに対する異なる時刻または夕方の予約、共通の宛先または地理的領域に対する旅行の要求、または或るエンティティからの1つまたは複数の製品を注文する要求を含むと判定することができる。プーリング・コンポーネント120は当該類似性メトリックまたは共通の特徴を少なくとも1つのプーリング・パラメータとして識別でき、当該プーリング・パラメータに基づいて当該プーリング・コンポーネントは当該バッチ化またはプールされたデータ構造を生成することができる。当該重複は、少なくとも部分的に同一のコードまたは部分的に同一のアクションデータ構造を含んでもよいがその必要はなくてもよい。例えば、プーリング・コンポーネント120は、同一のエンティティからのサービスの要求に基づいて、または同様であるが同一でない、項目または位置データのような当該アクションデータ構造のパラメータの間の共通性に基づいて、重複を識別することができる。
例えば、第1のアクションデータ構造のパラメータは、‘ポイントA’のピックアップ位置から‘ポイントB’の宛先へのカーシェアサービスの要求を示すことができる。第2のアクションデータ構造のパラメータは、‘ポイントC’のピックアップ位置から‘ポイントD’の宛先へのカーシェアサービスの異なる要求を示すことができる。ヒューリスティックまたは他の統計的技術を適用することで、データ処理システム105またはそのコンポーネント(例えば、プーリング・コンポーネント120)は、ピックアップ位置‘ポイントC’が、‘ポイントA’および‘ポイントB’の間に、または、‘ポイントA’および‘ポイントB’の間の経路の閾値距離(例えば、1マイル)内に配置されていると判定することができる。プーリング・コンポーネント120はまた、‘ポイントD’が宛先‘ポイントB’の閾値距離(例えば、5マイル)内に配置されると判定することができる。当該異なるアクションデータ構造のパラメータ(例えば、異なるポイントA乃至Dを示すパラメータ、または、異なるクライアント・コンピューティング・デバイス150に関連付けられた異なるアカウントのような他の情報)があるが、プーリング・コンポーネント120は、例えば閾値メトリックを満たす経路類似性のために、当該パラメータの間に十分な重複または共通性が存在すると判定することができる。プーリング・コンポーネント120はまた当該2つのアクションデータ構造が重複すると判定することができる。なぜならば、それらの各パラメータが、それらが、他の時間期間の、互いの1分、1時間内のような互いの閾値時間期間に生成された各入力オーディオ信号に関連付けられることを示すから、または、それらの各パラメータが、それらが両方とも商品またはサービスを同一のエンティティに要求することを示すからである。
プーリング・コンポーネント120は、少なくとも2つのアクションデータ構造の分析に基づいて、少なくとも1つのプーリング・パラメータを生成することができる。当該プーリング・パラメータは、複数のアクションデータ構造から共通の主題、特徴、エンティティ、またはパラメータを示すことができる。例えば、当該プーリング・パラメータは、第1のおよび第2のアクションデータ構造のパラメータにより示されるカーシェアサービスの要求が各ソースおよび宛先の間の同様な位置、または同様な経路を示すことができる。方向アクションAPI135(またはサービス・プロバイダ・コンピューティング・デバイス160)は、各ソースおよび宛先の間の車サービスの乗車のような当該アクションデータ構造に関連付けられるかまたはそれにより示されるアクションをサービスするためにこの情報を使用することができる。
とりわけ、図1および図2を参照すると、決定された重複のレベルに基づいて、プーリング・コンポーネント120は少なくとも1つのプールされたデータ構造200を生成することができる。当該プールされたデータ構造はパケット・ベースのアーキテクチャ(または他のフォーマット)を含むことができ、ヘッダ205を含むことができる。ヘッダ205は、データ処理システム105、ソースまたは宛先アドレス情報、支配的なプロトコル情報、IPアドレス、フレーム同期データ、サイズデータ、解像度データ、またはアクションデータ構造に関連付けられたメタデータを示す補完的データを含むことができる。プールされたデータ構造200のペイロードまたはボディは少なくとも1つのプーリング・パラメータ210、または少なくとも1つの第1のパラメータ215または少なくとも1つの第2のパラメータ220のような他の情報を含むことができる。第1のパラメータ215は、第1のアクションデータ構造225のパラメータを含むことができ、第2のパラメータ220は第2のアクションデータ構造230のパラメータを含むことができる。第1のパラメータ215、第2のパラメータ220、第1のアクションデータ構造225および第2のアクションデータ構造230は、プールされたデータ構造200に含まれてもよいがその必要はない。例えば、プールされたデータ構造200のボディはプーリング・パラメータ210のみを含む(第1のパラメータ215、第2のパラメータ220、第1のアクションデータ構造225または第2のアクションデータ構造230の何れも含まない)ことができ、またはプールされたデータ構造200のボディは、プーリング・パラメータ210ならびに第1のパラメータ215、第2のパラメータ220、第1のアクションデータ構造225または第2のアクションデータ構造230の1つまたは複数を含むことができる。プールされたデータ構造200は、データ処理システム105およびサービス・プロバイダ・コンピューティング・デバイス160の間の1つまたは複数のデータ送信の一部として別々に逐次的にまたは並列に送信された1つまたは複数の独立なパケットを含むことができる。ヘッダ205内のプーリング・パラメータまたは情報は、当該別々の送信または別々のデータ・パケットが同一のバッチ送信、例えば、同一の全体のプールされたデータ構造200に関連付けられることを示すことができる。
とりわけ、図3を参照すると、データ処理システム105は、第1の入力オーディオ信号305、(例えば、「OK, take me home」)を第1のクライアント・コンピューティング・デバイス150から受信することができる。データ処理システム105はまた、第2の入力オーディオ信号310(例えば、「OK, can I get a taxi please」)を第2のクライアント・コンピューティング・デバイス150から受信することができる。データ処理システム105は、第1の入力オーディオ信号305および第2のオーディオ入力信号305に関連付けられたアクションを定義する各パラメータを決定することができる。プーリング・コンポーネント120のようなデータ処理システム105コンポーネントは、統計的またはヒューリスティック技術を第1の入力オーディオ信号305および第2の入力オーディオ信号310に関連付けられたパラメータに提供して、第1の入力オーディオ信号305および第2の入力オーディオ信号310の間の主題の重複または共通性を示す少なくとも1つのプーリング・パラメータを生成することができる。例えば、当該プーリング・パラメータは、第1の入力オーディオ信号305および第2の入力オーディオ信号が両方ともカーシェアサービスからの車をハイヤーする要求に関するとを示すことができる。データ処理システム105は、第1の入力オーディオ信号305および第2の入力オーディオ信号310に対応するアクションデータ構造をバッチ化またはプールして、当該バッチ化またはプールされたデータ構造200を生成することができる。データ処理システム105は、プールされたデータ構造200を、サービス・プロバイダ・コンピューティング・デバイス160により処理するためにサービス・プロバイダ・コンピューティング・デバイス160に送信または提供して、第1のおよび第2の入力オーディオ信号305、310に応答して少なくとも1つの車を予約することができる。
プールされたデータ構造200は、2つより多くのアクションデータ構造(または2つより多くの入力オーディオ信号)から生成されたプーリング・パラメータを含むことができる。例えば、第3のオーディオ入力信号はデータ処理システム105に、第3のアクションに対する第3のアクションデータ構造を生成させることができる。プーリング・コンポーネント120は、第3のアクションデータ構造のパラメータに基づいて少なくとも1つのプーリング・パラメータを識別することができる。この判定に応答して、プーリング・コンポーネント120は、プールされたデータ構造200を修正して、第3のデータ構造との関連付けを含むかまたは示すことができ、または、3つの(またはそれより多くの)入力オーディオ信号に関連付けられた新たなプールされたデータ構造を含むことができる。
独立なアクションデータ構造を少なくとも1つのプールされたデータ構造200に統合し、プールされたデータ構造(複数可)200を、入力オーディオ信号305、310ごとの独立なアクションデータ構造ではなく、サービス・プロバイダ・コンピューティング・デバイス160に送信することによって、データ処理システム105は、ネットワーク165を介したデータ送信の数、サイズ、または頻度を減らすことができる。これは、ネットワーク送信の帯域幅利用を減らすことができ、そうでない場合はそれらのデータ内に含まれる或るレベルの冗長性または主題重複を有しうる独立なアクションデータ構造を処理し送信するために使用される、データ処理システム105(例えば、データリポジトリ145)およびサービス・プロバイダ・コンピューティング・デバイス160の両方の処理電力およびメモリ記憶要件を減らすことができる。
プールされたデータ構造200は単一のデータ構造であってもよいがその必要はない。例えば当該プールされたデータ構造は、当該プーリング・パラメータありまたはなしで、カーシェアサービスプロバイダのような或るエンティティにより制御される1つまたは複数のサービス・プロバイダ・コンピューティング・デバイス160へのバッチされたまたは定期送信の一部として、データ処理システム105により送信された複数の独立なデータ構造を含むことができる。
データ処理システム105およびサービス・プロバイダ・コンピューティング・デバイス160は異なるエンティティに対応することができる。例えば、データ処理システム105(およびダイレクト・アクションAPI135のようなコンポーネント)は、クライアント・コンピューティング・デバイス150のエンド・ユーザとインタフェースしてオーディオ応答をオーディオ入力信号に提供するように設計された音声ベースのアシスタントコンピュータシステムの一部であることができる。例えば、オーディオ信号ジェネレータコンポーネント130は、「OK, take me home」のオーディオ入力信号に対する「There is a taxi 5 minutes away, would you like to order it?」のオーディオ応答を生成することができる。セッションハンドラコンポーネント140は、このオーディオ応答を提供するために、コンピュータ・ネットワーク165を介してデータ処理システム105およびクライアント・コンピューティング・デバイス150の間の通信セッションを確立することができる。当該オーディオ応答は、クライアント・コンピューティング・デバイス150のオーディオドライバ153に、スピーカ154に当該オーディオ応答を描画するための音波をエンド・ユーザに出力させるのを行わせることができる。
音声ベースのアシスタントコンピュータシステムの一部ではなく、サービス・プロバイダ・コンピューティング・デバイス160はカーシェアまたはタクシーサービスエンティティのコンピューティングデバイスであることができる。サービス・プロバイダ・コンピューティング・デバイス160ではなくデータ処理システム105は、入力オーディオ信号305、310を処理してプールされたデータ構造200を生成する。したがって、この例におけるオーディオ入力信号305、310は、サービス・プロバイダ・コンピューティング・デバイス160に対するアクション、例えば、サービス・プロバイダ・コンピューティング・デバイス160を制御するカーシェアサービスエンティティから車をオーダーすることに対応する。データ処理システム105は、サービス・プロバイダ・コンピューティング・デバイス160によるアクションの要求を含む入力オーディオ信号をフック、インターセプト、または受信できる中間物機器またはデバイスとして動作することができる。データ処理システム105は、サービス・プロバイダ・コンピューティング・デバイス160に提供される少なくとも1つのプールされたデータ構造200にこれらの要求をバッチ化または統合することができる。本例では、入力オーディオ信号を直接クライアント・コンピューティング・デバイス150から受信するのではなく(例えば、データ処理システム105をバイパスすること)、サービス・プロバイダ・コンピューティング・デバイス160はその代わり、プールされたデータ構造200(例えば、統合されたアクションデータ構造のバッチされた送信)を中間物データ処理システム105から受信する。本例では、サービス・プロバイダ・コンピューティング・デバイス160の商品またはサービスに対するクライアント・コンピューティング・デバイス150からの要求がデータ処理システム105を通じてルーティングされる。それらは、サービス・プロバイダ・コンピューティング・デバイス160に送信できるプールされたデータ構造200に統合される。
プールされたデータ構造200の受信に応答して、サービス・プロバイダ・コンピューティング・デバイス160は、プールされたデータ構造200により定義または示された少なくとも1つの動作を実施することができる。当該動作は、第1のまたは第2の入力オーディオ信号305、310のアクションデータ構造の各アクションの1つまたは複数に対応することができる。例えば、当該動作は、カーシェアサービスから車を予約することを含むことができる。サービス・プロバイダ・コンピューティング・デバイス160は、応答をクライアント・コンピューティング・デバイス150に提供することができる。例えば、サービス・プロバイダ・コンピューティング・デバイス160は、第1の応答315を第1のクライアント・コンピューティング・デバイス150に提供でき、第2の応答320を第2のクライアント・コンピューティング・デバイス150に提供することができる。第1のおよび第2の応答315、320は、サービス・プロバイダ・コンピューティング・デバイス160から第1のおよび第2のクライアント・コンピューティング・デバイス150への送信中に、データ処理システム105をバイパスすることができる。応答315は、車サービスからの車の予約のような変換アクションを確認するテキスト、画像、または(オーディオを含む)他のデータメッセージを含むことができる。データ処理システム105は、コンピュータ・ネットワーク165を介して、当該変換の(または応答315、320の)指示をサービス・プロバイダ・コンピューティング・デバイス160からまたはクライアント・コンピューティング・デバイス150から受信することができる。データ処理システム105はまた、応答315、320をサービス・プロバイダ・コンピューティング・デバイス(複数可)160から受信することができる。
1つまたは複数のサービス・プロバイダ・コンピューティング・デバイス160に対応するサービスプロバイダエンティティは複数の動作を実施して、プールされたデータ構造200により示される異なるアクションを実現することができる。例えば、当該サービスプロバイダエンティティは、食料品配達を提供し、人間輸送のためのカーシェアサービスを運営することができる。プールされたデータ構造200は、これらのアクションの両方を示すことができ、それらを、1つまたは複数のサービス・プロバイダ・コンピューティング・デバイス160を制御する単一のサービスプロバイダエンティティにより実現することができる。サービス・プロバイダ・コンピューティング・デバイス160はまた、プーリングポリシーデータをデータ処理システム105に提供することができる。例えばダイレクト・アクションAPI135はプーリングポリシーデータをサービス・プロバイダ・コンピューティング・デバイス160から受信することができる。当該プーリングポリシーデータは、プールされたデータ構造200を生成するためにプーリング・コンポーネント120により使用されるポリシーガイドラインを提供することができる。当該プーリングポリシーデータをデータリポジトリ145に(例えば、ポリシ147として)格納することができる。当該プーリングポリシーデータは、当該プールされたデータ構造のフォーマット、テンプレート情報(例えば、テンプレート149)または情報サイズデータを示すことができ、または、いつ、どのように、どの程度頻繁にまたはどのような情報を当該プールされたデータ構造に含めるべきかを示すことができる。プーリング・コンポーネント120は、当該プーリングポリシーデータに準拠するプールされたデータ構造200を生成することができる。
幾つかの例では、応答315、320は、第1のおよび第2のクライアント・コンピューティング・デバイス150の両方に別々に送信された同一の実質的な応答を含む。例えば、サービス・プロバイダ・コンピューティング・デバイス160は、プールされたデータ構造200内の各アクションデータ構造により示される第1のおよび第2のアクションを統合し、第1のおよび第2のクライアント・コンピューティング・デバイス150に関連付けられたピックアップ位置で連続的に到達する単一の車を提供することができる。
応答315、320はプールされる必要はない。応答315、320は互いに異なることができ、または、プールされたデータ構造200の第1のアクションデータ構造225または第2のアクションデータ構造230(または第1のおよび第2のパラメータ215、220)へのカスタマイズされた応答と異なることができる。例えば、サービス・プロバイダ・コンピューティング・デバイス160は、応答315に第1のクライアント・コンピューティング・デバイス150に対する第1のカーシェア予約に関する情報を提供でき、応答320に第2のクライアント・コンピューティング・デバイス150に対する異なる、第2のカーシェア予約に関する情報を提供することができる。
プーリング・コンポーネント120により生成されプールされたデータ構造200を生成するために使用されるプーリング・パラメータはまた、時間的な、宛先、または位置データを含むことができる。例えば、当該プーリング・パラメータは、それぞれが、特定のレストランの予約要求、エンティティにり製造された商品の注文、またはカーシェアサービスからのカーシェア予約要求のような、当該サービス・プロバイダ・コンピューティング・デバイスに関連付けられた単一のエンティティからのサービスの要求(例えば、宛先情報)に対応する複数のアクションデータ構造を示すことができる。当該プーリング・パラメータはまた、定義された時間期間に、例えばそれぞれが車サービスを同一のカーシェアエンティティに要求する2分間隔内に、生成されたアクションデータ構造の数を示することができる。当該プーリング・パラメータは、定義された地理的領域(例えば、都市ブロックまたは近所)を示す位置情報のような位置情報を含むことができる。当該地理的領域から、複数の人は、サービス・プロバイダ・コンピューティング・デバイス160に関連付けられた同一のエンティティからサービスを要求する入力オーディオ信号を提供する。当該プーリング・パラメータから、プーリング・コンポーネント120は、プールされたデータ構造200を生成し、それをサービス・プロバイダ・コンピューティング・デバイス160に提供することができる。サービス・プロバイダ・コンピューティング・デバイス160は、当該プールされたデータ構造に応答して動作を実施し、関連付けられた応答315、320をクライアント・コンピューティング・デバイス150に提供することができる。
プールされたデータ構造200は単一のエンティティに対する動作のみを含むことができ、当該単一のエンティティは、データ処理システム105に関連付けられたエンティティと異なるエンティティである。例えば、データ処理システム105(またはプーリング・コンポーネント120のようなコンポーネント)は、第1のプールされたデータ構造を第1のエンティティにより制御される1つまたは複数の第1のサービス・プロバイダ・コンピューティング・デバイス160に提供し、第2のプールされたデータ構造を生成し、第2のプールされたデータ構造を第1のエンティティに関連しない異なる、第2のエンティティにより制御される1つまたは複数の第2のサービス・プロバイダ・コンピューティング・デバイス160に提供することができる。例えば、第1のプールされたデータ構造は、チケットブローカ会社からローカルスポーツイベントのチケットを購入するための統合された要求に関することができ、第2のプールされたデータ構造は、旅行エージェント会社からの海外の熱帯ビーチバケーションに関する旅行予約を行う要求に関することができる。
コンテンツセレクタコンポーネント125は、当該プールされたアクションデータ構造200のアクションデータ構造の少なくとも1つのアクションの指示を取得することができる。コンテンツセレクタコンポーネント125により受信された情報、例えば、アクションの指示から、コンテンツセレクタコンポーネント125は少なくとも1つのコンテンツ・アイテムを識別することができる。当該コンテンツ・アイテムは第3のアクションに応答または関連することができる。例えば、当該コンテンツ・アイテムは、輸送の必要性を示す第3のアクションに応答してカーシェア会社のオーディオメッセージ提供サービスを含むことができる。コンテンツセレクタコンポーネント125はデータリポジトリ145に問い合わせて、当該コンテンツ・アイテムを、例えば、コンテンツデータ148から選択または識別することができる。コンテンツセレクタコンポーネント125はまた、当該コンテンツ・アイテムをコンテンツプロバイダ・コンピューティングデバイス155から選択することができる。例えばデータ処理システム105から受信されたクエリに応答して、コンテンツプロバイダ・コンピューティングデバイス155はコンテンツ・アイテムを、クライアント・コンピューティング・デバイス150による最終出力のためにデータ処理システム105(またはそのコンポーネント)に提供することができる。当該コンテンツ・アイテムは、当該アクションデータ構造に関連付けられたサービスプロバイダ、例えば、識別されたカーシェアサービス、または競合会社または付属的サービスのような別のサービスに関することができる。
オーディオ信号ジェネレータコンポーネント130は、当該コンテンツ・アイテムを含む出力信号を生成または取得することができる。例えば、データ処理システム105は当該オーディオ信号ジェネレータコンポーネントを実行して、当該コンテンツ・アイテムに対応する出力信号を生成または作成することができる。データ処理システム105のインタフェース115は、コンピュータ・ネットワーク165を介して当該出力信号を含む1つまたは複数のデータ・パケットをクライアント・コンピューティング・デバイス150に提供または送信することができる。インタフェース115は例えば、データ・パケットを用いて情報を送受信するように設計され、構成され、構築され、または動作することができる。インタフェース115は、ネットワークプロトコルのような1つまたは複数のプロトコルを用いて情報を送受信することができる。インタフェース115は、ハードウェアインタフェース、ソフトウェアインタフェース、有線インタフェース、またはワイヤレスインタフェースを含むことができる。インタフェース115は、或るフォーマットから別のフォーマットへのデータ変換またはデータ・フォーマットを促進することができる。例えば、インタフェース115は、システム100のソフトウェアコンポーネントのような、様々なコンポーネントの間で通信するための定義を含むアプリケーションプログラミングインタフェースを含むことができる。
データ処理システム105は、(例えば、コンテンツ・アイテムに対応してまたは入力オーディオ信号に応答して)出力信号を、データリポジトリ145からまたはオーディオ信号ジェネレータコンポーネント130からクライアント・コンピューティング・デバイス150に提供することができる。データ処理システム105はまた、データ・パケット送信を介して、コンテンツプロバイダ・コンピューティングデバイス155またはサービス・プロバイダ・コンピューティング・デバイス160に、当該出力信号をクライアント・コンピューティング・デバイス150に提供するように指示することができる。当該出力信号を、取得し、生成し、1つまたは複数のデータ・パケット(または他の通信プロトコル)に変換し、または1つまたは複数のデータ・パケット(または他の通信プロトコル)としてデータ処理システム105(または他のコンピューティングデバイス)からクライアント・コンピューティング・デバイス150に送信することができる。
コンテンツセレクタコンポーネント125はリアルタイムコンテンツ選択プロセスの一部として当該コンテンツ・アイテムを選択することができる。例えば、当該コンテンツ・アイテムを、クライアント・コンピューティング・デバイス150にオーディオ出力として当該入力オーディオ信号への直接応答の会話方式で提供することができる。当該コンテンツ・アイテムを識別し当該コンテンツ・アイテムをクライアント・コンピューティング・デバイス150に提供するための当該リアルタイムコンテンツ選択プロセスは、当該入力オーディオ信号の時刻から1分以下で発生することができ、リアルタイムと考えることができる。
例えばオーディオ信号ジェネレータコンポーネント130により取得または生成され、インタフェース115およびコンピュータ・ネットワーク165を介してクライアント・コンピューティング・デバイス150に送信されたコンテンツ・アイテムに対応する出力信号は、クライアント・コンピューティング・デバイス150に、オーディオドライバ153を実行してスピーカ154を駆動して当該出力信号に対応する音波を生成させることができる。当該音波は、第3のアクションに対する当該コンテンツ・アイテムの単語または第3のアクションに対する当該コンテンツ・アイテムに対応する単語を含むことができる。当該音波はクライアント・コンピューティング・デバイス150から、例えば、「Your taxi is confirmed」または「While you are waiting for your taxi, there is a coffee shop around the corner」のオーディオ出力を含む音波として出力できる。
データ処理システム105は、プールされたデータ構造のサービス・プロバイダ・コンピューティング・デバイス160への送信を防止または遅延することができる。例えば、ダイレクト・アクションAPI135またはプーリング・コンポーネント120を介して実行されインタフェース115またはスクリプトは、トリガ・イベントまで当該プールされたデータ構造を含むデータ・パケットの送信を防止することができる。当該トリガイベントは、1分未満から日の期間まで、所定の時間期間の期限切れを含むことができる。当該トリガイベントはまた、利用可能な帯域幅、処理、またはメモリに基づくことができる。例えば、サービス・プロバイダ・コンピューティング・デバイス160は当該プールされたデータ構造に対する当該データ処理システムを促進または問い合わせることができる。データ処理システム105は当該データ構造を当該プロンプトに応答して送信する。
データ処理システム105はまた、当該プールされたデータ構造の送信を遅延して処理の利用を最適化することができる。例えば、データ処理システム105はコンテンツ・アイテム送信をデータセンタ利用のオフピークまたは非ピークの期間まで遅延することができ、これはピーク帯域幅利用、熱出力または冷却要件を減らすことで当該データセンタのより効率的な利用をもたらす。データ処理システム105はまた、データ処理システム105を含むネットワーク165またはデータセンタのデータセンタ利用率または帯域幅メトリックまたは要件に基づいて、車サービスのオーダのような、当該コンテンツ・アイテムに関連付けられた変換または他の活動を開始することができる。これは、ネットワークトラフィック、負荷要件を減らし、処理および電気電力を節約することができる。
データ処理システム105は、「would you like a ride home from the movie theater?」と述べる乗車共有サービスの申し出のようなコンテンツ・アイテムに対する応答を受信できる。当該応答は、エンド・ユーザによりクライアント・コンピューティング・デバイス150に入力されデータ処理システム105により受信された入力オーディオ信号、例えば、「yes please」を含むことができる。この応答に基づいて、ダイレクト・アクションAPI135は、(カーシェア会社のような、当該コンテンツ・アイテムに関連付けることができる)サービス・プロバイダ・コンピューティング・デバイス160と通信して、映画が終了する時刻に当該映画の映画館の位置に対するタクシーまたは相乗り車をオーダーすることができる。データ処理システム105は、クライアント・コンピューティング・デバイス150との当該データ・パケット(または他のプロトコル)ベースのデータメッセージ通信の一部として、この位置または時刻情報を、データリポジトリ145から、またはサービス・プロバイダ・コンピューティング・デバイス160またはコンテンツプロバイダ・コンピューティングデバイス155のような他のソースから取得することができる。このオーダ(または他の変換)の確認を、クライアント・コンピューティング・デバイス150に「great, you will have a car waiting for you at 11pm outside the theater」のようなオーディオ出力を描画させるデータ処理システム105からの出力信号の形で、オーディオ通信としてデータ処理システム105からクライアント・コンピューティング・デバイス150に提供することができる。データ処理システム105は、ダイレクト・アクションAPI135を介して、サービス・プロバイダ・コンピューティング・デバイス160と通信して当該車のオーダーを確認することができる。
データ処理システム105は、コンテンツ・アイテム(「would you like a ride home from the movie theater?」)に対する応答(例えば、「yes please)を取得でき、パケット・ベースのデータメッセージを、サービスプロバイダのNPLコンポーネント161(または当該サービス・プロバイダ・コンピューティング・デバイスの他のコンポーネント)にルーティングすることができる。このパケット・ベースのデータメッセージは、サービス・プロバイダ・コンピューティング・デバイス160に、変換に影響を及ぼさせる。例えば、映画の映画館の外部で車のピックアップ予約を行わせることができる。データ処理システム105は、当該変換の通知を、例えば、サービス・プロバイダ・コンピューティング・デバイス160、コンテンツプロバイダ・コンピューティングデバイス155、またはクライアント・コンピューティング・デバイス150から取得することができる。
当該コンテンツ・アイテム「would you like a ride home from the movie theater」に対する応答「yes please」のような当該スレッド内の後続のアクションコンテンツ・アイテムへの応答に基づいて、または、商品またはサービスの要求を直接に示すことができるプールされたデータ構造を含むアクションデータ構造に基づいて、データ処理システム105は変換またはアクションを開始することができる。例えば、データ処理システム105のプロセッサはダイレクト・アクションAPI135を起動してカーシェアサービスからの車をオーダーするスクリプトを実行することができる。ダイレクト・アクションAPI135は、データリポジトリ145からのコンテンツデータ148(またはパラメータ146またはポリシ147)、ならびに位置、時間、ユーザアカウント、物流または当該カーシェアサービスから車を予約するための他の情報を決定するためにエンド・ユーザ同意によりクライアント・コンピューティング・デバイス150から受信されたデータを取得することができる。ダイレクト・アクションAPI135を用いて、データ処理システム105はまた、サービス・プロバイダ・コンピューティング・デバイス160と通信して、この例では当該カーシェアのピックアップ予約を行うことによって当該変換を完了することができる。ダイレクト・アクションAPI135は、当該プールされたデータ構造に関連付けられたアクション(例えば、当該プールされたデータ構造により示されるアクションデータ構造の1つまたは複数のパラメータにより定義されたアクション)を実現するための当該変換または活動を開始することができる。
図4は、音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理する方法400を示す。方法400は少なくとも1つの第1のオーディオ入力信号を受信することができる(動作405)。例えば、インタフェース115を介して当該NLPコンポーネントはデータ・パケットを受信することができる(動作405)。データ処理システム105は、NLPコンポーネント110を実行または起動して、パケットまたは他のプロトコルベースの送信を、当該ネットワークを介して第1のクライアント・コンピューティング・デバイス150から受信することができる。当該データ・パケットは、第1のエンド・ユーザが「OK, take me home」をクライアント・コンピューティング・デバイス150、例えば、スマートフォンに言うような、第1のクライアント・コンピューティング・デバイス150のセンサ151により検出された入力オーディオ信号を含むことができるかまたはそれに対応することができる。方法400は当該入力オーディオ信号を解析して、少なくとも1つの第1の要求または少なくとも1つの第1のトリガキーワードを当該入力オーディオ信号から識別することができる(動作410)。例えば、NLPコンポーネント110は当該入力オーディオ信号を解析して、当該要求に対応または関する要求(to go “home”)ならびにトリガキーワード(「take」)を識別することができる。方法400は、当該受信された第1のオーディオ入力信号に関連付けられた当該識別された要求またはキーワードに基づいて、少なくとも1つの第1のアクションデータ構造を生成することができる(動作415)。例えば、ダイレクト・アクションAPI135は、タクシーピックアップの位置、要求されたサービスプロバイダ、または時刻情報のような第1のアクションを定義する少なくとも1つのパラメータを含むアクションデータ構造を生成することができる。
方法400は少なくとも1つの第2のオーディオ入力信号を受信することができる(動作420)。例えば、NLPコンポーネント110は、パケットまたは他のプロトコルベースの送信を、当該ネットワークを介して第2のクライアント・コンピューティング・デバイス150から受信することができる。当該データ・パケットは、エンド・ユーザが「OK, can I get a taxi please」を第2のクライアント・コンピューティング・デバイス150を言うことのような、第2のクライアント・コンピューティング・デバイス150のセンサ151により検出された入力オーディオ信号を含むことができるかまたはそれに対応することができる。方法400は、少なくとも1つの第2の要求または少なくとも1つの第2のトリガキーワードを第2の入力オーディオ信号から識別することができる(動作425)。例えば、NLPコンポーネント110は当該入力オーディオ信号を解析して、当該要求に対応または関する要求(to go “taxi”)ならびにトリガキーワード(「get」)を識別することができる。方法400は、当該受信された第1のオーディオ入力信号に関連付けられた当該識別された要求またはキーワードに基づいて、少なくとも1つの第2のアクションデータ構造を生成することができる(動作430)。例えば、ダイレクト・アクションAPI135は、タクシーピックアップの位置、要求されたサービスプロバイダ、または時刻情報のような第2のアクションを定義する少なくとも1つのパラメータを含むアクションデータ構造を生成することができる。
方法400は少なくとも1つのプーリング・パラメータを決定することができる(動作435)。例えば、共通の要求されたサービスプロバイダまたは他の共通性(例えば、アクションデータ構造の間の重複のレベル)を示す各アクションのパラメータに基づいて、プーリング・コンポーネント120は、当該共通の要求されたサービスプロバイダを示すプーリング・パラメータを決定することができる。方法400はプールされたデータ構造を生成することができる(動作440)。例えば、当該共通の要求されたサービスプロバイダの当該指示に基づいて、プーリング・コンポーネント120は、第1のおよび第2のアクションデータ構造、またはそれらの関連付けられたアクションまたはパラメータを示す少なくとも1つのプールされたデータ構造を生成することができる(動作440)。方法400は当該プールされたデータ構造を送信することができる(動作445)。例えば、データ処理システム105は、当該プールされたデータ構造を、当該共通の要求されたサービスプロバイダエンティティにより制御される1つまたは複数のサービス・プロバイダ・コンピューティング・デバイス160に提供することができる。
図5は例示的なコンピュータシステム500のブロック図である。コンピュータシステムまたはコンピューティングデバイス500は、システム100、またはデータ処理システム105のようなそのコンポーネントを含むことができるかまたはそれを実装するために使用される。コンピューティングシステム500は、情報を通信するためのバス505または他の通信コンポーネントおよび情報を処理するためにバス505に接続するためのプロセッサ510または処理回路を含む。コンピューティングシステム500はまた、情報を処理するために当該バスに接続された1つまたは複数のプロセッサ510または処理回路を含むことができる。コンピューティングシステム500はまた、情報、およびプロセッサ510により実行される命令を格納するためにバス505に接続されたランダム・アクセスメモリ(RAM)または他の動的記憶デバイスのようなメイン・メモリ515を含む。メイン・メモリ515はデータリポジトリ145であることができるかまたはそれを含むことができる。メイン・メモリ515をまた、プロセッサ510による命令の実行中に位置情報、一時的変数、または他の中間情報を格納するために使用することができる。コンピューティングシステム500はさらに、プロセッサ510のための静的情報および命令を格納するために、バス505に接続される読取専用メモリ(ROM)520または他の静的記憶デバイスを含んでもよい。固体状態デバイス、磁気ディスクまたは光ディスクのような記憶デバイス525は、永続的に情報および命令を格納するためにバス505に接続されることができる。記憶デバイス525はデータリポジトリ145を含むことができるかまたはその一部であることができる。
コンピューティングシステム500を、バス505を介して、情報をユーザに表示するための、液晶ディスプレイ、またはアクティブ行列ディスプレイのようなディスプレイ535に接続してもよい。英数字および他のキーを含むキーボードのような入力デバイス530が、情報およびコマンド選択をプロセッサ510に通信するためにバス505に接続されてもよい。入力デバイス530はタッチ・スクリーンディスプレイ535を含むことができる。入力デバイス530はまた、方向情報およびコマンド選択をプロセッサ510に通信し、ディスプレイ535上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーのようなカーソル・コントロールを含むことができる。ディスプレイ535は、例えば、図1のデータ処理システム105、クライアント・コンピューティング・デバイス150または他のコンポーネントの一部であることができる。
本明細書で説明したプロセス、システムおよび方法を、プロセッサ510がメイン・メモリ515に含まれる命令の配置を実行したことに応答してコンピューティングシステム500により実装することができる。かかる命令を記憶デバイス525のような別のコンピュータ可読媒体からメイン・メモリ515に読み込むことができる。メイン・メモリ515に含まれる命令の配置の実行は、コンピューティングシステム500に本明細書で説明した例示的なプロセスを実施させる。マルチプロセッシング配置における1つまたは複数のプロセッサをまた、メイン・メモリ515に含まれる命令を実行するために使用することができる。ハードワイヤード回路を、本明細書で説明するシステムおよび方法とともにソフトウェア命令の代わりにまたはそれを組み合わせて使用することができる。本明細書で説明したシステムおよび方法はハードウェア回路およびソフトウェアの任意の特定の組合せに限定されない。
例示的なコンピューティングシステムを図5で説明したが、本明細書で説明した動作を含む当該主題を、本明細書で開示した構造およびそれらの構造的均等物を含む他のタイプのデジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらの1つまたは複数の組合せで実装することができる。
本明細書で説明するシステムがユーザに関する個人情報を収集するか、または個人情報を利用しうる状況に対して、当該ユーザに、プログラムまたは機能が個人情報(例えば、ユーザのソーシャルネットワーク、ソーシャルアクションまたはアクティビティ、ユーザの嗜好、またはユーザの位置に関する情報)を収集しうるかどうかを制御するか、または、当該ユーザにより関連しうるコンテンツサーバまたは他のデータ処理システムからコンテンツを受信するかどうかまたはその方法を制御するための機会を与えてもよい。さらに、特定のデータはそれが格納または使用される前に1つまたは複数の方法で匿名化してもよく、その結果個人的に識別可能な情報がパラメータを生成するときに除去される。例えば、ユーザのアイデンティティを匿名化してもよく、その結果個人的に識別可能な情報を当該ユーザに対して決定できず、またはユーザの特定の位置を決定できないように、ユーザの地理的位置を位置情報が取得される場所で(例えば都市、郵便番号、または状態レベルに)一般化してもよい。したがって、当該ユーザは、どのように情報が当該ユーザに関して収集され当該コンテンツサーバにより使用されるかを制御することができる。
当該主題および本明細書で説明した動作を、本明細書で開示した構造およびそれらの構造的均等物を含むデジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらの1つまたは複数の組合せで実装することができる。本明細書で説明した当該主題を、データ処理装置による実行のためにまたは当該装置の動作を制御するために1つまたは複数のコンピュータ記憶媒体で符号化された、1つまたは複数のコンピュータプログラム、例えば、コンピュータプログラム命令の1つまたは複数の回路として実装することができる。代替的にまたは追加として、当該プログラム命令を、人工的に生成された伝播信号、例えば、データ処理装置による実行のために適切な受信器装置に送信するための情報を符号化するために生成されたマシン−生成された電気、光、または電磁気信号で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムなまたはシリアル・アクセスメモリ・アレイまたはデバイス、またはそれらの1つまたは複数の組合せであることができ、または、それらに含まれることができる。コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号で符号化されたコンピュータプログラム命令のソースまたは宛先であることができる。当該コンピュータ記憶媒体はまた、1つまたは複数の別々のコンポーネントまたは媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)であることができ、または、それに含まれることができる。本明細書で説明した動作を、1つまたは複数のコンピュータ可読記憶デバイスに格納されまたは他のソースから受信されたデータに対してデータ処理装置により実施される動作として実装することができる。
「データ処理システム」「コンピューティングデバイス」「コンポーネント」または「データ処理装置」という用語は、例としてプログラム可能プロセッサ、コンピュータ、システム・オン・チップ、または以上のうち複数または組合せを含む、データを処理するための様々な装置、デバイス、およびマシンを包含する。当該装置は、特殊目的論理回路、例えば、FPGA(フィールドプログラム可能ゲート・アレイ)またはASIC(特殊用途向け集積回路)を含むことができる。当該装置はまた、ハードウェアに加えて、着目するコンピュータプログラムに対する実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、クロス・プラットフォームランタイム環境、仮想マシン、またはそれらの1つまたは複数の組合せを構成するコードを含むことができる。当該装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッド・コンピューティングインフラのような様々な異なるコンピューティングモデルインフラを実現することができる。ダイレクト・アクションAPI135、コンテンツセレクタコンポーネント125、プーリング・コンポーネント120またはNLPコンポーネント110および他のデータ処理システム105コンポーネントは、1つまたは複数のデータ処理装置、システム、コンピューティングデバイス、またはプロセッサを含むかまたは共有ことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、スクリプト、またはコードとしても知られる)を、コンパイル型言語またはインタプリタ型言語、宣言型または手続型言語を含む任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムまたはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに適した他のユニットを含む任意の形態で展開することができる。コンピュータプログラムはファイルシステム内のファイルに対応することができる。コンピュータプログラムを、他のプログラムまたはデータを保持するファイル部分(例えば、マークアップ言語ドキュメントに格納された1つまたは複数のスクリプト)に、着目するプログラム専用の単一のファイルに、または複数の協調ファイルに(例えば、1つまたは複数のモジュール、サブプログラム、またはコード部分を格納するファイル)格納することができる。コンピュータプログラムを、1つのコンピュータ上でまたは1つのサイトに配置されるかまたは複数のサイトにわたって分散され通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開することができる。
本明細書で説明した当該プロセスおよび論理フローを、1つまたは複数のプログラム可能プロセッサが、1つまたは複数のコンピュータプログラム(例えば、データ処理システム105のコンポーネント)を実行して、入力データで動作し出力を生成することでアクションを実施することにより、実施することができる。当該プロセスおよび論理フローはまた、特殊目的論理回路、例えば、FPGA(フィールドプログラム可能ゲート・アレイ)またはASIC(特殊用途向け集積回路)により実施でき、装置をまた特殊目的論理回路、例えば、FPGA(フィールドプログラム可能ゲート・アレイ)またはASIC(特殊用途向け集積回路)として実装することができる。コンピュータプログラム命令およびデータを格納するのに適したデバイスを含むあらゆる形態の非揮発性メモリ、媒体およびメモリデバイスを含む例として半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュ・メモリデバイス、磁気ディスク、例えば、内部ハードディスクまたは取外し可能ディスク、磁気光ディスク、およびCDROMおよびDVD−ROMディスク。当該プロセッサおよび当該メモリを特殊目的論理回路で補完するかまたはそれに組み込むことができる。
本明細書で説明する主題を、コンピューティングシステムで実装することができるバックエンドコンポーネントを、例えば、データサーバとして含むか、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むか、またはフロントエンドコンポーネント、例えば、ユーザがそれを通じて本明細書で説明した当該主題の実装と対話できるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ、または1つまたは複数のかかるバックエンド、ミドルウェア、またはフロントエンドコンポーネントの組合せを含む。当該システムの当該コンポーネントはデジタルデータ通信、例えば、通信ネットワークの任意の形態または媒体により相互接続することができる。通信ネットワークの例は、ローカル・エリア・ネットワーク(「LAN」)および広帯域ネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、およびピア・ツー・ピアネットワーク(例えば、アドホックピア・ツー・ピアネットワーク)を含む。
システム100またはシステム500のようなコンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは一般に互いから離れており、一般に通信ネットワークを通じて対話する(例えば、ネットワーク165)。クライアントおよびサーバの関係は、当該各コンピュータで実行され互いにクライアント−サーバ関係を有するコンピュータプログラムにより生ずる。幾つかの実装では、サーバはデータ(例えば、コンテンツ・アイテムを表すデータ・パケット)をクライアント・コンピューティング・デバイス(例えば、当該クライアント・コンピューティング・デバイスと対話するユーザにデータを表示し、そこからユーザ入力を受信する目的で)に送信する。当該クライアント・コンピューティング・デバイスで生成されたデータ(例えば、当該ユーザ対話の結果)は当該サーバで当該クライアント・コンピューティング・デバイスから受信されることができる(例えば、データ処理システム105によりコンピューティングデバイス150またはコンテンツプロバイダ・コンピューティングデバイス155またはサービス・プロバイダ・コンピューティング・デバイス160から受信される)。
動作を当該図面において特定の順序で説明したが、かかる動作を示した特定の順序でまたは逐次的な順序で実施する必要はなく、全ての図示した動作を実施する必要はない。本明細書で説明した動作を異なる順序で実施することができる。
様々なシステムコンポーネントの分離は全ての実装における分離を要求しないが、当該説明したプログラムコンポーネントを単一のハードウェアまたはソフトウェア製品に含めることができる。例えば、NLPコンポーネント110、コンテンツセレクタコンポーネント125、またはプーリング・コンポーネント120は、単一のコンポーネント、アプリ、またはプログラム、または1つまたは複数の処理回路を有する論理デバイス、またはデータ処理システム105の1つまたは複数のサーバの一部であることができる。
幾つかの例示的な実装を説明したが、以上は、例示的であり限定的ではなく、例として提示されていることは明らかである。特に、本明細書で提示した例の多くは方法の動作またはシステム要素の特定の組合せを含むが、これらの動作およびこれらの要素を他の方法で組み合わせて同一の目的を実現してもよい。1実装と関連して説明した動作、要素および特徴は他の実装または実装における類似の役割から排除されるものではない。
本明細書で使用したフレーズおよび用語は説明の目的のためであり限定として解釈されるべきではない。「〜を含む」、「〜を備える」、「〜を有する」、「〜を包含する」、「〜が関与する」、「〜により特徴付けられる」、「〜の点で特徴付けられる」、およびその本明細書における変形の使用は、その後に列挙された項目、その均等物、および追加の項目、ならびに排他的にその後に列挙された項目からなる代替的な実装を含むことを意味する。1実装では、本明細書で説明するシステムおよび方法は当該説明した要素、動作、またはコンポーネントの1つ、複数の各組合せ、または全てから成る。
本明細書で単一形で参照されるシステムおよび方法の実装または要素または動作に対する任意の言及は複数のこれらの要素を含む実装を含んでもよく、本明細書の任意の実装または要素または動作への複数形の任意の参照は単一の要素のみを含む実装を含んでもよい。単一形または複数形における参照は本明細書で開示したシステムまたは方法、それらのコンポーネント、動作、または要素を単一のまたは複数の構成に限定しようとするものではない。任意の情報、動作または要素に基づく任意の動作または要素への参照は当該動作または要素は任意の情報、動作、または要素に少なくとも部分的に基づく実装を含んでもよい。
本明細書で開示した任意の実装を任意の他の実装または実施形態と組み合わせてもよく「実装」、「幾つかの実装」、「1実装」等への言及は必ずしも相互に排他的ではなく、当該実装と関連して説明した特定の特徴、構造、または特性が少なくとも1つの実装または実施形態に含まれてもよいを示すことを意図している。本明細書で使用した用語は必ずしも全て同一の実装を参照しない。任意の実装を、任意の他の実装と、包含的にまたは排他的に、本明細書で開示した態様および実装と一貫する任意の方式で結合してもよい。
「または」に対する言及は、「または」を用いて説明された任意の用語が当該説明した用語のうち1つ、複数、および全ての何れかを示しうるように、包含的として解釈してもよい。例えば、「‘A’および‘B’のうち少なくとも1つ」への言及は‘A’のみ、‘B’のみ、ならびに‘A’および‘B’の両方を含むことができる。「〜を備える」または他のオープンな用語と関連して使用されるかかる言及は追加の項目を含むことができる。
当該図面、詳細な説明または任意の請求項における技術的特徴に参照記号が続く場合、当該参照記号は当該図面、詳細な説明、および特許請求の範囲の明瞭性を高めるために含まれている。したがって、当該参照記号もそれがないことも任意のクレーム要素の範囲に対する限定効果を有さない。
本明細書で説明するシステムおよび方法をその特徴から逸脱せずに他の特定の形態で具体化してもよい。例えば、データ処理システム105による複数のオーディオ入力信号(または識別または各要求またはトリガキーワード)の受信は、同時にまたは逐次的に1つまたは複数のソースから発生することができる。以上の実装は説明したシステムおよび方法の限定ではなく例示的なものである。本明細書で説明するシステムおよび方法の範囲はしたがって以上の説明ではなく添付の特許請求の範囲により示され、添付の特許請求の範囲の均等物の意味と範囲に入る変更がそこに包含される。
105 データ処理システム
110 自然言語プロセッサ・コンポーネント
115 インタフェース
120 プーリング・コンポーネント
125 コンテンツ・セレクタ・コンポーネント
130 オーディオ信号生成器コンポーネント
135 ダイレクト・アクションAPI
140 セッション・ハンドラ
145 データ・リポジトリ
146 パラメータ
147 ポリシ
148 コンテンツ・データ
149 テンプレート
150 クライアント・コンピューティング・デバイス
151 センサ
152 トランスデューサ
153 オーディオ・ドライバ
154 スピーカ
155 コンテンツ・プロバイダ・デバイス
160 サービス・プロバイダ・デバイス
161 サービス・プロバイダの自然言語プロセッサ・コンポーネント
162 サービス・プロバイダ・インタフェース
165 ネットワーク

Claims (20)

  1. 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するためのシステムであって、
    データ処理システムのインタフェースを介して、第1のクライアントコンピューィングデバイスのセンサにより検出された第1の入力オーディオ信号を含むデータ・パケットを受信する、前記データ処理システムにより実行される自然言語プロセッサコンポーネントと、
    第1のトリガキーワードに基づいておよび第1の要求に応答して、第1のアクションを定義するパラメータを有する第1のアクションデータ構造を生成する、前記データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)と、
    前記データ処理システムのプーリング・コンポーネントであって、
    前記第1のアクションデータ構造の前記パラメータおよび第2のアクションデータ構造のパラメータに適用されるヒューリスティック技術に基づいて、前記第1のアクションデータ構造および前記第2のアクションデータ構造の間の重複のレベルを示すプーリング・パラメータを決定し、
    前記プーリング・パラメータ、前記第1のアクションデータ構造、および前記第2のアクションデータ構造に基づいて、プールされたデータ構造を生成し、
    コンピュータ・ネットワークを介して、前記プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信して、前記サービス・プロバイダ・コンピューティング・デバイスに、前記プールされたデータ構造により定義され前記第1のアクションおよび前記第2のアクションに対応する動作を実施させる、
    プーリング・コンポーネントと、
    を備え、
    前記自然言語プロセッサコンポーネントは、前記第1の入力オーディオ信号を解析して前記第1の要求および前記第1の要求に対応する前記第1のトリガキーワードを識別し、
    前記自然言語プロセッサコンポーネントは、前記データ処理システムの前記インタフェースを介して、第2のクライアント・コンピューティング・デバイスのセンサにより検出された第2の入力オーディオ信号を含むデータ・パケットを受信し、前記第2の入力オーディオ信号を解析して第2の要求および前記第2の要求に対応する第2のトリガキーワードを識別し、
    前記ダイレクト・アクションAPIは、前記第2のトリガキーワードに基づいておよび前記第2の要求に応答して、前記第2のアクションを定義するパラメータを有する第2のアクションデータ構造を生成する、
    システム。
  2. 前記サービス・プロバイダ・コンピューティング・デバイスは第1のエンティティに対応する第1のサービス・プロバイダ・コンピューティング・デバイスであり、
    前記データ処理システムの前記プーリング・コンポーネントは、前記コンピュータ・ネットワークを介して、第2のプールされたデータ構造を第2のエンティティに対応する第2のサービス・プロバイダ・コンピューティング・デバイスに送信して、前記第2のサービス・プロバイダ・コンピューティング・デバイスに前記第2のプールされたデータ構造により定義された動作を実施させる、
    請求項1に記載のシステム。
  3. 前記プーリング・パラメータは第1のプーリング・パラメータであり、前記プールされたデータ構造は第1のプールされたデータ構造であり、前記サービス・プロバイダ・コンピューティング・デバイスは第1のサービス・プロバイダ・コンピューティング・デバイスであり、
    前記データ処理システムの前記プーリング・コンポーネントは、
    第3のアクションデータ構造および第4のアクションデータ構造の間の重複のレベルを示す第2のプーリング・パラメータを決定し、
    前記第2のプーリング・パラメータ、前記第3のアクションデータ構造、および前記第4のアクションデータ構造に基づいて、第2のプールされたデータ構造を生成し、
    コンピュータ・ネットワークを介して、前記第2のプールされたデータ構造を第2のサービス・プロバイダ・コンピューティング・デバイスに送信して、前記第2のサービス・プロバイダ・コンピューティング・デバイスに前記第2のプールされたデータ構造により定義され、前記第3のアクションおよび前記第4のアクションに対応する動作を実施させる、
    請求項1に記載のシステム。
  4. 前記プーリング・パラメータは第1のプーリング・パラメータであり、
    前記自然言語プロセッサコンポーネントは、前記データ処理システムの前記インタフェースを介して、前記第1のクライアント・コンピューティング・デバイスの前記センサにより検出された第3の入力オーディオ信号を含むデータ・パケットを受信し、前記第3の入力オーディオ信号を解析して第3の要求および前記第3の要求に対応する第3のトリガキーワードを識別し、
    前記ダイレクト・アクションAPIは、前記第3のトリガキーワードに基づいておよび前記第3の要求に応答して、第3のアクションを定義するパラメータを有する第3のアクションデータ構造を生成し、
    前記データ処理システムの前記プーリング・コンポーネントは、前記第3のアクションデータ構造と第1のアクションデータ構造、前記第2のアクションデータ構造、および前記プーリング・パラメータのうち少なくとも1つとの間の重複のレベルを示す第2のプーリング・パラメータを決定し、
    前記データ処理システムの前記プーリング・コンポーネントは、前記プーリング・パラメータに基づいて、前記第3のアクションデータ構造を前記プールされたデータ構造に結合する、
    請求項1に記載のシステム。
  5. 前記プーリング・パラメータは第1のプーリング・パラメータであり、
    前記データ処理システムの前記プーリング・コンポーネントは、第3のアクションデータ構造に基づいて第2のプーリング・パラメータを決定し、
    前記データ処理システムの前記プーリング・コンポーネントは、前記第2のプーリング・パラメータに基づいて前記プールされたデータ構造を修正する
    請求項1に記載のシステム。
  6. 前記重複のレベルは前記第1のデータ構造と前記第2のデータ構造の間の類似性メトリックを示す、請求項1に記載のシステム。
  7. 前記データ処理システムの前記プーリング・コンポーネントは、前記第1のアクションデータ構造により示される主題および前記第2のアクションデータ構造により示される主題に基づいて前記第1のデータ構造と前記第2のデータ構造の間の前記重複のレベルを決定する、請求項1に記載のシステム。
  8. 前記第1のアクションは第1の複数のサブアクションを含み、前記第2のアクションは第2の複数のサブアクションを含む、請求項1に記載のシステム。
  9. 前記データ処理システムは、前記プーリング・コンポーネントが第1のエンティティに対応し、前記サービス・プロバイダ・コンピューティング・デバイスが前記第1のエンティティと異なる第2のエンティティに対応することを含む、請求項1に記載のシステム。
  10. 前記第1のパラメータおよび前記第2のパラメータはそれぞれ、位置データを示す、請求項1に記載のシステム。
  11. 前記第1のパラメータおよび前記第2のパラメータはそれぞれ、時間データを示す、請求項1に記載のシステム。
  12. 前記第1のパラメータおよび前記第2のパラメータはそれぞれ共通の主題を識別する、請求項1に記載のシステム。
  13. 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境における音声起動されたスレッドを管理するための方法であって、
    データ処理システムにより実行される自然言語プロセッサコンポーネントにより、前記データ処理システムのインタフェースを介して、第1のクライアント・コンピューティング・デバイスのセンサにより検出された第1の入力オーディオ信号を含むデータ・パケットを受信するステップと、
    前記自然言語プロセッサコンポーネントにより、前記第1の入力オーディオ信号を解析して第1の要求および前記第1の要求に対応する第1のトリガキーワードを識別するステップと、
    前記データ処理システムのダイレクト・アクションアプリケーションプログラミングインタフェース(「API」)により、前記第1のトリガキーワードに基づいておよび前記第1の要求に応答して、第1のアクションを定義するパラメータを有する第1のアクションデータ構造を生成するステップと、
    前記自然言語プロセッサコンポーネントにより、前記データ処理システムの前記インタフェースを介して、第2のクライアント・コンピューティング・デバイスのセンサにより検出された第2の入力オーディオ信号を含むデータ・パケットを受信し、前記自然言語プロセッサコンポーネントにより、前記第2の入力オーディオ信号を解析して、第2の要求および前記第2の要求に対応する第2のトリガキーワードを識別するステップと、
    前記ダイレクト・アクションAPIにより、前記第2のトリガキーワードに基づいておよび前記第2の要求に応答して、第2のアクションを定義するパラメータを有する第2のアクションデータ構造を生成するステップと、
    前記データ処理システムのプーリング・コンポーネントにより、前記第1のアクションデータ構造の前記パラメータおよび前記第2のアクションデータ構造のパラメータに適用されるヒューリスティック技術に基づいて、前記第1のアクションデータ構造および前記第2のアクションデータ構造の間の重複のレベルを示すプーリング・パラメータを決定するステップと、
    前記プーリング・パラメータに基づいて、前記第1のアクションデータ構造を前記第2のアクションデータ構造とともに、プールされたデータ構造に生成するステップと、
    コンピュータ・ネットワークを介して、前記プールされたデータ構造をサービス・プロバイダ・コンピューティング・デバイスに送信して、前記サービス・プロバイダ・コンピューティング・デバイスに、前記プールされたデータ構造により定義され前記第1のアクションおよび前記第2のアクションに対応する動作を実施させるステップと、
    を含む、方法。
  14. 前記サービス・プロバイダ・コンピューティング・デバイスは第1のエンティティに対応する第1のサービス・プロバイダ・コンピューティング・デバイスであり、
    前記方法は、
    前記データ処理システムの前記プーリング・コンポーネントにより、前記コンピュータ・ネットワークを介して、第2のプールされたデータ構造を第2のエンティティに対応する第2のサービス・プロバイダ・コンピューティング・デバイスに送信して、前記第2のサービス・プロバイダ・コンピューティング・デバイスに前記第2のプールされたデータ構造により定義された動作を実施させるステップ
    を含む、請求項13に記載の方法。
  15. 前記プーリング・パラメータは第1のプーリング・パラメータであり、前記プールされたデータ構造は第1のプールされたデータ構造であり、前記サービス・プロバイダ・コンピューティング・デバイスは第1のサービス・プロバイダ・コンピューティング・デバイスであり、
    前記方法は、
    前記データ処理システムの前記プーリング・コンポーネントにより、第3のアクションデータ構造と第4のアクションデータ構造の間の重複のレベルを示す第2のプーリング・パラメータを決定するステップと、
    前記第2のプーリング・パラメータに基づいて、前記第3のアクションデータ構造を前記第4のアクションデータ構造とともに第2のプールされたデータ構造に結合するステップと、
    コンピュータ・ネットワークを介して、前記第2のプールされたデータ構造を第2のサービス・プロバイダ・コンピューティング・デバイスに送信して、前記第2のサービス・プロバイダ・コンピューティング・デバイスに前記第2のプールされたデータ構造により定義された、前記第3のアクションおよび前記第4のアクションに対応する動作を実施させるステップと、
    を含む、請求項13に記載の方法。
  16. 前記プーリング・パラメータは第1のプーリング・パラメータであり、
    前記方法は、
    前記自然言語プロセッサコンポーネントにより、前記データ処理システムの前記インタフェースを介して、前記第1のクライアント・コンピューティング・デバイスの前記センサにより検出された第3の入力オーディオ信号を含むデータ・パケットを受信するステップと、
    前記第3の入力オーディオ信号に基づいて、第3の要求および前記第3の要求に対応する第3のトリガキーワードを識別するステップと、
    前記第3のトリガキーワードに基づいておよび前記第3の要求に応答して、第3のアクションを定義するパラメータを有する第3のアクションデータ構造を生成するステップと、
    前記第3のアクションデータ構造と第1のアクションデータ構造、前記第2のアクションデータ構造、および前記プーリング・パラメータのうち少なくとも1つとの間の重複のレベルを示す第2のプーリング・パラメータを決定するステップと、
    前記プーリング・パラメータに基づいて、前記第3のアクションデータ構造を前記プールされたデータ構造に結合するステップと、
    を含む、請求項13に記載の方法。
  17. 前記プーリング・パラメータは第1のプーリング・パラメータであり、
    前記方法は、
    前記データ処理システムの前記プーリング・コンポーネントにより、第3のアクションデータ構造と第1のアクションデータ構造、前記第2のアクションデータ構造、および前記プーリング・パラメータのうち少なくとも1つとの間の重複のレベルを示す第2のプーリング・パラメータを決定するステップと、
    前記プーリング・パラメータに基づいて、前記第3のアクションデータ構造を前記プールされたデータ構造に結合するステップと、
    を含む、請求項13に記載の方法。
  18. 前記第1のアクションデータ構造により示される主題および前記第2のアクションデータ構造により示される主題に基づいて前記第1のデータ構造と前記第2のデータ構造の間の前記重複のレベルを決定するステップを含む、請求項13に記載の方法。
  19. 前記データ処理システムは、前記プーリング・コンポーネントが第1のエンティティに対応し、前記サービス・プロバイダ・コンピューティング・デバイスが前記第1のエンティティと異なる第2のエンティティに対応することを含む、請求項13に記載の方法。
  20. 前記第1のパラメータおよび前記第2のパラメータはそれぞれ、位置データ、時間データ、および共通の主題の少なくとも1つを示す、請求項13に記載の方法。
JP2017556893A 2016-12-30 2017-08-31 音声起動されたデータ・パケットのデータ構造プーリング Active JP6830444B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/395,707 2016-12-30
US15/395,707 US10013986B1 (en) 2016-12-30 2016-12-30 Data structure pooling of voice activated data packets
PCT/US2017/049774 WO2018125304A1 (en) 2016-12-30 2017-08-31 Data structure pooling of voice activated data packets

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020054359A Division JP2020115363A (ja) 2016-12-30 2020-03-25 音声起動されたデータ・パケットのデータ構造プーリング

Publications (2)

Publication Number Publication Date
JP2019505023A true JP2019505023A (ja) 2019-02-21
JP6830444B2 JP6830444B2 (ja) 2021-02-17

Family

ID=59887393

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017556893A Active JP6830444B2 (ja) 2016-12-30 2017-08-31 音声起動されたデータ・パケットのデータ構造プーリング
JP2020054359A Pending JP2020115363A (ja) 2016-12-30 2020-03-25 音声起動されたデータ・パケットのデータ構造プーリング
JP2022016301A Active JP7471333B2 (ja) 2016-12-30 2022-02-04 音声起動されたデータ・パケットのデータ構造プーリング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020054359A Pending JP2020115363A (ja) 2016-12-30 2020-03-25 音声起動されたデータ・パケットのデータ構造プーリング
JP2022016301A Active JP7471333B2 (ja) 2016-12-30 2022-02-04 音声起動されたデータ・パケットのデータ構造プーリング

Country Status (9)

Country Link
US (4) US10013986B1 (ja)
EP (2) EP3540728A1 (ja)
JP (3) JP6830444B2 (ja)
KR (3) KR102268989B1 (ja)
CN (2) CN108541315B (ja)
AU (1) AU2017384993B2 (ja)
DE (2) DE112017000202T5 (ja)
GB (1) GB2572533B (ja)
WO (1) WO2018125304A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013986B1 (en) * 2016-12-30 2018-07-03 Google Llc Data structure pooling of voice activated data packets
US11017428B2 (en) 2008-02-21 2021-05-25 Google Llc System and method of data transmission rate adjustment
US10771536B2 (en) * 2009-12-10 2020-09-08 Royal Bank Of Canada Coordinated processing of data by networked computing resources
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
WO2015100429A1 (en) 2013-12-26 2015-07-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US10426989B2 (en) 2014-06-09 2019-10-01 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
KR102389041B1 (ko) * 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
KR20200004716A (ko) * 2018-07-04 2020-01-14 에스케이플래닛 주식회사 차량공유서비스장치 및 그 동작 방법
CN110705249B (zh) * 2019-09-03 2023-04-11 东南大学 一种基于重叠度计算的nlp库组合使用方法
US11158308B1 (en) * 2019-11-27 2021-10-26 Amazon Technologies, Inc. Configuring natural language system
CN112614282B (zh) * 2020-12-31 2022-07-15 深圳怡化电脑股份有限公司 业务处理控制方法、装置、电子设备和介质
US20220309175A1 (en) * 2021-03-29 2022-09-29 Aipex Technologies, Inc. Content management techniques for voice assistant

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110347A (ja) * 1997-08-23 1999-04-23 Internatl Business Mach Corp <Ibm> オンライン商取引実行方法及び装置
JP2004192264A (ja) * 2002-12-10 2004-07-08 Ntt Docomo Inc 相乗り提供システム、相乗り提供方法、相乗り提供プログラム、及びコンピュータ読取可能な記録媒体
JP2009521745A (ja) * 2005-12-22 2009-06-04 マイクロソフト コーポレーション 音声で起動されるネットワーク動作

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2775140B2 (ja) * 1994-03-18 1998-07-16 株式会社エイ・ティ・アール人間情報通信研究所 パターン認識方法、音声認識方法および音声認識装置
US7824310B1 (en) 1995-06-22 2010-11-02 Shea Michael J Exercise apparatus providing mental activity for an exerciser
US6298218B1 (en) 1996-12-18 2001-10-02 Clubcom, Inc. Combined advertising and entertainment system network
US20030154072A1 (en) * 1998-03-31 2003-08-14 Scansoft, Inc., A Delaware Corporation Call analysis
US7628730B1 (en) 1999-07-08 2009-12-08 Icon Ip, Inc. Methods and systems for controlling an exercise apparatus using a USB compatible portable remote device
AU6748900A (en) 1999-07-30 2001-02-19 Accenture Llp A system, method and article of manufacture for e-commerce based performance modeling
US6275806B1 (en) 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US20020046084A1 (en) 1999-10-08 2002-04-18 Scott A. Steele Remotely configurable multimedia entertainment and information system with location based advertising
US8527345B2 (en) 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
US6505161B1 (en) 2000-05-01 2003-01-07 Sprint Communications Company L.P. Speech recognition that adjusts automatically to input devices
KR20030047885A (ko) 2000-05-05 2003-06-18 가부시끼가이샤 메가 칩스 지연된 브라우징을 위해 정보를 획득하고 저장하는 시스템및 방법
US6684249B1 (en) 2000-05-26 2004-01-27 Sonicbox, Inc. Method and system for adding advertisements over streaming audio based upon a user profile over a world wide area network of computers
US6647269B2 (en) 2000-08-07 2003-11-11 Telcontar Method and system for analyzing advertisements delivered to a mobile unit
US6857007B1 (en) 2000-08-30 2005-02-15 Bloomfield Enterprises, Llc Personal digital assistant facilitated communication system
US6751475B1 (en) 2000-10-19 2004-06-15 At&T Wireless Services, Inc. Shared-revenue billing system for transmission of wireless data from a vehicle
US20030233278A1 (en) 2000-11-27 2003-12-18 Marshall T. Thaddeus Method and system for tracking and providing incentives for tasks and activities and other behavioral influences related to money, individuals, technology and other assets
US20020107027A1 (en) 2000-12-06 2002-08-08 O'neil Joseph Thomas Targeted advertising for commuters with mobile IP terminals
US20020087401A1 (en) 2000-12-29 2002-07-04 Gateway, Inc. System and method for targeted advertising
US7062469B2 (en) 2001-01-02 2006-06-13 Nokia Corporation System and method for public wireless network access subsidized by dynamic display advertising
US9183571B2 (en) 2007-09-14 2015-11-10 Qualcomm Incorporated System and method for providing advertisement data to a mobile computing device
US20020097193A1 (en) 2001-01-23 2002-07-25 Freecar Media System and method to increase the efficiency of outdoor advertising
US20020147638A1 (en) 2001-04-05 2002-10-10 International Business Machines Corporation Business method for e-commerce through customized activity-based advertising
DE10125909A1 (de) 2001-05-28 2002-12-12 Infineon Technologies Ag Datenübertragungssystem mit hoher Datenübertragungsrate
KR100552468B1 (ko) * 2001-07-19 2006-02-15 삼성전자주식회사 음성인식에 따른 오동작을 방지 및 음성인식율을 향상 할수 있는 전자기기 및 방법
US7024211B1 (en) 2001-12-26 2006-04-04 Bellsouth Intellectual Property Corp. System and method for managing text advertisements to mobile subscribers
JP3870156B2 (ja) 2002-02-07 2007-01-17 キヤノン株式会社 ファイバープレートとその製造方法、放射線撮像装置、及び放射線撮像システム
US7013149B2 (en) 2002-04-11 2006-03-14 Mitsubishi Electric Research Laboratories, Inc. Environment aware services for mobile devices
US20040019654A1 (en) 2002-07-29 2004-01-29 Joseph Powers Method and apparatus for exercise regimen administration
US7136658B2 (en) 2002-12-10 2006-11-14 International Business Machines Corporation High-rate proximity detection with the ability to provide notification
US20040192351A1 (en) 2003-03-31 2004-09-30 Duncan Daniel N. Method and system for mobile display of context-based advertising content
US20060236258A1 (en) 2003-08-11 2006-10-19 Core Mobility, Inc. Scheduling of rendering of location-based content
US20050038698A1 (en) 2003-08-12 2005-02-17 Lukose Rajan M. Targeted advertisement with local consumer profile
US8121898B2 (en) 2003-10-06 2012-02-21 Utbk, Inc. Methods and apparatuses for geographic area selections in pay-per-call advertisement
US7853255B2 (en) 2004-04-16 2010-12-14 Broadcom Corporation Digital personal assistance via a broadband access gateway
US20050245271A1 (en) 2004-04-28 2005-11-03 Sarosh Vesuna System and method using location-aware devices to provide content-rich mobile services in a wireless network
EP1842369B1 (en) 2005-01-12 2020-04-08 Invidi Technologies Corporation Targeted impression model for broadcast network asset delivery
US20060176289A1 (en) 2005-02-05 2006-08-10 Summerbrook Media Incorporated Advertisement comprehension in mobile media
US8768766B2 (en) 2005-03-07 2014-07-01 Turn Inc. Enhanced online advertising system
US7983690B2 (en) 2005-03-24 2011-07-19 General Motors Llc Method and system for geographic boundary time triggering of communication with a mobile vehicle
US20060224447A1 (en) 2005-03-31 2006-10-05 Ross Koningstein Automated offer management using audience segment information
US20060242012A1 (en) 2005-04-22 2006-10-26 Sumit Agarwal Determining or scoring properties to solicit to join ad network using advertiser or aggregated advertiser interest
US7720684B2 (en) * 2005-04-29 2010-05-18 Nuance Communications, Inc. Method, apparatus, and computer program product for one-step correction of voice interaction
WO2006121986A2 (en) 2005-05-06 2006-11-16 Facet Technology Corp. Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US20060286989A1 (en) 2005-05-20 2006-12-21 Illion Brian E B Geographical and calendar based advertising system and method
US8732234B2 (en) 2005-06-07 2014-05-20 Yahoo! Inc. Providing relevant non-requested content to a mobile device
JP4194643B2 (ja) 2005-07-21 2008-12-10 株式会社シリウステクノロジーズ 広告情報表示方法、広告情報表示システム、及び広告情報送信プログラム
US20070073585A1 (en) 2005-08-13 2007-03-29 Adstreams Roi, Inc. Systems, methods, and computer program products for enabling an advertiser to measure user viewing of and response to advertisements
US8195133B2 (en) 2005-09-14 2012-06-05 Jumptap, Inc. Mobile dynamic advertisement creation and placement
US20070072591A1 (en) 2005-09-23 2007-03-29 Mcgary Faith Enhanced directory assistance system and method including location search functions
US7505784B2 (en) 2005-09-26 2009-03-17 Barbera Melvin A Safety features for portable electronic device
US7904505B2 (en) 2005-11-02 2011-03-08 At&T Intellectual Property I, L.P. Service to push author-spoken audio content with targeted audio advertising to users
US7683252B2 (en) 2005-11-23 2010-03-23 Microsoft Corporation Algorithm for providing music to influence a user's exercise performance
US20070179359A1 (en) 2006-01-10 2007-08-02 Goodwin Amanda M Healthy city living guide and related functionality for managing health
WO2007091096A1 (en) 2006-02-10 2007-08-16 Spinvox Limited A mass-scale, user-independent, device-independent, voice message to text conversion system
US10803468B2 (en) 2006-04-18 2020-10-13 At&T Intellectual Property I, L.P. Method and apparatus for selecting advertising
EP2024862A4 (en) 2006-05-02 2011-08-10 Invidi Tech Corp FUZZY-LOGIC-BASED ANSE-INDENTIFICATION FOR TARGETED VALUATION SYSTEM
JP4887911B2 (ja) * 2006-05-31 2012-02-29 船井電機株式会社 電子機器
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US7610151B2 (en) 2006-06-27 2009-10-27 Microsoft Corporation Collaborative route planning for generating personalized and context-sensitive routing recommendations
US8793066B2 (en) 2006-06-27 2014-07-29 Microsoft Corporation Route monetization
US8725567B2 (en) 2006-06-29 2014-05-13 Microsoft Corporation Targeted advertising in brick-and-mortar establishments
US20080004951A1 (en) 2006-06-29 2008-01-03 Microsoft Corporation Web-based targeted advertising in a brick-and-mortar retail establishment using online customer information
US20080005313A1 (en) 2006-06-29 2008-01-03 Microsoft Corporation Using offline activity to enhance online searching
US7617042B2 (en) 2006-06-30 2009-11-10 Microsoft Corporation Computing and harnessing inferences about the timing, duration, and nature of motion and cessation of motion with applications to mobile computing and communications
US20080004953A1 (en) 2006-06-30 2008-01-03 Microsoft Corporation Public Display Network For Online Advertising
US20080027799A1 (en) 2006-07-28 2008-01-31 Verizon Directory Services - West Inc. Location-based advertising
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4188989B2 (ja) * 2006-09-15 2008-12-03 本田技研工業株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
US20080091518A1 (en) 2006-09-28 2008-04-17 Henry Eisenson Adaptive cellular network advertising system
US8165598B2 (en) 2006-10-02 2012-04-24 Mobitv, Inc. Methods and apparatus for providing media on mobile devices
US20080086360A1 (en) 2006-10-06 2008-04-10 Rajesh Kanapur System and method for advertising via mobile devices
US20080097836A1 (en) 2006-10-23 2008-04-24 Samuli Silanto Advertisement presentment in an electronic device
US10567909B2 (en) 2006-10-26 2020-02-18 Samsung Electronics Co., Ltd. Wireless dissemination of environment aware information
US8880402B2 (en) * 2006-10-28 2014-11-04 General Motors Llc Automatically adapting user guidance in automated speech recognition
US20080109309A1 (en) 2006-10-31 2008-05-08 Steven Landau Powered Print Advertisements, Product Packaging, and Trading Cards
US9600959B2 (en) 2007-01-09 2017-03-21 Cfph, Llp System for managing promotions
US9754444B2 (en) 2006-12-06 2017-09-05 Cfph, Llc Method and apparatus for advertising on a mobile gaming device
US20080139181A1 (en) 2006-12-08 2008-06-12 Magellan Navigation, Inc. Methods and apparatus for measuring the effectiveness of advertisements presented on a mobile navigation device
WO2008072093A2 (en) 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
US20080153513A1 (en) 2006-12-20 2008-06-26 Microsoft Corporation Mobile ad selection and filtering
US8078196B2 (en) 2007-01-31 2011-12-13 At&T Intellectual Property I, Lp Methods, systems and computer program products for providing information using an advertising message with a dynamic field
US20080189215A1 (en) 2007-02-01 2008-08-07 Prototype Productions Event driven advertising method and system
US8352980B2 (en) 2007-02-15 2013-01-08 At&T Intellectual Property I, Lp System and method for single sign on targeted advertising
US8073460B1 (en) 2007-03-08 2011-12-06 Amazon Technologies, Inc. System and method for providing advertisement based on mobile device travel patterns
US8010134B2 (en) 2007-03-14 2011-08-30 Sprint Communications Company L.P. Architecture for mobile advertising with location
US20080242271A1 (en) 2007-03-26 2008-10-02 Kurt Schmidt Electronic device with location-based and presence-based user preferences and method of controlling same
US20080242231A1 (en) 2007-03-29 2008-10-02 Sony Ericsson Mobile Communications Ab Updating Presence Based on Detecting User Activity
US9092808B2 (en) 2007-04-03 2015-07-28 International Business Machines Corporation Preferred customer marketing delivery based on dynamic data for a customer
US8229458B2 (en) 2007-04-08 2012-07-24 Enhanced Geographic Llc Systems and methods to determine the name of a location visited by a user of a wireless device
US7861260B2 (en) 2007-04-17 2010-12-28 Almondnet, Inc. Targeted television advertisements based on online behavior
US7914419B2 (en) 2007-05-29 2011-03-29 Microsoft Corporation Physical activity manager
US10210531B2 (en) 2007-06-18 2019-02-19 Yellowpages.Com Llc Systems and methods to facilitate the specification of a complex geographic area
US20080319652A1 (en) 2007-06-20 2008-12-25 Radiofy Llc Navigation system and methods for map navigation
US20090005973A1 (en) 2007-06-28 2009-01-01 Salo Juha Heikki Sponsored landmarks in navigation, couponing, parallel route calculation
KR101322486B1 (ko) * 2007-06-28 2013-10-25 주식회사 케이티 범용 대화서비스 장치 및 그 방법
US8423003B2 (en) 2007-07-11 2013-04-16 Yahoo! Inc. System for serving targeted advertisements over mobile messaging services
US20090043657A1 (en) 2007-08-06 2009-02-12 Palm, Inc. System and methods for selecting advertisements based on caller identifier information
US20090048914A1 (en) 2007-08-13 2009-02-19 Research In Motion Limited System and method for facilitating targeted mobile advertisement using pre-loaded ad content
US8050690B2 (en) 2007-08-14 2011-11-01 Mpanion, Inc. Location based presence and privacy management
US20090055254A1 (en) 2007-08-23 2009-02-26 Yahoo! Inc. Dynamic and interactive advertisements
EP2201466A4 (en) 2007-09-12 2012-06-20 Airkast Inc SYSTEM AND METHOD FOR MARKING FOR A WIRELESS DEVICE
WO2009043020A2 (en) 2007-09-28 2009-04-02 The Trustees Of Dartmouth College System and method for injecting sensed presence into social networking applications
US20090089166A1 (en) 2007-10-01 2009-04-02 Happonen Aki P Providing dynamic content to users
US20090132311A1 (en) 2007-11-20 2009-05-21 Theresa Klinger Method and System for Monetizing User-Generated Content
US7941557B2 (en) 2007-11-28 2011-05-10 Yahoo! Inc. Dynamical routing for text messaging
US8307029B2 (en) 2007-12-10 2012-11-06 Yahoo! Inc. System and method for conditional delivery of messages
US20090164300A1 (en) 2007-12-21 2009-06-25 Yahoo! Inc. Application program interface and graphical user interface for providing a user interface for targeting mobile advertisements in a mobile marketing environment
US20090164299A1 (en) 2007-12-21 2009-06-25 Yahoo! Inc. System for providing a user interface for displaying and creating advertiser defined groups of mobile advertisement campaign information targeted to mobile carriers
US20100312646A1 (en) 2007-12-21 2010-12-09 Yahoo! Inc. System for serving advertisements targeted to geographic areas over mobile devices
US20090197616A1 (en) 2008-02-01 2009-08-06 Lewis Robert C Critical mass billboard
US20090198538A1 (en) 2008-02-05 2009-08-06 Yahoo! Inc. Mobile advertisement filtering
US8731582B2 (en) 2008-02-08 2014-05-20 Trimble Navigation Limited Method and system for generating targeted content
US20090210491A1 (en) * 2008-02-20 2009-08-20 Microsoft Corporation Techniques to automatically identify participants for a multimedia conference event
US8065185B2 (en) 2008-02-21 2011-11-22 At&T Intellectual Property I, L.P. System and method of providing targeted advertisements from subscribers of directory services
US10013986B1 (en) * 2016-12-30 2018-07-03 Google Llc Data structure pooling of voice activated data packets
US8504365B2 (en) * 2008-04-11 2013-08-06 At&T Intellectual Property I, L.P. System and method for detecting synthetic speaker verification
US10896426B2 (en) 2008-05-09 2021-01-19 International Business Machines Corporation System and method for delivering distributed sensor based content to consumers
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8145561B1 (en) 2009-01-05 2012-03-27 Sprint Communications Company L.P. Phone usage pattern as credit card fraud detection trigger
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10120877B2 (en) * 2011-09-15 2018-11-06 Stephan HEATH Broad and alternative category clustering of the same, similar or different categories in social/geo/promo link promotional data sets for end user display of interactive ad links, coupons, mobile coupons, promotions and sale of products, goods and services integrated with 3D spatial geomapping and mobile mapping and social networking
US8453058B1 (en) * 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10387448B2 (en) * 2012-05-15 2019-08-20 Splunk Inc. Replication of summary data in a clustered computing environment
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9899026B2 (en) * 2012-05-31 2018-02-20 Elwha Llc Speech recognition adaptation systems based on adaptation data
US9275637B1 (en) * 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9842489B2 (en) * 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9894312B2 (en) 2013-02-22 2018-02-13 The Directv Group, Inc. Method and system for controlling a user receiving device using voice commands
US9026176B2 (en) * 2013-05-12 2015-05-05 Shyh-Jye Wang Message-triggered voice command interface in portable electronic devices
CN103426431B (zh) * 2013-07-24 2016-08-10 阳光凯讯(北京)科技有限公司 卫星网络与地面网系的融合通信系统及动态声码转换方法
US20160255139A1 (en) * 2016-03-12 2016-09-01 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s)
KR20150031896A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 음성인식장치 및 그 동작방법
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US10445777B2 (en) 2013-10-29 2019-10-15 Verizon Patent And Licensing Inc. Methods and systems for delivering electronic content to users in population based geographic zones
CN103685504A (zh) * 2013-12-11 2014-03-26 南京大学 基于Android平台的拼车系统及其工作方法
US9589564B2 (en) * 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
US10922322B2 (en) * 2014-07-22 2021-02-16 Nuance Communications, Inc. Systems and methods for speech-based searching of content repositories
US9424841B2 (en) * 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
KR101643560B1 (ko) * 2014-12-17 2016-08-10 현대자동차주식회사 음성 인식 장치, 그를 가지는 차량 및 그 방법
US10095878B2 (en) * 2015-06-02 2018-10-09 ALTR Solutions, Inc. Internal controls engine and reporting of events generated by a network or associated applications
KR20170028628A (ko) * 2015-09-04 2017-03-14 삼성전자주식회사 음성인식장치, 음성인식장치의 구동방법 및 컴퓨터 판독가능 기록매체
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US9542941B1 (en) * 2015-10-01 2017-01-10 Lenovo (Singapore) Pte. Ltd. Situationally suspending wakeup word to enable voice command input
US9928840B2 (en) 2015-10-16 2018-03-27 Google Llc Hotword recognition
US9747926B2 (en) 2015-10-16 2017-08-29 Google Inc. Hotword recognition
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110347A (ja) * 1997-08-23 1999-04-23 Internatl Business Mach Corp <Ibm> オンライン商取引実行方法及び装置
JP2004192264A (ja) * 2002-12-10 2004-07-08 Ntt Docomo Inc 相乗り提供システム、相乗り提供方法、相乗り提供プログラム、及びコンピュータ読取可能な記録媒体
JP2009521745A (ja) * 2005-12-22 2009-06-04 マイクロソフト コーポレーション 音声で起動されるネットワーク動作

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中谷 昭彦: "クーポン収集方式に基づくデマンドバススケジューラの設計と評価", 電子情報通信学会技術研究報告, vol. 第101巻,第376号, JPN6019047068, 12 October 2001 (2001-10-12), JP, pages 53 - 60, ISSN: 0004307216 *
瀧瀬 和樹: "合流による利益を考慮した単一目的地への集合経路最適化", 第8回データ工学と情報マネジメントに関するフォーラム (第14回日本データベース学会年次大会)[ON, JPN6019047069, 2 March 2016 (2016-03-02), JP, ISSN: 0004307217 *

Also Published As

Publication number Publication date
JP2020115363A (ja) 2020-07-30
CN114399999A (zh) 2022-04-26
GB2572533A8 (en) 2019-10-30
KR20180090729A (ko) 2018-08-13
EP3360131B1 (en) 2019-07-24
US11625402B2 (en) 2023-04-11
AU2017384993B2 (en) 2020-02-06
US20180308493A1 (en) 2018-10-25
WO2018125304A1 (en) 2018-07-05
US10719515B2 (en) 2020-07-21
EP3360131A1 (en) 2018-08-15
GB2572533A (en) 2019-10-09
DE112017000202T5 (de) 2018-08-16
DE212017000042U1 (de) 2018-07-26
KR102268989B1 (ko) 2021-06-24
JP6830444B2 (ja) 2021-02-17
US10423621B2 (en) 2019-09-24
EP3540728A1 (en) 2019-09-18
GB2572533B (en) 2022-06-22
US10013986B1 (en) 2018-07-03
CN108541315A (zh) 2018-09-14
KR20210076206A (ko) 2021-06-23
JP7471333B2 (ja) 2024-04-19
KR102015071B1 (ko) 2019-08-27
JP2022070905A (ja) 2022-05-13
AU2017384993A1 (en) 2019-05-23
US20200327121A1 (en) 2020-10-15
CN108541315B (zh) 2022-01-11
GB201803296D0 (en) 2018-04-11
US20180190299A1 (en) 2018-07-05
KR20190099353A (ko) 2019-08-26
US20190377732A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7471333B2 (ja) 音声起動されたデータ・パケットのデータ構造プーリング
KR102270132B1 (ko) 패킷 기반 데이터 메시지 전송의 시퀀스 의존 동작 처리
JP6932827B2 (ja) 音声起動されたコンピュータネットワーク環境におけるシーケンス依存データメッセージ統合
JP7386829B2 (ja) パケット化されたオーディオ信号の認証

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200406

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200413

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200717

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200727

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201005

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20201028

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201124

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210104

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210126

R150 Certificate of patent or registration of utility model

Ref document number: 6830444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250