JP2017515217A - 自然言語入力に対するタスク完了 - Google Patents

自然言語入力に対するタスク完了 Download PDF

Info

Publication number
JP2017515217A
JP2017515217A JP2016560388A JP2016560388A JP2017515217A JP 2017515217 A JP2017515217 A JP 2017515217A JP 2016560388 A JP2016560388 A JP 2016560388A JP 2016560388 A JP2016560388 A JP 2016560388A JP 2017515217 A JP2017515217 A JP 2017515217A
Authority
JP
Japan
Prior art keywords
user
task
intent
intention
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016560388A
Other languages
English (en)
Inventor
ストラトヴァート,ケヴィン・ニールズ
クオ,ユイ−ティーン
マクガヴァン,アンドリュー・ポール
ウエイ,シヤオ
アーナンド,ガウラヴ
リン,トーマス
ラッシュ,アダム・シー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017515217A publication Critical patent/JP2017515217A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

タスク完了を促進するための1つ以上の技法および/またはシステムを提供する。例えば、クライアント・デバイスのユーザーから自然言語入力(例えば、「どこで食事しましょうか」)を受けることができる。タスク完了促進のためにユーザーによる実行のためにオプトインされた1組のユーザー・コンテキスト信号を使用して、自然言語入力を評価し、ユーザーのタスク意図を識別することができる。例えば、地方のメキシコ料理店のメニューを閲覧することのユーザーのタスク意図は、このユーザーのソーシャル・ネットワーク・ポストが、このユーザーがメキシコ料理のために友人と会っていることを示すことに基づいて、識別することができる。ユーザーのタスク意図に基づいて、タスク完了機能をユーザーに提示することができる。例えば、地方のメキシコ料理店のメニューを表示するために、レストラン・アプリを深く起動することができる。【選択図】図1

Description

[0001] 多くのユーザーは、計算デバイスを使用してタスクを実行する。一例では、ユーザーは、移動体デバイスを使用して、現在地から遊園地までの道順(directions)を地図上に表示する(map)ことができる。他の例では、ユーザーは、タブレット・デバイスを使用して書籍を読むことができる。タッチ・ジェスチャー、マウス入力、キーボード入力、音声コマンド、検索クエリー入力等のような、タスクを実行するために種々のタイプの入力を使用することができる。例えば、長期休暇(vacations)予約タスクを実行しながら、ユーザーは検索クエリー「フロリダの長期休暇」を検索エンジンに入力することができ、検索エンジンは、ユーザーが長期休暇予約タスクを完了するために使用することができる、種々の長期休暇検索結果を戻すことができる。
[0002] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。
[0003] とりわけ、本明細書では、タスク完了を促進するための1つ以上のシステムおよび/または技法を提供する。一例では、クライアント・デバイスのユーザーから自然言語入力(例えば、音声コマンド「何を着ればよいでしょう?」)を受けることができる。ユーザーのタスク意図を識別するためにユーザーと関連付けられた1組のユーザー・コンテキスト信号を使用して、自然言語入力を評価することができる(例えば、ユーザーは、オプトイン同意を与えて種々のタイプのユーザー・コンテキスト信号へのアクセスを付与するために肯定的な行動を行うことができ、および/またはユーザーは一定のタイプのユーザー・コンテキスト信号へのアクセスを防止するためにオプトアウトすることもできる)。一例では、時間ユーザー信号(例えば、午後6時の現時点)、ジオロケーション・ユーザー信号(例えば、繁華街のホテルの場所)、電子メール・データー(例えば、空想のレストランにおける夕食予約電子メール)、ユーザー・ソーシャル・ネットワーク・プロファイル(例えば、ユーザーが女性であることを示す)、および/または他の情報を使用して、ファッション・アプリを通じてフォーマル・カクテル・ドレスのアイデアを閲覧する(view)ユーザーのタスク意図を識別することができる。ユーザーのタスク意図を識別する例では、自然言語入力に基づいて、ユーザー意図クエリー(user intent query)を組み立てることができ、広範意図候補(例えば、ユーザー意図クエリーに似た検索クエリーを提出した後に、検索エンジンのユーザーが実行したタスク)を得るためにタスク意図データー構造(例えば、リモート・サーバーによってホストされる)を問い合わせることができる。ユーザーのタスク意図を識別するために、1組のユーザー・コンテキスト信号を使用して広範意図候補を評価することができる。
[0004] ユーザーのタスク意図に基づいて、タスク完了機能をユーザーに提示することができる。例えば、ファッション・アプリをユーザーのために実行することができる。一例では、ファッション・アプリは、ユーザーに関連がある可能性があるコンテキスト状態内に深く起動する(deep launch)ことができる。例えば、タスク実行コンテキスト(例えば、婦人服パラメーター、フォーマル・ウェア・パラメーター、および/またはその他のコンテキスト情報/パラメーター)を、ユーザーのタスク意図に基づいて識別することができる。タスク実行コンテキストに基づいて、ファッション・アプリを婦人用衣料品買い物(female clothing wear shopping)インターフェース内に深く起動することができる(例えば、婦人服パラメーターおよびフォーマル・ウェア・パラメーターに対応する衣服が入力される)。このように、自然言語入力に基づいてタスク完了機能をユーザーに提示することができる。
[0005] 一例では、タスク促進コンポーネントは、タスク完了を促進するためにクライアント・デバイス上に実装することができる(例えば、タスク促進コンポーネントは、ユーザー・コンテキスト信号を識別する、および/またはローカルに利用することができ、これはユーザー・データーのプライバシー保護を強化することができる)。他の例では、タスク完了を促進するために、ユーザー意図提案コンポーネント(user intent provider component)を、クライアント・デバイスから離れたサーバー上に実装することができる(例えば、ユーザー意図提案コンポーネントは、自然言語入力、および/またはこの自然言語入力から派生されたユーザー意図クエリーを受けることができ、そして広範意図候補および/またはタスク完了機能をクライアント・デバイスに提示する命令を供給することができる)。
[0006] 以上の目的および関連する目的を遂行するために、以下の説明および添付図面は、ある種の実証的な態様(aspect)および実施態様(implementation)について明記する。これらは、1つ以上の態様を採用することができる種々の方法の内少数を示すに過ぎない。本開示のその他の態様、利点、および新規な特徴は、以下の詳細な説明を、添付図面と併せて検討することから明白になるであろう。
図1は、タスク完了を促進する方法例を示す流れ図である。 図2は、タスク完了を促進するシステム例を示すコンポーネント・ブロック図である。 図3は、タスク完了を促進するシステム例を示すコンポーネント・ブロック図である。 図4Aは、ユーザーのタスク意図を見直す例の図である。 図4Bは、ユーザーのタスク意図を見直す例の図である。 図5Aは、タスク完了を促進し、タスク意図モデルを訓練するためにユーザー・フィードバックを利用するシステム例を示すコンポーネント・ブロック図である。 図5Bは、タスク完了を促進し、タスク意図モデルを訓練するためにユーザー・フィードバックを利用するシステム例を示すコンポーネント・ブロック図である。 図6は、タスク完了を促進するシステム例を示すコンポーネント・ブロック図である。 図7は、本明細書において明記する提供技術(provision)の1つ以上を採用するように構成されたプロセッサー実行可能命令を構成する(be comprised)ことができるコンピューター読み取り可能媒体例の図である。 図8は、本明細書において明記する提供技術の1つ以上を実現することができる計算環境例を示す。
[0017] 特許請求する主題について、これより図面を参照しながら説明する。図面では、通常、同様のエレメントを指すために同様の参照番号が図面全体で使用される。以下の記載では、説明の目的に限って、特許請求する主題の理解を得るために多数の具体的な詳細について明記する。しかしながら、特許請求する主題は、これらの具体的な詳細がなくても実施できることは明白であろう。他方において、特許請求する主題を説明し易くするために、構造およびデバイスをブロック図形態で示すこととする。
[0018] 本明細書では、タスク完了を促進するための1つ以上の技法および/またはシステムを提供する。タスクを実行するユーザーの意図を意味的および/または文脈的に理解するために、自然言語入力を評価することができる。広範なユーザー情報(例えば、検索クエリーを提出した後検索エンジンの種々のユーザーがどんなタスクを実行したか)、および/または個人専用のユーザー情報(例えば、ユーザーによって現在消費されているコンテンツ、ユーザーの位置(例えば、GPS)、電子メール、カレンダーの約束、および/またはユーザーがタスク完了の促進を図るためにオプトインしたその他のユーザー・コンテキスト信号)に基づいて、自然言語入力を評価することができる。このように、自然言語入力の包括的評価および/または個人に特化した評価に基づいて、タスク完了機能をユーザーに提示することができる。例えば、ユーザーのタスク意図から識別されたタスク実行コンテキストに関連するコンテキスト状態に、アプリケーションを深く起動することができる(例えば、音声コマンド「私は空腹です」、およびユーザーの位置のようなユーザー・コンテキスト信号、ソーシャル・ネットワーク・プロファイルにおけるメキシコ料理に対する関心等に基づいて、メキシコ料理店のメニューの表示(view)の中にレストラン・アプリを起動することができる)。
[0019] 図1の方法例100によって、タスク完了促進の実施形態を示す。102において、本方法は開始する。104において、クライアント・デバイスのユーザーから自然言語入力を受けることができる。例えば、「車を描きたい」"I want to draw a car"という音声コマンドを移動体デバイスを介して受けるのでもよい。106において、自然言語入力を評価することができる。自然言語入力を評価する例では、自然言語入力に基づいてユーザー意図クエリー(user intent query)を組み立てることができる(例えば、自然言語入力を解析して単語毎にして、これらを選択的に使用および/または変更してユーザー意図クエリーを作るのでもよい)。広範意図候補を識別するために、ユーザー意図クエリーを使用して、タスク意図データー構造を問い合わせることもできる(例えば、クライアント・デバイスから離れており、タスク意図データー構造を含むサーバーに、ユーザー意図クエリーを送ってもよい)。例えば、タスク意図データー構造には、クエリーをタスクにマッピングする意図エントリー(intent entry)への1つ以上のクエリーを入力することができる(例えば、描画クエリーをアート・アプリケーション実行タスクにマッピングしてもよく、車クエリーを運転ビデオ視聴タスクにマッピングしてもよく、車クエリーを車評論ウェブサイト訪問タスクにマッピングしてもよい等である)。意図エントリーへのクエリーは、コミュニティのユーザー検索記録から導き出すこともできる(例えば、車クエリーを提出した後、ユーザーが運転ビデオを視聴した可能性もあり、描画クエリーを提出した後、ユーザーがアート・アプリケーションを開いた可能性もある等)。広範意図候補は、ユーザー意図クエリーに一致する意図エントリーへのクエリーから導き出すこともできる(例えば、アート・アプリケーション意図エントリーへの描画クエリーを、ユーザー意図クエリーに関連があるものとして選択する序列技法(ranking technique)に基づいて、アート・アプリケーション意図エントリーへの描画クエリーを広範意図候補として識別することができる)。
[0020] 一例では、自然言語入力(例えば、および/または広範意図候補)は、ユーザーのタスク意図を識別するためにユーザーと関連付けられた1組のユーザー・コンテキスト信号を使用して評価することができる。この1組のユーザー・コンテキスト信号は、ジオロケーション(例えば、ユーザーが喫茶店にいる可能性もある)、時刻、実行するアプリケーション(例えば、車設計アプリケーション)、インストールされているアプリケーション(例えば、描画アプリケーション)、アプリ・ストア・アプリケーション(例えば、車評論アプリケーション)、カレンダー・データー(例えば、新たな車の評論を作るためのカレンダー・エントリー)、電子メール・データー、ソーシャル・ネットワーク・データー(例えば、ユーザーが車雑誌社で働くという指示)、デバイスのフォーム・ファクタ(例えば、タスク所にあるデスクトップ・コンピュータ)、ユーザー検索記録(例えば、ユーザーが最近車の写真のウェブサイトを訪問した可能性もある)、ユーザーによって消費されたコンテンツ(たとえば、車の写真および/またはビデオ)、自然言語入力に対するコミュニティ・ユーザーの意図(例えば、アート・アプリケーション意図エントリーへの描画クエリーに対応する広範意図候補)を含むことができる。1組のユーザー・コンテキスト信号は、ユーザー・タスク完了を促進する目的で共有することにユーザーがオプトインすることもできた情報を含むことができる。一例では、アート描画アプリケーションを実行し車を描くというユーザーのタスク意図を識別することができる。
[0021] 一例では、ユーザーのタスク意図に基づいて、ユーザー絞り込みインターフェース(user refinement interface)をユーザーに設けることもできる(例えば、ユーザーのタスク意図が正しいか否かについてユーザーに尋ねることができる)。ユーザー・タスク絞り込み入力またはユーザーの承認を、ユーザー絞り込みインターフェースを介して受け取ることができる。例えば、ユーザーが車評論アプリケーションを開き、車の描画を用いて車の評論を作成することに、ユーザーのタスク意図を絞り込んだことを、ユーザーが示すことができる。したがって、ユーザーのタスク意図は、ユーザー・タスク絞り込み入力に基づいて、見直すことができる。
[0022] 108において、ユーザーのタスク意図に基づいて、タスク完了機能をユーザーに提示することができる。タスク完了機能は、ユーザーに、文書へのアクセス、アプリケーション(例えば、アプリケーションを実行する、アプリケーションを深く起動する、アプリ・ストアからアプリケーションをダウンロードする等)、オペレーティング・システムの設定、音楽エンティティ、ビデオ、写真、ソーシャル・ネットワーク・プロファイル、マップ、検索結果、および/または種々のその他の目的(object)および/または機能(例えば、書籍を購入する機能、レストランにおいて席を予約する機能等)を提供することを含んでもよい。一例では、タスク完了機能は、絞り込まれたユーザーのタスク意図に基づいて、車評論アプリケーションを実行することを含み、車評論アプリケーションを開き、車の描画を用いて車評論を作成することができる。タスク実行コンテキストは、ユーザーのタスク意図に基づいて識別することができる(例えば、車評論アプリケーションの車評論作成インターフェースを、タスク実行コンテキストとして識別してもよい)。車評論アプリケーションは、タスク実行コンテキストに関連するコンテキスト状態に、深く起動することができる(例えば、車評論アプリケーションに、車評論読み取りインターフェースではなく、車評論作成インターフェースを表示するように命令することができる)。一例では、タスク実行コンテキストは、1つ以上のアプリケーション・パラメーターを含むことができる(例えば、車描画インターフェースが車評論作成インターフェースを介して表示されることになるのか否か指定するために使用される車描画表示インターフェース・パラメーター)。車評論アプリケーションには、1つ以上のアプリケーション・パラメーターに対応する情報を入力することができる(例えば、車描画インターフェースを表示することができる)。このように、自然言語入力を使用して、コンテキスト的に関連する状態に深く起動されたアプリケーションのようなタスク完了機能をユーザーに提示することができる。
[0023] 一例では、タスク完了機能についてのユーザー・フィードバックを識別することができる。例えば、ユーザーは、ユーザーが車評論作成アプリの提案を受け、アプリ・ストアからタスク完了機能の一部としてダウンロードする方を望んだことを示すのでもよい。ユーザー・フィードバックは、タスク意図データー構造に入力するために使用されるタスク意図モデルを訓練するためにサーバー(例えば、タスク意図データー構造をホストするリモート・サーバー)に供給することができる(例えば、自然言語入力および/またはユーザー意図クエリーを、車評論作成アプリを下見して(previewing)ダウンロードするタスクに一致させるように、意図エントリーへの新たなクエリーを作成することができる)。このように、自然言語入力に基づくタスク完了の促進を向上させることができる。110においてこの方法は終了する。
[0024] 図2は、タスク完了を促進するシステム200の一例を示す。システム200は、タスク意図訓練コンポーネント204および/またはユーザー意図提案コンポーネント(user intent provider component)210を含む。タスク意図訓練コンポーネント204は、タスク意図モデル206を訓練するために、コミュニティ・ユーザー検索記録データー202を評価するように構成することができる。コミュニティ・ユーザー検索記録データー202は、ユーザーの広範に利用可能な検索クエリーと、検索クエリーの提出後に訪問/消費されたコンテンツについてのコンテキスト情報を含むことができる(例えば、ユーザーが検索クエリー「私は空腹です」を提出した可能性もあり、更にその後レストラン予約サービスを訪問した可能性もある)。このように、検索エンジンまたは他の検索インターフェース(例えば、オペレーティング・システムの検索チャーム)のユーザーのような、複数のユーザーのユーザー活動に基づいて、タスク意図モデル206を訓練することができる。タスク意図モデル206は、タスク意図データー構造208に、意図エントリーへの1つ以上のクエリーを入力するために利用することができる。意図エントリーへのクエリーは、クエリーをユーザー・タスクと組み合わせることができ、これを使用すると、広域コミュニティの観点からユーザーへの提示に適したタスク完了機能を識別することができる。
[0025] ユーザー意図提案コンポーネント210は、ユーザー意図クエリー242をクライアント・デバイスから受けるように構成することができる。ユーザー意図クエリー242は、クライアント・デバイス上で受けた自然言語入力から導き出すことができる(例えば、長期休暇のメディアを視聴するためのユーザー意図クエリーは、「私に私の長期休暇を示して下さい」という自然言語入力から導き出すことができる)。ユーザー意図提案コンポーネント210は、広範意図候補(global intent candidate)214を識別するためにユーザー意図クエリー242を使用してタスク意図データー構造208に問い合わせることができる(例えば、長期休暇に関連するメタデーターを含む写真表示の広範意図候補)。広範意図候補214は、自然言語入力から導き出されたユーザーのタスク意図に関連するタスク完了を促進するために、クライアント・デバイスに供給することができる(例えば、長期休暇の写真が表示されるコンテキスト状態に、フォト・ビューア・アプリを深く起動することができる)。
[0026] 図3は、タスク完了を促進するシステム300の一例を示す。システム300は、タスク促進コンポーネント306を含む。タスク促進コンポーネント306は、クライアント・デバイス302と関連付けることができる(例えば、個人補助/推奨アプリケーションによってというようにしてクライアント・デバイス302上でローカルにホストされるか、またはクラウド・ベースの推奨サービスによってというようにして、離れてホストされる)。タスク促進コンポーネント306は、自然言語入力304をクライアント・デバイス302のユーザーから受けることができる。例えば、「私はとても空腹です」という自然言語入力304を音声コマンドとして受けることができる。自然言語入力304は、ユーザーのタスク意図310を識別するためにユーザーに関連付けられた1組のユーザー・コンテキスト信号308を使用して評価することができる。一例では、ユーザーのタスク意図310は、レストラン・アプリを開き、メキシコ料理店の情報を閲覧する意図に対応することができる。これは、このユーザーがメキシコ料理が好きであることを示すソーシャル・ネットワーク・プロファイル、現在の繁華街での位置、歩いて移動している状態、および/またはその他のユーザー・コンテキスト信号(例えば、ユーザーがこのような信号を本明細書において示されるように使用されることにオプトインした場合)に基づくことができる。他の例では、ユーザー意図クエリーは、自然言語入力に基づいて組み立てることができ、そしてタスク意図データー構造(例えば、図2に示すタスク意図データー構造208)に問い合わせて、広範意図候補を識別するために使用することもできる(例えば、このユーザー意図クエリーおよび/または自然言語入力304と同様の検索クエリーを提出した後に、ユーザーのコミュニティがどのようなタスクを実行したかを示す)。これは、ユーザーのタスク意図310を識別するために使用することができる。
[0027] タスク促進コンポーネント306は、タスク完了機能312をユーザーに提示するように構成することができる。例えば、タスク完了機能312は、レストラン・アプリ314を深く起動することに対応することができる。ユーザーの現在地を使用して、ユーザーのタスク意図310に対応する1組のメキシコ料理店エンティティ候補を識別することができる。メキシコ料理店エンティティ候補のユーザーの現在地に対する近接度に基づいて、1組のメキシコ料理店エンティティ候補から1つのメキシコ料理店エンティティ候補を選択することができる。このように、メキシコ料理店エンティティ候補に関連する情報がレストラン・アプリ314内に入力されている場合(例えば、歩行道順、メニュー等)、レストラン・アプリ314を深く起動させることができる。このように、自然言語入力304および/または1組のユーザー・コンテキスト信号308に基づいて、レストラン・アプリ314をコンテキスト的に関連がある状態に深く起動する。
[0028] 図4Aおよび図4Bは、ユーザーのタスク意図を見直す例を示す。図4Aは、タスク促進コンポーネント406が「ジョージは何を企んでいるのか」"what is George up to"という自然言語入力404を受けた例400を示す。タスク促進コンポーネント406は、1組のユーザー・コンテキスト信号408に基づいてこの自然言語入力404を評価し(例えば、ソーシャル・ネットワークの友人であるジョージの連絡先、仕事の友人であるジョージの連絡先、兄弟であるジョージの連絡先等)、ジョージと称するユーザーと通信するユーザーのタスク意図414を識別することができる。タスク促進コンポーネント406は、ユーザーのタスク意図414に基づいて、ユーザー絞り込みインターフェース412をユーザーに供給することができる(410)(例えば、多数のユーザーがジョージと称するため)。ユーザー絞り込みインターフェース412は、ユーザーにどのジョージに連絡するか指定するように要求することができる。
[0029] 図4Bは、タスク促進コンポーネント406がユーザー絞り込みインターフェース412を介してユーザー・タスク絞り込み入力422を受けた例420を示す。ユーザー・タスク絞り込み入力422は、ソーシャル・ネットワークの友人であるジョージに連絡を取ろうとしていることを指定することができる。タスク促進コンポーネント406は、ユーザーのタスク意図414を見直すことができ、このユーザーのタスク意図414に対する見直しに基づいて、タスク完了機能424をユーザーに提示することができる。例えば、ソーシャル・ネットワークの友人であるジョージに連絡するために、通信アプリケーション426を通信ハブに深く起動することができる。
[0030] 図5Aおよび図5Bは、タスク完了を促進し、ユーザー・フィードバックを利用してタスク意図モデル510を訓練するシステム500の一例を示す。システム500は、タスク促進コンポーネント506、ユーザー意図提案コンポーネント508、および/またはタスク意図訓練コンポーネント514を含む。タスク促進コンポーネント506は、クライアント・デバイス502のユーザーから「ムービー・アイデア」(movie ideas)という自然言語入力504を受けることができる。タスク促進コンポーネント506は、この自然言語入力504に基づいてユーザー意図クエリー(例えば、ムービー・クエリー)を組み立てることができる。タスク促進コンポーネント506は、このユーザー意図クエリーをユーザー意図提案コンポーネント508に送ることができる。ユーザー意図提案コンポーネント508は、ユーザー意図クエリーを使用してタスク意図データー構造512に問い合わせて、広範意図候補516を識別することができる(例えば、ユーザーのコミュニティが、ムービー・タイプ・クエリーを提出した後、自動車レース映画のプレビューを再生した可能性もある)。タスク促進コンポーネント506は、1組のユーザー・コンテキスト信号518を使用して広範意図候補516を評価し(例えば、ビデオ再生アプリ522がクライアント・デバイス502上にインストールされるのでもよい)、ビデオ再生アプリ522を使用して自動車レース映画のプレビューを再生するユーザーのタスク意図を識別することができる。タスク促進コンポーネント506は、ユーザーのタスク意図に基づいて、タスク完了機能520をユーザーに提示することができる。例えば、ビデオ再生アプリ522によって、自動車レース映画のプレビューを再生することができる。
[0031] 図5Bは、タスク完了機能520のためにユーザー・フィードバック544を受けるタスク促進コンポーネント506を示す。例えば、ユーザーが、ユーザー・フィードバック提出インターフェース542を介して、ユーザーが、ムービーのプレビューではなく、書き込まれた評論を見られた方がよかったことを明確に記述するのでもよい。ユーザー・フィードバック544は、タスク意図訓練コンポーネント514に供給することができる。タスク意図訓練コンポーネント514は、ユーザー・フィードバック544に基づいてタスク意図モデル510を訓練する(546)ように構成することができ、訓練されたタスク意図モデル510は、訓練546に基づいて、タスク意図データー構造512を調節することができる(例えば、意図エントリーへの1つ以上のクエリーを追加する、削除する、および/またはムービー評論読み取りタスク・エントリーへのムービー・クエリーに関連付けられた重みの増加、およびムービー・プレビュー再生タスク・エントリーへのムービー・クエリーに関連付けられた重みの低下というように、クエリーを変更することができる)。
[0032] 図6は、タスク完了を促進するシステム600の一例を示す。システム600は、タスク促進コンポーネント606を含む。一例では、タスク促進コンポーネント606は、「私は靴が必要だ」という自然言語入力604をユーザーから受けることができる。タスク促進コンポーネント606は、1組のユーザー・コンテキスト信号608に基づいて自然言語入力604を評価し、ユーザーのタスク意図610を識別することができる。例えば、ユーザーのタスク意図610は、アプリ・ストアからダウンロードのために入手可能な買い物アプリ614を介して、サイズ12のランニング・シューズを購入する意図に対応することができる。これは、ユーザーのランニング・シューズ・ウェブサイトの検索履歴、6か月毎にサイズ12のランニング・シューズを購入した以前の履歴、最後に購入した対は6か月前であったこと、このユーザーが個人マラソン・トレーナーであることを示すソーシャル・ネットワーク・プロファイル、および/または他のユーザー・コンテキスト信号に基づいて識別することができる。タスク促進コンポーネント606は、ユーザーのタスク意図610に基づいて、タスク完了機能612をユーザーに提示することができる。例えば、タスク促進コンポーネント606は、アプリ・ストアから買い物アプリ614をダウンロードし(例えば、ユーザーによって与えられる許可に基づいて)することができ、販売中のサイズ12ランニング・シューズを表示するために、買い物アプリ614を深く起動することができる。
[0033] 更に他の実施形態では、本明細書において紹介した技法の内1つ以上を実現するように構成されたプロセッサー実行可能命令を含むコンピューター読み取り可能媒体も伴う。コンピューター読み取り可能媒体またはコンピューター読み取り可能デバイスの実施形態例を図7に示す。ここで、実施態様700は、CD−R、DVD−R、フラッシュ・ドライブ、ハード・ディスク・ドライブのプラッター等のような、コンピューター読み取り可能媒体708を含み、そこにコンピューター読み取り可能データー706がエンコードされる。一方、ゼロまたは1の少なくとも1つを含む二進データーのような、このコンピューター読み取り可能データー706は、本明細書において明記された原理の1つ以上にしたがって動作するように構成された1組のコンピューター命令704を含む。ある実施形態では、プロセッサー実行可能コンピューター命令704は、例えば、図1の方法例100の少なくとも一部というような、方法702を実行するように構成されている。ある実施形態では、プロセッサー実行可能命令704は、例えば、図2のシステム例200の少なくとも一部、図3のシステム例300の少なくとも一部、図5Aおよび図5Bのシステム例500の少なくとも一部、および/または図6のシステム例600の少なくとも一部というような、システムを実現するように構成されている。本明細書において紹介した技法にしたがって動作するように構成された多くのこのようなコンピューター読み取り可能媒体が、当業者によって考案される。
[0034] 本主題については、構造的特徴および/または方法論的アクトに特定的な文言で説明したが、添付した特許請求の範囲において定められる主題は、必ずしも以上で説明した具体的な特徴やアクトには限定されないことは理解されよう。むしろ、以上で説明した具体的な特徴やアクトは、特許請求の範囲の少なくとも一部を実現する形態例として開示されたまでである。
[0035] 本願において使用する場合、「コンポーネント」、「モジュール」、「システム」、「インターフェース」および/または等の用語は、一般に、ハードウェア、ハードウェアおよびソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかである、コンピューター関係エンティティに言及することを意図している。例えば、コンポーネントは、プロセッサーにおいて実行するプロセス、プロセッサー、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および/またはコンピューターであってもよいが、これらに限定されるのではない。例示として、コントローラーにおいて実行するアプリケーション、およびこのコントローラーの双方がコンポーネントであることができる。1つ以上のコンポーネントが1つのプロセスおよび/または実行のスレッド内に存在することもでき、コンポーネントは、1つのコンピューターに局在すること、および/または2つ以上のコンピューター間で分散されるのでもよい。
[0036] 更に、特許請求する主題は、開示した主題を実現するためにコンピューターを制御するソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせを生成するための標準的なプログラミングおよび/または設計技法を使用して、方法、装置、または製品として実現することもできる。「製品」という用語は、本明細書において使用される場合、任意のコンピューター読み取り可能デバイス、キャリア、または媒体からアクセス可能なコンピューター・プログラムを包含することを意図している。勿論、特許請求する主題の範囲または主旨から逸脱することなく、この構成には多くの変更が行われてもよい。
[0037] 図8および以下の説明(discussion)は、本明細書において明示した発明(provision)の1つ以上の実施形態を実現するのに適した計算環境の端的で総合的な説明に供する。図8の動作環境は、適した動作環境の一例に過ぎず、動作環境の使用範囲や機能に関して限定を示唆する意図は全くない。計算デバイスの例には、パーソナル・コンピューター、サーバー・コンピューター、ハンドヘルドまたはラップトップ・デバイス、移動体デバイス(移動体電話機、パーソナル・ディジタル・アシスタント(PDA)、メディア・プレーヤー等のような)、マルチプロセッサー・システム、消費者用電子機器、ミニ・コンピューター、メインフレーム・コンピューター、以上のシステムまたはデバイスの内任意のものを含む分散型計算環境等が含まれるが、これらに限定されるのではない。
[0038] 必須ではないが、実施形態は、1つ以上の計算デバイスによって実行される「コンピューター読み取り可能命令」という一般的なコンテキストで説明される。コンピューター読み取り可能命令は、コンピューター読み取り可能媒体(以下で論ずる)によって流通させることができる。コンピューター読み取り可能命令は、関数、オブジェクト、アプリケーション・プログラミング・インターフェース(API)、データー構造等というような、プログラム・モジュールとして実現することができ、特定のタスクを実行するか、または特定の抽象データー型を実装する。通例、コンピューター読み取り可能命令の機能は、種々の環境において所望される通りに、組み合わせることまたは分散させることができる。
[0039] 図8は、本明細書において提供した1つ以上の実施形態を実現するように構成された計算デバイス812を含むシステム810の一例を示す。一構成では、計算デバイス812は少なくとも1つの処理ユニット816とメモリー818とを含む。計算デバイスの正確な構成およびタイプに依存して、メモリー818は、揮発性(例えば、RAMのような)、不揮発性(例えば、ROM、フラッシュ・メモリー等のような)、またはこれら2つの何らかの組み合わせであってもよい。この構成は、図8では破線814によって示される。
[0040] 他の実施形態では、デバイス812は追加の機構(feature)および/または機能を含むこともできる。例えば、デバイス812は、磁気ストレージ、光ストレージ等を含むがこれらに限定されない追加のストレージ(例えば、リムーバブルおよび/または非リムーバブル)も含むことができる。このような追加のストレージは、図8ではストレージ820によって示される。一実施形態では、本明細書において提供した1つ以上の実施形態を実現するコンピューター読み取り可能命令は、ストレージ820内にあってもよい。また、ストレージ820は、オペレーティング・システム、アプリケーション・プログラム等を実現するための他のコンピューター読み取り可能命令も格納することができる。コンピューター読み取り可能命令は、例えば、処理ユニット816による実行のために、メモリー818にロードすることができる。
[0041] 「コンピューター読み取り可能媒体」という用語は、本明細書において使用する場合、コンピューター記憶媒体を含む。コンピューター記憶媒体は、揮発性および不揮発性の、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令または他のデーターのような情報の格納のための任意の方法または技術で実現される。メモリー818およびストレージ820は、コンピューター記憶媒体の例である。コンピューター記憶媒体は、RAM、ROM、EEPROM、フラッシュ・メモリーまたは他のメモリー技術、CD−ROM、ディジタル・バーサタイル・ディスク(DVD)または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、あるいは所望の情報を格納するために使用することができデバイス812によってアクセスすることができる任意の他の媒体を含むが、これらに限定されるのではない。しかしながら、コンピューター記憶媒体は、伝搬信号を含まない。むしろ、コンピューター記憶媒体は伝搬信号を除外する。このようなコンピューター記憶媒体はいずれも、デバイス812の一部であることができる。
[0042] また、デバイス812は、デバイス812が他のデバイスと通信することを可能にする通信接続(1つまたは複数)826も含むことができる。通信接続(1つまたは複数)826は、モデム、ネットワーク・インターフェース・カード(NIC)、統合ネットワーク・インターフェース、無線周波数送信機/受信機、赤外線ポート、USB接続、または計算デバイス812を他の計算デバイスに接続するための他のインターフェースを含むことができるが、これらに限定されるのではない。通信接続(1つまたは複数)826は、有線接続またはワイヤレス接続を含むことができる。通信接続(1つまたは複数)826は、通信媒体を送信および/または受信することができる。
[0043] 「コンピューター読み取り可能媒体」という用語は、通信媒体を含むことができる。通信媒体は、通例、搬送波のような「変調データー信号」または他の移送メカニズムにコンピューター読み取り可能命令または他のデーターを具体化し、あらゆる情報配信媒体を含む。「変調データー信号」という用語は、この信号に情報をエンコードするような方法でその特性の1つ以上が設定または変化させられた信号を含むことができる。
[0044] デバイス812は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、ビデオ入力デバイス、および/またはあらゆる他の入力デバイスというような、入力デバイス(1つまたは複数)824を含むことができる。また、1つ以上のディスプレイ、スピーカー、プリンター、および/またはあらゆる他の出力デバイスというような出力デバイス(1つまたは複数)822も、デバイ812に含むことができる。入力デバイス(1つまたは複数)824および出力デバイス(1つまたは複数)822は、有線接続、ワイヤレス接続、またはそのいずれかの組み合わせによって、デバイス812に接続することができる。一実施形態では、他の計算デバイスからの入力デバイスまたは出力デバイスを計算デバイス812の入力デバイス(1つまたは複数)824または出力デバイス(1つまたは複数)822として使用することもできる。
[0045] 計算デバイス812のコンポーネントは、バスのような種々の相互接続によって接続されてもよい。このような相互接続は、PCI Expressのような周辺コンポーネント相互接続(PCI)、ユニバーサル・シリアル・バス(USB)、firewire(IEEE1394)、光バス構造等を含むことができる。他の実施形態では、計算デバイス812のコンポーネントは、ネットワークによって相互接続されてもよい。例えば、メモリー818は、ネットワークによって相互接続された異なる物理位置に配置された多数の物理メモリー・ユニットで構成されてもよい。
[0046] 当業者は、コンピューター読み取り可能命令を格納するために利用される記憶デバイスをネットワークを跨がって分散させてもよいことを認めるであろう。例えば、ネットワーク828を介してアクセス可能な計算デバイス830が、本明細書において提示した1つ以上の実施形態を実現するためのコンピューター読み取り可能命令を格納することもできる。計算デバイス812は、計算デバイス830にアクセスし、実行のために、コンピューター読み取り可能命令の一部または全部をダウンロードすることができる。あるいは、計算デバイス812は、必要に応じて、コンピューター読み取り可能命令の複数の部分(pieces)をダウンロードすることもでき、即ち、一部の命令を計算デバイス812において実行し、一部を計算デバイス830において実行することもできる。
[0047] 本明細書においては、実施形態の種々の動作を示した。一実施形態では、説明した動作の1つ以上が、1つ以上のコンピューター読み取り可能媒体上に格納されたコンピューター読み取り可能命令を構成することができ、計算デバイスによって実行されると、この計算デバイスに、説明した動作を実行させる。これらの動作の一部または全部を説明した順序は、これらの動作が必然的に順序に依存することを暗示するように解釈してはならない。この説明の恩恵を得た当業者には、代わりの順序付けも認められよう。更に、本明細書において示した各実施形態において、必ずしも全ての動作があるとは限らないことは理解されよう。また、ある実施形態では全ての動作が必要ではないことも理解されよう。
[0048] 更に、別段指定されない限り、「第1」、「第2」、および/またはその他は、時間的態様、空間的態様、順序付け等を含意することは意図していない。逆に、このような用語は、単に、特徴、エレメント、項目等に対する識別子、名称等として使用される。例えば、第1物体および第2物体は、一般に、物体Aおよび物体B、あるいは2つの異なるまたは2つの同一の(identical)物体、あるいは同じ(same)物体に対応する。
[0049] 更に、「一例の」(exemplary)という単語は、本明細書では例(example)、実例(instance)、または例示(illustration)等として役割を果たすことを意味するために使用され、必ずしも有利であることを意味する訳ではない。本願において使用する場合、「または」という用語は、排他的な「または」ではなく、包含的な「または」を意味することを意図している。 加えて、本願において使用する場合、単数形を対象にすることが別段明示されていない限り、または文脈から明らかでない限り、「a」および「an」は、一般に、「1つ以上」を意味すると解釈することとする。また、AおよびB等(and/or the like)の少なくとも1つは、通常、AまたはBあるいはAおよびB双方を意味する。更に、「含む」(includes)、「有する」(having, has)、「と」(with)という用語および/またはこれらの変形が詳細な説明または特許請求の範囲において使用される限りにおいて、このような用語は、「備える」(comprising)という用語と同様に、包含的であることを意図している。
[0050] また、本開示は、1つ以上の実施態様に関して示し説明したが、本明細書および添付図面の読解(reading and understanding)に基づいて、同等の変形(alteration)および変更(modification)が当業者には想起されよう。本開示は、このような変更および変形を全て含み、以下の請求項の範囲によってのみ限定されるものとする。特に、以上で説明したコンポーネント(例えば、エレメント、リソース等)によって実行される種々の機能に関して、このようなコンポーネントを説明するために使用された用語は、別段指示されていなければ、説明されたコンポーネントの指定された機能を実行するあらゆるコンポーネント(例えば、機能的に同等なコンポーネント)に対応することを意図しており、開示された構造と構造的に同等でなくてもよい。加えて、本開示の特定的な特徴について、様々な実施態様の内1つだけに関して開示したが、このような特徴は、あらゆる所与のまたは特定の用途に望まれるようにまたは有利になるように、他の実施態様の1つ以上の他の特徴と組み合わせることもできる。

Claims (10)

  1. タスク完了を促進する方法であって、
    クライアント・デバイスのユーザーから自然言語入力を受けるステップと、
    ユーザーのタスク意図を識別するために、前記ユーザーに関連付けられた1組のユーザー・コンテキスト信号を使用して前記自然言語入力を評価するステップと、
    前記ユーザーのタスク意図に基づいて、タスク完了機能を前記ユーザーに提示するステップと、
    を含み、前記提示するステップが、
    前記ユーザーのタスク意図に基づいてタスク実行コンテキストを識別するステップであって、前記タスク実行コンテキストがアプリケーション・パラメーターを含む、ステップと、
    前記タスク実行コンテキストに関連するコンテキスト状態にアプリケーションを深く起動するステップであって、前記アプリケーションに前記アプリケーション・パラメーターに対応する情報が入力される、ステップと、
    を含む、方法。
  2. 請求項1に記載の方法において、アプリケーションを深く起動する前記ステップが、
    前記アプリケーションを通じて、文書、写真、ビデオ、ウェブサイト、またはソーシャル・ネットワーク・データーの内少なくとも1つに対するアクセスを前記ユーザーに与えるステップを含む、方法。
  3. 請求項1に記載の方法において、前記自然言語入力を評価する前記ステップが、
    前記自然言語入力に基づいてユーザー意図クエリーを組み立てるステップと、
    広範意図候補を識別するために、前記ユーザー意図クエリーを使用してタスク意図データー構造に問い合わせるステップと、
    前記ユーザーのタスク意図を識別するために、前記1組のユーザー・コンテキスト信号を使用して前記広範意図候補を評価するステップと、
    を含む、方法。
  4. 請求項3に記載の方法において、タスク意図データー構造に問い合わせる前記ステップが、
    前記ユーザー意図クエリーを前記タスク意図データー構造を含むサーバーに送るステップであって、前記サーバーが前記クライアント・デバイスとは離れている、ステップと、
    前記サーバーから前記広範意図候補を受けるステップと、
    を含む、方法。
  5. 請求項1に記載の方法において、前記アプリケーションが個人補助アプリケーションを含む、方法。
  6. 請求項4に記載の方法であって、
    前記タスク完了機能のためにユーザー・フィードバックを識別するステップと、
    前記タスク意図データー構造に入力するために使用されるタスク意図モデルを訓練するために、前記ユーザー・フィードバックを前記サーバーに供給するステップと、
    を含む、方法。
  7. 請求項1に記載の方法において、アプリケーションを深く起動する前記ステップが、
    前記ユーザーの現在地を識別するステップと、
    前記ユーザーのタスク意図に対応する1組のエンティティ候補を識別するステップと、
    前記エンティティ候補の前記現在地に対する近接度に基づいて、前記1組のエンティティ候補からエンティティ候補を選択するステップと、
    前記エンティティ候補に関連する情報を前記アプリケーションに入力するステップと、
    を含む、方法。
  8. 請求項1に記載の方法であって、
    前記ユーザーのタスク意図に基づいて前記ユーザーにユーザー絞り込みインターフェースを提供するステップと、
    前記ユーザー絞り込みインターフェースを介してユーザー・タスク絞り込み入力を受けるステップと、
    前記ユーザー・タスク絞り込み入力に基づいて、前記ユーザーのタスク意図を見直すステップと、
    を含む、方法。
  9. タスク完了を促進するシステムであって、
    タスク意図モデルを訓練するためにコミュニティ・ユーザー検索記録データーを評価し、前記タスク意図モデルを利用して、タスク意図データー構造に、意図エントリーへの1つ以上のクエリーを入力するように構成されたタスク意図訓練コンポーネントと、
    ユーザー意図提案コンポーネントであって、
    クライアント・デバイスからユーザー意図クエリーを受け、前記ユーザー意図クエリーが、前記クライアント・デバイス上において受けた自然言語入力から派生され、
    広範意図候補を識別するために、前記ユーザー意図クエリーを使用して前記タスク意図データー構造に問い合わせ、
    前記自然言語入力から派生されたユーザーのタスク意図に関連するタスク完了のために、前記広範意図候補を前記クライアント・デバイスに供給して、アプリケーションをコンテキスト状態に深く起動するように構成される、ユーザー意図提案コンポーネントと、
    を含む、システム。
  10. 請求項9に記載のシステムにおいて、前記タスク意図訓練コンポーネントが、前記広範意図候補に対するユーザー・フィードバックを受け、
    前記ユーザー・フィードバックに基づいて、前記タスク意図モデルを訓練する、
    ように構成される、システム。
JP2016560388A 2014-04-01 2015-03-27 自然言語入力に対するタスク完了 Pending JP2017515217A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/242,394 US20150278370A1 (en) 2014-04-01 2014-04-01 Task completion for natural language input
US14/242,394 2014-04-01
PCT/US2015/022883 WO2015153310A1 (en) 2014-04-01 2015-03-27 Task completion for natural language input

Publications (1)

Publication Number Publication Date
JP2017515217A true JP2017515217A (ja) 2017-06-08

Family

ID=52829406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016560388A Pending JP2017515217A (ja) 2014-04-01 2015-03-27 自然言語入力に対するタスク完了

Country Status (12)

Country Link
US (1) US20150278370A1 (ja)
EP (1) EP3127012A1 (ja)
JP (1) JP2017515217A (ja)
KR (1) KR20160140694A (ja)
CN (1) CN106164909A (ja)
AU (1) AU2015241253A1 (ja)
BR (1) BR112016022372A2 (ja)
CA (1) CA2943235A1 (ja)
MX (1) MX2016012643A (ja)
RU (1) RU2016138550A (ja)
TW (1) TW201543240A (ja)
WO (1) WO2015153310A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185741A (ja) * 2018-04-02 2019-10-24 サウンドハウンド,インコーポレイテッド 異なるドメインにおいて潜在的に曖昧な意味を有する表現の解釈

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10431209B2 (en) * 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10169447B2 (en) 2014-02-24 2019-01-01 Entefy Inc. System and method of message threading for a multi-format, multi-protocol communication system
US10394966B2 (en) 2014-02-24 2019-08-27 Entefy Inc. Systems and methods for multi-protocol, multi-format universal searching
US20170193009A1 (en) 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US11755629B1 (en) 2014-02-24 2023-09-12 Entefy Inc. System and method of context-based predictive content tagging for encrypted data
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10719524B1 (en) 2015-04-15 2020-07-21 Arimo, LLC Query template based architecture for processing natural language queries for data analysis
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10135764B2 (en) * 2015-12-31 2018-11-20 Entefy Inc. Universal interaction platform for people, services, and devices
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
CN105760483B (zh) * 2016-02-16 2019-04-19 Oppo广东移动通信有限公司 多媒体文件的保存及其检索方法和系统
US10409876B2 (en) 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
JP6679447B2 (ja) * 2016-09-12 2020-04-15 ヤフー株式会社 変更装置、変更方法、及び変更プログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10397157B2 (en) 2016-10-27 2019-08-27 International Business Machines Corporation Message management in a social networking environment
US10963642B2 (en) 2016-11-28 2021-03-30 Microsoft Technology Licensing, Llc Intelligent assistant help system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10491690B2 (en) 2016-12-31 2019-11-26 Entefy Inc. Distributed natural language message interpretation engine
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11153411B2 (en) 2017-04-10 2021-10-19 Samsung Electronics Co., Ltd. Method and apparatus for processing user request
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
EP4060659B1 (en) * 2017-05-12 2024-04-24 Apple Inc. Low-latency intelligent automated assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10587553B1 (en) 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
US11948023B2 (en) 2017-12-29 2024-04-02 Entefy Inc. Automatic application program interface (API) selector for unsupervised natural language processing (NLP) intent classification
US11573990B2 (en) 2017-12-29 2023-02-07 Entefy Inc. Search-based natural language intent determination
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11410075B2 (en) * 2018-01-15 2022-08-09 Microsoft Technology Licensing, Llc Contextually-aware recommendations for assisting users with task completion
KR102059142B1 (ko) * 2018-01-23 2020-02-07 네이버 주식회사 서버 및 사용자 장치의 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US11330408B2 (en) * 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11232262B2 (en) * 2018-07-17 2022-01-25 iT SpeeX LLC Method, system, and computer program product for an intelligent industrial assistant
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111666006B (zh) * 2019-03-05 2022-01-14 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109979453A (zh) * 2019-03-29 2019-07-05 客如云科技(成都)有限责任公司 一种面向点餐机器人的智能意图识别人机交互方法
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11244106B2 (en) * 2019-07-03 2022-02-08 Microsoft Technology Licensing, Llc Task templates and social task discovery
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11354500B2 (en) 2019-12-06 2022-06-07 Microsoft Technology Licensing, Llc Artificial intelligence for identifying relevant content related to specific tasks
US11842731B2 (en) * 2020-01-06 2023-12-12 Salesforce, Inc. Method and system for executing an action for a user based on audio input
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11829720B2 (en) 2020-09-01 2023-11-28 Apple Inc. Analysis and validation of language models

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747601B2 (en) * 2006-08-14 2010-06-29 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070192168A1 (en) * 2006-02-15 2007-08-16 Leviathan Entertainment, Llc Map and Inventory-Based On-Line Purchases
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
US20070297581A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Voice-based phone system user interface
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100082398A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. System for providing contextually relevant data
US20110082746A1 (en) * 2009-10-06 2011-04-07 Christopher Rice Systems and Methods for Providing Location Based Promotions and Feedback Services
US9263034B1 (en) * 2010-07-13 2016-02-16 Google Inc. Adapting enhanced acoustic models
US20120084248A1 (en) * 2010-09-30 2012-04-05 Microsoft Corporation Providing suggestions based on user intent
US20120117051A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
US9189549B2 (en) * 2010-11-08 2015-11-17 Microsoft Technology Licensing, Llc Presenting actions and providers associated with entities
CN102004794B (zh) * 2010-12-09 2013-05-08 百度在线网络技术(北京)有限公司 搜索引擎系统及其实现方法
KR101828273B1 (ko) * 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
KR101922744B1 (ko) * 2011-03-31 2018-11-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 위치-기반 대화 해석 기법
US8966440B2 (en) * 2011-08-29 2015-02-24 Salesforce.Com, Inc. Custom application creation in multi-tenant systems
US20130086028A1 (en) * 2011-09-30 2013-04-04 Nuance Communications, Inc. Receiving and processing user-specified queries
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
CN103390194A (zh) * 2012-05-07 2013-11-13 北京三星通信技术研究有限公司 用户意图预测及推荐建议的方法、设备和系统
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
US8645138B1 (en) * 2012-12-20 2014-02-04 Google Inc. Two-pass decoding for speech recognition of search and action requests
EP2941744B8 (en) * 2012-12-30 2018-10-17 Gary Stephen Shuster Global contact synchronization
US20140258260A1 (en) * 2013-03-11 2014-09-11 Sabrina Rayborn Methods for on line dating
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9881102B2 (en) * 2013-04-22 2018-01-30 Microsoft Technology Licensing, Llc Aggregating personalized suggestions from multiple sources
US9448992B2 (en) * 2013-06-04 2016-09-20 Google Inc. Natural language search results for intent queries
US20150142607A1 (en) * 2013-11-20 2015-05-21 Cui Yang Shopping mind reader
US20150248216A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Information interface generation and/or population

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185741A (ja) * 2018-04-02 2019-10-24 サウンドハウンド,インコーポレイテッド 異なるドメインにおいて潜在的に曖昧な意味を有する表現の解釈
US11113473B2 (en) 2018-04-02 2021-09-07 SoundHound Inc. Interpreting expressions having potentially ambiguous meanings in different domains

Also Published As

Publication number Publication date
AU2015241253A1 (en) 2016-10-06
RU2016138550A (ru) 2018-03-30
US20150278370A1 (en) 2015-10-01
CA2943235A1 (en) 2015-10-08
EP3127012A1 (en) 2017-02-08
BR112016022372A2 (pt) 2017-08-15
KR20160140694A (ko) 2016-12-07
TW201543240A (zh) 2015-11-16
CN106164909A (zh) 2016-11-23
WO2015153310A1 (en) 2015-10-08
MX2016012643A (es) 2016-12-14
RU2016138550A3 (ja) 2018-10-19

Similar Documents

Publication Publication Date Title
JP2017515217A (ja) 自然言語入力に対するタスク完了
JP6263199B2 (ja) アプリケーション間通信によるタスク完了
US20160306798A1 (en) Context-sensitive content recommendation using enterprise search and public search
JP6564364B2 (ja) タグ付き検索結果の維持
US20140358958A1 (en) Surfacing direct app actions
US9558270B2 (en) Search result organizing based upon tagging
US20140372563A1 (en) Related content display associated with browsing
US20170097967A1 (en) Automated Customization of Display Component Data for Search Results
US20140108408A1 (en) Topic collections
US9542495B2 (en) Targeted content provisioning based upon tagged search results
US20210279297A1 (en) Linking to a search result
US20160239502A1 (en) Location-Activity Recommendations
US9547713B2 (en) Search result tagging
US9311362B1 (en) Personal knowledge panel interface
AU2016200644B2 (en) Apparatus, system and method for searching contents
WO2022251130A1 (en) Linking to a search result
US20130046744A1 (en) Social knowledgebase
WO2017115065A1 (en) A method for providing contextual intelligence
TW201447615A (zh) 查詢建構中之社群實體預覽