JP2020530581A - 自動アシスタントのためのコマンドバンドル提案の提供 - Google Patents
自動アシスタントのためのコマンドバンドル提案の提供 Download PDFInfo
- Publication number
- JP2020530581A JP2020530581A JP2019568392A JP2019568392A JP2020530581A JP 2020530581 A JP2020530581 A JP 2020530581A JP 2019568392 A JP2019568392 A JP 2019568392A JP 2019568392 A JP2019568392 A JP 2019568392A JP 2020530581 A JP2020530581 A JP 2020530581A
- Authority
- JP
- Japan
- Prior art keywords
- command
- user
- command bundle
- bundle
- given
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 245
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 102
- 238000000034 method Methods 0.000 claims description 71
- 230000000875 corresponding effect Effects 0.000 claims description 63
- 230000002093 peripheral effect Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 78
- 238000012549 training Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000011362 coarse particle Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
106A クライアントデバイス
110 自動アシスタント
112 入力処理エンジン
114 音声-テキストモジュール
116 出力エンジン
118 呼び出し/対話エンジン
120 コマンドバンドルエンジン
125 推奨エンジン
126 フィルタリングモジュール
127 埋め込みモジュール
128 スコアリングモジュール
129 推奨モジュール
140 エージェント
140A〜N エージェント
152 コマンドバンドルデータベース
154 アクションモデル
154A アクションモデル
154B アクションモデル
156 ユーザデータベース、ユーザデータ
171 ユーザデバイス
172 コマンドバンドル
173 アシスタント対話データ
173A アシスタント対話データ
173A1〜N アクション指示
173B アシスタント対話データ
173B1〜N アクション指示
174 ユーザアクション埋め込み
174A ユーザアクション埋め込み
174B ユーザアクション埋め込み
175 コマンドバンドル埋め込み
176 コマンドバンドル
177 推奨事項
177A 推奨事項
177B 推奨事項
180 コマンドバンドル呼び出し
181 プロンプト
182 応答
183 エージェントコマンド
184 応答コンテンツ
185 エージェントコマンド
186 応答コンテンツ
188 テキスト応答インターフェース要素
189 音声応答インターフェース要素
190A システムインターフェース要素
190B システムインターフェース要素
190C システムインターフェース要素
480A 入力
480B 入力
480C 入力
482A プロンプト
482B プロンプト
482C 出力
482D 出力
610 コンピューティングデバイス
612 バスサブシステム
614 プロセッサ
616 ネットワークインターフェースサブシステム
620 ユーザインターフェース出力デバイス
622 ユーザインターフェース入力デバイス
624 記憶サブシステム
625 メモリサブシステム、メモリ
626 ファイル記憶サブシステム
630 メインランダムアクセスメモリ(RAM)
632 読み出し専用メモリ(ROM)
1541A1〜N 入力
1541B1〜N 入力
1542A 符号化層
1542B 符号化層
Claims (19)
ユーザに関するアシスタント対話データを識別するステップであって、前記アシスタント対話データが、自動アシスタントアプリケーションによって前記ユーザに対して実行された複数の履歴アクションを示し、前記履歴アクションの各々が、前記自動アシスタントアプリケーションと対話する1つまたは複数の自動アシスタントインターフェースを介して前記ユーザによって提供された対応するユーザインターフェース入力に応答して実行される、ステップと、
ユーザアクション埋め込みを生成するために、トレーニングされた機械学習モデルを使用して前記アシスタント対話データの少なくとも一部を処理するステップと、
複数のコマンドバンドルを識別するステップであって、前記コマンドバンドルの各々が、前記自動アシスタントアプリケーションによって実行され得る複数の対応する個別のアクションを識別するコマンドバンドルデータを備える、ステップと、
前記コマンドバンドルの各々について、
コマンドバンドル埋め込みを生成するために、前記トレーニングされた機械学習モデルまたは追加のトレーニングされた機械学習モデルを使用して前記コマンドバンドルデータの少なくとも一部を処理するステップと、
前記コマンドバンドルに関する類似性スコアを生成するステップであって、前記コマンドバンドルの各々について前記類似性スコアを生成するステップが、前記ユーザアクション埋め込みを前記コマンドバンドルに関する前記コマンドバンドル埋め込みと比較するステップを備える、ステップと、
前記複数のコマンドバンドルのうちの所与のコマンドバンドルを、前記所与のコマンドバンドルに関する前記類似性スコアに基づいて選択するステップと、
前記所与のコマンドバンドルを選択することに応答して、
前記所与のコマンドバンドルに関連する情報を、前記ユーザのコンピューティングデバイスを介して前記ユーザへ提示させるステップであって、
ユーザインターフェース入力に応答する前記ユーザに対する前記所与のコマンドバンドルの呼び出しが、前記自動アシスタントアプリケーションに前記所与のコマンドバンドルの前記対応する個別のアクションを実行させる、ステップと
を備える、方法。
前記所与のコマンドバンドルに関連する前記情報を提示させるステップに続いて、前記自動アシスタントインターフェースのうちの1つを介して前記ユーザによって提供された自然言語のユーザインターフェース入力を受信するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズに一致することを判定するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズに一致すると判定することに応答して、
前記自動アシスタントアプリケーションによって、前記所与のコマンドバンドルの前記対応する個別のアクションを実行するステップと
をさらに備える、請求項1に記載の方法。
前記自動アシスタントアプリケーションに、第1のコマンドを第1の電子デバイスへ送信させる第1の個別アクションと、
前記自動アシスタントアプリケーションに、第2のコマンドを第2の電子デバイスへ送信させる第2の個別アクションと
を備える、請求項1に記載の方法。
前記自動アシスタントアプリケーションに、第1のコマンドを第1のエージェントへ送信させる第1の個別アクションと、
前記自動アシスタントアプリケーションに、第2のコマンドを第2のエージェントへ送信させる第2の個別アクションと
を備える、請求項1に記載の方法。
前記所与のコマンドバンドルを選択するステップが、前記コマンドバンドルのうちの他のものに対する前記所与のコマンドバンドルの前記ランク付けに基づく、請求項1に記載の方法。
利用可能なコマンドバンドルのコーパスから、前記選択された複数のコマンドバンドルと前記ユーザのユーザ固有データとの間の一致に基づいて前記複数のコマンドバンドルを選択するステップを備える、請求項1に記載の方法。
前記所与の利用可能なコマンドバンドルに必要な周辺デバイスを識別するステップと、
前記ユーザ固有データに基づいて、前記自動アシスタントアプリケーションが前記ユーザに関して前記必要な周辺デバイスにアクセスできないと判定するステップと
に基づいて、前記選択された複数のコマンドバンドルから、前記利用可能なコマンドバンドルのうちの所与の利用可能なコマンドバンドルを除外するステップを備える、請求項7に記載の方法。
前記所与のコマンドバンドルに関連する前記情報を提示させることに応答して、前記所与のコマンドバンドルの選択を受信するステップと、
前記選択を受信することに応答して、前記スロットに関する値を解決するために、前記自動アシスタントアプリケーションを介して前記ユーザとダイアログを行うステップと、
前記所与のコマンドバンドルおよび前記ユーザに関して、前記スロットに関連付けて前記値を記憶するステップと
をさらに備える、請求項1に記載の方法。
前記自動アシスタントインターフェースのうちの1つを介して前記ユーザによって提供された自然言語のユーザインターフェース入力を受信するステップと、
前記自然言語のユーザインターフェース入力が前記コマンドバンドルに関する呼び出しフレーズに一致することを判定するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズに一致すると判定することに応答して、前記記憶されている値に基づいて、
前記自動アシスタントアプリケーションによって、前記スロットに関する前記値を使用して前記少なくとも1つのアクションを実行することを含む、前記所与のコマンドバンドルの前記対応する個別のアクションを実行するステップと
をさらに備える、請求項11に記載の方法。
コマンドバンドルのコーパスを識別するステップであって、前記コマンドバンドルの各々が、自動アシスタントアプリケーションによって実行され得る複数の対応する個別のアクションを識別するコマンドバンドルデータを備える、ステップと、
ユーザに関する周辺デバイスデータを識別するステップであって、前記周辺デバイスデータが、自動アシスタントアプリケーションとペアにされた前記ユーザの周辺デバイスを示す、ステップと、
前記コマンドバンドルのコーパスから、前記ユーザに関する複数の候補コマンドバンドルを選択するステップであって、前記複数の候補コマンドバンドルを選択するステップが、前記周辺デバイスデータと前記コマンドバンドルの前記コマンドバンドルデータとの比較に基づいている、ステップと、
前記コマンドバンドルデータと、前記自動アシスタントアプリケーションによって前記ユーザに対して実行された複数の履歴アクションを示すアシスタント対話データとに基づいて、前記候補コマンドバンドルをランク付けするステップと、
前記ランク付けに基づいて、前記候補コマンドバンドルのうちの1つまたは複数に関連する情報を提示させるステップであって、前記情報が、前記ユーザのコンピューティングデバイスを介して前記ユーザへ提示される、ステップと
を備える、方法。
前記1つまたは複数のコマンドバンドルに関連する前記情報を提示させるステップに続いて、前記自動アシスタントアプリケーションに関連付けられたアシスタントインターフェースを介して前記ユーザによって提供された自然言語のユーザインターフェース入力を受信するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズと一致することを判定するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズに一致すると判定することに応答して、
前記自動アシスタントアプリケーションによって、前記所与のコマンドバンドルの前記対応する個別のアクションを実行するステップと
をさらに備える、請求項13に記載の方法。
前記自動アシスタントアプリケーションに、第1のコマンドを第1の電子デバイスへ送信させる第1の個別アクションと、
前記自動アシスタントアプリケーションに、第2のコマンドを第2の電子デバイスへ送信させる第2の個別アクションと
を備える、請求項14に記載の方法。
コマンドバンドルのコーパスを識別するステップであって、前記コーパスの前記コマンドバンドルの各々が、自動アシスタントアプリケーションによって実行され得る複数の対応する個別アクションを識別するコマンドバンドルデータを備える、ステップと、
ユーザのデータを識別するステップと、
前記コマンドバンドルのコーパスから、前記ユーザに関する複数の候補コマンドバンドルを選択するステップであって、前記複数の候補コマンドバンドルを選択するステップが、前記ユーザの前記データと前記コマンドバンドルの前記コマンドバンドルデータとの比較に基づいている、ステップと、
前記ユーザに関するアシスタント対話データを識別するステップであって、前記アシスタント対話データが、自動アシスタントアプリケーションによって前記ユーザに対して実行された複数の履歴アクションを示し、前記履歴アクションの各々が、前記自動アシスタントアプリケーションと対話する1つまたは複数の自動アシスタントインターフェースを介して前記ユーザによって提供された対応するユーザインターフェース入力に応答して実行される、ステップと、
ユーザアクション埋め込みを生成するために、トレーニングされた機械学習モデルを使用して前記アシスタント対話データの少なくとも一部を処理するステップと、
前記複数の候補コマンドバンドルから、所与のコマンドバンドルを、前記ユーザアクション埋め込みと前記所与のコマンドバンドルに関するコマンドバンドル埋め込みとの比較に基づいて選択するステップと、
前記所与のコマンドバンドルを選択することに応答して、
前記所与のコマンドバンドルに関連する情報を、前記ユーザのコンピューティングデバイスを介して前記ユーザへ提示させるステップであって、
前記ユーザインターフェース入力に応答する前記ユーザに関する前記所与のコマンドバンドルの呼び出しが、前記自動アシスタントアプリケーションに前記所与のコマンドバンドルの前記対応する個別アクションを実行させる、ステップと
を備える、方法。
前記所与のコマンドバンドルに関連する前記情報を提示させるステップに続いて、前記自動アシスタントインターフェースを介して前記ユーザによって提供された自然言語のユーザインターフェース入力を受信するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズと一致することを判定するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズと一致すると判定することに応答して、
前記自動アシスタントアプリケーションによって、前記所与のコマンドバンドルの前記対応する個別アクションを実行するステップと
をさらに備える、請求項16に記載の方法。
前記所与のコマンドバンドルに関連する前記情報を提示させるステップに続いて、前記所与のコマンドバンドルの呼び出しを受信するステップと、
前記呼び出しを受信することに応答して、前記スロットに関する値を解決するために、前記自動アシスタントアプリケーションを介して前記ユーザとダイアログを行うステップと、
前記所与のコマンドバンドルおよび前記ユーザに関して、前記スロットに関連付けて前記値を記憶するステップと
をさらに備える、請求項16に記載の方法。
前記自動アシスタントインターフェースのうちの1つを介して前記ユーザによって提供された自然言語のユーザインターフェース入力を受信するステップと、
前記自然言語のユーザインターフェース入力が前記コマンドバンドルに関する呼び出しフレーズに一致することを判定するステップと、
前記自然言語のユーザインターフェース入力が前記呼び出しフレーズに一致すると判定することに応答して、前記記憶されている値に基づいて、
前記自動アシスタントアプリケーションによって、前記スロットに関する値を使用して前記少なくとも1つのアクションを実行することを含む、前記所与のコマンドバンドルの前記対応する個別のアクションを実行するステップと
をさらに備える、請求項16に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762567732P | 2017-10-03 | 2017-10-03 | |
US62/567,732 | 2017-10-03 | ||
US15/730,514 | 2017-10-11 | ||
US15/730,514 US10546023B2 (en) | 2017-10-03 | 2017-10-11 | Providing command bundle suggestions for an automated assistant |
PCT/US2018/054012 WO2019070747A1 (en) | 2017-10-03 | 2018-10-02 | PROVIDING PACKAGE SUGGESTIONS FOR AN AUTOMATED ASSISTANT |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020530581A true JP2020530581A (ja) | 2020-10-22 |
JP6978520B2 JP6978520B2 (ja) | 2021-12-08 |
Family
ID=65897329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568392A Active JP6978520B2 (ja) | 2017-10-03 | 2018-10-02 | 自動アシスタントのためのコマンドバンドル提案の提供 |
Country Status (6)
Country | Link |
---|---|
US (4) | US10546023B2 (ja) |
EP (2) | EP3491533B1 (ja) |
JP (1) | JP6978520B2 (ja) |
KR (1) | KR102313473B1 (ja) |
CN (2) | CN111033492B (ja) |
WO (1) | WO2019070747A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10546023B2 (en) * | 2017-10-03 | 2020-01-28 | Google Llc | Providing command bundle suggestions for an automated assistant |
JP7012883B2 (ja) * | 2018-05-07 | 2022-01-28 | グーグル エルエルシー | 自動化されたアシスタントルーチン内に含めるための自動化されたアシスタントアクションを推奨すること |
US20190348033A1 (en) * | 2018-05-10 | 2019-11-14 | Fujitsu Limited | Generating a command for a voice assistant using vocal input |
KR20200027753A (ko) * | 2018-09-05 | 2020-03-13 | 삼성전자주식회사 | 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법 |
US11093715B2 (en) | 2019-03-29 | 2021-08-17 | Samsung Electronics Co., Ltd. | Method and system for learning and enabling commands via user demonstration |
US11468881B2 (en) * | 2019-03-29 | 2022-10-11 | Samsung Electronics Co., Ltd. | Method and system for semantic intelligent task learning and adaptive execution |
KR20200126509A (ko) * | 2019-04-30 | 2020-11-09 | 삼성전자주식회사 | 가전기기 및 이의 제어 방법 |
EP3942550A1 (en) * | 2019-05-06 | 2022-01-26 | Google LLC | Performing subtask(s) for a predicted action in response to a separate user interaction with an automated assistant prior to performance of the predicted action |
US10719666B1 (en) * | 2020-01-31 | 2020-07-21 | Capital One Services, Llc | Computer-based systems utilizing textual embedding space software engines for identifying candidate phrases in a text document and methods of use thereof |
KR20220141891A (ko) * | 2020-02-28 | 2022-10-20 | 구글 엘엘씨 | 디지털 액션 실행을 위한 인터페이스 및 모드 선택 |
US11914561B2 (en) | 2020-03-03 | 2024-02-27 | Rovi Guides, Inc. | Systems and methods for interpreting natural language search queries using training data |
US11594213B2 (en) | 2020-03-03 | 2023-02-28 | Rovi Guides, Inc. | Systems and methods for interpreting natural language search queries |
WO2021227059A1 (zh) * | 2020-05-15 | 2021-11-18 | 深圳市世强元件网络有限公司 | 一种基于多叉树的搜索词推荐方法及系统 |
US12008985B2 (en) * | 2020-06-22 | 2024-06-11 | Amazon Technologies, Inc. | Natural language processing of declarative statements |
CN111881263A (zh) * | 2020-08-12 | 2020-11-03 | 福州大学 | 面向智能家居场景的服务推荐在线优化方法 |
US11507572B2 (en) * | 2020-09-30 | 2022-11-22 | Rovi Guides, Inc. | Systems and methods for interpreting natural language search queries |
US20220415319A1 (en) * | 2021-06-28 | 2022-12-29 | Google Llc | On-device generation and personalization of zero-prefix suggestion(s) and use thereof |
KR20230045333A (ko) * | 2021-09-28 | 2023-04-04 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
US11803253B2 (en) * | 2021-11-29 | 2023-10-31 | International Business Machines Corporation | Keyword recommendations for virtual keyboards |
US12028778B2 (en) | 2022-02-28 | 2024-07-02 | International Business Machines Corporation | Contextual enhancement of user service inquiries |
US20230402037A1 (en) * | 2022-06-09 | 2023-12-14 | MagicX Inc. | Digital interface with user input guidance |
WO2024067981A1 (en) * | 2022-09-29 | 2024-04-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dialog system and method with improved human-machine dialog concepts |
US11908475B1 (en) * | 2023-02-10 | 2024-02-20 | Cephable Inc. | Systems, methods and non-transitory computer readable media for human interface device accessibility |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317722A (ja) * | 2005-05-13 | 2006-11-24 | Xanavi Informatics Corp | 音声処理装置 |
WO2016205147A1 (en) * | 2015-06-15 | 2016-12-22 | Microsoft Technology Licensing, Llc | Contextual language generation by leveraging language understanding |
JP2018531404A (ja) * | 2015-10-05 | 2018-10-25 | サバント システムズ エルエルシーSavant Systems LLC | ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6513006B2 (en) * | 1999-08-26 | 2003-01-28 | Matsushita Electronic Industrial Co., Ltd. | Automatic control of household activity using speech recognition and natural language |
JP5366173B2 (ja) | 2008-02-28 | 2013-12-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 操作支援サーバ装置、操作支援方法およびコンピュータ・プログラム |
WO2012135157A2 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Task driven user intents |
KR102091003B1 (ko) * | 2012-12-10 | 2020-03-19 | 삼성전자 주식회사 | 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치 |
US9047271B1 (en) * | 2013-02-28 | 2015-06-02 | Google Inc. | Mining data for natural language system |
KR20160010523A (ko) * | 2013-06-07 | 2016-01-27 | 애플 인크. | 지능형 자동 어시스턴트 |
WO2015076609A1 (en) * | 2013-11-21 | 2015-05-28 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling home devices on group basis in a home network system |
US10170123B2 (en) * | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
WO2015184186A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9576575B2 (en) | 2014-10-27 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Providing voice recognition shortcuts based on user verbal input |
US9646611B2 (en) * | 2014-11-06 | 2017-05-09 | Microsoft Technology Licensing, Llc | Context-based actions |
CN111427534B (zh) * | 2014-12-11 | 2023-07-25 | 微软技术许可有限责任公司 | 能够实现可动作的消息传送的虚拟助理系统 |
US9508339B2 (en) * | 2015-01-30 | 2016-11-29 | Microsoft Technology Licensing, Llc | Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing |
US10270609B2 (en) * | 2015-02-24 | 2019-04-23 | BrainofT Inc. | Automatically learning and controlling connected devices |
US10262654B2 (en) | 2015-09-24 | 2019-04-16 | Microsoft Technology Licensing, Llc | Detecting actionable items in a conversation among participants |
US20170250930A1 (en) * | 2016-02-29 | 2017-08-31 | Outbrain Inc. | Interactive content recommendation personalization assistant |
US9715496B1 (en) | 2016-07-08 | 2017-07-25 | Asapp, Inc. | Automatically responding to a request of a user |
US10444717B2 (en) * | 2016-09-16 | 2019-10-15 | Whirlpool Corporation | Coordination of control modes among appliances and utilities |
KR101741647B1 (ko) | 2016-09-30 | 2017-05-30 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US20180277123A1 (en) * | 2017-03-22 | 2018-09-27 | Bragi GmbH | Gesture controlled multi-peripheral management |
US11074280B2 (en) * | 2017-05-18 | 2021-07-27 | Aiqudo, Inc | Cluster based search and recommendation method to rapidly on-board commands in personal assistants |
US10546023B2 (en) * | 2017-10-03 | 2020-01-28 | Google Llc | Providing command bundle suggestions for an automated assistant |
-
2017
- 2017-10-11 US US15/730,514 patent/US10546023B2/en active Active
-
2018
- 2018-10-02 WO PCT/US2018/054012 patent/WO2019070747A1/en unknown
- 2018-10-02 CN CN201880038793.2A patent/CN111033492B/zh active Active
- 2018-10-02 KR KR1020197036636A patent/KR102313473B1/ko active IP Right Grant
- 2018-10-02 CN CN202311179263.9A patent/CN117194609A/zh active Pending
- 2018-10-02 JP JP2019568392A patent/JP6978520B2/ja active Active
- 2018-10-02 EP EP18792747.0A patent/EP3491533B1/en active Active
- 2018-10-02 EP EP23160250.9A patent/EP4213043A1/en active Pending
-
2019
- 2019-11-22 US US16/692,432 patent/US11232155B2/en active Active
-
2022
- 2022-01-24 US US17/582,847 patent/US11720635B2/en active Active
-
2023
- 2023-06-09 US US18/207,987 patent/US20230401259A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317722A (ja) * | 2005-05-13 | 2006-11-24 | Xanavi Informatics Corp | 音声処理装置 |
WO2016205147A1 (en) * | 2015-06-15 | 2016-12-22 | Microsoft Technology Licensing, Llc | Contextual language generation by leveraging language understanding |
JP2018531404A (ja) * | 2015-10-05 | 2018-10-25 | サバント システムズ エルエルシーSavant Systems LLC | ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案 |
Also Published As
Publication number | Publication date |
---|---|
KR20200007882A (ko) | 2020-01-22 |
EP3491533B1 (en) | 2023-04-19 |
WO2019070747A1 (en) | 2019-04-11 |
US11232155B2 (en) | 2022-01-25 |
CN111033492A (zh) | 2020-04-17 |
CN117194609A (zh) | 2023-12-08 |
US20230401259A1 (en) | 2023-12-14 |
US20200089709A1 (en) | 2020-03-19 |
JP6978520B2 (ja) | 2021-12-08 |
KR102313473B1 (ko) | 2021-10-18 |
EP4213043A1 (en) | 2023-07-19 |
US10546023B2 (en) | 2020-01-28 |
CN111033492B (zh) | 2023-10-10 |
US20220148595A1 (en) | 2022-05-12 |
EP3491533A1 (en) | 2019-06-05 |
US20190102482A1 (en) | 2019-04-04 |
US11720635B2 (en) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6978520B2 (ja) | 自動アシスタントのためのコマンドバンドル提案の提供 | |
JP7063932B2 (ja) | 適切なエージェントの自動化アシスタント呼び出し | |
KR102625761B1 (ko) | 사용자 프로그래머블 자동화 어시스턴트 | |
JP7191987B2 (ja) | 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション | |
JP7386878B2 (ja) | アシスタントの応答を動的に適応させること | |
US20220335930A1 (en) | Utilizing pre-event and post-event input streams to engage an automated assistant | |
US11775254B2 (en) | Analyzing graphical user interfaces to facilitate automatic interaction | |
CN112868060B (zh) | 用户、自动化助理和其它计算服务之间的多模态交互 | |
CN112489641A (zh) | 用于高效对话处理的实时反馈 | |
CN112805780A (zh) | 使用端到端模型的讲话者分割 | |
US20230169102A1 (en) | Determining responsive content for a compound query based on a set of generated sub-queries | |
CN114375449A (zh) | 使用上下文数据进行对话处理的技术 | |
JP2022539674A (ja) | 特定話者スピーチモデルを使用した話者認識 | |
JP2023536563A (ja) | 自動アシスタントとのユーザ対話を介したアプリケーション動作の取消し | |
JP7250180B2 (ja) | グラフィカルユーザインターフェース内への内容の音声制御入力 | |
US20240038246A1 (en) | Non-wake word invocation of an automated assistant from certain utterances related to display content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6978520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |