JP2021061027A - 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 - Google Patents
画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 Download PDFInfo
- Publication number
- JP2021061027A JP2021061027A JP2020213554A JP2020213554A JP2021061027A JP 2021061027 A JP2021061027 A JP 2021061027A JP 2020213554 A JP2020213554 A JP 2020213554A JP 2020213554 A JP2020213554 A JP 2020213554A JP 2021061027 A JP2021061027 A JP 2021061027A
- Authority
- JP
- Japan
- Prior art keywords
- request
- additional
- image
- user
- client device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Abstract
Description
1061-N クライアント装置
1071-N メッセージ交換クライアント
1091-N カメラアプリケーション
1111-N カメラ
1131-N 追加センサ
120 自動アシスタント
122 自然言語プロセッサ
124 要求エンジン
126 プロンプトエンジン
130 要求解決エンジン
132 属性モジュール
142 画像処理エンジン
144 追加処理エンジン
146 エージェント
148 リソースデータベース
160 タッチスクリーン
164 ユーザ入力フィールド
1661,2 グラフィカル要素
261 ワインのボトル
261A 描画
261B 描画
261C 描画
272A プロンプト
272B 出力
372A 出力
472A プロンプト
572A 出力
572B 応答
572C 選択可能なオプション
574A 自然言語入力
661 掃除機ロボット
672A プロンプト
672B プロンプト
672C 出力
674A 自然言語入力
772A プロンプト
772B 出力
774A 自然言語入力
910 コンピューティング装置例
912 バスサブシステム
914 プロセッサ
916 ネットワークインタフェース
920 ユーザインタフェース出力デバイス
922 ユーザインタフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム
926 ファイル記憶サブシステム
930 ランダムアクセスメモリ
932 リードオンリメモリ
Claims (24)
- クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる音声入力を受け取るステップと、
前記音声入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
少なくとも1つのセンサによって取得される初期センサデータに処理が行われるようにするステップであって、前記少なくとも1つのセンサが、前記クライアント装置または前記環境内の追加の電子装置のものであり、前記初期センサデータが、前記物体の1つまたは複数の特性を捉える、ステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために、前記ユーザに追加センサデータを取得するまたは前記物体を動かすように命令するプロンプトを提供するステップと、
追加センサデータを受け取るステップであって、前記追加センサデータが、前記プロンプトが前記ユーザに提示された後に前記クライアント装置または前記追加の電子装置によって取得される、ステップと、
前記追加センサデータに処理が行われるようにするステップと、
前記追加センサデータの前記処理に基づいて解決される少なくとも1つの追加属性に基づいて前記要求を解決するステップと、
を含む、
1つまたは複数のプロセッサによって実施される方法。 - 前記初期センサデータが、前記クライアント装置または前記追加の電子装置のカメラによって取得される少なくとも1つの初期画像から成り、かつ、
前記音声入力が前記物体に関連した前記要求を含むとの判定に応じて、
前記少なくとも1つの初期画像が取得されるようにするステップ、
をさらに含む、
請求項1に記載の方法。 - 前記少なくとも1つの初期画像を取得するステップが、前記ユーザと前記クライアント装置との間のいかなる物理的接触からも独立して発生し、かつ前記ユーザと前記追加の電子装置との間のいかなる物理的接触からも独立して発生する、
請求項2に記載の方法。 - 前記要求を解決するステップが、前記初期センサデータの前記処理に基づいて解決される前記物体の前記1つまたは複数の初期属性のうちの少なくとも1つにさらに基づく、
請求項1から3のいずれか一項に記載の方法。 - 前記初期センサデータの前記処理に基づいて解決される前記1つまたは複数の初期属性に基づいて、かつ前記追加センサデータの前記処理に基づいて解決される前記少なくとも1つの追加属性に基づいて、前記要求が依然として解決可能でないと判定するステップと、
前記要求が依然として解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために追加プロンプトを提供するステップと、
をさらに含み、
前記要求を解決するステップが、前記追加プロンプトに応じて受け取られる入力に基づいて解決される少なくとも1つのさらなる追加属性にさらに基づく、
請求項1から4のいずれか一項に記載の方法。 - 前記追加プロンプトが、前記ユーザに追加画像を取得するまたは前記物体をさらに動かすように命令し、かつ前記入力が、前記クライアント装置または前記追加の電子装置のカメラによって取得される画像である、
請求項5に記載の方法。 - 前記入力がさらなる自然言語入力であり、かつ前記さらなる追加属性が、前記さらなる自然言語入力に基づいて決定される、
請求項5または6に記載の方法。 - 前記要求が前記1つまたは複数の初期属性に基づいて解決可能でないと判定するステップが、
前記1つまたは複数の初期属性が前記要求を解決するために必要な特異度で前記物体を定義することができないと判定するステップ、を含む、
請求項1から7のいずれか一項に記載の方法。 - 前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示のために初期出力を提供するステップであって、前記初期出力が前記初期属性に基づく、ステップと、
前記初期出力を提供したことに応じてユーザフィードバックを受け取るステップと、
前記ユーザフィードバックに基づいて前記特異度を決定するステップと、をさらに含む、
請求項8に記載の方法。 - 前記初期センサデータの前記処理に基づいて解決される前記物体の前記1つまたは複数の初期属性と関連する学習された特異度に基づいて前記特異度を決定するステップであって、前記学習された特異度が、前記初期属性と関連する物体に関連した先行の自動アシスタント対話に基づいて学習される、ステップ、をさらに含む、
請求項8または9に記載の方法。 - 前記特異度が分類学における目標分類度である、
請求項8から10のいずれか一項に記載の方法。 - 前記初期センサデータの前記処理に基づいて解決される前記物体の前記1つまたは複数の初期属性の分類属性に基づいて前記特異度を決定するステップ、
をさらに含む、
請求項8または9に記載の方法。 - 前記特異度が、前記分類属性に固有である1つまたは複数の項目を定義し、かつ前記要求が前記1つまたは複数の初期属性に基づいて解決可能でないと判定するステップが、
前記項目の1つまたは複数が前記初期属性によって未定義であると判定するステップ、を含む、
請求項12に記載の方法。 - 前記初期センサデータの前記処理に基づいて解決される前記物体の前記1つまたは複数の初期属性のうちの少なくとも1つの初期属性に基づいて前記プロンプトを決定するステップ、をさらに含む、
請求項1から13のいずれか一項に記載の方法。 - 前記要求が前記物体に関連した追加情報の要求であり、かつ前記追加センサデータの前記処理に基づいて解決される前記少なくとも1つの追加属性に基づいて前記要求を解決するステップが、
前記少なくとも1つの追加属性に基づいて追加内容を生成するステップと、
前記クライアント装置の前記自動アシスタントインタフェースを介して、前記要求への応答として前記ユーザへの提示のために前記追加内容を提供するステップと、を含む、
請求項1に記載の方法。 - 前記追加属性に基づいて前記追加内容を生成するステップが、
1つまたは複数のネットワークを通じてかつアプリケーションプログラミングインタフェースを介してエージェントに、前記追加属性に基づいて生成されるエージェント要求を送信するステップと、
前記エージェント要求を送信したことに応じて前記エージェントから前記追加内容を受信するステップと、を含む、
請求項15に記載の方法。 - クライアント装置のカメラによって取得される少なくとも1つの画像を受け取るステップと、
前記少なくとも1つの画像が前記少なくとも1つの画像によって捉えられる物体に関連した要求に関連すると判定するステップと、
前記画像が前記物体に関連した前記要求に関連するとの判定に応じて、
前記少なくとも1つの画像に画像処理が行われるようにするステップと、
前記少なくとも1つの画像の前記画像処理に基づいて、前記要求を解決するために必要な少なくとも1つのパラメータが前記少なくとも1つの画像の前記画像処理に基づいて解決可能でないと判定するステップと、
前記少なくとも1つのパラメータが解決可能でないとの判定に応じて、
前記クライアント装置または追加クライアント装置を介する提示のために、前記少なくとも1つのパラメータに合わせて修正されるプロンプトを提供するステップと、
前記プロンプトに応じて、
前記カメラによって取得される追加画像と、
ユーザインタフェース入力と、
の少なくとも1つを受け取るステップと、
前記プロンプトに応じて受け取られる、前記追加画像および前記ユーザインタフェース入力の少なくとも1つに基づいて前記少なくとも1つのパラメータに対する所与の属性を解決するステップと、
前記所与の属性に基づいて前記要求を解決するステップと、を含む、
1つまたは複数のプロセッサによって実施される方法。 - 前記少なくとも1つの画像が前記少なくとも1つの画像によって捉えられる物体に関連した要求に関連すると判定するステップが、前記クライアント装置または前記追加クライアント装置からの1つまたは複数の信号に基づいて決定されるユーザコンテキストに基づく、
請求項17に記載の方法。 - 前記1つまたは複数の信号が少なくとも1つの場所信号を含む、
請求項18に記載の方法。 - 前記少なくとも1つの画像が前記少なくとも1つの画像によって捉えられる物体に関連した要求に関連すると判定するステップが、前記クライアント装置または前記追加クライアント装置のユーザインタフェース入力デバイスを介して受け取られる自然言語入力に基づく、
請求項17に記載の方法。 - 前記物体の分類属性に基づいて前記要求を解決するために必要な複数のパラメータを決定するステップであって、前記物体の前記分類属性が、前記少なくとも1つの初期画像の前記画像処理に基づいて解決される1つまたは複数の属性のうちの1つである、ステップ、をさらに含み、
前記少なくとも1つのパラメータが前記複数のパラメータのうちの1つであり、かつ前記少なくとも1つのパラメータが解決されないと判定するステップが、
前記少なくとも1つの初期画像の前記画像処理に基づいて解決される前記1つまたは複数の属性が前記少なくとも1つのパラメータを定義することができないと判定するステップ、を含む、
請求項17から20のいずれか一項に記載の方法。 - クライアント装置の自動アシスタントインタフェースを介して、ユーザによって与えられる自然言語入力を受け取るステップと、
前記自然言語入力が前記クライアント装置の環境内の物体に関連した要求を含むと判定するステップと、
前記自然言語入力が前記物体に関連した前記要求を含むとの判定に応じて、
前記クライアント装置または前記環境内の追加の電子装置のセンサによって取得される初期センサデータに処理が行われるようにするステップと、
前記初期センサデータの前記処理に基づいて解決される前記物体の1つまたは複数の初期属性に基づいて、前記要求が前記初期センサデータに基づいて解決可能でないと判定するステップと、
前記要求が解決可能でないとの判定に応じて、
前記クライアント装置の前記自動アシスタントインタフェースを介する前記ユーザへの提示ためにプロンプトを提供するステップと、
前記プロンプトに応じて自然言語入力または画像を受け取るステップと、
前記自然言語入力または前記画像に基づいて前記要求を解決するステップと、を含む、
1つまたは複数のプロセッサによって実施される方法。 - コンピューティング装置によって実行されると、前記コンピューティング装置に請求項1から22のいずれか一項に記載の方法を行わせる、任意選択でコンピュータ可読媒体に記憶される、
コンピュータ可読コード。 - 少なくとも1つのプロセッサおよび、コンピュータ可読コードが記憶された少なくとも1つのメモリを備える装置であって、前記コンピュータ可読コードが、前記少なくとも1つのプロセッサによって実行されると、前記装置に請求項1から22のいずれか一項に記載の方法を行わせる、
装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021087707A JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2022164139A JP2023001128A (ja) | 2017-05-16 | 2022-10-12 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762507153P | 2017-05-16 | 2017-05-16 | |
US62/507,153 | 2017-05-16 | ||
US15/631,274 US10275651B2 (en) | 2017-05-16 | 2017-06-23 | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
US15/631,274 | 2017-06-23 | ||
JP2019563496A JP6817467B2 (ja) | 2017-05-16 | 2018-05-15 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563496A Division JP6817467B2 (ja) | 2017-05-16 | 2018-05-15 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021087707A Division JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021061027A true JP2021061027A (ja) | 2021-04-15 |
JP6891337B2 JP6891337B2 (ja) | 2021-06-18 |
Family
ID=64271738
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563496A Active JP6817467B2 (ja) | 2017-05-16 | 2018-05-15 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2020213554A Active JP6891337B2 (ja) | 2017-05-16 | 2020-12-23 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2021087707A Active JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2022164139A Pending JP2023001128A (ja) | 2017-05-16 | 2022-10-12 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563496A Active JP6817467B2 (ja) | 2017-05-16 | 2018-05-15 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021087707A Active JP7159392B2 (ja) | 2017-05-16 | 2021-05-25 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
JP2022164139A Pending JP2023001128A (ja) | 2017-05-16 | 2022-10-12 | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 |
Country Status (6)
Country | Link |
---|---|
US (4) | US10275651B2 (ja) |
EP (2) | EP4206899A1 (ja) |
JP (4) | JP6817467B2 (ja) |
KR (2) | KR102097621B1 (ja) |
CN (2) | CN110637284B (ja) |
WO (1) | WO2018213321A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10275651B2 (en) | 2017-05-16 | 2019-04-30 | Google Llc | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
US11004444B2 (en) * | 2017-09-08 | 2021-05-11 | Amazon Technologies, Inc. | Systems and methods for enhancing user experience by communicating transient errors |
US10970552B2 (en) * | 2017-09-28 | 2021-04-06 | Gopro, Inc. | Scene classification for image processing |
US11487501B2 (en) * | 2018-05-16 | 2022-11-01 | Snap Inc. | Device control using audio data |
KR20210017087A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 음성 인식 방법 및 이를 지원하는 전자 장치 |
KR20210020219A (ko) * | 2019-08-13 | 2021-02-24 | 삼성전자주식회사 | 대용어(Co-reference)를 이해하는 전자 장치 및 그 제어 방법 |
US11036724B2 (en) | 2019-09-04 | 2021-06-15 | Microsoft Technology Licensing, Llc | Interactive visual search engine |
US11386144B2 (en) * | 2019-09-09 | 2022-07-12 | Adobe Inc. | Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network |
US11803887B2 (en) | 2019-10-02 | 2023-10-31 | Microsoft Technology Licensing, Llc | Agent selection using real environment interaction |
US11636438B1 (en) | 2019-10-18 | 2023-04-25 | Meta Platforms Technologies, Llc | Generating smart reminders by assistant systems |
US11567788B1 (en) | 2019-10-18 | 2023-01-31 | Meta Platforms, Inc. | Generating proactive reminders for assistant systems |
US10916241B1 (en) * | 2019-12-30 | 2021-02-09 | Capital One Services, Llc | Theme detection for object-recognition-based notifications |
CN111524518B (zh) * | 2020-04-01 | 2023-04-18 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
US11558546B2 (en) * | 2020-11-24 | 2023-01-17 | Google Llc | Conditional camera control via automated assistant commands |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110161076A1 (en) * | 2009-12-31 | 2011-06-30 | Davis Bruce L | Intuitive Computing Methods and Systems |
US20140201572A1 (en) * | 2013-01-13 | 2014-07-17 | International Business Machines Corporation | Provisioning virtual environments based on policies for troubleshooting purposes |
WO2015088141A1 (en) * | 2013-12-11 | 2015-06-18 | Lg Electronics Inc. | Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances |
US20160154996A1 (en) * | 2014-12-01 | 2016-06-02 | Lg Electronics Inc. | Robot cleaner and method for controlling a robot cleaner |
JP2016200666A (ja) * | 2015-04-08 | 2016-12-01 | 株式会社友功社 | 視覚障害者用商品説明システム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
JP2002228552A (ja) * | 2001-01-31 | 2002-08-14 | Mazda Motor Corp | 車両の遠隔故障診断用サーバ、車両の遠隔故障診断方法、遠隔故障診断用プログラム、車載の遠隔故障診断システム、及び、車両の遠隔故障診断システム |
US20060238550A1 (en) | 2005-03-17 | 2006-10-26 | Symagery Microsystems Inc. | Hands-free data acquisition system |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US8175617B2 (en) * | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
CA2792336C (en) * | 2010-03-19 | 2018-07-24 | Digimarc Corporation | Intuitive computing methods and systems |
RU2544824C2 (ru) * | 2010-05-17 | 2015-03-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Бытовое устройство, системы бытового устройства и способ приведения их в действие |
KR101275582B1 (ko) * | 2010-12-31 | 2013-06-17 | 엘지전자 주식회사 | 휴대 단말기의 동작방법 |
MX2012011426A (es) | 2011-09-30 | 2013-04-01 | Apple Inc | Utilizar informacion de contexto para facilitar el procesamiento de comandos en un asistente virtual. |
US9547647B2 (en) * | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US10424009B1 (en) * | 2013-02-27 | 2019-09-24 | Amazon Technologies, Inc. | Shopping experience using multiple computing devices |
WO2014150921A1 (en) * | 2013-03-15 | 2014-09-25 | William Martin | Cord and cable identification and tracking system |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US20150088923A1 (en) | 2013-09-23 | 2015-03-26 | Google Inc. | Using sensor inputs from a computing device to determine search query |
KR102212030B1 (ko) | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
US9633019B2 (en) * | 2015-01-05 | 2017-04-25 | International Business Machines Corporation | Augmenting an information request |
US20160225372A1 (en) * | 2015-02-03 | 2016-08-04 | Samsung Electronics Company, Ltd. | Smart home connected device contextual learning using audio commands |
US9697013B2 (en) * | 2015-06-10 | 2017-07-04 | Dell Products, L.P. | Systems and methods for providing technical support and exporting diagnostic data |
KR20170031558A (ko) * | 2015-09-11 | 2017-03-21 | 엘지전자 주식회사 | 이동 단말기, 및 홈 어플라이언스 |
GB2557532A (en) | 2015-10-21 | 2018-06-20 | Google Llc | Parameter collection and automatic dialog generation in dialog systems |
JP6693111B2 (ja) * | 2015-12-14 | 2020-05-13 | カシオ計算機株式会社 | 対話装置、ロボット、対話方法及びプログラム |
US20180053504A1 (en) * | 2016-08-19 | 2018-02-22 | Otis Elevator Company | Intention recognition for triggering voice recognition system |
US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
US10182153B2 (en) * | 2016-12-01 | 2019-01-15 | TechSee Augmented Vision Ltd. | Remote distance assistance system and method |
AU2018216823B2 (en) * | 2017-01-31 | 2020-10-15 | Genesys Cloud Services Holdings II, LLC | System and method for speech-based interaction resolution |
US10049276B1 (en) * | 2017-02-28 | 2018-08-14 | DISH Technologies L.L.C. | Augmented reality installation/troubleshooting assistance |
US10355931B2 (en) * | 2017-04-17 | 2019-07-16 | Essential Products, Inc. | Troubleshooting voice-enabled home setup |
US10275651B2 (en) | 2017-05-16 | 2019-04-30 | Google Llc | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
-
2017
- 2017-06-23 US US15/631,274 patent/US10275651B2/en active Active
-
2018
- 2018-05-15 EP EP22213539.4A patent/EP4206899A1/en active Pending
- 2018-05-15 CN CN201880032505.2A patent/CN110637284B/zh active Active
- 2018-05-15 EP EP18733009.7A patent/EP3612924A1/en not_active Withdrawn
- 2018-05-15 WO PCT/US2018/032786 patent/WO2018213321A1/en unknown
- 2018-05-15 JP JP2019563496A patent/JP6817467B2/ja active Active
- 2018-05-15 KR KR1020197035456A patent/KR102097621B1/ko active IP Right Grant
- 2018-05-15 KR KR1020207009097A patent/KR102290408B1/ko active IP Right Grant
- 2018-05-15 CN CN202011245475.9A patent/CN112445947A/zh active Pending
-
2019
- 2019-03-21 US US16/360,789 patent/US10867180B2/en active Active
-
2020
- 2020-11-10 US US17/093,880 patent/US11734926B2/en active Active
- 2020-12-23 JP JP2020213554A patent/JP6891337B2/ja active Active
-
2021
- 2021-05-25 JP JP2021087707A patent/JP7159392B2/ja active Active
-
2022
- 2022-10-12 JP JP2022164139A patent/JP2023001128A/ja active Pending
-
2023
- 2023-08-21 US US18/236,290 patent/US20230394816A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110161076A1 (en) * | 2009-12-31 | 2011-06-30 | Davis Bruce L | Intuitive Computing Methods and Systems |
US20140201572A1 (en) * | 2013-01-13 | 2014-07-17 | International Business Machines Corporation | Provisioning virtual environments based on policies for troubleshooting purposes |
WO2015088141A1 (en) * | 2013-12-11 | 2015-06-18 | Lg Electronics Inc. | Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances |
US20160154996A1 (en) * | 2014-12-01 | 2016-06-02 | Lg Electronics Inc. | Robot cleaner and method for controlling a robot cleaner |
JP2016200666A (ja) * | 2015-04-08 | 2016-12-01 | 株式会社友功社 | 視覚障害者用商品説明システム |
Also Published As
Publication number | Publication date |
---|---|
JP6891337B2 (ja) | 2021-06-18 |
US11734926B2 (en) | 2023-08-22 |
KR20190138888A (ko) | 2019-12-16 |
US10275651B2 (en) | 2019-04-30 |
JP7159392B2 (ja) | 2022-10-24 |
EP3612924A1 (en) | 2020-02-26 |
US20230394816A1 (en) | 2023-12-07 |
KR102097621B1 (ko) | 2020-04-06 |
US20190220667A1 (en) | 2019-07-18 |
CN110637284B (zh) | 2020-11-27 |
KR102290408B1 (ko) | 2021-08-18 |
CN110637284A (zh) | 2019-12-31 |
JP2020521167A (ja) | 2020-07-16 |
EP4206899A1 (en) | 2023-07-05 |
JP6817467B2 (ja) | 2021-01-20 |
US20210056310A1 (en) | 2021-02-25 |
KR20200037436A (ko) | 2020-04-08 |
JP2021120911A (ja) | 2021-08-19 |
WO2018213321A1 (en) | 2018-11-22 |
CN112445947A (zh) | 2021-03-05 |
US20180336414A1 (en) | 2018-11-22 |
US10867180B2 (en) | 2020-12-15 |
JP2023001128A (ja) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6891337B2 (ja) | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 | |
US11887595B2 (en) | User-programmable automated assistant | |
JP6947852B2 (ja) | 複数のコンピューティングデバイスを使用したインターホン式の通信 | |
US11626115B2 (en) | Voice to text conversion based on third-party agent content | |
JP2021166083A (ja) | 取得画像に関連したメタデータの記憶 | |
CN110770694A (zh) | 获得来自多个语料库的响应信息 | |
US11392213B2 (en) | Selective detection of visual cues for automated assistants | |
JP2021509749A (ja) | アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210121 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6891337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |