JP2022008901A - アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 - Google Patents
アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 Download PDFInfo
- Publication number
- JP2022008901A JP2022008901A JP2021164807A JP2021164807A JP2022008901A JP 2022008901 A JP2022008901 A JP 2022008901A JP 2021164807 A JP2021164807 A JP 2021164807A JP 2021164807 A JP2021164807 A JP 2021164807A JP 2022008901 A JP2022008901 A JP 2022008901A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- user
- computing device
- assistant application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims description 64
- 238000003860 storage Methods 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims 2
- 230000009471 action Effects 0.000 description 44
- 230000001755 vocal effect Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 235000013305 food Nutrition 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
Abstract
【解決手段】コンピューティングデバイスと、サーバデバイスと、複数のリモートデバイスとが、ネットワークを介して通信するシステムにおいて、コンピューティングデバイスは、画像を撮像するカメラと、表示デバイスと、スピーカと、命令を実行するプロセッサとを備える。プロセッサは、画像処理を行い、画像に基づいてオブジェクトを識別し、識別したオブジェクトに従い、画像ショートカットの生成を判断する。画像ショートカットは、ユーザが自動アシスタントアプリケーションに対し、以前に行った入力に基づき生成し、自動アシスタントアプリケーションによって一定のデータが表示デバイスおよび/またはスピーカに出力されるよう、レンダリングされる。
【選択図】図6
Description
102 コンピューティングデバイス
106 カメラ
108 表示デバイス
110 アシスタントインターフェース
112 サーバデバイス
114 画像処理エンジン
116 音声-テキストエンジン
118 アシスタントアプリケーション
120 画像ショートカット設定
122 ネットワーク
124 リモートデバイス
126 第1のリモートデバイス
128 第2のリモートデバイス
130 第Nのリモートデバイス
132 第1のデータ
134 第2のデータ
136 第Nのデータ
200 ビュー
202 コンピューティングデバイス
204 入力テキスト
206 インターフェース
208 マイクロフォン
210 ビュー
214 雲
300 ビュー
302 コンピューティングデバイス
304 マイクロフォン
306 ユーザ入力
308 バイクロック
310 インターフェース
312 バイクタイヤ
314 ビュー
316 出力
400 ビュー
402 コンピューティングデバイス
404 マイクロフォン
406 テキスト入力
408 列車の駅
410 インターフェース
412 ビュー
414 出力
500 ビュー
502 コンピューティングデバイス
504 マイクロフォン
506 コマンド
508 ユーザ
510 インターフェース
512 鏡
514 出力
516 ビュー
810 コンピュータシステム
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェース、ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 ストレージサブシステム
825 メモリサブシステム、メモリ
826 ファイルストレージサブシステム
830 RAM、メインランダムアクセスメモリ
832 ROM、リードオンリメモリ
Claims (20)
- カメラと、
マイクロフォンと、
表示デバイスと、
スピーカと、
前記カメラ、前記マイクロフォン、前記表示デバイス、および前記スピーカと通信する1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによる実行時に、前記1つまたは複数のプロセッサに、以下の動作を行わせるための命令を格納するように構成されたメモリとを備えた、コンピューティングデバイスであって、前記動作が、
前記カメラによって提供された画像に基づいてオブジェクト識別子を生成することであって、
前記画像が前記オブジェクト識別子に対応するオブジェクトを特徴付け、
前記オブジェクト識別子を生成することが、1つまたは複数の画像処理技術を使用して前記1つまたは複数のプロセッサによって前記画像を処理することを含む、ことと、
前記画像に基づいて生成された前記オブジェクト識別子を使用して、前記オブジェクト識別子が画像ショートカット設定に対応すると判断することであって、
前記画像ショートカット設定が、前記コンピューティングデバイスの自動アシスタントアプリケーションに、前記オブジェクトが前記カメラによって提供された1つまたは複数の画像に現れることに応答して一定のデータをレンダリングさせ、
前記画像ショートカット設定が、ユーザから前記自動アシスタントアプリケーションへの1つまたは複数の以前の入力に応答して生成される、ことと、
前記オブジェクト識別子が前記画像ショートカット設定に対応することに基づいて、前記自動アシスタントアプリケーションに前記表示デバイスおよび/または前記スピーカを介して前記一定のデータをレンダリングさせることと
を含む、コンピューティングデバイス。 - 前記一定のデータの少なくとも一部が、前記コンピューティングデバイスの別個のアプリケーションから受信され、前記別個のアプリケーションが、前記自動アシスタントアプリケーションとは異なる、請求項1に記載のコンピューティングデバイス。
- 前記動作がさらに、
前記画像に基づいて前記オブジェクト識別子を生成する前に、前記画像ショートカット設定を生成することを含み、前記画像ショートカット設定を生成することが、
前記カメラが前記オブジェクトに向けられている間に前記ユーザからの発言された発話を受け取ることと、
前記発言された発話を受け取ることに応答して、前記発言された発話の自然言語内容が、前記オブジェクトを識別する用語を含むとともに、前記オブジェクトに対応する前記画像ショートカット設定を作成するための要求を含んでいると判断することと、
前記発言された発話が前記用語および前記要求を含むとの判断に基づいて、前記画像ショートカット設定を生成することと
を含む、請求項1に記載のコンピューティングデバイス。 - 前記カメラが前記表示デバイスにレンダリングされるリアルタイム画像フィードを提供する、請求項1に記載のコンピューティングデバイス。
- 前記一定のデータが前記表示デバイスを介してレンダリングされ、前記自動アシスタントアプリケーションに前記表示デバイスを介して前記一定のデータをレンダリングさせることが、
前記リアルタイム画像フィードが前記表示デバイスにレンダリングされるのと同時に前記一定のデータを前記表示デバイスにレンダリングさせることを含む、請求項4に記載のコンピューティングデバイス。 - 前記動作はさらに、
前記オブジェクト識別子を生成することに基づいて前記オブジェクトが位置する環境のコンテキストを判断することであって、前記自動アシスタントアプリケーションによってレンダリングされた前記一定のデータが前記環境の前記コンテキストに基づく、ことを含む、請求項1に記載のコンピューティングデバイス。 - 前記コンテキストが、前記オブジェクトが前記環境にある間に前記画像が前記カメラによってキャプチャされた時間を含む、請求項6に記載のコンピューティングデバイス。
- 1つまたは複数のプロセッサによって実行される方法であって、
前記1つまたは複数のプロセッサに接続したカメラによって提供された画像に基づいてオブジェクト識別子を生成するステップであって、
前記画像が前記オブジェクト識別子に対応するオブジェクトを特徴付け、
前記オブジェクト識別子を生成するステップが、1つまたは複数の画像処理技術を使用して前記1つまたは複数のプロセッサによって前記画像を処理するステップを含む、ステップと、
前記画像に基づいて生成された前記オブジェクト識別子を使用して、前記オブジェクト識別子が画像ショートカット設定に対応すると判断するステップであって、
前記画像ショートカット設定が、自動アシスタントアプリケーションに、前記オブジェクトが前記カメラによって提供された1つまたは複数の画像に現れることに応答して一定のデータをレンダリングさせ、
前記画像ショートカット設定が、ユーザから前記自動アシスタントアプリケーションへの1つまたは複数の以前の入力に応答して生成される、ステップと、
前記オブジェクト識別子が前記画像ショートカット設定に対応することに基づいて、前記自動アシスタントアプリケーションに表示デバイスおよび/またはスピーカを介して前記一定のデータをレンダリングさせるステップと
を含む、方法。 - 前記一定のデータの少なくとも一部が、前記自動アシスタントアプリケーションと異なる別個のアプリケーションから受信される、請求項8に記載の方法。
- 前記方法はさらに、
前記画像に基づいて前記オブジェクト識別子を生成する前に、前記画像ショートカット設定を生成するステップを含み、前記画像ショートカット設定を生成するステップが、
前記カメラが前記オブジェクトに向けられている間に前記ユーザからの発言された発話を受け取るステップと、
前記発言された発話を受け取ることに応答して、前記発言された発話の自然言語内容が、前記オブジェクトを識別する用語を含むとともに、前記オブジェクトに対応する前記画像ショートカット設定を作成するための要求を含んでいると判断するステップと、
前記発言された発話が前記用語および前記要求を含むとの判断に基づいて、前記画像ショートカット設定を生成するステップと
を含む、請求項8に記載の方法。 - 前記カメラが前記表示デバイスにレンダリングされるリアルタイム画像フィードを提供する、請求項8に記載の方法。
- 前記一定のデータが前記表示デバイスを介してレンダリングされ、前記自動アシスタントアプリケーションに前記表示デバイスを介して前記一定のデータをレンダリングさせるステップが、
前記リアルタイム画像フィードが前記表示デバイスにレンダリングされるのと同時に前記一定のデータを前記表示デバイスにレンダリングさせるステップを含む、請求項11に記載の方法。 - 前記方法はさらに、
前記オブジェクト識別子を生成することに基づいて前記オブジェクトが位置する環境のコンテキストを判断するステップであって、前記自動アシスタントアプリケーションによってレンダリングされた前記一定のデータが前記環境の前記コンテキストに基づく、ステップを含む、請求項8に記載の方法。 - 前記コンテキストが、前記オブジェクトが前記環境にある間に前記画像が前記カメラによってキャプチャされた時間を含む、請求項13に記載の方法。
- コンピューティングデバイスに含まれる1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに以下の動作を行わせる命令を格納するように構成された、コンピュータ可読記憶媒体であって、
前記動作が、
前記1つまたは複数のプロセッサに接続したカメラによって提供された画像に基づいてオブジェクト識別子を生成することであって、
前記画像が前記オブジェクト識別子に対応するオブジェクトを特徴付け、
前記オブジェクト識別子を生成することが、1つまたは複数の画像処理技術を使用して前記1つまたは複数のプロセッサによって前記画像を処理することを含む、ことと、
前記画像に基づいて生成された前記オブジェクト識別子を使用して、前記オブジェクト識別子が画像ショートカット設定に対応すると判断することであって、
前記画像ショートカット設定が、自動アシスタントアプリケーションに、前記オブジェクトが前記カメラによって提供された1つまたは複数の画像に現れることに応答して一定のデータをレンダリングさせ、
前記画像ショートカット設定が、ユーザから前記自動アシスタントアプリケーションへの1つまたは複数の以前の入力に応答して生成される、ことと、
前記オブジェクト識別子が前記画像ショートカット設定に対応することに基づいて、前記自動アシスタントアプリケーションに表示デバイスおよび/またはスピーカを介して前記一定のデータをレンダリングさせることと
を含む、コンピュータ可読記憶媒体。 - 前記一定のデータの少なくとも一部が、前記自動アシスタントアプリケーションと異なる別個のアプリケーションから受信される、請求項15に記載のコンピュータ可読記憶媒体。
- 前記動作がさらに、
前記画像に基づいて前記オブジェクト識別子を生成する前に、前記画像ショートカット設定を生成することを含み、前記画像ショートカット設定を生成することが、
前記カメラが前記オブジェクトに向けられている間に前記ユーザからの発言された発話を受け取ることと、
前記発言された発話を受け取ることに応答して、前記発言された発話の自然言語内容が、前記オブジェクトを識別する用語を含むとともに、前記オブジェクトに対応する前記画像ショートカット設定を作成するための要求を含んでいると判断することと、
前記発言された発話が前記用語および前記要求を含むとの判断に基づいて、前記画像ショートカット設定を生成することと
を含む、請求項15に記載のコンピュータ可読記憶媒体。 - 前記カメラが前記表示デバイスにレンダリングされるリアルタイム画像フィードを提供する、請求項15に記載のコンピュータ可読記憶媒体。
- 前記一定のデータが前記表示デバイスを介してレンダリングされ、前記自動アシスタントアプリケーションに前記表示デバイスを介して前記一定のデータをレンダリングさせることが、
前記リアルタイム画像フィードが前記表示デバイスにレンダリングされるのと同時に前記一定のデータを前記表示デバイスにレンダリングさせることを含む、請求項18に記載のコンピュータ可読記憶媒体。 - 前記動作はさらに、
前記オブジェクト識別子を生成することに基づいて前記オブジェクトが位置する環境のコンテキストを判断することであって、前記自動アシスタントアプリケーションによってレンダリングされた前記一定のデータが、前記オブジェクトが前記環境にある間に前記画像が前記カメラによってキャプチャされた時間に基づく、ことを含む、請求項15に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/700,104 | 2017-09-09 | ||
US15/700,104 US10366291B2 (en) | 2017-09-09 | 2017-09-09 | Systems, methods, and apparatus for providing image shortcuts for an assistant application |
JP2019568314A JP6961019B2 (ja) | 2017-09-09 | 2018-09-07 | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 |
PCT/US2018/050039 WO2019051287A1 (en) | 2017-09-09 | 2018-09-07 | SYSTEMS, METHODS AND APPARATUS FOR PROVIDING IMAGE SHORTCUTS FOR AN ASSISTANT APPLICATION |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568314A Division JP6961019B2 (ja) | 2017-09-09 | 2018-09-07 | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022008901A true JP2022008901A (ja) | 2022-01-14 |
JP7048806B2 JP7048806B2 (ja) | 2022-04-05 |
Family
ID=63858030
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568314A Active JP6961019B2 (ja) | 2017-09-09 | 2018-09-07 | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 |
JP2021164807A Active JP7048806B2 (ja) | 2017-09-09 | 2021-10-06 | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568314A Active JP6961019B2 (ja) | 2017-09-09 | 2018-09-07 | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 |
Country Status (6)
Country | Link |
---|---|
US (5) | US10366291B2 (ja) |
EP (2) | EP3532920B1 (ja) |
JP (2) | JP6961019B2 (ja) |
KR (4) | KR102420118B1 (ja) |
CN (1) | CN110730938B (ja) |
WO (1) | WO2019051287A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366291B2 (en) | 2017-09-09 | 2019-07-30 | Google Llc | Systems, methods, and apparatus for providing image shortcuts for an assistant application |
KR102397886B1 (ko) * | 2017-12-06 | 2022-05-13 | 삼성전자주식회사 | 전자 장치, 사용자 단말 장치 및 그 제어 방법 |
EP3721428A4 (en) * | 2018-03-08 | 2021-01-27 | Samsung Electronics Co., Ltd. | INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE |
US10747929B1 (en) * | 2019-01-23 | 2020-08-18 | Xilinx, Inc. | Resolving timing violations in multi-die circuit designs |
KR102657519B1 (ko) * | 2019-02-08 | 2024-04-15 | 삼성전자주식회사 | 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법 |
CN111832360A (zh) * | 2019-04-19 | 2020-10-27 | 北京三星通信技术研究有限公司 | 提示信息的处理方法、装置、电子设备以及可读存储介质 |
KR20210017087A (ko) | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 음성 인식 방법 및 이를 지원하는 전자 장치 |
US11675996B2 (en) * | 2019-09-13 | 2023-06-13 | Microsoft Technology Licensing, Llc | Artificial intelligence assisted wearable |
US11567788B1 (en) | 2019-10-18 | 2023-01-31 | Meta Platforms, Inc. | Generating proactive reminders for assistant systems |
US11636438B1 (en) | 2019-10-18 | 2023-04-25 | Meta Platforms Technologies, Llc | Generating smart reminders by assistant systems |
US11921773B1 (en) * | 2019-12-31 | 2024-03-05 | Snap Inc. | System to generate contextual queries |
US11194468B2 (en) * | 2020-05-11 | 2021-12-07 | Aron Ezra | Systems and methods for non-contacting interaction with user terminals |
US11748660B2 (en) * | 2020-09-17 | 2023-09-05 | Google Llc | Automated assistant training and/or execution of inter-user procedures |
KR20220082258A (ko) * | 2020-12-10 | 2022-06-17 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 기억 서비스를 제공하는 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090237546A1 (en) * | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
WO2014181380A1 (ja) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置およびアプリケーション実行方法 |
JP2015228097A (ja) * | 2014-05-30 | 2015-12-17 | 株式会社ニコン | 電子機器、電子機器システム及びプログラム |
WO2017070121A1 (en) * | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
JP2017120556A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム |
JP2017523492A (ja) * | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080026750A1 (en) * | 2006-07-27 | 2008-01-31 | Harris John M | Method and system for managing allocation of connection identifiers (CIDs) to a wireless device in a network |
US20080267504A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search |
US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
US8929877B2 (en) * | 2008-09-12 | 2015-01-06 | Digimarc Corporation | Methods and systems for content processing |
US9858925B2 (en) * | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
WO2011106520A1 (en) * | 2010-02-24 | 2011-09-01 | Ipplex Holdings Corporation | Augmented reality panorama supporting visually impaired individuals |
US8473289B2 (en) * | 2010-08-06 | 2013-06-25 | Google Inc. | Disambiguating input based on context |
EP2500511A1 (en) * | 2011-03-17 | 2012-09-19 | Vetco Gray Controls Limited | Supplying electrical power in a hydrocarbon well installation |
US8723962B2 (en) * | 2011-12-13 | 2014-05-13 | International Business Machines Corporation | Camera based information exchange mechanism |
KR102023601B1 (ko) * | 2013-04-04 | 2019-09-23 | 삼성전자 주식회사 | 휴대단말장치의 사고 방지 방법 및 장치 |
US10564815B2 (en) * | 2013-04-12 | 2020-02-18 | Nant Holdings Ip, Llc | Virtual teller systems and methods |
US20150123992A1 (en) * | 2013-11-04 | 2015-05-07 | Qualcomm Incorporated | Method and apparatus for heads-down display |
US9823811B2 (en) * | 2013-12-31 | 2017-11-21 | Next It Corporation | Virtual assistant team identification |
US9111214B1 (en) * | 2014-01-30 | 2015-08-18 | Vishal Sharma | Virtual assistant system to remotely control external services and selectively share control |
US20150286698A1 (en) * | 2014-04-07 | 2015-10-08 | Microsoft Corporation | Reactive digital personal assistant |
US8995972B1 (en) * | 2014-06-05 | 2015-03-31 | Grandios Technologies, Llc | Automatic personal assistance between users devices |
US9866927B2 (en) * | 2016-04-22 | 2018-01-09 | Microsoft Technology Licensing, Llc | Identifying entities based on sensor data |
US10257314B2 (en) * | 2016-06-22 | 2019-04-09 | Microsoft Technology Licensing, Llc | End-to-end user experiences with a digital assistant |
US20180121432A1 (en) * | 2016-11-02 | 2018-05-03 | Microsoft Technology Licensing, Llc | Digital assistant integration with music services |
US10228931B2 (en) * | 2016-11-07 | 2019-03-12 | Microsoft Technology Licensing, Llc | Peripheral device support with a digital assistant for operating system upgrades |
US10810912B2 (en) * | 2017-03-15 | 2020-10-20 | Aether Inc. | Face recognition triggered digital assistant and LED light ring for a smart mirror |
US10853717B2 (en) * | 2017-04-11 | 2020-12-01 | Microsoft Technology Licensing, Llc | Creating a conversational chat bot of a specific person |
DK179560B1 (en) * | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20180336045A1 (en) * | 2017-05-17 | 2018-11-22 | Google Inc. | Determining agents for performing actions based at least in part on image data |
US10366291B2 (en) | 2017-09-09 | 2019-07-30 | Google Llc | Systems, methods, and apparatus for providing image shortcuts for an assistant application |
US20190095069A1 (en) * | 2017-09-25 | 2019-03-28 | Motorola Solutions, Inc | Adaptable interface for retrieving available electronic digital assistant services |
US10462359B1 (en) * | 2018-04-13 | 2019-10-29 | Adobe Inc. | Image composition instruction based on reference image perspective |
US10860096B2 (en) * | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
US20220254190A1 (en) * | 2019-08-14 | 2022-08-11 | Google Llc | Systems and Methods Using Person Recognizability Across a Network of Devices |
-
2017
- 2017-09-09 US US15/700,104 patent/US10366291B2/en active Active
-
2018
- 2018-09-07 WO PCT/US2018/050039 patent/WO2019051287A1/en unknown
- 2018-09-07 KR KR1020217028074A patent/KR102420118B1/ko active IP Right Grant
- 2018-09-07 EP EP18786451.7A patent/EP3532920B1/en active Active
- 2018-09-07 JP JP2019568314A patent/JP6961019B2/ja active Active
- 2018-09-07 KR KR1020237007003A patent/KR102634734B1/ko active IP Right Grant
- 2018-09-07 KR KR1020197036639A patent/KR102300076B1/ko active IP Right Grant
- 2018-09-07 EP EP22213218.5A patent/EP4180952A1/en active Pending
- 2018-09-07 KR KR1020227023424A patent/KR102505903B1/ko active IP Right Grant
- 2018-09-07 CN CN201880038680.2A patent/CN110730938B/zh active Active
-
2019
- 2019-07-02 US US16/459,869 patent/US10657374B2/en active Active
-
2020
- 2020-04-16 US US16/850,294 patent/US11361539B2/en active Active
-
2021
- 2021-10-06 JP JP2021164807A patent/JP7048806B2/ja active Active
-
2022
- 2022-06-13 US US17/838,914 patent/US11600065B2/en active Active
-
2023
- 2023-03-06 US US18/117,798 patent/US11908187B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090237546A1 (en) * | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
WO2014181380A1 (ja) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置およびアプリケーション実行方法 |
JP2015228097A (ja) * | 2014-05-30 | 2015-12-17 | 株式会社ニコン | 電子機器、電子機器システム及びプログラム |
JP2017523492A (ja) * | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
WO2017070121A1 (en) * | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
JP2017120556A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム |
Non-Patent Citations (3)
Title |
---|
ANTONIO VILLAS-BOAS, GOOGLE'S NEW LENS PRODUCT USES YOUR PHONE'S CAMERA TO DO CLEVER TRICKS, LIKE CONNECTING YOUR PHONE T, JPN6021010831, 18 May 2017 (2017-05-18), ISSN: 0004633836 * |
MIKE MURPHY, HERE'S EVERYTHING GOOGLE ANNOUNCED AT ITS BIG I/O CONFERENCE, JPN6021010829, 18 May 2017 (2017-05-18), US, ISSN: 0004633835 * |
杉村啓, セカイカメラ入門——世界にタグをつけまくろう, JPN6021010833, 30 September 2009 (2009-09-30), JP, ISSN: 0004633837 * |
Also Published As
Publication number | Publication date |
---|---|
US20190325222A1 (en) | 2019-10-24 |
JP6961019B2 (ja) | 2021-11-05 |
US20200250433A1 (en) | 2020-08-06 |
JP2020530603A (ja) | 2020-10-22 |
KR102634734B1 (ko) | 2024-02-07 |
KR20220103194A (ko) | 2022-07-21 |
KR20200007012A (ko) | 2020-01-21 |
US11600065B2 (en) | 2023-03-07 |
KR20230034439A (ko) | 2023-03-09 |
US10366291B2 (en) | 2019-07-30 |
US11908187B2 (en) | 2024-02-20 |
US20220309788A1 (en) | 2022-09-29 |
KR102505903B1 (ko) | 2023-03-06 |
JP7048806B2 (ja) | 2022-04-05 |
KR20210112405A (ko) | 2021-09-14 |
US11361539B2 (en) | 2022-06-14 |
CN110730938A (zh) | 2020-01-24 |
US20230206628A1 (en) | 2023-06-29 |
EP3532920B1 (en) | 2023-03-15 |
US20190080168A1 (en) | 2019-03-14 |
EP3532920A1 (en) | 2019-09-04 |
KR102300076B1 (ko) | 2021-09-08 |
EP4180952A1 (en) | 2023-05-17 |
WO2019051287A1 (en) | 2019-03-14 |
US10657374B2 (en) | 2020-05-19 |
KR102420118B1 (ko) | 2022-07-12 |
CN110730938B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7048806B2 (ja) | アシスタントアプリケーションのための画像ショートカットを提供するシステム、方法、および装置 | |
KR102408926B1 (ko) | 자동으로 액션 그룹을 커스터마이징하도록 구성된 가상 어시스턴트 | |
CN109952572B (zh) | 基于消息贴纸的建议响应 | |
KR102661487B1 (ko) | 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출 | |
JP7461405B2 (ja) | 画像応答自動アシスタントのためのシステム、方法、および装置 | |
US11425336B2 (en) | Systems and methods for dynamically concealing sensitive information | |
CN112272846A (zh) | 用于调用自动助理的动态的和/或特定于场境的热词 | |
CN110637295A (zh) | 存储与捕获图像相关的元数据 | |
CN112639718A (zh) | 自动化助手功能的免热词调配 | |
KR20230121930A (ko) | 감지된 입 움직임 및/또는 시선을 기반으로 자동화된어시스턴트 적응 | |
JP7471371B2 (ja) | アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択 | |
KR20240067114A (ko) | 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |