JP2021501926A - 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 - Google Patents
音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 Download PDFInfo
- Publication number
- JP2021501926A JP2021501926A JP2020516510A JP2020516510A JP2021501926A JP 2021501926 A JP2021501926 A JP 2021501926A JP 2020516510 A JP2020516510 A JP 2020516510A JP 2020516510 A JP2020516510 A JP 2020516510A JP 2021501926 A JP2021501926 A JP 2021501926A
- Authority
- JP
- Japan
- Prior art keywords
- responses
- data processing
- processing system
- component
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 271
- 238000000034 method Methods 0.000 claims abstract description 154
- 230000005236 sound signal Effects 0.000 claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims description 301
- 239000003086 colorant Substances 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 26
- 238000004590 computer program Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 235000013305 food Nutrition 0.000 description 15
- 230000003993 interaction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 235000013361 beverage Nutrition 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 235000013550 pizza Nutrition 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 235000012020 french fries Nutrition 0.000 description 3
- 235000015220 hamburgers Nutrition 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000012771 pancakes Nutrition 0.000 description 3
- 235000015927 pasta Nutrition 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 235000012773 waffles Nutrition 0.000 description 3
- 244000035744 Hura crepitans Species 0.000 description 2
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 101001135056 Rhizobium meliloti (strain 1021) Apolipoprotein N-acyltransferase Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000014080 ginger ale Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015205 orange juice Nutrition 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000008213 purified water Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000014214 soft drink Nutrition 0.000 description 1
- 235000011496 sports drink Nutrition 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/53—Network services using third party service providers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
Abstract
Description
102 データ処理システム
104 クライアントコンピューティングデバイス、コンピューティングデバイス
105 ネットワーク
106 コンテンツプロバイダコンピューティングデバイス、コンテンツプロバイダ、コンテンツプロバイダデバイス
108 チャットボットプロバイダデバイス、チャットボットプロバイダ、チャットボットプロバイダコンピューティングデバイス、サードパーティチャットボットプロバイダデバイス、サードパーティチャットボットプロバイダ
110 インターフェース
112 自然言語プロセッサ構成要素、NLP構成要素
114 チャットボット構成要素
116 フック構成要素
118 コンテンツセレクタ構成要素
120 出力合併構成要素
122 データリポジトリ
124 テンプレート、テンプレートデータ構造
126 履歴データ
128 コンテンツデータ
130 チャットボットデータ、チャットボットデータ構造
132 ディスプレイ、ディスプレイデバイス
134 センサ
136 トランスデューサ
138 オーディオドライバ
140 プリプロセッサ
142 チャットボットプロバイダ自然言語プロセッサ構成要素、チャットボットプロバイダ自然言語プロセッサ(NLP)構成要素、チャットボットプロバイダNLP構成要素、チャットボットプロバイダNLP、NLP構成要素、会話API
144 チャットボットプロバイダインターフェース
146 グラフィックスドライバ
200 システム
300 グラフィカルユーザインターフェース
302 アイコン
304 テキストボックス、入力クエリ
306 デジタルアシスタント
308 テキストボックス
310 アイコン、フードボット
312 テキストボックス
314 表示出力
314a 応答
314b 応答
314c 応答
314d デジタル構成要素
316 テキスト
318 レストラン、テキスト
320 アイコン
322 アイコン
324 スポンサー付きデジタル構成要素
400 方法
500 コンピュータシステム、コンピュータシステムまたはコンピューティングデバイス、システム、コンピューティングシステム
505 バス
510 プロセッサ
515 メインメモリ
520 読み出し専用メモリ(ROM)
525 記憶デバイス
530 入力デバイス
535 ディスプレイ
Claims (20)
- 音声駆動コンピューティング環境におけるグラフィカルユーザインターフェースのレンダリングを管理するシステムであって、
自然言語プロセッサ構成要素とインターフェースと出力合併構成要素とコンテンツセレクタ構成要素とを実行するために、1つまたは複数のプロセッサとメモリとを有するデータ処理システムを備え、前記データ処理システムが、
前記インターフェースを介して、コンピューティングデバイスのセンサによって検出された入力オーディオ信号を備えるデータパケットを受信し、
前記入力オーディオ信号から、アプリケーション識別子と第1のクエリとを決定し、
前記第1のクエリと前記コンピューティングデバイスに関連する情報とに基づいて第2のクエリを生成し、
前記コンピューティングデバイスを介する表示のための前記第2のクエリに対する複数の応答をアプリケーションに識別させるために、前記アプリケーション識別子に対応する前記アプリケーションを提供するサードパーティサーバに前記第2のクエリを提供し、
前記コンピューティングデバイスにおける表示の前に前記アプリケーションから、前記サードパーティサーバに送信された前記第2のクエリに応答して前記アプリケーションによって識別された前記複数の応答を取得し、
前記複数の応答に基づいてキーワードを生成するために、前記複数の応答を構文解析し、
前記キーワードの生成に応答して、前記サードパーティサーバから取得された前記複数の応答に基づいて生成された前記キーワードを用いてリアルタイムコンテンツ選択プロセスを実行し、
前記リアルタイムコンテンツ選択プロセスに基づいて、コンテンツプロバイダデバイスによって提供されるデジタル構成要素を識別し、
前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて重複排除プロセスを実行し、
前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて実行された前記重複排除プロセスに応答して、前記デジタル構成要素を前記複数の応答に追加することを決定し、
前記アプリケーションに対して、前記複数の応答をレンダリングするためにフォント、色、およびレイアウトを定義するグラフィカルユーザインターフェーステンプレートを検索し、
前記アプリケーションによって生成された前記複数の応答を前記リアルタイムコンテンツ選択プロセスに基づいて識別された前記デジタル構成要素と統合する前記グラフィカルユーザインターフェーステンプレートを使用して表示出力を構築し、
前記コンピューティングデバイスに通信可能に結合されたディスプレイデバイスを介する表示のための前記表示出力を前記コンピューティングデバイスにレンダリングさせるために、前記コンピューティングデバイスに前記表示出力を提供する、
システム。 - 前記データ処理システムが、
位置関連用語を識別するために前記第1のクエリを構文解析し、
前記位置関連用語の識別に基づいて、前記コンピューティングデバイスの位置を決定し、
前記第2のクエリを生成するために、前記コンピューティングデバイスの前記位置を前記第1のクエリに挿入する、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記アプリケーションを提供する前記サードパーティサーバに、前記グラフィカルユーザインターフェーステンプレートに対する要求を送信し、
前記要求に応答して、前記グラフィカルユーザインターフェーステンプレートを受信し、
前記グラフィカルユーザインターフェーステンプレートを前記データ処理システムのデータリポジトリ内に記憶する、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記デジタル構成要素を前記表示出力のための前記複数の応答と統合するために、前記デジタル構成要素の前記フォントおよび前記色のうちの少なくとも1つを変更する、
請求項1に記載のシステム。 - 前記アプリケーションが、前記サードパーティサーバによって提供されたサードパーティチャットボットを備える、請求項1に記載のシステム。
- 前記データ処理システムが、
前記複数の応答間の位置を選択し、
前記表示出力を構築するために、前記デジタル構成要素を前記複数の応答間の前記位置に追加する、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記アプリケーションの複数のインスタンスから収集された過去のパフォーマンスデータを用いて生成された機械学習モデルに基づいて、前記複数の応答間の位置を選択し、
前記表示出力を構築するために、前記デジタル構成要素を前記複数の応答間の前記位置に追加する、
請求項1に記載のシステム。 - 前記データ処理システムが、前記キーワードを識別するために、意味論的分析技法を使用して前記複数の応答の各々を構文解析する、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記アプリケーション識別子と前記コンピューティングデバイスの識別子とから形成されたタプルを生成し、
前記アプリケーション識別子と前記コンピューティングデバイスの識別子とから形成された前記タプルに基づいて、前記グラフィカルユーザインターフェーステンプレートを選択する、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記コンピューティングデバイスの前記センサによって検出された第2の入力信号に基づいて選択された第2の複数の応答に応答して第2のデジタル構成要素を受信し、
前記第2のデジタル構成要素と、前記アプリケーションによって生成された前記第2の複数の応答とを用いて第2の重複排除プロセスを実行し、
前記デジタル構成要素と、前記アプリケーションによって生成された前記複数の応答とを用いて実行された前記第2の重複排除プロセスに応答して、前記第2のデジタル構成要素が前記第2の複数の応答のうちの1つと一致すると判定し、
前記第2の複数の応答への前記第2のデジタル構成要素の追加をブロックする、
請求項1に記載のシステム。 - 前記データ処理システムが、
前記コンピューティングデバイスの前記センサによって検出された第2の入力信号に基づいて選択された第2の複数の応答に応答して第2のデジタル構成要素を受信し、
前記第2のデジタル構成要素と、前記アプリケーションによって生成された前記第2の複数の応答とを用いて第2の重複排除プロセスを実行し、
前記デジタル構成要素と、前記アプリケーションによって生成された前記複数の応答とを用いて実行された前記第2の重複排除プロセスに応答して、前記第2のデジタル構成要素が前記第2の複数の応答のうちの1つと一致すると判定し、
前記第2のデジタル構成要素が前記第2の複数の応答のうちの1つと一致するという判定に応答して、第3のデジタル構成要素を選択し、
前記ディスプレイデバイスを介する表示のための前記第3のデジタル構成要素を前記第2の複数の応答に追加する、
請求項1に記載のシステム。 - 音声駆動コンピューティング環境においてグラフィカルユーザインターフェースのレンダリングを管理する方法であって、
1つまたは複数のプロセッサを備えるデータ処理システムのインターフェースを介して、コンピューティングデバイスのセンサによって検出された入力オーディオ信号を備えるデータパケットを受信するステップと、
前記データ処理システムによって、前記入力オーディオ信号から、アプリケーション識別子と、前記アプリケーション識別子に対応するアプリケーションに入力するための第1のクエリとを決定するステップと、
前記データ処理システムによって、前記第1のクエリに基づいて第2のクエリを生成するステップと、
前記データ処理システムによって、前記コンピューティングデバイスを介する表示のための前記第2のクエリに対する複数の応答をサードパーティサーバに識別させるために、前記第2のクエリを前記サードパーティサーバに提供するステップと、
前記データ処理システムによって、前記コンピューティングデバイスにおける表示の前に前記アプリケーションから、前記サードパーティサーバに送信された前記第2のクエリに応答して前記アプリケーションによって識別された前記複数の応答を取得するステップと、
前記データ処理システムによって、前記複数の応答に基づいてキーワードを生成するために、前記複数の応答を構文解析するステップと、
前記データ処理システムによって、前記キーワードの生成に応答して、前記アプリケーションから傍受された前記複数の応答に基づいて生成された前記キーワードを用いてリアルタイムコンテンツ選択プロセスを実行するステップと、
前記データ処理システムによって、前記リアルタイムコンテンツ選択プロセスに基づいて、コンテンツプロバイダデバイスによって提供されるデジタル構成要素を識別するステップと、
前記データ処理システムによって、前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて重複排除プロセスを実行するステップと、
前記データ処理システムによって、前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて実行された前記重複排除プロセスに応答して、前記デジタル構成要素を前記複数の応答に追加することを決定するステップと、
前記データ処理システムによって、前記アプリケーションに対して、前記複数の応答をレンダリングするためにフォント、色、およびレイアウトを定義するグラフィカルユーザインターフェーステンプレートを検索するステップと、
前記データ処理システムによって、前記アプリケーションによって生成された前記複数の応答を前記リアルタイムコンテンツ選択プロセスに基づいて識別された前記デジタル構成要素と統合する前記グラフィカルユーザインターフェーステンプレートを使用して表示出力を構築するステップと、
前記データ処理システムによって、前記コンピューティングデバイスに通信可能に結合されたディスプレイデバイスを介する表示のための前記表示出力を前記コンピューティングデバイスにレンダリングさせるために、前記コンピューティングデバイスに前記表示出力を提供するステップと
を含む、方法。 - 前記デジタル構成要素を前記表示出力のための前記複数の応答と統合するために、前記デジタル構成要素の前記フォントおよび前記色のうちの少なくとも1つを変更するステップを含む、請求項12に記載の方法。
- 前記アプリケーションが、前記サードパーティサーバによって提供されたサードパーティチャットボットを備える、請求項12に記載の方法。
- 前記複数の応答間の位置を選択するステップと、
前記表示出力を構築するために、前記デジタル構成要素を前記複数の応答間の前記位置に追加するステップと
を含む、請求項12に記載の方法。 - 前記アプリケーションの複数のインスタンスから収集された過去のパフォーマンスデータを用いて生成された機械学習モデルに基づいて、前記複数の応答間の位置を選択するステップと、
前記表示出力を構築するために、前記デジタル構成要素を前記複数の応答間の前記位置に追加するステップと
を含む、請求項12に記載の方法。 - 前記キーワードを識別するために、意味論的分析技法を使用して前記複数の応答の各々を構文解析するステップを含む、請求項12に記載の方法。
- 前記アプリケーション識別子と前記コンピューティングデバイスの識別子とから形成されたタプルを生成するステップと、
前記アプリケーション識別子と前記コンピューティングデバイスの識別子とから形成された前記タプルに基づいて、前記グラフィカルユーザインターフェーステンプレートを選択するステップと
を含む、請求項12に記載の方法。 - ディスプレイデバイスと、
グラフィックスドライバと、
入力オーディオ信号を検出するセンサと、
前記ディスプレイデバイス、前記グラフィックスドライバ、および前記センサに結合されたプリプロセッサ構成要素と
を備えるデジタルアシスタントデバイスであって、前記プリプロセッサ構成要素が、
フィルタリングされた入力オーディオ信号を作成するために前記入力オーディオ信号をフィルタリングし、
前記フィルタリングされた入力オーディオ信号をデータパケットに変換し、
自然言語プロセッサ構成要素とインターフェースと出力合併構成要素とコンテンツセレクタ構成要素とを実行する1つまたは複数のプロセッサとメモリとを備えるデータ処理システムに前記データパケットを送信し、前記データ処理システムが、
前記インターフェースを介して、コンピューティングデバイスの前記センサによって検出された前記入力オーディオ信号を備えるデータパケットを受信し、
前記入力オーディオ信号から、アプリケーション識別子と第1のクエリとを決定し、
前記第1のクエリと前記コンピューティングデバイスに関連する情報とに基づいて第2のクエリを生成し、
前記コンピューティングデバイスを介する表示のための前記第2のクエリに対する複数の応答をアプリケーションに識別させるために、前記アプリケーション識別子に対応する前記アプリケーションを提供するサードパーティサーバに前記第2のクエリを提供し、
前記コンピューティングデバイスにおける表示の前に前記アプリケーションから、前記サードパーティサーバに送信された前記第2のクエリに応答して前記アプリケーションによって識別された前記複数の応答を取得し、
前記複数の応答に基づいてキーワードを生成するために、前記複数の応答を構文解析し、
前記キーワードの生成に応答して、前記アプリケーションから傍受された前記複数の応答に基づいて生成された前記キーワードを用いてリアルタイムコンテンツ選択プロセスを実行し、
前記リアルタイムコンテンツ選択プロセスに基づいて、コンテンツプロバイダデバイスによって提供されるデジタル構成要素を識別し、
前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて重複排除プロセスを実行し、
前記デジタル構成要素と前記アプリケーションによって生成された前記複数の応答とを用いて実行された前記重複排除プロセスに応答して、前記デジタル構成要素を前記複数の応答に追加することを決定し、
前記アプリケーションに対して、前記複数の応答をレンダリングするためにフォント、色、およびレイアウトを定義するグラフィカルユーザインターフェーステンプレートを検索し、
前記アプリケーションによって生成された前記複数の応答を前記リアルタイムコンテンツ選択プロセスに基づいて識別された前記デジタル構成要素と統合する前記グラフィカルユーザインターフェーステンプレートを使用して表示出力を構築し、
前記デジタルアシスタントデバイスに通信可能に結合されたディスプレイデバイスを介する表示のための前記表示出力を前記デジタルアシスタントデバイスにレンダリングさせるために、前記デジタルアシスタントデバイスに前記表示出力を提供し、
前記グラフィックスドライバが、前記表示出力に対応する視覚的指示を前記ディスプレイデバイスに提示させるために前記表示出力をレンダリングする、
デジタルアシスタントデバイス。 - オーディオドライバと、
スピーカ構成要素と
を備え、
前記プリプロセッサ構成要素が、前記表示出力の指示を受信し、前記表示出力の前記指示に対応するオーディオ出力を前記スピーカ構成要素に送信させるために出力オーディオ信号を生成するように前記オーディオドライバに指示する、
請求項19に記載のデバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022025694A JP7459153B2 (ja) | 2017-12-08 | 2022-02-22 | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/836,746 | 2017-12-08 | ||
US15/836,746 US10558426B2 (en) | 2017-12-08 | 2017-12-08 | Graphical user interface rendering management by voice-driven computing infrastructure |
PCT/US2018/037858 WO2019112646A1 (en) | 2017-12-08 | 2018-06-15 | Graphical user interface rendering management by voice-driven computing infrastructure |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022025694A Division JP7459153B2 (ja) | 2017-12-08 | 2022-02-22 | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021501926A true JP2021501926A (ja) | 2021-01-21 |
JP7032523B2 JP7032523B2 (ja) | 2022-03-08 |
Family
ID=62916751
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020516510A Active JP7032523B2 (ja) | 2017-12-08 | 2018-06-15 | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 |
JP2022025694A Active JP7459153B2 (ja) | 2017-12-08 | 2022-02-22 | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022025694A Active JP7459153B2 (ja) | 2017-12-08 | 2022-02-22 | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10558426B2 (ja) |
EP (2) | EP3665567A1 (ja) |
JP (2) | JP7032523B2 (ja) |
KR (2) | KR102353286B1 (ja) |
CN (2) | CN118349305A (ja) |
WO (1) | WO2019112646A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023506784A (ja) * | 2019-12-13 | 2023-02-20 | ライブパーソン, インコーポレイテッド | 双方向通信システムのためのサービスとしての機能クラウドチャットボット |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6966979B2 (ja) * | 2018-06-26 | 2021-11-17 | 株式会社日立製作所 | 対話システムの制御方法、対話システム及びプログラム |
CN108958844B (zh) * | 2018-07-13 | 2021-09-03 | 京东方科技集团股份有限公司 | 一种应用程序的控制方法及终端 |
US11997060B1 (en) * | 2019-01-29 | 2024-05-28 | Allscripts Software, Llc | Apparatus, systems, and methods for third-party information display in a user interface in a medical computer system environment |
US20200244604A1 (en) * | 2019-01-30 | 2020-07-30 | Hewlett Packard Enterprise Development Lp | Application program interface documentations |
US12041015B1 (en) * | 2019-03-21 | 2024-07-16 | Intrado Corporation | Automated relevant subject matter detection |
US11113475B2 (en) * | 2019-04-15 | 2021-09-07 | Accenture Global Solutions Limited | Chatbot generator platform |
US11637792B2 (en) * | 2019-04-19 | 2023-04-25 | Oracle International Corporation | Systems and methods for a metadata driven integration of chatbot systems into back-end application services |
CN110297685B (zh) * | 2019-06-28 | 2022-09-16 | 百度在线网络技术(北京)有限公司 | 用户界面描述文件生成方法、装置、设备及存储介质 |
JP7250180B2 (ja) * | 2019-10-15 | 2023-03-31 | グーグル エルエルシー | グラフィカルユーザインターフェース内への内容の音声制御入力 |
US11321058B2 (en) | 2020-03-30 | 2022-05-03 | Nuance Communications, Inc. | Development system and method |
US11604929B2 (en) * | 2020-08-31 | 2023-03-14 | Google Llc | Guided text generation for task-oriented dialogue |
US11893589B2 (en) * | 2020-09-15 | 2024-02-06 | International Business Machines Corporation | Automated support query |
WO2022086519A1 (en) * | 2020-10-21 | 2022-04-28 | Google Llc | Delivery of compatible supplementary content via a digital assistant |
US11693874B2 (en) * | 2020-11-25 | 2023-07-04 | Sap Se | Framework to facilitate data access |
US11521358B2 (en) | 2021-01-07 | 2022-12-06 | Google Llc | Computing platform for facilitating augmented reality experiences with third party assets |
KR20230014542A (ko) * | 2021-07-21 | 2023-01-30 | 현대자동차주식회사 | 그래픽 사용자 인터페이스 제공 시스템 및 방법 |
CN114067797A (zh) * | 2021-11-19 | 2022-02-18 | 杭州逗酷软件科技有限公司 | 一种语音控制方法、装置、设备以及计算机存储介质 |
US20240020570A1 (en) * | 2022-07-13 | 2024-01-18 | Capital One Services, Llc | Systems and methods for using machine learning models to organize and select access-restricted components for user interface templates based on characteristics of access token types |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003521039A (ja) * | 2000-01-21 | 2003-07-08 | ソーセロン インコーポレイテッド | ネットワーク上で豊富なメディアコンテンツを送達するためのシステム及び方法 |
US20140244266A1 (en) * | 2013-02-22 | 2014-08-28 | Next It Corporation | Interaction with a Portion of a Content Item through a Virtual Assistant |
JP2014525103A (ja) * | 2011-07-27 | 2014-09-25 | クアルコム,インコーポレイテッド | クラウドコンピューティングによって向上したウェブブラウジング |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122525A (ja) | 2005-10-29 | 2007-05-17 | National Institute Of Information & Communication Technology | 言い換え処理方法及び装置 |
IL174107A0 (en) | 2006-02-01 | 2006-08-01 | Grois Dan | Method and system for advertising by means of a search engine over a data network |
US9251520B2 (en) | 2006-02-22 | 2016-02-02 | Google Inc. | Distributing mobile advertisements |
US7962464B1 (en) * | 2006-03-30 | 2011-06-14 | Emc Corporation | Federated search |
AU2008298576A1 (en) | 2007-09-13 | 2009-03-19 | Molecular Insight Pharmaceuticals, Inc. | Infusion and transfer system for use with radioactive agents |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US8255224B2 (en) * | 2008-03-07 | 2012-08-28 | Google Inc. | Voice recognition grammar selection based on context |
US8145521B2 (en) * | 2008-07-15 | 2012-03-27 | Google Inc. | Geographic and keyword context in embedded applications |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US9767198B2 (en) | 2014-08-25 | 2017-09-19 | Excalibur Ip, Llc | Method and system for presenting content summary of search results |
KR101662399B1 (ko) * | 2014-10-27 | 2016-10-04 | 포항공과대학교 산학협력단 | 키워드 입력 기반의 사용자 관심정보를 이용한 질의응답 장치 및 방법 |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US20170092278A1 (en) | 2015-09-30 | 2017-03-30 | Apple Inc. | Speaker recognition |
US9747926B2 (en) | 2015-10-16 | 2017-08-29 | Google Inc. | Hotword recognition |
US9928840B2 (en) | 2015-10-16 | 2018-03-27 | Google Llc | Hotword recognition |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11294908B2 (en) * | 2015-11-10 | 2022-04-05 | Oracle International Corporation | Smart search and navigate |
CN106855771A (zh) * | 2015-12-09 | 2017-06-16 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置和智能终端 |
KR20170076199A (ko) * | 2015-12-24 | 2017-07-04 | 오드컨셉 주식회사 | 커머셜 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
US10747758B2 (en) * | 2016-04-29 | 2020-08-18 | Rovi Guides, Inc. | Methods and systems for identifying an information resource for answering natural language queries |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
-
2017
- 2017-12-08 US US15/836,746 patent/US10558426B2/en active Active
-
2018
- 2018-06-15 KR KR1020207008090A patent/KR102353286B1/ko active IP Right Grant
- 2018-06-15 EP EP18740948.7A patent/EP3665567A1/en active Pending
- 2018-06-15 CN CN202410317792.9A patent/CN118349305A/zh active Pending
- 2018-06-15 JP JP2020516510A patent/JP7032523B2/ja active Active
- 2018-06-15 CN CN201880061283.7A patent/CN111108476B/zh active Active
- 2018-06-15 WO PCT/US2018/037858 patent/WO2019112646A1/en unknown
- 2018-06-15 EP EP24169161.7A patent/EP4407434A2/en active Pending
- 2018-06-15 KR KR1020227001311A patent/KR102477073B1/ko active IP Right Grant
-
2020
- 2020-02-03 US US16/780,256 patent/US11074039B2/en active Active
-
2021
- 2021-06-30 US US17/363,566 patent/US11429346B2/en active Active
-
2022
- 2022-02-22 JP JP2022025694A patent/JP7459153B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003521039A (ja) * | 2000-01-21 | 2003-07-08 | ソーセロン インコーポレイテッド | ネットワーク上で豊富なメディアコンテンツを送達するためのシステム及び方法 |
JP2014525103A (ja) * | 2011-07-27 | 2014-09-25 | クアルコム,インコーポレイテッド | クラウドコンピューティングによって向上したウェブブラウジング |
US20140244266A1 (en) * | 2013-02-22 | 2014-08-28 | Next It Corporation | Interaction with a Portion of a Content Item through a Virtual Assistant |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023506784A (ja) * | 2019-12-13 | 2023-02-20 | ライブパーソン, インコーポレイテッド | 双方向通信システムのためのサービスとしての機能クラウドチャットボット |
JP7434560B2 (ja) | 2019-12-13 | 2024-02-20 | ライブパーソン, インコーポレイテッド | 双方向通信システムのためのサービスとしての機能クラウドチャットボット |
Also Published As
Publication number | Publication date |
---|---|
CN118349305A (zh) | 2024-07-16 |
KR102477073B1 (ko) | 2022-12-13 |
US20190179608A1 (en) | 2019-06-13 |
US20200174746A1 (en) | 2020-06-04 |
CN111108476A (zh) | 2020-05-05 |
EP3665567A1 (en) | 2020-06-17 |
US11429346B2 (en) | 2022-08-30 |
KR20200042927A (ko) | 2020-04-24 |
CN111108476B (zh) | 2024-03-26 |
JP2022071013A (ja) | 2022-05-13 |
KR102353286B1 (ko) | 2022-01-20 |
EP4407434A2 (en) | 2024-07-31 |
US10558426B2 (en) | 2020-02-11 |
US11074039B2 (en) | 2021-07-27 |
US20210326106A1 (en) | 2021-10-21 |
WO2019112646A1 (en) | 2019-06-13 |
JP7459153B2 (ja) | 2024-04-01 |
KR20220010070A (ko) | 2022-01-25 |
JP7032523B2 (ja) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7032523B2 (ja) | 音声駆動コンピューティングインフラストラクチャによるグラフィカルユーザインターフェースレンダリング管理 | |
US11907363B2 (en) | Data transfer in secure processing environments | |
KR102603717B1 (ko) | 네트워크 시스템에서 도메인-특정 모델의 생성 | |
US11640822B2 (en) | Dynamic sequence-based adjustment of prompt generation | |
JP6968897B2 (ja) | 登録されていないリソースによるオーディオベースのネットワークセッションの確立 | |
GB2563302A (en) | Balance modifications of audio-based computer program output | |
US20210358489A1 (en) | Interfacing with applications via dynamically updating natural language processing | |
JP7368425B2 (ja) | オーディオベースのコンピュータプログラム出力の修正 | |
CN110692042A (zh) | 在基于音频的计算环境中执行请求的动作的平台选择 | |
US20200294506A1 (en) | Platform selection for performing requested actions in audio-based computing environments | |
JP2022009571A (ja) | 登録されていないリソースによるオーディオベースのネットワークセッションの確立 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7032523 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |