JP2022547482A - コンピュータ画面表示用のリアルタイムモーフィングインターフェース - Google Patents

コンピュータ画面表示用のリアルタイムモーフィングインターフェース Download PDF

Info

Publication number
JP2022547482A
JP2022547482A JP2022514586A JP2022514586A JP2022547482A JP 2022547482 A JP2022547482 A JP 2022547482A JP 2022514586 A JP2022514586 A JP 2022514586A JP 2022514586 A JP2022514586 A JP 2022514586A JP 2022547482 A JP2022547482 A JP 2022547482A
Authority
JP
Japan
Prior art keywords
user input
interface
intent
user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022514586A
Other languages
English (en)
Other versions
JPWO2021046449A5 (ja
Inventor
ユエ シェン
Original Assignee
ブレイン テクノロジーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブレイン テクノロジーズ インコーポレイテッド filed Critical ブレイン テクノロジーズ インコーポレイテッド
Publication of JP2022547482A publication Critical patent/JP2022547482A/ja
Publication of JPWO2021046449A5 publication Critical patent/JPWO2021046449A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 2022547482000001
モーフィングインターフェースシステムは、ユーザーが入力の一部を提供すると、クライアントデバイスの表示を更新、すなわちモーモーフィングする。システムは、ユーザー入力の第１の部分を受け取り、ユーザー入力の一部と一致するか、または関連付けられることができるユーザーの予測されたインテントに関連するインテントを選択する。システムは、クライアントデバイスでインテントに関連するインターフェースを表示する。システムは、ユーザー入力の第１の部分からインテントの実行に関連するエンティティ値を追加的に抽出する。ユーザーが入力の追加の部分を提供するとき、モーフィングインターフェースシステムは、ユーザー入力を再評価し、ユーザー入力が依然として同じユーザーインテント、つまり同じ実行インテントを示しているか否かを決定する。追加入力が異なるユーザーインテントを示すと決定すると、システムはディスプレイを更新して、新しいインテントに関連するインターフェースを表示する。

Description

本発明は、コンピュータ画面表示用のインターフェース技術の分野に係り、特にリアルタイムモーフィングインターフェースに関する。
（関連出願の相互参照）
この出願は、２０１９年９月４日に出願された米国仮出願第６２／８９５，９４４号および２０２０年６月１２日に出願された米国仮出願第６３／０３８，０６４号の利益を主張し、これらはすべて参照によりその全体が本明細書に組み込まれる。
スマートスピーカーや人工知能プログラムなどのコンピュータアシスタントは人気が高まっており、さまざまなユーザー向けシステムで使用されている。コンピュータ化されたシステムは、多くの場合、システムユーザーである人間がプロセスの識見を持つことなく、プロセス全体が自動化されるように実装することができる。例えば、コンピュータは、ユーザーの画面にコンテンツを表示しなくても、一連のタスクを完了することができる。しかしながら、多くのユーザーはコンピュータ化されたプロセスに関するフィードバックを受け取ることを好み、ユーザーが特定のステップでフィードバックを提供する必要がある場合、ユーザーが一連のタスクの状態を理解することは有用または必要であり得る。
さらに、ユーザーはアシスタントシステムができるだけ早く応答することを望んでいる。しかしながら、システムがユーザーから一連の指示をすべて受け取る前にユーザーに応答した場合、システムはユーザーによって不適切なタスクを実行し得るか、または、ユーザーが見るべきコンテンツを画面に表示するための十分な情報を受け得ない。したがって、例えば、自動化されたタスクの進行状況をリアルタイムで表示し、追加の入力に応じて表示を調整する機能を含むシステムは有益であろう。
図１は、例示的な実施形態による、モーフィングインターフェースシステムのシステムアーキテクチャのハイレベルブロック図である。 図２は、例示的な実施形態における、モーフィングインターフェースシステム１３０の構成要素間の相互作用のハイレベル図である。 図３は、例示的な実施形態における、例示的なＮＬＰ信号を示すブロック図である。 図４Ａは、例示的な実施形態における、ユーザー入力からインターフェースを生成するプロセスを示すフローチャートである。 図４Ｂは、例示的な実施形態における、追加のユーザー入力を受信したときにインターフェースをモーフィングするプロセスを示すフローチャートである。 図５Ａは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第１のレイアウトを示す図である。 図５Ｂは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第２のレイアウトを示す図である。 図５Ｃは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第３のレイアウトを示す図である。 図５Ｄは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第４のレイアウトを示す図である。 図５Ｅは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第５のレイアウトを示す図である。 図５Ｆは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第６のレイアウトを示す図である。 図５Ｇは、例示的な実施形態における、フライト予約インテントの実行を確認する電子メールを示す図である。 図６Ａは、例示的な実施形態による、ピザ注文インテントに関連するユーザー入力の第１の部分の受け取りを示す図である。 図６Ｂは、例示的な実施形態による、ピザ注文に関連するインターフェースのために表示されるレイアウトを示す図である。 図６Ｃは、例示的な実施形態による、ピザＴシャツ購入に関連するインターフェースのために表示されるレイアウトを示す図である。 図６Ｄは、例示的な実施形態による、Ｔシャツ購入インテントに関連し得る追加の例示的なインターフェースを示す図である。 図７は、例示的な実施形態による、マシン可読媒体から命令を読み取り、それらを１つまたは複数のプロセッサで実行することができる例示的なマシンの構成要素を示すブロック図である。
「１０５Ａ」などの参照番号の後の文字は、テキストがその特定の参照番号を持つ構成要素を具体的に参照していることを示し、「１０５」などの後続の文字のないテキスト内の参照番号は、その参照番号が付いている図中の任意のまたはすべての構成要素を参照していることを示す。
図面は、例示のみを目的として、さまざまな実施形態を示している。当業者は、本明細書で例示される構造および方法の代替的な実施形態が、本明細書で説明される原理から逸脱することなく採用され得ることを、以下の説明から容易に認識するであろう。
図および以下の説明は、例示のためのみの好ましい実施形態に関する。以下の説明から、本明細書に開示される構造、および方法の代替的な実施形態は、特許請求されているものの原理から逸脱することなく、採用され得る実行可能な代替として容易に認識されることに留意されたい。
ここで、いくつかの実施形態が詳細に参照し、それらの例示は、添付の図面に示す。可能な限り、類似または同様の参照番号が、図面において用いられ、類似または同様の機能性を示し得ることに留意されたい。図面は、例示のみを目的として、開示されているシステム（または方法）の実施形態を示している。当業者は、本明細書で例示される構造および方法の代替的な実施形態が、本明細書で説明される原理から逸脱せずに採用され得ることを、以下の記載から容易に認識するであろう。
（構成の概要）
コンピュータ画面のユーザーインターフェース上での表示を生成および可能にするように構成されたシステム（ならびに方法、および非一時的なコンピュータ可読媒体に格納されたコンピュータプログラムコード）が開示されている。実施形態の一例においては、システムは、コンピュータプログラム命令を実行するための１つまたはそれ以上のコンピュータプロセッサと、少なくとも１つのプロセッサによって実行可能な格納された命令を含む非一時的なコンピュータ可読記憶媒体とを含み得る。例示的な実施形態では、命令は、実行されると、プロセッサに、第１のユーザーデバイスから、入力文字列を含む第１の入力を受信させ、第１のユーザー入力に基づいて自然言語処理信号のセットを生成させる命令を含み得る。命令は、第１のユーザー入力に一致するユーザーのインテント(intent)を選択するための命令であって、選択は自然言語処理信号に基づくものである命令と、インテントに関連するインターフェースを識別するための命令と、インターフェースのエンティティ(entities)に関連する値のセットをユーザー入力から抽出するための命令とを、さらに含み得る。エンティティは、値を割り当てることができるインターフェースの変数であり得る。実施形態の一例では、命令は、値のセットからの値を含む表示用のインターフェースをユーザーデバイス上のインターフェースとして表示できるようにするための命令をさらに含み得、表示は、第１のユーザー入力の受信とほぼ同時に発生し得る。実施形態の一例では、システムの少なくとも１つのプロセッサによって実行可能な命令は、プロセッサによって実行されると、プロセッサに、ユーザー装置から、テキスト文字列を含む第２のユーザー入力を受信させ、第１のユーザー入力と第２のユーザー入力の組み合わせに基づいて、自然言語処理信号の更新されたセットを生成させる命令をさらに含み得る。命令は、更新された自然言語処理信号のセットに基づいて、第１のユーザー入力と第２のユーザー入力との組み合わせに一致する目的を選択する命令と、新たに選択されたインテントに関連する第２のインターフェースを識別する命令と、第１のユーザー入力と第２のユーザー入力との組み合わせから第２のインターフェースのエンティティに関連する値の第２のセットを抽出する命令と、第２のインターフェースを値の第２のセットからの値を含むユーザーデバイス上の表示用に有効にする命令とをさらに含み得る。
様々な例示的な実施形態では、第１のユーザー入力および／または第２のユーザー入力は、音声入力であり得る。さらに、第１のインターフェースおよび第２のインターフェースは、関連するエンティティのセットを含み得、様々な例示的な実施形態において同じまたは異なるインターフェースであり得る。入力文字列は、テキスト文字列、音声入力、および／または別の形式のユーザー入力であり得る。
システム構成の例
図１は、例示的な実施形態による、モーフィングインターフェースシステムのシステムアーキテクチャのハイレベルブロック図である。図１は、モーフィングインターフェースシステム１３０、ネットワーク１２０、およびクライアントデバイス１１０を含む。明確にするために、１つのクライアントデバイスおよび１つのモーフィングインターフェースシステム１３０のみが図１に示されている。システム環境の代替の実施形態は、任意の数のクライアントデバイス１１０に加えて、複数のモーフィングインターフェースシステム１３０を有することができる。図１のさまざまなエンティティによって実行される機能は、異なる実施形態において変化し得る。クライアントデバイス１１０およびモーフィングインターフェースシステム１３０は、図７で説明されたもののようなコンピューティングデバイスの構成要素のいくつかまたは全部と、適切なオペレーティングシステムとを含み得る。
例示的な実施形態では、モーフィングインターフェースシステム１３０は、ユーザー入力（例えば、タイプされたまたは口頭のテキスト文字列）に応答してユーザーへの表示用のユーザーインターフェースを生成する（またはレンダリングする、もしくはレンダリングを可能にする）。いくつかの実施形態では、システムは、また、例えば、クライアントデバイス１１０のカメラまたはカメラロールから視覚入力を受け取り、オンラインマーケットプレイスで検索プロセスを実行し得る。モーフィングインターフェースシステム１３０は、ユーザーインテントを決定する。ユーザーインテントは、受信したユーザー入力に基づいてユーザーが意図し得るものをマシン（例えば、コンピュータまたはコンピューティングシステム）が予測したものに対応する。したがって、ユーザーインテントは、受信したユーザー入力に対応する、および／またはそれによって記述されるコンピュータが実行可能な機能または要求であり得る。実行可能な機能は、実行し得るものであり、予測されたインテントであり得るものに対応する機能のための１つまたはそれ以上のユーザーインターフェースを生成および／または（例えば、レンダリングにおいて）追加することによってインスタンス化(instantiated)され得る。
モーフィングインターフェースシステム１３０が追加のユーザー入力（例えば、入力されたまたは口頭のテキスト文字列に追加された語句）を受け取ると、モーフィングインターフェースシステム１３０は、決定されたユーザーインテントが依然としてユーザー入力に最も関連する一致であるか否かを再評価する。別のユーザーインテントが更新されたユーザー入力によりよく適合する場合、モーフィングインターフェースシステム１３０は、新しいインテントに適用される新しいユーザーインターフェースを生成し、追加する。すなわち、モーフィングインターフェースシステム１３０は、どのユーザーインテントが入力に最もよく適用されるか、すなわち、どの機能または要求がユーザー入力に最もよく対処するかについてのより多くの入力情報を受け取ると、ユーザーインターフェースはあるインターフェースから別のインターフェースに「モーフィングする(morphs)」。モーフィングインターフェースシステム１３０が複数の同等の可能性のあるインテントを決定する場合、モーフィングインターフェースシステム１３０は、ユーザーが同等に可能性のあるインテントから選択し得るように、インターフェースプレビュー（例えば、クライアントデバイス１１０でインターフェースプレビューをレンダリングするための情報を提供することによって）でユーザーに促し得るか、または、モーフィングインターフェースシステム１３０は、格納されたユーザー設定（例えば、システムとの過去のユーザーインタラクションに基づいて学習された）に基づいて、インテントを自動的に選択し得る。
ユーザーは、クライアントデバイス１１０を介して、タイプされたテキストまたは口頭の音声入力などのユーザー入力を入力し得る。クライアントデバイス１１０は、スマートフォン、タブレット、ノートブックコンピュータ、ラップトップ、デスクトップコンピュータ、およびスマートウォッチなどの任意のパーソナルまたはモバイルコンピューティングデバイス、ならびにテレビ、ビデオゲーム機、テレビボックス、および受信機などの任意のホームエンターテインメントデバイスであることができる。クライアントデバイス１１０は、モーフィングインターフェースシステム１３０から受信した情報を、例えば、ユーザーインターフェースの形でユーザーに提示することができる。いくつかの実施形態では、モーフィングインターフェースシステム１３０は、クライアントデバイス１１０と同じマシンから格納および実行され得る。
クライアントデバイス１１０は、ネットワーク１２０を介してモーフィングインターフェースシステム１３０と通信することができる。ネットワーク１２０は、有線または無線通信リンクを使用するローカルエリアネットワークとワイドエリアネットワークの任意の組み合わせを含み得る。いくつかの実施形態では、ネットワーク１２０の通信のすべてまたは一部を暗号化し得る。
モーフィングインターフェースシステム１３０は、インテントを決定し、および／またはインターフェースを生成するための様々なモジュールおよびデータストアを含む。モーフィングインターフェースシステム１３０は、自然言語処理（ＮＬＰ）パイプライン１３５、インテント認識モジュール１４０、エンティティ認識モジュール１４５、インテントモデルストア１５０、インターフェースストア１５５、およびエンティティ認識モデルストア１６０を含む。システムアーキテクチャの詳細を曖昧にしないために、ウェブサーバー、ネットワークインターフェイス、セキュリティ機能、ロードバランサー、フェイルオーバーサーバー、管理およびネットワーク操作コンソールなどのコンピュータ構成要素は示されていない。さらに、モーフィングインターフェースシステム１３０は、図１に示されるものよりも多い、少ない、または異なる構成要素を含み得、本明細書に記載される構成要素の機能は、本明細書の説明とは異なって分配され得る。パイプラインおよびモジュールは、プログラムコード（例えば、ソフトウェアまたはファームウェア）、ハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、プロセッサ）、またはそれらの組み合わせとして具体化され得ることに留意されたい。
ＮＬＰパイプライン１３５は、例えば、テキストまたは音声の形式でユーザー入力を受け取り、モーフィングインターフェースシステム１３０がインテント認識およびエンティティの抽出に使用できるＮＬＰ信号を生成する。いくつかの実施形態では、ＮＬＰパイプライン１３５は、トークン化、品詞タグ付け、ステミング、レンマ化、ストップワード識別、係り受け解析、エンティティ抽出、チャンキング、意味役割付与、および共参照解析を実行する。一実施形態では、ＮＬＰパイプラインへの入力は、例えば、完全または部分的に完全な文または句の形式の１つまたは複数の単語のセットである。一実施形態では、ＮＬＰパイプライン１３５は、単語の入力セットの注釈付きバージョンを生成する。別の実施形態では、ＮＬＰパイプライン１３５は、インテント認識モジュール１４０またはエンティティ認識モジュール１４５などのニューラルネットワークを使用し得る下流モジュールによる即時消費のために、数値表現または特徴埋め込みを構築または検索する。例えば、ＮＬＰパイプライン１３５への入力は部分的な文であり得、出力は部分的な文に関するメタデータが付随している部分的な文であり得る。
インテント認識モジュール１４０は、（クライアントデバイス１１０を介して）ユーザーから受け取った入力に基づいて、ユーザーの意図(intention)が何であるかを識別する。特に、インテント認識モジュール１４０は、モーフィングインターフェースシステム１３０が実行することができる利用可能なインテント（すなわち、機能）を予測する。使用可能なインテントは、ユーザー入力を構成する単語のセットに対応する。ユーザー入力は、1つまたはそれ以上の事前に定義されたインテントに一致し得る。説明を簡単にするために、システムは単語という観点から説明されている。しかしながら、この明細書で説明する原理は、サウンドアクション（音声コマンドまたはオーディオトーンなど）、ビデオストリーム（アンビエントコンピューティングシナリオなど）、およびその他の潜在的な形式を含む情報入力を含み得る任意の信号セットにも適用し得ることに留意されたい。異なる実施形態では、インテント認識モジュール１４０は、ユーザー入力に関連付けることができるインテントを決定するために様々な機械学習モデルを使用し得る。説明を簡単にするために、システムは教師あり機械学習という観点から説明されるであろう。しかしながら、この明細書で説明する原則は、半教師ありシステムと教師なしシステムにも適用され得ることに留意されたい。
一例の実施形態では、インテント認識モジュール１４０は、テキスト分類を使用して、ユーザー入力に対応する可能性が最も高いインテントを予測し得る。この例示的な実施形態では、テキスト分類モデルは、入力文字列のラベル付けされた例を使用して訓練され得る。例えば、モーフィングインターフェースシステム１３０は、入力文字列のラベル付けされた例を格納し得る。ラベルは、各入力文字列の例を、利用可能なインテントの１つに関連付ける。トレーニングデータには、単語、部分的な文、部分的な語句、完全な文、および完全な語句の形式の入力文字列の例が含まれ得る。分類モデルはまた、ＮＬＰパイプライン１３５によって生成された様々な自然言語処理信号を使用するように訓練され得、訓練データは、自然言語処理信号をさらに含み得る。分類モデルはまた、エンティティ認識モジュール１４５からの信号を利用し得、例えば、エンティティ認識モジュール１４５によって認識される「航空会社」エンティティを使用して、インテント、または機能が「フライトの予約」であることを確認し得る。したがって、分類モデルは、例えば意味的類似性を使用して、使用可能なインテントのセットのどれが特定のユーザー入力文字列に対応する可能性が最も高いかを予測するように（つまり、各アクションのクエリの例のセットから最も近接するクエリを決定するように）トレーニングされる。
別の例示的な実施形態では、インテント認識モジュール１４０は、利用可能なインテントのセット全体にわたって、ユーザー入力と入力例のセットとの間の意味的類似性スコアを計算するモデルを使用し得る。すなわち、ラベル付けされたトレーニングデータのみに基づいて適用可能なインテントを直接予測するようにモデルをトレーニングするのではなく、インテント認識モジュール１４０はまた、ユーザー入力に最も一致するインテントを決定する際に、与えられたユーザー入力を、以前に受け取ったユーザー入力文字列の一部またはすべてと比較することができる。例えば、モーフィングインターフェースシステム１３０は、過去に一致したインテントおよび入力文字列の記録を格納し得、インテント認識モジュール１４０が、現在のユーザー入力文字列が、過去に格納された入力文字列と、同じ、または、同じ文章構造もしくは関連するＮＬＰ信号を有していると判断した場合に、インテント認識モジュール１４０は、現在のユーザー入力文字列に対して同じインテントを予測し得る。正しく一致した過去のユーザー入力文字列との比較に加えて、ユーザー入力はまた、セマンティックルールベースアプローチ（semantic rule-based approaches）とジェネレーテイブディープラーニングアルゴリズム（generative deep learning algorithms）の両方によって作成されたコンピュータ生成文字列と比較し得る。
別の例示的な実施形態では、インテント認識モジュール１４０は、より単純なルールベースの方法を利用して、ユーザーの入力文字列に対して最も可能性の高いインテントを推測し得る。これには、正規表現マッチング、つまり、入力文字列中の特定の事前定義された構文および文法パターンの識別を識別して、ユーザーのインテントを決定することを含み得る。これには、また、係り受け解析、構成要素解析、チャンキング、および／または意味役割付与などのＮＬＰパイプライン１３０からの信号を利用して、クエリの動詞、主語、述語などを検索し、それらを格納された知識ベースからのデータと照合することも含み得る。例えば、ユーザーの入力が「Buy me bananas」（「バナナを買う」）である場合、インテント認識モジュール１４０は、単語「bananas」（「バナナ」）がクエリの直接のオブジェクトであると判断し、知識ベースからそのレンマ「banana」の一致を取得して、「banana」（「バナナ」）が食品または食材の一種であることを学習し得－これは、例えば、食料品を購入するインテントとの一致を示し得る。
いくつかの例示的な実施形態では、モーフィングインターフェースシステム１３０は、インテントモデルストア１５０を含む。インテントモデルストア１５０は、与えられたユーザー入力文字列に関連する可能性が最も高いインテントを予測するために、インテント認識モジュール１４０によって訓練および適用されるコンピュータモデルのプログラムコードを格納し得る。いくつかの実施形態では、以前に一致したインテントおよびユーザー入力のラベル付けされたトレーニングデータおよび記録は、インテントモデルストア１５０に格納し得る。インテントモデルストア１５０はまた、利用可能なインテントのリスト、すなわち、モーフィングインターフェースシステム１３０がユーザー入力に応答してユーザーのために実行することができるタスクのリストを格納することができる。インテントモデルストア１５０はまた、利用できないインテントのリスト、すなわち、モーフィングインターフェースシステム１３０が現在実行できず、利用可能なインテントから独立しているタスクとして認識しているタスクのリストを格納することができる。さらに、インテントモデルストア１５０は、ユーザーのみが利用可能であるユーザーが作成したカスタムインテントを保存することができる。例えば、ユーザー入力文字列「Turn on device」（「デバイス電源オン」）は、グローバルに利用可能なインテントのリストに含まれていない場合があるが、ユーザーが自分で使用するためにこのインテントを生成した場合には、そのインテントロジックは、インテントモデルストア１５０に格納される。
一実施形態では、インターフェースストア１５５は、モーフィングインターフェースシステム１３０によって実行することができる利用可能なインテントのそれぞれについてのユーザーインターフェースのためのプログラムコードを格納する。インターフェースストア１５５によって格納されたインターフェースは、クライアントデバイス１１０上にインターフェースを表示するためのレイアウト、インテントを実行するための命令、およびレイアウトの追加およびインテントの実行に関連するエンティティのリストを含み得る。様々な実施形態において、ユーザーインターフェースは、潜在的なインテントごとにカスタムメイドされたインターフェースであり得る。他の実施形態では、インターフェースストア１５５は、ユーザーによって設計されたカスタムインテントのため、およびそれらのユーザーによってのみ使用されるためのカスタムインターフェースを含むことができる。
エンティティ認識モジュール１４５は、与えられたユーザー入力に関連するエンティティの値のセットを予測する。エンティティの値は、ユーザー入力に一致するインテントを実行するために使用し得る。様々な実施形態では、エンティティ認識モジュール１４５は、ユーザー入力文字列、ＮＬＰパイプライン１３５からの関連するＮＬＰ信号、およびインテントマッチングモジュール１４０からの一致したインテントを入力として受け入れる。エンティティ認識モジュール１４５はまた、一致したインテントに関連するインターフェースを入力として使用するためにインターフェースストア１５５にアクセスし、それにより、モーフィングインターフェースシステム１３０がインテントを実行するために必要とされるエンティティ値のリストを取得し得る。エンティティ認識モジュール１４５は、訓練されたコンピュータモデルを適用して、ユーザー入力文字列から値のセットを抽出し、抽出された値を一致したインテントのエンティティに関連付け得る。一実施形態では、エンティティ認識モジュール１４５は、最初に入力文字列からハイレベルエンティティの値を抽出し、その後、詳細なエンティティの値を抽出する。例えば、エンティティ認識モジュール１４５は、ユーザー入力文字列がタイトルを含むことを決定するモデルを適用し、タイトルが映画のタイトル、本のタイトルなどであるか否かを予測するために異なるモデルを適用し得る。一実施形態では、エンティティ認識モジュール１４５によって適用される１つまたはそれ以上のコンピュータモデルは、ラベル付けされたエンティティの値を有するユーザー入力文字列の例を含むトレーニングデータの例に基づいてトレーニングされる分類器またはシーケンスタガーである。これらの分類器またはシーケンスタガーは、実世界の知識と、構文、文法および意味論の理解とを組み込むために、インターネットからの非構造化され、ラベル付けされていない大量のテキスト情報に対して複数の対象（言語モデリング、自動エンコードなど）を使用してさらにトレーニングされ得る。
他の例示的な実施形態では、エンティティ認識モジュール１４５は、正規表現パターンとの照合など、ルールベース手法を適用して、ユーザー入力文字列から値のセットを抽出し得る。これは、次に、ユーザーによって設計された新しいカスタムインテントの値を抽出するためのエンティティ認識モジュール１４５の迅速なカスタマイズを支援し得る。
エンティティ認識モジュール１４５によって適用されるモデルおよびトレーニングデータは、エンティティ認識モデルストア１６０に格納され得る。エンティティ認識モデルストア１６０はまた、エンティティ認識モジュール１４５によって使用されるコンピュータモデルをトレーニングするためのラベル付けされたトレーニングデータを含み得る。
いくつかの実施形態では、エンティティ認識モジュール１４５およびインテント認識モジュール１４０は、同じシステムであり得る。すなわち、エンティティ認識モジュール１４５およびインテント認識モジュール１４０は、両方のシステムが協調してより正確な決定を行うことができるように、共同のインテントおよびエンティティ認識システムとして構成され得る。
（モーフィングインターフェースシステムの例）
図２は、例示的な実施形態における、モーフィングインターフェースシステム１３０の構成要素間の相互作用のハイレベル図である。モーフィングインターフェースシステム１３０は、ユーザークエリ２１０を受け取る。ユーザークエリは、例えばタイプされたテキストまたは発話音声の形式でユーザーによって表現された、完全な文もしくは概念、または、部分的な文章もしくは語句であり得る。入力をオーディオファイルまたはオーディオストリームとして受け取る実施形態では、自動音声認識または他のタイプの音声モデルは、入力を表す入力文字列を、例えばテキストとして生成するために使用し得る。モーフィングインターフェースシステム１３０は、ユーザーが入力を提供している途中に、インターフェースを表示することによって、ユーザーに応答し始めることができる。したがって、場合によっては、モーフィングインターフェースシステム１３０によって受け取ったユーザークエリ２１０は、ユーザー入力の最初の部分、例えば、一つの単語、または単語のセットのみであり得る。
ユーザークエリ２１０は、ユーザークエリ２１０を分析し、対応するＮＬＰ信号２２０を出力するＮＬＰパイプライン１３５への入力として提供される。ＮＬＰ信号２２０およびユーザークエリ２１０は、インテント認識モジュール１４０に提供される。インテント認識モジュール１４０は、予測されたユーザーの意図(intention)２３０を出力する。すなわち、インテント認識モジュール１４０は、ユーザーが実行を要求している、または実行を意図している、インテントが何かを予測する。予測された意図２３０または機能、ＮＬＰ信号２２０、およびユーザークエリ２１０は、エンティティ認識モジュール１４５に提供され、エンティティ認識モジュール１４５は、予測された意図に関連する抽出されたエンティティの値２４０を生成する。ユーザーの予測された意図に関する予測された意図情報２５０、抽出されたエンティティ２４０、および追加の生成されたメタデータは、ユーザーの意図に対応するシステム予測に関連するユーザーインターフェースの表示（コンピューティングデバイス、例えば、クライアントデバイスの画面上）を可能にするために、および、ユーザーインターフェースの領域に抽出されたエンティティの値を追加するために、モーフィングインターフェースシステム１３０によって使用され得る。したがって、クライアントデバイス上に表示するために生成され、有効に（または提供）されるインターフェースは、有利なことに、実質的にリアルタイムで変化し始めることができる。
いくつかの実施形態では、モーフィングインターフェースシステム１３０の構成要素は、図２の例に示されている以外の方法で相互作用するように構成され得る。一実施形態では、モーフィングインターフェースシステムは、インテント認識モジュール１４０とエンティティ認識モジュール１４５との間にフィードバックループを含むように構成され得る。例えば、インテント認識モジュール１４０は、予測されたインテントに関する情報をエンティティ認識モジュール１４５に提供し得、エンティティ認識モジュール１４５は、予測されたインテントに関する情報を入力として使用して、ユーザークエリ２１０におけるエンティティおよび潜在的なエンティティタイプを識別し得る。そして、識別されたエンティティに関する情報は、ユーザーのクエリ２１０に関連付けられるべきインテントの予測の再生成において使用するために、インテント認識モジュール１４０に戻され得る。いくつかの実施形態では、エンティティ認識モジュール１４５は、ＮＬＰ信号またはユーザー入力を分析し、ユーザー入力に関連するエンティティを予測し得、次に、入力およびＮＬＰ信号に加えて、予測エンティティおよびエンティティタイプをインテント認識モジュール１４０に提供し得る。そのような場合、インテント認識モジュール１４０は、次に、予測されたエンティティ情報を使用して、ユーザー入力に関連するインテントタイプを予測し得る。インテント認識モジュール１４０とエンティティ認識モジュール１４５との間のフィードバックループは、また、この実施形態においても存在し得る（すなわち、インテント認識モジュール１４０は、予測されたインテント情報をエンティティ認識モジュール１４５に送り返して、既存のエンティティについての予測を改善または追加し得る。）。エンティティ認識モジュール１４５がインテント認識モジュール１４０の前に入力データを受け取るいくつかの実施形態では、インテント認識モジュール１４０は、エンティティ認識モジュール１４５によって提供される抽出されたエンティティを、予測されたインテントに対応するエンティティにフィルタリングし得る。
他の例示的な実施形態では、１つのモジュールは、インテント認識モジュール１４０およびエンティティ認識モジュール１４５の両方の機能を実行するように構成され得る。例えば、モデルは、インテント認識とエンティティ認識の両方を実行するようにトレーニングされ得る。別の例示的な実施形態では、モーフィングインターフェースシステム１３０は、各インテントタイプ（すなわち、各ドメイン）のエンティティ認識に関連するサブモデルを含み得る。すなわち、モーフィングインターフェースシステム１３０は、各潜在的なインテントタイプに関連付けられたエンティティの値を決定するための異なるエンティティ認識モデルを格納し得、エンティティ認識モデルの過去のセットに基づいて、新しい潜在的インテントタイプのためのモデルの作成を自動化するために転移学習を使用し得る。例えば、インテント認識モジュール１４０がピザを注文する意図を予測する場合であれば、エンティティ認識モジュール１４５は、食品の注文のためのインテントに関連するエンティティを識別するために訓練されたエンティティ認識モデルにアクセスし、使用し得る。別の例示的な実施形態では、インテント認識モジュール１４０は、第１のモデルがより高いレベルのドメイン（例えば、「food」（「食品」））を推測し、そのドメインのサブモデルは次に予測されたドメイン内のユーザーの特定のインテント（例えば、ユーザーが、テーブルを予約したいのか、テイクアウトの注文をしたいのか、レシピの検索などをしたいのかどうか）を予測する階層モデルの形態で構成され得る。
別の例示的な実施形態では、モーフィングインターフェースシステムは、ＮＬＰパイプライン１３５を含まなくてもよい。そのような実施形態では、インテント認識モジュール１４０およびエンティティ認識モジュール１４５は、ユーザークエリ２１０に直接基づいてインテントを予測し、エンティティを決定するようにトレーニングされる。
図３は、例示的な実施形態における、例示的なＮＬＰ信号を示す詳細なブロック図である。ＮＬＰパイプライン１３５は、ユーザー入力文字列から様々なＮＬＰ信号を生成するためのトークン化、品詞（ＰＯＳ）タグ付け、テキストチャンキング、意味役割付与（ＳＲＬ）、および共参照解析機能を含み得る。他のいくつかの例のＮＬＰ信号には、レンマ化、ステミング、係り受け解析、エンティティ抽出、およびストップワードの識別が含まれる。様々な実施形態では、ＮＬＰ信号の様々な組み合わせがＮＬＰパイプライン１３５において使用され得、信号は様々な順序で決定され得る。例えば、別の例示的な実施形態では、ＮＬＰパイプライン１３５は、トークン化、ステミング、レンマ化、ストップワード識別、係り受け解析、エンティティ抽出、チャンキング、ＳＲＬ、そして共参照解析の順序でＮＬＰ信号を決定し得る。
図４Ａは、例示的な実施形態における、ユーザー入力からインターフェースを生成するプロセスを示すフローチャートである。モーフィングインターフェースシステム１３０は、ユーザー入力の第１の部分を受け取る（４０５）。ユーザー入力の第１の部分は、例えば、文書の始まりの単語または複数の単語であり得、テキストまたは音声入力を含む様々な入力形態でモーフィングインターフェースシステム１３０によって受け取られ得る。モーフィングインターフェースシステム１３０は、受け取ったユーザー入力の第１の部分に基づいて自然言語処理信号を生成する（４１０）。ＮＬＰパイプライン１３５は、トークン化、品詞（ＰＯＳ）タグ付け、係り受け解析、エンティティ抽出、ステミング、レンマ化、ストップワード識別、テキストチャンキング、意味役割付与、および共参照解析を含む様々な解析技術を使用して、自然言語処理信号を生成し得る。
モーフィングインターフェースシステム１３０は、ユーザー入力の第１の部分と一致するインテントを選択する（４２０）。いくつかの実施形態では、インテント認識モジュール１４０は、トレーニングされたコンピュータモデルを適用して、どのインテントがユーザー入力の第１の部分に応答することに最も適用可能であるかを予測する。すなわち、インテント認識モジュール１４０は、受け取ったユーザー入力によって暗示されるインテントを選択する。
モーフィングインターフェースシステム１３０は、ユーザー入力の第１の部分から、予測されたインテントに関連するエンティティ値を抽出する（４２５）。一実施形態では、エンティティ認識モジュール１４５は、トレーニングされたコンピュータモデルを適用して、受け取ったユーザー入力から関連する値を抽出する。いくつかの実施形態では、モーフィングインターフェースシステム１３０は、抽出されたエンティティに関する情報が追加の入力としてインテント認識モジュール１４０に送信されるようなフィードバックループを含むように構成される。また、いくつかの実施形態では、自動再トレーニングおよび自己改善サイクルも含み得る。モーフィングインターフェースシステム１３０は、選択されたインテントに関連するインターフェースを取得する（４３０）。いくつかの実施形態では、選択されたインターフェースは、インテントに関連するエンティティを抽出するプロセスで使用される。例えば、インテントに関連するインターフェースは、その特定のインテントに関連する値の入力領域を含み得、エンティティ認識モジュール１４５は、ユーザー入力からの値を識別するための入力領域についての情報を使用し得る。選択されたインテントに関連する抽出されたエンティティ値は、インターフェースに追加するために使用される（４３５）。いくつかの実施形態では、インターフェースは、例えば、これまで受け取ったユーザー入力の一部が、インターフェースレイアウトに含まれる入力領域を完了するために必要とされる情報の一部のみを含む場合、部分的にのみ入力され得る。例えば、「book me flight」（「飛行機を予約して」）を含む入力を提供した後にユーザーが一時停止した場合、モーフィングインターフェースシステム１３０は、カレンダーを強調表示し、「when do you want to fly」（「いつ飛行したいのか」）などの質問（query）を用いて、ユーザーインターフェースをさらに追加するためのより多くのユーザー入力を受け取るようにユーザーに促し得る。モーフィングインターフェースシステム１３０は、例えば、クライアントデバイス１１０を介して、ユーザーに追加されたインターフェースを表示する（４４０）。
いくつかの実施形態では、モーフィングインターフェースシステム１３０は、複数のインテントがユーザー入力の第１の部分に適用可能であるとの類似または同等の予測可能性を有する場合、１つ以上の適用可能なインテントを選択し得る（４２０）。例えば、ユーザー入力の第１の部分が、「Order me coffee」（「コーヒーを注文して」）である場合に、モーフィングインターフェースシステム１３０は、一袋のコーヒー豆を購入すること、およびカフェから１杯のコーヒーを注文することについてのインテントが同等に適用可能であると決定し得る。すなわち、モーフィングインターフェースシステム１３０は、ユーザーのインテントがドリンク配達および食料品の注文である可能性が等しいと判定し得る。そのような場合、モーフィングインターフェースシステム１３０は、等しい可能性を有する２つまたはそれ以上のインテントに関連するエンティティ値を抽出し得（４２５）、複数の可能性のあるインテントに関連するプレビューインタフェースを取得し得（４３０）、インテントに関連する抽出されたエンティティ値をプレビューインタフェースに追加し得（４３５）、クライアントデバイス１１０でユーザーに表示するために追加したプレビューインタフェースを提供し得る（４４０）。そのような実施形態では、モーフィングインターフェースシステムは、さらなるユーザー入力の解析に進む前に、複数の可能性のあるインテントのうちの１つを選択するユーザーからの入力を待つようにし得る。いくつかの実施形態では、そのモーフィングインターフェースシステム１３０は、将来、システムがユーザー入力のそのパターンに基づいて、ユーザーが特定のインテントを選択する可能性を高めることができるように、提供されたユーザー入力に関してプレビューインタフェースのユーザー選択に関する情報を記憶し得る。したがって、モーフィングインターフェースシステム１３０とのいくつかのやり取りの履歴後、ユーザーの好みおよび入力パターンが格納されるにつれて、ユーザーは、より少ないインテントのプレビューが提示され得る。
図４Ｂは、例示的な実施形態における、追加のユーザー入力を受信したときにインターフェースをモーフィングするプロセスを示すフローチャートである。モーフィングインターフェースシステム１３０は、ユーザー入力の一部を解析のために受け取るとすぐに、クライアントデバイス１１０で表示用のインターフェースを有効に（または提供）し得る。クライアントデバイス１１０で表示用のインターフェースを有効にする（または提供する）ことは、モーフィングインターフェースシステム１３０によって定義されるインテントおよび／またはモーフィング構造に対応するユーザーインターフェースを表示するために、クライアントデバイス１１０のオペレーティングシステムのためのコード、コマンド、および／またはデータを提供することを含み得る。追加のユーザー入力を受け取ると、モーフィングインターフェースシステム１３０は、選択されたインテントが伸張するユーザー入力文字列と依然として最も一致しているか否かを繰り返し再評価する。モーフィングインターフェースシステム１３０が、同じインテントが依然として適用されると判定する場合、追加のエンティティ値が、拡張されたユーザー入力から抽出され得る。しかしながら、モーフィングインターフェースシステム１３０が、追加のユーザー入力が与えられ、異なるインテントがより適用可能であると判定する場合、システムは、異なる、より適用可能なインテントへのユーザーインターフェースの変更（例えば、「モーフフィング(morph)」）を表示のために可能に（または提供）し得る。画面上（例えば、クライアントデバイス１１０での）での視覚的変更は、例えば、ユーザーインターフェースの完全な更新への段階的な視覚的遷移であり得る。さらに、モーフィングインターフェースシステムは、ユーザー入力が経時的に追加されるにつれて、ユーザーインターフェースが任意の回数変更することを可能にし得る。
特に、図４Ａに記載されるように、ユーザー入力の第１の部分が受け取られて分析された後、図４Ｂに記載されるように、モーフィングインターフェースシステム１３０は、ユーザー入力の追加の部分を受け取るにつれて、ユーザー入力の伸張する文字列を解析し続ける。モーフィングインターフェースシステム１３０は、ユーザー入力の追加の部分を受け取る（４４５）。例えば、ユーザー入力の第１の部分は、文章の最初の単語であり得、図４Ｂのプロセスは、ユーザー入力文章の２番目の単語を受け取ったことに応答して開始され得る。
モーフィングインターフェースシステム１３０は、ユーザー入力の以前に受信された部分とユーザー入力の追加の部分との組み合わせに基づいて、自然言語処理信号を生成する（４５０）。ユーザー入力の組み合わせに一致するインテントは、例えばインテントマッチングモジュール１４０によって選択される（４５５）。
モーフィングインターフェースシステム１３０は、一致したインテントが直近に一致したインテントと同じであるか否か、または一致したインテントが新しいインテントであるかどうかを決定する（４６０）。新しいインテントは、クライアントデバイス１１０で現在表示されているインターフェースに関連付けられるインテントとは異なるインテントであり得る。
インテントが同じインテントである場合、次いで、モーフィングインターフェースシステム１３０は、インテントに関連する追加のエンティティ値を、以前のユーザー入力と現在の（すなわち、直近の）ユーザー入力との組み合わせから抽出する（４６５）。インターフェースは、インテントに関連する追加のエンティティ値が追加される（４７０）。
インテントが以前のユーザー入力の収集と一致した以前のインテントと同じでない場合、モーフィングインターフェースシステム１３０は、ユーザー入力の組み合わせから新しいインテントに関連するエンティティ値を抽出する（４７５）。新しいインテントに関連するインターフェースは、例えば、インターフェースストア１５５から取得される（４８０）。取得されたインターフェースは、新しいインテントに関連付けられる抽出されたエンティティ値が追加される（４８５）。
モーフィングインターフェースシステム１３０は、例えば、クライアントデバイス１１０を介して、以前と同じインターフェースであるか否か、または新たに取得されたインターフェースであるか否かにかかわらず、追加されたインターフェースのユーザーへの表示を有効に（または提供）する（４９０）。図４Ｂに示すプロセスは、モーフィングインターフェースシステム１３０によってユーザー入力の追加の部分を受け取る（４４５）たびに繰り返され得る。
以下の図５Ａから図５Ｇは、追加のユーザー入力を受け取った際のインテントを実行するインターフェースの一実施形態における一例を示している。一実施形態では、インターフェースは、コンピューティングデバイス、例えば、スマートフォン、タブレット、ラップトップまたはデスクトップコンピュータなどのクライアントデバイス１１０の画面上に表示するために提示されるユーザーインターフェースである。図５Ａから図５Ｇは、クライアントデバイス１１０を介して受け取ったユーザー入力が、フライトの予約の一般的なインテント（すなわち、機能またはユーザ要求）に一致した例を示す。選択されたインターフェースに関連する追加のエンティティ値が追加のユーザー入力の受け取りに応答して決定されるにつれて、表示されるインターフェースのレイアウトは、モーフィング（morph)および変化する。しかしながら、図５Ａから図５Ｇの例では、モーフィングインターフェースシステム１３０は、新しいインテントがユーザー入力とより良く一致すると決定しておらず、したがって、表示されたレイアウトは、フライト予約インターフェースと関連するままである。
図５Ａは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第１のレイアウトを示す図である。フライト予約に関連するインターフェース５００は、受け取ったユーザー入力５３０Ａに基づいて、モーフィングインターフェースシステム１３０によって選択される。図５Ａ ～図５Ｅの図面では、選択されたインターフェース５００と関連する表示レイアウトが図の左側に示され、２つの可能性のある種類のユーザー入力５３０の表示が図の右側に示されている。様々な実施形態では、ユーザーデバイス上の実際の表示は、インターフェース５００のレイアウト、インターフェース５００とユーザー入力レイアウトとの間の交互、インターフェース５００の一部及びユーザー入力５３０の入力表示レイアウトの一部を示す分割画面、または別の表示スキームとして現れ得る。１つの例示的な実施形態では、インターフェース５００が、例えば、新しいユーザー入力５３０に応答して更新されると、図面の左に示されるようなディスプレイは、次のレイアウトまたはインターフェースを示すためにモーフィング(morph)を開始する。例えば、図５Ａの左のユーザーインターフェース５００は、図５Ｂの左のユーザーインターフェース５００のレイアウトにモーフィングする(morph)。このインタフェースモーフィング(morphing)は、例えば、連続した図５Ａ～図５Ｇ及び図６Ａ～図６Ｄに記載されるインターフェース５００間の遷移として、各連続したユーザーインターフェース間で生じ得る。図５Ａに示されるユーザー入力５３０の例示的なタイプは、音声入力５１０、および文字入力５２０を含む。
図５Ａの例では、モーフィングインターフェースシステム１３０は、テキスト文字列「Book me a flight」（「飛行機を予約してください」）を含む初期ユーザー入力５３０Ａを受け取る。モーフィングインターフェースシステム１３０は、ユーザー入力５３０Ａがフライト予約インテントに最も関連付けられている可能性が高いと判定し、それに応じて、フライト予約インターフェース５００は、ほぼ瞬時に表示される。インターフェース５００は、ウィジェット５４０を含み得る。ウィジェットは、インターフェースに関連するエンティティに関連する情報を表示または収集するインターフェースレイアウトの一部であり得る。場合によっては、ウィジェット５４０は、入力フィールド（例えば、テキストフィールド、チェックボックス、または他のデータ入力フォーマット）であり得る。インターフェース５００は、エンティティ認識モジュール１４５によって決定されたエンティティ値を追加(populate)することができるウィジェット５４０を表示し得る。様々な実施形態では、インターフェース５００は、エンティティ認識モジュール１４５が入力フィールドに追加(populate)する値を決定する前であっても、インターフェース５００にするエンティティのためのいくつか、またはすべてのウィジェット５４０を表示し得る。例えば、図５Ａは、フライト予約の目的地の値を入力するためのスペースを含むウィジェット５４０Ａを含む。図５４０Ｂは同様に、フライト予約の日付の値を入力するためのスペースを含む出発・帰着日ウィジェット５４０Ｂと乗客の人数を示すウィジェット５４０Ｃとを含み、エンティティ認識モジュール１４５が「1 passenger Economy」（「１人、エコノミー」）の値が最も可能性が高い入力値であると予測し、それに応じてウィジェット５４０Ｃに追加された値が表示される。
図５Ｂは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第２のレイアウトを示す図である。図５Ｂにおいて、ユーザー入力５３０Ｂは、追加情報を含む。特に、ユーザーがさらに入力を追加したため、ユーザー入力５３０Ｂは「Book me a flight from SFO」（「ＳＦＯからのフライトを予約してください」）と表示されるようになった。モーフィングインターフェースシステム１３０は、選択されたインテントが依然としてフライト予約のままであるべきであると決定し、インターフェース５００内にウィジェット５４０をさらに追加するための追加のエンティティ値情報を識別する。したがって、ユーザーインターフェース５００は、図５Ａのレイアウトから図５Ｂに示されるレイアウトにモーフィング(morph)する。例えば、図５Ｂに示されるインターフェース５００は、ウィジェット５４０Ａ内の飛行起点情報のために入力された起点「ＳＦＯ」（「サンフランシスコ」）を含む。いくつかの実施形態では、インターフェースを１つのレイアウトから別のレイアウトにモーフィングすることは、例えば、新しいエンティティ情報がユーザー入力から抽出されるように、ユーザー入力から新たに受信された情報を使用してさらに追加され得るレイアウトのセクションの移動展開（a moving expansion）などのアニメーションの表示を含み得る。
図５Ｃは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第３のレイアウトを示す図である。図５Ｃでは、ユーザー入力５３０Ｃは、さらに追加情報を含む。特に、ユーザーは、ユーザー入力５３０Ｃが「Book me a flight from SFO to LAX」（「ＳＦＯからＬＡＸへのフライトを予約してください」）を含むように入力を追加した。モーフィングインターフェースシステム１３０は、選択されたインテントが依然としてフライト予約であるべきと決定する。モーフィングインターフェースシステム１３０は、例えば、ウィジェット５４０Ａの行先フィールド内の行先「ＬＡＸ」（「ロスアンジェルス」）を含むインターフェース５００内にウィジェット５４０をさらに追加するための追加のエンティティ値情報を識別する。したがって、ユーザーインターフェース５００は、図５Ｂに示されるレイアウトから図５Ｃに示されるレイアウトにモーフィングする(morph)。
図５Ｄは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第４のレイアウトを示す図である。図５Ｄにおいて、ユーザー入力５３０Ｄは、追加情報を含む。特に、ユーザーがさらに入力を追加したため、ユーザー入力５３０Ｂは「Book me a flight from SFO to LAX on April 22」（「４月２２日のＳＦＯからＬＡＸまでのフライトを予約してください」）が含まれるようになった。モーフィングインターフェースシステム１３０は、選択されたインテントが依然としてフライト予約であるべきであると決定し、インターフェース５００にさらに追加するための追加のエンティティ値情報を抽出する。したがって、ユーザーインターフェース５００は、図５Ｃに示されるレイアウトから図５Ｄに示されるレイアウトにモーフィングする(morph)。例えば、図５Ｄは、４月２２日を選択した状態で、ユーザーによって要求されたフライトに関する出発日情報を示表示する拡張ウィジェット５４０Ｄを示す。
図５Ｅは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第５のレイアウトを示す図である。モーフィングインターフェースシステム１３０が、選択されたインテントに関連するエンティティ値がすべて抽出され、インテントに適用されたと決定する場合、インテントは、ユーザーのための応答を生成するために実行し得る。次いで、インターフェース５００のレイアウトは、応答の表示を含み得る。例えば、エンティティ認識モジュール１４５が、フライトを予約するために必要なすべてのエンティティに関連する値を識別する場合、インテントが実行され、ユーザー入力５３０で指定された基準を満たす可能性のあるフライトを識別するインターフェース５００のレイアウトが提示される。例えば、ユーザーインターフェース５００は、図５Ｄに示されるレイアウトから図５Ｅに示されるレイアウトにモーフィングする(morph)。つぎにユーザーは、提示されたオプション、例えば、指定された基準で可能なフライトと一致する提示された選択肢、例えばウィジェット５４０Ｅ、５４０Ｆ、５４０Ｇ、５４０Ｈ、及び５４０Ｉからフライトを選択し得る。
図５Ｆは、例示的な実施形態における、フライト予約インテントに関連するインターフェースのために表示される第６のレイアウトを示す図である。図５Ｆの例では、インターフェース５００は、選択されたフライト情報を表示し、これにより、ユーザーは、フライトを購入するための注文を送信する前にデータを確認することができる。いくつかの実施形態では、モーフィングインターフェースシステム１３０は、様々なパーソナライズ技術を使用して、ユーザーに関連するエンティティの値を決定し得る。ひとつの実施形態では、モーフィングインターフェースシステム１３０は、インテントの実行において使用するためのユーザプロファイル情報を格納することができる。例えば、モーフィングインターフェースシステム１３０は、ユーザー名、クレジットカード番号、自宅及び職場の場所などを格納し得る。例えば、図５Ｆにおいて、ウィジェット５４０Ｊおよび５４０Ｋにおける予約ユーザーおよびクレジットカードの情報は、その情報がユーザー入力５３０に含まれることなく、モーフィングインターフェースシステム１３０によって記入される。いくつかの実施形態では、ユーザモーフィングインタフェースシステム１３０は、例えば、声紋を使用して、ユーザーのアイデンティティを検証して、ユーザー情報を自動的に含むかどうか、または追加のユーザー入力が必要であるかどうかを決定することができる。いくつかの実施形態では、モーフィングインターフェースシステム１３０は、ユーザーがより使用する可能性が高いレイアウト部分及びエンティティ値を予測することができる訓練されたモデルを使用して、インターフェースレイアウトの一部、およびレイアウト内の入力として事前追加されたエンティティを追加または削除し得、例えば、ユーザーの特定のクレジットカード入力は、ユーザーの定期的なアクションの最も最新のものを反映するために、数週間の使用後に変更され得る。
図５Ｇは、画面上に表示されるユーザーインターフェースの一部を示す。ここでのユーザーインターフェースの一部は、例示的な実施形態による、フライト予約インテントの実行の電子メール確認である。図５Ｇの例は、ユーザーがフライトを購入したことを確認するユーザーによって受信された電子メール５５０を示す。いくつかのインテントでは、そのようなメール確認はインテント実行の一部として含まれ得ない。
以下の図６Ａから図６Ｄは、一実施形態における、追加のユーザー入力を受け取った際のインテントを実行するインターフェースの一例を示している。図６Ａから図６Ｄは、ユーザー入力５３０Ｅがピザ注文インテントと一致した例を示す。選択されたインターフェースに関連する追加のエンティティ値が追加のユーザー入力の受け取りに応答して決定されると、表示されるインターフェースのレイアウトは、モーフィング（morph）および変化する。図６Ａから図６Ｄの例では、モーフィングインターフェースシステム１３０は、追加のユーザー入力の受け取り、および分析時に、新しいインテントが、最初に選択されたインテントよりもユーザー入力によりよく一致すると判断し、表示されたインターフェースレイアウトは、それに応じて、ピザ注文インターフェースからシャツ購入インターフェースにモーフィング(morph)する。
図６Ａは、例示的な実施形態による、ピザ注文インテントに関連付けられたユーザー入力の第１の部分の受け取りを示す図である。ピザ注文に関連するインターフェース５００は、受け取ったユーザー入力５３０Ｅに基づいて、モーフィングインターフェースシステム１３０によって選択される。図６Ａの特定の例では、モーフィングインターフェースシステム１３０は、テキスト文字列（５２０上）「I want to order a pizza」（「ピザを注文したい」）、または「I want to order a pizza」（「ピザを注文したい」）に対応する音声入力（５１０上）を含む初期ユーザー入力５３０Ｅを受け取る。モーフィングインターフェースシステム１３０は、ユーザー入力５３０Ｅがピザ注文インテントに最も関連付けられている可能性が高いと判断し、インターフェース５００は、インターフェース５００上のグラフィカルな例５０１によって示されるように、それに応じてピザ注文レイアウトを表示するための遷移（例えば、モーフィング（morph））を開始する。
図６Ｂは、例示的な実施形態による、ピザの注文に関連するインターフェースについて、図６Ａから図６Ｂへの移行時に表示されるレイアウトを示す図である。図５Ａのように、インターフェース５００は、エンティティ認識モジュール１４５によって決定されたエンティティ値を追加(populate)することができるウィジェット５４０を含み得る。例えば、図６Ｂは、ピザレストランに入る（entering）ための領域を含むウィジェット５４０Ｌを含む。さらに、また、例えば、注目された(noted)レストランからのピザの価格およびピザの配達時間などの追加情報が、モーフィングされた画面(morphed screen)に表示され始め得る。図６Ｂの例では、エンティティ認識モジュール１４５は、ユーザーが注文したいであろうピザレストランを予測し、ユーザーインターフェース５００のウィジェット５４０にレストランに関する情報を入力している。
図６Ｃは、例示的な実施形態による、より多くのユーザー入力５３０Ｆを受け取り、インターフェースが図６Ａからモーフィング（morph）し続けるにつれて、ピザＴシャツ購入に関連するインターフェースのために表示されるレイアウトを示す図である。図６Ｃにおいて、ユーザー入力５３０Ｆは、追加情報を含む。特に、ユーザーが入力を追加したため、ユーザー入力５３０Ｆが、「I want to order a pizza T-Shirt」（「ピザＴシャツを注文したい」）を含むようになった。インテントマッチングモジュール１４０は、追加のユーザー入力を分析し、以前に選択されたピザ注文インテントがもはや最も適用可能なインテントではなくなり、新しい最も関連性のあるインテントがシャツ注文インテントであると決定する。モーフィングインターフェースシステム１３０は、シャツ購入インテントに適用可能なインターフェース５００を選択し、クライアントデバイス１１０でディスプレイをモーフィング(morph)して、選択されたインテントに関連するレイアウトを表示する。例えば、ピザレストランの提案を表示するのではなく、図６Ｃのインターフェース５００は、購入可能なピザをテーマとしたＴシャツの選択肢を表示するようになった。すなわち、ユーザーインターフェース５００は、ユーザーが追加の入力情報を提供し続けるにつれて、ピザの注文を表示する図６Ｄに示されるインターフェースから、明らかに瞬時にピザＴシャツ購入オプションを表示する図６Ｃに示されるインターフェースにモーフィング(morph)する。例示的なシャツ購入インテントに関連するウィジェット５４０Ｍは、その時ユーザーが購入のために選択することができるピザＴシャツの写真を含み得る。
図６Ｄは、例示的な実施形態による、Ｔシャツの購入インテントに関連付けられ得る追加の例示的なインターフェースを示す図である。例えば、いったんモーフィングインターフェースシステム１３０が、インテントを実行するために必要なすべてのエンティティ値が利用可能であると決定すると、プロセスは、ユーザーによって引き継がれ得る。図６Ｄの例では、ユーザーは、インターフェース５００Ａに示されるように、ピザをテーマとしたＴシャツの選択肢のうちの１つを選択し得、ユーザーは、インターフェース５００Ｂに示されるように、選択されたアイテムに関する追加情報を閲覧し得、ユーザーは、注文の詳細を確認し、ピザＴシャツを注文し得る。
図５Ａ～図５Ｇおよび図６Ａ～図６Ｄの例は、受け取ったユーザー入力が追加情報で徐々に増加されるにつれて、実質的に（またはほぼ）同時のリフレッシュを介して変化する、急速に変化する（例えば、モーフィングされた）ユーザーインターフェースを有益に反映している。従来のシステムとは異なり、ここでは、ユーザーは、ユーザーがユーザー入力を提供するにつれて、従来のシステムがそれらに提示する可能性のある推奨事項を解析する必要はない。さらに、従来のシステムとは異なり、ユーザーは、増加する入力文字列に対応する瞬間の表示（例えば、現在提供されている）に、どのユーザーインターフェースが表示されるかを見始めるために、ユーザー入力の完全な選択を待つ必要はない。さらに、従来のシステムとは異なり、コンピューティングデバイスの画面上に表示することが可能なユーザーインターフェースは、ほぼ瞬時に（または直ちに）部分入力を反映し始め、追加項目がユーザー入力に文脈上追加されるにつれて、現在の入力を反映するように急速に進化し、完全なユーザー入力に対応する適切な最終ユーザーインターフェースで終了する。すなわち、テキスト入力ＴＸ０＋ＴＸ１での表示のために有効化されたユーザーインターフェースは、元のユーザー入力ＴＸ０の表示のために有効化されたユーザーインターフェースから実質的に直ちに更新される。
（コンピューティングシステムの例）
図７は、例示的な実施形態による、マシン可読媒体から命令を読み取り、それらを１つまたは複数のプロセッサ（もしくはコントローラ）で実行することができる例示的なマシンの構成要素を示すブロック図である。具体的には、図７は、コンピュータシステム７００の例示的な形態におけるモーフィングインターフェースシステム１３０の図式的な表現を示す図である。コンピュータシステム７００は、マシンに本明細書で開示される方法論（またはプロセス）のうちのいずれか１つまたは複数を実行させるための命令７２４（例えば、プログラムコード、またはソフトウェア）を実行するために用いられることができる。代替的な実施形態において、マシンは、スタンドアロンデバイス、または他のマシンに接続する接続された（例えば、ネットワーク化された）デバイスとして動作する。ネットワーク接続されたデプロイメントにおいて、マシンは、サーバー・クライアントネットワーク環境におけるサーバーマシンもしくはクライアントマシンとして、またはピア・ツー・ピア（または分散）ネットワーク環境におけるピアマシンとして動作し得る。
マシンは、サーバーコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、スマートフォン、モノのインターネット（ＩｏＴ）機器、ネットワークルーター、スイッチもしくはブリッジ、またはそのマシンによって実行される動作を指定する命令７２４（シーケンシャル、またはその他のもの）を実行できる任意のマシンであり得る。さらに、１つのマシンだけが示されているが、「マシン」という用語は、また、本明細書で説明される方法論のうちのいずれか１つまたは複数を実行するために、個々にまたは結合して命令７２４を実行するマシンの任意の集合を含むものと解釈される。
例示的なコンピュータシステム７００は、１つまたは複数の処理ユニット（一般的に、プロセッサ７０２）を含む。プロセッサ７０２は、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、状態マシン、１つもしくはそれ以上の特定用途向け集積回路（ＡＳＩＣ）、１つもしくはそれ以上の無線周波数集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせである。プロセッサは、コンピューティングシステム７００のためのオペレーティングシステムを実行する。コンピュータシステム７００は、また、メインメモリ７０４を含む。コンピュータシステムは、ストレージユニット７１６を含み得る。プロセッサ７０２、メモリ７０４、およびストレージユニット７１６は、バス７０８を介して通信する。
さらに、コンピュータシステム７０６は、静的メモリ７０６、グラフィックスディスプレイ（例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、またはプロジェクターを駆動するための）を含むことができる。コンピュータシステム７００は、また、文字数字入力デバイス７１２（例えば、キーボード）、カーソル制御デバイス７１４（例えば、マウス、トラックボール、ジョイスティック、モーションセンサー、または他のポインティング機器）、信号生成デバイス７１８（例えば、スピーカー）、およびネットワークインターフェースデバイス７２０を含み得、これらは、また、バス７０８を介して通信するように構成されている。
ストレージユニット７１６は、本明細書で説明される方法論、または機能の任意の一つまたはそれ以上を具現化する命令７２４（例えば、ソフトウェア）が格納されるマシン可読媒体７２２を含む。例えば、命令７２４は、ＮＬＰパイプライン１３５、機能マッチングモジュール１４０および／またはエンティティ認識モジュール１４５の機能を実装するための命令を含み得る。命令７２４（例えば、ソフトウェア）は、また、コンピュータシステム７００によるその実行の間に、メインメモリ７０４内、またはプロセッサ７０２内（例えば、プロセッサのキャッシュメモリ内）に完全にもしくは少なくとも部分的に存在し得、メインメモリ７０４、およびプロセッサ７０２は、また、マシン可読媒体を構成する。命令７２４は、ネットワークインターフェースデバイス７２０を介して、ネットワーク１２０などのネットワーク７２６を介して送信または受信され得る。さらに、クライアントデバイス（またはユーザデバイス）について、受信された命令は、クライアントデバイス上の機能を有効にするサーバシステムからの命令であり得る。例えば、ユーザーインターフェースがどのように表示されるかは、そのコードがクライアントデバイスのオペレーティングシステムと適切にインターフェースする方法に基づいて、表示のためにユーザーインターフェースがどのように有効にされるべきか（例えば、レンダリングされるべきか）に関するコードを受信することを含み得る。
マシン可読媒体７２２は、実施形態の一例においては、１つの媒体であると示されているが、「マシン可読媒体」という用語は、命令７２４を格納することが可能である１つの媒体または複数の媒体（例えば、集中型または分散型データベース、もしくは関連するキャッシュおよびサーバー）を含むものと解釈される。「マシン可読媒体」という用語は、また、マシンによる実行のための命令７２４を格納することが可能であり、マシンに本明細書に開示される１つまたはそれ以上の方法論のうちの任意のものを実行させる任意の媒体を含むものと解釈される。「マシン可読媒体」という用語は、限定するわけではないが、固体メモリ、光学媒体、および磁気媒体の形態でのデータリポジトリを含む。
（さらなる検討事項）
実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に特許権を限定することを意図していない。関連技術分野における当業者は、上記の開示を考慮すると、多くの修正例および変形例が可能となることを理解することができる。
本説明のある部分は、情報に対する演算のアルゴリズムおよび記号表現の観点から、実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術における当業者によって一般的に用いられ、彼らの仕事の趣旨を効果的に他の当業者に伝える。これらの演算は、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラムもしくは等価の電気回路、またはマイクロコードなどによって実装されると理解される。さらに、また、普遍性を失うことなく、時にはこれらの演算の配列をモジュールと称すると便利であることが分かる。説明される演算およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化され得る。
本明細書で説明される任意のステップ、演算、またはプロセスは、単独または他のデバイスと組み合わせることで、１つもしくはそれ以上のハードウェアまたはソフトウェアモジュールを用いて実行または実装され得る。実施形態の一例では、ソフトウェアモジュールは、説明したステップ、演算、もしくはプロセスのいずれか、もしくはすべてを実行するために１つもしくは複数のコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体で構成されるコンピュータプログラム製品を用いて実装される。
実施形態は、また、本明細書の演算を実行するための装置に関連し得る。この装置は、要求される目的のために特別に構築され得、および／または、コンピュータに格納されるコンピュータプログラムによって、選択的にアクティベートされるか、または再構成されるコンピューティングデバイスで構成され得る。このようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を格納することに適する任意のタイプの媒体に格納され得る。例えば、コンピュータプログラムを記憶するデータ記憶装置に結合されたコンピューティングデバイスは、特殊用途のコンピューティングデバイスに対応することができる。さらに、本明細書において参照される任意のコンピューティングシステムは、単一のプロセッサを含み得、または計算能力を高めるための複数のプロセッサデザインを採用するアーキテクチャであり得る。
実施形態は、また、本明細書で説明されるコンピューティングプロセスによって生成される製品に関連し得る。このような製品は、コンピューティングプロセスから生じる情報から構成され得、その情報は、非一時的な有形のコンピュータ可読記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品または他のデータとの組み合わせの任意の実施形態を含み得る。
最後に、明細書で用いられる文言は、主に読み易さおよび教育目的のために選択されており、発明の主題を描写または制限するために選択されていない場合がある。それゆえに、特許権の範囲は、この発明の詳細な説明によってではなく、本明細書に基づいた出願で発行される任意の請求項によって制限されることが意図されている。したがって、実施形態の開示は、以下の特許請求の範囲に記載される特許権の範囲を例示することを意図するものであり、限定することを意図するものではない。

Claims (20)

  1. ユーザーデバイスから、入力文字列を含む第１のユーザー入力を受信することと、
    前記第１のユーザー入力に基づいて自然言語処理信号のセットを生成することと、
    前記第１のユーザー入力と一致するインテントを選択することであって、前記選択は前記自然言語処理信号に基づき、前記インテントはコンピュータ実行可能な機能に対応することと、
    前記インテントに関連するインターフェースを識別することと、
    前記第１のユーザー入力から、前記インターフェースのエンティティに関連する値のセットを抽出することと、
    前記第１のユーザー入力の前記受信とほぼ同時に、前記ユーザーデバイス上の前記インターフェースとして表示を有効化し、表示される前記インターフェースは前記値のセットからの値を含んでいることと、
    を含むコンピュータで実行される方法。
  2. 前記ユーザーデバイスから、テキスト文字列を含む第２のユーザー入力を受信することと、
    前記第１のユーザー入力及び前記第２のユーザー入力の組み合わせに基づいて、更新された自然言語処理信号のセットを生成することと、
    前記第１のユーザー入力および前記第２のユーザー入力の前記組み合わせに一致するインテントを選択することであって、前記選択は前記更新された自然言語処理信号のセットに基づくことと、
    新たに選択されたインテントに関連する第２のインターフェースを識別することと、
    前記第１のユーザー入力および前記第２のユーザー入力の前記組み合わせから、前記第２のインターフェースのエンティティに関連する値の第２のセットを抽出することと、
    前記第２のインターフェースを前記ユーザーデバイス上の表示用に有効にすることであって、表示用の前記第２のインターフェースは前記値の第２のセットからの値を含むことと、
    をさらに含む請求項１に記載のコンピュータで実行される方法。
  3. 前記第１のユーザー入力は、音声入力である請求項１に記載のコンピュータで実行される方法。
  4. 前記ユーザー入力と一致するインテントを選択することは、前記第１のユーザー入力を１つまたはそれ以上の以前に受信されたユーザー入力文字列と比較することと、前記１つまたはそれ以上の以前に受信されたユーザー入力文字列と一致する前記第１のユーザー入力に応答して、前記以前に受信されたユーザー入力文字列のうちの少なくとも１つに応答して選択されたインテントを選択することとを含む、請求項１に記載のコンピュータで実行される方法。
  5. 前記ユーザー入力と一致するインテントを選択することは、訓練されたコンピュータモデルを適用して、最も適用可能なインテントを予測することを含む、請求項１に記載のコンピュータで実行される方法。
  6. インターフェースは、関連するエンティティのセットを含む、請求項１に記載のコンピュータで実行される方法。
  7. 前記第１のインターフェースおよび前記第２のインターフェースは、同じインターフェースである、請求項１に記載のコンピュータで実行される方法。
  8. 前記第１のインターフェースおよび前記第２のインターフェースは、異なるインターフェースである、請求項１に記載のコンピュータで実行される方法。
  9. 前記入力文字列は、テキスト文字列である、請求項１に記載のコンピュータで実行される方法。
  10. 前記入力文字列は、音声入力である、請求項１に記載のコンピュータで実行される方法。
  11. コンピュータプログラム命令を実行するための１つまたはそれ以上のコンピュータプロセッサと、
    少なくとも１つのプロセッサによって実行可能な格納された命令を含む非一時的なコンピュータ可読記憶媒体であって、前記命令は、実行されると、前記プロセッサに、
    第１のユーザーデバイスから、入力文字列を含む第１のユーザー入力を受信し、
    前記第１のユーザー入力に基づいて自然言語処理信号のセットを生成し、
    前記第１のユーザー入力と一致するインテントを選択し、前記選択は、前記自然言語処理信号に基づいており、前記インテントは、コンピュータが実行可能な機能に対応しており、
    前記インテントに関連するインターフェースを識別し、
    前記第１のユーザー入力から、前記インターフェースのエンティティに関連する値のセットを抽出し、および、
    前記第１のユーザー入力の前記受信とほぼ同時に、前記ユーザーデバイス上の前記インターフェースとして表示を可能とし、表示のための前記インターフェースは、前記値のセットからの値を含むようにさせる、
    コンピュータ可読記憶媒体と、
    を含むコンピュータシステム。
  12. さらに格納された命令を含み、該命令は、実行されると、前記プロセッサに、さらに、
    前記ユーザーデバイスから、テキスト文字列を含む第２のユーザー入力を受信し、
    前記第１のユーザー入力および前記第２のユーザー入力の組み合わせに基づいて、更新された自然言語処理信号のセットを生成し、
    前記第１のユーザー入力および前記第２のユーザー入力の前記組み合わせに一致するインテントを選択し、前記選択は、前記更新された自然言語処理信号のセットに基づいており、
    新たに選択されたインテントに関連する第２のインターフェースを識別し、
    前記第１のユーザー入力及び前記第２のユーザー入力の前記組み合わせから、前記第２のインターフェースのエンティティに関連する値の第２のセットを抽出し、ならびに、
    前記第２のインターフェースを前記ユーザーデバイス上の表示用に有効にし、表示用の前記第２のインターフェースは前記値の第２のセットの値を含む、
    ようにさせる請求項１１に記載のコンピュータシステム。
  13. 前記第１のユーザー入力は、音声入力である請求項１１に記載のコンピュータシステム。
  14. 前記プロセッサに前記ユーザー入力と一致するインテントを選択させる前記命令は、前記第１のユーザー入力を１つまたはそれ以上の以前に受信されたユーザー入力文字列と比較する命令、および前記１つまたはそれ以上の以前に受信されたユーザー入力文字列と一致する前記第１のユーザー入力に応答して、前記以前に受信されたユーザー入力文字列のうちの少なくとも１つに応答して選択されたインテントを選択する命令を含む、請求項１１に記載のコンピュータシステム。
  15. 前記プロセッサに前記ユーザー入力と一致するインテントを選択させる前記命令は、前記プロセッサに訓練されたコンピュータモデルを適用させて最も適用可能なインテントを予測させる命令を含む、請求項１１に記載のコンピュータシステム。
  16. インターフェースは、関連するエンティティのセットを含む、請求項１１に記載のコンピュータシステム。
  17. 前記第１のインターフェース及び前記第２のインターフェースは、同じインターフェースである、請求項１１に記載のコンピュータシステム。
  18. 前記第１のインターフェース及び前記第２のインターフェースは、異なるインターフェースである、請求項１１に記載のコンピュータシステム。
  19. 前記入力文字列は、テキスト文字列である、請求項１１に記載のコンピュータシステム。
  20. 前記入力文字列は、音声入力である、請求項１１に記載のコンピュータシステム。
JP2022514586A 2019-09-04 2020-09-04 コンピュータ画面表示用のリアルタイムモーフィングインターフェース Pending JP2022547482A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962895944P 2019-09-04 2019-09-04
US62/895,944 2019-09-04
US202063038604P 2020-06-12 2020-06-12
US63/038,604 2020-06-12
PCT/US2020/049544 WO2021046449A1 (en) 2019-09-04 2020-09-04 Real-time morphing interface for display on a computer screen

Publications (2)

Publication Number Publication Date
JP2022547482A true JP2022547482A (ja) 2022-11-14
JPWO2021046449A5 JPWO2021046449A5 (ja) 2023-09-13

Family

ID=74682288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514586A Pending JP2022547482A (ja) 2019-09-04 2020-09-04 コンピュータ画面表示用のリアルタイムモーフィングインターフェース

Country Status (6)

Country Link
US (1) US11531451B2 (ja)
EP (1) EP4026120A4 (ja)
JP (1) JP2022547482A (ja)
KR (1) KR20220056228A (ja)
CN (1) CN114365143A (ja)
WO (1) WO2021046449A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531451B2 (en) 2019-09-04 2022-12-20 Brain Technologies, Inc. Real-time morphing interface for display on a computer screen
US11966964B2 (en) * 2020-01-31 2024-04-23 Walmart Apollo, Llc Voice-enabled recipe selection
WO2022182824A1 (en) * 2021-02-26 2022-09-01 Brain Technologies, Inc. Natural query completion for a real-time morphing interface
US20230140974A1 (en) * 2021-11-10 2023-05-11 Pencil Learning Technologies, Inc. Systems and methods for deeply integrated presentation gadgets

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082264B2 (en) 2004-04-07 2011-12-20 Inquira, Inc. Automated scheme for identifying user intent in real-time
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9171541B2 (en) * 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US8694537B2 (en) 2010-07-29 2014-04-08 Soundhound, Inc. Systems and methods for enabling natural language processing
US9619554B2 (en) 2011-11-03 2017-04-11 Microsoft Technology Licensing, Llc Domain specific query-completion suggestions
US20130117310A1 (en) 2011-11-08 2013-05-09 Yixin Chai Systems and methods for generating and displaying hierarchical search results
AU2013226134B9 (en) 2012-02-29 2017-12-14 Google Llc Interactive query completion templates
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9786097B2 (en) * 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10242403B2 (en) * 2013-02-22 2019-03-26 Cantor Futures Exchange, L.P. Systems and methods for computing an index for a binary options transaction
CN105190607B (zh) * 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
KR102197560B1 (ko) * 2013-06-07 2020-12-31 애플 인크. 지능형 자동 어시스턴트
US9633317B2 (en) 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9483519B2 (en) * 2013-08-28 2016-11-01 International Business Machines Corporation Authorship enhanced corpus ingestion for natural language processing
US11061893B2 (en) 2014-05-30 2021-07-13 Apple Inc. Multi-domain query completion
US9767091B2 (en) * 2015-01-23 2017-09-19 Microsoft Technology Licensing, Llc Methods for understanding incomplete natural language query
US10482184B2 (en) * 2015-03-08 2019-11-19 Google Llc Context-based natural language processing
US10691473B2 (en) * 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
JP2019501466A (ja) 2016-01-12 2019-01-17 ヴェリトーン， インコーポレイテッド 検索エンジンの選択および最適化のための方法およびシステム
US20180052824A1 (en) * 2016-08-19 2018-02-22 Microsoft Technology Licensing, Llc Task identification and completion based on natural language query
US10446137B2 (en) * 2016-09-07 2019-10-15 Microsoft Technology Licensing, Llc Ambiguity resolving conversational understanding system
KR20180055189A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 자연어 처리 방법 및 장치와 자연어 처리 모델을 학습하는 방법 및 장치
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US10838779B1 (en) 2016-12-22 2020-11-17 Brain Technologies, Inc. Automatic multistep execution
KR20180082033A (ko) * 2017-01-09 2018-07-18 삼성전자주식회사 음성을 인식하는 전자 장치
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11282006B2 (en) * 2017-03-20 2022-03-22 Microsoft Technology Licensing, Llc Action assignment tracking using natural language processing in electronic communication applications
KR102431817B1 (ko) * 2017-10-12 2022-08-12 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 서버
US20200327890A1 (en) * 2017-11-28 2020-10-15 Sony Corporation Information processing device and information processing method
US11145291B2 (en) * 2018-01-31 2021-10-12 Microsoft Technology Licensing, Llc Training natural language system with generated dialogues
KR102596436B1 (ko) * 2018-02-20 2023-11-01 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US11200893B2 (en) * 2018-05-07 2021-12-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
KR20200052612A (ko) * 2018-11-07 2020-05-15 삼성전자주식회사 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
US20200159824A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Dynamic Contextual Response Formulation
KR20200059054A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
US11256868B2 (en) * 2019-06-03 2022-02-22 Microsoft Technology Licensing, Llc Architecture for resolving ambiguous user utterance
US11847167B2 (en) * 2019-06-05 2023-12-19 Boomi, LP System and method for generation of chat bot system with integration elements augmenting natural language processing and native business rules
US11531451B2 (en) 2019-09-04 2022-12-20 Brain Technologies, Inc. Real-time morphing interface for display on a computer screen

Also Published As

Publication number Publication date
EP4026120A1 (en) 2022-07-13
EP4026120A4 (en) 2023-10-18
WO2021046449A1 (en) 2021-03-11
CN114365143A (zh) 2022-04-15
KR20220056228A (ko) 2022-05-04
US11531451B2 (en) 2022-12-20
US20210064203A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11531451B2 (en) Real-time morphing interface for display on a computer screen
US11086515B2 (en) Modifying captured stroke information into an actionable form
CN109952572B (zh) 基于消息贴纸的建议响应
EP3198481B1 (en) Productivity tools for content authoring
US20210192134A1 (en) Natural query completion for a real-time morphing interface
US10970900B2 (en) Electronic apparatus and controlling method thereof
CN112189229B (zh) 针对计算机化个人助手的技能发现
US10671267B2 (en) Systems and methods for presentation of content items relating to a topic
CN110717017A (zh) 一种处理语料的方法
WO2017124116A1 (en) Searching, supplementing and navigating media
US20130086056A1 (en) Gesture based context menus
US10210146B2 (en) Productivity tools for content authoring
US20210217409A1 (en) Electronic device and control method therefor
US11475290B2 (en) Structured machine learning for improved whole-structure relevance of informational displays
WO2020117616A1 (en) Content-aware search suggestions
CN111902812A (zh) 电子装置及其控制方法
US20230402037A1 (en) Digital interface with user input guidance
US11995564B2 (en) System and method for generating aspect-enhanced explainable description-based recommendations
WO2024072585A1 (en) Presenting related content while browsing and searching content
WO2022182824A1 (en) Natural query completion for a real-time morphing interface
Chen et al. How to Develop a User-Friendly Chinese Hand Input System for the Touch Device? A Case Study
US20190392330A1 (en) System and method for generating aspect-enhanced explainable description-based recommendations
Tyagi et al. Improving Accuracy of Recommendation Systems with Deep Learning Models
KR20220168972A (ko) 애플리케이션 화면을 탐색하는 전자 장치 및 그 동작 방법
CN116977459A (zh) 图片生成模型的确定方法及装置、图片生成方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904