JP2020034897A - 自然言語会話に関連する情報の視覚的提示 - Google Patents
自然言語会話に関連する情報の視覚的提示 Download PDFInfo
- Publication number
- JP2020034897A JP2020034897A JP2019136153A JP2019136153A JP2020034897A JP 2020034897 A JP2020034897 A JP 2020034897A JP 2019136153 A JP2019136153 A JP 2019136153A JP 2019136153 A JP2019136153 A JP 2019136153A JP 2020034897 A JP2020034897 A JP 2020034897A
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- topic
- natural language
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000001755 vocal effect Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000003860 storage Methods 0.000 description 44
- 238000009826 distribution Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 239000011521 glass Substances 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 229910000679 solder Inorganic materials 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003599 detergent Substances 0.000 description 2
- 235000012489 doughnuts Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229920002457 flexible plastic Polymers 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000272470 Circus Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本願は、2018年8月2日に出願された発明者Bernard Mont-Reynaudによる米国特許出願第16/052,930号に基づく優先権を主張する。
1.発明の分野
本発明は、概して情報を表示することに関し、より具体的には自然言語会話中の発話に関連する情報を自動で視覚的に提示することに関する。
時として、会話中に、言及したいことの名称を忘れることがある。時として、直ちに調べたいことがあるのに、特にAmazon Alexaのような音声インターフェイスを搭載した情報デバイスを使用しているときには、会話を中断せずにブラウザにアクセスすることができない場合がある。時として、会話の別の参加者が話したことに関する情報が欲しいことがある。時として、まだそれには気付いてもいないが、会話が、特定の情報を要する可能性が極めて高いものに変化する可能性がある場合がある。
本発明は、発話に関連する情報を自動で視覚的に提示するための、方法、システム、マシン、製造製品、およびコンピュータ読取可能コードに及ぶ。辞書によると、発話(utterance)とは、途切れのない一続きの話し言葉または書き言葉である。発話は、音声であろうとテキストであろうと、常に言葉によるものである。会話は順番に話をすることであり、一回の話が発話である。本明細書において、発話を自然言語表現とも呼び、これらの用語を同義で使用する。自然言語表現(natural language expression)(NLE)は、たとえば、話された1つ以上の単語、話された句、話された文、または数単語のテキストで構成される。
本明細書に記載されるすべての実施形態において、自然言語表現は、それを受けたときに、当該技術で周知のNLU技術のうちのいずれかを用いて解析することができる。NLU解析は、キーワードマッチング、品詞の検出、動作を表す単語の検出、エンティティの検出、部分パース、または全体のパースを含み得る。NLU解析は、解析されたNLEの意味を表わす解釈を構成することができる。キーワードのようなコンテンツワードの認識を用いることにより、トピックを示唆することができる。NLEの解析は、その意図の認識を含み得る。
図7〜図16はそれぞれ、発話に関連する情報を視覚的に提示するためのデータフロー700〜1600を示す。データフロー700〜1600は、アーキテクチャ100、300、および500、ならびに示され説明された必要な特徴のサブセットを含むその他のアーキテクチャにおいて、実現することができる。データフロー700〜1600を用いて、方法200、400、および600を補う、および/またはこれらの方法に代わるようにすることができる。データフロー700〜1600に記載されている要素は、他の組み合わせおよび/または順序で用いることもできる。
図8は、関連度スコアを用いて、自然言語表現に応じて情報を表示するためのデータフロー800を示す。補助システムが、関連度の低い(または無関係の)情報で会話を妨害するまたは混乱させてはならない。
図9は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー900を示す。ある局面において、1つ以上のトピックを、可能性がある複数の、関心のあるトピックから、選択する。たとえば、関連度スコアをトピックごとに計算することができ、選択は、関連度スコアに基づいて行ってもよい。
図10は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー1000を示す。一連の自然言語表現の間、会話が1つのトピックに留まっている場合がある。このように、ある人物が同一のトピックについて複数の自然言語表現を発話する可能性がある。
図12は、検索のためにコンセプトを用いて自然言語表現に応じて情報を表示するためのデータフロー1200を示す。ある局面において、検索入力は、トピックよりも粒度が細かくなるように選択され、たとえば、トピック内のコンセプト(粒度がより細かい分類)を選択する。コンセプトは、自然言語表現において言及されたエンティティ値(たとえば人々、場所、または物事)であってもよい。また、コンセプトは、そのインスタンスが任意の教師、任意の都市、または任意の被服製品である、Teachers(教師)、Cities(都市)、または、被服製品(Articles_of_Clothing)のようなエンティティのクラスであってもよい。自然言語質問回答システムにおいて、スロットタイプがエンティティクラスであってもよく、もしあれば、対応するスロットのエンティティ値がクラスのインスタンスである。エンティティクラスは引数であってもよく、エンティティ値はデータソースにアクセスするためのアプリケーションプログラミングインターフェイス(API)の引数の値であってもよい。いくつかの実施形態において、情報の検索はウェブAPI要求を通して行われる。
ユーザの関心モデル
自然言語表現の解析に続いて、自然言語表現103から抽出された任意のコンテンツワード、トピック、または意図に基づき、かつ現在までの会話に基づき、人物の関心のモデルを更新してもよい。いくつかの局面に従うと、ある人物の関心のモデルは、ユーザプロファイルの一部として格納される長期データ構造である。これは、天気、スポーツ、および株価のようなトピックのリストを含む。いくつかの局面に従うと、ある人物の関心のモデルは、Facebook、Mark Zuckerberg、および株式のティッカーシンボルFB、ならびに人物の子供たちの名前のような、特定のエントリを含む。いくつかの局面に従うと、ある人物の関心のモデルは、ある意図、トピック、またはエンティティのようなコンテンツワードに関連する、その人物が作成したまたは受信した表現の頻度または最新度に基づく、関心のレベルの表示を含む。
図13は、自然言語表現に応じて情報を表示しかつ他の情報を求める要求を受け入れるためのデータフロー1300を示す。本発明の局面は、人物が、どの情報が見えるかを制御し、関連があると思われる情報にアクセスすることを、可能にする。人物は他の情報を要求することもできる。
本発明のいくつかの局面は、表示空間内において関心のある領域を検出し、関心のある領域と重ならない位置に表示情報を配置する。さまざまアルゴリズムのうちのいずれかを用いることにより、関心のある領域を判断することができる。たとえば、ビデオ会議システムは、顔位置検出を実行し、顔がない位置に情報を配置することができる。関心のある領域は、視覚的または時間的頻度が高い情報の存在に基づいて検出することもできる。関心のある対象を認識し、このような対象の近くに情報を配置する、または関心のある対象を指し示す矢印もしくは関心のある対象に接するラインとともに情報を配置することができる。このような局面は、たとえば、進行中の自然言語会話に応答する拡張現実眼鏡に用いることができる。
図14は、代替の人間言語による自然言語表現に応じて情報を表示するためのデータフロー1400を示す。会話は、局地的に発生する、または、世界の異なる地域において、異なる言語を話す人々の間で発生する可能性がある。本発明の局面は、NLUを1つの言語で実行し、情報の検索を他の1つ以上の言語で実行することができる。
図15は、特定のユーザについての関連度に基づいて自然言語表現に応じて情報を表示するためのデータフロー1500を示す。表示する情報は、人物の関心に基づいておよび/または人物の関心に合わせて調整することができる。
図16は、複数の人物からの自然言語表現に応じて情報を表示するためのデータフローを示す。本発明の局面は、2人による会話の参加者双方に関連情報を提供することができる。2人による会話において、各人物に1方向で関連情報が提供される。会話に参加している人々はそれぞれ異なる情報要求を有する。
多種多様な情報を検索および表示することができる。ある局面において、人々に関する情報、たとえば、名前、位置、年齢、および関係を検索し表示する。その他の局面において、一般知識情報、たとえば、Wikipedia(登録商標)から入手できるものを検索し表示する。
図17は、ある実施形態に係る複数のデバイスをサポートするコンピュータアーキテクチャ1700を示す。コンピュータアーキテクチャ1700は、人物1711と人物1712との間の双方向会話の局面を示す。人物1711は、マルチメディアインターフェイスデバイス1713(たとえば携帯電話、コンピュータ、VR/IRヘッドセットなど)を介して音声による通信を行う。マルチメディアインターフェイスデバイス1713は、クライアントとして、ネットワーキングプロトコルを用い、クラウドネットワーク1715を介してサーバ1716に対して通信する。サーバ1716は、仮想接続をクラウドネットワーク1715を介してマルチメディアインターフェイスデバイス1714(たとえば携帯電話、コンピュータ、VR/IRヘッドセットなど)に与える。マルチメディアインターフェイスデバイス1714は、音声通信を仮想接続を介して受信する。人物1712は、同様にして、逆にマルチメディアインターフェイスデバイス1713に対して音声による通信を行うことができる。
各場合において、会話に関連する情報が自動的に提供される。ボブに対して表示される情報は、会話の進行中のアリスの発言と、近い将来においてボブに関連する可能性が高いこととによって決まる。
システムはボブに対しボストンについてのWikipediaの序文1937を表示する。
システムはアリスに対しボストンのダンキンドーナツレストランの広告1934を表示する。
ボブ:「行けない。洗濯をしなくては。」
システムはボブに対し洗剤の広告1938を表示する。
アリス:「チャーリーは行く予定。」
システムはアリスに対しチャーリーの3つの連絡先を表示する。
アリスは1つを選択する。
システムはボブに対しチャーリーの写真1939を表示する。
ボブ:「何をするの?」
アリス:「フリスビー(登録商標)か水族館。」
システムはアリスに対し天気予報1935およびニューイングランド水族館のクーポン1936を表示する。
図18Aに示される局面は、どちらもシステムから支援を受けている2人のユーザ間で対称に機能する。これに対し、図18Bは、1人のユーザである人物1861のみを支援するコンピュータアーキテクチャ1850を示す。この局面において、システムは、非常に似ているが、相互拡張とは対照的に、個人拡張ツールを人物1861に提供する。人物1862は支援を受けない。あるシナリオにおいて、人物1862は電話線の反対側にいる。別のシナリオにおいて、人物1862は人物1861のデスクの反対側にいてもよく、電話は関与していないが、人物1861のみが関連情報を受ける。第3のシナリオにおいて、人物1862は実際の人物ではないが、人物1861は何らかのテキストを口述している。すべてのシナリオにおいて、人物1861は、会話を妨げることなく、音声に関連する情報を受ける。口述のシナリオにおいて、単語の会話は独白である。図18Bに示される局面は、拡張の性質が一方向であることおよびわずかな相違点を除いて、図18Aの局面と同様である。図18Bにおいて、情報1876の関連度を計算するモジュールが露出しているが、図18Aにおいてその存在は暗示的なものにすぎない。また、図18Bにおいて、1つのデバイス1863がシステム全体の機能を提供する。いくつかの局面において、これはローカル内臓デバイスであるが、図18Aにおいて、デバイス1813は、I/O機能を実行するだけであり、おそらくは、NLUおよびその他の機能をサーバに委ねる。これらは、アーキテクチャのいくつかの変形にすぎない。インターフェイスデバイス1863は、1つ以上のマイクによって取り込まれた音声の自動音声認識をサポートし、これは、1つ以上のスピーカーを介して音声を出力し得る。インターフェイスデバイス1863は、システムが生成した支援情報を表示するために使用される表示画面を有する。
図20はウェアラブルデバイス2000を示す。ウェアラブルデバイス2000は、ストラップ2042で保持された本体2041を含み、ストラップ2042はクラスプ2043で保持されキーパー2044にたくし込まれる。時計本体2041は、情報を示すディスプレイ2047と、片側の総合制御ボタン2045と、NLEを取り込むためのマイク穴2046とを含む。
図22は、(たとえばフロントガラス2261内の)車両ヘッドアップディスプレイ2200を示す。フロントガラス2261は、バックミラー2262およびハンドル2263の後方の運転者が見ることができる。マイク2264は音声を取り込む。内部コンピュータプロセッサシステムが、取り込まれた音声に対してNLUを実行することにより、会話のトピックを判断し、関連情報を検索する。ダッシュボードに埋め込まれたプロジェクタユニット2266が、フロントガラス2261の視野内の表示領域2265上に関連情報を投影する。
図23Aは、一例としての回転ディスク2371を示す。回転ディスク2371は、非一時的なコンピュータ読取可能媒体の一例である(たとえば回転磁気ディスク)。クラウドデータセンターは、磁気ディスクを用いることにより、サーバのためのコードおよびデータを格納することができる。回転ディスク2371は、1つ以上のコンピュータによって実行されると当該コンピュータに本明細書に記載の方法およびデータフローを実行させる命令を含むコードを格納することができる。回転光ディスクおよびその他の機械的に移動する記憶媒体も意図されている。
図24Aは、一例としての、パッケージングされたシステムオンチップ(SoC)2480のはんだボール(下)側を示す。パッケージングされたSoC2480の下側は、プリント回路基板に対する表面実装はんだ付けのためのボールグリッドアレイとともに示されている。各種のチップ実装に対して各種のパッケージ形状およびサイズが可能である。システムオンチップ(SoC)デバイスは、本明細書に記載の埋込システムおよびIoTデバイスの実施形態を制御することができる。
図25Aは、一例としてのラックベースのサーバ2590を示す。ラックベースのサーバ2590は、複数のラックマウントマルチプロセッササーバブレードを含み得る。複数のラックマウントマルチプロセッササーバブレードの各々は、ネットワーク接続された多種多様なコンピュータプロセッサを含み得る。ネットワーク接続された多種多様なコンピュータプロセッサは、ソフトウェアを並列に実行することができる。
Claims (18)
- 第1の人物と第2の人物との間の自然言語会話の質を高めるための、コンピュータによって実現される方法であって、前記方法は、
前記第1の人物の発話を含む音声信号を受けるステップと、
前記音声信号に対して音声認識を適用することにより、前記発話に対応する自然言語表現を得るステップと、
前記自然言語表現を解析することにより、前記自然言語表現に関連するトピックを特定するステップと、
前記トピックに関連する情報を検索するステップと、
前記検索から検索結果を取得するステップと、
前記検索結果を前記第2の人物に対して表示させるステップとを含む、方法。 - 前記トピックに対応する関連度値を計算するステップをさらに含み、
前記検索は、前記トピックに対応する関連度値が関連度しきい値よりも高いことに応じて実行される、請求項1に記載の方法。 - 前記トピックに対応する関連度値を計算するステップをさらに含み、
前記トピックに関連する情報の検索の検索結果を、前記トピックに対応する関連度値が関連度しきい値よりも高いことに応じて表示させる、請求項1に記載の方法。 - 前記自然言語表現を解析することにより、前記自然言語表現に関連する少なくとも1つの他のトピックを特定するステップと、
前記トピックそれぞれに対応する関連度値を計算するステップとをさらに含み、
前記検索は、前記関連度値が最も高いトピックに対して実行される、請求項1〜3のいずれか1項に記載の方法。 - 前記自然言語表現を解析することにより、前記自然言語表現に関連する少なくとも1つの他のトピックを特定するステップと、
前記少なくとも1つの他のトピックに関連する情報を検索するステップと、
前記少なくとも1つの他のトピックに関連する情報の検索の少なくとも1つの他の検索結果を取得するステップと、
前記検索結果それぞれに対応する関連度値を計算するステップとをさらに含み、
前記表示させる検索結果は、前記関連度値が最も高い検索結果である、請求項1〜3のいずれか1項に記載の方法。 - 前記検索は、前記トピックが最近のトピックのリストに含まれていないことが確認されたことに応じて実行される、請求項1に記載の方法。
- 前記トピックに関連する情報の検索の検索結果を、前記検索結果が最近表示された検索結果のリストに含まれていないことが確認されたことに応じて、表示させる、請求項1に記載の方法。
- 前記トピックに関連するコンセプトを特定するステップをさらに含み、
前記検索は、前記コンセプトに関連する情報を検索することによって実行される、請求項1〜7のいずれか1項に記載の方法。 - 前記検索結果を前記第2の人物のみに対して表示させる、請求項1〜8のいずれか1項に記載の方法。
- 前記検索結果を表示させた後に、前記第2の人物から、言葉によらない技術による、他の情報を求める要求を、受けるステップと、
前記他の情報を取得するステップと、
前記他の情報を前記第2の人物に対して表示させるステップとをさらに含む、請求項1〜9のいずれか1項に記載の方法。 - 前記検索結果を前記第2の人物に対して表示させるステップは、前記第2の人物に対応付けられたウェアラブルディスプレイデバイスの視界の中に前記検索結果を表示させるステップを含む、請求項1〜10のいずれか1項に記載の方法。
- 前記検索結果を前記第2の人物に対して表示させるステップは、
前記第2の人物に対応付けられたディスプレイ内における顔の位置を検出するステップと、
前記第2の人物に対応付けられたディスプレイの、前記顔に重ならない部分に、前記検索結果を表示させるステップとをさらに含む、請求項1〜11のいずれか1項に記載の方法。 - 前記検索結果を前記第2の人物に対して表示させるステップは、前記第2の人物に対応付けられた車両のヘッドアップディスプレイに前記検索結果を表示させるステップをさらに含む、請求項1〜12のいずれか1項に記載の方法。
- 前記自然言語表現は第1の人間言語の自然言語表現であり、
前記方法は、前記第1の人間言語の前記自然言語表現を、第2の人間言語の自然言語表現に翻訳するステップをさらに含み、前記自然言語表現を解析するステップは、前記第2の人間言語の前記自然言語表現を解析するステップを含む、請求項1に記載の方法。 - 前記第1の人物に関するプロファイル情報を格納するステップをさらに含み、前記関連度値は、前記第1の人物の前記プロファイル情報に基づいて計算される、請求項2〜5のいずれか1項に記載の方法。
- 前記プロファイル情報はユーザからの関連度フィードバックに依存する、請求項15に記載の方法。
- 第3の人物の第2の発話を含む第2の音声信号を受けるステップと、
前記第2の音声信号に対して音声認識を適用することにより、前記第2の発話に対応する第2の自然言語表現を得るステップと、
前記第2の自然言語表現を解析することにより、前記第2の自然言語表現に関連する第2のトピックを特定するステップと、
前記第2のトピックに関連する情報を検索するステップと、
前記検索の第2の検索結果を取得するステップと、
前記第2の検索結果を前記第2の人物に対して表示させるステップとをさらに含む、請求項1に記載の方法。 - コンピュータのコンポーネントによって実行されると前記コンピュータに請求項1〜17のいずれか1項に記載の方法を実行させるコンピュータ読取可能コード。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152158A JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/052,930 | 2018-08-02 | ||
US16/052,930 US20200043479A1 (en) | 2018-08-02 | 2018-08-02 | Visually presenting information relevant to a natural language conversation |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152158A Division JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020034897A true JP2020034897A (ja) | 2020-03-05 |
JP6987814B2 JP6987814B2 (ja) | 2022-01-05 |
Family
ID=69227860
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019136153A Active JP6987814B2 (ja) | 2018-08-02 | 2019-07-24 | 自然言語会話に関連する情報の視覚的提示 |
JP2021152158A Pending JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152158A Pending JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20200043479A1 (ja) |
JP (2) | JP6987814B2 (ja) |
KR (2) | KR102300606B1 (ja) |
CN (1) | CN110795608A (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020036190A1 (ja) * | 2018-08-15 | 2020-02-20 | 日本電信電話株式会社 | 要点抽出装置、要点抽出方法、及びプログラム |
JP7142315B2 (ja) * | 2018-09-27 | 2022-09-27 | パナソニックIpマネジメント株式会社 | 説明支援装置および説明支援方法 |
US11017001B2 (en) * | 2018-12-31 | 2021-05-25 | Dish Network L.L.C. | Apparatus, systems and methods for providing conversational assistance |
US11769509B2 (en) * | 2019-12-31 | 2023-09-26 | Microstrategy Incorporated | Speech-based contextual delivery of content |
JP6841535B1 (ja) * | 2020-01-29 | 2021-03-10 | 株式会社インタラクティブソリューションズ | 会話解析システム |
US11836161B2 (en) * | 2020-02-20 | 2023-12-05 | Rovi Guides, Inc. | Systems and methods for predicting where conversations are heading and identifying associated content |
CN112002186B (zh) * | 2020-09-04 | 2022-05-06 | 语惠科技(南京)有限公司 | 一种基于增强现实技术的信息无障碍系统及方法 |
JP7341111B2 (ja) * | 2020-09-30 | 2023-09-08 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
US20220188361A1 (en) * | 2020-12-11 | 2022-06-16 | Meta Platforms, Inc. | Voice-based Auto-Completions and Auto-Responses for Assistant Systems |
CN112820284A (zh) * | 2020-12-28 | 2021-05-18 | 恒大新能源汽车投资控股集团有限公司 | 语音交互方法、装置、电子设备及计算机可读存储介质 |
US11539915B2 (en) | 2021-03-20 | 2022-12-27 | International Business Machines Corporation | Transmission confirmation in a remote conference |
LU500105B1 (en) | 2021-04-30 | 2022-11-02 | Microsoft Technology Licensing Llc | Video conference collaboration |
US11880663B2 (en) | 2021-06-30 | 2024-01-23 | Microsoft Technology Licensing, Llc | Assistant for providing information on unknown topics |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001298555A (ja) * | 2000-04-11 | 2001-10-26 | Nippon Tmi Co Ltd | 情報通信装置及び情報通信システム |
JP2007304776A (ja) * | 2006-05-10 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 文書検索装置 |
JP2009157460A (ja) * | 2007-12-25 | 2009-07-16 | Hitachi Ltd | 情報提示装置及び方法 |
JP2009205579A (ja) * | 2008-02-29 | 2009-09-10 | Toshiba Corp | 音声翻訳装置およびプログラム |
JP2010176198A (ja) * | 2009-01-27 | 2010-08-12 | Nec Corp | 検索サーバ、情報検索方法およびプログラム |
JP2011065570A (ja) * | 2009-09-18 | 2011-03-31 | Ntt Docomo Inc | 情報検索システム及び情報検索方法 |
JP2012018412A (ja) * | 2004-01-20 | 2012-01-26 | Koninkl Philips Electronics Nv | 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム |
JP2013502631A (ja) * | 2009-08-21 | 2013-01-24 | ヴァーナネン,ミッコ | データ検索および言語翻訳のための方法および手段 |
US20130103405A1 (en) * | 2010-04-12 | 2013-04-25 | Toyota Jidosha Kabushiki Kaisha | Operating system and method of operating |
JP2014013494A (ja) * | 2012-07-04 | 2014-01-23 | Nikon Corp | 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム |
US20180067928A1 (en) * | 2016-09-07 | 2018-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050165742A1 (en) * | 2003-12-30 | 2005-07-28 | Weisheke Chin | Searching previously viewed web sites |
US7827125B1 (en) * | 2006-06-01 | 2010-11-02 | Trovix, Inc. | Learning based on feedback for contextual personalized information retrieval |
WO2008032329A2 (en) * | 2006-09-13 | 2008-03-20 | Alon Atsmon | Providing content responsive to multimedia signals |
US20080275701A1 (en) * | 2007-04-25 | 2008-11-06 | Xiaotao Wu | System and method for retrieving data based on topics of conversation |
GB2458309A (en) * | 2008-03-13 | 2009-09-16 | Business Partners Ltd | Search engine |
US9491573B2 (en) * | 2008-11-06 | 2016-11-08 | Texas Instruments Incorporated | Communication device for providing value-added information based upon content and/or context information |
US8537980B2 (en) * | 2009-03-27 | 2013-09-17 | Verizon Patent And Licensing Inc. | Conversation support |
US20120004899A1 (en) * | 2010-07-04 | 2012-01-05 | Taymoor Arshi | Dynamic ad selection for ad delivery systems |
US9292093B2 (en) * | 2010-11-18 | 2016-03-22 | Alpine Electronics, Inc. | Interface method and apparatus for inputting information with air finger gesture |
US9092525B2 (en) * | 2011-05-09 | 2015-07-28 | Wyse Technology L.L.C. | Method and apparatus for searching non-public data using a single search query |
US10499118B2 (en) * | 2012-04-24 | 2019-12-03 | Skreens Entertainment Technologies, Inc. | Virtual and augmented reality system and headset display |
JP5831764B2 (ja) * | 2012-10-26 | 2015-12-09 | カシオ計算機株式会社 | 画像表示装置及びプログラム |
KR20140078258A (ko) * | 2012-12-17 | 2014-06-25 | 한국전자통신연구원 | 대화 인식을 통한 이동 단말 제어 장치 및 방법, 회의 중 대화 인식을 통한 정보 제공 장치 |
US9614969B2 (en) * | 2014-05-27 | 2017-04-04 | Microsoft Technology Licensing, Llc | In-call translation |
KR20160139771A (ko) * | 2015-05-28 | 2016-12-07 | 삼성전자주식회사 | 전자 장치, 정보 제공 시스템 및 그 정보 제공 방법 |
US9949056B2 (en) * | 2015-12-23 | 2018-04-17 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene |
KR102151626B1 (ko) * | 2016-01-12 | 2020-09-03 | 네이버 주식회사 | 통화 중 특정 태스크를 처리하는 장치 및 그 방법 |
US10085096B2 (en) * | 2016-09-30 | 2018-09-25 | Sorenson Ip Holdings, Llc | Integration of audiogram data into a device |
US10373515B2 (en) * | 2017-01-04 | 2019-08-06 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10210866B2 (en) * | 2017-01-20 | 2019-02-19 | Essential Products, Inc. | Ambient assistant device |
US10440325B1 (en) * | 2018-07-17 | 2019-10-08 | International Business Machines Corporation | Context-based natural language participant modeling for videoconference focus classification |
-
2018
- 2018-08-02 US US16/052,930 patent/US20200043479A1/en not_active Abandoned
-
2019
- 2019-03-19 KR KR1020190031067A patent/KR102300606B1/ko active IP Right Grant
- 2019-07-17 CN CN201910645112.5A patent/CN110795608A/zh not_active Withdrawn
- 2019-07-24 JP JP2019136153A patent/JP6987814B2/ja active Active
-
2020
- 2020-03-18 US US16/822,933 patent/US20200219490A1/en not_active Abandoned
-
2021
- 2021-09-03 KR KR1020210117579A patent/KR20210111236A/ko active Application Filing
- 2021-09-17 JP JP2021152158A patent/JP2022008437A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001298555A (ja) * | 2000-04-11 | 2001-10-26 | Nippon Tmi Co Ltd | 情報通信装置及び情報通信システム |
JP2012018412A (ja) * | 2004-01-20 | 2012-01-26 | Koninkl Philips Electronics Nv | 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム |
JP2007304776A (ja) * | 2006-05-10 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 文書検索装置 |
JP2009157460A (ja) * | 2007-12-25 | 2009-07-16 | Hitachi Ltd | 情報提示装置及び方法 |
JP2009205579A (ja) * | 2008-02-29 | 2009-09-10 | Toshiba Corp | 音声翻訳装置およびプログラム |
JP2010176198A (ja) * | 2009-01-27 | 2010-08-12 | Nec Corp | 検索サーバ、情報検索方法およびプログラム |
JP2013502631A (ja) * | 2009-08-21 | 2013-01-24 | ヴァーナネン,ミッコ | データ検索および言語翻訳のための方法および手段 |
JP2011065570A (ja) * | 2009-09-18 | 2011-03-31 | Ntt Docomo Inc | 情報検索システム及び情報検索方法 |
US20130103405A1 (en) * | 2010-04-12 | 2013-04-25 | Toyota Jidosha Kabushiki Kaisha | Operating system and method of operating |
JP2014013494A (ja) * | 2012-07-04 | 2014-01-23 | Nikon Corp | 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム |
US20180067928A1 (en) * | 2016-09-07 | 2018-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system |
Also Published As
Publication number | Publication date |
---|---|
JP2022008437A (ja) | 2022-01-13 |
KR102300606B1 (ko) | 2021-09-10 |
KR20210111236A (ko) | 2021-09-10 |
US20200043479A1 (en) | 2020-02-06 |
CN110795608A (zh) | 2020-02-14 |
US20200219490A1 (en) | 2020-07-09 |
KR20200015356A (ko) | 2020-02-12 |
JP6987814B2 (ja) | 2022-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6987814B2 (ja) | 自然言語会話に関連する情報の視覚的提示 | |
US11966986B2 (en) | Multimodal entity and coreference resolution for assistant systems | |
US20210117214A1 (en) | Generating Proactive Content for Assistant Systems | |
US20210400235A1 (en) | Proactive In-Call Content Recommendations for Assistant Systems | |
US11567788B1 (en) | Generating proactive reminders for assistant systems | |
US11563706B2 (en) | Generating context-aware rendering of media contents for assistant systems | |
US20220358727A1 (en) | Systems and Methods for Providing User Experiences in AR/VR Environments by Assistant Systems | |
US20220279051A1 (en) | Generating Proactive Reminders for Assistant Systems | |
EP3605527A2 (en) | Visually presenting information relevant to a natural language conversation | |
US20230283878A1 (en) | Smart Cameras Enabled by Assistant Systems | |
US20240161742A1 (en) | Adaptively Muting Audio Transmission of User Speech for Assistant Systems | |
WO2024091266A1 (en) | System and method for generating visual captions | |
EP4381363A1 (en) | System and method for generating visual captions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A603 | Late request for extension of time limit during examination |
Free format text: JAPANESE INTERMEDIATE CODE: A603 Effective date: 20210205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210917 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210929 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6987814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |