JP2013205999A - 応答生成装置、応答生成方法および応答生成プログラム - Google Patents

応答生成装置、応答生成方法および応答生成プログラム Download PDF

Info

Publication number
JP2013205999A
JP2013205999A JP2012072556A JP2012072556A JP2013205999A JP 2013205999 A JP2013205999 A JP 2013205999A JP 2012072556 A JP2012072556 A JP 2012072556A JP 2012072556 A JP2012072556 A JP 2012072556A JP 2013205999 A JP2013205999 A JP 2013205999A
Authority
JP
Japan
Prior art keywords
information
utterance
user terminal
word
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012072556A
Other languages
English (en)
Other versions
JP5965175B2 (ja
Inventor
Iori Nishida
衣織 西田
Yoshikatsu Funasaka
吉克 舩坂
Kenichi Iso
健一 磯
Miharu Nagata
美晴 永田
Teruki Tsuda
輝喜 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2012072556A priority Critical patent/JP5965175B2/ja
Publication of JP2013205999A publication Critical patent/JP2013205999A/ja
Application granted granted Critical
Publication of JP5965175B2 publication Critical patent/JP5965175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザの発話の意図を的確に把握し、適切な応答を行うことを課題とする。
【解決手段】応答生成サーバ10は、ユーザが発話した情報である発話情報と、該ユーザ端末20が保持する情報とをユーザ端末20から取得し、受け付けられた発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、発話情報とユーザ端末20が取得した情報とを用いて、複数の単語の候補から一つの単語を選択する。そして、応答生成サーバ10は、選択された単語として発話情報に含まれる単語の意味を特定し、発話情報とユーザ端末20が取得した情報とを用いて、APIサーバ40に対して発話に対する応答を生成するための情報を要求する検索条件を生成する。
【選択図】図1

Description

本発明は、応答生成装置、応答生成方法および応答生成プログラムに関する。
従来、ユーザからの発話を受け付けたユーザ端末から音声に関するデータを受信し、音声に関するデータを用いてユーザが要求する情報を特定し、ユーザの発話に対する応答を生成する応答生成サーバが知られている。例えば、応答生成サーバは、ユーザからの質問に係る音声に関するデータをユーザ端末から受け付け、受け付けた音声に関するデータをテキスト化してテキストデータに変換し、テキストデータに基づいて、質問の意味を理解し、質問に対する応答を生成する。
特開2012−48406号公報 特開2007−310824号公報
しかしながら、上述した従来の技術では、ユーザの発話に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、ユーザの発話の意図を的確に理解することが出来ず、適切な応答ができない場合がある。例えば、路線検索で用いられる地名等について、異音同字、同音異字、同音同字の地名が複数存在する場合があり、ユーザが発話した地名等がどの表記に対応するものかを判別することができないため、ユーザの質問の意味を的確に理解することができず、適切な応答ができない場合がある。
本願は、上記に鑑みてなされたものであって、ユーザの発話の意図を的確に把握し、適切な応答を行うことを目的とする。
本願に係る応答生成装置は、ユーザが発話した情報である発話情報と、ユーザ端末が保持する情報とを取得する取得手段と、前記取得手段によって取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、前記発話情報と前記ユーザ端末が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する選択手段と、前記選択手段によって選択された単語の意味で特定した前記発話情報を用いて、サービスに対する要求情報を生成する要求生成手段と、前記要求情報に基づいて取得したサービス情報を用いて、前記発話情報に対する応答情報を生成する応答生成手段と、を備えたことを特徴とする。
本願に係る応答生成装置、応答生成方法および応答生成プログラムは、ユーザの発話の意図を的確に把握し、適切な応答を行うことができるという効果を奏する。
図1は、第1の実施形態に係るネットワークシステムの構成例を示す図である。 図2は、第1の実施形態に係る応答生成サーバの構成例を示す図である。 図3は、第1の実施形態に係る応答生成サーバの記憶部によって記憶されるユーザ辞書の一例を示す図である。 図4は、第1の実施形態に係る応答生成サーバの記憶部によって記憶されるサーバ辞書の一例を示す図である。 図5は、第1の実施形態に係るユーザ端末の構成例を示す図である。 図6は、第1の実施形態に係るネットワークシステムによる処理の手順を示すシーケンス図である。 図7は、第1の実施形態に係る応答生成サーバによる処理の手順を示すフローチャートである。 図8は、第1の実施形態に係るユーザ端末の応答画像の一例を説明するための図である。
以下に、本願に係る応答生成装置、応答生成方法および応答生成プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る応答生成装置、応答生成方法および応答生成プログラムが限定されるものではない。
(第1の実施形態)
図1〜図8を用いて、本願に係る応答生成装置、応答生成方法および応答生成プログラムの第1の実施形態について説明する。
〔1−1.構成〕
まず、図1を用いて、第1の実施形態に係る応答生成サーバが含まれるネットワークシステムの構成について説明する。図1は、第1の実施形態に係るネットワークシステムの構成例を示す図である。図1に例示するように、第1の実施形態に係るネットワークシステムには、応答生成サーバ10と、ユーザ端末20と、音声認識サーバ30と、路線API(Application Program Interface)サーバ41、天気APIサーバ42と、Web検索APIサーバ43と、音声合成サーバ50とが含まれる。
応答生成サーバ10と、ユーザ端末20と、音声認識サーバ30と、路線APIサーバ41、天気APIサーバ42と、Web検索APIサーバ43と、音声合成サーバ50とは、ネットワーク60を介して、無線通信又は有線通信を行う。なお、以下の説明では、路線APIサーバ41、天気APIサーバ42と、Web検索APIサーバ43を区別する必要がない場合には、これらを総称して「APIサーバ40」と表記する場合がある。また、路線APIサーバ41、天気APIサーバ42、Web検索APIサーバ43は、APIサーバの一例であり、これらに限定されない。
〔1−1(1).応答生成サーバ10の構成〕
次に、図2を用いて、応答生成サーバ10の構成について説明する。図2は、第1の実施形態に係る応答生成サーバの構成例を示す図である。応答生成サーバ10は、ユーザ端末20によって送信される発話のテキストデータと、ユーザ端末20が保持する情報(例えば、現在位置を示す位置情報など)とに応じて、ユーザの発話に対する応答生成情報をユーザ端末20に送信するコンピュータである。応答生成サーバ10は、通信部11と、制御部12と、記憶部13とを有する。なお、以下の説明では、応答生成サーバ10が、APIサーバ40からXML(Extensible Markup Language)形式のデータを取得する場合を例にして説明するが、これに限定されるものではなく、例えば、JSON(Java(登録商標) Script Object Notation)形式のデータやPHP(Personal Home Page)シリアライズ形式のデータをAPIサーバ40から取得するようにしてもよい。
通信部11は、ネットワーク60を介してユーザ端末20、APIサーバ40および音声合成サーバ50との間で各種データを送受信する。通信部110は、例えば、NIC等に該当する。
記憶部13は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。記憶部13は、図3に例示するユーザ辞書と、図4に例示するサーバ辞書とを記憶する。ここで、ユーザ辞書とは、ユーザごとに登録される辞書であり、サーバ辞書とは、サーバが管理する辞書である。図3は、第1の実施形態に係る応答生成サーバの記憶部によって記憶されるユーザ辞書の一例を示す図である。図4は、第1の実施形態に係る応答生成サーバの記憶部によって記憶されるサーバ辞書の一例を示す図である。
例えば、図3に例示するように、記憶部13は、ユーザ辞書として、単語の漢字を示す「漢字」と、単語の読みを示す「読み」と、単語に該当する駅名を示す「駅名」とを対応付けて記憶する。例えば、図3の例を挙げて説明すると、ユーザ辞書は、同じ漢字を用いる「日本橋」について、それぞれ読みが「にっぽんばし」、「にほんばし」、「にほんばし」であることを記憶し、駅名がそれぞれ「日本橋(大阪)」、「日本橋(東京都)」、「日本橋(水上)」であることを記憶している。ここで、「日本橋(大阪)」と「日本橋(東京都)」とは、字が同じであるが、読みが異なるため、異音同字である。なお、ユーザ辞書は、異音同字だけでなく、同音異字や同音同字なども記憶しているものとする。例えば、同音異字の例としては、仙台(宮城県:せんだい)と川内(鹿児島県:川内)などの例がある。また、同音同字の例としては、長谷(神奈川県:はせ)と長谷(富山県:はせ)などの例がある。
また、図4に例示するように、記憶部13は、サーバ辞書として、単語に該当する駅名を示す「駅名」と、単語の読みを示す「読み」と、単語の駅名が位置する「位置情報」とを対応付けて記憶する。例えば、図4の例を挙げて説明すると、ユーザ辞書は、同じ漢字を用いる「日本橋」について、それぞれ読みが「にっぽんばし」、「にほんばし」、「にほんばし」であることを記憶し、位置情報がそれぞれ「緯度X1 経度Y1」、「緯度X2 緯度Y2」、「緯度X3 経度Y3」であることを記憶している。
図2に戻って、制御部12は、応答生成サーバ10を対話サーバとして動作させる制御部であり、ユーザ端末20から受信したユーザが今回発話したテキストデータ及びその他の情報(位置情報、過去の発話情報、利用履歴情報)に応じて、発話のAPIサーバから情報を取得し、応答発話用の中間表記と応答発話用のテキストデータとHTMLデータをユーザ端末20に送信する。
具体的には、制御部12は、ユーザが今回発話したテキストデータと、ユーザ端末20が保持する情報(位置情報や対話履歴、利用履歴)を用いて、同音異字、異音同字、同音同字の単語の候補からユーザが意図した単語を選択し、選択された単語として発話情報に含まれる単語の意味を特定し、発話情報とユーザ端末20が保持する情報とを用いて、検索条件を生成して、ユーザの発話に対する応答発話用の中間表記と応答発話用のテキストデータとHTMLデータとをユーザ端末20に送信する。制御部12は、例えば、CPUやMPU等により実現され、記憶部13に予め記憶されているコンピュータプログラムを実行することにより、取得部12a、選択部12b、要求生成部12c、変換部12d、音声合成指示部12e、応答生成部12fによる処理を実現する。
なお、応答生成サーバ10が有する各処理部は、以下に説明する情報処理の機能や作用を実現又は実行する。
〔1−1(2).ユーザ端末20の構成〕
次に、図5を用いて、ユーザ端末20の構成について説明する。図5は、第1の実施形態に係るユーザ端末20の構成例を示す図である。図5に示すように、ユーザ端末20は、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)、タブレット型PC、ノート型PC、デスクトップ型PC等の情報処理装置である。ユーザ端末20は、図5に例示するように、通信部21と、マイク22と、スピーカ23と、表示部24と、アプリ25と、メモリ26とを有する。
通信部21は、ネットワーク60を介して応答生成サーバ10および音声認識サーバ30との間で各種データを送受信する。通信部21は、例えば、携帯端末やスマートフォンの場合には、アンテナや通信制御を行う電子回路等である。例えば、ユーザ端末20がノート型PCやデスクトップ型PCである場合には、NIC(Network Interface Card)等に該当する。通信部21は、例えば、ユーザ端末20がタブレット型PCである場合には、アンテナや通信制御を行う電子回路等である。
マイク22は、ユーザ端末20の利用者が発話した音声入力を受け付ける入力デバイスである。スピーカ23は、ユーザ端末20の利用者が発話した音声入力に対する応答音声を出力する出力デバイスである。また、表示部24は、各種情報を表示する表示デバイスであり、例えばタッチパネルや液晶ディスプレイ等である。表示部24は、例えば、応答発話表示用のテキストデータと発話意図に応じてHTMLデータとを表示する。
アプリ25は、利用者が発話した音声入力を受け付けると、音声データを音声認識サーバ30に送信し、音声認識サーバ30から発話のテキストデータを受信する。また、アプリ25は、発話のテキストデータや過去の発話情報を応答生成サーバ10に送信し、応答生成サーバ10からHTML(Hyper Text Markup Language)等の言語で記述されたデータ、応答発話用の中間表記および応答発話表示用のテキストデータなどを受信する。また、アプリ25は、ユーザ端末20の利用者が発話した音声入力に対する応答音声を出力したり、HTML等の言語で記述されたデータを表示したりする。アプリ25は、CPUやMPU等により実現され、音声データ送信部25a、テキストデータ受信部25b、テキストデータ送信部25c、HTMLデータ受信部25d、表示制御部25eによる処理を実現する。
メモリ26は、履歴記憶部26aおよび位置情報記憶部26bを有する。メモリ26は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子等の記憶装置である。履歴記憶部26aは、発話のテキストデータとともに送信される、過去の発話に関する履歴情報を記憶する。位置情報記憶部26bは、発話のテキストデータとともに送信される、ユーザ端末10の現在位置を示す位置情報を記憶する。なお、メモリ26は、履歴情報や位置情報のほかに、データの閲覧や検索の利用履歴に関する利用履歴情報やユーザの自宅の住所などの個人情報を記憶していてもよい。これらの情報は、位置情報と同様に、発話のテキストデータとともに応答生成サーバ10に送信してもよい。
なお、ユーザ端末20が有する各処理部は、以下に説明する情報処理の機能や作用を実現又は実行する。
〔1−2(1).作用(ネットワークシステム)〕
次に、図6を用いて、第1の実施形態に係るネットワークシステムによる全体の処理手順について説明する。図6は、第1の実施形態に係るネットワークシステムによる処理の手順を示すシーケンス図である。図6に例示するように、ユーザ端末20は、アプリケーションの起動指示を受け付けると、アプリケーションを起動する(ステップS1)。そして、ユーザ端末20の音声データ送信部25aは、ユーザの発話を検知すると、発話の音声データをsocket通信により音声認識サーバ30へ送信する(ステップS2)。例えば、ユーザ端末20の音声データ送信部25aは、発話の音声データとして、異音同字を含む「にっぽんばしからにほんばしまで」を送信する。
そして、音声認識サーバ30は、発話の音声データを受信すると、音声データをテキストデータに変換する(ステップS3)。そして、音声認識サーバ30のテキストデータ送信部25cは、変換した発話のテキストデータをユーザ端末20に送信する(ステップS4)。例えば、音声認識サーバ30のテキストデータ送信部25cは、テキストデータとして、異音同字を含む「日本橋から日本橋まで」を送信する。
続いて、ユーザ端末20のテキストデータ受信部25bが、音声認識サーバ30から発話のテキストデータを受信すると、テキストデータ送信部25cは、発話のテキストデータや、過去3回分の発話に関する履歴情報や位置情報等のユーザ端末20が保持する情報を応答生成サーバ10に送信する(ステップS5)。なお、ユーザ端末20のテキストデータ送信部25cは、発話のテキストデータ、ユーザが発話した過去3回分の発話情報のほかに、ユーザ端末20の現在位置を示す位置情報、過去にAPIサーバを利用した利用履歴に関する利用履歴などを応答生成サーバ10に送信する。
続いて、応答生成サーバ10の取得部12aが、発話のテキストデータやユーザ端末20が保持する情報を受け付けると、選択部12bは、発話情報に含まれる単語のうち、同一の読みで異なる意味の単語の候補が複数ある場合、同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合、または、同一の読みおよび同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合には、発話のテキストデータとユーザ端末20が記憶する情報とを用いて、複数の単語の候補から一つの単語を選択する。例えば、選択部12bは、発話のテキストデータに日本橋が含まれており、日本橋の候補地が日本橋(大阪)、日本橋(東京都)、日本橋(水上バス)と複数ある場合には、各候補地と現在位置との距離をそれぞれ比較し、最も近い候補地を選択する。
そして、応答生成サーバ10の要求生成部12cは、応答の生成に必要なデータの検索条件を指定し、APIサーバ40に対してデータの要求を行う(ステップS6)。具体的には、応答生成サーバ10の要求生成部12cは、選択部12bに選択された単語として発話情報に含まれる単語の意味を特定し、発話情報とユーザ端末20が記憶する情報とを用いて、サービス提供サーバに対して情報を要求する検索条件を生成し、該検索条件をAPIサーバ40に送信する。例えば、応答生成サーバ10の要求生成部12cは、検索条件として、「FROM=日本橋(大阪)TO=日本橋(東京都)」をAPIサーバ40に送信する。
続いて、応答生成サーバ10の要求生成部12cは、検索条件をAPIサーバ40に送信して応答生成に必要なデータを要求する(ステップS7)。そして、APIサーバ40は、受信した検索条件に従って、XMLデータを取得する処理を行う(ステップS8)。例えば、応答生成サーバ10は、出発地「日本橋(大阪)」、目的地「日本橋(東京都)」で経路探索する検索条件を受け付けると、日本橋(大阪)から日本橋(東京都)までの乗り換え情報や、電車賃に関する情報などを取得する処理を行う。そして、APIサーバ40は、取得したXMLデータを応答生成サーバ10に送信する(ステップS9)。
そして、応答生成サーバ10の変換部12dは、APIサーバ40からXMLデータを受信すると、予め記憶されたフォーマットに従って、XMLデータからデータを抽出し、XMLデータをHTMLデータに変換する(ステップS10)。例えば、応答生成サーバ10の変換部12dは、路線検索に関するXMLデータを受信すると、乗り換えに関するフォーマットに従って、XMLデータから駅名や乗車時間の情報を抽出し、XMLデータをHTMLデータに変換する。続いて、応答生成サーバ10の音声合成指示部12eは、応答発話表示用のテキストデータを音声合成サーバ50に送信する(ステップS11)。そして、音声合成サーバ50は、応答発話表示用のテキストデータから音声を合成する音声合成処理を行って、応答発話用の中間表記を生成する(ステップS12)。そして、音声合成サーバ50は、応答発話用の中間表記を応答生成サーバ10に送信する(ステップS13)。
続いて、応答生成サーバ10の応答生成部12fは、応答発話用の中間表記と応答発話表示用のテキストデータとHTMLデータとをユーザ端末20に送信する(ステップS14)。そして、ユーザ端末20のHTMLデータ受信部25dは、受信した応答発話表示用のテキストデータの履歴情報とHTMLデータの履歴情報とを格納する(ステップS15)。続いて、ユーザ端末20の表示制御部25eは、応答発話用の中間表記を用いて、応答の音声を出力するとともに、応答発話表示用のテキストデータとHTMLデータとを用いて、応答内容を表示する(ステップS16)。
〔1−2(2).作用(応答生成サーバ)〕
次に、図7を用いて、第1の実施形態に係る応答生成サーバ10による処理手順について説明する。図7は、第1の実施形態に係る応答生成サーバ10による処理の手順を示すフローチャートである。図7に例示するように、応答生成サーバ10の取得部12aは、ユーザが今回発話したテキストデータ及びユーザが発話した過去の発話の履歴情報等を受信したか否かを判定する(ステップS101)。なお、取得部12aは、今回発話されたテキストデータ、ユーザが発話した過去3回分の発話情報の他にも、ユーザ端末20の現在位置を示す位置情報、過去にAPIサーバを利用した利用履歴に関する利用履歴などを受信する。
そして、取得部12aは、ユーザにより今回発話されたテキストデータ及び履歴情報等を受信したと判定すると(ステップS101肯定)、取得部12aは、受信したテキストデータから発話の意味理解処理を行う(ステップS102)。例えば、取得部12aは、意味理解処理として、ユーザにより今回発話されたテキストデータ「日本橋から日本橋まで」である場合には、出発地パラメータが「日本橋」であり目的地パラメータが「日本橋」である乗り換え情報を検索する発話情報「PRAM_FROM:日本橋 TO=日本橋」に変換する。
そして、選択部12bは、発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、記憶部13に記憶されたユーザ辞書から読みを取得する(ステップS103)。上記の例では、「PRAM_FROM:日本橋 TO=日本橋」に含まれる二つの「日本橋」のそれぞれの読みとして「にっぽんばし」、「にほんばし」を取得し、検索条件「PRAM_FROM:日本橋 TO=日本橋」を「PRAM_FROM:にっぽんばし TO=にほんばし」に変換する。
そして、選択部12bは、サーバ辞書から読みをキーにして候補地を取得する(ステップS104)。図4の例を用いて説明すると、選択部12bは、読みが「にっぽんばし」の候補地として、「日本橋(大阪)」を取得する。また、選択部12bは、読みが「にほんばし」の候補地として、「日本橋(東京都)」と「日本橋(水上バス)」とを取得する。ここで、選択部12bは、各候補地について、それぞれ位置情報をサーバ辞書から取得する。
そして、選択部12bは、取得した候補地が複数であるか否かを判定する(ステップS105)。この結果、選択部12bは、取得した候補地が複数である場合には(ステップS105肯定)、候補地と現在地の距離を取得する(ステップS106)。例えば、選択部12bは、上述した例では、読みが「にほんばし」の候補地として、二つの候補地(「日本橋(東京都)」と「日本橋(水上バス)」)があるので、候補地が複数あると判定し、現在地と日本橋(東京都)との距離、および、現在地と日本橋(水上バス)との距離をそれぞれ取得する。
そして、選択部12bは、各候補地と現在地との距離を取得し、各距離を比較した結果、現在地との距離が最も短い候補地を選択する(ステップS107)。上記の例において、例えば、選択部12bは、現在地と日本橋(東京都)との距離と、現在地と日本橋(水上バス)との距離とを比較し、現在地と日本橋(東京都)との距離の方が短かった場合には、ユーザが発話した「にほんばし」については、「日本橋(東京都)」であるものと推定し、「日本橋(東京都)」を選択する。
つまり、ユーザの発話に含まれる地名のうち候補地が複数あるような地名の場合には、現在地とより近い候補地をユーザとより密接に関係する地名であると推定し、現在地との距離が最も短い候補地を選択することで、異音同字、同音異字、同音同字の地名が複数存在する場合であっても、ユーザに発話の意図を明確にすることができる。なお、現在地との距離が最も短い候補地を選択する場合に限定されることはなく、現在地との距離が最も遠い候補地を選択するようにしてもよい。また、現在地について複数の候補がある場合には、現在地との距離が最も遠い候補地を選択し、目的地について複数の候補がある場合には、現在地との距離が最も近い候補地を選択するようにしてもよい。
そして、要求生成部12cは、選択された候補地に基づいて、検索条件を生成し、APIサーバ40に応答に必要なデータの検索を指示する(ステップS108)。例えば、要求生成部12cは、検索条件として、出発地パラメータ「日本橋(大阪)」から目的地パラメータ「日本橋(東京都)」までの乗り換え情報を要求する検索条件を生成し、路線APIサーバ41に応答に必要なデータの検索を指示する。また、ステップS105において、選択部12bは、取得した候補地が複数でない場合には(ステップS105否定)、選択された候補地に基づいて、検索条件を生成し、APIサーバ40に応答に必要なデータの検索を指示する(ステップS108)。
その後、応答生成サーバ10は、APIサーバ40からXMLデータを受信してXMLデータをHTMLデータに変換し、音声合成サーバ50から応答発話用の中間表記を受信した後に、応答発話用の中間表記と応答発話表示用のテキストデータとHTMLデータとをユーザ端末20に送信する(図6のステップS10〜S14参照)。
そして、ユーザ端末20の表示制御部25eは、応答発話用の中間表記と応答発話表示用のテキストデータとHTMLデータとを受信すると、応答発話用の中間表記を用いて、応答の音声を出力するとともに、応答発話表示用のテキストデータとHTMLデータとを用いて、応答内容を表示する。ここで、図8の例を用いて、ユーザの発話に対してユーザ端末20の表示部24に表示される応答画像の一例を説明する。図8は、第1の実施形態に係るユーザ端末20の応答画像の一例を説明するための図である。
まず、図8の例を用いて説明すると、応答画像の上部に、発話用のテキストデータ(音声認識サーバ30から受信したデータ)が表示され、発話用のテキストデータの下部に乗り換え情報に関するHTMLデータが表示されている。具体的には、図8に例示するように、発話用のテキストデータとして「日本橋から日本橋」が表示されている。また、発話用のテキストデータの下部に、乗り換え情報に関するHTMLデータとして、出発地「日本橋(大阪)」から目的地「日本橋(東京都)」までの乗り換え情報が表示されている。なお、図8の例では、乗り換え情報の一部のみが表示されているものとし、ユーザの操作により画面をスクロールさせることで、表示されていない乗り換え情報についても閲覧することができる。
ここで、図8の例では、ユーザが「日本橋(にっぽんばし)から日本橋(にほんばし)」と発話し、上述したように、日本橋と同音同字および異音同字の地名が複数あることから、今回の発話だけでは、どの日本橋を意図しているかが分からない。このような場合に、第1の実施の形態に係る応答生成サーバ10では、例えば、読みから地名の候補を取得するとともに、地名の候補が複数ある場合には、現在地との距離が近い地名の候補を選択することで、出発地のパラメータが「日本橋(大阪)」であり、目的地のパラメータ「日本橋(東京都)」であることを推定し、出発地「日本橋(大阪)」から目的地「日本橋(東京都)」までの乗り換え情報を生成する。このため、ユーザ端末20が出発地「日本橋(大阪)」とし目的地「日本橋(東京都)」とした乗り換え情報を表示させることができる結果、発話の内容に異音同字、同音異字、同音同字の単語が複数存在する場合であっても、ユーザの発話の意図を的確に把握し、適切な応答を行うことが可能である。
〔1−3.効果〕
上述してきたように、第1の実施形態に係る応答生成サーバ10は、ユーザが発話した情報である発話情報と、ユーザ端末20が保持する情報とを取得し、取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、発話情報とユーザ端末20が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する。そして、応答生成サーバ10は、選択された単語の意味で特定した発話情報を用いて、サービスに対する検索条件を生成し、検索条件に基づいて取得したサービス情報を用いて、発話情報に対する応答情報を生成する。
これにより、第1の実施形態に係る応答生成サーバ10は、ユーザが発話した内容に含まれる単語のうち、異なる意味の単語の候補が複数ある場合であっても、発話情報とユーザ端末20が保持する情報(例えば、位置情報等)とを用いて、単語の意味を適切に推定し、ユーザの発話の意図を的確に把握し、適切な応答を行うことを可能にする。
また、第1の実施形態に係る応答生成サーバ10は、取得された発話情報に含まれる単語のうち、同一の読みで異なる意味の単語の候補が複数ある場合、同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合、または、同一の読みおよび同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合には、発話情報とユーザ端末20が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する。
これにより、第1の実施形態に係る応答生成サーバ10は、ユーザが発話した内容に含まれる単語のうち、異音同字、同音異字、同音同字の単語が複数存在する場合であっても、発話情報とユーザ端末20が保持する情報(例えば、位置情報等)とを用いて、単語の意味を適切に推定し、ユーザの発話の意図を的確に把握し、適切な応答を行うことを可能にする。
また、第1の実施形態に係る応答生成サーバ10は、ユーザ端末20が保持する情報として、該ユーザ端末20の位置情報、過去の発話情報に関する履歴情報、過去のサービスの利用履歴に関する利用履歴情報のいずれか一つまたは複数を取得し、取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、取得されたユーザ端末20の位置情報、過去の発話情報に関する履歴情報、過去のサービスの利用履歴に関する利用履歴情報のいずれか一つまたは複数を用いて、複数の単語の候補から一つの単語を選択する。
これにより、第1の実施形態に係る応答生成サーバ10は、ユーザ端末20の位置情報、過去の発話情報に関する履歴情報、過去にAPIサーバ40を利用した利用履歴に関する利用履歴情報を用いて、単語の意味をより適切に推定することができる結果、ユーザの発話の意図を的確に把握し、適切な応答を行うことを可能にする。
また、第1の実施形態に係る応答生成サーバ10は、取得された発話情報に含まれる地名のうち、場所の異なる複数の地名の候補がある場合には、取得された位置情報を用いて、該地名の候補のうち、ユーザ端末20の位置と最も近い地名を選択する。
これにより、第1の実施形態に係る応答生成サーバ10は、ユーザの発話に含まれる地名のうち候補地が複数あるような地名の場合には、現在地とより近い候補地をユーザとより密接に関係する地名であると推定し、現在地との距離が最も短い候補地を選択することで、異音同字、同音異字、同音同字の地名が複数存在する場合であっても、ユーザに発話の意図を明確にすることを可能にする。
(第2の実施形態)
本願に係る応答生成装置、応答生成方法および応答生成プログラムは、上述した第1の実施形態以外にも種々の異なる形態にて実施されてよい。第2の実施形態では、他の実施形態について説明する。
〔2−1.単語の意味推定〕
上述した第1の実施形態においては、地名について複数の候補地がある場合については、ユーザ端末20の位置情報を用いて、現在地との距離が最も短い候補地を選択する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、過去の発話情報に関する履歴情報を用いて、過去の発話に含まれる単語を選択してもよい。つまり、ユーザの発話に含まれる単語のうち候補が複数ある単語について、過去にユーザが発話したことがある場合には、過去にユーザが発話した際の単語の意味と同じであると推定し、過去の発話に含まれる単語を選択する。
また、例えば、発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、過去にAPIサーバ40を利用した利用履歴に関する利用履歴情報を用いて、APIサーバ40から取得した情報に含まれる単語を選択するようにしてもよい。つまり、ユーザの発話に含まれる単語のうち候補が複数ある単語について、過去にユーザが閲覧したり、検索したりした単語の意味と同じであると推定し、APIサーバ40から取得した情報に含まれる単語を選択する。このように、履歴情報や利用履歴情報を用いて、単語の意味をより適切に推定することができる結果、ユーザの発話の意図を的確に把握し、適切な応答を行うことを可能にする。
〔2−2.履歴情報〕
上述した第1の実施形態においては、応答生成サーバ10が履歴情報をユーザ端末20から受信する場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、応答生成サーバ10が履歴情報を管理するようにしてもよい。例えば、応答生成サーバ10は、ユーザ端末20を一意に識別する識別情報などを用いて、ユーザ端末20ごとに履歴情報を管理するようにしてもよい。
〔2−3.その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述した応答生成サーバ10は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
また、特許請求の範囲に記載した「手段」は、「部(section、module、unit)」や「回路」などに読み替えることができる。例えば、応答生成手段は、応答生成部や応答生成回路に読み替えることができる。
10 応答生成サーバ
11 通信部
12 制御部
12a 取得部
12b 選択部
12c 要求生成部
12d 変換部
12e 音声合成指示部
12f 応答生成部
13 記憶部
20 ユーザ端末
21 マイク
22 スピーカ
23 アプリ
23a 音声データ送信部
23b テキストデータ受信部
23c テキストデータ送信部
23d HTMLデータ受信部
23e 表示制御部
24 メモリ
24a 履歴記憶部
24b 位置情報記憶部
30 音声認識サーバ
41 路線APIサーバ
42 天気APIサーバ
43 Web検索APIサーバ

Claims (6)

  1. ユーザが発話した情報である発話情報と、ユーザ端末が保持する情報とを取得する取得手段と、
    前記取得手段によって取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、前記発話情報と前記ユーザ端末が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する選択手段と、
    前記選択手段によって選択された単語の意味で特定した前記発話情報を用いて、サービスに対する要求情報を生成する要求生成手段と、
    前記要求情報に基づいて取得したサービス情報を用いて、前記発話情報に対する応答情報を生成する応答生成手段と、
    を備えたことを特徴とする応答生成装置。
  2. 前記選択手段は、前記取得手段によって取得された発話情報に含まれる単語のうち、同一の読みで異なる意味の単語の候補が複数ある場合、同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合、または、同一の読みおよび同一の文字で異なる意味の異なる意味の単語の候補が複数ある場合には、前記発話情報と前記ユーザ端末が保持する情報とを用いて、複数の単語の候補から一つの単語を選択することを特徴とする請求項1に記載の応答生成装置。
  3. 前記取得手段は、前記ユーザ端末が保持する情報として、該ユーザ端末の位置情報、過去の発話情報に関する履歴情報、過去のサービスの利用履歴に関する利用履歴情報のいずれか一つまたは複数を取得し、
    前記選択手段は、前記取得手段によって取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、前記取得手段によって取得されたユーザ端末の位置情報、過去の発話情報に関する履歴情報、過去のサービスの利用履歴に関する利用履歴情報のいずれか一つまたは複数を用いて、複数の単語の候補から一つの単語を選択することを特徴とする請求項1または2に記載の応答生成装置。
  4. 前記選択手段は、前記取得手段によって取得された発話情報に含まれる地名のうち、場所の異なる複数の地名の候補がある場合には、前記取得手段によって取得された前記位置情報を用いて、該地名の候補のうち、前記ユーザ端末の位置と最も近い地名を選択することを特徴とする請求項3に記載の応答生成装置。
  5. コンピュータで実行される応答生成方法であって、
    ユーザが発話した情報である発話情報と、ユーザ端末が保持する情報とを取得する取得工程と、
    前記取得工程によって取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、前記発話情報と前記ユーザ端末が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する選択工程と、
    前記選択工程によって選択された単語の意味で特定した前記発話情報を用いて、サービスに対する要求情報を生成する要求生成工程と、
    前記要求情報に基づいて取得したサービス情報を用いて、前記発話情報に対する応答情報を生成する応答生成工程と、
    を含んだことを特徴とする応答生成方法。
  6. ユーザが発話した情報である発話情報と、ユーザ端末が保持する情報とを取得する取得手順と、
    前記取得手順によって取得された発話情報に含まれる単語のうち、異なる意味の単語の候補が複数ある場合には、前記発話情報と前記ユーザ端末が保持する情報とを用いて、複数の単語の候補から一つの単語を選択する選択手順と、
    前記選択手順によって選択された単語の意味で特定した前記発話情報を用いて、サービスに対する要求情報を生成する要求生成手順と、
    前記要求情報に基づいて取得したサービス情報を用いて、前記発話情報に対する応答情報を生成する応答生成手順と、
    をコンピュータに実行させることを特徴とする応答生成プログラム。
JP2012072556A 2012-03-27 2012-03-27 応答生成装置、応答生成方法および応答生成プログラム Active JP5965175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012072556A JP5965175B2 (ja) 2012-03-27 2012-03-27 応答生成装置、応答生成方法および応答生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072556A JP5965175B2 (ja) 2012-03-27 2012-03-27 応答生成装置、応答生成方法および応答生成プログラム

Publications (2)

Publication Number Publication Date
JP2013205999A true JP2013205999A (ja) 2013-10-07
JP5965175B2 JP5965175B2 (ja) 2016-08-03

Family

ID=49525038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072556A Active JP5965175B2 (ja) 2012-03-27 2012-03-27 応答生成装置、応答生成方法および応答生成プログラム

Country Status (1)

Country Link
JP (1) JP5965175B2 (ja)

Cited By (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105702248A (zh) * 2014-12-09 2016-06-22 苹果公司 在话音合成中消除同形异音词的歧义
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
WO2020110744A1 (ja) * 2018-11-28 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057490A (ja) * 1998-08-06 2000-02-25 Fujitsu Ten Ltd ナビゲーション装置
JP2002245078A (ja) * 2001-02-14 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 音声利用型情報検索装置および音声利用型情報検索プログラムと該プログラムを記録した記録媒体
JP2002304410A (ja) * 2001-04-03 2002-10-18 Canon Inc 自然言語処理システム及び方法
WO2006085565A1 (ja) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体
JP2008204416A (ja) * 2007-02-19 2008-09-04 Yasuhiro Yamazaki 高度情報収得システム
JP2008287697A (ja) * 2007-04-16 2008-11-27 Sony Corp 音声チャットシステム、情報処理装置およびプログラム
JP2009020042A (ja) * 2007-07-13 2009-01-29 Alpine Electronics Inc ナビゲーション装置
JP2009169470A (ja) * 2008-01-10 2009-07-30 Nissan Motor Co Ltd 情報案内システムおよびその認識辞書データベース更新方法
JP2009250779A (ja) * 2008-04-07 2009-10-29 Kenwood Corp ナビゲーション装置、プログラム、及びナビゲーション方法
WO2010073406A1 (ja) * 2008-12-26 2010-07-01 パイオニア株式会社 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057490A (ja) * 1998-08-06 2000-02-25 Fujitsu Ten Ltd ナビゲーション装置
JP2002245078A (ja) * 2001-02-14 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 音声利用型情報検索装置および音声利用型情報検索プログラムと該プログラムを記録した記録媒体
JP2002304410A (ja) * 2001-04-03 2002-10-18 Canon Inc 自然言語処理システム及び方法
WO2006085565A1 (ja) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体
JP2008204416A (ja) * 2007-02-19 2008-09-04 Yasuhiro Yamazaki 高度情報収得システム
JP2008287697A (ja) * 2007-04-16 2008-11-27 Sony Corp 音声チャットシステム、情報処理装置およびプログラム
JP2009020042A (ja) * 2007-07-13 2009-01-29 Alpine Electronics Inc ナビゲーション装置
JP2009169470A (ja) * 2008-01-10 2009-07-30 Nissan Motor Co Ltd 情報案内システムおよびその認識辞書データベース更新方法
JP2009250779A (ja) * 2008-04-07 2009-10-29 Kenwood Corp ナビゲーション装置、プログラム、及びナビゲーション方法
WO2010073406A1 (ja) * 2008-12-26 2010-07-01 パイオニア株式会社 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体

Cited By (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
JP2016122183A (ja) * 2014-12-09 2016-07-07 アップル インコーポレイテッド 音声合成における同綴異音異義語の曖昧さの解消
CN105702248A (zh) * 2014-12-09 2016-06-22 苹果公司 在话音合成中消除同形异音词的歧义
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
WO2020110744A1 (ja) * 2018-11-28 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Also Published As

Publication number Publication date
JP5965175B2 (ja) 2016-08-03

Similar Documents

Publication Publication Date Title
JP5965175B2 (ja) 応答生成装置、応答生成方法および応答生成プログラム
JP5616390B2 (ja) 応答生成装置、応答生成方法および応答生成プログラム
US9858928B2 (en) Location-based responses to telephone requests
KR101758302B1 (ko) 컨텍스트에 기초한 음성 인식 문법 선택
CN111369971B (zh) 语音合成方法、装置、存储介质和电子设备
US8515766B1 (en) Voice application finding and user invoking applications related to a single entity
US8682640B2 (en) Self-configuring language translation device
RU2010132214A (ru) Способы и устройства для осуществления распределенных многомодальных приложений
JP5886103B2 (ja) 応答生成装置、応答生成システム、応答生成方法および応答生成プログラム
WO2022095754A1 (zh) 语音合成方法、装置、存储介质及电子设备
CN112509562A (zh) 用于文本后处理的方法、装置、电子设备和介质
WO2019000881A1 (zh) 导航方法、装置、设备及计算机可读存储介质
JP2012088370A (ja) 音声認識システム、音声認識端末、およびセンター
WO2019000879A1 (zh) 导航方法、装置、设备及计算机可读存储介质
Sheppard et al. Development of voice commands in digital signage for improved indoor navigation using google assistant SDK
JP5754177B2 (ja) 音声認識装置、音声認識システム、音声認識方法及びプログラム
CN110720104B (zh) 一种语音信息处理方法、装置及终端
JP5461615B2 (ja) 応答生成装置、応答生成方法および応答生成プログラム
CN110929209B (zh) 用于发送信息的方法及装置
CN112395844A (zh) 拼音生成方法、装置和电子设备
WO2016136208A1 (ja) 音声対話装置、音声対話システム、および、音声対話装置の制御方法
JP2006099196A (ja) 文字変換装置および文字変換方法、携帯通信機
KR102456526B1 (ko) 장애인을 위한 의사소통 보조 서비스 제공 방법
CN101014996A (zh) 语音合成
JP2017151931A (ja) 対話決定システム、対話決定方法、対話決定プログラム、及び端末装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150413

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160701

R150 Certificate of patent or registration of utility model

Ref document number: 5965175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250