JP5315289B2 - オペレーティングシステム及びオペレーティング方法 - Google Patents

オペレーティングシステム及びオペレーティング方法 Download PDF

Info

Publication number
JP5315289B2
JP5315289B2 JP2010091374A JP2010091374A JP5315289B2 JP 5315289 B2 JP5315289 B2 JP 5315289B2 JP 2010091374 A JP2010091374 A JP 2010091374A JP 2010091374 A JP2010091374 A JP 2010091374A JP 5315289 B2 JP5315289 B2 JP 5315289B2
Authority
JP
Japan
Prior art keywords
task
domain
word
attribute
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010091374A
Other languages
English (en)
Other versions
JP2011221344A (ja
Inventor
利行 難波
博昭 関山
達之 岡
実奈子 藤城
克利 大川
恵美 大谷
淳志 佐々木
泰彦 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Advanced Media Inc
Original Assignee
Toyota Motor Corp
Advanced Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Advanced Media Inc filed Critical Toyota Motor Corp
Priority to JP2010091374A priority Critical patent/JP5315289B2/ja
Priority to PCT/JP2011/059096 priority patent/WO2011129335A1/ja
Priority to EP11768856.4A priority patent/EP2560158B1/en
Priority to CN201180018550.0A priority patent/CN102844807B/zh
Priority to US13/640,907 priority patent/US9076451B2/en
Publication of JP2011221344A publication Critical patent/JP2011221344A/ja
Application granted granted Critical
Publication of JP5315289B2 publication Critical patent/JP5315289B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Description

本発明はオペレーティングシステム及びオペレーティング方法に関し、特に、発話者の発話に含まれる情報から要求されるタスクの推定を行うオペレーティングシステム及びオペレーティング方法に関するものである。
車両を運転中のドライバーは、運転操作に忙しいため、ナビゲーションシステムの目的地の設定等の運転操作以外の操作を行うことが困難である。そこで、ドライバーの発話を解析することにより、ドライバーが要求するタスクを推定し、ドライバーの操作を要さずに、当該タスクを実行する装置が提案されている。例えば、特許文献1には、車両のドライバーと外部センターのオペレータとが対話をし、外部センターがドライバーの発話を認識して、ドライバーが希望する表示情報を車両の表示装置に表示させるシステムが開示されている。
特開2004−333319号公報
しかしながら、上記のような技術では、例えば、オペレータに目的地設定をさせる場合には、ドライバーが現在地、目的地及び要求するタスクを具体的にコマンドとしてオペレータに告げる必要があり、ドライバーはコマンドの水準でしか発話をすることができないため、ドライバーにとって利便性が低い。また、ドライバーの発話から要求されるタスクを推定する精度が低く、システムの動作の信頼性が低い。そのため、上記のような技術では、誤認識を極力防ぐために、限られた操作に関するコマンドとしての発話しか受け付けられず、限られた操作の補助のみを行なうシステムとなっている。
本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させたオペレーティングシステム及びオペレーティング方法を提供することにある。
本発明は、第1発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、要求タスク推定ユニットは、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた前記属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティングシステムである。
この構成によれば、要求タスク推定ユニットは、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、高精度にタスクの候補の推定を行うことができる。
なお、本発明における「タスクの候補」とは、例えば、後述するように、検索、経路案内、ナビゲーションシステムの操作及び機器の設定の変更等のユーザに対するサービスそれぞれが挙げられる。あるいは、本発明のおける「タスクの候補」とは、後述するように、例えば、検索キーワード等の検索条件が異なる検索処理それぞれが含まれる。
この場合、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することが好適である。
この構成によれば、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、さらに単語に対するドメインの重要度に応じて、高精度にタスクの候補の推定を行うことができる。
また、第2発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えることが好適である。
この構成によれば、要求タスク推定ユニットが、第1発話者の発話に含まれる情報から要求されるタスクの候補の推定を行ない、アクションタスク選択ユニットが、第2発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補に応じて行われるべきタスクを選択する。そのため、第1発話者と第2発話者との二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
この場合、アクションタスク選択ユニットは、第2発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択することが好適である。
この構成によれば、アクションタスク選択ユニットは、第2発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択するため、さらに高精度にタスクの選択を行うことができる。
この場合、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択することが好適である。
この構成によれば、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択するため、単語に対するドメインの重要度に応じて、高精度にタスクの選択を行うことができる。
一方、本発明は、第1発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、要求タスク推定工程は、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティング方法である。
この場合、要求タスク推定工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することが好適である。
また、第2発話者の発話に含まれる情報に基づいて、要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含むことが好適である。
この場合、要求タスク推定工程は、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定することが好適である。
この場合、アクションタスク選択工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求される前記タスクとして選択することが好適である。
本発明のオペレーティングシステム及びオペレーティング方法によれば、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
第1実施形態に係るオペレーティングシステムの構成を示す図である。 第1実施形態に係る発話の認識結果から要求タスクのドメインを抽出する処理を示すフローチャートである。 語句属性1を示す属性1テーブルである。 語句属性2を示す属性2テーブルである。 語句属性1,2に関連付けられたドメインを示すドメイン対応表である。 ドメインに関連付けられた要求タスクを示すドメイン−要求タスク対応表である。 第2実施形態に係る発話の認識結果から要求タスクのドメインを抽出する処理を示すフローチャートである。 認識された単語と各単語ごとに予め付与されている属性a,bとを示すテーブルである。 語句属性aを示す属性aテーブルである。 語句属性bを示す属性bテーブルである。 ドメインごとの重要度に応じたスコアを定義した属性スコア算出テーブルである。 認識された単語とその属性a,bとの一部を示すテーブルである。 スコア算出の例を示す図である。
以下、図面を参照して本発明の実施形態に係るオペレーティングシステムを説明する。
図1に示すように、本発明の第1実施形態に係るオペレーティングシステムは、通信回線で接続された車載機100、センター200及びオペレータ端末300からなる。本実施形態のオペレーティングシステムは、車両に搭載された車載機100を用いるユーザとオペレータ端末300を操作するオペレータとがセンター200を介して対話することにより、ユーザの要求に応じてオペレータが行なうべきタスクを推定するためのものである。
図1に示すように、車載機100は、マイク101、音声分析処理部(DSR−C:Distributed Speech Recognition Client)102、GPSセンサ103、位置情報処理部104、画面出力処理部105及びディスプレイ装置106を有している。マイク101は、車両内の特にドライバーであるユーザ(第1発話者)の発話を検出し、検出結果を音声信号として音響分析処理部102に出力する。音響分析処理部102は、音声認識処理をセンター200で行うため、発話データのサイズを圧縮してセンター200に送信する。
GPSセンサ103は、GPS(Global Positioning System)衛星からの信号をGPS受信機で受信し、各々の信号の相違から車両の位置を測位する。車載機100は、GPSセンサ103が測位した位置情報と地図データとに基づいてユーザに対して経路案内を行う不図示のナビゲーションを備えている。位置情報処理部104は、GPSセンサ103が検出した位置情報を収集してセンター200に送信する。
画面出力処理部105は、センター200から送信された情報を受信し、特にドライバーであるユーザに対してディスプレイ装置106により情報を表示するためのものである。
センター200は、語彙DB201、音声認識処理部(DSR−S)202、キーワード抽出処理部203、行動履歴DB204、操作履歴DB205、状況判断処理部206、操作判断処理部207及び類語・関連語DB208を有している。
語彙DB201は、音声認識の対象となる語彙を蓄積した認識辞書のデータベースである。語彙DB201には、同じ単語の別名や愛称等の言換え語彙も含まれる。
音声認識処理部(DSR−S:Distributed Speech Recognition Server)202は、車載機100の音響分析処理部102から送信されたユーザの発話データをディクテーション認識してテキスト化する。また、音声認識処理部202は、オペレータ端末300の音響分析処理部303から送信されたオペレータの発話データをディクテーション認識してテキスト化する。
キーワード抽出処理部203は、音声認識処理部202がテキスト化した発話テキストからタスクの推定に必要なキーワードとなる単語を抽出する。
行動履歴DB204は、車載機100が搭載された車両のユーザであるドライバーの過去の設定目的地、走行ルート、時間帯等の行動履歴に関する情報を格納する。なお、本実施形態では、センター200の行動履歴DB204にドライバーの過去の行動履歴に関する情報を格納するが、センター200の外部の機器にドライバーの過去の行動履歴に関する情報が格納されても良い。
操作履歴DB205は、車載機100が搭載された車両のユーザであるドライバーの過去の発話内容、検索条件等の操作履歴に関する情報を格納する。
状況判断処理部206は、車載機100の位置情報処理部104から送信された車載機100が搭載された車両の位置情報の取得と、行動履歴DB204に格納された行動履歴に関する情報及び操作履歴DB205に格納された操作履歴に関する情報の取得とを行なう。また、状況判断処理部206は、現在の時刻も取得する。
操作判断処理部207は、キーワード抽出処理部203のキーワードの抽出結果と、状況判断処理部206が取得したユーザに関する情報とを合わせ、類語・関連語DBに格納された類語・関連語に関する情報を参照しつつ、ユーザの要求するタスクの候補を推定する。また、操作判断処理部207は、タスクの候補の推定結果に基づいて、オペレータが行うべきタスクを選択し、実行させる。操作判断処理部207の推定結果は、車載機100の画面出力処理部105及びオペレータ端末300のディスプレイ装置301に出力される。
類語・関連語DB208は、語彙DB201に格納された語彙と意味的な関連のある類語及び関連語に関する情報を格納する。なお、車載機100からの発話データ、位置情報及びセンター200からの推定結果は、車載機100とセンター200に接続された路側インフラストラクチャーとの間で、短距離通信等により送受信される。施設情報DB210には、車載機100を搭載した車両が立寄ることが可能な種々の施設に関する情報が記憶されている。
オペレータ端末300は、ディスプレイ装置301、マイク302及び音響分析処理部(DSR−C:Distributed Speech Recognition Client)303を有している。ディスプレイ装置301は、センター200の操作判断処理部207から送信された情報を受信し、オペレータに対して情報を表示するためのものである。
マイク302は、オペレータ(第2発話者)の発話を検出し、検出結果を音声信号として音響分析処理部303に出力する。音響分析処理部303は、音声認識処理をセンター200で行うため、発話データのサイズを圧縮してセンター200に送信する。
以下、本実施形態のオペレーティングシステムの動作について説明する。以下の例では、まず、発話からタスクを推定する原理を示すため、ドライバーの発話から、POI(Position Information)検索といったタスクを推定する手法を中心に説明する。例えば、車載機100が搭載された車両のドライバーがマイク101に、「池袋のXXX(コンビニエンスストア名)は?」と発話する。音響分析処理部102は、センター200の音声認識処理部202が音声認識を行うのに最低限必要な情報のみを抽出し、発話データとしてセンター200の音声認識処理部202に送信する。
音声認識処理部202は、ディクテーション認識を用いて発話データをテキスト化し、発話テキストとする。このとき、音声認識処理部202は語彙DB201を参照しつつ、キーワード中に愛称、別称等の言換え表現が含まれる場合は、言換え表現を基本表現に置換したものを出力する。上記の例では、発話内に言換え表現は含まれないので、基本表現の置換は行なわれない。なお、言換え表現と基本表現の定義は普遍的なものではなく、語彙DB201の整備仕様により適宜決定される。
キーワード抽出処理部203は、音声認識処理部202が出力した発話テキストを構文解析する。構文解析では、キーワード抽出処理部203は、形態素解析による品詞分解と係り受け関係の判別を行なう。キーワード抽出処理部203は、品詞分解結果から、意味の判別に必要な品詞の単語のみを抜き出したものを操作判断処理部207に送信する。ここで、意味の判別に必要な品詞とは、名詞、動詞、形容詞、形容動詞等の単独で目的推定のための意味を持つ可能性が高い品詞をいう。例えば、本例では、「池袋」、「XXX(コンビニエンスストア名)」が抽出される。以上より、図2に示すように、音声認識結果からの単語抽出が完了する(S101)。
操作判断処理部207は、キーワード抽出処理部203から受け取った抽出されたキーワードを、予め定義された判断のルールと照合し、ドライバーから要求される要求タスクを推定する。本実施形態では、類語・関連語DB208に複数の語句属性が記憶されている。語句属性には、所定のキーワードが関連付けられて類語・関連語DB208に記憶されている。例えば、語句属性1について図3に示すような属性1テーブルが定義されているものとする。操作判断処理部207は、抽出されたキーワードそれぞれが、語句属性1の語句属性1テーブルに関連付けられているか否か判定する(S102)。キーワード「池袋」に関連付けられている語句属性1は、id1=2:「エリア」である。キーワード「XXX(コンビニエンスストア名)」に関連付けられている語句属性1は、id1=4:「チェーン」である。このような語句属性は、施設情報DB210の各施設の属性情報からも生成することができる。
例えば、語句属性2について図4に示すような属性2テーブルが定義されているものとする。操作判断処理部207は、抽出されたキーワードそれぞれが、語句属性2の語句属性2テーブルに関連付けられているか否か判定する(S103)。キーワード「池袋」に関連付けられている語句属性2は、id2=a:「属性なし」である。キーワード「XXX(コンビニエンスストア名)」に関連付けられている語句属性2は、id2=e:「コンビニ」である。
本例では、抽出されたキーワード「池袋」、「XXX(コンビニエンスストア名)」は、語句属性1テーブル及び語句属性2テーブルのいずれかに関連付けられているため、操作判断処理部207は、これらのキーワードをドメイン判定必要語句として記憶する(S104)。一方、もし、抽出されたキーワードが、語句属性1テーブル、語句属性2テーブル及びその他の語句属性テーブルのいずれにも関連付けられていないときは、操作判断処理部207は、当該キーワードをドメイン判定必要語句ではないとして破棄する(S105)。
全てのキーワードを操作判断処理部207が処理したときは(S106)、操作判断処理部207は、抽出されたキーワードそれぞれについてドメイン対応表による該当ドメインがいずれであるかを判定し、ドメイン一覧より該当ドメインを抽出する(S107,S108)。
類語・関連語DB208には、図5に示すようなドメイン対応表が記憶されている。ドメイン対応表では、語句属性1及び語句属性2ごとに対応するタスクのドメイン1〜13が定義されている。ドメイン1〜13のタスクは、それぞれ図6に示すように定義されている。
例えば、キーワード「池袋」については、語句属性1はid1=2:「エリア」であり、語句属性2はid2=a:「属性なし」であるから、図5の表の丸印で示すドメイン1,4,5,6,7,8,9,10,11,12及び13が該当する。また、キーワード「XXX(コンビニエンスストア名)」については、語句属性1はid1=4:「チェーン」であり、語句属性2はid2=e:「コンビニ」であるから、図5の表の丸印で示すドメイン8が該当する。
操作判断処理部207は、ドメイン対応表による該当ドメインの判定が全てのキーワードについて完了したときは(S107)、該当するドメインを集計することにより要求タスクを推定する(S109)。例えば、本例では、キーワード「池袋」、「XXX(コンビニエンスストア名)」のいずれにも該当するドメインは、ドメイン8の「POI検索−POI未定−コンビニ」である。そこで、操作判断処理部207は、ドメイン8の「POI(Position Information)検索−POI未定−コンビニ」をタスクとして推定する。
操作判断処理部207は、タスクの推定結果をオペレータ端末300のディスプレイ装置301と車載機100の画面出力処理部105に送信する。オペレータ端末300では、当該タスクの推定結果に基づき、オペレータがマイク302に発話をし、ドライバーの発話と同様の処理が行われ、当該タスクを実際に行なわれるべきタスクとして確認する処理がなされる。これに対して、車載機100でも、ドライバーがマイク101に発話をし、上記と同様の処理が行われる。このような処理を繰り返すことにより、短時間で精度良くタスクの推定を行うことができる。
本実施形態によれば、センター200の操作判断処理部207は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語DB208から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語DB208から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
また、本実施形態によれば、センター200の操作判断処理部207が、ドライバー(ユーザ)の発話に含まれる情報から要求されるタスクの候補の推定を行ない、オペレータの発話に含まれる情報に基づいて、推定したタスクの候補に応じて行われるべきタスクを選択する。そのため、ドライバーとオペレータとの二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
以下、本発明の第2実施形態について説明する。本実施形態では、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補やタスクを要求されるタスクの候補や実際に行われるべきタスクとして推定する。
例えば、車載機100が搭載された車両のドライバーがマイク101に、「池袋でAチェーン(コンビニエンスストア名)を探して欲しいんだけど?」と発話する。図7及び図8に示すように、発話に含まれる各単語が認識され、認識結果よりデータベースから各単語の属性が抽出される(S201)。なお、第1実施形態と同様に、このような語句属性は、施設情報DB210の各施設の属性情報からも生成することができる。また、図8に示すように、信頼度といった要素を設定し、信頼度が所定の閾値未満の単語を処理から除いたり、信頼度に応じて処理の重み付けをしても良い。
図7に示すように、操作判別処理部207は、単語の属性aからIDを抽出する(S202)。図8及び9に示すように、また、音声認識結果による単語「池袋」に対して、属性aのIDは、IDa=2の「エリア」となる。また、音声認識結果による単語「Aチェーン」に対して、属性aのIDは、IDa=8の「チェーン」となる。さらに、図7に示すように、操作判別処理部207は、単語の属性bからIDを抽出する(S203)。図8及び10に示すように、また、音声認識結果による単語「池袋」に対して、属性bのIDは、存在しない。また、音声認識結果による単語「Aチェーン」に対して、属性bのIDは、IDb=8の「コンビニ」となる。
操作判別処理部207は、図11に示すようなドメインごとの重要度に応じたスコアを定義した属性スコア算出テーブルから、該当IDに対応する全ドメインのスコアを算出する(S204)。例えば、単語「Aチェーン」に対しては、属性aのIDa=8、属性bのIDb=8であるから、ドメイン1のスコアは1である。一方、ドメイン8のスコアは3となる。
このようにして、操作判別処理部207は、発話中で認識された各単語について各ドメインのスコアを加算する(S205)。例えば、図12に示すように、単語「池袋」に対して、属性aのIDa=2であり、属性bのIDb=0である。また、単語「Aチェーン」に対して、属性aのIDa=8であり、属性bのIDb=8である。さらに、単語「探して」に対して、属性aのIDa=0であり、属性bのIDb=16である。
これらの各単語について、図11の属性スコア算出テーブルを用いて、各ドメインのスコアが算出される。例えば、図13に示すように、ドメイン1「POI検索−POI特定−名称」については、単語「池袋」に対してスコア3、単語「Aチェーン」に対してスコア1、単語「探して」に対してスコア0である。これにより、ドメイン1のスコアの集計値は4となる。一方、ドメイン8「POI検索−POI未定−コンビニ」については、単語「池袋」に対してスコア3、単語「Aチェーン」に対してスコア3、単語「探して」に対してスコア0である。これにより、ドメイン1のスコアの集計値は6となる。
操作判別処理部207は、対話の終端まで全てのドメインについて同様の処理を繰り返し(S206)、集計したスコア順にドメインをソートする(S207)。例えば、最もスコアの高いドメインがドメイン8「POI検索−POI未定−コンビニ」であるとすると、操作判別処理部207は、ドメイン8の「POI検索−POI未定−コンビニ」が要求されるタスクであり、実際に行われるべきタスクである可能性が高いと推定する。
本実施形態では、センター200の操作判断処理部207は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語DB208から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語DB208から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、車載機を用いるドライバーとオペレータ端末を用いるオペレータとの間で対話をする態様について中心に説明したが、例えば、車載機以外にも、発話者の一部又は全部が、何らかの事情により細かい手動による操作が困難な場合においても、本発明は適用可能であり、効果を発揮する。さらに、発話者も2名に限られず、3名以上の発話者からの発話に基づいてタスクを推定することが可能である。
100…車載機、101…マイク、102…音響分析処理部(DSR−C)、103…GPSセンサ、104…位置情報処理部、105…画面出力処理部、106…ディスプレイ装置、200…センター、201…語彙DB、202…音声認識処理部(DSR−S)、203…キーワード抽出処理部、204…行動履歴DB、205…操作履歴DB、206…状況判断処理部、207…操作判断処理部、208…類語・関連語DB、210…施設情報DB、300…オペレータ端末、301…ディスプレイ、302…マイク、303…音響分析処理部。

Claims (10)

  1. 第1発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、
    前記要求タスク推定ユニットは、
    前記第1発話者の発話に含まれる複数の単語を抽出し、
    前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
    前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティングシステム。
  2. 前記要求タスク推定ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項1に記載のオペレーティングシステム。
  3. 第2発話者の発話に含まれる情報に基づいて、前記要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えた、請求項1又は2に記載のオペレーティングシステム。
  4. 前記アクションタスク選択ユニットは、
    前記第2発話者の発話に含まれる複数の単語を抽出し、
    前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    読み出された単数又は複数の前記属性に関連付けられた前記アクションタスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
    前記第2発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項3に記載のオペレーティングシステム。
  5. 前記アクションタスク選択ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項4に記載のオペレーティングシステム。
  6. 第1発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、
    前記要求タスク推定工程は、
    前記第1発話者の発話に含まれる複数の単語を抽出し、
    前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
    前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティング方法。
  7. 前記要求タスク推定工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項6に記載のオペレーティング方法。
  8. 第2発話者の発話に含まれる情報に基づいて、前記要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含む、請求項6又は7に記載のオペレーティング方法。
  9. 前記アクションタスク選択工程は、
    前記第2発話者の発話に含まれる複数の単語を抽出し、
    前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    読み出された単数又は複数の前記属性に関連付けられた前記タスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
    前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求タスクに応じた前記タスクとして選択する、請求項8に記載のオペレーティング方法。
  10. 前記アクションタスク選択工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項9に記載のオペレーティング方法。
JP2010091374A 2010-04-12 2010-04-12 オペレーティングシステム及びオペレーティング方法 Active JP5315289B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010091374A JP5315289B2 (ja) 2010-04-12 2010-04-12 オペレーティングシステム及びオペレーティング方法
PCT/JP2011/059096 WO2011129335A1 (ja) 2010-04-12 2011-04-12 オペレーティングシステム及びオペレーティング方法
EP11768856.4A EP2560158B1 (en) 2010-04-12 2011-04-12 Operating system and method of operating
CN201180018550.0A CN102844807B (zh) 2010-04-12 2011-04-12 操作系统及操作方法
US13/640,907 US9076451B2 (en) 2010-04-12 2011-04-12 Operating system and method of operating

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010091374A JP5315289B2 (ja) 2010-04-12 2010-04-12 オペレーティングシステム及びオペレーティング方法

Publications (2)

Publication Number Publication Date
JP2011221344A JP2011221344A (ja) 2011-11-04
JP5315289B2 true JP5315289B2 (ja) 2013-10-16

Family

ID=44798706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010091374A Active JP5315289B2 (ja) 2010-04-12 2010-04-12 オペレーティングシステム及びオペレーティング方法

Country Status (5)

Country Link
US (1) US9076451B2 (ja)
EP (1) EP2560158B1 (ja)
JP (1) JP5315289B2 (ja)
CN (1) CN102844807B (ja)
WO (1) WO2011129335A1 (ja)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
JP6288060B2 (ja) * 2015-12-10 2018-03-07 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6311695B2 (ja) 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6323439B2 (ja) 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6481643B2 (ja) * 2016-03-08 2019-03-13 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
JP6187623B1 (ja) 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
JP6697341B2 (ja) * 2016-07-05 2020-05-20 シャープ株式会社 加熱調理器および調理メニュー提案装置
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
JP6827629B2 (ja) * 2017-08-10 2021-02-10 トヨタ自動車株式会社 情報提供装置、情報提供システム
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10659477B2 (en) * 2017-12-19 2020-05-19 The Boeing Company Method and system for vehicle cyber-attack event detection
JP6904435B2 (ja) * 2017-12-25 2021-07-14 京セラドキュメントソリューションズ株式会社 情報処理装置及び発話解析方法
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US20200043479A1 (en) * 2018-08-02 2020-02-06 Soundhound, Inc. Visually presenting information relevant to a natural language conversation
EP3605527A3 (en) * 2018-08-02 2020-04-15 SoundHound, Inc. Visually presenting information relevant to a natural language conversation
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR20200101103A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
DE102019216078B3 (de) * 2019-10-18 2021-01-14 Continental Automotive Gmbh Verfahren und Vorrichtung zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11984124B2 (en) 2020-11-13 2024-05-14 Apple Inc. Speculative task flow execution

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581290B2 (ja) 2001-05-16 2010-11-17 パナソニック株式会社 音声認識装置および音声認識方法
JP3799280B2 (ja) * 2002-03-06 2006-07-19 キヤノン株式会社 対話システムおよびその制御方法
JP3879699B2 (ja) 2003-05-08 2007-02-14 株式会社デンソー 情報表示装置の遠隔操作システム
JP3948441B2 (ja) 2003-07-09 2007-07-25 松下電器産業株式会社 音声認識方法及び、車載装置
CN1910654B (zh) * 2004-01-20 2012-01-25 皇家飞利浦电子股份有限公司 确定交谈主题并获取和呈现相关内容的方法和系统
JP4661381B2 (ja) 2005-06-14 2011-03-30 トヨタ自動車株式会社 故障診断装置、故障診断システム、故障診断方法、及び車載装置
JP2008083100A (ja) * 2006-09-25 2008-04-10 Toshiba Corp 音声対話装置及びその方法
JP5089955B2 (ja) * 2006-10-06 2012-12-05 三菱電機株式会社 音声対話装置
JPWO2008152765A1 (ja) * 2007-06-11 2010-08-26 三菱電機株式会社 ナビゲーション装置
JP5178109B2 (ja) * 2007-09-25 2013-04-10 株式会社東芝 検索装置、方法及びプログラム
JP4609527B2 (ja) 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム

Also Published As

Publication number Publication date
EP2560158A1 (en) 2013-02-20
EP2560158A4 (en) 2015-05-13
EP2560158B1 (en) 2018-03-07
US20130103405A1 (en) 2013-04-25
WO2011129335A1 (ja) 2011-10-20
CN102844807B (zh) 2014-08-20
US9076451B2 (en) 2015-07-07
JP2011221344A (ja) 2011-11-04
CN102844807A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5315289B2 (ja) オペレーティングシステム及びオペレーティング方法
US9020819B2 (en) Recognition dictionary system and recognition dictionary system updating method
JP4260788B2 (ja) 音声認識機器制御装置
JP4802522B2 (ja) 音声入力装置および音声入力方法
US20080177541A1 (en) Voice recognition device, voice recognition method, and voice recognition program
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US10515634B2 (en) Method and apparatus for searching for geographic information using interactive voice recognition
EP2660562A1 (en) Route Guidance Apparatus and Method with Voice Recognition
US20200219487A1 (en) Information processing apparatus and information processing method
JP2011179917A (ja) 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
US11056113B2 (en) Conversation guidance method of speech recognition system
JP5181533B2 (ja) 音声対話装置
CN107885720B (zh) 关键词生成装置以及关键词生成方法
JP2011065526A (ja) オペレーティングシステム及びオペレーティング方法
JP2008076811A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
WO2006137246A1 (ja) 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体
WO2011030404A1 (ja) オペレーティングシステム及びオペレーティング方法
JP2009282835A (ja) 音声検索装置及びその方法
KR20060098673A (ko) 음성 인식 방법 및 장치
JP2009251470A (ja) 車載情報システム
WO2006028171A1 (ja) データ提示装置、データ提示方法、データ提示プログラムおよびそのプログラムを記録した記録媒体
WO2021166504A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP4611823B2 (ja) 音声認識候補文字列選択装置
JP4645708B2 (ja) コード認識装置および経路探索装置
JP2005316022A (ja) ナビゲーション装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R151 Written notification of patent or utility model registration

Ref document number: 5315289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250