JP2015052743A - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

情報処理装置、情報処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP2015052743A
JP2015052743A JP2013186466A JP2013186466A JP2015052743A JP 2015052743 A JP2015052743 A JP 2015052743A JP 2013186466 A JP2013186466 A JP 2013186466A JP 2013186466 A JP2013186466 A JP 2013186466A JP 2015052743 A JP2015052743 A JP 2015052743A
Authority
JP
Japan
Prior art keywords
information
predetermined
voice
command
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013186466A
Other languages
English (en)
Inventor
玲二 藤川
Reiji Fujikawa
玲二 藤川
雅彦 原田
Masahiko Harada
雅彦 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Personal Computers Ltd
Original Assignee
NEC Personal Computers Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Personal Computers Ltd filed Critical NEC Personal Computers Ltd
Priority to JP2013186466A priority Critical patent/JP2015052743A/ja
Publication of JP2015052743A publication Critical patent/JP2015052743A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】別な作業をしているために手が塞がっている状態であっても、その作業を中断することなく、音声対話による検索を行う処理を起動する。
【解決手段】入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、音声情報から所定のテキスト情報を認識する音声認識手段と、音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、判別手段により予め定められたキーワードが含まれると判別されたとき、コマンド実行手段を起動させる起動手段と、を含む。
【選択図】図6

Description

本発明は、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。
近年、文字、音声、図形、映像等のマルチメディアを入力、出力、及び加工処理することで、人間とコンピュータとの対話を様々な形態で行うことが可能となっている。特に、最近になって、メモリ容量やパーソナルコンピュータ(以下、PCともいう。)の処理能力が飛躍的に向上したことで、マルチメディアを取り扱うことができるPCが開発され、種々のアプリケーションが開発されてきている。これらは何れも単に種々のマルチメディアを出し入れするだけのもので各種マルチメディアを有機的に融合するまでには至っていない。
一方、従来からの数値データに代わり、文字を含む言語データが一般的になり、白黒のイメージデータはカラー化や図形、アニメーション、三次元グラフィックス、さらには動画が扱えるように拡張されてきている。また、音声やオーディオ信号についても、単なる音声信号レベルの入出力の他に、音声認識や音声合成の機能が研究開発されつつある。しかし、マンマシンインタフェースとして使用するには性能が不安定で、実用化は限定された分野に限られているのが現状である。
このように、上述した文字、テキスト、音声、グラフィックデータ等については、従来の入出力処理(記録、再生)から各種メディアへの展開や生成機能へと発展が続いている。換言すれば、各メディアの表面的な処理からメディアの内容や構造、意味的内容を取り扱い、人間とPCとの間の対話をより自然に快適に行うことを目的として、音声やグラフィックス等のメディアの融合や生成を利用する対話システムの構築が検討されつつある。
ここで、対話システムに用いられる音声検索とは、文字列ではなく、発話する声により話しかけることで検索できる技術やサービスのことを指す。近年では、Apple(登録商標)iOSに搭載されるSiri(登録商標)や、Google(登録商標)音声検索が知られている。また、最近では、音声操作できるカーナビ、一部のメーカーが発売する音声による操作や番組検索が可能なテレビ、話しかけるとそのまま指定した言語に翻訳してくれる携帯電話やスマートフォン等も出てきている。このように近年、音声解析技術を使ったサービスが登場してきている。
ところで、音声検索は、キーボードやタッチパネルで文字列を打つ必要がないので、両手が塞がっている時でも情報にアクセスでき、発声という直感的なアプローチが可能である。そして、検索結果に該当するものをPCによる音声を用いた回答で得ることができれば、対話によりインターネットから欲しい情報を容易に取り出せるようになる、等の理由から、将来性が期待されている。
しかしながら、現状、インターネットを用いた音声検索は、それ程普及が進んでいるとはいえない。音声検索の普及が進まない原因として考えられるのが、検索サービスにおける音声認識の難しさ、その汎用性にある。すなわち、テレビに搭載されている音声認識は、基本的にテレビ番組名や出演者名等、番組と人物に関連する物事や、テレビ操作に関連する物事が認識できれば足りるのである。同様にカーナビであれば、基本的に住所・施設名等、地図情報に関連する物事を認識できれば良いのである。
例えば、カーナビで入力する住所は、東京都○○区△△町等のように定型化されているので、連続的な音声を認識した時に、○○、△△に入る文言を特定できれば良いので、結果的に精度は良くなる。このように、特定用途の機器であれば、認識すべき範囲や文脈はある程度絞り込むことができる、つまり候補を限定することができる。しかしながら、汎用的な検索サービスではそうはいかないのが現状である。
このように、音声認識については、単一単語認識から連続単語認識、連続音声認識へと発展しており、実用化のために応用を限定した方向でも開発が進められている。このような応用場面では、音声対話システムとして、音声の文字面の認識よりも音声の発話内容の理解が重要であり、例えば、キーワードスポッティングをベースに応用分野の知識を利用した音声理解システムも研究されてきている。
他方、音声等のメディアの理解と生成は、単なるデータの入出力とは異なり、メディアの変換の際に発生する情報の欠落やエラーが不可避である。すなわち、音声理解は情報量の多い音声パターンデータから音声の発話の内容や発話者の意図を抽出する処理であり、情報の圧縮を行う過程で音声認識エラーや曖昧性が生じる。したがって、音声対話システムとしては上述した認識エラーや曖昧性等の音声認識の不完全さに対処するため、PC側からユーザに対して適切な質問や確認を行い、対話制御によりスムーズに対話を進行する必要がある。
ところで、PC側からユーザに対して何等かの対話をする場合、音声認識の不完全さをカバーし、PCの状況を適確に伝えることが、使い勝手のよいマンマシンインタフェースとして重要である。ところが、従来の音声対話システムでは、音声応答として単に文を棒読みするテキスト合成が行われることが多かったためメリハリがなく聞き難かったり、冗長であったりしていた。あるいは、音声応答がなく、PCからの応答はすべてテキストとしてディスプレイ上に応答文を表示したり、図形データや映像、アイコンや数値を表示したりするシステムが一般的であり、視覚への負担が重くなっていた。
このような状況下、特許文献1には、テレビ番組録画等のコマンド実行を行う電子機器の制御装置において、電源オンされた初期状態から、キャラクタの名前や、「おい」と音声で呼びかけると、そのアニメキャラクタが画面に表示され、対話モードに移行することが記載されている。
特許文献2には、対話内容により入力コマンドを特定し、録画・再生・メール等の各種コマンドを実行する操作支援システムにおいて、一般的な会話形式のインストラクションでユーザからの質問に対する検索結果を音声出力することが記載されている。
特開平04−338817号公報 特開2002−041276号公報
上述したように、従来の音声認識、音声合成技術を利用した音声対話システムは、それぞれ別個に開発された音声認識、音声合成、画面表示の各技術を単に組み合わせただけのものであり、音声の対話という観点からの十分な考慮がなされていないという問題がある。すなわち、音声認識機能には、認識誤りや曖昧性があり、音声合成機能は人間の発声よりも明りょう度が悪く、イントネーションの制御も不十分であるため、意図や感情の伝達能力が不足しており、自然性に欠けるという根本的な問題がある。
しかしながら、朝の時間帯等、忙しくて手が塞がっているときであっても、対話型検索を行うことにより、PCが声だけで情報を伝えてくれるようになれば、行っている作業を中断する必要がなく、また、いちいちスマートフォンやPCのブラウザを立ち上げることなく、簡単に情報を調べたいというユーザの要請が存在するのも事実である。
そして、特許文献1に記載された技術は、電子機器の制御装置に対してビデオの再生、録画予約等を行わせるという意思を持った状態でアニメキャラクタと対峙して対話モードに移行している。したがって、忙しい時間帯であったり、手が塞がっていたりする状況にあっては、作業を中断することなく簡単に情報を調べるということは不可能である。
また、特許文献2に記載された技術は、特定の電子機器の制御ではない一般的な会話形式のインストラクションで、ユーザからの質問に対する検索結果を音声出力しているが、操作支援システムの画面上にユーザからの質問に対する回答を表示しているため、やはり、他の作業を中断することなく簡単に情報を調べるということは困難な状態である。
そこで本発明は、上記従来の問題点に鑑みてなされたもので、別な作業をしているために手が塞がっている状態であっても、その作業を中断することなく、音声対話による検索を行う処理を起動することが可能な情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを目的とする。
上記課題を解決するため、請求項1に記載の本発明における情報処理装置は、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、前記音声情報から所定のテキスト情報を認識する音声認識手段と、前記音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、前記判別手段により前記予め定められたキーワードが含まれると判別されたとき、前記コマンド実行手段を起動させる起動手段と、を含むことを特徴とする。
また、本発明における情報処理装置は、請求項1に記載の情報処理装置において、前記判別手段は、前記音声情報から所定の間隔で取得された音声ストリームデータを音素に分解し、前記分解された音素と予め登録された音素とを比較したスコア値と、予め定められた所定の閾値との高低に応じて、前記予め定められたキーワードが含まれているか否かを判別することを特徴とする。
さらに、本発明における情報処理装置は、請求項1又は2に記載の情報処理装置において、前記起動手段は、前記判別手段により前記予め定められたキーワードが含まれると判別され、かつ、前記音声情報が所定の時間無入力となると、前記コマンド実行手段を起動させることを特徴とする。
また、本発明における情報処理装置は、請求項1から3の何れか1項に記載の情報処理装置において、前記音声認識手段は、前記音声情報を分解して得られた音素と、予め記憶されたテキスト辞書とを比較し、前記テキスト辞書の中から、前記分解して得られた音素に最も相応しい候補であるテキスト情報を特定することにより、前記所定のテキスト情報を認識することを特徴とする。
そして、本発明における情報処理装置は、請求項1から4の何れか1項に記載の情報処理装置において、前記コマンド実行手段は、前記テキスト情報に基づくコマンドを特定するための質問を発話し、前記質問に対して発せられる音声情報から前記音声認識手段により認識されるテキスト情報にさらに基づいて実行すべき所定のコマンドを特定することを特徴とする。
また、上記課題を解決するため、請求項6に記載の本発明における情報処理装置の制御方法は、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する工程と、前記音声情報から所定のテキスト情報を認識する工程と、前記認識する工程により認識された前記所定のテキスト情報に基づいて特定される所定のコマンドを実行する工程と、前記判別する工程により前記予め定められたキーワードが含まれると判別されたとき、前記コマンドを実行する工程を起動させる工程と、を含むことを特徴とする。
さらに、上記課題を解決するために、請求項7に記載の本発明におけるプログラムは、情報処理装置のコンピュータに、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する処理と、前記音声情報から所定のテキスト情報を認識する処理と、前記認識する処理により認識された前記所定のテキスト情報に基づいて特定される所定のコマンドを実行する処理と、前記判別する処理により前記予め定められたキーワードが含まれると判別されたとき、前記コマンドを実行する処理を起動させる処理と、を実現させることを特徴とする。
本発明によれば、別な作業をしているために手が塞がっている状態であっても、その作業を中断することなく、音声対話による検索を行う処理を起動することが可能な情報処理装置、情報処理装置の制御方法、及びプログラムが得られる。
本発明の実施形態における情報処理装置の構成について説明する概略ブロック図である。 本発明の実施形態における情報処理装置の主要部の構成について説明する概略ブロック図である。 本発明の実施形態における情報処理装置の起動時の画面表示(その1)について説明する図である。 本発明の実施形態における情報処理装置の起動時の画面表示(その2)について説明する図である。 本発明の実施形態における情報処理装置の起動時の画面表示(その3)について説明する図である。 本発明の実施形態における情報処理装置の具体的な動作(その1)について説明する図である。 本発明の実施形態における情報処理装置の具体的な動作(その2)について説明する図である。 本発明の実施形態における情報処理装置の、実際の音声解析のリアルタイム動作について説明するフローチャート(その1)である。 本発明の実施形態における情報処理装置の、実際の音声解析のリアルタイム動作について説明するフローチャート(その2)である。
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明の内容を簡潔に説明すると、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、音声情報から所定のテキスト情報を認識する音声認識手段と、音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、判別手段により予め定められたキーワードが含まれると判別されたとき、コマンド実行手段を起動させる起動手段と、を含むことにより、別な作業をしているために手が塞がっている状態であっても、その作業を中断することなく、音声対話による検索を行う処理を起動することができるのである。
まず、図1を用いて本発明の実施形態における情報処理装置の構成について説明する。図1は、本発明の実施形態における情報処理装置の構成について説明する概略ブロック図である。図1を参照すると、本発明の実施形態における情報処理装置100は、電子情報端末、PDA、ノート型PC、タブレット型PC等を具体例とする情報処理装置である。
図1において、本発明の実施形態における情報処理装置(以下、パーソナルコンピュータ(PC)ともいう。)100は、マイク101と、音声認識部102と、ROM(Read Only Memory)103と、RAM(Random Access Memory)104と、スピーカ105、音声合成部106と、CPU(Central Processing Unit)107と、表示部108と、入力部109と、電源部110と、ネットワーク接続部111と、HDD(Hard Disk Drive)112と、から構成される。
マイク101は、ユーザの音声を音声データ(電気信号)に変換するものである。音声認識部102は、マイク101によって音声データに変換されたユーザの音声を認識するものである。ROM103は、PC100全体の動作を制御するプログラムを格納するものである。RAM104は、ROM103に格納されたプログラムが展開される記憶領域である。スピーカ105は、後述するPC100のコンシェルジュが出力する音声データを音声に変換するものである。音声合成部106は、PC100のコンシェルジュが出力する音声データを、所望の音声に変換されるよう合成するものである。CPU107は、PC100全体の動作を制御するものであり、ROM103に格納された制御プログラムをロードし、PC100の動作によって得られた様々なデータをRAM104に展開するものである。
表示部108は、LCD(Liquid Crystal Display)等で構成される表示画面であり、PC100によって実行されたアプリケーションの結果や図示しないTVチューナによって受信されたテレビ番組を表示するものであり、PC100の出力装置を構成している。入力部109は、キーボード、マウス、タッチパネル等、ユーザがPC100に対して指示を与えるものであり、PC100の入力装置である。電源部110は、PC100に対してAC(Alternative Current:交流)又はDC(Direct Current:直流)電源を与えるものである。ネットワーク接続部111は、インターネットに代表される図示しないネットワーク網に接続され、ネットワーク網とのインタフェースを図るものである。HDD112は、PC100のアプリケーションソフトウェアを格納したり、図示しないTVチューナによって受信されたテレビ番組等のコンテンツを録画したりするものである。なお、表示部108と入力部109は、LCDとタッチパネルとが一体となったタッチパネルディスプレイであっても良い。この場合、キーボードやマウスといった入力装置に代えて、指や図示しないスタイラスペンをタッチパネルディスプレイに接触させて直接文字を書く動作等を行ってデータ入力やコマンド入力といった操作を行うことができる。
次に、図2を参照して、本発明に実施形態における情報処理装置の主要部の構成について説明する。図2は、本発明の実施形態における情報処理装置の主要部の構成について説明する概略ブロック図である。
図2において、本発明の実施形態におけるPC100は、マイク201から入力されたユーザの音声が音声データ(電気信号)に変換されて、当該音声データが音声信号解釈部202によって解釈され、その結果がクライアント型音声認識部203において認識される。クライアント型音声認識部203は、認識した音声データをクライアントアプリケーション部204に渡す。
クライアントアプリケーション部204は、ユーザからの問い合わせに対する回答が、オフライン状態にあるローカルコンテンツ部208に格納されているか否かを確認し、ローカルコンテンツ部208に格納されている場合は、当該ユーザからの問い合わせに対する回答を、後述するテキスト読上部209、クライアント型音声合成部210を経由して、スピーカ211から音声出力する。
ユーザからの問い合わせに対する回答が、ローカルコンテンツ部208に格納されていない場合は、PC100単独で回答を持ち合わせていないことになるので、インターネット等のネットワーク網207に接続されるネットワーク接続部206を介して、インターネット上の検索エンジン等を用いてユーザからの問い合わせに対する回答を検索し、得られた検索結果を、テキスト読上部209、クライアント型音声合成部210を経由して、スピーカ211から音声出力する。
クライアントアプリケーション部204は、ローカルコンテンツ部208、又はネットワーク網207から得られた回答をテキスト(文字)データに変換し、テキスト読上部209に渡す。テキスト読上部209は、テキストデータを読み上げ、クライアント型音声合成部210に渡す。クライアント型音声合成部210は、音声データを人間が認識可能な音声データに合成しスピーカ211に渡す。スピーカ211は、音声データ(電気信号)を音声に変換する。また、スピーカ211から音声を発するのに合わせて、ディスプレイ部に当該音声に関連する詳細な情報を表示する。
次に、本発明の実施形態における情報処理装置の起動時の画面表示について説明する。図3から図5は、本発明の実施形態における情報処理装置の起動時の画面表示について説明する図である。
本発明の実施形態に係るPC100のコンシェルジュ300、400、500は、起動時の時間帯や曜日に応じて、様々な挨拶を行うことができる。例えば、起動時が朝の時間帯であるときには、図3に示すように、コンシェルジュ300が、「おはようございます!」と発声するのに合わせてディスプレイ部205(図2)に関連情報を表示する。同様に、起動時が昼間の時間帯であれば、図4に示すように、コンシェルジュ400は、「こんにちは!」と発声し、夜の時間帯であれば図5に示すように、コンシェルジュ500は、「こんばんは!」と発声する。また、時間帯以外にも、平日と休日といった曜日に応じた発声も行うことができる。
次に、本発明の実施形態における情報処理装置の具体的な動作について説明する。図6、図7は、本発明の実施形態における情報処理装置の具体的な動作について説明する図である。
PC100が、図3から図5に示したように起動している状態で、ユーザが、知りたい情報、検索したい情報をPC100に対して質問すると、PC100は、その質問に対して回答する。例えば、図6に示すように、ユーザ600が、「チャーリィ、今日の天気を教えて。」とPC100に対して質問すると、PC100は、「調べてみます。有楽町駅周辺のお天気はこんな感じですよ。」と音声を発して回答すると共に、ディスプレイ部205(図2)に結果を表示する。
この質問と回答とのやり取りで重要なことは、PC100は、ユーザ600から発せられる音声情報である、「チャーリィ、今日の天気を教えて。」のうち、「チャーリィ」という音声情報に反応し、この音声情報に続けて発せられる音声をテキスト情報として認識し、ユーザ600との音声対話により所定のコマンドを実行しているのである。すなわち、PC100は、ユーザ600から発せられる音声情報に、予め定められた所定のキーワード(本実施形態の場合は「チャーリィ」というキーワード)が含まれているか否かを判断し、この予め定められたキーワードが含まれていると判断すると、このキーワード以降、ユーザから発せられる音声情報(質問)を所定のテキスト情報に変換し、この変換された所定のテキスト情報に基づいて特定される、ユーザから要求されるコマンド(例えばユーザから発話される質問に対する回答等)を実行するのである。なお、このキーワードを何にするかは、ユーザが予め定めておくものとする。
また、上記の例では、PC100は、ユーザ600から発せられるある特定の音声情報に反応し、この音声情報に続けて発せられる音声をテキスト情報として認識し、所定のコマンドを実行しているが、PC100が、音声認識部102(図1)によりテキスト情報を認識し、所定のコマンドを実行する契機としては、ユーザ600から発せられる特定の音声情報に限定されることなく、音声認識部102によりテキスト情報を認識することができる音声情報であれば、如何なる音源を用いても良いことは勿論である。
そして、ユーザは、PC100を起動状態にさえしておけば、後は、今やっている普通の作業を何ら中断することなく、すなわち、PC100とは無関係の作業を行っていたり、PC100を使って何か別の作業を行っていたりしても、PC100に対して質問すれば、PC100は回答してくれるのである。よって、朝の身支度等で忙しく、手が塞がっているような場面であっても、声だけで簡単に情報を入手することができるのである。
また、ユーザ600からなされる、「チャーリィ、今日の天気を教えて。」という質問は、それよりも前に天気のことを話題にしていない場面、すなわち、全く別の会話から、突然話題を天気の話に変えても、PC100は追随することができる。さらに、ユーザ600が、「チャーリィ、今日の天気を教えて。」とだけ質問し、どこの天気かについては何ら質問をしていないにも係わらず、PC100が有楽町駅周辺の天気について回答しているのは、PC100は、ユーザ600がこの質問をする前に話題にしていた場所が有楽町であること、すなわち、場所に関しては、それまでなされていた会話の文脈上から記憶しているのである。
そして、PC100は、上述したように、オフライン状態にあるローカルコンテンツ部208(図2)を有しており、ユーザ600からなされた質問に対する回答が、このローカルコンテンツ部208に格納されているか否かを確認し、ローカルコンテンツ部208に格納されている場合は、ネットワーク接続部206(図2)を介してネットワーク網207に接続することなく、ユーザに対してスピーカ211(図2)から回答を行う。要するに、ネットワーク網207に対しては、必要に応じて接続し、検索を行い、ローカルコンテンツ部208に格納されている情報で回答が済む場合は、ネットワーク網207に接続しないのである。
次に、上記した、PC100が、ユーザ600から発せられる音声情報である、「チャーリィ、今日の天気を教えて。」のうち、「チャーリィ」というキーワードに反応し、このキーワードに続けて発せられる音声を所定のテキスト情報として認識し、ユーザ600との対話を開始している点に関し、具体的な音声解析の中身について述べる。
本実施形態におけるPC100には、音声対話システムのソフトウェアアプリケーションプログラムがインストールされているが、このソフトウェアアプリケーションプログラムを常駐モードにするか、非常駐モードにするかを予め選択することができる。そして、常駐モードを選択すると、次回起動時からはスタートアップ時から起動する。さらに、常駐モードでは、常時、音をモニタリングし、ノイズなのか音声なのかを即座に判断している。
常駐モードにされていると、音声情報の中から「チャーリィ」といった所定のキーワードの有無だけを認識し、当該所定のキーワードが有ると認識されると、その後に音声認識される所定のテキスト情報を、記憶して文脈解析するルーチンに引き渡す動作に移行する。
次に、本発明の実施形態における情報処理装置の、実際の音声解析のリアルタイム動作について説明する。図8、図9は、本発明の実施形態における情報処理装置の、実際の音声解析のリアルタイム動作について説明するフローチャートである。
図8において、ステップ(以下、「S」という。)801の処理では、まず、PC100が起動しているか否かが判断される。PC100が起動していないとき(S801:NO)は、処理を終了する。PC100が起動しているとき(S801:YES)は、S802の処理へ移行する。なお、上記したように、音声対話システムのソフトウェアアプリケーションプログラムが常駐であるときは、起動時から動作し、非常駐であるときは、音声対話システムのソフトウェアアプリケーションの立ち上げが必要となる。
S802の処理では、音声入力がレディ状態であるか否かが判断される。音声入力がレディ状態でないとき(S802:NO)は、処理を終了する。音声入力がレディ状態であるとき(S802:YES)は、S803の処理へ移行する。
S803の処理では、音声のストリームデータ(PCM(パルス符号変調:Pulse Code Modulation)等)を一定間隔で取得する。S804の処理では、取得された音声のストリームデータを、音の要素(音素)に分解する。S805の処理では、分解された音素と、予め登録された音素(ウェークアップワード、本実施形態では、「チャーリィ」)とを比較し、スコア化する。S806の処理では、S805の処理で算出されたスコアが予め定められた閾値より低いか否かが判断される。スコアが予め定められた閾値より低いとき(S806:YES)は、S803の処理へ戻る。スコアが予め定められた閾値以上のとき(S806:NO)は、S807の処理へ移行する。
ここまでの処理が、ユーザ600から発せられる音声情報に、予め定められた所定のキーワード(本実施形態の場合は「チャーリィ」というキーワード)が含まれているか否かを判断するルーチンであり、予め定められたキーワードが含まれていると判断すると、S807以降の処理へ移行する。
S807の処理では、音声入力中であるか否かが判断される。音声入力中でないとき(S807:NO)は、音声が入力されるまで待機する。音声入力中であるとき(S807:YES)は、S808の処理へ移行する。S808の処理では、音声のストリームデータ(PCM等)を一定間隔で取得する。S809の処理では、取得された音声のストリームデータを、音の要素(音素)に分解する。そして、S810の処理では、音素がなくなったか否かが判断される。音素がなくなっていないとき(S810:NO)は、S808の処理へ戻る。音素がなくなっているとき(S810:YES)は、S811の処理へ移行する。なお、音素がなくなったと判断する具体的なポイントは、一定時間音声信号がなく、かつ、相対的な音量レベルが一定値以下であること、等である。
ここまでの処理が、ユーザ600から発せられる音声情報に、予め定められた所定のキーワードが含まれている状態で、このキーワード以降、ユーザから発せられる音声情報を、テキスト情報として認識し、所定のコマンドを実行するルーチンに移行する前のルーチンである。ユーザから発せられる音声入力がなくなると、S811以降の処理へ移行する。
図9において、S811の処理では、音声入力後であるか否かが判断される。音声入力後でないとき(S811:NO)は、音声入力後となるまで待機する。音声入力後であるとき(S811:YES)は、S812の処理へ移行する。S812の処理では、分解して得られた音素とテキスト辞書とを比較し、分解して得られた音素に最も相応しい候補であるテキスト情報を特定し、この特定されたテキスト情報を候補として提案する。S813の処理では、提案されたテキスト情報を、文脈解析ルーチンに引き渡し、コマンドを実行する、といった動作が行われる。
なお、図8、図9に示した本発明の実施形態における情報処理装置100を構成する各機能ブロックの各動作は、コンピュータ上のプログラムに実行させることもできる。すなわち、情報処理装置100のCPU107が、ROM103、RAM104等から構成される記憶部に格納されたプログラムをロードし、プログラムの各処理ステップが順次実行されることによって行われる。
以上説明してきたように、本発明によれば、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、音声情報から所定のテキスト情報を認識する音声認識手段と、音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、判別手段により予め定められたキーワードが含まれると判別されたとき、コマンド実行手段を起動させる起動手段と、を含むことにより、別な作業をしているために手が塞がっている状態であっても、その作業を中断することなく、音声対話による検索を行う処理を起動することができるのである。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
100 情報処理装置(PC)
101、201 マイク
102 音声認識部
103 ROM
104 RAM
105、211 スピーカ
106 音声合成部
107 CPU
108 表示部
109 入力部
110 電源部
111 ネットワーク接続部
112 HDD
202 音声信号解釈部
203 クライアント型音声認識部
204 クライアントアプリケーション部
205 ディスプレイ部
206 ネットワーク接続部
207 ネットワーク網
208 ローカルコンテンツ部
209 テキスト読上部
210 クライアント型音声合成部
300、400、500 コンシェルジュ
600 ユーザ

Claims (7)

  1. 入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、
    前記音声情報から所定のテキスト情報を認識する音声認識手段と、
    前記音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、
    前記判別手段により前記予め定められたキーワードが含まれると判別されたとき、前記コマンド実行手段を起動させる起動手段と、
    を含むことを特徴とする情報処理装置。
  2. 前記判別手段は、前記音声情報から所定の間隔で取得された音声ストリームデータを音素に分解し、前記分解された音素と予め登録された音素とを比較したスコア値と、予め定められた所定の閾値との高低に応じて、前記予め定められたキーワードが含まれているか否かを判別することを特徴とする請求項1に記載の情報処理装置。
  3. 前記起動手段は、前記判別手段により前記予め定められたキーワードが含まれると判別され、かつ、前記音声情報が所定の時間無入力となると、前記コマンド実行手段を起動させることを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記音声認識手段は、前記音声情報を分解して得られた音素と、予め記憶されたテキスト辞書とを比較し、前記テキスト辞書の中から、前記分解して得られた音素に最も相応しい候補であるテキスト情報を特定することにより、前記所定のテキスト情報を認識することを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
  5. 前記コマンド実行手段は、前記テキスト情報に基づくコマンドを特定するための質問を発話し、前記質問に対して発せられる音声情報から前記音声認識手段により認識されるテキスト情報にさらに基づいて実行すべき所定のコマンドを特定することを特徴とする請求項1から4の何れか1項に記載の情報処理装置。
  6. 入力された音声情報に予め定められたキーワードが含まれるか否かを判別する工程と、
    前記音声情報から所定のテキスト情報を認識する工程と、
    前記認識する工程により認識された前記所定のテキスト情報に基づいて特定される所定のコマンドを実行する工程と、
    前記判別する工程により前記予め定められたキーワードが含まれると判別されたとき、前記コマンドを実行する工程を起動させる工程と、
    を含むことを特徴とする情報処理装置の制御方法。
  7. 情報処理装置のコンピュータに、
    入力された音声情報に予め定められたキーワードが含まれるか否かを判別する処理と、
    前記音声情報から所定のテキスト情報を認識する処理と、
    前記認識する処理により認識された前記所定のテキスト情報に基づいて特定される所定のコマンドを実行する処理と、
    前記判別する処理により前記予め定められたキーワードが含まれると判別されたとき、前記コマンドを実行する処理を起動させる処理と、
    を実現させるためのプログラム。
JP2013186466A 2013-09-09 2013-09-09 情報処理装置、情報処理装置の制御方法、及びプログラム Pending JP2015052743A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013186466A JP2015052743A (ja) 2013-09-09 2013-09-09 情報処理装置、情報処理装置の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013186466A JP2015052743A (ja) 2013-09-09 2013-09-09 情報処理装置、情報処理装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2015052743A true JP2015052743A (ja) 2015-03-19

Family

ID=52701788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013186466A Pending JP2015052743A (ja) 2013-09-09 2013-09-09 情報処理装置、情報処理装置の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2015052743A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206646A (ja) * 2015-04-24 2016-12-08 パナソニックIpマネジメント株式会社 音声再生方法、音声対話装置及び音声対話プログラム
WO2019088571A1 (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 전자 장치, 음성 인식 방법 및 기록 매체
CN110770736A (zh) * 2017-06-16 2020-02-07 亚马逊科技公司 将对话驱动式应用程序导出到数字通信平台
WO2023163383A1 (ko) * 2022-02-28 2023-08-31 에스케이텔레콤 주식회사 멀티모달 기반 실시간 감정인식 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239694A (ja) * 1994-03-02 1995-09-12 Oki Electric Ind Co Ltd 音声対話装置
JPH11231896A (ja) * 1998-02-19 1999-08-27 Fujitsu Ten Ltd 音声起動システム
JP2001042891A (ja) * 1999-07-27 2001-02-16 Suzuki Motor Corp 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体
JP2012073369A (ja) * 2010-09-28 2012-04-12 National Institute Of Information & Communication Technology 音声翻訳システム、音声翻訳装置、音声翻訳方法、およびプログラム
JP2013080476A (ja) * 2011-09-30 2013-05-02 Apple Inc バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239694A (ja) * 1994-03-02 1995-09-12 Oki Electric Ind Co Ltd 音声対話装置
JPH11231896A (ja) * 1998-02-19 1999-08-27 Fujitsu Ten Ltd 音声起動システム
JP2001042891A (ja) * 1999-07-27 2001-02-16 Suzuki Motor Corp 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体
JP2012073369A (ja) * 2010-09-28 2012-04-12 National Institute Of Information & Communication Technology 音声翻訳システム、音声翻訳装置、音声翻訳方法、およびプログラム
JP2013080476A (ja) * 2011-09-30 2013-05-02 Apple Inc バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206646A (ja) * 2015-04-24 2016-12-08 パナソニックIpマネジメント株式会社 音声再生方法、音声対話装置及び音声対話プログラム
CN110770736A (zh) * 2017-06-16 2020-02-07 亚马逊科技公司 将对话驱动式应用程序导出到数字通信平台
CN110770736B (zh) * 2017-06-16 2024-04-16 亚马逊科技公司 将对话驱动式应用程序导出到数字通信平台
WO2019088571A1 (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 전자 장치, 음성 인식 방법 및 기록 매체
US11223878B2 (en) 2017-10-31 2022-01-11 Samsung Electronics Co., Ltd. Electronic device, speech recognition method, and recording medium
WO2023163383A1 (ko) * 2022-02-28 2023-08-31 에스케이텔레콤 주식회사 멀티모달 기반 실시간 감정인식 방법 및 장치

Similar Documents

Publication Publication Date Title
US11727914B2 (en) Intent recognition and emotional text-to-speech learning
US11514886B2 (en) Emotion classification information-based text-to-speech (TTS) method and apparatus
US9619202B1 (en) Voice command-driven database
US9805718B2 (en) Clarifying natural language input using targeted questions
RU2352979C2 (ru) Синхронное понимание семантических объектов для высокоинтерактивного интерфейса
US20160293157A1 (en) Contextual Voice Action History
US7624018B2 (en) Speech recognition using categories and speech prefixing
JP2018532165A (ja) 個別化されたエンティティ発音の学習
KR20060037228A (ko) 음성인식을 위한 방법, 시스템 및 프로그램
JP2015069103A (ja) 情報処理装置、制御方法、及びプログラム
EP3729422B1 (en) Detecting continuing conversations with computing devices
JP2002116796A (ja) 音声処理装置、音声処理方法及び記憶媒体
JP6069157B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7365985B2 (ja) 音声を認識するための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
WO2020024620A1 (zh) 语音信息的处理方法以及装置、设备和存储介质
JP2015052743A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN116368459A (zh) 用于智能听写的自动化助理的话音命令
JP2008516294A (ja) 対話システムの忠実度を向上させる方法及びシステム
CN113611316A (zh) 人机交互方法、装置、设备以及存储介质
JP2015052745A (ja) 情報処理装置、制御方法、及びプログラム
Gupta et al. Desktop Voice Assistant
JP5936588B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2015052744A (ja) 情報処理装置、制御方法、及びプログラム
JP2015069101A (ja) 情報処理装置、制御方法、及びプログラム
US11756533B2 (en) Hot-word free pre-emption of automated assistant response presentation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160414

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160422

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160610

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170119