JP2015076040A - 情報処理方法、情報処理装置、及びプログラム - Google Patents

Abstract

【課題】対話検索に引き続きスケジューラに追記可能な情報処理方法、情報処理装置、及びプログラムを提供する。【解決手段】入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理方法であって、所定のコマンドおよび実行結果を記憶し、スケジュールの追加コマンドに対応するテキスト情報が認識されると、記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出し、抽出された時間情報と場所情報とに基づいてスケジュールを追加する。【選択図】図５

Description

本発明は、情報処理方法、情報処理装置、及びプログラムに関する。

近年、テレビ受像器やパーソナルコンピュータ等の電子機器に対するユーザ・コマンドの入力を支援する対話型操作支援システムが開発されている（例えば、特許文献１参照）。

特許文献１に記載の発明は、「対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体」に関する発明であり、具体的には、「音声合成やアニメーションによるリアクションを行なう擬人化されたアシスタントと呼ばれるキャラクタのアニメーションをユーザ・インターフェースとすることにより、ユーザに対して親しみを持たせると同時に複雑な命令への対応やサービスへの入り口を提供することができる。また、自然言語に近い感じの命令体系を備えているので、ユーザは、通常の会話と同じ感覚で機器の操作を容易に行なうことができる」ものである。

特開２００２−４１２７６号公報

しかしながら、特許文献１には、対話検索に引き続きスケジューラに追記することはできなかった。
そこで、本発明の目的は、対話検索に引き続きスケジューラに追記可能な情報処理方法、情報処理装置、及びプログラムを提供することにある。

上記課題を解決するため、請求項１に記載の発明は、入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理方法であって、前記所定のコマンドおよび実行結果を記憶し、スケジュールの追加コマンドに対応するテキスト情報が認識されると、前記記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出し、前記抽出された時間情報と場所情報とに基づいてスケジュールを追加することを特徴とする。

本発明によれば、対話検索に引き続きスケジューラに追記可能な情報処理方法、情報処理装置、及びプログラムの提供を実現できる。

一実施形態に係る情報処理装置としてのパーソナルコンピュータ１００のブロック図である。 図１に示したパーソナルコンピュータの主要部のブロック図の一例である。 （ａ）はスケジューラへの追記の動作を説明するためのフローチャートの一例であり、（ｂ）はケジューラへの追記の動作を説明するためのフローチャートの他の一例である。 ユーザが音声でパーソナルコンピュータに問いかけをしている状態を示す図である。 ユーザとパーソナルコンピュータとの対話によるスケジュール修正の説明図である。

次に実施の形態について述べる。
＜構 成＞
図１は、一実施形態に係る情報処理装置としてのパーソナルコンピュータ１００のブロック図である。
同図に示すパーソナルコンピュータ（以下、ＰＣ）１００は、マイクロフォン１０１、増幅回路１０２、１０４、スピーカ１０３、表示装置１０５、キーボード１０６、マウス１０７、光学読取装置１０８、制御手段１０９、ＨＤＤ(Hard Disk Drive)１１０、ネットワーク接続部１１１、Ｉ／Ｏ(Input/Output)１１２、及びバスライン１１３を有する。

マイクロフォン１０１は、ユーザの音声を電気信号に変換する機能を有する。マイクロフォン１０１としては、例えばコンデンサマイクロフォンが挙げられるが、ダイナミックマイクロフォンでもよい。
増幅回路１０２は、マイクロフォン１０１からの電気信号を増幅する回路である。
スピーカ１０３は、電気信号を音声に変換する機能を有する。スピーカ１０３は、主にアバターの声をユーザへ伝達する機能を有する。アバターは、本実施形態では女性であるが、限定されるものではない。
増幅回路１０４は、音声信号を、スピーカ１０３を駆動させるレベルまで増幅する回路である。
表示装置１０５は、アバターやアバターの発話内容を文字で表示した吹き出しを含む画像や文字等を表示する機能を有する。表示装置１０５としては、例えば、液晶表示素子が挙げられる。
キーボード１０６は、文字、数字、符号を入力する入力装置である。
マウス１０７は、入力装置の一種であり、机上を移動させることで表示装置１０５のカーソルを移動させる等の機能を有する。
光学読取装置１０８は、ＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disc)やＣＤ−Ｒ(Compact Disc-Recordable)等の光学媒体を読み取る機能を有する。

制御手段１０９は、ＰＣ１００を統括制御機能、及び音声処理機能を有する素子であり、例えばＣＰＵ(Central Processing Unit)が挙げられる。音声処理機能とは、主に入力した音声をテキストデータとして出力し、解析し、合成する機能である。
制御手段１０９は、それぞれソフトウェアで構成される入力制御手段１０９ａ、音声認識手段１０９ｂ、音声解析手段１０９ｃ、検索手段１０９ｄ、音声合成手段１０９ｅ、及び修正手段１０９ｆを有する。

入力制御手段１０９ａは、マイクロフォン１０１に入力された音声が変換された信号を解析して得られたコマンドに基づいて処理させる機能の他、キーボード１０６からのキー入力、及びマウス１０７からのクリックやドラッグ等による信号を文字表示、数字表示、符号表示、カーソル移動、コマンド等に変換する機能を有する。
音声認識手段１０９ｂは、マイクロフォン１０１からの信号をテキストデータとして出力する機能を有し、クライアント型音声認識部２０３である。
音声解析手段１０９ｃは、テキストデータを解析する機能を有する。音声解析手段１０９ｃは、ユーザから音声による問いかけがあると、その問いかけに関するテキストデータを解析する。

検索手段１０９ｄは、ネットワーク２０７を介してインターネット検索する手段である。検索手段１０９ｄは、ユーザから検索の指示があると、予め設定されたブラウザでネットワークに接続し、予め設定されたインターネット検索サービスに接続し、キーワード検索する機能を有する。
音声合成手段１０９ｅは、クライアント型音声合成部２１０であり、人間の音声を人工的に作り出す機能を有する。音声はアバターの年齢性別に対応した音質が設定されている。音声合成手段１０９ｅの出力は、バスライン１１３、及び増幅回路１０４を経て出力手段としてのスピーカ１０３から発音される。
修正手段１０９ｆは、対話検索の文脈上覚えておき、その文脈から詳細情報を把握しておき、スケジューラに追記する機能を有する。スケジュールの作成は、例えばユーザ２００からの「いいね」、もしくは「追記して」の音声をトリガとして作成する。「文脈上覚えておき」とは、例えば「スケジューラに追記」をコマンドとして実行するときに利用できるよう、その前に検索した情報等（レストラン情報やイベント情報）を、所定期間一時記憶しておくことである。従って、「追記して」をトリガとして、記憶している情報を追記可能となる。

ＨＤＤ１１０は、記憶装置の一種であり、ＲＯＭ(Read Only Memory)エリア、及びＲＡＭ(Random Access Memory)エリアを有する。ＲＯＭエリアは制御プログラムを格納するエリアであり、ＲＡＭエリアはメモリとして用いられるエリアである。

ネットワーク接続部１１１は、ネットワーク２０７を介して外部のサーバに接続する機能を有する公知の装置である。無線もしくは有線のいずれの手段を用いてもよい。
Ｉ／Ｏ１１２は、外部の電子機器、例えばＵＳＢ(Universal Serial Bus line)フラッシュメモリやプリンタを接続する機能を有する入出力装置である。
尚、ＰＣ１００は、入力手段としてタッチパネルを有していてもよい。

図２は、図１に示したパーソナルコンピュータの主要部のブロック図の一例である。
図２において、本発明の実施形態におけるＰＣ１００は、マイクロフォン１０１から入力されたユーザの音声が音声データ（電気信号）に変換されて、当該音声データが音声信号解釈部２０２によって解釈され、その結果がクライアント型音声認識部２０３において認識される。クライアント型音声認識部２０３は、認識した音声データをクライアントアプリケーション部２０４に渡す。

クライアントアプリケーション部２０４は、ユーザからの問い合わせに対する回答が、オフライン状態にあるローカルコンテンツ部２０８に格納されているか否かを確認し、ローカルコンテンツ部２０８に格納されている場合は、当該ユーザからの問い合わせに対する回答を、後述するテキスト読上部２０９、クライアント型音声合成部２１０を経由して、スピーカ１０３から音声出力する。

ユーザからの問い合わせに対する回答が、ローカルコンテンツ部２０８に格納されていない場合は、ＰＣ１００単独で回答を持ち合わせていないことになるので、インターネット等のネットワーク２０７に接続されるネットワーク接続部１１１を介して、インターネット上の検索エンジン等を用いてユーザからの問い合わせに対する回答を検索し、得られた検索結果を、テキスト読上部２０９、クライアント型音声合成部２１０を経由して、スピーカ１０３から音声出力する。

クライアントアプリケーション部２０４は、ローカルコンテンツ部２０８、又はネットワーク２０７から得られた回答をテキスト（文字）データに変換し、テキスト読上部２０９に渡す。テキスト読上部２０９は、テキストデータを読み上げ、クライアント型音声合成部２１０に渡す。クライアント型音声合成部２１０は、音声データを人間が認識可能な音声データに合成しスピーカ１０３に渡す。スピーカ１０３は、音声データ（電気信号）を音声に変換する。また、スピーカ１０３から音声を発するのに合わせて、表示装置１０５に当該音声に関連する詳細な情報を表示する。

＜動 作＞
図３（ａ）は、スケジューラへの追記の動作を説明するためのフローチャートの一例であり、図３（ｂ）は、スケジューラへの追記の動作を説明するためのフローチャートの他の一例である。
図３（ａ）において動作の主体は制御手段である。
音声認識が開始されると（ステップＳ１）、スケジュール追加コマンドか有るか否かを判断し（ステップＳ２）、スケジュール追加コマンドが無い場合（ステップＳ２／Ｎ）、コマンドを実行し（ステップＳ３）、スケジュール追加コマンドがある場合（ステップＳ２／Ｙ）、ステップＳ５に進む。
コマンド実行後、コマンド・実行結果を一時記憶し、ステップＳ１に戻る（ステップＳ４）。
ステップＳ５では一時記憶から時間・場所情報を抽出し（ステップＳ５）、スケジュール追加し終了する（ステップＳ６）。
尚、コマンドには例えばスケジュール追加、スケジュール変更、スケジュール取消等が挙げられる。また、スケジュール追加後、再度スケジュールの修正をしたい場合にはステップＳ１に戻ればよい。
図３（ｂ）において動作の主体は制御手段である。
ステップＳ１１〜Ｓ１４は図３（ａ）のステップＳ１〜Ｓ４と同様のため、説明を省略し、ステップＳ１５から説明する。
ステップＳ１５では一時記憶から時間・場所情報を抽出したか否かを判断し、時間・場所情報を抽出しない場合（ステップＳ１５／Ｎ）、不足情報を質問し、回答を音声認識し（ステップＳ１６）、スケジュールを追加して終了する（ステップＳ１７）。
時間場所情報を抽出した場合（ステップＳ１５／Ｙ）、スケジュールに追加して終了する（ステップＳ１７）。
スケジュール追加後、再度スケジュールの修正をしたい場合にはステップＳ１１に戻ればよい。

図４は、ユーザが音声でＰＣに問いかけをしている状態を示す図である。図５は、ユーザとＰＣとの対話によるスケジュール修正の説明図である。
例えば、図４に示すユーザ２００がドレッサーのチェストに座ってメークをしている場合について述べる。このときユーザ２００は両手がふさがっており、かつＰＣ１００から離れている。ユーザ２００はメークを続けながらソファーに載置されたＰＣ１００に対し、特定のキーワードとしてのウェークアップキーワードである「シェリー」と言うと、ＰＣ１００は、判別手段としての制御手段が判別し、コマンドとしての問いかけに対する応答動作を開始し、例えば「お呼びでしょうか？」と返事をする。
ＰＣ１００のモニタ１００ａには、図５に示すようなアバター４００及びアバター４００の吹き出し４０１を含むウィンドウ５００が最大限のサイズで表示される。

ここで、アバター４００は、吹き出し３００のような「おはようございます。」等の挨拶を発音するように設定されている。挨拶は時間や曜日で異なるように設定されている。

ユーザ２００はドレッサーの前でメークを続けながら、ソファー上のＰＣ１００に対し、「シェリー、イタリアン食べに行きたいんだけど。」３０１と問いかける。すなわちユーザ２００は、両手がふさがった状態であっても音声による検索の要求を行うことができる（このとき別のコンテンツから突然話題をかえてもよい）。
この要求に対して、ＰＣ１００からアバター４００に対応した音声で「調べてみます。有楽町駅周辺のお店はこんな感じですよ。」３０２と応答すると共に、モニタ１００ａに検索結果を表示する（有楽町駅はユーザ２００の話の中に出現した場所であり、ＰＣ１００が記憶しているものとする。）。
検索結果がモニタ１００ａに表示されていることを確認するため、ユーザ２００はドレッサーからソファーまで歩いて移動し、モニタ１００ａを見ているものとする。
ユーザ２００はモニタ１００ａに表示された検索結果に対して「１番見せて」３０３とＰＣ１００に問いかける（続けて自由に条件を変更できる）。
ＰＣ１００は、ユーザ２００の問いかけに対し、「１番の『マッテロ銀座店の詳細です。』」と発音しながら、モニタ１００ａに結果を表示する。
この結果の表示に対して、ユーザ２００は「いいね！食事の予定を追加して。」３０６と言うと、ＰＣ１００は、ユーザ２００からの検索の内容がユーザ２００の外出を伴うと判断し、スケジュールに追記するものと判断し、「ご予定はいつにしましょうか？」３０５とユーザ２００に質問する。この後、ユーザ２００はＰＣ１００に予定を言うと、ＰＣ１００はスケジューラに予定を追加する。尚、レストランの情報は文脈上覚えていて、予定の詳細にレストランのＵＲＬ(Uniform Resource Locator等の情報が自動で追記される。
以上において、本実施形態によれば、対話検索に引き続きスケジューラへの追記が可能となる。

＜プログラム＞
以上で説明した本発明に係る情報装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。

例えば、
情報処理装置のコンピュータに、
入力された音声情報に予め定められたキーワードが含まれるか否かを判別する手順と、
音声情報から所定のテキスト情報を認識する手順と、
認識する手順により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行する手順と、
判別する手順により予め定められたキーワードが含まれると判別されたとき、コマンドを実行する手順を起動させる処理と、
を実行させるためのプログラムであって、
コンピュータが、
表示手段に、ナビゲータ画像を含むウィンドウと、検索結果と、を表示する手順と、
検索手段に、ユーザから音声による問いかけがあると、前記ナビゲータ画像に対応した音声で応答すると共に問いかけに関する検索を開始する手順と、
修正手段に、検索結果が得られると、修正指示がある場合にはユーザのスケジュールに修正を行う手順と、
を実行させるためのプログラムが挙げられる。
また、
入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理装置のコンピュータが、
記憶手段に、所定のコマンドおよび実行結果を記憶する手順と、
抽出手段に、スケジュールの追加コマンドに対応するテキスト情報が認識されると、前記記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出する手順と、
修正手段に、抽出された時間情報と場所情報とに基づいてスケジュールを追加する手順と、
を実行させるためのプログラムでもよい。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる情報処理装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えばＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＦｅＲＡＭ等の半導体メモリやＨＤＤが挙げられる。

ＣＤ−ＲＯＭは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk：ＦＤを意味する。ＦｅＲＡＭは、Ferroelectric RAMの略で、強誘電体メモリを意味する。

以上において、本発明によれば、入力された音声情報に予め定められたキーワードが含まれるか否かを判別する判別手段と、音声情報から所定のテキスト情報を認識する音声認識手段と、音声認識手段により認識された所定のテキスト情報に基づいて特定される所定のコマンドを実行するコマンド実行手段と、判別手段により予め定められたキーワードが含まれると判別されたとき、コマンド実行手段を起動させる起動手段と、を備え、ナビゲータ画像を含むウィンドウと、検索結果と、を表示する表示手段と、ユーザから音声による問いかけがあると、ナビゲータ画像に対応した音声で応答すると共に問いかけに関する検索を開始する検索手段と、検索結果が得られると、修正指示がある場合にはユーザのスケジュールに修正を行う修正手段と、を備えたことにより、対話検索に引き続きスケジューラに追記可能な情報処理方法、情報処理装置、及びプログラムの提供を実現できる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、本実施形態ではユーザから音声による検索の内容が外出を伴う場合で説明したが、本発明はこれに限定されるものではなく、ユーザへの来客を伴う場合であってもスケジュールに追記するように構成してもよい。さらに、ユーザから検索結果に対して、修正指示がある場合にもスケジュールに追記するように構成してもよい。

１００ パーソナルコンピュータ（ＰＣ、情報処理装置）
１００ａ モニタ
１０１ マイクロフォン
１０２、１０４ 増幅回路
１０３ スピーカ
１０５ 表示装置
１０６ キーボード
１０７ マウス
１０８ 光学読取装置
１０９ 制御手段
１０９ａ 入力制御手段
１０９ｂ 音声認識手段
１０９ｃ 音声解析手段
１０９ｄ 検索手段
１０９ｅ 音声合成手段
１０９ｆ 修正手段
１１０ ＨＤＤ
１１１ ネットワーク接続部
１１２ Ｉ／Ｏ
１１３ バスライン
２００ ユーザ
２０２ 音声信号解釈部
２０３ クライアント型音声認識部
２０４ クライアントアプリケーション部
２０９ テキスト読上部
２１０ クライアント型音声合成部
３００、３０１、３０２、３０３、３０４、３０５、４０１ 吹き出し
４００ アバター
５００ ウィンドウ

Claims (4)

1. 入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理方法であって、
   前記所定のコマンドおよび実行結果を記憶し、
   スケジュールの追加コマンドに対応するテキスト情報が認識されると、前記記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出し、
   前記抽出された時間情報と場所情報とに基づいてスケジュールを追加することを特徴とする情報処理方法。
2. 前記記憶された所定のコマンドおよび実行結果から時間情報または場所情報が抽出できないとき、抽出できない情報への回答を促す質問を発話し、
   その後入力された音声情報から認識されたテキスト情報に基づいて特定される前記抽出できなかった時間情報または場所情報を加えてスケジュールを追加することを特徴とする請求項１記載の情報処理方法。
3. 入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理装置であって、
   前記所定のコマンドおよび実行結果を記憶する記憶手段と、
   スケジュールの追加コマンドに対応するテキスト情報が認識されると、前記記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出する抽出手段と、
   前記抽出された時間情報と場所情報とに基づいてスケジュールを追加する修正手段と、
   を備えたことを特徴とする情報処理装置。
4. 入力された音声情報から認識されたテキスト情報に基づいて特定される所定のコマンドを実行する情報処理装置のコンピュータが、
   記憶手段に、前記所定のコマンドおよび実行結果を記憶する手順と、
   抽出手段に、スケジュールの追加コマンドに対応するテキスト情報が認識されると、前記記憶された所定のコマンドおよび実行結果から時間情報と場所情報とを抽出する手順と、
   修正手段に、前記抽出された時間情報と場所情報とに基づいてスケジュールを追加する手順と、
   を実行させるためのプログラム。

Images