JP2016009199A - 情報処理装置 - Google Patents

Abstract

【課題】１つのストアアプリケーションの邪魔をしない動きをし、他のアプリケーションを同時に操作することができる情報処理装置を提供する。
【解決手段】表示画面に表示され、テキスト情報に基づく情報が入力される第１のアプリケーションと、マイクに入力された音声のテキスト情報への変換を実行可能な状態であることを表示画面の第１の領域に表示する第１のモードと、入力された音声を変換したテキスト情報に基づいて行われた処理の結果を表示画面の第１の領域よりも大きい第２の領域に表示する第２のモードとを有し、マイクに入力された音声を変換したテキスト情報に基づく情報を出力する第２のアプリケーションと、を有する。第２のアプリケーションが第１のモードから第２のモードに遷移するときに、処理の結果に基づく更なる入力が要求される場合は、第２のアプリケーションの表示順序を最前面に変更する。
【選択図】図４

Description

本発明は、音声を入力して対話できる情報処理装置に関する。

従来から、１つのストアアプリケーションは全画面表示され、１つのストアアプリケーションだけしか画面に表示することができず、複数のアプリケーションを同時に動かす場合、１つのストアアプリケーション以外のアプリケーションは表示されず、裏で動いている状態である。

また、特許文献１には、キャラクタと会話することにより、機器の操作を容易に行うことができる対話型操作支援システムが開示されている。

特開２００２−４１２７６号公報

しかし、従来技術や特許文献１に開示されている技術は、ストアアプリケーションの他のアプリケーションを同時に表示画面に表示することはできず、ストアアプリケーションと同時に操作できなくて不便であるという問題があった。

本発明は、前記課題を解決するためのものであり、その目的とするところは、１つのストアアプリケーションの邪魔をしない動きをし、他のアプリケーションを同時に操作することができる情報処理装置を提供することにある。

かかる目的を達成するために、本発明は、以下の特徴を有する。

本発明に係る情報処理装置は、音声入力が可能なマイクを備え、該マイクに入力されたユーザの音声を変換したテキスト情報に基づいて処理を実行する情報処理装置であって、表示画面に表示され、前記テキスト情報に基づく情報が入力される第１のアプリケーションと、前記マイクに入力された音声のテキスト情報への変換を実行可能な状態であることを前記表示画面の第１の領域に表示する第１のモードと、前記入力された音声を変換したテキスト情報に基づいて行われた処理の結果を前記表示画面の前記第１の領域よりも大きい第２の領域に表示する第２のモードとを有し、前記マイクに入力された音声を変換したテキスト情報に基づく情報を出力する第２のアプリケーションと、を有し、前記第２のアプリケーションが前記第１のモードから前記第２のモードに遷移するときに、前記処理の結果に基づく更なる入力が要求される場合は、前記第２のアプリケーションの表示順序を最前面に変更することを特徴とする。

本発明によれば、１つのストアアプリケーションの邪魔をしない動きをし、他のアプリケーションを同時に操作することができる。

本実施形態における情報処理装置の構成を示す概略ブロック図である。 本実施形態における情報処理装置の主要部の構成を示す概略ブロック図である。 音声操作ソフトの設定項目を示す図である。 音声認識の表示画面を示す図である。

以下、本実施形態について図面により詳細に説明する。

まず、図１を用いて本実施形態における情報処理装置の構成について説明する。図１は、本実施形態における情報処理装置の構成を示す概略ブロック図である。図１を参照すると、本実施形態における情報処理装置１００は、電子情報端末、ＰＤＡ、ノート型ＰＣ、タブレット型ＰＣ等を具体例とする情報処理装置である。

図１において、本実施形態における情報処理装置（以下、パーソナルコンピュータ（ＰＣ）ともいう。）１００は、マイク１０１と、音声認識部１０２と、ＲＯＭ（Read Only Memory）１０３と、ＲＡＭ（Random Access Memory）１０４と、スピーカ１０５、音声合成部１０６と、ＣＰＵ（Central Processing Unit）１０７と、表示部１０８と、入力部１０９と、電源部１１０と、ネットワーク接続部１１１と、ＨＤＤ（Hard Disk Drive）１１２と、から構成される。

マイク１０１は、ユーザの音声を音声データ（電気信号）に変換するものである。音声認識部１０２は、マイク１０１によって音声データに変換されたユーザの音声を認識するものである。ＲＯＭ１０３は、ＰＣ１００全体の動作を制御するプログラムを格納するものである。ＲＡＭ１０４は、ＲＯＭ１０３に格納されたプログラムが展開される記憶領域である。スピーカ１０５は、後述するＰＣ１００のコンシェルジュが出力する音声データを音声に変換するものである。音声合成部１０６は、ＰＣ１００のコンシェルジュが出力する音声データを、所望の音声に変換されるよう合成するものである。ＣＰＵ１０７は、ＰＣ１００全体の動作を制御するものであり、ＲＯＭ１０３に格納された制御プログラムをロードし、ＰＣ１００の動作によって得られた様々なデータをＲＡＭ１０４に展開するものである。

表示部１０８は、ＬＣＤ（Liquid Crystal Display）等で構成される表示画面であり、ＰＣ１００によって実行されたアプリケーションの結果や図示しないＴＶチューナによって受信されたテレビ番組を表示するものであり、ＰＣ１００の出力装置を構成している。入力部１０９は、キーボード、マウス、タッチパネル等、ユーザがＰＣ１００に対して指示を与えるものであり、ＰＣ１００の入力装置である。電源部１１０は、ＰＣ１００に対してＡＣ（Alternative Current：交流）又はＤＣ（Direct Current：直流）電源を与えるものである。

ネットワーク接続部１１１は、インターネットに代表される図示しないネットワーク網に接続され、ネットワーク網とのインタフェースを図るものである。ＨＤＤ１１２は、ＰＣ１００のアプリケーションソフトウェアを格納したり、図示しないＴＶチューナによって受信されたテレビ番組等のコンテンツを録画したりするものである。

なお、表示部１０８と入力部１０９は、ＬＣＤとタッチパネルとが一体となったタッチパネルディスプレイであっても良い。この場合、キーボードやマウスといった入力装置に代えて、指や図示しないスタイラスペンをタッチパネルディスプレイに接触させて直接文字を書く動作等を行ってデータ入力やコマンド入力といった操作を行うことができる。

次に、図２を参照して、本実施形態における情報処理装置の主要部の構成について説明する。図２は、本実施形態における情報処理装置の主要部の構成を示す概略ブロック図である。

図２において、本発明の実施形態におけるＰＣ１００は、マイク２０１から入力されたユーザの音声が音声データ（電気信号）に変換されて、当該音声データが音声信号解釈部２０２によって解釈され、その結果がクライアント型音声認識部２０３において認識される。クライアント型音声認識部２０３は、認識した音声データをクライアントアプリケーション部２０４に渡す。

クライアントアプリケーション部２０４は、ユーザからの問い合わせに対する回答が、オフライン状態にあるローカルコンテンツ部２０８に格納されているか否かを確認し、ローカルコンテンツ部２０８に格納されている場合は、当該ユーザからの問い合わせに対する回答を、後述するテキスト読上部２０９、クライアント型音声合成部２１０を経由して、スピーカ２１１から音声出力する。

ユーザからの問い合わせに対する回答が、ローカルコンテンツ部２０８に格納されていない場合は、ＰＣ１００単独で回答を持ち合わせていないことになるので、インターネット等のネットワーク網２０７に接続されるネットワーク接続部２０６を介して、インターネット上の検索エンジン等を用いてユーザからの問い合わせに対する回答を検索し、得られた検索結果を、テキスト読上部２０９、クライアント型音声合成部２１０を経由して、スピーカ２１１から音声出力する。

クライアントアプリケーション部２０４は、ローカルコンテンツ部２０８、又はネットワーク網２０７から得られた回答をテキスト（文字）データに変換し、テキスト読上部２０９に渡す。テキスト読上部２０９は、テキストデータを読み上げ、クライアント型音声合成部２１０に渡す。クライアント型音声合成部２１０は、音声データを人間が認識可能な音声データに合成しスピーカ２１１に渡す。スピーカ２１１は、音声データ（電気信号）を音声に変換する。また、スピーカ２１１から音声を発するのに合わせて、ディスプレイ部に当該音声に関連する詳細な情報を表示する。

次に、音声対話システムについて説明する。音声対話システムは、スタート画面やランチャーソフトへのユーザの所定の操作により、または、事前設定に応じて自動で、起動される。音声対話システムが起動すると、事前設定に応じて、音声入力が可能なことを示すウィンドウ、および／または、音声入力を可能にするために操作されるタスクトレイアイコンが表示される。音声対話システムは、入力された音声に対する処理結果が得られると、ウィンドウを拡大して処理結果を表示する。
各アプリとの連携、音声のテキスト化、等の“音声検索”以外の機能については、後述するタスクトレイやバーメニューから、設定可能なようにメニューを設ける。

図３は、音声操作ソフトの設定項目を示す図である。音声対話システムは、初回起動時のみ簡単な使い方を説明するウィザードが起動される。音声操作ソフトでは、音声で対話しながら検索やＰＣの操作ができる。

音声操作ソフトでは、マイクの調整が可能である。マイクが使用できない場合は、別途コンシェルジュの対話を表示する。コンシェルジュは「マイクが使用できません。他のマイクを使用するアプリケーションが立ち上がっている場合は、終了させて下さい。」と発言する。

ユーザは再試行か無視して次に進んでもよい。「ライ」と呼びかけてみて下さいという表示に対して、呼びかけが成功するか、次へをクリックまたはタップすると次の画面が表示される。

呼びかけるとタスクトレイが表示され、指示を喋ることができる。使い方を呼び出し、いろいろな指示を音声で入力することができる。次回から起動時に常駐させるか否か選択でき、常駐すると呼びかけでいつでも使用できる。

音声認識の動作について説明する。図４は、音声認識の表示画面を示す図である。音声認識の表示画面では、各カテゴリへ移行するボタン３０６を配置する。音声入力以外に、検索したい内容をテキスト入力ボックス３０１に直接キーボード入力し、検索を開始することも可能である。

タスクトレイ３０２は、起動直後に最小化されていて、呼びかけ、タップやキーボード入力等で標準の大きさになる。コンシェルジュ３０５が会話ボックス３０３で案内をし、ユーザは検索のキーワードや質問等を入力する。

マイクが使用できず、かつ、マイクのオプションが「マイクＯＦＦ」以外の場合、起動時はコンシェルジュ３０５の対話が表示される。
会話ボックス３０３には、例えば、「おはようございます。いかがいたしましょうか？お手伝いできることがあれば言って下さいね。」というコンシェルジュ３０５の発言が表記される。

音声入力ボタン３０４の色により、音声入力の可否が判断可能である。既定により緑色の音声入力ボタン３０４は、呼びかけとタップで音声入力できる。また、オレンジ色の音声入力ボタンは、タップで音声入力できる。

マイクが使用できない場合、または、マイクのオプションが「マイクＯＦＦ」の場合、コンシェルジュ３０５は「マイクが使用できません。他のマイクを使用するアプリケーションが立ち上がっている場合は、終了させて下さい。」と発言する。この後、マイクが使用できるまで、音声入力ボタン３０４はグレー色の表示とする。

タスクトレイ３０２が最小化されている場合、コンシェルジュ３０５の下にテキスト入力ボックス３０１や音声入力ボタン３０４がある。タスクトレイ３０２が標準の大きさになるとレストランや天気予報等の各カテゴリに直接移行するボタン３０６が表示される。

タブレットやスマートフォン等の情報処理装置１００では、１つのストアアプリケーションは表示画面の全面に表示される。他のアプリケーションは、表示画面の全面に表示される場合、ストアアプリケーションと同時に表示することができない。

そこで、会話中の場合は音声対話システムのタスクトレイ３０２を表示させず、バックグラウンドで作動させる。検索により検索結果を最前面に表示し、更なる入力が要求される場合、音声対話システムのタスクトレイ３０２が表示される。
ＴＥＸＴ入力時など、会話不要の場合は、タスクトレイ３０２を表示させる。結果として、トップアプリケーションに、コマンド等が送信される。

情報処理装置１００は、音声入力が可能なマイク１０１に入力されたユーザの音声を変換したテキスト情報に基づいて処理を実行する。情報処理装置１００は、表示画面に表示されるストアプリケーションと、他のアプリケーションと、を有している。

他のアプリケーションは、マイク１０１に入力された音声のテキスト情報への変換を実行可能な状態であることを表示画面の第１の領域に表示する第１のモード（最小化）と、入力された音声を変換したテキスト情報に基づいて行われた処理の結果を表示画面の第１の領域よりも大きい第２の領域に表示する第２のモード（標準の大きさ）とを有する。

他のアプリケーションが第１のモードから第２のモードに遷移するときに、処理の結果に基づく更なる入力が要求される場合、情報処理装置１００は他のアプリケーションの表示順序を最前面に変更する。

また、情報処理装置１００は複数の表示画面を切り替えて表示可能であり、表示されている一の表示画面の全体をストアアプリケーションが占有し、表示されていない他の表示画面の少なくとも一部を占有する。第１のモードから第２のモードに遷移した他のアプリケーションへの更なる入力が要求される場合に、他のアプリケーションの表示順序を最前面に変更するとともに、表示する画面を一の表示画面から他の表示画面に変更する。

他のアプリケーションは、表示順序が最前面でないときにも音声入力を受けてテキスト情報に変換し、変換したテキスト情報に基づく処理を実行する。他のアプリケーションにより出力されるテキスト情報に基づく情報は、他のアプリケーション以外のアプリケーションのうち表示順序が最も高いものに入力される。

例えば、ユーザがコンシェルジュと会話中にレストランを検索する場合、他のアプリケーションはバックグラウンドで動いて検索を行う。条件を満たすレストランを探し、ジャンル、料金等の絞り込みを音声対話システムでガイドする。

他に、エリア情報は、指定された場所および「ここ」のイベントを探し、ジャンル、距離等の絞り込みを対話システムでガイドする。また、天気予報は、指定された場所の天気予報を表示する。また、乗換案内は、乗換案内を検索し、出発場所、終了場所等、不足個所があれば、対話システムでガイドする。

情報処理装置１００が検索中にユーザは会話を進めることができ、検索結果が見つかり更なる入力が要求される場合、検索結果が最前面に出て表示される。会話を中断することなく、検索を継続することができ、検索終了後に検索結果を素早く表示できる。
したがって、音声対話システムのアプリケーションは、ストアアプリケーションに極力邪魔しない動きを行うことができる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１００ 情報処理装置（ＰＣ）
１０１、２０１ マイク
１０２ 音声認識部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５、２１１ スピーカ
１０６ 音声合成部
１０７ ＣＰＵ
１０８ 表示部
１０９ 入力部
１１０ 電源部
１１１ ネットワーク接続部
１１２ ＨＤＤ
２０２ 音声信号解釈部
２０３ クライアント型音声認識部
２０４ クライアントアプリケーション部
２０５ ディスプレイ部
２０６ ネットワーク接続部
２０７ ネットワーク網
２０８ ローカルコンテンツ部
２０９ テキスト読上部
２１０ クライアント型音声合成部
３０１ テキスト入力ボックス
３０２ タスクトレイ
３０３ 会話ボックス
３０４ 音声入力ボタン
３０５ コンシェルジュ
３０６ ボタン

Claims (5)

1. 音声入力が可能なマイクを備え、該マイクに入力されたユーザの音声を変換したテキスト情報に基づいて処理を実行する情報処理装置であって、
   表示画面に表示され、前記テキスト情報に基づく情報が入力される第１のアプリケーションと、
   前記マイクに入力された音声のテキスト情報への変換を実行可能な状態であることを前記表示画面の第１の領域に表示する第１のモードと、前記入力された音声を変換したテキスト情報に基づいて行われた処理の結果を前記表示画面の前記第１の領域よりも大きい第２の領域に表示する第２のモードとを有し、前記マイクに入力された音声を変換したテキスト情報に基づく情報を出力する第２のアプリケーションと、を有し、
   前記第２のアプリケーションが前記第１のモードから前記第２のモードに遷移するときに、前記処理の結果に基づく更なる入力が要求される場合は、前記第２のアプリケーションの表示順序を最前面に変更することを特徴とする情報処理装置。
2. 前記第２のアプリケーションは、表示順序が最前面でないときにも音声入力を受けてテキスト情報に変換し、該変換したテキスト情報に基づく処理を実行することを特徴とする請求項１記載の情報処理装置。
3. 前記第２のアプリケーションにより出力されるテキスト情報に基づく情報は、第２のアプリケーション以外のアプリケーションのうち表示順序が最も高いものに入力されることを特徴とする請求項１または２記載の情報処理装置。
4. 複数の表示画面を切り替えて表示可能な情報処理装置であって、表示されている一の表示画面の全体を前記第１のアプリケーションが占有し、表示されていない他の表示画面の少なくとも一部を占有し、かつ、第１のモードから第２のモードに遷移した前記第２のアプリケーションへの更なる入力が要求される場合に、前記第２のアプリケーションの表示順序を最前面に変更するとともに、表示する画面を前記一の表示画面から前記他の表示画面に変更することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記第１のアプリケーションは、ストアアプリケーションであり、
   前記第２のアプリケーションは音声対話システムであることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。

Images