JP2011086193A - 情報処理装置、処理方法、ならびに、プログラム - Google Patents

Abstract

【課題】ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置等を提供する
【解決手段】情報処理装置２００は、再生部２０１と、表示部２０２と、受付部２０３と、推定部２０４と、を備え、以下のように構成される。再生部２０１は、ユーザに指示入力を求める旨の要求音声を再生する。表示部２０２は、音声が再生された後に、ユーザに指示入力を求める旨の要求メッセージを表示する。受付部２０３は、ユーザからの指示入力を受け付ける。推定部２０４は、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示された後に指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。
【選択図】図３

Description

ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するプログラムに関する。

従来から、対話型シュミレーションゲームにおいて、キャラクタとの会話に臨場感を与えるための様々な工夫がなされている。例えば、特許文献１では、キャラクタとの会話において、キャラクタが発する台詞を画面に文字で表示すると共に、音声で出力する技術が開示されている。

特許第３１２５００６号公報

ゲームの内容によっては、プレイヤが音声で台詞を聞いている場合には、文字の表示を停止した方が臨場感が増すことがある。したがって、プレイヤが音声を聴取しているか否かを簡易に判定したいという要望がある。

本発明は、上記のような課題を解決するもので、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。

本発明の第１の観点に係る情報処理装置は、再生部と、表示部と、受付部と、推定部とを備え、以下のように構成する。

再生部は、ユーザに指示入力を求める旨の要求音声を再生する。

例えば、「ボタンを押して下さい。」という、ユーザに何らかの指示入力を求める音声が再生される。

表示部は、要求音声が再生された後に、ユーザに指示入力を求める旨の要求メッセージを表示する。

例えば、上記音声が再生された後に、画面に「ボタンを押して下さい。」というメッセージが表示される。

受付部は、ユーザからの指示入力を受け付ける。

例えば、受付部は、ユーザによるボタンの押圧を指示入力として受け付ける。

推定部は、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示された後に指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。

例えば、「ボタンを押して下さい。」という音声が再生された後で、かつ「ボタンを押して下さい。」というメッセージが画面に表示される前に、ユーザがいずれかのボタンを押圧した場合、ユーザは音声を聴取していると推定される。一方、「ボタンを押して下さい。」という音声が再生され、「ボタンを押して下さい。」という文字が画面に表示された後に、ユーザがボタンを押圧した場合、ユーザは音声を聴取していないと推定される。

本発明によれば、ユーザが音声出力を聴取できているか否かを推定することができる。

本発明の第２の観点に係る処理装置は、再生部と、表示部と、受付部と、推定部とを備え、以下のように構成する。

再生部は、ユーザに第１の種類の指示入力を求める旨の要求音声を再生する。

例えば、「Ａボタンを押して下さい。」というような、ユーザに所定の指示入力を求める音声が再生される。

表示部は、音声が再生された後に、ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する。

例えば、上記音声が再生された後に、上記要求音声と異なる指示入力を求める旨のメッセージ「Ｂボタンを押して下さい。」が、画面に表示される。

受付部は、ユーザからの指示入力を受け付ける。

例えば、受付部は、ユーザによる“Ａボタン”や“Ｂボタン”の押圧を指示入力として受け付ける。

推定部は、要求メッセージが表示される前に第１の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示される前に第１の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。

例えば、ユーザが、「Ｂボタンを押して下さい。」というメッセージが画面に表示される前に、「Ａボタンを押して下さい。」という音声に従い“Ａボタン”を押圧し、かつ「Ｂボタンを押して下さい。」というメッセージが画面に表示された後に、ユーザが“Ｂボタン”を押圧した場合、ユーザは音声を聴取していると推定される。一方、ユーザが、「Ｂボタンを押して下さい。」というメッセージが画面に表示される前に、「Ａボタンを押して下さい。」という音声に従って“Ａボタン”を押圧せず、かつ「Ｂボタンを押して下さい。」というメッセージが画面に表示された後に、ユーザが“Ｂボタン”を押圧した場合、ユーザは音声を聴取していないと推定される。これにより、画面にメッセージが表示される前に誤って指示入力をしたことにより、ユーザが音声を聴取していると推定されることを防ぐことができる。

本発明によれば、音声と画面のメッセージとにおいて、異なる要求をすることによって、より一層正確にユーザが音声出力を聴取できているか否かを推定することができる。

また、情報処理装置は、ユーザに提示すべき情報を取得する取得部をさらに備え、ユーザは音声を聴取していると推定された場合、再生部は取得された情報に対応付けられる情報音声を再生し、ユーザは音声を聴取していないと推定された場合、表示部は取得された情報に対応付けられる情報メッセージを表示してもよい。

例えば、英語学習ゲームにおいて、取得部は、ユーザに提示する英語の問題文をデータベース等から取得し、ユーザが音声を聴取していると推定部により推定された場合は、問題文を音声で再生し、ユーザが音声を聴取していないと推定部により推定された場合は、問題文を文字で画面に表示する。

本発明によれば、ユーザが聴取可能か否かに応じて、提示するコンテンツを選択することができる。

本発明の第３の観点に係る処理方法は、再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、再生工程と、表示工程と、受付工程と、推定工程とを備え、以下のように構成される。

再生工程において、再生部が、ユーザに指示入力を求める旨の要求音声を再生する。

表示工程において、表示部が、要求音声が再生された後に、ユーザに指示入力を求める旨の要求メッセージを表示する。

受付工程において、受付部が、ユーザからの指示入力を受け付ける。

推定工程において、推定部が、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示された後に指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。

本発明の第４の観点に係る処理方法は、再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、再生工程と、表示工程と、受付工程と、推定工程とを備え、以下のように構成される。

再生工程において、再生部が、ユーザに第１の種類の指示入力を求める旨の要求音声を再生する。

表示工程において、表示部が、要求音声が再生された後に、ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する。

受付工程において、受付部が、ユーザからの指示入力を受け付ける。

推定工程において、推定部が、要求メッセージが表示される前に第１の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定し、要求メッセージが表示される前に第１の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していないと推定する。

本発明のその他の観点に係るプログラムは、コンピュータを上記情報処理装置として機能させ、コンピュータに上記処理方法を実行させるように構成される。

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。

本発明によれば、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するためのプログラムを提供することができる。

本発明の実施の形態に係る情報処理装置が実現される典型的な携帯型情報処理装置の概要構成を示す模式図である。 本発明の処理方法が実現される携帯型情報処理装置の外観を示す図である。 第１の実施形態に係る情報処理装置の機能構成を示す説明図である。 第１の実施形態に係る情報処理装置が再生する要求音声の例を示す図である。 第１の実施形態に係る情報処理装置が表示する要求メッセージの例を示す図である。 第１の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。 情報音声を再生するモードを説明するためのフローチャートである。 第１の実施形態に係る情報処理装置が再生する情報音声の例を示す図である。 情報メッセージを表示するモードを説明するためのフローチャートである。 第１の実施形態に係る情報処理装置が表示する情報メッセージの例を示す図である。 第２の実施形態に係る情報処理装置が再生する要求音声の例を示す図である。 第２の実施形態に係る情報処理装置が表示する要求メッセージの例を示す図である。 第２の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。 第２の実施形態に係る情報処理装置の各部が行う処理を説明するためのフローチャートである。

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の携帯型情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であれば、これらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（実施形態１）
図１は、本発明の実施形態に係る情報処理装置が実現される携帯型情報処理装置１の概要構成を示す模式図である。また、図２は本発明の実施形態に係る携帯型情報処理装置１の外観図を示す。以下、これらの図を参照して説明する。

携帯型情報処理装置１は、処理制御部１０と、コネクタ１１と、カートリッジ１２と、無線通信部１３と、通信コントローラ１４と、サウンドアンプ１５と、スピーカ１６と、マイク１７と、操作キー１８と、第１の表示部１９と、第２の表示部２０と、タッチパネル２１と、を備える。

処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＶＲＡＭ（Video Random Access Memory）１０ｃと、ＷＲＡＭ（Work RAM）１０ｄと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｅと、タッチパネルコントローラ１０ｆと、を備える。

ＣＰＵコア１０ａは、携帯型情報処理装置１全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。

画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータやＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ １０ｃに格納する。

ＶＲＡＭ １０ｃは、表示用の情報を記憶するフレームメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
ＷＲＡＭ １０ｄは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。

ＬＣＤコントローラ１０ｅは、第１の表示部１９および第２の表示部２０を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｅは、ＶＲＡＭ １０ｃに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第１の表示部１９に出力する。また、ＬＣＤコントローラ１０ｅは、第２の表示部２０に所定の指示アイコン等を表示する。

タッチパネルコントローラ１０ｆは、タッチペン２４やユーザの指によるタッチパネル２１への接触（タッチ）を検出する。例えば、第２の表示部２０に所定の指示アイコン等が表示されている状態で、タッチパネル２１上の接触およびその位置等を検出する。

コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。

カートリッジ１２は、ＲＯＭ １２ａと、ＲＡＭ（Random Access Memory）１２ｂと、を備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムおよびゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。

無線通信部１３は、他の携帯型情報処理装置１の無線通信部１３との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。
なお、無線通信部１３は、所定のアクセスポイントとの間で、無線ＬＡＮ通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。

通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他の携帯型情報処理装置１の処理制御部１０との間で行われる通信の仲立ちをする。

サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。

スピーカ１６は、例えば、ステレオスピーカ等からなり、サウンドアンプ１５にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。

マイク１７は、ユーザの声等のアナログ信号を受け付け、受け付けられた信号は、処理制御部１０でミキシング等の処理がなされる。

操作キー１８は、携帯型情報処理装置１に適宜配置されたボタン、例えば図２に示すような、Ａボタン２２、Ｂボタン２３、方向キー２５等から構成され、ユーザの操作に従って、所定の指示入力を受け付ける。操作キー１８には、音量を調節するためのボタンや、つまみ等も含まれる。

第１の表示部１９および、第２の表示部２０は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｅに制御され、ゲーム画像等を適宜表示する。
なお、第２の表示部２０は、タッチパネル２１の接触によりユーザから操作指示を入力させるための指示アイコン等を表示する。

タッチパネル２１は、第２の表示部２０の前面に重畳して配置され、タッチペンやユーザの指の接触による入力を受け付ける。
タッチパネル２１は、例えば、感圧式のタッチセンサパネル等からなり、ユーザの指等の圧力を検出し、接触状態および接触状態から非接触状態への移行等を検出する。なお、タッチパネル２１は、他に静電容量の変化等から、ユーザの指等の接触を検出してもよい。

図３は、本実施形態に係る情報処理装置の機能構成を示す図である。以下、本図を参照して説明する。
本実施形態に係る情報処理装置２００は、再生部２０１と、表示部２０２と、受付部２０３と、推定部２０４と、取得部２０５と、から構成される。

再生部２０１は、ユーザに指示入力を求める旨の音声（要求音声）を再生する。例えば、図４に示すように、「ボタンを押して下さい。」といった、ユーザに何らかの操作入力を求める音声３０１を再生する。
したがって、ＣＰＵコア１０ａ、サウンドアンプ１５、及びスピーカ１６が協働して、再生部２０１として機能する。

表示部２０２は、再生部２０１が要求音声を再生した後、ユーザに指示入力を求める旨のメッセージ（要求メッセージ）を表示する。例えば、図５に示すように、「ボタンを押してください。」といった、ユーザに何らかの操作入力を求めるメッセージを第１の表示部１９等に表示する。
したがって、ＣＰＵコア１０ａ、ＶＲＡＭ １０ｃ、ＬＣＤコントローラ１０ｅ、第１の表示部１９、及び第２の表示部２０が協働して、表示部２０２として機能する。

受付部２０３は、ユーザからの指示入力を受け付ける。例えば、ユーザによるＡボタン２２等の押圧操作や、タッチパネル２１への接触を受け付ける。
したがって、ＣＰＵコア１０ａ、操作キー１８、タッチパネルコントローラ１０ｆ、及びタッチパネル２１が協働して、受付部２０３として機能する。

推定部２０４は、要求メッセージが表示される前に指示入力が受け付けられた場合、ユーザは音声を聴取していると推定する。一方、要求メッセージが表示された後に指示入力が受け付けられた場合、推定部２０４は、ユーザは音声を聴取していないと推定する。
したがって、ＣＰＵコア１０ａが推定部２０４として機能する。

取得部２０５は、ユーザに提示すべき情報を取得する。そして、ユーザが音声を聴取していると推定部２０４により推定された場合、再生部２０１は取得部２０５が取得した情報に対応付けられる音声（情報音声）を再生する。一方、ユーザが音声を聴取していないと推定部２０４により推定された場合は、表示部２０２は、取得部２０５が取得した情報に対応付けられるメッセージ（情報メッセージ）を表示する。例えば、取得部２０５は、コネクタ１１に接続されたカートリッジ１２のＲＯＭ １２ａから、ユーザに提示する情報を取得し、取得した情報をＷＲＡＭ １０ｄに一時保存する。推定部２０４により、ユーザの聴取状況が推定されると、再生部２０１又は表示部２０２は、ＷＲＡＭ １０ｄに保存された情報に対応付けられる音声やメッセージを再生又は表示する。
したがって、ＣＰＵコア１０ａ及びＷＲＡＭ １０ｄが協働して、取得部２０５として機能する。

以下、情報処理装置２００の各部が行う動作について説明する。情報処理装置２００に電源が投入され、ユーザによってプログラムが開始されると、ＣＰＵコア１０ａは、図６のフローチャートに示す処理を開始する。以下、ユーザによって開始されるプログラムは音声や文字で提示された内容に対して会話を行う英語学習ゲームとする。

まず、再生部２０１は、ユーザに指示入力を求める要求音声を再生する（ステップＳ６０１）。そして、ＣＰＵコア１０ａは、受付部２０３が指示入力を受け付けたか否かを判断する（ステップＳ６０２）。例えば、再生部２０１は、図４に示すように、“ボタンを押して下さい。”という要求音声３０１を再生し（ステップＳ６０１）、ユーザが要求音声３０１を聴取していずれかのボタンを押圧する（受付部２０３が押圧操作を受け付ける）と、ＣＰＵコア１０ａは、受付部２０３が指示入力を受け付けたと判断する（ステップＳ６０２；Ｙｅｓ）。一方、ユーザがボタンを押圧しなかった場合、指示入力を受け付けなかったと判断する（ステップＳ６０２；Ｎｏ）。なお、ＣＰＵコア１０ａは、再生部２０１による要求音声の再生から所定の時間が経過した場合には、ユーザにより指示入力がされたとしても指示入力を受け付けなかったと判断するようにしてもよい。

ＣＰＵコア１０ａが指示入力を受け付けたと判断すると（ステップＳ６０２；Ｙｅｓ）、推定部２０４は、ユーザが音声を聴取していると推定する（ステップＳ６０３）。そして、推定部２０４によりユーザが音声を聴取していると推定されると、ＣＰＵコア１０ａは、取得部２０５により取得された情報を当該情報に対応する情報音声で再生するモードを選択し、再生処理を開始する（ステップＳ６０４、図７）。

ステップＳ６０４においては、例えば、以下のような処理が行われる。
まず、取得部２０５は、ユーザに提示する情報を取得する（ステップＳ７０１）。例えば、取得部２０５は、カートリッジ１２のＲＯＭ １２ａからユーザに提示する問題文等（例えば、「次の文に答えて下さい。“Ｈｏｗ ａｒｅ ｙｏｕ？”」）を取得する（ステップＳ７０１）。再生部２０１は、取得部２０５により取得された情報に対応する情報音声をカートリッジ１２のＲＯＭ １２ａから読み込み、又は、取得された情報に基づいて情報音声を音声合成により作成し、当該情報音声を再生する（ステップＳ７０２）。例えば、再生部２０１は、「次の文に答えて下さい。“Ｈｏｗ ａｒｅ ｙｏｕ？”」に対応する音声３０３（図８）を再生する。これに対して、図８に示すように、ユーザはタッチパネル２１にタッチペン２４で答えを入力し、受付部２０３は当該入力を受け付ける（ステップＳ７０３）。
上記情報音声で再生するモードにおける処理は、ユーザによりゲーム終了の指示等を情報処理装置２００が受け付けるまで繰り返される。

一方、ＣＰＵコア１０ａが指示入力を受け付けなかったと判断すると（ステップＳ６０２；Ｎｏ）、表示部２０２は、ユーザに指示入力を求める要求メッセージを表示する（ステップＳ６０５）。そして、ＣＰＵコア１０ａは、要求メッセージが表示された後に、受付部２０３が指示入力を受け付けたか否かを判断する（ステップＳ６０６）。例えば、表示部２０２は、図５のように“ボタンを押して下さい。”という要求メッセージ３０２を表示し（ステップＳ６０５）、ユーザが要求メッセージ３０２を読み、いずれかのボタンを押圧する（受付部２０３が押圧操作を受け付ける）と、ＣＰＵコア１０ａは、指示入力を受け付けたと判断する（ステップＳ６０６；Ｙｅｓ）。一方、ユーザがボタンを押圧しなかった場合、指示入力を受け付けなかった判断する（ステップＳ６０６；Ｎｏ）。

ＣＰＵコア１０ａが指示入力を受け付けたと判断すると（ステップＳ６０６；Ｙｅｓ）推定部２０４は、ユーザは音声を聴取していないと推定する（ステップＳ６０７）。推定部２０４によりユーザが音声を聴取していないと推定されると、ＣＰＵコア１０ａは、取得部２０５により取得された情報を当該情報に対応する情報メッセージで表示するモードを選択し、表示処理を開始する（ステップＳ６０８、図９）。

ステップＳ６０８においては、例えば、以下のような処理が行われる。
まず、取得部２０５は、ユーザに提示する情報を取得する（ステップＳ９０１）。例えば、取得部２０５は、カートリッジ１２のＲＯＭ １２ａからユーザに提示する問題文等（例えば、「次の文に答えて下さい。“Ｈｏｗ ａｒｅ ｙｏｕ？”」）を取得する（ステップＳ９０１）。表示部２０２は、当該情報に対応する情報メッセージを表示する（ステップＳ９０２）。例えば、表示部２０２は、図１０に示すように、「次の文に答えて下さい。“Ｈｏｗ ａｒｅ ｙｏｕ？”」というメッセージ３０４を第２の表示部２０に表示する（ステップＳ９０２）。これに対して、図１０に示すように、ユーザはタッチパネルにタッチペン２４で答えを入力し、受付部２０３は当該入力を受け付ける（ステップＳ９０３）。
上記情報メッセージで表示するモードにおける処理は、ユーザによりゲーム終了の指示等を情報処理装置２００が受け付けるまで繰り返される。

一方、ＣＰＵコア１０ａが指示入力を受け付けなかったと判断した場合（ステップＳ６０６；Ｎｏ）、ステップＳ６０１に戻る。

本実施形態によれば、ユーザが音声出力を聴取できているか否かを推定することができる。また、ユーザが聴取可能か否かに応じて、提示するコンテンツを選択することができる。

（実施形態２）
本実施形態の情報処理装置は、要求音声と要求メッセージとでユーザに異なる指示入力を求める。
本実施形態の情報処理装置は、実施形態１と同様に上記携帯型情報処理装置１において実現される。また、本実施形態の情報処理装置は実施形態１と同様の構成を有するが、再生部２０１、表示部２０２、推定部２０４において異なる機能を有する。

再生部２０１は、ユーザに第１の種類の指示入力を求める旨の要求音声を再生する。例えば、図１１に示すように、「Ａボタンを押して下さい。」といった、ユーザに所定の操作入力を求める音声３０５を再生する。
したがって、ＣＰＵコア１０ａ、サウンドアンプ１５及びスピーカ１６が協働して、再生部２０１として機能する。

表示部２０２は、再生部２０１が要求音声を再生した後、ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する。例えば、図１２に示すように、「Ｂボタンを押してください。」といった、要求音声と異なる操作入力を求めるメッセージ３０６を第１の表示部１９等に表示する。
したがって、ＣＰＵコア１０ａ、ＶＲＡＭ １０ｃ、ＬＣＤコントローラ１０ｅ、第１の表示部１９、及び第２の表示部２０が協働して、表示部２０２として機能する。

推定部２０４は、要求メッセージが表示される前に第１の種類の指示入力が受け付けられ、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、ユーザは音声を聴取していると推定する。一方、要求メッセージが表示される前に第１の種類の指示入力が受け付けられず、かつ、要求メッセージが表示された後に第２の種類の指示入力が受け付けられた場合、推定部２０４はユーザは音声を聴取していないと推定する。
したがって、ＣＰＵコア１０ａは推定部２０４として機能する。

以下、情報処理装置２００の各部が行う動作について説明する。情報処理装置２００に電源が投入され、ユーザによってプログラムが開始されると、ＣＰＵコア１０ａは、図１３のフローチャートに示す処理を開始する。以下、ユーザによって開始されるプログラムは、実施形態１と同様に、英語学習ゲームとする。

再生部２０１は、ユーザに第１の種類の指示入力を求める要求音声を再生する（ステップＳ１３０１）。そして、ＣＰＵコア１０ａは、受付部２０３が第１の種類の指示入力を受け付けたか否かを判断し、判断結果をＷＲＡＭ １０ｄ等に記憶する（ステップＳ１３０２）。例えば、再生部２０１は、図１１に示すように、“Ａボタンを押して下さい。”という要求音声３０５を再生し（ステップＳ１３０１）、ユーザが要求音声３０５を聴取してＡボタンを押圧する（受付部２０３が押圧操作を受け付ける）と、ＣＰＵコア１０ａは、第１の種類の指示入力を受け付けたと判断し、“第１の種類の指示入力有り”という判断結果をＷＲＡＭ １０ｄに記憶する（ステップＳ１３０２）。一方、ユーザがＡボタンを押圧しなかった場合、ＣＰＵコア１０ａは、第１の種類の指示入力を受け付けなかったと判断し、“第１の種類の指示入力無し”という判断結果をＷＲＡＭ １０ｄに記憶する（ステップＳ１３０２）。

ＣＰＵコア１０ａが、受付部２０３が第１の種類の指示入力を受け付けたか否かを判断した後、表示部２０２は、ユーザに第２の種類の指示入力を求める要求メッセージを表示する（ステップＳ１３０３）。そして、ＣＰＵコア１０ａは、受付部２０３が第２の種類の指示入力を受け付けたか否かを判断し、判断結果をＷＲＡＭ １０ｄ等に記憶する（ステップＳ１３０４）。例えば、表示部２０２は、図１２に示すように、“Ｂボタンを押して下さい。”という要求メッセージ３０６を表示し（ステップＳ１３０３）、ユーザが要求メッセージ３０６を読み、Ｂボタンを押圧する（受付部２０３が押圧操作を受け付ける）と、ＣＰＵコア１０ａは、第２の種類の指示入力を受け付けたと判断し、“第２の種類の指示入力有り”という判断結果をＷＲＡＭ １０ｄに記憶する（ステップＳ１３０４）。一方、ユーザがＢボタンを押圧しなかった場合、ＣＰＵコア１０ａは、第２の種類の指示入力を受け付けなかった判断し、第２の種類の指示入力無し”という判断結果をＷＲＡＭ １０ｄに記憶する（ステップＳ１３０４）。

そして、ＣＰＵコア１０ａは、ＷＲＡＭ １０ｄに記憶された判断結果から、どの指示入力が受け付けたかを判断する（ステップＳ１３０５）。ＣＰＵコア１０ａが第１の種類の指示入力及び第２の種類の指示入力を受け付けたと判断した場合（ステップＳ１３０５；第１及び第２の種類）、推定部２０４は、ユーザが音声を聴取していると推定する（ステップＳ１３０６）。そして、推定部２０４によりユーザが音声を聴取していると推定されると、ＣＰＵコア１０ａは、取得部２０５により取得された情報を当該情報に対応する情報音声で再生するモードを選択し、再生処理を開始する（ステップＳ１３０７）。ステップＳ１３０７では、図６のステップＳ６０４と同様の処理が行われる。

一方、ＣＰＵコア１０ａが第２の種類の指示入力のみを受け付けたと判断した場合（ステップＳ１３０５；第２の種類）、推定部２０４は、ユーザは音声を聴取していないと推定する（ステップＳ１３０８）。そして、推定部２０４によりユーザが音声を聴取していないと推定されると、ＣＰＵコア１０ａは、取得部２０５により取得された情報を当該情報に対応する情報メッセージで再生するモードを選択し、表示処理を開始する（ステップＳ１３０９）。ステップＳ１３０９では、図６のステップＳ６０８と同様の処理が行われる。

ユーザから第１の種類の指示入力及び対する第２の種類の指示入力のいずれも受け付けなかった場合、又は第１の種類の指示入力のみを受け付けた場合（ステップＳ１３０５；第１の種類又は無し）、ステップＳ１３０１に戻り、再生部２０１が再びユーザに第１の種類の指示入力を求める音声を再生する。

なお、ステップＳ１３０２からステップＳ１３０５までの処理を、以下に示すような処理（図１４参照）に置き換えてもよい。

再生部２０１が、ユーザに第１の種類の指示入力を求める要求音声を再生した後（ステップＳ１３０１）、ＣＰＵコア１０ａは、受付部２０３が第１の種類の指示入力を受け付けたか否かを判断する（ステップＳ１４０１）。ＣＰＵコア１０ａが指示入力を受け付けたと判断した場合（ステップＳ１４０１；Ｙｅｓ）、表示部２０２は、ユーザに第２の種類の指示入力を求める要求メッセージを表示する（ステップＳ１４０２）。そして、要求メッセージが表示された後、ＣＰＵコア１０ａは、受付部２０３が第２の種類の指示入力を受け付けたか否かを判断する（ステップＳ１４０３）。ＣＰＵコア１０ａが第２の種類の指示入力を受け付けたと判断した場合（ステップＳ１４０３；Ｙｅｓ）、推定部２０４は、ユーザが音声を聴取していると推定する（ステップＳ１３０６）。

要求音声が再生された後、ＣＰＵコアａ１０が第１の種類の指示入力を受け付けたと判断しなかった場合（ステップＳ１４０１；Ｎｏ）、ステップＳ１４０２と同様に、表示部２０２は、ユーザに第２の種類の指示入力を求める要求メッセージを表示する（ステップＳ１４０４）。要求メッセージが表示された後、ＣＰＵコア１０ａは、受付部２０３が第２の種類の指示入力を受け付けたか否かを判断する（ステップＳ１４０５）。そして、ＣＰＵコア１０ａが第２の種類の指示入力を受け付けたと判断した場合（ステップＳ１４０５；Ｙｅｓ）、推定部２０４は、ユーザは音声を聴取していないと推定する（ステップＳ１３０８）。

ステップＳ１４０３やステップＳ１４０５において、ＣＰＵコア１０ａが第２の種類の指示入力を受け付けたと判断しなかった場合（ステップＳ１４０３；Ｎｏ、ステップＳ１４０５；Ｎｏ）、ステップＳ１３０１に戻り、再生部２０１が再びユーザに第１の種類の指示入力を求める音声を再生する。

本実施形態によれば、音声と画面のメッセージとにおいて、異なる要求をすることによって、より一層正確にユーザが音声出力を聴取できているか否かを推定することができる。

本発明によれば、ユーザが音声出力を聴取できているか否かを推定するのに好適な情報処理装置、処理方法、ならびに、これらをコンピュータにて実現するためのプログラムを提供することができる。

１ 携帯型情報処理装置
１０ 処理制御部
１０ａ ＣＰＵコア
１０ｂ 画像処理部
１０ｃ ＶＲＡＭ
１０ｄ ＷＲＡＭ
１０ｅ ＬＣＤコントローラ
１０ｆ タッチパネルコントローラ
１１ コネクタ
１２ カートリッジ
１２ａ ＲＯＭ
１２ｂ ＲＡＭ
１３ 無線通信部
１４ 通信コントローラ
１５ サウンドアンプ
１６ スピーカ
１７ マイク
１８ 操作キー
１９ 第１の表示部
２０ 第２の表示部
２１ タッチパネル
２２ Ａボタン
２３ Ｂボタン
２４ タッチペン
２５ 方向キー
２００ 情報処理装置
２０１ 再生部
２０２ 表示部
２０３ 受付部
２０４ 推定部
２０５ 取得部
３０１、３０３、３０５ 音声
３０２、３０４、３０６ メッセージ

Claims (7)

1. ユーザに指示入力を求める旨の要求音声を再生する再生部と、
   前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示部と、
   前記ユーザからの指示入力を受け付ける受付部と、
   前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部と、
   を備えることを特徴とする情報処理装置。
2. ユーザに第１の種類の指示入力を求める旨の要求音声を再生する再生部と、
   前記要求音声が再生された後に、前記ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する表示部と、
   前記ユーザからの指示入力を受け付ける受付部と、
   前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部と、
   を備えることを特徴とする情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記ユーザに提示すべき情報を取得する取得部を
   さらに備え、
   前記ユーザは音声を聴取していると推定された場合、前記再生部は前記取得された情報に対応付けられる情報音声を再生し、
   前記ユーザは音声を聴取していないと推定された場合、前記表示部は前記取得された情報に対応付けられる情報メッセージを表示する
   ことを特徴とする情報処理装置。
4. 再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、
   前記再生部が、ユーザに指示入力を求める旨の要求音声を再生する再生工程と、
   前記表示部が、前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示工程と、
   前記受付部が、前記ユーザからの指示入力を受け付ける受付工程と、
   前記推定部が、前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定工程と、
   を備えることを特徴とする処理方法。
5. 再生部と、表示部と、受付部と、推定部と、を備える情報処理装置が実行する処理方法であって、
   前記再生部が、ユーザに第１の種類の指示入力を求める旨の要求音声を再生する再生工程と、
   前記表示部が、前記要求音声が再生された後に、前記ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する表示工程と、
   前記受付部が、前記ユーザからの指示入力を受け付ける受付工程と、
   前記推定部が、前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定工程と、
   を備えることを特徴とする処理方法。
6. コンピュータを、
   ユーザに指示入力を求める旨の要求音声を再生する再生部、
   前記要求音声が再生された後に、前記ユーザに指示入力を求める旨の要求メッセージを表示する表示部、
   前記ユーザからの指示入力を受け付ける受付部、
   前記要求メッセージが表示される前に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示された後に前記指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部、
   として機能させることを特徴とするプログラム。
7. コンピュータを、
   ユーザに第１の種類の指示入力を求める旨の要求音声を再生する再生部、
   前記要求音声が再生された後に、前記ユーザに第２の種類の指示入力を求める旨の要求メッセージを表示する表示部、
   前記ユーザからの指示入力を受け付ける受付部、
   前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられ、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していると推定し、前記要求メッセージが表示される前に前記第１の種類の指示入力が受け付けられず、かつ、前記要求メッセージが表示された後に前記第２の種類の指示入力が受け付けられた場合、前記ユーザは音声を聴取していないと推定する推定部、
   として機能させることを特徴とするプログラム。

Images