JP2016091020A - プログラム、処理方法、および情報処理装置 - Google Patents

Abstract

【課題】 音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供する。
【解決手段】 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置で実行可能なプログラムであって、情報処理装置を、音声を受け付け、オブジェクトを表示するよう機能させ、音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が当該読み情報と一致するまで、認識対象となるオブジェクトより後方のオブジェクトの表示を抑止することを特徴とするプログラム。
【選択図】 図１２

Description

本発明は、学習のために利用するプログラム、処理方法、および情報処理装置に関する。

近年、電子書籍端末が普及し、紙の書籍ではなく電子書籍端末を用いて小説などの文章を読む機会が増えている。
電子書籍においても通常の紙の書籍と同様に、難しい漢字や特殊な読み方をする熟語に対してルビを振って表示し、ユーザの理解を助けている。

ここで、全ての漢字に対してルビを付し表示すると、読者が読み方を分かっている漢字についてもルビが表示されてしまうことになるため、読者にとってはかえって煩わしく感じてしまう。

そこで、特許文献１には、最初に出てきた漢字に対してルビを振り、それ以降に出てきた既にルビを振った漢字と同じ漢字に対してはルビを振らないよう制御する技術が記載されている。

特開２００２−２９７５７４号公報

例えば、小学生が電子書籍を音読する場合、特許文献１では、最初に出てきた漢字に対してルビを振り、それ以降に出てきた既にルビを振った漢字と同じ漢字に対してはルビを振らないようにすると、未修学の漢字の場合、１回目はルビが振ってあるため読むことができるが、２回目以降はルビを振らないため読めないケースが発生する。その場合、正しい読み方がわからないまま音読を続けることができてしまう、または、その漢字の読み方を調べるための手間がかかってしまうという課題が生じる。

また、学校教育などでは、教科書や小説などの文章に出てきた漢字を用いて、漢字の読み取りテストを作成するが、生徒一人ひとりの学習度に応じた出題は難しく、生徒によってはわかりきっている漢字を出題されることも多く、学習時間の無駄につながってしまうという課題もある。
また、一度読めた漢字にはルビを振らないとした場合、うろ覚えの状態から完璧に覚えた状態へ向上させることが難しいという課題もある。

また、正しく読めない漢字は正しい意味を理解していないことが多く、正しく読めるようになったとしても意味がわからないため、辞書などを用いて調べることになり、学習が非効率になってしまうという課題もある。
また、正しく読めない漢字は正しく書けないことが多く、正しく読めるようになったとしても書き取り問題で間違ってしまうため、同じ漢字を２度学習することになり、学習が非効率になってしまうという課題もある。

そこで、本発明は、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することを目的とする。

表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置で実行可能なプログラムであって、前記情報処理装置を、音声を受け付ける音声受付手段と、前記オブジェクトを表示する表示手段として機能させ、前記表示手段は、前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記音声受付手段で更に受け付けた音声の認識結果が当該読み情報と一致するまで、前記認識対象となるオブジェクトより後方のオブジェクトの表示を抑止することを特徴とするプログラム。

本発明によれば、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することができる。

本発明の情報処理システムの構成の一例を示す図 電子書籍端末１０１のハードウエア構成の一例を示す図 電子書籍端末１０１の機能構成の一例を示すブロック図 ユーザ登録画面４００の一例を示す図 本発明による電子書籍画面遷移の一例を示す図 ルビ表示処理の一例を示すフローチャート ユーザマスタテーブル７００のレイアウトの一例を示す図 漢字マスタテーブル８００のレイアウトの一例を示す図 ルビテーブル９００の値の遷移の一例を示す図 電子書籍ファイル１１００におけるルビ記述とそのルビ表示の一例を示す図 電子書籍ファイル１１００の一例を示す図 再読処理の電子書籍画面遷移の一例を示す図 再読処理の一例を示すフローチャート 第２の実施形態に係る再読処理の電子書籍画面遷移の一例を示す図 第２の実施形態に係る再読処理の一例を示すフローチャート 第３の実施形態に係る再読処理画面の一例を示す図 第３の実施形態に係る再読処理の一例を示すフローチャート 第４の実施形態に係る再読処理画面の一例を示す図 第４の実施形態に係る再読処理の一例を示すフローチャート

〔第１の実施形態〕
以下、図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明に係る情報処理システムのシステム構成の一例を示す図である。

図１に示すように、本実施形態に係る情報処理システムは、電子書籍端末１０１および外部装置１０２が、ネットワーク１０３により通信可能に接続された構成をとる。電子書籍端末１０１は、携帯電話、スマートフォン、タブレット端末、ノートＰＣ、ＰＤＡ端末、およびデスクトップＰＣなどの情報処理装置であり、ブラウザまたは電子書籍を閲覧するためのアプリケーションがインストールされており、無線通信等によりネットワーク１０３を介して、外部装置１０２と通信可能である。外部装置１０２には、サンプル書籍ファイル（図１１）のような電子書籍ファイル１１００が記憶されており、電子書籍端末１０１が外部装置１０２から電子書籍ファイル１１００をダウンロードし、電子書籍端末１０１のディスプレイ装置２１０に電子書籍ファイル１１００に含まれる文字や画像などの情報を表示する。

なお、本実施形態においては、電子書籍端末１０１が外部装置１０２から電子書籍ファイル１１００をダウンロードして外部メモリ２１１に記憶し、電子書籍ファイル１１００に含まれる情報を表示するとしたが、この方法に限定するものではなく、電子書籍端末１０１が外部装置１０２から電子書籍ファイル１１００をダウンロードした情報をＲＡＭ２０２に記憶し、それを電子書籍端末１０１のディスプレイ装置２１０に表示する方法や、電子書籍端末１０１のＣＰＵ２０１が電子書籍ファイル１１００を記憶したＵＳＢメモリやＳＤカードなどの通信可能な記憶装置から電子書籍ファイル１１００に含まれる情報を取得し、電子書籍端末１０１のディスプレイ装置２１０に表示する方法であってもよい。
以下、図２を用いて、図１に示した電子書籍端末１０１に適用可能なハードウエア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク１０３を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
音声入力コントローラ２１２は、マイク２１３からの入力を制御する。マイク２１３から入力された音声を音声認識することが可能となっている。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを夫々備えていればよい。
図３は、電子書籍端末１０１の機能構成の一例を示すブロック図である。

音声受付部３０１は、表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置において、音声を受け付ける機能部である。
表示部３０２は、読み情報を表示する機能部である。
また、表示部３０２は、オブジェクトを表示する機能部である。

また、表示部３０２は、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、音声受付部３０１で更に受け付けた音声の認識結果が当該読み情報と一致するまで、認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する機能部である。
また、表示部３０２は、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方のオブジェクトを見えないように制御する機能部である。

記憶部３０３は、認識対象となるオブジェクトと、当該オブジェクトの読み情報とを対応付けて記憶する機能部である。
判定部３０４は、音声受付部３０１で受け付けた音声の認識結果と前記認識対象となるオブジェクトの読み情報とが一致するか否かを判定する機能部である。
また、判定部３０４は、記憶部３０３により認識対象となるオブジェクトが記憶されている場合、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致するか否かの判定を行い、記憶部３０３により認識対象となるオブジェクトが記憶されていない場合、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致するか否かの判定を行わない機能部である。

また、表示部３０２は、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトに対応する位置に、読み情報を表示する機能部である。

また、表示部３０２は、音声受付部３０１で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方に表示される当該オブジェクトと同じオブジェクトに対応する位置に、読み情報を表示する機能部である。
また、表示部３０２は、オブジェクトの難易度に応じた回数に従って、認識対象となるオブジェクトの読み情報を繰り返し表示する機能部である。
また、表示部３０２は、ユーザのレベルに応じた回数に従って、認識対象となるオブジェクトに読み情報を繰り返し表示する機能部である。

また、表示部３０２は、認識結果と認識対象となるオブジェクトの読み情報とが一致しなかったオブジェクトをまとめて表示する機能部である。

また、管理部３０５は、認識結果と認識対象となるオブジェクトの読み情報とが一致しなかったオブジェクトを管理する機能部である。
また、表示部３０２は、管理部３０５により管理されているオブジェクトをまとめて表示する機能部である。
また、表示部３０２は、音声受付部３０１で更に受け付けた音声の認識結果が当該読み情報と一致した場合、後方のオブジェクトの表示を再開する機能部である。
また、表示部３０２は、音声受付部３０１で受け付けた音声の認識結果が当該読み情報と一致しない場合、当該認識対象となるオブジェクトに係る情報を表示する機能部である。

図１０は、電子書籍ファイル１１００におけるルビ記述とそのルビ表示の一例を示す図である。なお、本実施形態において、「ルビ」とは漢字の「読み」方を示すものであり、以下において、「ルビ」と「読み」、「ルビ情報」と「読み情報」はそれぞれ同義である。

電子書籍は、ＥＰＵＢ、ＸＭＬ、ＨＴＭＬなどのフォーマットで提供される。ここでは、ＨＴＭＬ形式でのルビ表示方法について説明する。「東京」という漢字にルビを振りたい場合、ＨＴＭＬ形式ではサンプルルビ１００１のように＜ｒｕｂｙ＞東＜ｒｔ＞とう＜／ｒｔ＞＜／ｒｕｂｙ＞＜ｒｕｂｙ＞京＜ｒｔ＞きょう＜／ｒｔ＞＜／ｒｕｂｙ＞と記述することで、画面出力１００２のように、テキストデータ「東」の上にそのルビ情報「とう」が、テキストデータ「京」の上にそのルビ情報「きょう」が、ルビとして表示される。なお、電子書籍ファイル１１００は、これらのフォーマットに限定するものではなく、電子書籍を表示するアプリケーション独自のフォーマットであってもよい。
図４は、ユーザ登録画面４００の一例を示す図である。
図４を用いて、ユーザ登録処理について説明する。ユーザ登録画面４００は、電子書籍端末１０１において、電子書籍を読むユーザを登録する画面である。
電子書籍メニュー（不図示）から「ユーザ登録」が選択されると、電子書籍端末１０１はユーザ登録画面４００を表示する。

ユーザ登録画面４００には、「名前テキストボックス４０１」「学年セレクトボックス４０２」があり、それぞれに登録するユーザの名前を入力し、学年を選択し、登録ボタン４０３を押下することで、ユーザマスタテーブル７００にレコードが登録される。

具体的には、名前テキストボックス４０１に「太郎」を入力し、学年セレクトボックス４０２から「小３」を選択して、登録ボタン４０３を押下することで、ユーザマスタテーブル７００に小学３年生である「太郎」のユーザレコード７０１が登録される。

なお、学年セレクトボックス４０２の選択肢には、「未就学／小１／小２／小３／小４／小５／小６／中学／高校以上」がある。ここでは、学年セレクトボックス４０２の選択肢は、上記のように９種類としたが、９種類に限定するものではなく、「未就学／小１／小２／小３／小４／小５／小６／中１／中２／中３／高１／高２／高３／大学／社会人」のように細分化してもよいし、「未就学／小学低学年／小学高学年／中学以上」のようにまとめてもよい。また、「学年」でなく「年齢」としてもよいし、「漢字検定○級」「日本語検定○級」「来日○年目」のようにユーザの漢字能力のレベルを示すものであってもよい。

図５は、本発明による電子書籍画面遷移の一例を示す図である。図６は、ルビ表示処理を示すフローチャートである。図７は、ユーザマスタテーブル７００のレイアウトの一例を示す図である。図８は、漢字マスタテーブル８００のレイアウトの一例を示す図である。図９は、ルビテーブル９００の値の遷移の一例を示す図である。
図５、図７、図８、図９を参照しながら、図６のフローチャートの処理について説明する。

ステップＳ６０１において、電子書籍端末１０１のＣＰＵ２０１は、ユーザによって入力されたユーザＩＤを受け付け、ログイン処理を行う。この実施形態では、ユーザＩＤ＝００３が入力され、図４でユーザ登録されていた「太郎」のログイン処理を行う。

ステップＳ６０２において、ＣＰＵ２０１は、受け付けたユーザＩＤを検索キーにして、ユーザマスタテーブル７００を検索し、ユーザレコード７０１を取得しＲＡＭ２０２に記憶する。具体的には、ユーザＩＤ＝００３を検索キーにして、ユーザマスタテーブル７００を検索し、ユーザ「太郎」のユーザレコード７０１を取得しＲＡＭ２０２に記憶する。

ステップＳ６０３において、ＣＰＵ２０１は、書籍一覧画面（不図示）を表示し、ユーザによって選択された書籍ファイル名を受け付ける。例えば、ここではユーザによって「サンプル書籍」という書籍ファイルが選択されたとする。

ステップＳ６０４において、ＣＰＵ２０１は、外部メモリ２１１からユーザによって選択された書籍の電子書籍ファイル１１００を読み込み、電子書籍ファイル１１００に含まれるテキストデータとテキストデータのルビ情報をＲＡＭ２０２に記憶する。この実施形態においては、テキストデータには漢字が含まれており、すべての漢字にはルビ情報が設定されているとする。この実施形態では、ユーザによって選択された「サンプル書籍」という電子書籍ファイル１１００が「サンプル書籍．ｈｔｍｌ」ファイル（図１１の１１００）であるとし、このファイルに記載されているデータをＲＡＭ２０２に記憶することで、「サンプル書籍」のテキストデータとテキストデータのルビ情報が記憶される。

ステップＳ６０５において、ＣＰＵ２０１は、ＲＡＭ２０２に記憶されたテキストデータを先頭から１文字ずつ取得する。具体的には、ＲＡＭ２０２に記憶されたテキストデータ「崖のうえをあるく。（以下省略）」の１文字目「崖」を取得する。

ステップＳ６０６において、ＣＰＵ２０１は、取得したテキストデータにルビ情報が設定されているか否か判定する。具体的には、取得したテキストデータが＜ｒｕｂｙ＞＜／ｒｕｂｙ＞タグに囲まれており、取得したテキストデータの直後に＜ｒｔ＞が記述されていれば、ルビ情報が設定されていると判定し、＜ｒｔ＞が記述されていなければ、ルビ情報が設定されていないと判定する。

ルビ情報が設定されていないと判定された場合は、ステップＳ６０７において、取得したテキストデータ１文字をディスプレイ装置２１０に出力し、ステップＳ６０５に戻る。

ルビ情報が設定されていると判定された場合は、ステップＳ６０８において、ＣＰＵ２０１は、取得したテキストデータの直後の＜ｒｔ＞＜／ｒｔ＞タグで囲まれたルビ情報として認識し、ルビテーブル９００を「ユーザＣＤ」「漢字（＝当該テキストデータ）」「ルビ情報」の検索キーで検索し、ルビレコードを取得する。具体的には、ルビテーブル９００から「ユーザＣＤ＝００３」「漢字＝崖」「ルビ情報＝がけ」の検索キーで検索し、ルビレコードを取得する。
ステップＳ６０９において、ルビテーブル９００からルビレコードを取得できたか否か判定する。
ルビレコードを取得できたと判定した場合は、ステップＳ６１２に進む

ルビレコードを取得できなかったと判定した場合は、ステップＳ６１０において、ＣＰＵ２０１は、その漢字を検索キーとして漢字マスタテーブル８００を検索し、漢字情報を取得する。具体的には、「漢字＝崖」を検索キーとして漢字マスタテーブル８００を検索し、漢字レコード８０１を取得する。

なお、漢字マスタテーブル８００には、漢字ＣＤを主キーとして、あらゆる漢字が登録されており、各漢字を学習する学年「修学年」（漢字の難易度）も記憶されている。また、この実施形態においては、漢字の「修学年」を「小１／小２／小３／小４／小５／小６／中学／高校以上／常用漢字外」の９種類としたが、これら９種類に限定するものではなく、「小１／小２／小３／小４／小５／小６／中１／中２／中３／高１／高２／高３／常用漢字外」のように細分化してもよいし、「小学低学年／小学高学年／中学以上」のようにまとめてもよい。また、「修学年」でなく「年齢」としてもよいし、「漢字検定○級」「日本語検定○級」のように漢字の難易度を識別するものであってもよい。

ステップＳ６１１において、ＣＰＵ２０１は、漢字マスタテーブル８００を検索し取得した漢字レコード８０１をＲＡＭ２０２に記憶する。取得した漢字レコード８０１の修学年の値と、ステップＳ６０２においてＲＡＭ２０２に記憶したユーザレコード７０１の学年（ユーザのレベル）とを比較し、その比較結果に従って、その漢字のルビを表示する回数「ルビ残回数」を決定し、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」「ルビ残回数」を１レコードとしてルビテーブル９００に登録する。すなわち、ステップＳ６１１は、ユーザのレベルに応じた回数に従って、音声認識対象となるオブジェクトに読み情報を繰り返し表示する処理の一例を示すステップである。

ルビテーブル９００の主キーは、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」である。図９のルビテーブル９００には、「漢字ＣＤ」の右に「漢字」欄を設けているが、あくまで発明の説明のために記述したものであり、ルビテーブル９００には「漢字ＣＤ」カラムがあればよく、「漢字」カラムは無くてもよい。

なお、この電子書籍アプリケーションを初めて利用する場合、ルビテーブル９００に登録されているレコード数は０件である。つまり、この電子書籍アプリケーションを利用し、ユーザによって読まれる電子書籍の文章に、「漢字」とその「ルビ情報」の組み合わせに新な組み合わせが見つかる度に、ステップＳ６１１でルビテーブル９００にルビレコードを登録していく。

具体的には、漢字レコード８０１（＝崖」の修学年は「７」（＝中学で学習する漢字）であり、ユーザレコード７０１（＝太郎）の学年は「３」（＝小学３年生）であり、漢字修学年＞ユーザ学年であるため、「ルビ残回数」を１と決定し、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」「ルビ残回数」をそれぞれ「００３」「３３３３」「がけ」「１」の１レコードとしてルビテーブル９００に追加する。（図９の９０１）

なお、「ルビ残回数」の決定方法は、図９の９０２に記載されているように、「漢字修学年≦ユーザ学年」であれば、この漢字は学習済であるとして「０」（＝ルビは表示しない）、「漢字修学年＞ユーザ学年」であれば未学習として「１」（＝ルビを１回表示）、漢字修学年＝９（常用漢字外）」であれば読むのが困難として「２」（＝ルビを２回表示）のように決定する。

また、「ルビ残回数」の決定方法は、この方法に限定するものではなく、「漢字修学年＞ユーザ学年＋３」であれば３年後に学習するため、読むのが困難として「２」（＝ルビを２回表示）、「漢字修学年＞ユーザ学年＋５」であれば５年後に学習するため、読むのが更に困難として「３」（＝ルビを３回表示）、というように漢字修学年とユーザ学年の差の大小に従って決定するとしてもよい。また、ユーザが事前に「漢字修学年」に応じて設定しておいた所定の数に従って決定してもよい。

また、ユーザの学年に関係なく、漢字修学年にのみ応じて「ルビ残回数」を決定してもよい。すなわち、ステップＳ６１１は、オブジェクトの難易度に応じた回数に従って、音声認識対象となるオブジェクトに読み情報を繰り返し表示する処理の一例を示すステップである。

ステップＳ６１２において、ＣＰＵ２０１は、ステップＳ６０８でルビテーブル９００から取得したルビレコードのルビ残回数、またはステップＳ６１１で決定したルビ残回数が、１以上であるか否か判定する。

１以上でない、つまり０である場合、学習済の漢字または正しく読むことができた漢字であるため、ステップＳ６１３において、ディスプレイ装置２１０にルビ無でその漢字を表示する。また、その時、ルビ無でその漢字を表示したことをＲＡＭ２０２に記憶しておく。具体的には、漢字＝感（図９の９０３）のルビ残回数は０であるため、ルビ無で表示するが、ステップＳ６０４でＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータ＜ｒｕｂｙ＞感＜ｒｔ＞かん＜／ｒｔ＞＜／ｒｕｂｙ＞を、＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞のようにルビ情報を“＜！−−非表示”と“非表示−−＞”で囲むように変換しておくことで、ルビ無にしていることを記憶することができ、後述するルビ無の漢字を判定する際の判断基準として利用することができる。

１以上である場合、未学習の漢字または正しく読むことができなかった漢字であるため、ステップＳ６１４において、当該漢字と、そのルビ情報をルビとして、共に表示する。すなわち、ステップＳ６１４は、読み情報を表示する処理の一例を示すステップである。この実施形態において、ルビの表示位置は、当該漢字の右側に表示する。具体的には、漢字＝崖（図５の５１３）の右側にルビ情報「がけ」をルビとして表示する。このルビ表示によって、未学習の漢字または正しく読むことができなかった漢字についても、ルビを読むことで文章を理解するとともに、その漢字の読み方を学ぶことができる。また、ルビが表示されていることで、ユーザは、その漢字が未学習の漢字または正しく読むことができなかった漢字であることが認識できるため、覚える意識が生まれ、漢字学習の意欲が向上するとともに、効果的な学習が可能になる。

また、この実施形態では、漢字の右側にルビを表示するとしたが、右側に限定するものではなく、左・上・下など漢字の位置に従った位置に表示するとしてもよい。ルビの表示方法は、ＨＴＭＬ、スタイルシート、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＤｙｎａｍｉｃＨＴＭＬ、ＡｃｔｉｖｅＸなどの技術を利用し、ルビ情報をルビとして表示する。また、それらの方法以外にも、漢字とルビ情報が一体となった画像を用意しておき、その画像を表示するなど、画像を用いた方法でもよい。

ステップＳ６１５において、ステップＳ６１４でルビ表示したため、ステップＳ６１０で取得した漢字情報のルビ残回数を１減算し、ＲＡＭ２０２に記憶する。また、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」をキーとして、ルビテーブル９００の該当レコードの「ルビ残回数」を更新する。

以上のステップＳ６０６〜ステップＳ６１５を、ページ内に表示するテキストデータの文字の数だけ繰り返すことで、ページ内のテキストデータとルビ情報が表示されたことになる。（図５の５１２）
また、現在のページ番号と全ページ数を画面に表示する。（図５の５１１）

また、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータのうち、現在の画面に表示中のテキストの範囲がわかるように、“＜！−−ここから表示−−＞“と” ＜！−−ここまで表示−−＞“のような表示に影響しないタグで、現在の画面に表示中のテキストを囲むように変換しておく。

また、ユーザが学習済の漢字または読むことができた漢字にはルビを振らず、ユーザが未学習の漢字または読むことができなかった漢字にはルビを振ることで、読める漢字と読めない漢字を認識させることができる。

また、１ページ目のテキストデータとルビ情報がすべて表示された時点では、ルビテーブル９００の「ルビ残回数」カラムは図９の９０４の状態である。また、２ページ目のテキストデータとルビ情報がすべて表示された時点では、ルビテーブル９００の「ルビ残回数」カラムは図９の９０７の状態である。

ステップＳ６１６において、ＣＰＵ２０１は、音声入力コントローラ２１２を介して、マイク２１３からの入力を制御し、音声を受け付ける。すなわち、ステップＳ６１６は、音声を受け付ける処理の一例を示すステップである。

ステップＳ６１７において、音声入力コントローラ２１２は、マイク２１３から入力された音声を音声認識し、文字列データに変換する。なお、音声認識については周知の技術であるため、詳細の説明は省略する。ＣＰＵ２０１は、音声認識で得られた文字列データを、ＲＡＭ２０２に記憶されたテキストデータおよびテキストデータのルビ情報と比較し、テキストデータのどのテキストをユーザが読んでいるのかを判定し、ディスプレイ装置２１０において現在読まれているテキストの位置に矢印（図５の５１４）を表示し、ユーザに音声認識が正しく行われていることを認識可能にする。

この実施形態では、現在読まれているテキストに矢印を表示するとしたが、矢印に限定するものではなく、ユーザに認識可能にするものであれば他の方法であってもよい。現在読まれているテキストの横に矢印以外の印や線を表示してもよいし、テキストの色を反転させるなど、色を変えたり、テキストの文字を太くしたりすることで、現在読まれているテキストの位置をユーザに認識可能にする。

ステップＳ６１８において、ＣＰＵ２０１は、ルビ無の漢字を正しく読めたか否か判定する。具体的には、ステップＳ６１３において、ルビ無の漢字は、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータを＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞のように変換しておいたため、“＜！−−非表示＜ｒｔ＞”と“＜／ｒｔ＞非表示−−＞”で囲まれたルビ情報が音声認識で得られた文字列データと一致するか否かを判定することで、ルビ無の漢字を正しく読めたかどうか判定する。

なお、ひらがな・カタカナや＜ｒｕｂｙ＞タグで囲まれていない文字、＜ｒｕｂｙ＞タグで囲まれていてルビが“＜！−−非表示＜ｒｔ＞”と“＜／ｒｔ＞非表示−−＞”で囲まれていない「ルビ有漢字」については、正しく読めたか否かの判定を行わずに「正しく読めた」（Ｓ６１８でＹＥＳ判定）として推移させる。この実施形態においては、＜ｒｕｂｙ＞タグのように画面表示に用いるスクリプトに従って「ルビ無漢字」か否かを判別するとしたが、これに限定するものではなく、例えば、対象となる文字がルビテーブル９００に「ルビ残回数」＜１として登録されている場合は「ルビ無漢字」であると判別し、対象となる文字がルビテーブル９００に「ルビ残回数」≧１として登録されているまたはルビテーブル９００に登録されていない場合は「ルビ無漢字」ではないと判別する、のようにテーブルと照合することで「ルビ無漢字」か否かを判別するとしてもよい。

なお、音声受付で所定の時間内に正しい音声入力がされなかった場合、正しく読めなかったと判定する。また、「あ〜」とか「え〜と」など、音声認識によって文字列データに変換できなかった等の場合も、正しく読めなかったと判定するとしてもよい。
なお、この実施形態において、１ページ目のルビ無の漢字を正しく読めたかどうかについて、図９の９０５に示す。また、２ページ目のルビ無の漢字を正しく読めたかどうかについて、図９の９０８に示す。
ステップＳ６１８にて、ルビ無の漢字を正しく読めた場合、すなわちルビ情報が音声認識で得られた文字列データと一致した場合は、ステップＳ６２３に進む。

ステップＳ６１８にて、ルビ無の漢字を正しく読めなかった場合は、すなわちルビ情報が音声認識で得られた文字列データと一致しなかった場合、ステップＳ６１９において、当該漢字の右側にルビ情報をルビとして表示する。すなわち、ステップＳ６１９は、音声認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、音声認識対象となるオブジェクトに対応する位置に、読み情報を表示する処理の一例を示すステップである。具体的には、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータは、＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞のように変換されているため、“＜！−−非表示”と“非表示−−＞”を消去することで、ルビ情報である「かん」を漢字＝感（図５の５１５）の右側にルビとして表示する。このルビ表示によって、ユーザは読み方が間違ったことを即座に認識し、その場で正しい読み方を覚え直すことができ、漢字の読み方の学習を効率的にすることができる。これにより、正しい読み方がわからないまま音読を続けることができてしまう、または、その漢字の読み方を調べるための手間がかかってしまうという課題を解決することができる。

この実施形態では、漢字の右側にルビを表示するとしたが、右側に限定するものではなく、左・上・下など漢字の位置に従った位置に表示するとしてもよい。ルビの表示方法は、スタイルシート、ＪａｖａＳｃｒｉｐｔ、ＤｙｎａｍｉｃＨＴＭＬ、ＡｃｔｉｖｅＸなどの技術を利用し、動的にルビ情報をルビとして表示する。また、それらの方法以外にも、漢字とルビ情報が一体となった画像を用意しておき、その画像を漢字が表示されていた位置に表示するなど、画像を用いた方法でもよい。

ステップＳ１３００において、ＣＰＵ２０１は、再読処理を行う。なお、再読処理とは、ルビ無の漢字を読めなかった場合、読み直した音声認識により、テキストの表示を制御する処理である。また、図１２の再読処理の電子書籍画面遷移の一例を示す図である。

図１２の１２１１では、「感動」という漢字にルビ情報が表示されていないルビ無の状態だが、ステップＳ６１８にて正しく読めなかったと判定した場合、ステップＳ６１９にて「かんどう」というルビ情報を表示する（図１２の１２２１）。この「感動」という漢字の再読処理について、図１３のフローチャートを用いて説明する。
ステップＳ１３０１において、ＣＰＵ２０１は、音声入力コントローラ２１２を介して、マイク２１３からの入力を制御し、音声を受け付ける。
ステップＳ１３０２において、ＣＰＵ２０１は、マイク２１３から入力された音声を音声認識し、文字列データに変換する。

ステップＳ１３０３において、ＣＰＵ２０１は、正しく読めなかった（ステップＳ６１８）ためルビ表示した（ステップＳ６１９）漢字を正しく読み直したか否か判定する。具体的には、ステップＳ１３０２にて得られた文字列データが、ステップＳ６１９にて“＜！−−非表示”と“非表示−−＞”を消去することで表示したルビ情報と一致するか否かを反転する。一致する場合は正しく読み直したと判定し、一致しなかった場合は、正しく読み直さなかったと判定する。

ステップＳ１３０３にて正しく読み直さなかった場合は、ステップＳ１３０４において、ＣＰＵ２０１は、この漢字より後ろの文字を非表示にする（図１２の１２３１）。すなわち、ステップＳ１３０４は、受け付けた音声の認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が読み情報と一致するまで、音声認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する処理の一例を示すステップである。また、ステップＳ１３０４は、音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方のオブジェクトを見えないように制御する処理の一例を示すステップである。

具体的には、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータにおける、この漢字以降のデータを“＜！−−再読するまで非表示”と“再読するまで非表示−−＞”で囲むように変換することで非表示にする。これにより、ユーザは正しく読めなかった漢字を正しく読むまで先に進むことができなくなり、正しい読み方を確実に学習することができ、漢字の読み方の学習を効率的にすることができる。

なお、この実施形態においては、この漢字より後ろの文字を非表示にするとしたが、これに限定するものではなく、非表示の開始位置は、この漢字を含む単語の次の単語からであっても、この漢字を含む文節の次の文節からであっても、この漢字を含む文章の次の文章からであってもよい。つまり、正しく読めなかった漢字より後ろの文章の表示を抑止する。
ステップＳ１３０３にて正しく読み直した場合は、ステップＳ１３０５に進む。

ステップＳ１３０５において、ＣＰＵ２０１は、ステップＳ１３０４にて非表示に変換していた文章を再表示する。すなわち、ステップＳ１３０５は、受け付けた音声の認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が当該読み情報と一致するまで、音声認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する処理の一例を示すステップである。また、ステップＳ１３０５は、更に受け付けた音声の認識結果が当該読み情報と一致した場合、後方のオブジェクトの表示を再開する処理の一例を示すステップである。

具体的には、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータに存在する、＜！−−再読するまで非表示”と“再読するまで非表示−−＞”を消去することで、非表示にしていた文章を再表示する。これにより、ユーザは正しく読めなかった漢字よりも後ろの文章を読むことができるようになり、引き続き学習することができる。以上で、図１３の再読処理の説明を終了する。

ステップＳ６２０において、現在読まれているテキストの位置以降に表示中のテキストに、正しく読めなかったルビ無の漢字とそのルビ情報の組み合わせが存在するか否かを判定する。具体的には、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータのうち、“＜！−−ここから表示−−＞“と” ＜！−−ここまで表示−−＞“範囲内に、現在読まれたデータ＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞以降に、＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞の記述が存在するか否かを判定する。

存在した場合は、ステップＳ６２１において、最初に見つかった漢字にルビを表示する。すなわち、ステップＳ６２１は、音声認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、音声認識対象となるオブジェクトより後方に表示される当該オブジェクトと同じオブジェクトに対応する位置に、読み情報を表示する処理の一例を示すステップである。具体的には、最初に見つかった＜ｒｕｂｙ＞感＜！−−非表示＜ｒｔ＞かん＜／ｒｔ＞非表示−−＞＜／ｒｕｂｙ＞の記述から、“＜！−−非表示”と“非表示−−＞”を消去することで、当該漢字の右側にルビ情報をルビとして表示する。

存在しなかった場合は、ステップＳ６２２において、ステップＳ６０２でＲＡＭ２０２に記憶したユーザレコード７０１の「学年」と、ステップＳ６１１でＲＡＭ２０２に記憶した漢字レコード８０１の「修学年」とを比較し、ステップＳ６１１と同様に「ルビ残回数」を決定し、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」をキーとして、ルビテーブル９００の該当レコードの「ルビ残回数」を更新する。これにより、正しく読めなかった漢字について、「ルビ残回数」が増えるため、以降のページにおいて、正しく読めなかった漢字にルビ情報がルビとして表示される。これにより、正しく読めなかった漢字について、ユーザにとって難易度の高い漢字はルビ表示回数が多くなり、ユーザにとって難易度の低い漢字はルビ表示回数が少なくなるため、学習意欲を削ぐことなく、学習効果を高めることができる。

この実施形態としては、正しく読めなかった漢字の「ルビ残回数」をユーザ学年と漢字修学年に従って増加させたが、これに限定するものではなく、単純に１増加させたり、ユーザが事前に設定しておいた所定の数の分だけ増加させたりしてもよい。すなわち、ステップＳ６２２は、音声認識結果と音声認識対象となるオブジェクトの読み情報が一致しない場合、読み情報を表示する回数を増やす処理の一例を示すステップである。

これにより、正しく読めなかった漢字が次に表示する際には、ルビが表示されることになる。よって、うろ覚えの状態から完璧に覚えた状態へ向上させることが難しいという課題を解決することができる。
ステップＳ６２３において、ＣＰＵ２０１は、音声による読み上げがページの終わりまで到達したか否か判定する。
ページの終わりまで到達していなかった場合は、ステップＳ６１７に戻り、音声の受付を続行する。

ページの終わりまで到達した場合は、ステップＳ６２４において、表示していたページが最終ページかどうか判定する。具体的には、次に表示すべきテキストデータが存在しない場合、表示していたページが最終ページであると判定できる。

表示していたページが最終ページでない、つまり表示するテキストデータが残っている場合は、ステップＳ６２５において画面をクリアしてページめくりを実施し、ステップＳ６０５に戻り、次のページのテキストデータとルビを表示する。また、次のページへの画面遷移は、上記のように音声認識によって判定してもよいし、図５の５１６のようなページ送りボタンがユーザによって押下された時に、実施してもよい。

この時点で、１ページ目の場合、ルビテーブル９００は図９の９０６の状態である。また、２ページ目の場合、ルビテーブル９００は図９の９０９の状態である。
表示していたページが最終ページであった場合は、ステップＳ６２６に進む。

ステップＳ６２６において、これから行う確認テストの出題内容を決定するために、ルビテーブル９００からルビ残回数≧１の漢字を抽出する。具体的には、ルビテーブル９００を「ユーザＣＤ」「ルビ残回数≧１」で検索し、ルビレコードを取得し、ＲＡＭ２０２に記憶しておく。これにより、ユーザがまだ正しく読むことができていないと思われる漢字を確認テストとして出題するために抽出することができる。（図９の９１０）

なお、この実施形態では、ルビテーブル９００からルビ残回数≧１の漢字を抽出するとしたが、この抽出には、過去に何度も間違っていたが最後の１回だけ正しく読めた漢字については、ルビ残回数＝０であるため含まれていない。よって、ルビテーブル９００に「ルビ残回数」だけでなく、「間違った回数」を記憶しておき、その「間違った回数」に従って漢字を抽出するとしてもよい。これにより、うろ覚えの漢字についても、確認テストとして抽出することができる。これにより、うろ覚えの状態から完璧に覚えた状態へ向上させることが難しいという課題を解決することができる。

ステップＳ６２７において、ＣＰＵ２０１は、ディスプレイ装置２１０にステップＳ６２６で抽出したルビレコードの漢字をルビ無で出力する（図５の５３０）。すなわち、ステップＳ６２７は、音声認識結果と音声認識対象となるオブジェクトの読み情報とが一致しなかったオブジェクトをまとめて表示する処理の一例を示すステップである。これにより、ユーザがまだ正しく読むことができていない漢字のみの確認テストが行えるため、一般の漢字テストのように、わかりきっている漢字を出題されることもなく、学習時間の無駄が生じないため、学習を効率的にすることができる。
ステップＳ６２８において、ＣＰＵ２０１は、音声入力コントローラ２１２を介して、マイク２１３からの入力を制御し、音声を受け付ける。
ステップＳ６２９において、音声入力コントローラ２１２は、マイク２１３から入力された音声を音声認識し、文字列データに変換する。
音声認識および音声の文字列データへの変換は、ステップＳ６１７にて説明したとおりであるため、ここでの説明は省略する。

ステップＳ６３０において、ＣＰＵ２０１は、確認テストのルビ無の漢字を正しく読めたか否か判定する。正しく読めたか否かの判定方法については、ステップＳ６２６において、ＲＡＭ２０２に記憶しておいた確認テストとして出題したルビレコードの「ルビ情報ルビ情報」と音声認識で得られた文字列データと一致するか否かによって判定する。（図９の９１１）

なお、ステップＳ６１８の判定と同様に、音声受付で所定の時間内に正しい音声入力がされなかった場合、「あ〜」とか「え〜と」など、音声認識によって文字列データに変換できないが、ユーザが迷っていると認識した場合についても、正しく読めなかったと判定してもよい。

正しく読めた場合は、ステップＳ６３２において、ＲＡＭ２０２に記憶しておいた漢字情報のルビ残回数を０にし、ＲＡＭ２０２に記憶する。また、「ユーザＣＤ」「漢字ＣＤ」「ルビ情報」をキーとして、ルビテーブル９００の該当レコードの「ルビ残回数」を０に更新する。これにより、確認テストで正しく読むことができた漢字についても、「ルビ残回数」が０であるため、次に表示される場合はルビ無で表示される。

正しく読めなかった場合は、ステップＳ６３１において、当該漢字の右側にルビ情報をルビとして表示する。具体的には、漢字＝妻（図５の５３１）の右側に「つま」をルビとして表示する。このルビ表示によって、ユーザは読み方が間違ったことを即座に認識し、その場で正しい読み方を覚え直すことができ、漢字の読み方の学習を効率的にすることができる。また、確認テストで正しく読むことができなかった漢字は、「ルビ残回数≧１」のままであるため、次に表示される場合はルビ有で表示される。
確認テストが完了した時点で、ルビテーブル９００は図９の９１２の状態である。
以上で、図６のルビ表示処理の説明を完了する。
以上により、音声認識により文章の表示を制御することで、文字の読み方の学習を効率的にする仕組みを提供することができる。

なお、この実施形態では、「漢字」と「ルビ情報」の組み合わせを例として挙げたが、その組み合わせに限定するものではなく、外国語と発音記号、記号と読み方、標識と名称、絵と単語、手話の形と意味、九九などの計算式と答え、クイズと答えなどの組み合わせであってもよい。

つまり、文字・記号・絵・問題・クイズなどの「オブジェクト」と、その読み方や答えなどの「読み情報」の組み合わせであれば、本実施形態における「漢字」と「ルビ情報」の組み合わせのように、本発明の仕組みを利用することで、ユーザが「オブジェクト」を正しく読めなかった場合はそのオブジェクトより後方のオブジェクトの表示を抑止することで、オブジェクトの読み方の学習を効率的にすることができる。

具体的には、漢字マスタテーブル８００をオブジェクトマスタテーブル｛オブジェクトＣＤ、オブジェクト、難易度｝に、ルビテーブル９００を読みテーブル｛ユーザＣＤ、オブジェクトＣＤ、読み情報、読み残回数｝に置き換えることで、「オブジェクト」の位置に従ってオブジェクトの「読み情報」を表示・非表示に制御することが可能になる。

つまり、この発明により、外国語の学習、幼児のためのことばの学習、道路交通標識の学習、手話の学習、暗算の練習など、多くの学習において学習を効率的にすることができる。
以上により、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することができる。

〔第２の実施形態〕
次に、同様の目的を達成するための異なる実施形態について説明する。第２の実施形態では、漢字を正しく読めなかった場合、正しく読み直したか否かの判定を待たずに、この漢字よりも後方の文字を非表示にする。

図１４は、第２の実施形態に係る再読処理の電子書籍画面遷移の一例を示す図である。図１５は、第２の実施形態に係る再読処理の一例を示すフローチャートである。なお、第２の実施形態では、第１の実施形態における図１３のフローチャートを図１５に置き換え、第１の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。
図１４と図１５を用いて、第２の実施形態について説明する。

図１４の１４１１は、「感動」という漢字にルビ情報が表示されていないルビ無の状態だが、図６のステップＳ６１８にて「感動」という漢字を正しく読めなかったと判定した場合、ステップＳ６１９にて「かんどう」というルビ情報を表示する。

次に、図１５のステップＳ１５０１において、ＣＰＵ２０１は、この漢字より後方の文章を非表示にする（図１４の１４２１）。具体的には、ＲＡＭ２０２に記憶された電子書籍ファイル１１００のデータにおける、この漢字以降のデータを“＜！−−再読するまで非表示”と“再読するまで非表示−−＞”で囲むように変換することで非表示にする。すなわち、ステップＳ１５０１は、受け付けた音声の認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が読み情報と一致するまで、音声認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する処理の一例を示すステップである。
なお、この実施形態においては、この漢字より後方の文章を非表示にするとしたが、これに限定するものではなく、この漢字の送り仮名または次の句読点まで表示し、それ以降を非表示にするとしてもよい。

また、ステップＳ１５０１は、音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方のオブジェクトを見えないように制御する処理の一例を示すステップである。これにより、正しい読み方がわからないまま音読を続けることができてしまうという課題を解決することができる。

ステップＳ１３０３にて正しく読み直さなかった場合は、ステップＳ１３０１に戻る。正しく読み直した場合は、ステップＳ１３０５に進み、ステップＳ１５０１にて非表示にしていた文章を再表示する（図１４の１４３１）。すなわち、ステップＳ１３０５は、更に受け付けた音声の認識結果が当該読み情報と一致した場合、前記後方のオブジェクトの表示を再開する処理の一例を示すステップである。
以上で、第２の実施形態の説明を完了する。
以上により、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することができる。

〔第３の実施形態〕
次に、同様の目的を達成するための異なる実施形態について説明する。第３の実施形態では、漢字を正しく読めなかった場合、読めなかった漢字に関連する情報を表示することで、表示していた文章を見えなくする。

図１６は、第３の実施形態に係る再読処理画面の一例を示す図である。図１７は、第３の実施形態に係る再読処理の一例を示すフローチャートである。なお、第３の実施形態では、第１の実施形態における図１３のフローチャートを図１７に置き換え、第１の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。
図１６と図１７を用いて、第３の実施形態について説明する。

図１６の１６１１は、「感動」という漢字にルビ情報が表示されていないルビ無の状態だが、図６のステップＳ６１８にて「感動」という漢字を正しく読めなかったと判定した場合、ステップＳ６１９にて「かんどう」というルビ情報を表示する。
次に、図１７のステップＳ１７０１において、ＣＰＵ２０１は、正しく読めなかった漢字に関連する情報を外部メモリ２１１または外部装置１０２から取得する。具体的には、外部メモリ２１１に辞書データを記憶しておき、正しく読めなかった漢字に関連する情報を辞書データから取得する。なお、この実施形態においては、正しく読めなかった漢字に関連する情報を外部メモリ２１１または外部装置１０２から取得するとしたが、これに限定するものではなく、例えば、正しく読めなかった漢字をインターネットで検索して関連する情報を取得するとしてもよい。

ステップＳ１７０２において、ＣＰＵ２０１は、取得した関連情報をポップアップ表示する（図１６の１６２１）。このポップアップ表示により、これまで表示していた文章を見えなくする。すなわち、ステップＳ１７０２は、受け付けた音声の認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が読み情報と一致するまで、音声認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する処理の一例を示すステップである。

また、ステップＳ１７０２は、音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方のオブジェクトを見えないように制御する処理の一例を示すステップである。また、ステップＳ１７０２は、受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、当該認識対象となるオブジェクトに係る情報を表示する処理の一例を示すステップである。これにより、正しい読み方がわからないまま音読を続けることができてしまうという課題を解決することができる。また、正しく読めるようになったとしても意味がわからないため、辞書などを用いて調べることになり、学習が非効率になってしまうという課題を解決することができる。

なお、この実施形態においては、図１６の１６２１のように読めなかった漢字の意味を表示するとしたが、これに限定するものではなく、読めなかった漢字そのもの、読めなかった漢字に関連する文章、その他の図表、絵、写真等を表示するとしてもよい。

ステップＳ１３０３にて正しく読み直さなかった場合は、ステップＳ１３０１に戻る。正しく読み直した場合は、ステップＳ１７０３に進み、ステップＳ１７０２にて表示にしていたポップアップを非表示にする（図１６の１６３１）。すなわち、ステップＳ１７０３は、更に受け付けた音声の認識結果が当該読み情報と一致した場合、前記後方のオブジェクトの表示を再開する処理の一例を示すステップである。

なお、この実施形態においては、図１６の１６２１に「音読するとポップアップが閉じられます」と記載しているように、正しく読めなかった漢字を正しく読み直すことによってポップアップを非表示にするとしたが、これに限定するものではなく、例えば、画面をタッチする、ボタンを押下するなどによって、ポップアップを非表示にするとしてもよい。
以上で、第３の実施形態の説明を完了する。
以上により、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することができる。

〔第４の実施形態〕
次に、同様の目的を達成するための異なる実施形態について説明する。第４の実施形態では、漢字を正しく読めなかった場合、読めなかった漢字に関連する問題を表示することで、表示していた文章を見えなくする。

図１８は、第４の実施形態に係る再読処理画面の一例を示す図である。図１９は、第４の実施形態に係る再読処理の一例を示すフローチャートである。なお、第４の実施形態では、第３の実施形態における図１７のフローチャートを図１９に置き換え、第３の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。
図１８と図１９を用いて、第４の実施形態について説明する。

図１８の１８１１は、「感動」という漢字にルビ情報が表示されていないルビ無の状態だが、図６のステップＳ６１８にて「感動」という漢字を正しく読めなかったと判定した場合、ステップＳ６１９にて「かんどう」というルビ情報を表示する。
次に、図１９のステップＳ１９０１において、ＣＰＵ２０１は、この漢字に関連する問題とその解答を外部メモリ２１１または外部装置１０２から取得する。

ステップＳ１７０２において、ＣＰＵ２０１は、取得した問題をポップアップ表示する（図１８の１８２１）。このポップアップ表示により、これまで表示していた文章を見えなくする。すなわち、ステップＳ１７０２は、受け付けた音声の認識結果と音声認識対象となるオブジェクトの読み情報とが一致しない場合、更に受け付けた音声の認識結果が読み情報と一致するまで、音声認識対象となるオブジェクトより後方のオブジェクトの表示を抑止する処理の一例を示すステップである。

また、ステップＳ１７０２は、音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、認識対象となるオブジェクトより後方のオブジェクトを見えないように制御する処理の一例を示すステップである。これにより、正しい読み方がわからないまま音読を続けることができてしまうという課題を解決することができる。また、正しく読めるようになったとしても書き取り問題で間違ってしまうため、同じ漢字を２度学習することになり、学習が非効率になってしまうという課題を解決することができる。

なお、この実施形態においては、図１８の１８２１のように読めなかった漢字の書き取り問題を表示するとしたが、これに限定するものではなく、読めなかった漢字に関連する書き取り問題や選択問題などを表示するとしてもよい。
ステップＳ１９０２において、ＣＰＵ２０１は、ユーザによる入力を受け付ける。
ステップＳ１９０３において、ＣＰＵ２０１は、受け付けた入力情報をＯＣＲやＯＭＲなどの技術を用いて認識する。

ステップＳ１９０４において、ＣＰＵ２０１は、認識した入力情報とステップＳ１９０１にて取得した解答を比較し判定する。一致する場合はステップＳ１７０３に進み（図１８の１８３１）、一致しない場合はステップＳ１９０２に戻る。

なお、この実施形態においては、図１８の１８２１に「正解するとポップアップが閉じられます」と記載しているように、表示された問題に正解することによってポップアップを非表示にするとしたが、これに限定するものではなく、例えば、書き取りを所定回数行われたことを検知する、保護者や先生などによる承認コードの入力を受け付けるなどによって、ポップアップを非表示にするとしてもよい。
以上で、第４の実施形態の説明を完了する。
以上により、音声認識によりオブジェクトの表示を制御することで、オブジェクトの読み方の学習を効率的にする仕組みを提供することができる。
以上の、第１〜４の実施形態の再読処理は、ユーザによる選択や設定ファイル等に従い、どの再読処理を用いるか切り替えることが可能である。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 電子書籍端末
１０２ 外部装置
１０３ ネットワーク

Claims (16)

1. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置で実行可能なプログラムであって、
   前記情報処理装置を、
   音声を受け付ける音声受付手段と、
   前記オブジェクトを表示する表示手段
   として機能させ、
   前記表示手段は、
   前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記音声受付手段で更に受け付けた音声の認識結果が当該読み情報と一致するまで、前記認識対象となるオブジェクトより後方のオブジェクトの表示を抑止すること
   を特徴とするプログラム。
2. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置で実行可能なプログラムであって、
   前記情報処理装置を、
   音声を受け付ける音声受付手段と、
   前記オブジェクトを表示する表示手段
   として機能させ、
   前記表示手段は、
   前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記認識対象となるオブジェクトより後方のオブジェクトを見えないように制御すること
   を特徴とするプログラム。
3. 前記認識対象となるオブジェクトと、当該オブジェクトの読み情報とを対応付けて記憶する記憶手段と、
   前記音声受付手段で受け付けた音声の認識結果と前記認識対象となるオブジェクトの読み情報とが一致するか否かを判定する判定手段
   として機能させ、
   前記判定手段は、
   前記記憶手段により前記認識対象となるオブジェクトが記憶されている場合、前記音声受付手段で受け付けた音声の認識結果と前記認識対象となるオブジェクトの読み情報とが一致するか否かの判定を行い、前記記憶手段により前記認識対象となるオブジェクトが記憶されていない場合、前記音声受付手段で受け付けた音声の認識結果と前記認識対象となるオブジェクトの読み情報とが一致するか否かの判定を行わないこと
   を特徴とする請求項１または２に記載のプログラム。
4. 前記表示手段は、
   前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、当該認識対象となるオブジェクトに対応する位置に、当該読み情報を表示すること
   を特徴とする請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記表示手段は、
   前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記認識対象となるオブジェクトより後方に表示される、当該オブジェクトと同じオブジェクトに対応する位置に、当該読み情報を表示すること
   を特徴とする請求項１乃至４のいずれか１項に記載のプログラム。
6. 前記表示手段は、
   前記オブジェクトの難易度に応じた回数に従って、前記認識対象となるオブジェクトに読み情報を繰り返し表示すること
   を特徴とする請求項１乃至５のいずれか１項に記載のプログラム。
7. 前記表示手段は、
   ユーザのレベルに応じた回数に従って、前記認識対象となるオブジェクトに読み情報を繰り返し表示すること
   を特徴とする請求項１乃至６のいずれか１項に記載のプログラム。
8. 前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記回数を増やすこと
   を特徴とする請求項６または７に記載のプログラム。
9. 前記認識結果と認識対象となるオブジェクトの読み情報とが一致しなかったオブジェクトを管理する管理手段
   として更に機能させ、
   前記表示手段は、
   前記管理手段により管理されているオブジェクトをまとめて表示すること
   を特徴とする請求項１乃至８のいずれか１項に記載のプログラム。
10. 前記オブジェクトはテキストデータであること
    を特徴とする請求項１乃至９のいずれか１項に記載のプログラム。
11. 前記表示手段は、
    前記音声受付手段で更に受け付けた音声の認識結果が当該読み情報と一致した場合、前記後方のオブジェクトの表示を再開すること
    を特徴とする請求項１乃至１０のいずれか１項に記載のプログラム。
12. 前記表示手段は、
    前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、当該認識対象となるオブジェクトに係る情報を表示すること
    を特徴とする請求項１乃至１１のいずれか１項に記載のプログラム。
13. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置における処理方法であって、
    前記情報処理装置が、
    音声を受け付ける音声受付ステップと、
    前記オブジェクトを表示する表示ステップと
    を実行し、
    前記表示ステップは、
    前記音声受付ステップで受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記音声受付ステップで更に受け付けた音声の認識結果が当該読み情報と一致するまで、前記認識対象となるオブジェクトより後方のオブジェクトの表示を抑止すること
    を特徴とする処理方法。
14. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置における処理方法であって、
    前記情報処理装置が、
    音声を受け付ける音声受付ステップと、
    前記オブジェクトを表示する表示ステップと
    を実行し、
    前記表示ステップは、
    前記音声受付ステップで受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記認識対象となるオブジェクトより後方のオブジェクトを見えないように制御すること
    を特徴とする処理方法。
15. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置であって、
    音声を受け付ける音声受付手段と、
    前記オブジェクトを表示する表示手段と
    を備え、
    前記表示手段は、
    前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記音声受付手段で更に受け付けた音声の認識結果が当該読み情報と一致するまで、前記認識対象となるオブジェクトより後方のオブジェクトの表示を抑止すること
    を特徴とする情報処理装置。
16. 表示するオブジェクトに対して、当該オブジェクトの読み方を示す読み情報を表示する情報処理装置であって、
    音声を受け付ける音声受付手段と、
    前記オブジェクトを表示する表示手段と
    を備え、
    前記表示手段は、
    前記音声受付手段で受け付けた音声の認識結果と認識対象となるオブジェクトの読み情報とが一致しない場合、前記認識対象となるオブジェクトより後方のオブジェクトを見えないように制御すること
    を特徴とする情報処理装置。
    

Images