《第1の実施形態》
以下、第1の実施形態に係る装着装置について、図1〜図11に基づいて、詳細に説明する。図1には、第1の実施形態に係る装着装置10の構成がブロック図にて示されている。また、図2には、装着装置10が斜視図にて示されている。
装着装置10は、ユーザが身体(顔)に装着する端末であり、図2に示すように、眼鏡型のフレーム120を備えている。装着装置10は、図1に示すように、撮像部101と、表示部102と、操作部103と、マイク104と、スピーカ105と、網膜検出部107と、視線検出部108と、記憶部112と、通信部110と、制御部111と、を備える。なお、図1において図示され、図2において図示されていない装着装置10の構成は、フレーム120の内部や、フレーム120の一部に設けられているものとする。
撮像部101は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部101は、図2に示すようにフレーム120の端部近傍(ユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮像することができる。
表示部102は、フレーム120内部又はフレーム120近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部102は、ユーザが装着装置10を装着した状態において、ユーザの目の前(ユーザの目に対向する位置)に位置するようになっており、制御部111の制御の下、各種情報をユーザが視認できるように表示(提示)する。なお、表示部102の表示範囲は、ユーザの実視界とほぼ同一の範囲となっている。なお、図2に示す表示部102は一例であって、大きさやデザインは適宜変更することができる。
操作部103は、フレーム120に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部111に送信する。なお、撮像部101、表示部102、操作部103などについては、例えば米国特許出願公開第2013/0044042号明細書にもその詳細が開示されている。すなわち、本実施の形態において、操作部103は接触式の操作部である。
マイク104は、フレーム120に設けられ、ユーザが発した音声を収集する。マイク104が収集した音声は、制御部111に入力される。制御部111は、マイク104が収集した音声を音声認識し、音声認識結果に基づく処理(例えば、コマンドの実行処理など)を実行する。なお、装着装置10は、マイク104が収集した音声を音声認識する音声認識部を備えていてもよい。
スピーカ105は、例えば、フレーム120に設けられ、制御部111の制御の下、音声を出力する音声出力装置である。なお、スピーカ105としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置10を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
網膜検出部107は、赤外線照射部と、赤外線受光部と、を有する。網膜検出部107は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光することで、網膜上の血管の経路を検出(スキャン)する。網膜検出部107は、検出結果を制御部111に出力する。なお、図2では、一例として、ユーザが装着装置10を装着した状態で、網膜検出部107がユーザの右目近傍に位置するように設定されている。制御部111では、網膜検出部107の検出結果を利用して、装着装置10を使用しているユーザを特定する。なお、各ユーザの網膜情報は、記憶部112に記憶されているものとする。
視線検出部108は、上述の赤外線照射部からの光を角膜で反射させてユーザの視線方向を検出する。視線検出には、この角膜反射法に加え、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、本実施形態ではいずれの視線検出方法を用いることとしてもよい。視線検出部108は、ユーザの視線を検出し、ユーザの視線をユーザからの操作として受け付け、受け付けた操作情報を制御部111に送信する。
記憶部112は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部101が撮像した画像データや、表示部102に表示する表示データなどを記憶する。また、記憶部112は、制御部111が装着装置10を使用しているユーザを特定する際に利用する、各ユーザの網膜情報を記憶する。更に、記憶部112は、図10に示すような成績DBを記憶する。
成績DBは、ユーザが装着装置10の後述する“テストモード”を利用して教科書の学習を行った場合の成績を管理するデータベースであり、図10に示すように、ユーザ名、科目名、書籍名、ページ、解答数、正答数、正答率、ランクの各フィールドを有する。ユーザ名のフィールドには、装着装置10を利用するユーザの氏名等が格納される。科目名のフィールドには、教科書の科目名が格納される。また、書籍名のフィールドには、ユーザが学習を行った教科書の名称が格納され、ページのフィールドには、ユーザが学習を行ったページの番号が格納される。また、解答数及び正答数のフィールドには、ユーザが回答した数と、正答した数が格納され、正答率のフィールドには、教科書ごとの正答率(=正答数/解答数)が格納される。また、ランクのフィールドには、正答数から導き出される各科目のランク(得意、不得意の度合い)が格納される。
図1に戻り、通信部110は、他の機器と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)、近接通信(例えばBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標))、または、ユーザ(人体)を介して通信する人体通信を行う。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがあり、いずれの方式を用いることも可能である。
制御部111は、装着装置10全体を統括的に制御する。制御部111は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。なお、制御部111の制御の一部を外部のサーバを用いて処理するようにしてもよい。この場合、制御部111は、通信部110を用いて各種データを外部のサーバに送信し、外部サーバによる処理結果を受信するようにすればよい。また、装着装置10に位置データを取得する位置検出部(例えばGPSモジュール)や、方位を検出する方位検出部のようなセンサを設け、ユーザの位置やユーザが向いている方位を検出するようにしてもよい。
次に、本第1の実施形態の装着装置10による処理について、図3〜図10に基づいて詳細に説明する。なお、本第1の実施形態では、装着装置10を装着したユーザが図3に示すような日本史の教科書を閲覧した状態で、制御部111が実行する処理について説明する。図3に示す教科書においては、各ページの左上と右下に所定のマーク(図3では●)が付されている。このマークは、各ページの範囲を特定するためのマークである。また、図3の教科書の各ページの左下には、2次元コード(QRコード(登録商標))が付されている。この2次元コードには、教科書の属性(科目、教科書名、出版社など)の情報が含まれている。また、教科書の各ページにおいては、重要部分の前後に所定のマーク(図3では▼)が付されている。なお、重要部分の前後のマークを異なるマーク(例えば、▲と▼など)としてもよい。更に、教科書の各ページにはページ番号が付されている。
図4、図7には、本第1の実施形態における制御部111の処理がフローチャートにて示されている。図4は“学習モード”に関する処理であり、図7は、“テストモード”に関する処理である。なお、図4と図7の処理は同時並行的に実行される処理である。なお、図4、図7の処理の前提として、制御部111は、装着装置10を利用するユーザの認証処理を、網膜検出部107の検出結果に基づいて、既に行っているものとする。
(図4の処理について)
図4の処理では、まず、ステップS10において、制御部111は、“学習モード”に設定されるまで待機する。この場合、ユーザが操作部103等を介して、“学習モード”の設定を行うと、制御部111は、ステップS12に移行する。なお、“学習モード”は、教科書を用いた学習を行うモードであり、当該モードでは、撮像部101は、常時、ユーザが見ている方向の画像を撮像するものとする。
ステップS12に移行すると、制御部111は、教科書名、ページ番号等を認識するまで待機する。この場合、ユーザが教科書のあるページを見ることで、撮像部101が当該ページを撮影すると、制御部111は、撮影された画像に含まれる2次元コードから教科書名等を取得するとともに、ページ番号の情報を取得し、ステップS14に移行する。
ステップS14に移行すると、制御部111は、ユーザが見ている(撮像部101が撮像している)ページ内において、重要部分を認識したか否かを判断する。図3のように、撮像部101が撮像しているページ内(マーク(●)により規定される範囲内)において、所定のマーク(▼)を取得できる場合には、ステップS14の判断が肯定され、ステップS16に移行する。なお、ページ内に所定のマーク(▼)が存在しない場合には、ステップS14の判断が否定され、ステップS22に移行する。
ステップS16に移行した場合、制御部111は、重要部分を黒塗り表示する。具体的には、制御部111は、2つの隣接するマーク(▼)の間を重要部分とみなして、当該重要部分が隠れるように(重要部分に重畳するように)、表示部102に黒塗り表示(マスク表示)させる。図5には、表示部102において黒塗り表示がされた場合の、ユーザの実視界範囲(見える範囲)を示している。図5に示すように、ユーザにとっては、各ページの重要部分が黒塗りされた状態で見えるようになっている。なお、制御部111は、撮像部101が撮影した画像に合わせて黒塗り部分を表示するので、黒塗り部分は、ユーザが顔を動かした場合でもマーク(重要部分)に追従するようになっている。
次いで、ステップS18では、制御部111は、重要部分がなぞられたか否かを判断する。すなわち、制御部111は、撮像部101により撮像された画像を解析することにより、ユーザの指が重要部分(2つの隣接するマーク(▼)の間の部分)をなぞる動作を行ったか否かを判断する。このステップS18の判断が否定された場合には、ステップS22に移行するが、肯定された場合には、ステップS20に移行する。
ステップS20に移行すると、制御部111は、ユーザによってなぞられた部分の黒塗り表示を解除する。例えば、図5の上から3つ目の黒塗り部分をユーザがなぞったとする。この場合、制御部111は、図6において破線枠にて示すように、“冠位十二階”の部分の黒塗り表示を解除する。その後は、ステップS22に移行する。
ステップS14又はS18の判断が否定された後、あるいはステップS20の処理が実行された後、ステップS22に移行すると、制御部111は、“学習モード”が終了であるか否かを判断する。すなわち、ユーザが操作部103等を介して“学習モード”の終了指示を入力すると、ステップS22の判断は肯定され、制御部111は、図4の全処理を終了する。一方、ステップS22の判断が否定された場合には、ステップS24に移行し、制御部111は、ユーザが別ページを見たか否かを判断する。この場合、制御部111は、撮像部101により撮像されている画像内のページ番号が変更された場合に、ユーザが別ページを見たと判断する。このステップS24の判断が否定された場合、ステップS18に戻る。一方、ステップS24の判断が肯定された場合、ステップS14に戻る。ステップS14に戻った場合には、制御部111は、新たに開かれたページの重要部分に対応する黒塗り表示を表示部102に表示させるなどの処理を実行する。
以上のように、“学習モード”において重要部分を黒塗り表示したり、ユーザの動作(なぞる動作)により黒塗り表示を解除したりすることで、ユーザは、教科書を用いた学習を効率的に行うことができる。この場合、暗記用のペンなどで重要部分を塗ったり、暗記用のシートを用いたりしなくても暗記用のペン、シートを用いた学習と同様の学習を行うことができる。
(図7の処理)
次に、図7の処理について説明する。図7の処理は、図4の処理において“学習モード”に設定されている間(ステップS10の判断が肯定された後、ステップS22の判断が肯定されるまでの間)に、図4の処理と並行して実行される処理である。
図7の処理では、まず、ステップS30において、制御部111は、“テストモード”に設定されるまで待機し、ユーザからの入力により“テストモード”に設定された段階で、ステップS32に移行する。なお、“テストモード”とは、ユーザの理解度を確かめるため、ユーザに黒塗り部分を解答させ、正解か否かを判定するモードである。
ステップS32に移行すると、制御部111は、ユーザが重要部分に触れたか否かを判断する。この場合、制御部111は、撮像部101により撮像された画像を解析し、ユーザの指が重要部分をタッチしたと判断した場合に、ステップS32の判断が肯定される。制御部111は、ステップS32の判断が肯定された場合には、ステップS34に移行するが、否定された場合には、ステップS48に移行する。
ステップS32の判断が肯定されてステップS34に移行すると、制御部111は、入力インタフェースを表示部102に表示させる。具体的には、制御部111は、一例として、図8に示すような手書き入力が可能な入力インタフェース42を表示部102に表示させる。ここで、図8の入力インタフェース42には、入力文字表示欄42a、削除ボタン42b、OKボタン42c、手書き入力欄42dが設けられている。なお、入力インタフェース42は、枠や文字以外は透明表示となっているため、ユーザは、手書き入力欄42d内で指を動かすことで、タッチパネルと同様、手書き入力を行うことができる。制御部111は、撮像部101により撮像されるユーザの指の動きからユーザが手書きした文字を推定して入力文字表示欄42aにテキストを表示する(図9参照)。また、制御部111は、ユーザによって削除ボタンが押された場合には、入力文字表示欄42a内のテキストを1文字削除し、ユーザによってOKボタンが押された場合には、入力文字表示欄42a内のテキストをユーザの解答として扱うものとする。すなわち、制御部111は、ユーザがOKボタンを押すまでの間(ステップS38が肯定されるまでの間)、ユーザからの入力受付を行う(S36)。そして、ステップS38の判断が肯定された場合には、ステップS40に移行する。
ステップS40に移行すると、制御部111は、入力された文字列と重要部分のテキストとが一致するか否かを判断する。この場合、制御部111は、入力文字表示欄42aに表示されているテキスト(例えば“推古天皇”)と、撮像部101により撮像された画像のうちユーザがタッチした重要部分を文字認識処理して得たテキスト(例えば“推古天皇”)とを比較する。このステップS40の判断が肯定された場合には、ステップS42に移行し、制御部111は、正解と判定し、その旨を表示部102に表示させる。一方、ステップS40の判断が否定された場合には、ステップS44に移行し、制御部111は、不正解と判定し、その旨を表示部102に表示させる。ステップS42,S44の後は、制御部111は、ステップS46に移行する。
ステップS46に移行すると、制御部111は、判定結果を成績DBに格納する。例えば、ステップS42を経た場合には、制御部111は、図10の成績DBのうち、該当する書籍名及びページに対応する解答数を+1し、正答数を+1する。一方、ステップS44を経た場合には、制御部111は、図10の成績DBのうち、該当する書籍名及びページに対応する解答数を+1する。また、制御部111は、更新後の解答数及び正答数を用いて、正答率を再計算し、ランクを再設定する。その後は、ステップS48に移行する。
ステップS46を経た後、又はステップS32の判断が否定された後、ステップS48に移行すると、制御部111は、“テストモード”が終了であるか否かを判断する。すなわち、ユーザが操作部103等を介して、“テストモード”の終了指示を入力すると、ステップS48の判断は肯定され、制御部111は、図7の全処理を終了する。一方、ステップS48の判断が否定された場合には、ステップS32に戻り、ステップS32以降の処理を繰り返す。
以上のように、“テストモード”では、制御部111は、ユーザが入力インタフェース42上で入力した内容が、黒塗り表示した部分(重要部分)と一致するか否かを判断し、正解か否かを判断するので、教科書ごとのソフトウェアやデータベースを用意しなくても、既存の教科書(紙媒体)を用いてユーザの理解度の確認等(テスト)を行うことができる。
ここで、成績DBでは、科目ごとのユーザのランクを管理しているので、当該ランクに基づいて、表示部102における表示方法を異ならせることもできる。例えば、ランクが高い(成績がよい)場合には、解答の制限時間を短く設定してもよい。また、ランクが低い(成績が悪い)場合には、時間の経過とともに黒塗り部分の面積を小さくしたり、黒塗り表示を虫食い状態にすることで、ユーザに解答させやすくしてもよい。
なお、図8、図9においては、入力インタフェース42として、手書き入力可能な入力インタフェースを表示部102に表示させる場合について説明したが、これに限られるものではない。例えば、図11に示すような、キーボード入力が可能な入力インタフェース42’を表示部102に表示させることとしてもよい。制御部111は、図11の入力インタフェース42’に対する、ユーザの指の動きに応じてローマ字入力を検出し、ユーザの指による漢字変換ボタンを押す動作を検出した場合に、漢字変換を行うものとする。
以上、詳細に説明したように、本第1の実施形態によると、制御部111は、ユーザが閲覧する文書(例えば、教科書)の情報を撮像部101が撮影した画像から取得するとともに、文書の情報に基づいて、ユーザの目に対向する表示部102に文書の一部(例えば、重要部分)の見え方を異ならせる表示(例えば、黒塗り表示)を行わせる。これにより、ユーザが装着装置10を装着することで、文書の一部が異なる見え方(重要部分がマスクされた状態)となるので、暗記ペンや暗記シートを用いる場合と同様の学習を行うことができ、ユーザの利便性が向上する。なお、本第1の実施形態では、制御部111は、重要部分を学習(暗記等)するというタスクを実行するため、当該学習を補助する情報(黒塗り表示)を表示部102に表示させているとも言える。
また、本第1の実施形態では、制御部111は、ユーザの属性(例えば成績DBに格納されているユーザのランク)を取得し、該ユーザの属性に応じて、見え方を異ならせる部分(黒塗り部分)の範囲(虫食いにするか否か)や表示時間(制限時間)を異ならせる。このように、ユーザの属性(レベル等)に合わせた黒塗り部分の表示を行うことで、ユーザは、自己のレベルに合った学習を行うことが可能となる。
また、本第1の実施形態では、制御部111は、見え方を異ならせる表示(黒塗り表示)に対する入力インタフェース(図8、図9、図11等参照)を表示部102上に表示する。これにより、ユーザは、黒塗り表示により隠れている教科書の重要部分の情報(解答)を入力することができる。
また、本第1の実施形態では、制御部111は、教科書を撮影する撮像部101の撮影結果(画像)に基づき教科書の情報を取得するので、ユーザが教科書の情報を手入力等しなくてもよいため、利便性が向上する。
なお、上記第1の実施形態では、制御部111は、ユーザの属性として成績DBに格納されているユーザのランクを取得し、黒塗り部分の表示をランクに応じて異ならせる場合について説明したが、これに限られるものではない。例えば、制御部111は、ユーザの属性として、ユーザの年齢や学年、性別、志望校等の情報を取得し、該情報に基づいて黒塗り部分の表示を異ならせることとしてもよい。また、上記第1の実施形態では、制御部111が、ユーザのランクを成績DBから取得する場合について説明したが、これに限らず、ユーザが手入力したランク(自己申告のランク)を取得してもよい。
なお、上記第1の実施形態では、制御部111は、所定のマーク(▼)が付された部分を黒塗り表示する場合について説明したが、これに限らず、例えば、教科書のうち、所定の色でマーキングされた部分を黒塗り表示することとしてもよい。これにより、ユーザが所定の色のペンでマーキングした部分を黒塗り表示させることができるので、ユーザが隠したい部分のみを黒塗り表示させることが可能となる。
なお、上記第1の実施形態では、制御部111は、ユーザの指の動きに基づいてユーザの解答を認識する場合について説明したが、これに限られるものではない。例えば、制御部111は、ユーザが発した音声をマイク104で取得し、音声認識することで、ユーザの解答を認識することとしてもよい。また、制御部111は、視線検出部108が検出したユーザの視線の動きに基づいて、ユーザの解答を認識することとしてもよい。
なお、上記第1の実施形態では、2次元コードにページ番号の情報が含まれていてもよい。この場合、同一書籍内でもページごとに2次元コードを異ならせる必要がある。
なお、上記第1の実施形態では、日本史の教科書において重要部分を黒塗り表示等する場合について説明したが、これに限らず、その他の社会科(世界史、地理、公民など)や、その他の科目(国語(現代文、古文、漢文等)、英語、理科(物理、化学、生物、地学等)、数学等)の書籍においても同様の処理を行うことが可能である。
なお、装着装置に代えて、スマートフォンなどの電子機器を用いる場合、スマートフォンの制御部は、撮像部によって教科書を撮影し、その撮影画像(ライブビュー画像)を表示部に表示するとともに、当該撮影画像に黒塗り表示を重畳させるようにしてもよい。すなわち、電子機器の制御部は、表示部に撮像部が撮像する画像と、黒塗り表示とを同時に表示することとしてもよい。このようにしても、上記第1の実施形態と同様の効果を得ることができる。
なお、上記第1の実施形態では、文書の一部の見え方を異ならせる表示として、黒塗り表示を例示したがこれに限られるものではない。例えば、黒塗り表示に代えて別の色のマスク表示を行ったり、モザイク表示を行うこととしてもよい。また、マスク表示に代えて、重要部分をハイライト表示することとしてもよい。
なお、上記第1の実施形態では、制御部111は、2次元コードから教科書の情報を取得する場合について説明したが、これに限られるものではない。例えば、教科書に埋め込まれた近接通信可能な通信部との間で、通信部110が近接通信を行うことで、制御部111が教科書の情報を取得することとしてもよい。また、教科書に埋め込まれた人体通信可能な通信部との間で、通信部110がユーザの人体を介して人体通信を行うことで、制御部111が教科書の情報を取得することとしてもよい。
(変形例1)
以下、変形例1について説明する。なお、上記第1の実施形態では、制御部111は、教科書に付されたマークに基づいて重要部分を認識する場合について説明したが、本変形例1では、記憶部112に格納された重要部分DB(図12(a)参照)において重要部分の情報を保持するものとし、制御部111は、該重要部分DBに基づいて、教科書の重要部分を認識するものとする。
重要部分DBは、図12(a)に示すように、書籍名、ページ、重要部分、選択肢の各フィールドを有する。重要部分DBでは、各教科書の各ページにおける重要部分(重要単語)を定義している。また、各重要部分に関連して、“テストモード”において表示する選択肢を格納している。なお、重要部分DBに格納されるデータは、例えば出版社等が設定し、ユーザが利用する装着装置10に対して提供されるものとする。ただし、これに限らず、ユーザ自身が、重要部分DBにデータを格納(入力)したり、重要部分DBから不要なデータを削除するなど、重要部分DBをカスタマイズしてもよい。
本変形例1では、基本的には、図4、図7と同様の処理を実行するが、重要部分DBを用いる点において一部処理の内容が異なる。例えば、図4のステップS14において重要部分を認識する場合、制御部111は、ユーザが閲覧している教科書のページ全体を文字認識し、重要部分DBに格納されている重要部分(重要単語)と一致する箇所を重要部分として認識する。このようにしても、ステップS16においては、図5と同様の黒塗り表示を行うことができる。
また、例えば、図7のステップS34では、制御部111は、図8、図9、図11と同様の入力インタフェースを表示部102に表示させる以外に、図12(b)に示すような択一式の問題に解答するためのインタフェース42”を表示部102に表示させることができる。この場合、制御部111は、図12(a)の重要部分DBを参照して、重要部分に対応する選択肢を抽出して図12(b)のインタフェース42”を作成する。
なお、ユーザは、上記第1の実施形態と同様、制御部111は、ユーザの指が選択肢の1つを指し示したことを検出することで、ユーザの解答を受け付けることができる。ただし、これに限らず、制御部111は、ユーザが発した音声をマイク104で取得し、音声認識することで、ユーザの解答入力を受け付けることとしてもよい。あるいは、制御部111は、ユーザの視線の動きを視線検出部108で取得することで、ユーザの解答入力を受け付けることとしてもよい。あるいは、ユーザの指の本数を検出することで、ユーザの解答を受け付けることとしてもよい。
以上のように、本変形例1を採用しても、上記第1の実施形態と同様の効果を得ることができる。また、本変形例1によれば、教科書にマークを付す必要がない。また、ユーザ自身が重要部分DBをカスタマイズすることで、個々のレベルや好みに合わせた学習が可能となる。
また、本第1の実施形態では、制御部111は、表示部102に文書の一部の見え方を異ならせる表示を行うとともに、見え方を異ならせる部分に関連する情報を表示させる。例えば、制御部111は、黒塗り部分に関連する情報として、図12(b)等に示すような問題(選択肢)を表示する。これにより、ユーザは、見え方を異ならせ部分(黒塗り部分)に関連する情報を用いた学習を行うことが可能となる。
なお、本変形例1においても、上記第1の実施形態と同様、成績DB(図10)に格納されているユーザのランクに応じて、表示部102の表示を異ならせてもよい。例えば、重要部分DBにおいて、各重要部分のカテゴリ(人名、年号、制度)などを管理している場合には、図13に示すように、黒塗り表示上又は近傍にカテゴリを表示してもよい。また、重要部分DBにおいて、各重要部分に対応するヒントを管理している場合には、制御部111は、時間の経過に応じて、黒塗り表示上又は近傍にヒントを表示してもよい。なお、重要部分のカテゴリごと、あるいは重要度ごとに黒塗り表示の表示色を異ならせてもよい。なお、上記第1の実施形態と変形例1とを、ユーザの属性(例えば成績DBのランク)に応じて、使い分けてもよい。例えば、ユーザのランクが高い場合には、第1の実施形態のように手書き(図8、図9)又はキーボード入力(図11)とし、ユーザのランクが低い場合には、変形例1のように選択解答方式(図12(b))としてもよい。
なお、上記変形例1では、図12(a)の重要部分DBが記憶部112に予め記憶されている場合について説明したが、これに限られるものではない。例えば、2次元コードから書籍の情報を取得した後に、取得した書籍の情報に対応する重要部分DBを外部のサーバからダウンロードするようにしてもよい。この場合、ユーザが閲覧する書籍が変更された場合には、変更前の書籍に対応する重要部分DBを破棄するようにしてもよいし、所定期間の間は装着装置10内で保持するようにしてもよい。
(変形例2)
以下、変形例2について説明する。なお、上記変形例1では、重要部分がテキストである場合を例に説明したが、本変形例2では、重要部分が画像である場合について説明する。
図14には、変形例2にかかる重要部分DBの一例が示されている。図14の重要部分DBでは、重要部分として教科書に載っている画像が格納され、選択肢として重要部分の画像を含む3つの画像が格納されている。
本変形例2では、図15(a)に示すように、制御部111は、重要部分として画像を特定し、表示部102において該画像に対応する部分を黒塗り表示する(S16)。そして、制御部111は、該画像にユーザが触れた場合(S32:肯定)に、図15(b)に示すように、図14の重要部分DBに基づいて問題(選択肢)を表示する(S34)。
本変形例2においても、ユーザは指の動きや、音声、視線の動き等により解答を行えばよい。
(変形例3)
次に、変形例3について説明する。本変形例3では、教科書内の所定の単語に対して、付加情報(リンク情報)を表示する場合について説明する。
本変形例3では、図16(a)に示すように、記憶部112にリンクDBが格納されているものとする。リンクDBは、図16(a)に示すように、書籍名とページに対応して、リンク元とリンク情報を格納している。リンク元のフィールドには、教科書内の単語が格納され、リンク情報のフィールドには、教科書内の単語に関連する情報が格納される。例えば、図16(a)では、リンク元の単語“603年”に対し、リンク情報として“中国:隋、朝鮮:新羅”が格納されている。
本変形例3では、図4や図7の処理を行うとともに、例えば、ユーザの指が単語(リンク元)“603年”(例えば、ハイライト表示されているものとする)に触れた場合に、表示部102の単語“603年”の近傍に、リンク情報“中国:隋、朝鮮:新羅”を表示する。これにより、ユーザは、指で触れたリンク元の単語に関連する情報(リンク情報)を併せて学習することができる。
なお、リンク元やリンク情報は、画像データを含んでいてもよい。また、リンク情報としては、関連するページの情報(ページ番号等)を含んでいてもよい。また、リンクDBのデータは、ユーザが種々カスタマイズしてもよい。
(変形例4)
以下、変形例4について説明する。本変形例4では、英語の単語帳をユーザが閲覧している場合における制御部111の処理について説明する。
ユーザは、一例として、図17(a)に示すような英語の単語帳を閲覧したものとする。なお、図17(a)に示すように、単語帳には、図3の歴史の教科書と同様、マーク(●、▼)や、2次元コード、ページ数が記載されているものとする。
制御部111は、ユーザが図17(a)の単語帳を閲覧していることを、2次元コードやマーク、ページ数から検出すると、図17(b)に示すように、表示部102上(ユーザの実視界(図17(b)において二点鎖線で示す範囲)内)に、“writing”ボタン44a、“listening”ボタン44b、“pronunciation”ボタン44cを表示する。そして、ユーザによって、例えば“writing”ボタン44aが選択された場合には、制御部111は、単語帳内の重要部分(2つのマーク▼で挟まれた部分)を黒塗り表示する。そして、ユーザが重要部分に触れた場合には、制御部111は、図18(a)に示すように、表示部102上に入力インタフェース(キーボード入力)46を表示する。
この場合、ユーザが入力インタフェース46を介してスペルを入力すると、制御部111は、当該スペルと、黒塗りした重要部分を文字認識処理して得たテキストと、を比較することで、正解か否かを判断する。なお、入力インタフェースとしては、図18(b)に示すような手書き入力用の入力インタフェース46’を表示部102上に表示してもよい。なお、制御部111は、解答に制限時間を設け、時間の経過とともに黒塗り表示を少しずつ減らし、ユーザに対してヒントを提供するようにしてもよい。
なお、ユーザが、図19(a)に示すように“listening”ボタン44bを選択した場合には、ユーザが触れた単語を文字認識し、文字認識結果に対応する音声データを、記憶部112から取得し、スピーカ105から出力すればよい。なお、制御部111は、ユーザが見ているページ内に存在する単語のいずれかをランダムに選択し、当該単語の音声データをスピーカ105から出力してもよい。この場合、ユーザは、音声データに対応する単語を指差すようにし、制御部111は、ユーザが指差した単語が正しいか否かを判断し、判断結果(正解か否か)を表示部102等に出力してもよい。また、ユーザが、図19(b)に示すように“pronunciation”ボタン44cを押した場合には、制御部111は、ユーザが触れた単語を検出し、その後にユーザが発した音声を検出し、当該音声(発音)と、記憶部112に記憶されている音声データとが合致するか否かを分析し、分析結果を出力してもよい。
このように、装着装置10は、英語学習においても利用することができる。なお、本変形例4においても、上記変形例1〜3と同様の処理(重要部分DBやリンクDBを用いた処理)を採用することが可能である。例えば、記憶部112に英和辞典のデータが格納されている場合には、制御部111は、ユーザが英語の文章の中から所定の英単語をなぞった場合に、当該単語の意味等を表示部102上に表示するようにしてもよい。
《第2の実施形態》
次に、第2の実施形態に係る装着装置10について、図20〜図22に基づいて説明する。なお、第2の実施形態に係る装着装置10の構成は、第1の実施形態に係る装着装置10の構成と同様であるので、説明は省略するものとする。
本第2の実施形態の装着装置10は、例えば、ユーザのタスクとして、平仮名の書き取りに関する処理を実行するものとし、記憶部112には、平仮名の書き順に関するデータ、書き順のアニメーションデータが格納されているものとする。
以下、本第2の実施形態に係る装着装置10の制御部111による処理について、図20のフローチャートに沿って、その他図面を適宜参照しつつ説明する。
図20の処理では、まず、ステップS102において、制御部111が、“書き取りモード”に設定されるまで待機する。ユーザが操作部103等を介して“書き取りモード”に設定すると、ステップS104に移行する。
ステップS104に移行すると、制御部111は、書き取りノートを認識するまで待機する。ここで、書き取りノートとは、図21(a)に示すような、見本の文字(あ、い、う等)を表示する欄48と、ユーザが文字を手書きする書き取り欄49と、2次元コードと、が印刷されたノートであるものとする。2次元コードは、書き取りノートの情報を含んでいるものとする。ユーザが書き取りノートを見ている状態では、撮像部101により書き取りノート(2次元コードを含む)が撮像されるため、制御部111は、書き取りノートを認識し、ステップS106に移行する。
ステップS106に移行すると、制御部111は、図21(b)に示すように、“かきじゅんのかくにん”(書き順の確認)ボタンを表示部102上(ユーザの実視野内)に表示する。次いで、ステップS108では、制御部111は、ユーザが見本の文字の1つに触れた後に“かきじゅんのかくにん”ボタンに触れたか否かを判断する。このステップS108の判断が肯定された場合には、ステップS110に移行し、制御部111は、書き順を表示する。例えば、図21(b)において、ユーザが平仮名“あ”に触れた後、“かきじゅんのかくにん”ボタンに触れる動作を行った場合には、図22(a)に示すように、表示部102の中央部近傍に平仮名“あ”の書き順を示すアニメーションを表示する。なお、書き順のアニメーションデータは、前述のように、記憶部112に記憶されているものとする。上記のようにステップS110の処理が行われた後は、ステップS112に移行する。
なお、ステップS108の判断が否定された場合、制御部111は、ステップS110を経ずに、ステップS112に移行する。
ステップS112に移行すると、制御部111は、ユーザの書き順を認識したか否かを判断する。具体的には、ユーザが書き順ノートの書き取り欄49に鉛筆やペンで平仮名を書いた場合に、当該書き順を撮像部101が撮像した画像から認識する。ステップS112の判断が否定された場合には、ステップS108に戻るが、肯定された場合には、ステップS114に移行する。
ステップS114に移行すると、制御部111は、正しい書き順であったか否かを判断する。この場合、制御部111は、ステップS112で認識した書き順と、記憶部112に記憶されている書き順のデータとが一致するか否かを判断する。このステップS114の判断が肯定された場合には、ステップS116に移行し、否定された場合には、ステップS118に移行する。
ステップS116に移行した場合、制御部111は、図22(b)に示すように、表示部102上に正解表示(“せいかい”の表示)を行う。一方、ステップS118に移行した場合には、制御部111は、表示部102上に不正解表示を行う。なお、正解や不正解の情報は、表示部102以外、例えばスピーカ105から出力してもよい。
以上のように、本第2の実施形態によると、制御部111は、撮像部101が撮像した画像に基づいて、ユーザのタスク実行(書き取り)を補助する情報(書き順のアニメーションデータ)を記憶部112から取得し、取得した補助する情報(書き順のアニメーションデータ)を表示部102に表示させる。これにより、ユーザは、書き取りを行う際に書き順のアニメーションを確認することで、適切な書き順で書き取りを行うことが可能となる。
また、ユーザによる書き取りにおける書き順が正しいか否かを制御部111が判断して、判断結果を表示部102に表示するので、ユーザは、都度、書き順が正しいかどうかをチェックしながら、書き取りを行うことができる。
なお、上記第2の実施形態は、書き取りに限らず、書道においても利用することが可能である。例えば、書道の手本を表示部102に表示する。これにより、ユーザは、手本をなぞるように筆を動かすことで、手本と同様の文字を書く練習をすることができる。
なお、上記実施形態では、平仮名の書き取りについて説明したが、これに限らず、その他の文字(例えば、片仮名、漢字、アルファベットなど)の書き取りにおいても適用することができる。
なお、上記第2の実施形態では、ユーザのタスクが文字の書き取りである場合について説明したが、これに限らず、その他のタスクをユーザが行う場合にも、装着装置10を用いることができる。以下、他のタスクをユーザが行う場合について説明する。
(ユーザのタスクが数学の問題に対する解答作成の場合)
ユーザのタスクは、例えば、数学の問題に対する解答作成であってもよい。例えば、図23(a)に示すようにユーザが紙に印刷された数学の問題を見ている場合(撮像部101が数学の問題を撮影している場合)に、ユーザが式(y=x2)を指でなぞったとする。この場合、制御部111は、なぞられた式(y=x2)の情報(例えば、図23(b)に示すようなグラフ)を、ユーザの解答作成を補助する情報として表示部102に表示させる。このようにすることで、ユーザは、式の内容をイメージしやすくなる。なお、式とグラフを対応付けたデータは、記憶部112から取得してもよいし、外部のサーバから取得してもよい。
また、ユーザが図24(a)に示すような紙に印刷された数学の問題を見ている(撮像部101が撮影している)とする。制御部111は、2次元コードから問題を認識するが、ここでは、認識した問題が、補助線をひく必要のある問題であったものとする。この場合、制御部111は、図の範囲をマーク(■)で特定し、“補助線をひく”ボタンを表示部102に表示させる。そして、制御部111は、ユーザがボタンに触れる動作を行ったことを検出すると、図24(a)の問題(図)に対して予め用意されている情報を表示部102に表示させる。例えば、制御部111は、予め用意されている、問題の解答作成を補助する情報(図24(b)に示すような補助線の情報)を表示部102に表示させる。この場合、制御部111は、図の範囲をマーク(■)で特定しているので、当該範囲の所定位置に補助線を表示することが可能となる。これにより、ユーザは、補助線を用いて問題の解答を考えることが可能になる。
なお、数学に限らず、物理や化学の問題の場合でも、問題を解くことを補助する情報を表示部102に表示してもよい。例えば、問題に関連して、物理現象や化学変化の動画やアニメーションを記憶部112で保持している場合には、問題を解くタイミングで当該動画やアニメーションを表示部102に表示することとしてもよい。
(ユーザのタスクが絵画を描くことである場合)
また、ユーザのタスクは、絵画を描くことであってもよい。例えば、装着装置10が“輪郭抽出モード”に設定されている場合において、図25(a)に示すように、ユーザが絵を描く対象として犬を見て、犬を指差したとする。この場合、制御部111は、撮像部101が撮影した画像から、ユーザが指差した先に存在する物体(犬)を認識し、図25(b)に示すように物体(犬)の大まかな輪郭を抽出する。その後、ユーザが画用紙やキャンバスを見た場合、制御部111は、犬の絵を描くというタスクを補助する情報として、図26に示すように、犬の輪郭を表示部102に表示させる。
このように、制御部111は、物体(犬)の輪郭情報をユーザのタスクを補助する情報として表示するので、ユーザは、犬の輪郭を鉛筆やペンなどでなぞることで、画用紙やキャンバス上で犬の輪郭をとる練習(物体の形を把握する練習)をすることができる。
なお、犬の背景に位置する物体等の関係から、制御部111が犬の輪郭を抽出できない可能性もある。このような場合には、ユーザが、犬の大まかな範囲を指で指し示し、制御部111に当該範囲を認識させればよい。制御部111は、当該範囲において隣接する画素間の色の差が閾値よりも大きくなる部分を特定するなどすることで、犬の輪郭を抽出することが可能となる。
なお、図26においては、画用紙やキャンバスに重畳するように、画用紙やキャンバスを縦方向及び横方向に均等に分割する線や、水平を示す線などの補助線を表示部102上に表示するようにしてもよい。
また、ユーザのタスクが絵画を描くことである場合、書きたい物体の一部分をユーザが指差すことで、制御部111は、その部分の色の情報を表示部102上に表示するようにしてもよい。例えば、装着装置10が“色確認モード”に設定されている場合において、図27(a)に示すようにユーザが犬を見て、犬の足部分を指差したとする。この場合、図27(b)に示すように、制御部111は、ユーザが指差した部分の色を解析し、色の成分(ユーザが持っている絵の具の色の配合比率)を特定し、表示部102に表示させる。このように表示部102に配合比率を表示することで、ユーザは、色の配合を適切かつ容易に行うことができる。
なお、ユーザが保有している絵の具の色については、ユーザが事前に装着装置10に登録(手入力)してもよいし、撮像部101を用いて絵の具を撮影し、撮影された画像内の文字認識等を行うことで、絵の具の色の情報を取得し、登録してもよい。また、装着装置10や装着装置10と通信可能な端末を用いて、ユーザが絵の具を購入した場合には、当該購入履歴からユーザが保有する絵の具の色を特定し、登録してもよい。なお、色の情報を表示する場合、単にRGB表示することとしてもよい。
(ユーザのタスクがピアノを弾くことである場合)
ユーザのタスクがピアノを弾くことである場合には、制御部111は、ユーザの指の動かし方やペダルの踏み方を表示部102に表示させることとしてもよい。例えば、装着装置10が“ピアノ演奏モード”に設定され、図28(a)に示すようにユーザの実視界の範囲にピアノが入った場合(撮像部101によりピアノが撮影された場合)には、制御部111は、選択された曲目に合わせて、図28(b)に示すように、指の動かし方(運指番号)や、ペダルの踏み方を表示部102に表示させる。このように、ユーザの実視界(ピアノの鍵盤)に重畳するように情報を表示することで、ユーザは、楽譜が読めなくても、指の動かし方やペダルの踏み方を学ぶことができる。
なお、図28(b)では、運指番号に代えて、プロやピアノの先生がピアノを弾いているときの手の映像をピアノの鍵盤に重畳して表示するようにしてもよい。また、運指番号の表示速度や手の映像の表示速度は、ユーザが適宜変更できるようにすればよい。
なお、ピアノに限らず、縦笛やトランペットなどの管楽器、ギターやバイオリンなどの弦楽器、木琴やドラムなどの打楽器などにおいても上記のような処理を行うことができる。また、楽器に限らず、所定の器具(車や工作機械など)を使う場合に、制御部111は、当該器具の使い方に関する情報を表示部102に表示させてもよい。
なお、上記第2の実施形態において、ユーザのタスク実行を補助する情報が複数存在する場合には、ユーザの属性(レベル等)に応じて、表示する情報を異ならせてもよい。これにより、ユーザのレベル等に合った情報をユーザに提供することができる。
なお、上記第1、第2の実施形態及び変形例では、装着装置10の制御部111が全ての処理を実行する場合について説明したが、これに限らず、一部の処理を外部のサーバがやってもよい。
《第3の実施形態》
以下、第3の実施形態に係る電子機器20について、図29〜図32に基づいて説明する。
図29(a)には、第3の実施形態に係る電子機器20の平面図が示され、図29(b)には、電子機器20のブロック図が示されている。図29(a)に示すように、本実施形態に電子機器20は、スマートフォン、タブレット型端末などの機器であり、教科書のなどの書籍(電子書籍)を表示する。
図29(b)に示すように、電子機器20は、撮像部201、表示部202、操作部203、マイク204、スピーカ205、視線検出部208、通信部210、記憶部212、及び制御部211を備える。
撮像部201は、図29(a)に示すように表示部202の近傍に設けられ、表示部202を見ているユーザの顔を撮影し、撮影した画像を制御部211に入力する。
表示部202は、液晶ディスプレイ等を含み、電子書籍の画面を表示する。操作部203は、タッチパネル等であり、表示部202の表面に設けられている。マイク204は、ユーザ等が発した音声を収音し、制御部211に入力する。スピーカ205は、制御部211の指示の下、所定の音声を出力する。視線検出部208は、前述した画像解析法などにより、ユーザの視線の動きを検出する。
通信部210は、外部の装置(例えば、サーバ等)と通信する。記憶部212は、制御部211の処理に用いられる各種データを記憶する。例えば、記憶部212は、電子書籍のデータの他、図30(a)に示すようなリンクDBを記憶する。なお、図30(a)のリンクDBのデータ構造は、図16(a)のリンクDBと同様となっている。制御部211は、CPU等を備え、電子機器20全体を統括制御する。
次に、本第3の実施形態に係る電子機器20(主に制御部211)の処理について、図30(b)のフローチャートに沿って説明する。なお、図30(b)の処理の前提として、表示部202上には、図31に示すように、ユーザの操作により所定の教科書(電子書籍)が表示されており、図30(a)のリンクDBにおいてリンク元として登録されている単語が、ハイライト表示(マーカー表示)されているものとする。
図30(b)の処理においては、まず、ステップS302において、制御部211は、ユーザの視線の中心が図31に示すようにリンク元と一致するまで待機する。この場合、制御部211は、撮像部201が撮影した画像を解析して、ユーザの視線の中心が表示部202内のどこに位置するかを検出するとともに、当該位置に表示されている単語を抽出する。そして、制御部211は、抽出された単語がリンクDBに登録されているリンク元と一致した場合に、ステップS304に移行する。
ステップS304に移行すると、制御部211は、ユーザの視線の中心に位置する単語(リンク元)に対応するリンク情報をリンクDBから取得し、表示部202に表示する。この場合、制御部211は、表示部202に対し、ユーザの視線の近傍(ユーザが見ているリンク元の近傍)にリンク情報を表示させる(図32参照)。これにより、ユーザは、視線の先にあるリンク元の単語に関連する情報(リンク情報)を併せて学習することができる。その後は、ステップS302に戻り、上記処理・判断を繰り返す。
以上、説明したように、本第3の実施形態によると、制御部211は、撮像部201が撮像したユーザの画像に基づいて、電子書籍のうち、ユーザが見ている部分を特定し、当該部分の学習(暗記等)を補助する情報(リンク情報)をリンクDB(図30(a))から取得し、取得した情報を表示部202に表示させる。これにより、ユーザは、ユーザが見ている部分に関連する(付随する)情報も同時に学習することができるため、教科書の学習を効率的に行うことができる。
なお、上記第3の実施形態では、電子書籍が日本史の教科書である場合を例にとり説明したが、これに限らず、電子書籍は、図17のような英語、図21のような国語、図23のような数学などの書籍であってもよい。これらの書籍の場合にも、上記と同様、ユーザの視線に応じて、学習を補助する情報を表示するなどすればよい。また、図12(b)と同様、電子書籍の重要部分を黒塗り表示し、ユーザが黒塗り部分を所定時間以上注視した場合に、問題(選択肢)を表示することとしてもよい。
なお、上記第3の実施形態では、ユーザの視線に応じて情報等を表示する場合について説明したが、これに限らず、ユーザが所定の単語をタッチした場合にリンク情報等を表示することとしてもよい。
なお、リンク情報としては、他の関連ページにジャンプするためのURL等の情報を表示してもよい。
なお、上記各実施形態や変形例において、記憶部112、212に記憶されていた情報(DB等)は、外部のサーバが保持していてもよい。この場合、装着装置や電子機器の制御部は、必要に応じてサーバから情報を取得するようにすればよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。