JP2018189726A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】利用者の学習にかかる理解度を適切に推定する。【解決手段】実施形態における情報処理装置は、利用者が学習過程における教材を参照するときの前記利用者の行動を検出する検出手段と、前記検出手段による検出結果に基づいて、前記利用者の行動特徴量を抽出する抽出手段と、前記抽出手段により抽出した行動特徴量に基づいて、教材に対する理解度の高低に応じた複数の群のいずれに属するかを判定し、この判定の結果に基づいて前記教材に対する前記利用者の理解度を算定する理解度算定手段とを有する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、情報処理方法および情報処理プログラムに関する。

利用者（ユーザ）の理解度に合わせた適切な演習問題を当該利用者に提示すると、この利用者の学習効率が高まることが知られている（非特許文献１）。利用者に適する個別学習を提供するためには、利用者の学習にかかる理解度を推定する必要がある。学習には、教材を読むことで単元についての知識を獲得するフェーズと、問題を解いて演習するフェーズとが存在するが、利用者が問題を解いた際のデータ（問題回答データ）を用いて当該利用者の理解度を推定する、もしくは利用者に適する問題を選定する手法（以下、手法Ａと称することがある）はすでに提案されている（非特許文献２，３）。

知識を獲得するフェーズにて計測されたデータを用いて利用者の理解度を推定する手法のうち、利用者が新たにデバイスを装着して、この利用者の生体信号や視線を測定する手法も存在する。この手法では、例えば、利用者の心拍数や脳波といった生体情報に基づいて、当該利用者の状態を推定する手法（以下、手法Ｂ−１と称することがある）がある（非特許文献４，５）。また、講義コンテンツの移動方向と講義コンテンツに対する利用者の視線の移動方向とから、利用者が十分に精読できずに理解が不十分な箇所を推定する手法（以下、手法Ｂ−２と称することがある）もある（特許文献１）。

上記の、知識を獲得するフェーズにて計測されたデータを用いて利用者の理解度を推定する手法のうち、新たなデバイスを用いずに操作ログから利用者の理解度を推定する手法（以下、手法Ｃと称することがある）が存在する（非特許文献６）。この手法では、演習問題実施時の操作時間を利用して，利用者の理解の行き詰まりを検知する。

一方、教材の表示においては利用者が読んでいる箇所だけに意識を集中することが出来るようにした文書表示装置を用いた手法（以下、手法Ｄと称することがある）が存在する（特許文献２）。この手法は、利用者が読んでいる箇所を利用者自身がタブレット上で選択するため、利用者の読んでいる箇所を指位置から測定することも可能である。

特開２０１６−１１４６８４号公報 特許５９７６１８４号公報

Chen, Chih-Ming, Hahn-Ming Lee, and Ya-Hui Chen. "Personalized e-learning system using item response theory." Computers & Education 44.3 (2005): 237-255. 月原由紀, 鈴木敬一, 廣瀬英雄. "項目反応理論による評価を加味した数学テストと e-learning システムへの実装の試み." コンピュータ & エデュケーション 24 (2008): 70-76. Wilson, Kevin H., et al. "Back to the basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation." arXiv preprint arXiv:1604.02336 (2016). 野村収作, et al. "血行力学的パラメーターによる e ラーニング受講者の生理評価研究." 電気学会論文誌 C (電子・情報・システム部門誌) 131.1 (2011): 146-151. Szafir, Daniel, and Bilge Mutlu. "ARTFul: adaptive review technology for flipped learning." Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2013. 中村喜宏, et al. "操作時間間隔の変動に着目した CAI 学習の行き詰まり検知方法." 電子情報通信学会論文誌 D 85.1 (2002): 79-90.

上記の手法Ａでは、利用者が事前に問題を解いていない場合、問題解答データが存在しないので理解度を推定することが不可能であり、適切な問題を提示できない。また、利用者の問題回答データが存在する場合でも、問題数が少ないために十分な数の問題回答データが存在しない場合、これらの問題回答データから十分な精度で理解度を推定することはできない。十分な数の問題回答データ存在する場合、この問題回答データからある程度の精度で理解度を推定することは可能だが、より高い精度で理解度を推定することが出来れば、より効率的な学習支援が可能となるため、理解度推定の精度向上が望まれる。

また、上記の手法Ｂ−１では、利用者の生体情報を測定するための機器を当該利用者が装着する必要があるため、この利用者が煩わしさを感じ、学習効果を阻害する可能性がある。また、上記の生体情報によって推定される状態は、利用者の精神的な状態であり、必ずしも学習コンテンツの習得や理解度を示すものではないので、理解度の推定方法として十分とはいえない。

また、上記の手法Ｂ−２において、利用者の視線の計測に際して機器を当該利用者が装着する必要がある場合、もしくは利用者の頭の位置を固定する必要がある場合は、上記の手法Ｂ−１と同様に、利用者が煩わしさを感じ、学習効果を阻害する可能性がある。
一方、利用者への機器の装着や利用者の頭部の固定なしに、利用者が自由な運動が可能な状態で、外部カメラ等の計測機器で利用者の視線を計測する場合、この視線をセンチメートル単位で測定することは難しく、利用者が教材の何行目の何文字目を読んでいる、といった情報を正しく計測することは現在の技術では困難である。

また、上記の手法Ｂ−２の具体例として、機器の表示されるスライドを次のページに移行させるタイミングで、このスライドを利用者が読んでいるか否かを判定することで、利用者がスライドの内容を理解しているか否かを算出する手法がある。しかし、利用者がスライドの内容を理解し終えたために既にこのスライドを読んでいない場合と、利用者がスライドの内容に関心がない等の理由で、このスライドを読んでおらず、結果としてスライドの内容を理解していない場合とを区別することは困難である。

また、上記の手法Ｃでは、利用者が学習コンテンツに対して当てずっぽうに解答して偶然正解した場合と、利用者が自信をもって即座に解答して正解した場合との区別が困難である。また、利用者が過去の問題と正解とをそれぞれ記憶しており、問題の内容を考えずに記憶内容に基づいて解答することも考えられる。また、理解度を推定するためには学習コンテンツに対する、利用者による解答の記入操作が必要なことから、問題やクイズを利用者に提示する必要がある。よって、問題やクイズを頻繁に実施しない授業スタイルや、問題やクイズが用意されていない教材の場合は理解度を推定することは難しい。

また、上記の手法Ｄは、ユーザが教材を読むときの自然なスピードや、ユーザが教材を読むときの引っ掛かり(特定の箇所をゆっくり読みたいという要望)に対応可能で、かつユーザが読んでいる箇所だけに意識を集中することができるようにした手法であるため、利用者の行動を測定すること、および利用者の理解度を推定することは想定されていない。

すなわち、従来の方法では、問題回答データがない状態で、利用者に煩わしさを感じさせずに十分な精度で利用者の理解度を推定し、学習効率を向上させることは達成することができない。

本発明の目的は、利用者の学習にかかる理解度を適切に推定することができる情報処理装置、情報処理方法および情報処理プログラムを提供することである。

上記目的を達成するために、この発明の実施形態における情報処理装置の第１の態様は、利用者が学習過程における教材を参照するときの前記利用者の行動を検出する検出手段と、前記検出手段による検出結果に基づいて、前記利用者の行動特徴量を抽出する抽出手段と、前記抽出手段により抽出した行動特徴量に基づいて、教材に対する理解度の高低に応じた複数の群のいずれに属するかを判定し、この判定の結果に基づいて前記教材に対する前記利用者の理解度を算定する理解度算定手段とを有する装置を提供する。

上記構成の情報処理装置の第２の態様は、第１の態様において、前記教材で示される問題に対する利用者による過去の回答データを保存する保存手段をさらに備え、前記理解度算定手段は、前記抽出手段による抽出結果、および前記保存手段に保存される回答データに基づいて、前記教材に対する前記利用者の理解度を算定する装置を提供する。

上記構成の情報処理装置の第３の態様は、第１の態様において、前記検出手段は、前記利用者が前記教材を参照するときの前記教材の表示画面上における前記利用者の指の位置、および、前記表示画面における前記利用者の視線の少なくとも１種類を検出する装置を提供する。

上記構成の情報処理装置の第４の態様は、第１の態様において、前記理解度算定手段により算定した理解度に基づいて、前記利用者に対する問題を提示する問題提示手段をさらに備えた装置を提供する。

上記構成の情報処理装置の第５の態様は、第４の態様において、前記理解度算定手段により算定した理解度に応じた難易度を有する問題を問題候補から選定する問題選定手段をさらに備え、前記問題提示手段は、前記問題選定手段により選定した問題を提示する装置を提供する。

上記構成の情報処理装置の第６の態様は、第５の態様において、前記問題選定手段により選定できる、前記理解度算定手段により算定した理解度に応じた難易度を有する問題がない場合に、前記理解度算定手段により算定した理解度に応じた難易度を有する問題を新たに作成する問題作成手段をさらに備え、前記問題提示手段は、前記問題作成手段により選定した問題を提示する装置を提供する。

本発明の実施形態における情報処理方法の態様は、情報処理装置に適用される方法であって、利用者が学習過程における教材を参照するときの前記利用者の行動を検出し、前記検出の結果に基づいて、前記利用者の行動特徴量を抽出し、前記抽出した行動特徴量に基づいて、教材に対する理解度の高低に応じた複数の群のいずれに属するかを判定し、この判定の結果に基づいて前記教材に対する前記利用者の理解度を算定する方法を提供する。

本発明の実施形態における情報処理プログラムの態様は、第１の態様における情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、前記コンピュータを、前記検出手段、前記抽出手段、および前記理解度算定手段として機能させるためのプログラムを提供する。

本発明によれば、利用者の学習にかかる理解度を適切に推定することが可能になる。

本発明の実施形態における理解度推定装置の機能構成例を示すブロック図。 本発明の実施形態における理解度推定装置による処理動作の手順の一例を示すフローチャート。 本発明の実施形態における理解度推定装置の理解度推定部による処理の詳細について説明する図。

以下、この発明に係わる実施形態を説明する。
図１は、本発明の実施形態における理解度推定装置の機能構成例を示すブロック図である。
本発明の実施形態における理解度推定装置は、例えば図示しないプロセッサ（ＣＰＵ）、メモリ、記憶装置、入力装置、表示装置を備える、携帯可能な情報処理装置（例えばノート型ＰＣ（パーソナルコンピュータ）機器）として実現することができる。この理解度推定装置は、表示装置を、後述するタッチパネル式のディスプレイを備えた装置とした、携帯可能な情報処理装置（例えばタブレット型ＰＣ（パーソナルコンピュータ）やスマートフォン）として実現することもできる。以下では、特に説明のない限り、理解度推定装置が携帯可能であって、かつ、表示装置をタッチパネル式のディスプレイを備えた装置とした構成について説明する。入力装置は、例えばキーボードやマウスにより実現され、問題に対する解答などの、利用者による入力操作を受け付ける。

プロセッサは、メモリに格納されたプログラムを実行する。メモリは、例えば、不揮発性メモリなどの記憶装置であり、プロセッサによって実行されるプログラム及びプログラム実行時に使用されるデータを格納する。記憶装置は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサによって実行されるプログラム及びプログラム実行時に使用されるデータを格納する。すなわち、プロセッサによって実行されるプログラムは、記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行される。

図１に示すように、本発明の実施形態における理解度推定装置は、教材表示部（教材出力部）１００、センサデータ保存部１１０、理解度推定部１２０、問題選定部１３１、問題作成部１３２、問題提示部１４０、問題回答入力部１５０、問題回答データ保存部１６０、理解度データ保存部１７０、理解度提示部１７１、過去ユーザデータベース１８０を有する。これらの各部は、プロセッサが各部の為の所定のプログラムを実行することによって実現できる。

教材表示部１００は、指位置計測部１０１、視線計測部１０２、加速度計測部１０３、時間計測部１０４、画面表示部１０５、教材情報保存部１０６を含む。教材表示部１００は、教材として文字、画像を表示することができる他、後述するように動画や音声を再生するための表示画面を表示することもできる。

画面表示部１０５が、例えば文字や画像を表示する表示画面上にタッチパネルを配設したディスプレイなどにより当該画面表示部１０５を構成できるときは、このディスプレイに教材が表示される。利用者は画面表示部１０５のディスプレイの表示画面を見ながら、タッチパネルへの操作を行なうことができる。

指位置計測部１０１は、利用者がタッチパネルへの操作を行なうときの表示画面上の指位置（指のタッチ位置）を測定する。視線計測部１０２は、利用者が画面表示部１０５のディスプレイに表示される教材の表示画面を見ているときの、表示画面上での当該利用者の視線（表示画面上での視線座標）を測定する。加速度計測部１０３は、利用者が理解度推定装置を保持（携帯）して移動している際の当該理解度推定装置の筐体自体の加速度を測定する。なお、理解度推定装置が据え置き型の機器である場合、加速度計測部１０３は省略される。
上記の指位置計測部１０１、視線計測部１０２、加速度計測部１０３を用いて、利用者が学習過程における教材を参照するときの利用者の行動を検出することができる。

時間計測部１０４は、現在日時を測定する。指位置計測部１０１、視線計測部１０２、加速度計測部１０３の少なくとも１種類による測定結果で示される、教材を参照する利用者の行動にかかる測定結果は、時間計測部１０４により測定された現在日時とともにセンサデータ保存部１１０に出力される。
センサデータ保存部１１０は、例えば不揮発性メモリなどの記憶装置を有し、この記憶装置に対し、指位置計測部１０１、視線計測部１０２、加速度計測部１０３、時間計測部１０４による測定結果を保存する。

理解度推定部１２０は、行動特徴量抽出部１２１と理解度算定部１２２とを含む。
行動特徴量抽出部１２１は、センサデータ保存部１１０に保存された測定結果から、利用者による問題回答時の行動の特徴を示す行動特徴量（以下、単に行動特徴量と称することがある）を抽出する。ここでいう回答とは、問題が例えばクイズ形式の短文の設問である場合の回答や、問題が計算問題もしくは読解問題などである場合の解答が挙げられる。

問題回答データ保存部１６０は、例えば不揮発性メモリなどの記憶装置を有し、この記憶装置に対し、入力された回答の結果である問題回答データを保存する。このように、問題回答データ保存部１６０は、教材で示される問題に対する利用者による過去の回答データを保存することができる。

理解度算定部１２２は、行動特徴量抽出部１２１により抽出された行動特徴量、および問題回答データ保存部１６０に保存された問題回答データを用いて、利用者による学習にかかる理解度（以下、単に理解度と称することがある）を算定する。この算定された理解度は理解度データ保存部１７０に出力される。理解度データ保存部１７０は、例えば不揮発性メモリなどの記憶装置を有し、この記憶装置に対し、理解度算定部１２２により算定された理解度のデータを保存する。

問題選定部１３１は、理解度算定部１２２により算定された理解度に適した難易度の問題を、この理解度にかかる利用者に提示するために、既にある問題候補から利用者へ提供する問題を選定する。また、問題作成部１３２は、理解度算定部１２２により算定された理解度に適した難易度の問題を、この理解度にかかる利用者に提示するために、この提示するための問題を新たに作成する。

問題提示部１４０は、問題選定部１３１により選定された問題や問題作成部１３２により作成された問題を利用者に提示する。問題回答入力部１５０は、上記の入力装置を用いて実現され、この提示された問題に対しての、利用者による回答のための操作を受け付ける。

問題回答入力部１５０が入力した回答内容は、問題提示部１４０が提示した問題情報とともに問題回答データ保存部１６０に出力される。問題回答データ保存部１６０は、例えば不揮発性メモリなどの記憶装置を有し、この記憶装置に対し、問題回答入力部１５０から出力された回答および問題情報を保存する。

図２は、本発明の実施形態における理解度推定装置による処理動作の手順の一例を示すフローチャートである。
まず画面表示部１０５は、教材を表示することで、この教材を利用者へ提示する（ステップＳ１）。教材とは、該当単元の内容を含んだ教科書や資料などを示す。利用者は授業や自習において教材を閲覧し学習することができる。

次に、センサデータ保存部１１０は、利用者による教材の閲覧時のセンサデータを保存する（ステップＳ２）。センサデータとは、指位置計測部１０１、視線計測部１０２、加速度計測部１０３、時間計測部１０４により得られるデータである。

次に、行動特徴量抽出部１２１は、センサデータから利用者の行動特徴量を抽出する（ステップＳ３）。行動特徴量の抽出処理の詳細は後述する。
次に、理解度算定部１２２は、ステップＳ３で得られた行動特徴量から利用者の理解度を算定（算出）する（ステップＳ４）。理解度の算定処理の詳細は後述する。なお、算定された理解度のデータは理解度データ保存部１７０に保存される。

次に、問題選定部１３１は、ステップＳ４で算定された理解度に適した問題を選定する（ステップＳ５）。このステップＳ５では、問題作成部１３２が、ステップＳ４で算定された理解度に適した問題を作成することもできる。
詳しくは、問題の選定においては、問題選定部１３１は、該当単元における問題候補のうち、算定された理解度に対応する難易度の問題を選定する。また、問題の作成においては、問題作成部１３２は、該当単元における問題候補のうち、算定された理解度に対応する難易度の新たな問題を作成する。
問題提示部１４０は、ステップＳ５で選定または作成された問題を画面表示などにより利用者に提示する（ステップＳ６）。

次に、問題回答データ保存部１６０は、問題回答入力部１５０にて入力された回答と、問題提示部１４０により提示された問題とを収集して、これらを保存する（ステップＳ７）。問題回答データとは、例えば、問題の識別番号、利用者の回答、問題の正解、利用者の回答の正誤、問題回答に費やした時間などを含む。

そして、出題中止の指示がない場合には（ステップＳ８のＮｏ）、ステップＳ４に戻り、理解度算定部１２２は、問題回答データと行動特徴量とを用いて理解度を再度算定して、前回算定した理解度に対して上書き更新する。一方、出題中止の指示がある場合は（ステップＳ８のＹｅｓ）、理解度推定装置による処理動作が終了する。

次に、行動特徴量の抽出処理の詳細と、理解度の算定処理の詳細とについて説明する。図３は、本発明の実施形態における理解度推定装置の理解度推定部１２０による処理の詳細について説明する図である。
行動特徴量抽出部１２１は、データ分割部２０１と行動特徴量算出部２０２とを含む。データ分割部２０１は、指位置計測部１０１、視線計測部１０２、および加速度計測部１０３で測定された各種センサデータを、ページ単位データ、行単位データ、行内位置単位データに分割する。

行動特徴量算出部２０２は、データ分割部２０１によりそれぞれ分割されたデータの平均、分散、時間微分、順序等の少なくとも１種類を求めることで、利用者の行動特徴量を算出する。

理解度算定部１２２は、理解度の高低に応じた２つ以上の学習者群のうち、利用者がどの学習者群に属するのかを判定する分類器である。この分類器は、例えばサポートベクターマシン（Support Vector Machine（ＳＶＭ））である。分類器は、サポートベクターマシンに限るものではなく、ｋ近傍法や決定木、ランダムフォレスト、ナイーブベイズ、線形判別法等の識別器でも代用可能である。

分類器は、複数人の行動特徴量とテスト等で得られた理解度とから事前に学習を行ない、パラメータを決定しておく。理解度算定部１２２は、この決定されたパラメータを用いて、上記の算出された行動特徴量と、問題回答データ保存部１６０に保存された問題回答データとから利用者の理解度を推定する。

（発明により生じる効果）
本発明により、事前に利用者（例えば生徒）の問題回答データがない状態でも、教材学習時のセンサデータを理解度推定に用いることで、利用者に煩わしさを感じさせずに、この利用者による学習にかかる理解度を推定し、この理解度に適した問題を利用者に提示することができる。
また、本発明により、授業時や自習時に利用者が教材を学習した直後の段階で、利用者個人に適した問題を提示できるので、短い時間、または少ない演習問題数で学習効果を得ることができる。

また、本発明により、事前に利用者の問題回答データがある場合には、上記の教材学習時のセンサデータと問題回答データとに基づいて理解度を推定することで、従来のように問題回答データのみから理解度を推定するときと比較して、利用者による理解度を高い精度で推定することができる。このように理解度を高精度に推定することにより、短い時間、または少ない演習問題数で高い学習効果を得ることができる。

（発明のポイント）
既存技術では、利用者が問題に回答しないと理解度を推定できなかったが、本発明は、事前に利用者の問題回答データがない状態でも、教材閲覧時のセンサデータより、理解度を推定する。
また、利用者の問題回答データがある場合には、教材閲覧時のセンサデータを組み合わせることにより、高精度な理解度推定を可能とする。

次に、各実施例について説明する。
（第１の実施例（教材コンテンツの表示）)
教材表示部１００は、教材コンテンツを表示するが、この教材コンテンツとは例えば以下の（１−ａ）〜（１−ｄ）である。

（１−ａ）教科書
（１−ｂ）参考書
（１−ｃ）一般書籍
（１−ｄ）文書
これらの教材の表示の方法は、例えば以下の（２−ａ）〜（２−ｃ）の方法である。
（２−ａ）教材の文章をそのまま表示する。
（２−ｂ）教材の文章を薄く、もしくは透明に画面表示部１０５に表示し、指位置計測部１０１により計測される指位置や、視線計測部１０２により計測される視線の位置が、画面表示部１０５における文章表示位置と重なった際に、該当箇所のみを濃く表示する。
（２−ｃ）教材の文章を薄く、もしくは透明に画面表示部１０５に表示し、上記の指位置や視線の位置が、上記の文章表示位置と重なった際に、該当箇所のみを濃く表示し、この濃く表示された箇所を時間経過につれて次第に薄く、もしくは透明に表示する。

なお、以下の（３−ａ）〜（３−ｃ）の教材における出力方法をそれぞれ記述する。
（３−ａ）画像教材、および、教科書、参考書、書籍の画像部分
（３−ｂ）音声教材
（３−ｃ）動画教材
上記の（３−ａ）または（３−ｃ）の教材については、例えば以下の（４−ａ）〜（４−ｅ）の表示方法が存在する。

（４−ａ）画像または動画をそのまま表示する。
（４−ｂ）画像または動画を薄く、もしくは透明に画面表示部１０５に表示し、上記の指位置や視線の位置が、画面表示部１０５における画像表示位置と重なった際に、該当箇所のみを濃く表示する。
（４−ｃ）画像または動画を薄く、もしくは透明に画面表示部１０５に表示し、上記の指位置や視線の位置が、上記の画像表示位置と重なった際に、該当箇所のみを濃く表示し、この濃く表示された箇所を時間経過につれて次第に薄く、もしくは透明に表示する。
（４−ｄ）画像または動画の中で注目するべき部分を強調もしくは印をつけて表示する。
（４−ｅ）画像または動画の中で注目するべき部分を強調もしくは印をつけて表示し、該当箇所への操作（例えばタッチパネルへのタッチ（以下、単にタッチと称することがある）や、マウスを用いたクリック操作（以下、単にクリックと称することがある））によって、画像または動画を拡大して表示する。

また、上記の（３−ｂ）の教材の場合、たとえば以下の（５−ａ）〜（５−ｄ）の出力方法がある。
（５−ａ）画面表示部１０５に表示される音声再生用画面上の再生ボタン（以下、単に再生ボタンと称することがある）へのタッチやマウスクリックにより、音声を再生する。音声の再生機能に関わる部分（例えば、再生ボタン、シークバー)以外の画面表示は変化しない。
（５−ｂ）上記の再生ボタンへのタッチやマウスクリックにより、音声を再生する。例えば、この音声が教材の文章を読み上げるための音声であった場合、音声再生用画面で音声再生により読み上げられる教材の文章を含む画像を薄く、もしくは透明に表示した上で、音声再生用画面に表示される文章における音声が読み上げられた箇所を濃く表示し、この濃く表示された箇所を時間経過につれて次第に薄く、もしくは透明に表示する。
（５−ｃ）上記再生ボタンへのタッチやマウスクリックにより、音声を再生し、教材の文章を表示する。再生開始当初は教材の文章を薄くもしくは透明に表示した状態で、利用者が音声を聞きながら画面上の文章を読む過程で、上記の計測された指位置や視線の位置が文章表示位置と重なった際に、該当箇所の文字のみを濃く表示し、この濃く表示された箇所を時間経過につれて次第に薄く、もしくは透明に表示する。
（５−ｄ）上記の計測された指位置や視線の位置が文章表示位置と重なった際に、該当箇所の文字に対応する音声を再生する。

（第２の実施例（ａ）（センサデータの計測））
時間計測部１０４は、理解度推定装置において設定される現在日時を参照して時間データを得る。
指位置計測部１０１は、画面表示部１０５に表示される画面上の利用者の指示位置（Ｘ座標、Ｙ座標）を検出する。
また、教材情報保存部１０６に保存される教材の文書表示位置と表示画面上のユーザの指示位置とを対応付けることにより、指位置計測部１０１は、ユーザの指が教材のうち何ページ目の何行目に触れているのかを判定する。

指位置計測部１０１は、利用者が教材のうち何ページ目の何行目に触れていたかを示す情報を座標データに追記して、時間計測部１０４で得られた時間データとともにセンサデータ保存部１１０に出力する。

視線計測部１０２は、図示しないカメラにより撮影した画像に基づいて、例えば、以下の文献Ａや文献Ｂに開示された手法を用いて、（１）利用者の視線方向、および（２）利用者と画面との間の距離を非接触で計測する。この計測された視線方向および距離に基づいて、視線計測部１０２は、利用者の表示画面上で視線座標を、表示画面の左上を原点としたＸ座標およびＹ座標のデータとして計測する。

（文献Ａ）
「大谷悠祐, 福井和広. "眼球の位置と姿勢を考慮した顔向き変化に頑健な瞳追跡
(一般セッション, パターン認識とメディア理解のフロンティアとグランドチャレンジ)." 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 109.344 (2009): 13-18.」
（文献Ｂ）
「小野泰弘, 岡部孝弘, and 佐藤洋一. "目領域の切り出しの不定性を考慮した低解像度画像からの視線方向推定." 情報処理学会論文誌コンピュータビジョンとイメージメディア (CVIM) 47.SIG10 (CVIM15) (2006): 173-184.」
また、教材情報保存部１０６に保存される教材の文書表示位置と、上記の検出した視線座標とを対応付けることにより、視線計測部１０２は、利用者が教材のうち何ページ目の何行目を注視しているのか判定する。視線計測部１０２は、利用者が教材のうち何ページ目の何行目を注視していたかを示す情報を座標データに追記して、時間計測部１０４で得られた時間データとともにセンサデータ保存部１１０に出力する。

加速度計測部１０３は、理解度推定装置内の図示しない加速度センサより、理解度推定装置の３軸の加速度値を取得し、この取得した加速度値を、時間計測部１０４で得られた時間データと対応付けてセンサデータ保存部１１０に出力する。

（第２実施例（ｂ）（センサデータの保存））
指位置計測部１０１、視線計測部１０２、加速度計測部１０３、時間計測部１０４で計測されたデータはセンサデータ保存部１１０に保存されるが、これらのデータは例えば以下の（６−ａ）〜（６−ｆ）である。
（６−ａ）ユーザＩＤ
（６−ｂ）教材ＩＤ（教材情報保存部１０６より）
（６−ｃ）教材の章、ページ番号（教材情報保存部１０６より）
（６−ｄ）指位置のＸ座標、Ｙ座標、対応する時間、ページ番号、行番号
（６−ｅ）視線位置のＸ座標、Ｙ座標、対応する時間、ページ番号、行番号
（６−ｆ）加速度(Ｘ軸、Ｙ軸、Ｚ軸)、対応する時間
なお、教材を表示する画面表示部１０５がタッチパネルを含まない場合は、指位置計測部１０１は、マウスやキーボード操作でのカーソル位置を指位置として代替して計測する。

なお、センサデータ保存部１１０は、例えば半導体メモリにより構成され、理解度推定装置として機能する少なくともいずれかのプログラムおよび処理に必要な情報を記憶し、例えばＳＱＬ言語などの問い合わせに対し、記憶した情報の一部または演算結果を返却するいわゆるデータベースの機能を備える。

（第３の実施例（理解度の推定））
利用者による学習内容を示す問題回答データが事前に存在しない場合は、理解度推定装置は、例えば、以下に説明する手法により理解度を推定する。
上記のように、データ分割部２０１は、指位置計測部１０１、視線計測部１０２、および加速度計測部１０３で測定されたセンサデータを、ページ単位、行単位、行内位置単位に分割する。

また、上記のように、行動特徴量算出部２０２は、分割されたデータの平均、分散、時間微分、順序等を算出することで行動特徴量を算出する。行動特徴量算出部２０２は、この算出した行動特徴量を、過去ユーザデータベース１８０に登録する。

なお、過去ユーザデータベース１８０は、例えば不揮発性メモリなどの記憶装置を含み、この記憶装置には、過去のユーザの行動特徴量と、この行動特徴量に対応する理解度（および、問題回答データが存在する場合における当該問題回答データ）が保存される。

理解度算定部１２２は、理解度の高低に応じたｇ個の学習者群のうち、利用者がどの群に属するのかを判定する分類器である。なお、この分類器は過去のユーザデータを用いた事前学習を行なう必要がある。事前学習の方法を以下に記す。

＜事前学習＞
この分類器は、テスト等で得られた理解度（ラベル）についての群分けを、行動特徴量(説明変数)を用いて行なうもので、過去の複数ユーザのデータを用いて、パラメータを事前に決定しておく。分類の説明変数には、各行動特徴量を入力する。

分類のラベルは、理解度に応じてｇ個に分割され、[０，１，…，ｇ−１]のうちどれかが付与される。例えばラベルを２個に分割する場合は、分類器は、過去のユーザの理解度の平均をＭとしたとき、それぞれの過去ユーザの理解度がＭより大きい場合は「１」を、理解度がＭ以下である場合は「０」を分類のラベルとする。分類器は、例えば以下の文献Ｃに開示されるようなサポートベクターマシンを用いることができる。なお、分類器はこれに限るものではなく、ｋ近傍法や決定木、ランダムフォレスト、ナイーブベイズ、線形判別法等の識別器でも代用可能である。
分類器がサポートベクターマシンである場合は、この分類器は、センサデータより抽出された行動特徴量を入力する。分類器は、以下の文献Ｄに開示されるようなグリッドサーチ法により、カーネル関数の種類、ＳＶＭにおける損失とマージンの大きさとの間のトレードオフを調整するパラメータであるＣを例えば０．０１から１０００の範囲で検索し、決定境界の複雑さを調節するgammaを例えば０．０００１から1の範囲で検索し、多項式カーネルの次数を調節するdegreeを例えば２から１０の範囲で探索して、これらのパラメータでなるハイパーパラメータを決定する。このようにハイパーパラメータを決定したＳＶＭ分類器へ説明変数とラベルを入力して、事前学習させる。

（文献Ｃ）
「栗田多喜夫. "サポートベクターマシン入門." 産業技術総合研究所 脳神経情報研究部門. July (2002).」
（文献Ｄ）
「Hsu, Chih-Wei, Chih-Chung Chang, and Chih-Jen Lin. "A practical guide to support vector classification." (2003): 1-16.」
このように事前学習された分類器へ行動特徴量を入力することで、利用者が理解度の高低に応じた、どの学習者群（以下、単に群と称することがある）に属するのかを出力する。

なお、ｇ個の群に分けたとき、理解度が高い方から数えてｈ番目の群に利用者が含まれると分類されたときの理解度Ｘは以下の式（１）のように定義される。

定義された理解度Ｘは、過去ユーザデータベース１８０へ登録される。
利用者の当該学習内容の問題回答データが事前に存在する場合は、理解度算定部１２２は、例えば以下の（７−ａ）、（７−ｂ）の方法で理解度を推定する。

（７−ａ）理解度算定部１２２は、問題回答データのみから、例えば上記の非特許文献２に開示される項目反応理論（ＩＲＴ）を用いて理解度Ｙを推定する。そして、理解度算定部１２２は、理解度Ｙと行動特徴量により推測される理解度Ｘとを以下の式（２）で合成し、これを理解度Ｘ’として算出する。この場合、以後の問題選定および問題作成においては理解度Ｘ’が用いられる。
Ｘ’＝ｗＸ＋（１−ｗ）Ｙ …式（２）
なお、ｗは０から１の間の数値をとる任意の値である。

（７−ｂ）過去ユーザデータベース１８０より、（１）行動特徴量、（２）推定された理解度、および、（３）その後の問題回答データが存在する利用者のデータを用いて、理解度算定部１２２は、問題回答データと行動特徴量との双方を用いる場合の分類器を学習する。

理解度算定部１２２は、問題回答の正誤を示す数値を、例えば正答の場合には「１」、誤答の場合には「０」といった数値を代入し、問題回答の特徴量を作成し、この特徴量を、センサデータから抽出された行動特徴量と共に分類器に入力する。

理解度算定部１２２は、推定された理解度の高低に応じたｇ個の学習者群について、各利用者がどの群に属するかをラベルとして、分類器の学習を行ない、パラメータを決定しておく。この場合の説明変数は、行動特徴量と問題回答データを含む。事前学習の手法は上記の＜事前学習＞で説明した手法と同様のものを用いる。

そして、事前に学習された分類器へ、現在の利用者の問題回答データ、行動特徴量を入力し、理解度の高低により分けられた複数の学習者群のうちどの群に利用者が含まれるかを推定する。理解度Ｘは上記の式（１）により計算される。

（第４の実施例（問題の選定））
問題選定部１３１は、各学習内容ｎ（ｎ＝１，…，Ｎ）にかかる、既に作成されている問題候補（複数（Ｉ個）の問題ｉ（ｉ＝１，…，Ｉ））を内部メモリに保持しており、下記の（８−ａ）、（８−ｂ）の機能を有する。この実施例では、１つの学習内容について複数の問題ｉが存在する。
（８−ａ）ある学習内容ｎについて難易度の異なる複数の問題候補のうちから利用者に最適な問題ｉを選ぶ機能
（８−ｂ）複数存在する学習内容ｎのうち、利用者にとって優先すべき学習内容ｎに対応する問題ｉを選ぶ機能
ある学習内容ｎについて難易度の異なる複数の問題候補のうちから利用者に最適な問題ｉを選ぶ機能は、以下の手順Ａ、手順Ｂにより達成される。

（手順Ａ）問題選定部１３１は、事前に問題ｉの難易度を設定する。設定方法としては以下の（９−ａ）〜（９−ｃ）の方法がある。
（９−ａ）問題選定部１３１は、過去に該当する問題ｉを解いたことのある学習者ｊによる問題回答の正誤から、例えば上記の項目反応理論（ＩＲＴ）を用いて、問題ｉの相対的難易度β_iと、ある学習者ｊの習熟度θ_jとを算出する。なお、この手法を用いた場合、問題ｉの相対的難易度β_iと、ある学習者ｊの習熟度θ_jとは同じスケールを有するので、数値を比較することが可能である。

（９−ｂ）上記の学習者のうち、理解度推定装置による理解度推定がなされたことがある利用者のデータを用いて、学習者ｊの習熟度θ_jを学習者ｊの理解度Ｘ_jのスケールに合わせるため、問題選定部１３１は、例えば、以下の式（３）に応じた計算を行なう。なお、

はスケール調整済みの習熟度を表し、

は習熟度θ_jの学習者間平均を表し、std（θ）は学習者間の習熟度の標準偏差を表し、

は理解度Ｘ_jの学習者間平均を表し、std（Ｘ）は学習者間の理解度の標準偏差を表す。

（９−ｃ）上記のように、問題ｉの相対的難易度β_iは学習者ｊの習熟度θ_jと同様のスケールを持つことから、問題選定部１３１は、学習者ｊの習熟度θ_jを学習者ｊの理解度Ｘ_jのスケールに合わせるための計算と同様の計算によりスケールを合わせるため、例えば以下の式（４）に応じた計算操作を行なう。なお、

はスケール調整済みの問題難易度を示す。

以上の手法により、問題ｉの難易度を設定することができる。

（手順Ｂ）次に問題選定部１３１は、問題ｉの難易度と利用者の理解度とをもとに、利用者に最適な問題ｉを選定する。選定の方法の例を以下に記す。
ある学習内容ｎについての問題候補が複数あったとき、それぞれを問題ａ、ｂ、ｃ…とし、各問題ｉにそれぞれ対応する難易度を

とする。
ある学習者ｊの理解度がＸ_jと推定されたときに、問題選定部１３１は、各問題の難易度と理解度Ｘ_jとを比較し、各問題ｉのうち理解度Ｘ_jに一番近い値の難易度を有する問題ｉを選定する。また、理解度Ｘ_jに一番近い難易度を有する問題ｉが複数あった場合は、問題選定部１３１は、これらの難易度のうち高い方の難易度を有する問題ｉを選定する。以上により利用者に最適な問題ｉを選ぶことができる。

次に、複数存在する学習内容ｎのうち、利用者にとって優先すべき学習内容ｎに対応する問題ｉを選ぶ機能について説明する。
ある学習者ｊが、Ｎ個の学習内容ｎを実施したとき、理解度算定部１２２は、学習者ｊの各学習内容ｎに対応する推定理解度をＮ個算出することができる。学習者ｊの各学習内容ｎに対応する推定理解度をＸ_n（ｎ＝１，…，Ｎ）とする。この場合に優先すべき学習内容ｎに対応する問題ｉを問題選定部１３１により選ぶ方法は、例えば以下の（１０−ａ）〜（１０−ｃ）である。
（１０−ａ）学習者jの各学習内容ｎに対応する推定理解度Ｘ_nが小さい順に学習内容ｎを選定し、この学習内容ｎに対応する問題ｉを選定する。
（１０−ｂ）学習者ｊの各学習内容に対応する推定理解度Ｘ_nが大きい順に学習内容ｎを選定し、この学習内容ｎに対応する問題を選定する。
（１０−ｃ）学習者ｊの各学習内容ｎに対応する推定理解度Ｘ_nと、過去の学習者集団の各学習内容ｎに対応する平均推定理解度

とを比較し、過去の学習者集団の各学習内容ｎに対応する平均推定理解度よりも利用者の各学習内容ｎに対応する推定理解度が低く、かつその差が大きい順に学習内容ｎを選定し、この学習内容ｎに対応する問題を選定する。

（第５の実施例（問題の作成））
第４の実施例における、該当学習内容ｎについての問題のうち、利用者に提示すべき問題が存在しない場合、問題作成部１３２が問題を作成する。
該当学習内容ｎについて、そもそも問題自体が存在しない場合は、問題作成部１３２は、例えば以下の（１１−ａ）、（１１−ｂ）の手法で問題を生成する。

（１１−ａ）問題作成部１３２は、教材の文章の中から、多数の学習者に読まれている文を抽出、もしくはランダムに文を抽出し、この抽出した文のうち多数の学習者に読まれている単語を選び、もしくはランダムに単語を選び、この選んだ単語のみ空欄にした問題を生成する。なお、多数の学習者に読まれているかどうかの判定は、視線計測部１０２もしくは指位置計測部１０１による計測データより、視線もしくは指位置が文もしくは単語の表示位置に重なったたかどうかで判定する。また、この問題の難易度は、例えば、当該問題の文を過去に読んだ多数の学習者の理解度の平均により算出される。

（１１−ｂ）問題作成部１３２は、教材の文章のうち、利用者が読んでいる文を抽出、もしくはランダムに文を抽出し、この抽出した文のうち多数の学習者に読まれている単語を選び、もしくはランダムに単語を選び、この選んだ単語のみ空欄にした問題を生成する。なお、この問題の難易度は、例えば、当該問題の文を過去に読んだ多数の学習者の理解度の平均により算出する。

該当学習内容ｎについて利用者に提示すべき問題が事前に存在する場合でも、学習者が該当学習内容ｎの問題を全て解いた後にさらに学習をする際など、さらに問題を出題する必要がある場合がある。この問題の作成方法は、例えば以下の（１２−ａ）〜（１２−ｃ）の方法がある。

（１２−ａ）すでに存在する問題が、文中の穴埋めの問題であった場合、問題作成部１３２は、正解の文のうち今までの空欄箇所と異なる単語を空欄とした問題を生成する。なお、この場合の問題の難易度は、すでに存在する問題の難易度と同じとする。
（１２−ｂ）例えば、算数の計算問題のように、数値だけを変えることで新たな問題を作成できる場合がある。その場合には、問題作成部１３２は、問題中の数値を同じ桁数のランダムな値で書き換えることで、新たな問題を作成する。なお、この場合の問題の難易度は、すでに存在する問題の難易度と同じとする。
（１２−ｃ）問題作成部１３２は、上記の問題が存在しない場合と同様の手法（１１−ａ）または（１１−ｂ）を用いて、問題を作成する。

（第６の実施例（活用の場面Ａ））
本発明を実施するケースの例として、小中学校、高校、大学、塾、幼稚園、保育園等の教育機関においての授業や自習の場面、家庭での自主学習の場面、および企業研修の場面での電子教材を用いた学習が挙げられる。特に本発明を実施することが効果的な学習内容として、重要な語句や重要な文の暗記が挙げられる。

学習者は教材表示部１００の画面表示部１０５に表示される教材を読みながら学習内容を獲得していく。この際のセンサデータはセンサデータ保存部１１０に保存される。問題回答データが事前に存在する場合は、センサデータに基づく行動特徴量および問題回答データを利用して理解度推定部１２０理解度を推定する。推定された理解度は理解度データ保存部１７０に保存される。理解度データ保存部１７０に保存される各学習者の理解度は、学習者が問題を回答するたびに更新される。

理解度推定装置を教育機関で授業中に使用する場合、社内研修で使用する場合、もしくは自宅学習や課外学習で使用する場合の利用例は、指導者が生徒の様子をモニタリングする目的で、この指導者が、理解度データ保存部１７０に保存される各生徒の理解度を理解度提示部１７１にて参照するという利用例を含む。

理解度推定部１２０の理解度算定部１２２により算定された理解度をもとに、問題選定部１３１は問題を選定する。または、この選定に代えて、問題作成部１３２は問題を作成する。問題提示部１４０は、選定または作成された問題を学習者に提示する。

学習者は提示された問題の回答を問題回答入力部１５０を用いて入力する。入力された問題回答データは問題回答データ保存部１６０に保存される。
上記のように教育機関で授業中に理解度推定装置を使用する場合、社内研修で使用する場合、もしくは自宅学習や課外学習で使用する場合の利用例は、指導者が生徒の様子をモニタリングする目的で、この指導者が、（１）学習者が問題を回答するたびに更新される、理解度データ保存部１７０に保存される各学習者の理解度、および、（２）問題回答データ保存部１６０に保存される問題回答データを、理解度提示部１７１および問題回答データ提示部１６１にてそれぞれ参照するという利用例も含む。

（第７の実施例(活用の場面Ｂ)）
教育の場面以外でも、利用者に文章を表示し、十分に理解させなければならない場合がある。例えば、サービスの利用規約や注意事項など、何かのサービスを利用する前に利用者に内容を十分に理解してもらう必要がある。そこで、本発明を用いて文章を読む過程のセンサデータから利用者の理解度を算出することで、理解していない利用者を抽出し、この利用者に対し、サービス提供事業者が上記のサービスの利用規約や注意事項などを再度説明するなどの対処を施すことができる。

利用者は教材表示部１００に表示される文章（例えば利用規約や注意事項など)を読む。この過程の指位置、視線、加速度、時間を教材表示部１００内の各計測部が計測し、この計測した結果はセンサデータ保存部１１０に保存される。保存されたセンサデータから理解度推定部１２０が理解度を算出する。算出された理解度は理解度データ保存部１７０に保存される。サービス提供事業者は、この保存された理解度を参照し、この参照した理解度に応じて、上記の利用規約や注意事項などを利用者に再度説明する等の対処を実施する。また、利用者が確実に文書を読んだことを示す証跡として、サービス提供事業者は、理解度データ保存部１７０に保存された理解度データおよびセンサデータ保存部１１０に保存されセンサデータをそれぞれ参照することも可能である。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

１００…教材表示部、１０１…指位置計測部、１０２…視線計測部、１０３…加速度計測部、１０４…時間計測部、１０５…画面表示部、１０６…教材情報保存部、１１０…センサデータ保存部、１２０…理解度推定部、１２１…行動特徴量抽出部、１２２…理解度算定部、１３１…問題選定部、１３２…問題作成部、１４０…問題提示部、１５０…問題回答入力部、１６０…問題回答データ保存部、１６１…問題回答データ提示部、１７０…理解度データ保存部、１７１…理解度提示部、１８０…過去ユーザデータベース、２０１…データ分割部、２０２…行動特徴量算出部。

Claims (8)

1. 利用者が学習過程における教材を参照するときの前記利用者の行動を検出する検出手段と、
   前記検出手段による検出結果に基づいて、前記利用者の行動特徴量を抽出する抽出手段と、
   前記抽出手段により抽出した行動特徴量に基づいて、教材に対する理解度の高低に応じた複数の群のいずれに属するかを判定し、この判定の結果に基づいて前記教材に対する前記利用者の理解度を算定する理解度算定手段と
   を備えた情報処理装置。
2. 前記教材で示される問題に対する利用者による過去の回答データを保存する保存手段をさらに備え、
   前記理解度算定手段は、
   前記抽出手段による抽出結果、および前記保存手段に保存される回答データに基づいて、前記教材に対する前記利用者の理解度を算定する
   請求項１に記載の情報処理装置。
3. 前記検出手段は、
   前記利用者が前記教材を参照するときの前記教材の表示画面上における前記利用者の指の位置、および、前記表示画面における前記利用者の視線の少なくとも１種類を検出する
   請求項１に記載の情報処理装置。
4. 前記理解度算定手段により算定した理解度に基づいて、前記利用者に対する問題を提示する問題提示手段をさらに備えた
   請求項１に記載の情報処理装置。
5. 前記理解度算定手段により算定した理解度に応じた難易度を有する問題を問題候補から選定する問題選定手段をさらに備え、
   前記問題提示手段は、
   前記問題選定手段により選定した問題を提示する
   請求項４に記載の情報処理装置。
6. 前記問題選定手段により選定できる、前記理解度算定手段により算定した理解度に応じた難易度を有する問題がない場合に、前記理解度算定手段により算定した理解度に応じた難易度を有する問題を新たに作成する問題作成手段をさらに備え、
   前記問題提示手段は、
   前記問題作成手段により選定した問題を提示する
   請求項５に記載の情報処理装置。
7. 装置に適用される方法であって、
   利用者が学習過程における教材を参照するときの前記利用者の行動を検出し、
   前記検出の結果に基づいて、前記利用者の行動特徴量を抽出し、
   前記抽出した行動特徴量に基づいて、教材に対する理解度の高低に応じた複数の群のいずれに属するかを判定し、この判定の結果に基づいて前記教材に対する前記利用者の理解度を算定する情報処理方法。
8. 請求項１に記載の情報処理装置の一部分として動作するコンピュータに用いられるプログラムであって、
   前記コンピュータを、
   前記検出手段、前記抽出手段、および前記理解度算定手段
   として機能させるための情報処理プログラム。