JP2016138995A - 学習映像からその学習に費やされた学習項目を推定するプログラム、装置及び方法 - Google Patents

Abstract

【課題】学習映像からその学習に費やされた学習項目を推定するプログラムを提供する。【解決手段】複数の学習項目を予め登録した学習項目辞書手段と、学習映像から、予め設定された指示オブジェクトを検出する指示オブジェクト検出手段と、検出された当該指示オブジェクトによって指示された部分から、学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段としてコンピュータを機能させる。映像学習項目検出手段は、検出された学習項目毎に、その指示が検出された指示時刻と、その指示が連続した時間長とを対応付けるものである。【選択図】図１

Description

本発明は、教育分野における学習状況を解析する技術に関する。

従来、学習の進捗や理解度などの学習状況の測定には、試験の成績データが用いられている。しかし、試験は、その実施に時間及びコストがかかるだけでなく、生徒の課題ややる気などの状況を詳細に把握することはできない。そのために、家庭教師による個別授業では、教師が、学習状況の記録として、その授業後に報告書を記載している。

これらの試験の成績データや学習状況の報告書は、生徒の保護者との面談や、今後の授業方針の決定に用いられている。しかし、学習状況の報告書は、個々の教師によって、その執筆内容や記載量に差がある。また、学習状況の報告書は、試験の成績データに比べて、客観的な資料として用いることが困難であった。

従来、学習支援に有用な指標を簡便に取得して、学習状況を把握する技術がある（例えば特許文献１参照）。この技術によれば、学習者が学習コンテンツを利用中に、その学習者端末に対する入力操作と時刻とを対応付けた操作履歴情報を取得し、当該学習コンテンツに対する受容性を推定している。即ち、既知の学習項目に対してのみ、その学習者の受容性を推定することができる。

また、学習者の心理・精神状態をモニタして心理状態を推定し、それによって現在の心理状態に対応した電子教材を提供する技術がある（例えば特許文献２参照）。この技術によれば、学習者の表情の変化が映る画像データを解析すると共に、学習者の心拍数や皮膚温度などの身体情報の変化を検出して、学習者の心理状態にふさわしい教材を、その学習者に提供することができる。

尚、カメラ画像から得られる学習者の表情や、顔の傾き、頭部姿勢から、課題に対する主観的難易度を推定する技術もある（例えば非特許文献１参照）。また、学習者の電子ペンの筆圧や筆記速度、筆記間隔データを用いて、時系列でつまずき箇所を検出する技術もある（例えば非特許文献２参照）。

特開２０１３−２４２４３３号公報 特開２００６−０２３５０６号公報

中村和晃ら、「e-learningにおける学習者の顔動作観測に基づく主観的難易度の推定」、電子情報通信学会論文誌、J93-D(5) pp568-578 May2010、[online]、［平成２７年１月２１日検索］、インターネット＜URL:http://search.ieice.org/bin/summary.php?id=j93-d_5_568＞ 浅井洋樹ら、「筆記情報と時系列モデルを用いた学習者つまずき検出」、電子情報通信学会信学技報 ET201249(2012‐10)、[online]、［平成２７年１月２１日検索］、インターネット＜URL:http://jglobal.jst.go.jp/detail.php?from=API&JGLOBAL_ID=201202238110684464＞ 浅野秀胤ら、「フーリエ変換を用いた小さな手振りの検出」、PIONEER R&D (Vol.20, No.1/2011)、[online]、［平成２７年１月２１日検索］、インターネット＜http://pioneer.jp/corp/crdl_design/crdl/rd/pdf/20-1-3.pdf＞

特許文献１に記載の技術によれば、学習項目を既知としないような学習状況から、その学習者の受容性を推定することはできない。
特許文献２に記載の技術によれば、学習者の身体に各種センサ等を装着する必要がある。
非特許文献１に記載の技術によれば、学習者に負担の無いカメラ画像を用いているが、学習内容を取得することまではできない。
非特許文献２に記載の技術によれば、記述式の課題でなければ授業データを取得できない。また、電子ペンを用いるために既定の用紙範囲内でなければ筆記状態を習得できず、机上に置かれる複数の問題集や学習資料を使用することはできない。

これに対し、本願の発明者らは、個別授業について、学習項目が既知でなくても、教師や学習者の負担なく、学習者に応じた学習状況を推定することができないか？と考えた。即ち、教師が重点的に指導した学習項目や、学習者が理解できていない学習項目を推定することができないか？と考えた。

そこで、本発明は、学習映像からその学習に費やされた学習項目を推定することができるプログラム、装置及び方法を提供することを目的とする。

本発明によれば、学習資料が映る学習映像から、その学習に費やされた学習項目を推定するようにコンピュータを機能させる学習状況推定プログラムであって、
複数の学習項目を予め登録した学習項目辞書手段と、
学習映像から、予め設定された指示オブジェクトを検出する指示オブジェクト検出手段と、
検出された当該指示オブジェクトによって指示された部分から、学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
してコンピュータを機能させることを特徴とする。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
学習映像は、学習資料がカメラによって撮影されたものであり、
指示オブジェクト検出手段は、学習映像から画像認識によって指示オブジェクトを検出し、
映像学習項目検出手段は、当該指示オブジェクトによって指示された映像部分から、文字認識によって学習項目の文字列を検出する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
指示オブジェクト検出手段は、手の指先又はペン先の画像が指示する位置を、当該指示オブジェクトによって指示された部分として検出する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
学習映像は、学習資料がディスプレイに映されたものであり、
指示オブジェクト検出手段は、ディスプレイに対するポインティング部分を指示オブジェクトとして検出し、
映像学習項目検出手段は、当該指示オブジェクトによって指示された部分から、学習項目の文字列を検出する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
指示オブジェクト検出手段は、ポインティングデバイス、手の指先又はペン先によってタッチした位置を、指示オブジェクトによって指示された部分として検出する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
映像学習項目検出手段は、検出された学習項目毎に、その指示が検出された指示時刻と、その指示が連続した時間長とを対応付けるものである
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
指示オブジェクト検出手段は、消しゴムに基づく消去オブジェクトを更に検出し、
映像学習項目検出手段は、消しゴムオブジェクトが検出された時刻に一致する学習項目を対応付け、
学習項目リスト生成手段は、学習項目をその消去操作の発生回数が多い順に並べた学習項目リストを更に生成する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
指示オブジェクト検出手段は、手の動き（指示オブジェクトの動き）を更に検出し、
映像学習項目検出手段は、学習項目を検出した際に、その手の動き状態「連続」「断続」「停留」毎の回数を計数し、
学習項目リスト生成手段は、「連続」「断続」「停留」のいずれか１つの発生回数が多い順に並べた学習項目リストを生成する
ようにコンピュータを更に機能させることも好ましい。

本発明の学習状況推定プログラムにおける他の実施形態によれば、
人の発言を音声認識によって変換したテキストから、学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける音声学習項目検出手段と、
映像学習項目検出手段の時系列学習項目と、音声学習項目検出手段の時系列学習項目とを比較し、所定の時刻範囲で共通する時系列学習項目のみを、映像学習項目検出手段の時系列学習項目とする学習項目判定手段と
してコンピュータを更に機能させることも好ましい。

本発明によれば、学習資料が映る学習映像を撮影するカメラを搭載し、その学習に費やされた学習項目を推定する装置であって、
複数の学習項目を予め登録した学習項目辞書手段と、
学習映像から、画像認識によって、予め設定された指示オブジェクトを検出する指示オブジェクト検出手段と、
検出された当該指示オブジェクトによって指示された部分から、文字認識によって、学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
を有することを特徴とする。

本発明によれば、学習資料が映る学習映像を表示するディスプレイを搭載し、その学習に費やされた学習項目を推定する装置であって、
複数の学習項目を予め登録した学習項目辞書手段と、
学習映像から、ディスプレイに対するユーザのポインティング部分を、当該指示オブジェクトによって指示された部分として検出する指示オブジェクト検出手段と、
検出された当該指示オブジェクトによって指示された部分から、学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
を有することを特徴とする。

本発明によれば、装置を用いて、学習資料が映る学習映像から、その学習に費やされた学習項目を推定する学習状況推定方法であって、
装置は、
複数の学習項目を予め登録した学習項目辞書部を有し、
学習映像から、予め設定された指示オブジェクトを検出する第１のステップと、
検出された当該指示オブジェクトによって指示された部分から、学習項目辞書部の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける第２のステップと、
検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する第３のステップと
を有することを特徴とする。

本発明のプログラム、装置及び方法によれば、学習映像からその学習に費やされた学習項目を推定することができる。

本発明の学習状況推定装置における第１の機能構成図である。 本発明の学習状況推定装置における第２の機能構成図である。 学習映像に映る指示オブジェクトの指示向きを表す説明図である。 学習映像に映る指示オブジェクトの指示位置を表す説明図である。 映像学習項目検出部及び学習項目リストによって取得されるデータを表す説明図である。 消しゴムオブジェクトによって取得されるデータを表す説明図である。 手の動きによって取得されるデータを表す説明図である。 本発明の学習状況推定装置について音声認識部を有する第３の機能構成図である。 本発明の学習状況推定装置を推定サーバに搭載したシステム構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明は、学習資料が映る学習映像から、その学習に費やされた学習項目を推定する学習状況推定装置に基づくものである。学習状況推定装置は、端末として機能するものであってもよいし、サーバとして機能するものであってもよい。また、実施形態によれば、マイクやカメラのようなユーザインタフェースを予め搭載した、タブレット端末やスマートフォンであることも好ましい。

図１は、本発明の学習状況推定装置における第１の機能構成図である。図１によれば、学習映像は、学習者が学ぶべき学習資料（教科書や問題用紙）がカメラによって撮影されたものである。カメラは、短時間毎に間欠的に学習画像を撮影するものであってもよい。撮影された学習画像は、その撮影時刻と共に逐次記録される。

図２は、本発明の学習状況推定装置における第２の機能構成図である。図２によれば、学習映像は、学習者が学ぶべき学習資料がディスプレイに映されたものである。ディスプレイは、例えば人の指先を認識するタッチパネル型であってもよいし、電子ペンを認識するものであってもよい。

図１及び図２の学習状況推定装置１によれば、学習項目辞書部１０と、指示オブジェクト検出部１１と、映像学習項目検出部１２と、学習項目リスト生成部１３とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させる学習状況推定プログラムとして機能する。また、これら機能構成部の処理の流れは、学習状況推定方法としても理解できる。

［学習項目辞書部１０］
学習項目辞書部１０は、複数の学習項目を予め登録したものである。「学習項目」とは、例えば学習項目の単元や問題を表す語をいう。図１によれば、学習項目として「証明」「三角形」「直角」・・・等が登録されている。

尚、学習項目辞書部１０は、「問題番号」と「学習項目」とを対応付けたものであってもよい。授業中には、学習項目として、単元や小単元、学習項目の名称ではなく、教科書や問題集、ドリル等の問題番号やページ番号が指示されることも多い。このとき、学習項目の名称として、学習項目を検出することはできない。問題番号のみでは、教師及び生徒の当事者同士は互いに認識できているものの、第三者にとってその学習項目を認識することはできない。そこで、その問題番号に対応する学習項目を対応付けておくことも好ましい。

［指示オブジェクト検出部１１］
指示オブジェクト検出部１１は、学習映像から、予め設定された指示オブジェクトを検出する。
図１によれば、学習映像は、例えば、教師と学習者とが同じ方向に座る机の上方から、机上の学習資料の映像を撮影したものである。この場合、指示オブジェクト検出部１１は、学習映像から画像認識によって指示オブジェクトを検出する。そして、手の指先又はペン先の画像が指示する位置を、当該指示オブジェクトによって指示された部分として検出する。

図２によれば、学習映像は、ディスプレイに表示された学習資料そのものである。この場合、指示オブジェクト検出部１１は、ディスプレイに対するポインティング部分を指示オブジェクトとして検出する。そして、ポインティングデバイス、手の指先又はペン先によってタッチした位置を、指示オブジェクトによって指示された部分として検出する。

指やペンの検出は、例えばOpenCV（登録商標）のコンピュータビジョン向けライブラリ（Intel社製）や、Kinect（登録商標）のデバイス（Microsoft社製）のような既存技術を用いることができる。基本的には、学習映像の中から、肌やペンの色やベクトル形状を検出する。

また、指示オブジェクトが、教師のものか又は学習者のものかを判別することも好ましい。簡易な方法として、教師用ペンと学習者用ペンとを異なる色で登録しておき、その色に応じて教師又は学習者のいずれかが指示しているかを判別することができる。

図３は、学習映像に映る指示オブジェクトの指示向きを表す説明図である。

図３によれば、指やペンの指示方向によって、その指示オブジェクトが教師用のものか又は学習者用のものかを判別する。例えば、教師が、机に向かって左座席に居るならば、第２象限又は第３象限の角度で指示することなる。逆に、学習者が、机に向かって右座席に居るならば、第１象限又は第４象限の角度で指示することなる。

［映像学習項目検出部１２］
映像学習項目検出部１２は、検出された当該指示オブジェクトによって指示された部分から、学習項目辞書部１０の学習項目の文字列を検出する。
図１によれば、映像学習項目検出部１２は、指示オブジェクトによって指示された映像部分から、文字認識によって学習項目の文字列を検出する。
図２によれば、映像学習項目検出部１２は、指示オブジェクトによって指示された部分から、学習項目の文字列を検出する。
尚、時間ウィンドウ（例えば２０秒）毎に、指示オブジェクトが指示する１つの文字列が検出されるものであってもよい。

文字認識は一般に、１文字ずつ確定して文字列を出力しており、その文字列が学習項目辞書部１０に記憶された学習項目と完全一致すれば、その学習項目を採用する。また、完全一致しなくても、一定文字数以上の部分一致であっても、その学習項目を採用するものであってもよい。更に、認識した文字列と辞書の学習項目とのパターンマッチングによって、字画的な類似度が所定値以上高い場合に、その学習項目を採用するものであってもよい。例えば、文字列の認識結果として、誤認識した文字列「三角刑」「会同条件」であってもそれぞれ、正しい「三角形」「合同条件」の学習項目を採用することができる。

図４は、学習映像に映る指示オブジェクトの指示位置を表す説明図である。

図４によれば、学習映像は通常、机上の問題集などの紙面の配置が、画角に対して平行ではなく、様々な方向に傾いて置かれている。そのために、指示オブジェクトが指示する文字列について、その印字方向が判別できず、文字認識が困難となる。

この場合、紙面の縁と机との境界を認識し映像の水平線との角度を算出する。図４によれば、以下の２つの角度が得られる。
紙面の横縁と映像の水平との角度α
紙面の縦縁と映像の水平の角度β
一般に文字列が横書きであれば、机上に置かれた紙面の角度αは角度βよりも絶対値は小さくなり、紙面は角度αで置かれていると想定できる。この角度で映像を水平に補正し、指やペンで指示した位置から近傍の画像を文字認識し、文字列を取得することができる。また、指示位置の近傍の画像範囲は、字数や行数のパラメータによって変更可能である。国語のように縦書きであっても、同様に縦書きの文字列の方向を想定できる。

図５は、映像学習項目検出部及び学習項目リストによって取得されるデータを表す説明図である。

映像学習項目検出部１２は、学習項目辞書部１０の学習項目と一致する文字列を検出した場合、当該学習項目を時系列に対応付ける。図５によれば、映像学習項目検出部１２は、検出された学習項目毎に、その指示が検出された指示時刻と、その指示が連続した時間長とを対応付けている。図５によれば、学習時間６０分間の学習映像の中で、検出された時系列の学習項目は、学習項目リスト生成部１２へ出力される。

［学習項目リスト生成部１３］
学習項目リスト生成部１３は、検出された複数の学習項目を、「出現合計時間長が長い順に」又は「出現頻度が多い順に」並べた学習項目リストを生成する。図５によれば、それぞれ異なる学習項目リストが例示されている。「出現合計時間長が長い順に」であれば、学習項目「合同条件」に学習時間が最も費やされており、「出現頻度が多い順に」であれば、学習項目「証明」に学習頻度が最も費やされている。この学習項目リストは、教師及び学習者の両方を合算して作成されたものであってもよいし、教師用・学習者用それぞれ別に作成されたものであってもよい。

個別授業の場合、教師が学習者に問題を与え、回答状況に応じた学習課題の理解度を測っている。そのために、出現頻度が高いか又は学習時間が長い学習項目は、授業範囲であって、学習者の理解が不十分なために重点的に授業をしたといえる。一方で、出現頻度が低く且つ学習時間が短い学習項目は、授業範囲でないか、又は、授業範囲であっても学習項目を良く理解しているといえる。

図６は、消しゴムオブジェクトによって取得されるデータを表す説明図である。

指示オブジェクト検出部１１は、学習映像から、「消しゴム」に基づく「消去オブジェクト」を更に検出するものであってもよい。例えば、消しゴムの使用は、教師からの注意によって書き直すことが多く、理解が不十分であると想定できる。その消去オブジェクトの往復運動によって、学習者自身がその部分の記述を消去し、回答に迷っていると認識することができる。このとき、消しゴムオブジェクトを検出された時刻及び時間長も計測する。
また、映像学習項目検出部１２は、消しゴムオブジェクトが検出された時刻に一致する学習項目を対応付ける。即ち、その学習項目に対して、学習者がその回答に迷っていると判定することができる。
そして、学習項目リスト生成部１３は、消去オブジェクトが検出された時刻及び時間長に対応する学習項目を、その消去操作の発生回数が多い順に並べた学習項目リストを更に生成する。図６によれば、学習項目「証明」が検出された時に、消しゴムオブジェクトが検出された時間が長い。即ち、学習者は、学習項目「証明」に対する回答に迷っていることが多いといえる。

図７は、手の動きによって取得されるデータを表す説明図である。

指示オブジェクト検出部１１が、手の動き（即ち指示オブジェクトの動き）を検出するものであってもよい。
また、映像学習項目検出部１２は、学習項目を検出した際に、その手の動き状態「連続」「断続」「停留」毎の回数を計数する。
そして、学習項目リスト生成部１３は、例えば手の動き状態「連続」「断続」「停留」毎の回数に応じて並べた学習項目リストを生成する。図７によれば、学習項目リストは、「停留」の回数が多い順に並べられている。「停留」の回数が多いとは、思考中であって迷っており、筆記を停止していると認識できる。

手の動き状態を検出する方法としては、フーリエ係数を用いる技術がある（例えば非特許文献３参照）。この技術によれば、指示オブジェクト検出部１１が、時間ウィンドウ（例えば１秒）毎に、その動きの時間動作データを周波数軸にフーリエ変換し、そのフーリエ係数の特徴を抽出する。これによって、指示オブジェクト検出部１１は、時間ウィンドウ（例えば１秒）毎に「移動」「停止」を判定し、指示オブジェクトが（手の動き）が以下のいずれであるかを判定する。即ち、「停止」動作の回数ｘによって「連続」「断続」「停留」を判定する。
「連続」フーリエ係数が閾値以下の「停止」動作が、連続３秒以下（ｘ≦３）
学習者が、活発に筆記をしていると想定する
「断続」フーリエ係数が閾値以下の「停止」動作が、
連続３秒よりも長く、７秒よりも短い（３＜ｘ＜７）
学習者が、思考錯誤して筆記をしていると想定する
「停留」フーリエ係数が閾値以下の「停止」動作が、連続７秒以上（７≦ｘ）
学習者が、思考中であって迷っており、筆記を停止していると想定する

例えば１秒の時間ウィンドウ毎に、以下のような時系列で「移動＊」「停止＝」が検出されたとする。
［＊＝＝＊＝＝＝＝＝＝＊＝＝＝＝＝＝＝＊＝＝＝＊＝＊＝＝＊］（->時系列）
≦３ ３＜７ ７≦ ≦３ ≦３ ≦３
-連続->--------断続->----------停留->------連続------->
このように、「停止＝」動作の回数に応じて、「連続」「断続」「停留」が判定される。

図８は、本発明の学習状況推定装置について音声認識部を有する第３の機能構成図である。

図８によれば、授業の個別学習における教師及び生徒の発話音声を収音するマイクと、その音声信号を音声認識によって変換したテキストを出力する音声認識部とする。音声認識の単語認識率を向上させるために、言語モデルである学習状況に関する単語辞書を備え、テキストコーパスを集約するものであってもよい。また、音響モデルとして、発話者の音響サンプルを学習し、特定話者を認識にすることも好ましい。一方で、本発明によれば、学習項目のみを検出できればよいので、一般の音声認識技術に必要な高い認識率は必ずしも必要ではない。話者認識までも必要とすることなく、汎用辞書のみを用いたものであってもよい。

図８によれば、図１及び図２の機能構成部に加えて、音声学習項目検出部１４と、学習項目判定部１５とを更に有する。

［音声学習項目検出部１４］
音声学習項目検出部１４は、人の発言を音声認識によって変換したテキストから、学習項目辞書部１０の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける。それら時系列の学習項目は、学習項目判定部１５へ出力される。

［学習項目判定部１５］
学習項目判定部１５は、映像学習項目検出部１２の時系列学習項目と、音声学習項目検出部１４の時系列学習項目とを比較し、所定の時刻範囲で共通する時系列学習項目のみを、映像学習項目検出部１２の時系列学習項目とする。発話音声から検出した学習項目と映像から検出した学習項目とは、一般的に時刻が一致する場合が多い。映像と音声の両方で学習項目の抽出を補完し合うことによって、学習項目の抽出精度を向上させることができる。

学習映像では指やペンが紙面上に置いてあるだけでも学習項目が検出される場合があるが、その時刻で同じ学習項目を意味する発言音声が無ければ、意味を持たないと判定して破棄することできる。また、音声の中で学習項目が発言されず、「これ」「それ」という指示代名詞で問題を指示している場合もある。この場合、学習映像から抽出した具体的な学習項目名を対応付けて、分析することもできる。

図９は、本発明の学習状況推定装置を推定サーバに搭載したシステム構成図である。

端末１は、学習映像を推定サーバ２へ送信し、推定サーバ２から学習項目リストを受信する。推定サーバ１の各機能構成部は、前述した図１、図２及び図８と同じものである。

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、学習映像からその学習に費やされた学習項目を推定することができる。特に、教師が重点的に指導した学習項目や、学習者が理解できていない学習項目を推定することができる。このような学習項目リストは、教師のみならず、学習状況の管理者や保護者でも共有でき、その後の学習方針の決定に用いることもできる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 学習状況推定装置
１０ 学習項目辞書部
１１ 指示オブジェクト検出部
１２ 映像学習項目検出部
１３ 学習項目リスト生成部
１４ 音声学習項目検出部
１５ 学習項目判定部
２ 推定サーバ

Claims (12)

1. 学習資料が映る学習映像から、その学習に費やされた学習項目を推定するようにコンピュータを機能させる学習状況推定プログラムであって、
   複数の学習項目を予め登録した学習項目辞書手段と、
   前記学習映像から、予め設定された指示オブジェクトを検出する指示オブジェクト検出手段と、
   検出された当該指示オブジェクトによって指示された部分から、前記学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
   検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
   してコンピュータを機能させることを特徴とする学習状況推定プログラム。
2. 前記学習映像は、学習資料がカメラによって撮影されたものであり、
   前記指示オブジェクト検出手段は、前記学習映像から画像認識によって前記指示オブジェクトを検出し、
   前記映像学習項目検出手段は、当該指示オブジェクトによって指示された映像部分から、文字認識によって学習項目の文字列を検出する
   ようにコンピュータを更に機能させることを特徴とする請求項１に記載の学習状況推定プログラム。
3. 前記指示オブジェクト検出手段は、手の指先又はペン先の画像が指示する位置を、当該指示オブジェクトによって指示された部分として検出する
   ようにコンピュータを更に機能させることを特徴とする請求項２に記載の学習状況推定プログラム。
4. 前記学習映像は、学習資料がディスプレイに映されたものであり、
   前記指示オブジェクト検出手段は、前記ディスプレイに対するポインティング部分を前記指示オブジェクトとして検出し、
   前記映像学習項目検出手段は、当該指示オブジェクトによって指示された部分から、学習項目の文字列を検出する
   ようにコンピュータを更に機能させることを特徴とする請求項１に記載の学習状況推定プログラム。
5. 前記指示オブジェクト検出手段は、ポインティングデバイス、手の指先又はペン先によってタッチした位置を、前記指示オブジェクトによって指示された部分として検出する
   ようにコンピュータを更に機能させることを特徴とする請求項４に記載の学習状況推定プログラム。
6. 前記映像学習項目検出手段は、検出された学習項目毎に、その指示が検出された指示時刻と、その指示が連続した時間長とを対応付けるものである
   ようにコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載の学習状況推定プログラム。
7. 前記指示オブジェクト検出手段は、消しゴムに基づく消去オブジェクトを更に検出し、
   前記映像学習項目検出手段は、消しゴムオブジェクトが検出された時刻に一致する学習項目を対応付け、
   前記学習項目リスト生成手段は、学習項目をその消去操作の発生回数が多い順に並べた学習項目リストを更に生成する
   ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載の学習状況推定プログラム。
8. 前記指示オブジェクト検出手段は、手の動き（指示オブジェクトの動き）を更に検出し、
   前記映像学習項目検出手段は、学習項目を検出した際に、その手の動き状態「連続」「断続」「停留」毎の回数を計数し、
   前記学習項目リスト生成手段は、「連続」「断続」「停留」のいずれか１つの発生回数が多い順に並べた学習項目リストを生成する
   ようにコンピュータを更に機能させることを特徴とする請求項１から７のいずれか１項に記載の学習状況推定プログラム。
9. 人の発言を音声認識によって変換したテキストから、前記学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける音声学習項目検出手段と、
   前記映像学習項目検出手段の時系列学習項目と、前記音声学習項目検出手段の時系列学習項目とを比較し、所定の時刻範囲で共通する時系列学習項目のみを、前記映像学習項目検出手段の時系列学習項目とする学習項目判定手段と
   してコンピュータを更に機能させることを特徴とする請求項１から８のいずれか１項に記載の学習状況推定プログラム。
10. 学習資料が映る学習映像を撮影するカメラを搭載し、その学習に費やされた学習項目を推定する装置であって、
    複数の学習項目を予め登録した学習項目辞書手段と、
    前記学習映像から、画像認識によって、予め設定された指示オブジェクトを検出する指示オブジェクト検出手段と、
    検出された当該指示オブジェクトによって指示された部分から、文字認識によって、前記学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
    検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
    を有することを特徴とする装置。
11. 学習資料が映る学習映像を表示するディスプレイを搭載し、その学習に費やされた学習項目を推定する装置であって、
    複数の学習項目を予め登録した学習項目辞書手段と、
    前記学習映像から、前記ディスプレイに対するユーザのポインティング部分を、当該指示オブジェクトによって指示された部分として検出する指示オブジェクト検出手段と、
    検出された当該指示オブジェクトによって指示された部分から、前記学習項目辞書手段の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける映像学習項目検出手段と、
    検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する学習項目リスト生成手段と
    を有することを特徴とする装置。
12. 装置を用いて、学習資料が映る学習映像から、その学習に費やされた学習項目を推定する学習状況推定方法であって、
    前記装置は、
    複数の学習項目を予め登録した学習項目辞書部を有し、
    前記学習映像から、予め設定された指示オブジェクトを検出する第１のステップと、
    検出された当該指示オブジェクトによって指示された部分から、前記学習項目辞書部の学習項目の文字列を検出し、当該学習項目を時系列に対応付ける第２のステップと、
    検出された複数の学習項目を、出現合計時間長が長い順に又は出現頻度が多い順に並べた学習項目リストを生成する第３のステップと
    を有することを特徴とする学習状況推定方法。

Images