以下に図面を参照して、本発明にかかる発表者選択支援プログラム、発表者選択支援方法、および情報処理装置の実施の形態を詳細に説明する。
(発表者選択支援方法の一実施例)
図1は、実施の形態にかかる発表者選択支援方法の一実施例を示す説明図である。図1において、情報処理装置101は、発表者の選択を支援するコンピュータである。例えば、情報処理装置101は、サーバであってもよく、PC(パーソナル・コンピュータ)、ノートPC、タブレット型PCなどであってもよい。
また、情報処理装置101は、対象者を撮影するカメラ110と接続されており、カメラ110によって撮影された画像を取得することができる。対象者は、発表者の候補となる者であり、例えば、学校における生徒や、何らかの講義や講習を受ける受講者である。ここでは、対象者として、学校における生徒を想定し、教師から生徒に課題を与えて、課題に対する意見を生徒に発表させる授業(いわゆる、協働学習)を行う場合を想定する。
ここで、教育的な観点からすると、いろいろな生徒に意見を発表させて経験を積ませることが望ましい。一方で、発表に失敗した生徒は、自信を失って、以降発表したがらなくなることがある。このため、教師は、できるだけ自信のありそうな生徒を当てて、生徒に成功体験を得る機会を与えたいという思いがある。
また、ときには失敗を経験させることも重要なため、教師は、敢えて自信のなさそうな生徒を当てたい場合もある。このため、教師は、例えば、授業中の生徒の顔色を見ながら、できるだけ自信のありそうな、あるいは、自信のなさそうな生徒を当てるという行為を行っている。ところが、教師が生徒の顔色を逐一確認して自信の有無を判断することは困難である。
そこで、本実施の形態では、教師が発表者を選択中に撮影された生徒の画像を基に、生徒の自信の有無を判断するための指標値を求めて教師に提示することで、発表者の選択を支援する発表者選択支援方法について説明する。以下、情報処理装置101の処理例について説明する。
(1)情報処理装置101は、発表者選択モードへの移行指示を受け付ける。ここで、発表者選択モードとは、発表者を選択するモードである。具体的には、例えば、情報処理装置101は、ユーザ(教師)の操作入力により、発表者選択モードへの移行指示を受け付ける。
また、教師は、例えば、発表者選択モードへの移行指示の入力操作に応じて、生徒に対して、これから発表者を当てることを口頭で伝える。これにより、生徒は、これから発表者が当てられることが分かる。なお、教室内の電子黒板などに生徒の意見をまとめて表示して、これから発表者が当てられることが分かるようにしてもよい。
(2)情報処理装置101は、発表者選択モードへの移行指示の受付後にカメラ110によって撮影された対象者の画像に対して顔認識処理を行う。ここで、対象者は、発表者の候補となる少なくともいずれかの生徒である。具体的には、例えば、情報処理装置101は、顔認識用の学習データを用いて、カメラ110によって撮影された画像から対象者の顔を認識する。
顔認識用の学習データは、例えば、対象者の顔を撮影した顔画像から生成される。例えば、対象者が前を向いた状態で撮影した画像から顔認識用の学習データを生成した場合、対象者が前を向いたときの顔を認識することができる。対象者が横(左あるいは右)を向いた状態で撮影した画像から顔認識用の学習データを生成した場合、対象者が横を向いたときの顔を認識することができる。
図1の例では、対象者を「生徒A」とし、発表者選択モードへの移行指示の受付後にカメラ110によって所定の時間間隔(例えば、0.1秒間隔)で撮影された生徒Aの画像D1〜D5に対して顔認識処理が行われた場合を想定する。なお、図1中、t軸は時間の経過を示す時間軸である。
(3)情報処理装置101は、対象者の顔画像から所定の特徴を認識した認識結果に基づいて、発表者選択モード中に対象者が所定の特徴を有する割合を示す値を算出する。ここで、所定の特徴とは、対象者が、例えば、うつむいている状態や、特定の方向を向いている状態などを検出するための特徴である。
例えば、教師が発表者を選択しようとしている間、うつむいている割合が高い生徒は、自分の意見に対して自信がない可能性が高い。一方で、教師が発表者を選択しようとしている間、教師に向かって、前を向いている割合が高い生徒は、うつむいている割合が高い場合に比べて、自分の意見に対して自信がある可能性が高い。
すなわち、発表者選択モード中に、生徒がうつむいている割合や、生徒が顔を上げて教師の方を向いている割合は、生徒の自信の有無を判断するための指標となる。ここでは、教師が対象者の正面に位置しており、所定の特徴を「前を向いている状態」とする。なお、教師が対象者の左側あるいは右側に位置している場合は、所定の特徴を「左あるいは右を向いている状態」としてもよい。
図1の例では、画像D1〜D5のうち、画像D1,D3〜D5で、生徒Aが前を向いたときの顔が認識されたとする。この場合、情報処理装置101は、例えば、画像D1〜D5のうち、生徒Aが前を向いたときの顔が認識された画像D1,D3〜D5の割合を求めることにより、発表者選択モード中に生徒Aが前を向いている割合を示す値を算出することができる。
(4)情報処理装置101は、算出した所定の特徴を有する割合を示す値を、対象者と対応付けて出力する。図1の例では、発表者選択モード中に生徒Aが前を向いている割合を示す値「80[%]」が、生徒Aの生徒名「A」と対応付けて出力される。
このように、実施の形態にかかる情報処理装置101によれば、発表者選択モードへの移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、発表者選択モード中に対象者が所定の特徴を有する割合を示す値を算出することができる。そして、情報処理装置101によれば、算出した発表者選択モード中に対象者が所定の特徴を有する割合を示す値を、対象者と対応付けて出力することができる。
これにより、例えば、教師から与えられた課題に対する意見について、生徒の自信の有無を判断するための指標値を教師に提示することができ、教師による発表者の選択を支援することができる。図1の例では、教師は、発表者選択モード中に生徒Aが前を向いている割合を示す値が「80[%]」と高い値のため、課題に対する意見について、生徒Aが自信を持っている可能性が高いと判断でき、発表者として生徒Aを当てるか否かを判断しやすくなる。
(教育支援システム200のシステム構成例)
つぎに、図1に示した情報処理装置101を教育支援システム200の教師端末201に適用した場合について説明する。
図2は、教育支援システム200のシステム構成例を示す説明図である。図2において、教育支援システム200は、教師端末201と、電子黒板202と、生徒端末T1〜Tnと、を含む構成である。教育支援システム200において、教師端末201、電子黒板202および生徒端末T1〜Tnは、有線または無線のネットワーク210を介して接続される。ネットワーク210は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
ここで、教師端末201は、教師が使用するコンピュータであり、生徒DB(データベース)220、課題DB230、回答DB240、注視・うつむきフラグテーブル250、第1の注視・うつむき時間記録DB260および第2の注視・うつむき時間記録DB270を有する。教師端末201は、例えば、PC、ノートPC、タブレット型PCなどである。なお、各種DB等220,230,240,250,260,270の記憶内容については、図5〜図10を用いて後述する。
電子黒板202は、ディスプレイ(例えば、後述の図4に示すディスプレイ406)を有し、教師端末201の表示制御に従って、各種画面(例えば、後述の図14に示す生徒用マトリクス画面1400や図15に示す発表時画面1500)を表示可能なコンピュータである。電子黒板202は、例えば、教室内の各生徒から見える位置に設置される。
生徒端末T1〜Tnは、生徒S1〜Snがそれぞれ使用するコンピュータである。生徒端末T1〜Tnは、例えば、タブレット型PC、ノートPCなどである。以下の説明では、生徒端末T1〜Tnのうちの任意の生徒端末を「生徒端末Ti」と表記する場合がある(i=1,2,…,n)。また、生徒S1〜Snのうちの任意の生徒を「生徒Si」と表記する場合がある。
(座席の配置例)
つぎに、教室内の座席の配置例について説明する。
図3は、座席の配置例を示す説明図である。図3において、教室内の教壇に向かって座る生徒S1〜S8の座席の配置例が示されている。カメラ300は、席に座った生徒S1〜S8を撮影する撮影装置である。カメラ300は、例えば、所定の時間間隔(例えば、1[フレーム/0.1秒])で撮影した撮影画像を画像I/F(不図示)を介して、教師端末201に出力する。カメラ300は、例えば、図1に示したカメラ110に対応する。
カメラ300は、例えば、教師端末201に設けられていてもよく、また、教師端末201と別体に設けられていてもよい。具体的には、例えば、カメラ300は、教室内の教壇などに設置される定点カメラであってもよく、また、教師の頭部などに装着されるウェアラブルカメラであってもよい。また、カメラ300は、赤外線カメラであってもよい。
なお、ここでは、生徒S1〜S8の座席やカメラ300の配置位置は予め決められており、また、教師は予め決められた位置(例えば、カメラ300とほぼ同じ位置)で授業を行う場合を想定する。
(教師端末201等のハードウェア構成例)
つぎに、図2に示した教師端末201、電子黒板202および生徒端末Ti(ここでは、単に「教師端末201等」と称する)のハードウェア構成例について説明する。
図4は、教師端末201等のハードウェア構成例を示すブロック図である。図4において、教師端末201等は、CPU(Central Processing Unit)401と、メモリ402と、ディスクドライブ403と、ディスク404と、I/F(Interface)405と、ディスプレイ406と、入力装置407と、を有する。また、各構成部はバス400によってそれぞれ接続される。
ここで、CPU401は、教師端末201等の全体の制御を司る。メモリ402は、例えば、ROM(Read−Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
ディスクドライブ403は、CPU401の制御に従ってディスク404に対するデータのリード/ライトを制御する。ディスク404は、ディスクドライブ403の制御で書き込まれたデータを記憶する。ディスク404としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
I/F405は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して外部装置に接続される。そして、I/F405は、ネットワーク210と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。ネットワーク210は、例えば、LAN、WAN、インターネットなどである。
ディスプレイ406は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ406は、例えば、CRT(Cathode Ray Tube)、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイなどを採用することができる。
入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
なお、教師端末201等は、上述した構成部のうち、例えば、ディスクドライブ403やディスク404を有さないことにしてもよい。また、教師端末201等は、上述した構成部のほか、例えば、カメラ300(図3参照)、SSD(Solid State Drive)、スキャナ、プリンタなどを有することにしてもよい。
(各種DB等220,230,240,250,260,270の記憶内容)
つぎに、図5〜図10を用いて、各種DB等220,230,240,250,260,270の記憶内容について説明する。各種DB等220,230,240,250,260,270は、例えば、図4に示した教師端末201のメモリ402、ディスク404などの記憶装置により実現される。
図5は、生徒DB220の記憶内容の一例を示す説明図である。図5において、生徒DB220は、生徒ID、生徒名、端末アドレスおよびエリア座標のフィールドを有し、各フィールドに情報を設定することで、生徒情報500−1〜500−8をレコードとして記憶する。
ここで、生徒ID(identification)は、生徒Siを識別する識別子である。生徒名は、生徒Siの名前である。端末アドレスは、生徒Siが使用する生徒端末Tiを識別する識別子であり、例えば、生徒端末TiのIP(Internet Protocol)アドレスである。
エリア座標は、カメラ300によって撮影される撮影画像における、生徒Siの顔領域の位置を示す。顔領域とは、撮影画像上の生徒Siの顔が位置する領域である。ここでは、エリア座標は、X軸とY軸とからなる画像座標系における、生徒Siの顔領域(矩形)の左上、右上、左下、右下の頂点の座標位置を示している。
例えば、生徒情報500−1は、生徒S1の生徒名「田中」、端末アドレス「XX.YY.ZZ.A1」およびエリア座標「(21,58)(30,58)(21,40)(30,40)」を示す。
図6は、課題DB230の記憶内容の一例を示す説明図である。図6において、課題DB230は、課題ID、課題内容、回答制限時間(分)、教科および難度のフィールドを有し、各フィールドに情報を設定することで、課題情報600−1〜600−4をレコードとして記憶する。
ここで、課題IDは、教師から生徒に与えられる課題を識別する識別子である。課題内容は、課題の内容である。回答制限時間(分)は、生徒に課題を与えてから回答を受け付けるまでの制限時間である。教科は、課題に対応する分野を区別するものである。教科としては、例えば、国語、数学、社会、理科などがある。
難度は、課題の難しさを示す度合いである。ここでは、難しい課題ほど難度を示す数字が大きく設定される。例えば、課題情報600−1は、課題K1の課題内容「未成年の中絶についてどう思うか?」と回答制限時間「20分」と教科「社会」と難度「4」とを示す。
図7は、回答DB240の記憶内容の一例を示す説明図である。図7において、回答DB240は、課題ID、生徒ID、賛否および意見内容のフィールドを有し、各フィールドに情報を設定することで、回答情報700−1〜700−8をレコードとして記憶する。
ここで、課題IDは、課題を識別する識別子である。生徒IDは、生徒Siを識別する識別子である。賛否は、課題で問われたことについて、生徒Siが賛成であるか反対であるかを示す。意見内容は、課題に対する生徒の意見の内容である。例えば、回答情報700−1は、課題K2に対する生徒S1の賛否「賛成」と意見内容「困っているときには助けるべき。」とを示す。
図8は、注視・うつむきフラグテーブル250の記憶内容の一例を示す説明図である。図8において、注視・うつむきフラグテーブル250は、記録日時ごとの各生徒S1〜S8の注視フラグ、うつむきフラグおよび状態フラグをレコードとして記録する。
ここで、記録日時は、各フラグ(注視フラグ、うつむきフラグ、状態フラグ)が記録された日時である。注視フラグは、生徒Siが教師のほうを見ていたか否かを示すフラグである。注視フラグには、教師のほうを見ていた場合に「1」が設定され、教師のほうを見ていなかった場合に「0」が設定される。
うつむきフラグは、生徒Siがうつむいていたか否かを示すフラグである。うつむきフラグには、うつむいていた場合に「1」が設定され、うつむいていない場合に「0」が設定される。状態フラグは、授業の状態を示すフラグであり、例えば、講義中、発表者選択中、発表中のいずれかの状態を示す。状態フラグには、講義中の場合に「1」が設定され、発表者選択中の場合に「2」が設定され、発表中の場合に「3」が設定される。
図9は、第1の注視・うつむき時間記録DB260の記憶内容の一例を示す説明図である。図9において、第1の注視・うつむき時間記録DB260は、発表者選択モード中の各生徒S1〜S8の各種情報を記憶する。発表者選択モードとは、発表時間内において、教師が発表者となる生徒を選択可能なモードであり、状態フラグ(図8参照)が「2」のときの授業の状態に対応する。
具体的には、第1の注視・うつむき時間記録DB260の過去講義累積欄には、過去の講義における発表者選択モード中の各生徒S1〜S8の累積発表者選択時間(s)、注視時間(s)、うつむき時間(s)、注視率(%)およびうつむき率(%)が記録される。
ここで、過去講義累積欄の累積発表者選択時間(s)は、過去の講義における発表者選択モードの累積時間を示す。過去講義累積欄の注視時間(s)は、過去の講義における発表者選択モード中に生徒Siが教師の方向を見ていた累積時間を示す。過去講義累積欄のうつむき時間(s)は、過去の講義における発表者選択モード中に生徒Siがうつむいていた累積時間を示す。
過去講義累積欄の注視率(%)は、過去の講義における発表者選択モード中に生徒Siが教師の方向を見ていた割合を示す。過去講義累積欄のうつむき率(%)は、過去の講義における発表者選択モード中に生徒Siがうつむいていた割合を示す。
また、第1の注視・うつむき時間記録DB260の現在の講義欄には、更新日時、現在の講義における発表者選択モード中の各生徒S1〜S8の選択時間(s)、注視時間(s)、うつむき時間(s)、注視率(%)およびうつむき率(%)が記録される。
ここで、更新日時は、現在の講義欄の情報が更新された日時である。現在の講義欄の選択時間(s)は、現在の講義における発表者選択モードの累積時間を示す。現在の講義欄の注視時間(s)は、現在の講義における発表者選択モード中に生徒Siが教師の方向を見ていた累積時間を示す。
現在の講義欄のうつむき時間(s)は、現在の講義における発表者選択モード中に生徒Siがうつむいていた累積時間を示す。現在の講義欄の注視率(%)は、現在の講義における発表者選択モード中に生徒Siが教師の方向を見ていた割合を示す。現在の講義欄のうつむき率(%)は、現在の講義における発表者選択モード中に生徒Siがうつむいていた割合を示す。
図10は、第2の注視・うつむき時間記録DB270の記憶内容の一例を示す説明図である。図10において、第2の注視・うつむき時間記録DB270は、講義中の各生徒S1〜S8の各種情報を記憶する。講義中とは、教師が生徒に対して講義を行っている状態であり、状態フラグ(図8参照)が「1」のときの授業の状態に対応する。
具体的には、第2の注視・うつむき時間記録DB270の過去講義累積欄には、過去の講義における講義中の各生徒S1〜S8の講義中時間(m)、注視時間(m)、うつむき時間(m)、注視率(%)およびうつむき率(%)が記録される。
ここで、過去講義累積欄の講義中時間(m)は、過去の講義における講義中の累積時間を示す。過去講義累積欄の注視時間(m)は、過去の講義における講義中に生徒Siが教師の方向を見ていた累積時間を示す。過去講義累積欄のうつむき時間(m)は、過去の講義における講義中に生徒Siがうつむいていた累積時間を示す。
過去講義累積欄の注視率(%)は、過去の講義における講義中に生徒Siが教師の方向を見ていた割合を示す。過去講義累積欄のうつむき率(%)は、過去の講義における講義中に生徒Siがうつむいていた割合を示す。
また、第2の注視・うつむき時間記録DB270の現在の講義欄には、講義中時間(m)、注視時間(m)、うつむき時間(m)、注視率(%)およびうつむき率(%)が記録される。
ここで、現在の講義欄の講義中時間(m)は、現在の講義における講義中の累積時間を示す。現在の講義欄の注視時間(m)は、現在の講義における講義中に生徒Siが教師の方向を見ていた累積時間を示す。現在の講義欄のうつむき時間(m)は、現在の講義における講義中に生徒Siがうつむいていた累積時間を示す。
現在の講義欄の注視率(%)は、現在の講義における講義中に生徒Siが教師の方向を見ていた割合を示す。現在の講義欄のうつむき率(%)は、現在の講義における講義中に生徒Siがうつむいていた割合を示す。
(課題選択画面1100の画面例)
つぎに、教師端末201のディスプレイ406に表示される課題選択画面1100の画面例について説明する。以下の説明では、教師端末201の各種画面に表示される項目やボタンをユーザが選択する操作として、クリック操作を行う場合を例に挙げて説明する。
図11は、課題選択画面1100の画面例を示す説明図である。図11において、課題選択画面1100は、生徒に検討させたい課題の選択を受け付ける画面である。
課題選択画面1100において、教師端末201の入力装置407(図4参照)を用いたユーザの操作入力により、選択ボタン1101〜1103のいずれかをクリックすると、生徒に検討させたい課題を選択することができる。図11の例では、選択ボタン1102がクリックされて、課題K2が選択されている。
また、課題選択画面1100において、課題送信ボタン1104をクリックすると、選択された課題の情報(例えば、課題K2の課題内容)を、教師端末201から生徒端末T1〜Tnに送信することができる。この結果、例えば、後述の図12に示すような回答画面1200が、生徒端末T1〜Tnのディスプレイ406に表示される。
なお、課題選択画面1100において、キャンセルボタン1105をクリックすると、課題選択画面1100の表示を終了させることができる。また、課題選択画面1100には、各課題の難度を合わせて表示することにしてもよい。
(回答画面1200の画面例)
つぎに、生徒端末Tiのディスプレイ406に表示される回答画面1200の画面例について説明する。以下の説明では、生徒端末Tiの各種画面に表示される項目やボタンをユーザが選択する操作として、タップ操作を行う場合を例に挙げて説明する。
図12は、回答画面1200の画面例を示す説明図である。図12において、回答画面1200は、教師から与えられた課題に対する意見内容の入力を受け付ける画面である。図12の例では、回答画面1200には、課題K2の課題内容「被災地からの瓦礫受け入れについてどう思うか?」が表示されている。
回答画面1200において、入力装置407(図4参照)を用いたユーザの操作入力により、チェックボックス1201,1202のいずれかをタップすると、課題で問われたことについて、賛成であるか反対であるかを選択することができる。図12の例では、チェックボックス1201がタップされた状態となっている。
また、回答画面1200において、意見欄1203をタップすると、課題に対する意見内容を入力することができる。図12の例では、課題に対する意見内容が意見欄1203に入力されていない未入力の状態である。なお、回答画面1200において、意見クリアボタン1204をタップすると、意見欄1203に入力された内容をクリアすることができる。
また、回答画面1200において、送信ボタン1205をタップすると、生徒端末Tiから教師端末201に回答結果を送信することができる。回答結果には、例えば、課題で問われたことについての賛否の選択結果と、意見欄1203に入力された意見内容と、が含まれる。
この結果、例えば、後述の図13に示すような教師用マトリクス画面1300が、教師端末201のディスプレイ406に表示される。また、生徒端末Tiから教師端末201に回答結果が送信されると、生徒端末Tiのディスプレイ406には、例えば、課題で問われたことについての賛否の選択結果と、意見欄1203に入力された意見内容とが表示される。
(教師用マトリクス画面1300の画面例)
つぎに、教師端末201のディスプレイ406に表示される教師用マトリクス画面1300の画面例について説明する。
図13は、教師用マトリクス画面1300の画面例を示す説明図(その1)である。図13において、教師用マトリクス画面1300は、教師から与えられた課題に対する生徒の意見内容を表示する画面である。図13の例では、課題K2に対する生徒の意見内容1301〜1308が表示されている。
例えば、意見内容1301は、課題K2に対する生徒S1の賛否「賛成」と意見内容「困っているときには助けるべき。」と生徒名「田中」とを示している。
教師用マトリクス画面1300において、発表モード移行ボタン1310をクリックすると、教師端末201は発表者選択モードに移行する。また、教師用マトリクス画面1300において、授業終了ボタン1320をクリックすると、教師用マトリクス画面1300の表示を終了することができる。
なお、教師用マトリクス画面1300の表示内容は、例えば、教師端末201が生徒端末Tiから回答結果を受信すると、その都度更新される。また、教師用マトリクス画面1300において、各生徒の意見内容の表示位置は、例えば、各生徒の座席位置などに応じて予め設定されている。
(生徒用マトリクス画面1400)
つぎに、電子黒板202のディスプレイ406に表示される生徒用マトリクス画面1400の画面例について説明する。
図14は、生徒用マトリクス画面1400の画面例を示す説明図である。図14において、生徒用マトリクス画面1400は、教師から与えられた課題に対する生徒の意見内容を一覧表示する画面である。図14の例では、課題K2に対する生徒の意見内容1401〜1408が表示されている。
意見内容1401〜1408は、図13に示した教師用マトリクス画面1300に表示された意見内容1301〜1308と同一内容である。生徒用マトリクス画面1400によれば、各生徒S1〜S8は、課題K2に対する他の生徒の意見内容を確認することができる。教師は、例えば、電子黒板202に生徒用マトリクス画面1400が表示されると、課題についての講義を開始し、その後、課題に対する意見の発表者の選択を行う。
(発表時画面1500)
つぎに、電子黒板202のディスプレイ406に表示される発表時画面1500の画面例について説明する。
図15は、発表時画面1500の画面例を示す説明図である。図15において、発表時画面1500は、発表者として選択された生徒Siの意見を拡大表示する画面である。図15の例では、課題K2に対する意見の発表者として選択された生徒S5(黒田さん)の意見内容1510(賛否、意見内容)が拡大表示されている。
発表時画面1500によれば、各生徒S1〜S8は、課題K2に対する発表者の意見内容を確認することができる。また、発表時画面1500において、発表終了ボタン1520をクリックすると、発表時画面1500の表示を終了することができる。なお、発表時画面1500上での入力操作は、例えば、教師端末201の入力装置407を用いて行うことができる。
(教師端末201の機能的構成例)
図16は、教師端末201の機能的構成例を示すブロック図である。図16において、教師端末201は、取得部1601と、受付部1602と、表示制御部1603と、送信部1604と、受信部1605と、認識部1606と、検出部1607と、設定部1608と、算出部1609と、更新部1610と、を含む構成である。取得部1601〜更新部1610は制御部となる機能であり、具体的には、例えば、図4に示したメモリ402、ディスク404などの記憶装置に記憶されたプログラムをCPU401に実行させることにより、その機能を実現する。各機能部の処理結果は、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
取得部1601は、カメラ300によって撮影された撮影画像を取得する。ここで、撮影画像は、例えば、席に座った生徒S1〜S8を撮影した画像である。具体的には、例えば、取得部1601は、カメラ300によって[1フレーム/0.1秒]で撮影される撮影画像をカメラ300から取得する。撮影画像の具体例については、図17を用いて後述する。
受付部1602は、課題選択画面1100(図11参照)の表示要求を受け付ける。具体的には、例えば、受付部1602は、教師端末201の入力装置407を用いたユーザの操作入力により、課題選択画面1100の表示要求を受け付ける。
表示制御部1603は、教師端末201のディスプレイ406に課題選択画面1100を表示する。具体的には、例えば、表示制御部1603は、課題選択画面1100の表示要求を受け付けたことに応じて、課題DB230(図6参照)を参照して、課題選択画面1100の画面情報を生成することにより、ディスプレイ406に課題選択画面1100を表示する。
これにより、教師端末201のディスプレイ406に、生徒に検討させたい課題を選択可能な課題選択画面1100を表示することができる。
受付部1602は、生徒に検討させたい課題の課題IDの選択を受け付ける。具体的には、例えば、受付部1602は、課題選択画面1100において、ユーザの操作入力により、課題IDの選択を受け付ける。以下の説明では、選択を受け付けた課題IDに対応する課題を「課題K」と表記する場合がある。
表示制御部1603は、生徒端末T1〜Tnのディスプレイ406に回答画面1200(図12参照)を表示する制御を行う。具体的には、例えば、まず、表示制御部1603は、課題選択画面1100において課題送信ボタン1104がクリックされたことに応じて、課題DB230から課題Kの課題情報を抽出する。つぎに、表示制御部1603は、生徒DB220(図5参照)を参照して、生徒端末T1〜Tnの端末アドレスを特定する。そして、表示制御部1603は、送信部1604を制御して、抽出した課題Kの課題情報を生徒端末T1〜Tnの端末アドレス宛にそれぞれ送信する。
これにより、生徒端末T1〜Tnのディスプレイ406に、教師から与えられた課題Kに対する意見内容を入力可能な回答画面1200を表示することができる。
受信部1605は、課題Kに対する回答結果を生徒端末Tiから受信する。回答結果には、例えば、課題ID、生徒ID、課題Kで問われたことについての賛否の選択結果、課題Kに対する意見内容などが含まれる。受信された回答結果は、例えば、回答DB240(図7参照)に記憶される。
表示制御部1603は、教師端末201のディスプレイ406に教師用マトリクス画面1300(図13参照)を表示する。具体的には、例えば、表示制御部1603は、回答DB240を参照して、教師用マトリクス画面1300の画面情報を生成することにより、ディスプレイ406に教師用マトリクス画面1300を表示する。
これにより、教師端末201のディスプレイ406に、生徒Siから提出された課題Kに対する意見内容を閲覧可能な教師用マトリクス画面1300を表示することができる。
受付部1602は、発表者選択モードへの移行指示を受け付ける。具体的には、例えば、受付部1602は、教師用マトリクス画面1300(図13参照)において、発表モード移行ボタン1310がクリックされると、発表者選択モードへの移行指示を受け付ける。
また、受付部1602は、教師端末201のマイクロフォン(不図示)に受音された音声、例えば、「これから発表者を指名します。」などの音声を音声認識することにより、発表者選択モードへの移行指示を受け付けることにしてもよい。さらに、受付部1602は、教師端末201に設けられる物理的なボタン(不図示)が押下されたことを検出することにより、発表者選択モードへの移行指示を受け付けることにしてもよい。
認識部1606は、生徒Siの画像に対する顔認識処理を行う。具体的には、例えば、まず、認識部1606は、カメラ300によって撮影された撮影画像から、生徒Siの顔領域の画像を抽出する。そして、認識部1606は、顔認識用の学習データを用いて、抽出した顔領域の画像から生徒Siの顔を認識する。
顔認識用の学習データは、例えば、生徒Siの顔を撮影した顔画像から生成される。例えば、顔認識用の学習データは、生徒Siの顔画像に基づいて、HOG(Histograms of Oriented Gradients)特徴量を求め、AdaBoostなどで学習することで生成することができる。
なお、認識部1606による顔認識処理は、例えば、カメラ300によって所定の時間間隔(例えば、[1フレーム/0.1秒])で撮影される撮影画像に対して行われる。
ここで、図17を用いて、認識部1606の具体的な処理内容について説明する。
図17は、撮影画像の具体例を示す説明図である。図17において、撮影画像1700は、カメラ300によって生徒S1〜S8を撮影した画像である。また、図17中の点線枠1701〜1708は、生徒S1〜S8の顔領域をそれぞれ示している。また、図17中のX軸とY軸は、画像座標系の座標軸である。
ここで、生徒S1の顔を認識する場合について説明する。この場合、認識部1606は、生徒DB220(図5参照)から、生徒S1のエリア座標を取得する。つぎに、認識部1606は、撮影画像1700から、取得した生徒S1のエリア座標から特定される顔領域1701の画像を抽出する。そして、認識部1606は、生徒S1の顔認識用の学習データを用いて、抽出した顔領域1701の画像から生徒S1の顔を認識する。図17の例では、生徒S1はうつむいているため、顔領域1701の画像から生徒S1の顔は認識されない。
つぎに、生徒S3の顔を認識する場合について説明する。この場合、認識部1606は、生徒DB220(図5参照)から、生徒S3のエリア座標を取得する。つぎに、認識部1606は、撮影画像1700から、取得した生徒S3のエリア座標から特定される顔領域1703の画像を抽出する。そして、認識部1606は、生徒S3の顔認識用の学習データを用いて、抽出した顔領域1703の画像から生徒S3の顔を認識する。図17の例では、生徒S3は前を向いているため、顔領域1703の画像から生徒S3の顔が認識される。
図16の説明に戻り、検出部1607は、生徒Siの画像を顔認識して得られる生徒Siの眼の画像に基づいて、生徒Siの視線を検出する。ここで、生徒Siの眼とは、生徒Siの眼球の表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球の表面である。
具体的には、例えば、検出部1607は、生徒Siの眼の画像から特定される、基準点に対する動点の位置に基づいて、生徒Siの視線を検出する。より具体的には、例えば、検出部1607は、基準点を「目頭」とし、動点を「虹彩」として、生徒Siの視線(視線ベクトル)を検出することにしてもよい。
また、検出部1607は、例えば、基準点を「角膜反射」とし、動点を「瞳孔」として、生徒Siの視線(視線ベクトル)を検出することにしてもよい。角膜反射は、例えば、不図示の赤外線LED(Light Emitting Diode)により生徒Siに赤外線を照射してできた反射光の角膜上の位置を示す。
なお、視線検出技術については、例えば、以下のウェブページ<URL :http://jp.fujitsu.com/group/labs/techinfo/techguide/list/eye−movements.html>を参照することができる。
設定部1608は、状態フラグを設定する。ここで、状態フラグとは、授業の状態を示すフラグであり、例えば、講義中、発表者選択中、発表中のいずれかの状態を示す。講義中は、教師が生徒S1〜Snに対して講義を行っている状態である。発表者選択中は、課題Kに対する意見の発表者を選択可能な状態である。発表中は、課題Kに対する意見の発表者として選択された生徒Siが発表している状態である。状態フラグは、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
具体的には、例えば、設定部1608は、課題Kに対する回答結果を生徒端末T1〜Tnから受信したことに応じて、状態フラグを「1」に設定する。状態フラグ「1」は、講義中であることを示す。また、設定部1608は、例えば、課題Kの回答制限時間が経過したことに応じて、状態フラグを「1」に設定することにしてもよい。
また、設定部1608は、例えば、発表者選択モードへの移行指示を受け付けたことに応じて、状態フラグを「2」に設定する。状態フラグ「2」は、発表者選択中であることを示す。また、設定部1608は、課題Kに対する意見の発表者が選択されたことに応じて、状態フラグを「3」に設定する。状態フラグ「3」は、発表中であることを示す。
また、設定部1608は、認識部1606によって認識された認識結果に基づいて、生徒Siのうつむきフラグを設定する。ここで、生徒Siの顔が認識されなかった場合は、生徒Siがうつむいていたと判断することができる。このため、設定部1608は、生徒Siの顔が認識されなかった場合に、生徒Siのうつむきフラグ「1」を設定する。
より具体的には、例えば、設定部1608は、生徒Siの顔が認識されなかった場合に、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「1」を、注視・うつむきフラグテーブル250(図8参照)に記録する。
これにより、記録日時および状態フラグと対応付けて、生徒Siがうつむいていたことを示すうつむきフラグ「1」を記録することができる。なお、記録日時は、注視フラグ、うつむきフラグを記録した日時であってもよく、顔認識処理対象の撮影画像が撮影された日時であってもよい。
また、設定部1608は、検出部1607によって検出された検出結果に基づいて、生徒Siの注視フラグを設定する。ここで、生徒Siの視線が、教師が位置する特定の方向に向いている場合は、生徒Siが教師のほうを見ていると判断することができる。
このため、設定部1608は、例えば、検出された生徒Siの視線が、予め設定された教師が位置する特定の方向に向いているか否かを判断する。そして、設定部1608は、生徒Siの視線が特定の方向に向いている場合に、生徒Siの注視フラグ「1」を設定する。
より具体的には、例えば、設定部1608は、生徒Siの視線が特定の方向に向いている場合に、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「1」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録する。
これにより、記録日時および状態フラグと対応付けて、生徒Siが教師のほうを見ていたことを示す注視フラグ「1」を記録することができる。
算出部1609は、認識部1606によって認識された認識結果に基づいて、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F1を計数する。そして、算出部1609は、計数したうつむきフラグ数F1をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する。
これにより、現在の講義における発表者選択モード中に生徒Siがうつむいていた割合を示すうつむき率を算出することができる。
算出された現在の講義における発表者選択モード中の生徒Siのうつむき率は、例えば、第1の注視・うつむき時間記録DB260(図9参照)内の現在の講義欄に設定される。また、計数されたレコード数R1は、選択時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。また、計数されたうつむきフラグ数F1は、うつむき時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。
なお、レコード数R1は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、選択時間に換算することができる。また、フラグ数F1は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、うつむき時間に換算することができる。
また、算出部1609は、検出部1607によって検出された検出結果に基づいて、現在の講義における発表者選択モード中の生徒Siの注視率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」の生徒Siの注視フラグ「1」の注視フラグ数F2を計数する。そして、算出部1609は、計数した注視フラグ数F2をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siの注視率を算出する。
これにより、現在の講義における発表者選択モード中に生徒Siが教師のほうを見ていた割合を示す注視率を算出することができる。
算出された現在の講義における発表者選択モード中の生徒Siの注視率は、例えば、第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。また、計数された注視フラグ数F2は、注視時間に換算されて第1の注視・うつむき時間記録DB260内の現在の講義欄に設定される。なお、注視フラグ数F2は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、注視時間に換算することができる。
また、算出部1609は、認識部1606によって認識された認識結果に基づいて、現在の講義中の生徒Siのうつむき率を算出することにしてもよい。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F3を計数する。そして、算出部1609は、計数したうつむきフラグ数F3をレコード数R2で除算することにより、現在の講義中の生徒Siのうつむき率を算出する。
これにより、現在の講義中に生徒Siがうつむいていた割合を示すうつむき率を算出することができる。
算出された現在の講義中の生徒Siのうつむき率は、例えば、第2の注視・うつむき時間記録DB270(図10参照)内の現在の講義欄に設定される。また、計数されたレコード数R2は、講義中時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。また、計数されたうつむきフラグ数F3は、うつむき時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。
なお、レコード数R2は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、講義中時間に換算することができる。また、フラグ数F3は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、うつむき時間に換算することができる。
また、算出部1609は、検出部1607によって検出された検出結果に基づいて、現在の講義中の生徒Siの注視率を算出する。具体的には、例えば、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2を計数する。つぎに、算出部1609は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」の生徒Siの注視フラグ「1」の注視フラグ数F4を計数する。そして、算出部1609は、計数した注視フラグ数F4をレコード数R2で除算することにより、現在の講義中の生徒Siの注視率を算出する。
これにより、現在の講義中に生徒Siが教師のほうを見ていた割合を示す注視率を算出することができる。
算出された現在の講義中の生徒Siの注視率は、例えば、第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。また、計数された注視フラグ数F4は、注視時間に換算されて第2の注視・うつむき時間記録DB270内の現在の講義欄に設定される。なお、注視フラグ数F4は、例えば、カメラ300の撮影間隔(例えば、0.1[s])を掛け合わせることにより、注視時間に換算することができる。
表示制御部1603は、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率を、生徒Siと対応付けて出力する。具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、現在の講義における発表者選択モード中の生徒S1〜S8のうつむき率を、意見内容1301〜1308とともに表示することにしてもよい。
また、例えば、表示制御部1603は、生徒S1〜S8の生徒名を、現在の講義における発表者選択モード中のうつむき率が高い順(あるいは、低い順)にソートしてディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、現在の講義における発表者選択モード中のうつむき率が高い(あるいは、低い)上位N人(例えば、N=3)の生徒名をディスプレイ406に表示することにしてもよい。
また、表示制御部1603は、算出された現在の講義における発表者選択モード中の生徒Siの注視率を、生徒Siと対応付けて出力する。具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、現在の講義における発表者選択モード中の生徒S1〜S8の注視率を、意見内容1301〜1308とともに表示することにしてもよい。
また、例えば、表示制御部1603は、生徒S1〜S8の生徒名を、現在の講義における発表者選択モード中の注視率が高い順(あるいは、低い順)にソートしてディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、現在の講義における発表者選択モード中の注視率が高い(あるいは、低い)上位N人(例えば、N=3)の生徒の生徒名をディスプレイ406に表示することにしてもよい。
また、表示制御部1603は、過去の講義における発表者選択モード中のうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。過去の講義における発表者選択モード中のうつむき率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄のうつむき率に対応する。
そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。閾値αは、予め設定されてメモリ402、ディスク404などの記憶装置に記憶されている。閾値αは、例えば、30〜70[%]程度の値に設定される。
なお、うつむき率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siのうつむき率から、過去の講義における発表者選択モード中のうつむき率を減算した値である。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した生徒Siを特定することができる。
また、うつむき率の差分は、例えば、過去の講義における発表者選択モード中のうつむき率から、現在の講義における発表者選択モード中の生徒Siのうつむき率を減算した値であってもよい。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上低下した生徒Siを特定することができる。
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siがうつむいているときの画像を意見内容とともに表示することにしてもよい。
なお、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例については、図18を用いて後述する。
また、表示制御部1603は、うつむき率の差分が最大の生徒Siを発表者候補として表示することにしてもよい。具体的には、例えば、表示制御部1603は、後述の図19に示すような発表者選択画面1900をディスプレイ406にポップアップ表示することにしてもよい。
また、表示制御部1603は、過去の講義における発表者選択モード中の注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。過去の講義における発表者選択モード中の注視率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
なお、注視率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siの注視率から、過去の講義における発表者選択モード中の注視率を減算した値である。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した生徒Siを特定することができる。
また、注視率の差分は、例えば、過去の講義における発表者選択モード中の注視率から、現在の講義における発表者選択モード中の生徒Siの注視率を減算した値であってもよい。この場合、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上低下した生徒Siを特定することができる。
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、注視率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
なお、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例については、図18を用いて後述する。
また、表示制御部1603は、注視率の差分が最大の生徒Siを発表者候補として表示することにしてもよい。具体的には、例えば、表示制御部1603は、後述の図19に示すような発表者選択画面1900をディスプレイ406にポップアップ表示することにしてもよい。
また、表示制御部1603は、現在の講義中の生徒Siのうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。現在の講義中のうつむき率は、例えば、第2の注視・うつむき時間記録DB270の現在の講義欄のうつむき率に対応する。そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
なお、うつむき率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siのうつむき率から、現在の講義中のうつむき率を減算した値である。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した生徒Siを特定することができる。
また、うつむき率の差分は、例えば、現在の講義中のうつむき率から、現在の講義における発表者選択モード中の生徒Siのうつむき率を減算した値であってもよい。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上低下した生徒Siを特定することができる。
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、うつむき率の差分が閾値α以上となる生徒Siの顔画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siがうつむいているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、うつむき率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
また、表示制御部1603は、現在の講義中の生徒Siの注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。現在の講義中の注視率は、例えば、第1の注視・うつむき時間記録DB260の現在の講義欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
なお、注視率の差分は、例えば、現在の講義における発表者選択モード中の生徒Siの注視率から、現在の講義中の注視率を減算した値である。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した生徒Siを特定することができる。
また、注視率の差分は、例えば、現在の講義中の注視率から、現在の講義における発表者選択モード中の生徒Siの注視率を減算した値であってもよい。この場合、現在の講義中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上低下した生徒Siを特定することができる。
具体的には、例えば、表示制御部1603は、教師用マトリクス画面1300において、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を意見内容とともに表示することにしてもよい。さらに、表示制御部1603は、注視率の差分が閾値α以上となる上位N人の生徒の画像を意見内容とともに表示することにしてもよい。
また、表示制御部1603は、過去の講義中のうつむき率と、算出された現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することにしてもよい。過去の講義中のうつむき率は、例えば、第2の注視・うつむき時間記録DB270の過去講義累積欄のうつむき率に対応する。そして、表示制御部1603は、うつむき率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
また、表示制御部1603は、過去の講義中の注視率と、算出された現在の講義における発表者選択モード中の生徒Siの注視率とを比較することにしてもよい。過去の講義中の注視率は、例えば、第1の注視・うつむき時間記録DB260の過去講義累積欄の注視率に対応する。そして、表示制御部1603は、注視率の差分が閾値α以上となる生徒Siの識別情報を出力することにしてもよい。
また、表示制御部1603は、課題Kの難度に応じて、現在の講義における発表者選択モード中の注視率が閾値β以上の上位N人の生徒の生徒名をディスプレイ406に表示することにしてもよい。この際、表示制御部1603は、生徒Siが教師のほうを見ているときの画像を生徒名とともに表示することにしてもよい。
具体的には、例えば、表示制御部1603は、課題Kの難度が低い場合(例えば、難度=1,2)に、後述の図20に示すような発表者選択画面2000をディスプレイ406に表示することにしてもよい。閾値βは、予め設定されてメモリ402、ディスク404などの記憶装置に記憶されている。閾値βは、例えば、80[%]程度の値に設定される。また、課題Kの難度は、例えば、課題DB230から特定することができる。
また、受付部1602は、課題Kに対する意見の発表者の選択を受け付ける。具体的には、例えば、受付部1602は、後述の図18に示す教師用マトリクス画面1300において、課題Kに対する意見の発表者の選択を受け付ける。
また、表示制御部1603は、課題Kに対する意見の発表者の選択を受け付けたことに応じて、電子黒板202に発表時画面1500(図15参照)を表示する制御を行う。具体的には、例えば、表示制御部1603は、回答DB240を参照して、発表者として選択された生徒Siの意見内容を拡大表示する発表時画面1500の画面情報を生成する。そして、表示制御部1603は、生成した発表時画面1500の画面情報を電子黒板202に送信する。
これにより、電子黒板202に、課題Kに対する意見の発表者として選択された生徒Siの意見内容を拡大表示することができる。
また、受付部1602は、授業終了要求を受け付ける。ここで、授業終了要求とは、授業の終了を通知するものである。具体的には、例えば、受付部1602は、教師用マトリクス画面1300において、授業終了ボタン1320がクリックされたことに応じて、授業終了要求を受け付ける。
更新部1610は、授業終了要求を受け付けたことに応じて、第1の注視・うつむき時間記録DB260の記憶内容を更新する。具体的には、例えば、更新部1610は、第1の注視・うつむき時間記録DB260の現在の講義欄の各生徒Siの選択時間、注視時間およびうつむき時間を、過去講義累積欄の各生徒Siの累積発表者選択時間、注視時間およびうつむき時間にそれぞれ加算する。
そして、更新部1610は、過去講義累積欄の各生徒Siの注視時間を累積発表者選択時間で除算することにより、過去講義累積欄の各生徒Siの注視率を更新する。また、更新部1610は、過去講義累積欄の各生徒Siのうつむき時間を累積発表者選択時間で除算することにより、過去講義累積欄の各生徒Siのうつむき率を更新する。
これにより、今回の授業(講義)の終了に応じて、過去の講義における発表者選択モード中の各生徒Siの注視率およびうつむき率を更新することができる。
また、更新部1610は、授業終了要求を受け付けたことに応じて、第2の注視・うつむき時間記録DB270の記憶内容を更新する。具体的には、例えば、更新部1610は、第2の注視・うつむき時間記録DB270の現在の講義欄の各生徒Siの講義中時間、注視時間およびうつむき時間を、過去講義累積欄の各生徒Siの講義中時間、注視時間およびうつむき時間にそれぞれ加算する。
そして、更新部1610は、過去講義累積欄の各生徒Siの注視時間を講義中時間で除算することにより、過去講義累積欄の各生徒Siの注視率を更新する。また、更新部1610は、過去講義累積欄の各生徒Siのうつむき時間を講義中時間で除算することにより、過去講義累積欄の各生徒Siのうつむき率を更新する。
これにより、今回の授業(講義)の終了に応じて、過去の講義中の各生徒Siの注視率およびうつむき率を更新することができる。
なお、上述した説明では、教師端末201が各機能部1601〜1610の機能を実現することにしたが、これに限らない。具体的には、例えば、教師端末201および生徒端末T1〜Tnと通信可能なサーバが、各機能部1601〜1610の機能を実現する形態としてもよい。
(教師用マトリクス画面1300の画面例)
つぎに、教師用マトリクス画面1300において、うつむき率、または、注視率の差分が閾値α以上となる生徒Siの画像を意見内容とともに表示する場合の画面例について説明する。
図18は、教師用マトリクス画面1300の画面例を示す説明図(その2)である。図18において、教師用マトリクス画面1300は、図13に示した教師用マトリクス画面1300において発表モード移行ボタン1310がクリックされた後に表示される画面例である。
教師用マトリクス画面1300では、生徒S4(山本),S6(本田)の意見内容1304,1306に、生徒S4,S6のうつむき画像1801,1802が重畳表示されている。ここで、生徒S4,S6は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が閾値α以上増加した上位2人の生徒である。
うつむき画像1801,1802は、生徒S4,S6がうつむいているときの画像である。うつむき画像1801,1802は、顔認識に用いられた生徒S4,S6の顔領域の画像(うつむき画像)である。ただし、うつむき画像として、例えば、メモリ402、ディスク404などの記憶装置に予め記憶された画像を用いることにしてもよい。また、うつむき画像1801,1802の左側に表示された数字は、うつむき率の増加分の高さを示す順位(1位、2位)である。
また、教師用マトリクス画面1300では、生徒S5(黒田),S8(浅井)の意見内容1305,1308に、生徒S5,S8の注視画像1803,1804が重畳表示されている。ここで、生徒S5,S8は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が閾値α以上増加した上位2人の生徒である。
注視画像1803,1804は、生徒S5,S8が教師のほうを見ているときの画像である。注視画像1803,1804は、顔認識に用いられた生徒S5,S8の顔領域の画像(注視画像)である。ただし、注視画像として、例えば、メモリ402、ディスク404などの記憶装置に予め記憶された画像を用いることにしてもよい。また、注視画像1803,1804の左側に表示された数字は、注視率の増加分の高さを示す順位である。
教師用マトリクス画面1300によれば、教師は、うつむき画像1801,1802から、過去の講義のときに比べて、発表者選択モード中にうつむいている割合が高い生徒S4,S6を判別することができる。このため、教師は、生徒S4,S6がいつもよりも自信がない状態であると判断でき、発表者として生徒S4,S6を当てるか否かを判断しやすくなる。
また、教師用マトリクス画面1300によれば、教師は、注視画像1803,1804から、過去の講義のときに比べて、発表者選択モード中に自分のほうを向いている割合が高い生徒S5,S8を判別することができる。このため、教師は、生徒S5,S8がいつもよりも自信がある状態であると判断でき、発表者として生徒S5,S8を当てるか否かを判断しやすくなる。この際、教師は、例えば、注視画像1803,1804を見比べることで、生徒S5,S8の表情などから、より自信がある生徒を判断することができる。
また、教師用マトリクス画面1300において、意見内容1301〜1308のいずれかをクリックすると、課題K2に対する意見の発表者を選択することができる。例えば、意見内容1305がクリックされると、生徒S5が発表者として選択され、生徒S5の意見を拡大表示する発表時画面1500が電子黒板202に表示される。
(発表者選択画面の画面例)
つぎに、図19および図20を用いて、ディスプレイ406にポップアップ表示される発表者選択画面の画面例について説明する。
図19は、発表者選択画面の画面例を示す説明図(その1)である。図19において、発表者選択画面1900は、課題Kに対する意見の発表者を選択可能な画面である。発表者選択画面1900では、うつむき画像1901と注視画像1902が表示されている。
うつむき画像1901は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、うつむき率が高い(うつむき率の差分が最大)生徒S4(山本)の画像である。また、注視画像1902は、過去の講義における発表者選択モード中よりも現在の講義における発表者選択モード中のほうが、注視率が高い(注視率の差分が最大)生徒S5(黒田)の画像である。
また、発表者選択画面1900において、うつむき画像1901および注視画像1902のいずれかの画像をクリックすることで、課題K2に対する意見の発表者を選択することができる。
発表者選択画面1900によれば、教師は、うつむき画像1901から、過去の講義のときに比べて、発表者選択モード中にうつむいている割合が最も高い生徒S4を判別することができる。このため、教師は、生徒S4がいつもよりもかなり自信がない状態であり、今回に限っては当てて欲しくないと思っているような生徒であると判断でき、発表者として生徒S4を当てるか否かを判断しやすくなる。
また、発表者選択画面1900によれば、教師は、注視画像1902から、過去の講義のときに比べて、発表者選択モード中に自分のほうを向いている割合が最も高い生徒S5を判別することができる。このため、教師は、生徒S5がいつもよりもかなり自信がある状態であり、今回に限っては当てて欲しいと思っているような生徒であると判断でき、発表者として生徒S5を当てるか否かを判断しやすくなる。
図20は、発表者選択画面の画面例を示す説明図(その2)である。図20において、発表者選択画面2000は、難度の低い課題Kに対する意見の発表者を選択可能な画面である。発表者選択画面2000では、注視画像2001,2002が表示されている。
注視画像2001は、現在の講義における発表者選択モード中の注視率が80[%]以上の生徒S2(山田)の画像である。また、注視画像2002は、現在の講義における発表者選択モード中の注視率が80[%]以上の生徒S8(浅井)の画像である。
また、発表者選択画面2000において、注視画像2001,2002のいずれかの画像をクリックすることで、課題Kに対する意見の発表者を選択することができる。
発表者選択画面2000によれば、教師は、注視画像2001,2002から、発表者選択モード中に自分のほうを向いている割合が高い生徒S2,S8を判別することができる。このため、教師は、生徒S2,S8がかなり自信のある生徒であると判断することができる。また、課題Kの難度が低いため、教師は、たとえ生徒S2,S8が課題Kに対応する教科が不得意な生徒であっても、発表者として生徒S2,S8を選択しやすくなる。これにより、課題Kに対応する教科が不得意な生徒であっても、難度の低い課題Kを答えることにより、自信をつけてもらうことができる。
(教師端末201の教育支援処理手順)
つぎに、教師端末201の教育支援処理手順について説明する。
図21は、教師端末201の教育支援処理手順の一例を示すフローチャートである。図21のフローチャートにおいて、まず、教師端末201は、意見収集処理を実行する(ステップS2101)。意見収集処理の具体的な処理手順については、図22を用いて後述する。
つぎに、教師端末201は、講義中処理を実行する(ステップS2102)。講義中処理の具体的な処理手順については、図23を用いて後述する。そして、教師端末201は、発表中処理を実行して(ステップS2103)、本フローチャートによる一連の処理を終了する。発表中処理の具体的な処理手順については、図24〜図26を用いて後述する。
<意見収集処理の具体的処理手順>
つぎに、図21に示したステップS2101の意見収集処理の具体的な処理手順について説明する。
図22は、意見収集処理の具体的処理手順の一例を示すフローチャートである。図22のフローチャートにおいて、まず、教師端末201は、ディスプレイ406に課題選択画面1100を表示する(ステップS2201)。
そして、教師端末201は、生徒に検討させたい課題Kの課題IDの選択を受け付けたか否かを判断する(ステップS2202)。ここで、教師端末201は、課題IDの選択を受け付けるのを待つ(ステップS2202:No)。
そして、教師端末201は、課題IDの選択を受け付けた場合(ステップS2202:Yes)、課題DB230から、選択された課題IDに対応する課題情報を抽出する(ステップS2203)。つぎに、教師端末201は、課題選択画面1100の課題送信ボタン1104がクリックされたことに応じて、抽出した課題情報を生徒端末T1〜TnのIPアドレス宛にそれぞれ送信する(ステップS2204)。
そして、教師端末201は、課題Kの回答制限時間の計時を開始する(ステップS2205)。つぎに、教師端末201は、課題Kに対する回答結果を生徒端末Tiから受信したか否かを判断する(ステップS2206)。
ここで、回答結果を受信していない場合(ステップS2206:No)、教師端末201は、ステップS2210に移行する。一方、回答結果を受信した場合(ステップS2206:Yes)、教師端末201は、受信した回答結果を回答DB240に記録する(ステップS2207)。
そして、教師端末201は、回答DB240を参照して、教師用マトリクス画面1300の画面情報を生成することにより、ディスプレイ406に教師用マトリクス画面1300を表示する(ステップS2208)。つぎに、教師端末201は、生徒全員の回答結果を受信したか否かを判断する(ステップS2209)。
ここで、生徒全員の回答結果を受信した場合(ステップS2209:Yes)、教師端末201は、ステップS2211に移行する。一方、生徒全員の回答結果を受信していない場合(ステップS2209:No)、教師端末201は、課題Kの回答制限時間が経過したか否かを判断する(ステップS2210)。
ここで、課題Kの回答制限時間が経過していない場合(ステップS2210:No)、教師端末201は、ステップS2206に戻る。一方、課題Kの回答制限時間が経過した場合(ステップS2210:Yes)、教師端末201は、回答DB240を参照して、生徒用マトリクス画面1400の画面情報を生成することにより、電子黒板202に生徒用マトリクス画面1400を表示して(ステップS2211)、意見収集処理を呼び出したステップに戻る。これにより、課題Kに対する生徒Siの回答結果を収集することができる。
<講義中処理の具体的処理手順>
つぎに、図21に示したステップS2102の講義中処理の具体的な処理手順について説明する。
図23は、講義中処理の具体的処理手順の一例を示すフローチャートである。図23のフローチャートにおいて、まず、教師端末201は、状態フラグを「1」に設定する(ステップS2301)。つぎに、教師端末201は、フラグ付け処理を実行する(ステップS2302)。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
そして、教師端末201は、発表者選択モードへの移行指示を受け付けたか否かを判断する(ステップS2303)。ここで、発表者選択モードへの移行指示を受け付けていない場合(ステップS2303:No)、教師端末201は、ステップS2302に戻る。一方、発表者選択モードへの移行指示を受け付けた場合(ステップS2303:Yes)、教師端末201は、講義中処理を呼び出したステップに戻る。
これにより、発表者選択モードへの移行指示を受け付けるまでの間は、フラグ付け処理を繰り返し実行することができる。
<発表中処理の具体的処理手順>
つぎに、図21に示したステップS2103の発表中処理の具体的な処理手順について説明する。
図24〜図26は、発表中処理の具体的処理手順の一例を示すフローチャートである。図24のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」として(ステップS2401)、生徒数をnとして設定し、生徒S1〜Snから生徒Siを選択する(ステップS2402)。
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2と、状態フラグ「1」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F3を計数する(ステップS2403)。そして、教師端末201は、計数したうつむきフラグ数F3をレコード数R2で除算することにより、現在の講義中の生徒Siのうつむき率を算出する(ステップS2404)。
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「1」のレコード数R2と、状態フラグ「1」の生徒Siの注視フラグ「1」の注視フラグ数F4を計数する(ステップS2405)。そして、教師端末201は、計数した注視フラグ数F4をレコード数R2で除算することにより、現在の講義中の生徒Siの注視率を算出する(ステップS2406)。
そして、教師端末201は、第2の注視・うつむき時間記録DB270の現在の講義欄を更新する(ステップS2407)。つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2408)、「i」が「n」より大きくなったか否かを判断する(ステップS2409)。
ここで、「i」が「n」以下の場合(ステップS2409:No)、教師端末201は、ステップS2402に戻る。一方、「i」が「n」より大きい場合(ステップS2409:Yes)、教師端末201は、状態フラグを「2」に設定する(ステップS2410)。
そして、教師端末201は、フラグ付け処理を実行して(ステップS2411)、図25に示すステップS2501に移行する。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
図25のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2501)、生徒数をnに設定し、生徒S1〜Snから生徒Siを選択する(ステップS2502)。つぎに、教師端末201は、第1の注視・うつむき時間記録DB260を参照して、過去講義累積欄の生徒Siの注視率と、現在の講義欄の生徒Siの注視率とを取得する(ステップS2503)。
そして、教師端末201は、現在の講義欄の生徒Siの注視率から過去講義累積欄の生徒Siの注視率を減算した差分(注視率の増加分)が閾値α以上であるか否かを判断する(ステップS2504)。ここで、差分(注視率の増加分)が閾値α以上の場合(ステップS2504:Yes)、教師端末201は、教師用マトリクス画面1300の生徒Siに対応する領域に、生徒Siの注視画像を表示する(ステップS2505)。
つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2506)、「i」が「n」より大きくなったか否かを判断する(ステップS2507)。ここで、「i」が「n」以下の場合(ステップS2507:No)、教師端末201は、ステップS2502に戻る。一方、「i」が「n」より大きい場合(ステップS2507:Yes)、図26に示すステップS2601に移行する。
また、ステップS2504において、差分(注視率の増加分)が閾値α未満の場合(ステップS2504:No)、教師端末201は、第1の注視・うつむき時間記録DB260を参照して、過去講義累積欄の生徒Siのうつむき率と、現在の講義欄の生徒Siのうつむき率とを取得する(ステップS2508)。
そして、教師端末201は、現在の講義欄の生徒Siのうつむき率から過去講義累積欄の生徒Siのうつむき率を減算した差分(うつむき率の増加分)が閾値α以上であるか否かを判断する(ステップS2509)。ここで、差分(うつむき率の増加分)が閾値α未満の場合(ステップS2509:No)、教師端末201は、ステップS2506に移行する。
一方、差分(うつむき率の増加分)が閾値α以上の場合(ステップS2509:Yes)、教師端末201は、教師用マトリクス画面1300の生徒Siに対応する領域に、生徒Siのうつむき画像を表示して(ステップS2510)、ステップS2506に移行する。
図26のフローチャートにおいて、まず、教師端末201は、課題Kに対する意見の発表者が選択されたか否かを判断する(ステップS2601)。ここで、発表者が選択されていない場合(ステップS2601:No)、教師端末201は、図24に示したステップS2411に移行する。
一方、発表者が選択された場合(ステップS2601:Yes)、教師端末201は、回答DB240を参照して、発表者として選択された生徒Siの意見を拡大表示する発表時画面1500の画面情報を生成することにより、電子黒板202に発表時画面1500を表示する(ステップS2602)。
つぎに、教師端末201は、状態フラグを「3」に設定する(ステップS2603)。そして、教師端末201は、フラグ付け処理を実行する(ステップS2604)。フラグ付け処理の具体的な処理手順については、図27および図28を用いて後述する。
つぎに、教師端末201は、発表終了要求を受け付けたか否かを判断する(ステップS2605)。ここで、発表終了要求を受け付けていない場合(ステップS2605:No)、教師端末201は、ステップS2604に戻る。一方、発表終了要求を受け付けた場合(ステップS2605:Yes)、教師端末201は、電子黒板202に生徒用マトリクス画面1400を表示する(ステップS2606)。
つぎに、教師端末201は、授業終了要求を受け付けたか否かを判断する(ステップS2607)。ここで、授業終了要求を受け付けていない場合(ステップS2607:No)、教師端末201は、図24に示したステップS2410に移行する。
一方、授業終了要求を受け付けた場合(ステップS2607:Yes)、教師端末201は、第1の注視・うつむき時間記録DB260の現在の講義欄を更新して(ステップS2608)、発表中処理を呼び出したステップに戻る。これにより、教師用マトリクス画面1300に、注視率またはうつむき率の増加分が大きい生徒Siの注視画像またはうつむき画像を表示して、課題Kに対する意見の発表者の選択を支援することができる。
<フラグ付け処理の具体的処理手順>
つぎに、図23に示したステップS2302、図24に示したステップS2411および図26に示したステップS2604のフラグ付け処理の具体的な処理手順について説明する。
図27および図28は、フラグ付け処理の具体的処理手順の一例を示すフローチャートである。図27のフローチャートにおいて、まず、教師端末201は、注視・うつむきフラグテーブル250から、最新の記録日時を取得する(ステップS2701)。つぎに、教師端末201は、取得した最新の記録日時から所定時間T1が経過したか否かを判断する(ステップS2702)。所定時間T1は、例えば、0.1[s]である。
ここで、最新の記録日時から所定時間T1が経過していない場合(ステップS2702:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。一方、最新の記録日時から所定時間T1が経過した場合(ステップS2702:Yes)、教師端末201は、カメラ300によって撮影された最新の撮影画像を取得する(ステップS2703)。
つぎに、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2704)、生徒数をnと設定し、生徒S1〜Snから生徒Siを選択する(ステップS2705)。そして、教師端末201は、生徒Siの画像に対する顔認識処理を実行する(ステップS2706)。顔認識処理の具体的な処理手順については、図29を用いて後述する。
つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2707)、「i」が「n」より大きくなったか否かを判断する(ステップS2708)。ここで、「i」が「n」以下の場合(ステップS2708:No)、教師端末201は、ステップS2705に戻る。
一方、「i」が「n」より大きい場合(ステップS2708:Yes)、教師端末201は、現在の状態フラグが「2」であるか否かを判断する(ステップS2709)。ここで、状態フラグが「2」ではない場合(ステップS2709:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。
一方、状態フラグが「2」の場合(ステップS2709:Yes)、教師端末201は、第1の注視・うつむき時間記録DB260から、現在の講義欄の更新日時を取得する(ステップS2710)。そして、教師端末201は、取得した更新日時から所定時間T2が経過したか否かを判断する(ステップS2711)。所定時間T2は、例えば、2[s]である。なお、所定時間T1とは画像を取得し、認識する間隔を表わす時間であり、所定時間T2とは、画像認識した結果を用いて、うつむき率、注視率を計算する間隔を表わす時間である。画像取得時に毎回、うつむき率、注視率を計算しても良いが効率が悪くなるために所定時間T2を設定している。
ここで、更新日時から所定時間T2が経過していない場合(ステップS2711:No)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。一方、更新日時から所定時間T2が経過した場合(ステップS2711:Yes)、教師端末201は、図28に示すステップS2801に移行する。
図28のフローチャートにおいて、まず、教師端末201は、生徒Siの「i」を「i=1」とし(ステップS2801)、生徒数をnとして設定し、生徒S1〜Snから生徒Siを選択する(ステップS2802)。
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1と、状態フラグ「2」の生徒Siのうつむきフラグ「1」のうつむきフラグ数F1を計数する(ステップS2803)。そして、教師端末201は、計数したうつむきフラグ数F1をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出する(ステップS2804)。
つぎに、教師端末201は、注視・うつむきフラグテーブル250を参照して、状態フラグ「2」のレコード数R1と、状態フラグ「2」の生徒Siの注視フラグ「1」の注視フラグ数F2を計数する(ステップS2805)。そして、教師端末201は、計数した注視フラグ数F2をレコード数R1で除算することにより、現在の講義における発表者選択モード中の生徒Siの注視率を算出する(ステップS2806)。
そして、教師端末201は、第1の注視・うつむき時間記録DB260の現在の講義欄を更新する(ステップS2807)。つぎに、教師端末201は、生徒Siの「i」をインクリメントして(ステップS2808)、「i」が「n」より大きくなったか否かを判断する(ステップS2809)。
ここで、「i」が「n」以下の場合(ステップS2809:No)、教師端末201は、ステップS2802に戻る。一方、「i」が「n」より大きい場合(ステップS2809:Yes)、教師端末201は、フラグ付け処理を呼び出したステップに戻る。
これにより、定期的(所定時間T2ごと)に、第1の注視・うつむき時間記録DB260の現在の講義欄を更新することができる。
<顔認識処理の具体的処理手順>
つぎに、図27に示したステップS2706の顔認識処理の具体的な処理手順について説明する。
図29は、顔認識処理の具体的処理手順の一例を示すフローチャートである。図29のフローチャートにおいて、まず、教師端末201は、生徒DB220から、生徒Siのエリア座標を取得する(ステップS2901)。つぎに、教師端末201は、図27に示したステップS2703において取得した撮影画像から、生徒Siのエリア座標から特定される顔領域の画像を抽出する(ステップS2902)。
そして、教師端末201は、生徒Siの顔認識用の学習データを用いて、抽出した顔領域の画像に対する顔認識を行う(ステップS2903)。つぎに、教師端末201は、顔認識した結果に基づいて、生徒Siがうつむいているか否かを判断する(ステップS2904)。うつむいているという判断は、画像認識により、顔の特徴となるパーツ(目、鼻、口等)が認識できずに、頭部と思われる部分が多い等のパターン認識にて判断可能である。
ここで、生徒Siがうつむいている場合(ステップS2904:Yes)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「1」を、注視・うつむきフラグテーブル250に記録して(ステップS2905)、顔認識処理を呼び出したステップに戻る。
一方、生徒Siがうつむいていない場合(ステップS2904:No)、教師端末201は、顔認識して得られた生徒Siの眼の画像に基づいて、生徒Siの視線を検出する(ステップS2906)。そして、教師端末201は、検出した生徒Siの視線が、教師の方向に向いているか否かを判断する(ステップS2907)。
ここで、生徒Siの視線が教師の方向に向いている場合(ステップS2907:Yes)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「1」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録して(ステップS2908)、顔認識処理を呼び出したステップに戻る。
一方、生徒Siの視線が教師の方向に向いていない場合(ステップS2907:No)、教師端末201は、記録日時および状態フラグと対応付けて、生徒Siの注視フラグ「0」、うつむきフラグ「0」を、注視・うつむきフラグテーブル250に記録して(ステップS2909)、顔認識処理を呼び出したステップに戻る。
これにより、生徒Siの注視フラグおよびうつむきフラグを記録することができる。
(生徒端末Tiの意見入力処理手順)
つぎに、生徒端末Tiの意見入力処理手順について説明する。
図30は、生徒端末Tiの意見入力処理手順の一例を示すフローチャートである。図30のフローチャートにおいて、まず、生徒端末Tiは、教師端末201から課題Kの課題情報を受信したか否かを判断する(ステップS3001)。ここで、生徒端末Tiは、課題Kの課題情報を受信するのを待つ(ステップS3001:No)。
そして、生徒端末Tiは、課題Kの課題情報を受信した場合(ステップS3001:Yes)、ディスプレイ406に回答画面1200を表示する(ステップS3002)。つぎに、生徒端末Tiは、回答画面1200において記載された課題Kに対する意見内容の送信要求を受け付けたか否かを判断する(ステップS3003)。
ここで、生徒端末Tiは、課題Kに対する意見内容の送信要求を受け付けるのを待つ(ステップS3003:No)。そして、生徒端末Tiは、課題Kに対する意見内容の送信要求を受け付けた場合(ステップS3003:Yes)、入力された意見内容を含む回答結果を教師端末201に送信して(ステップS3004)、本フローチャートによる一連の処理を終了する。
これにより、教師から与えられた課題Kに対する生徒Siの意見内容を教師端末201に送信することができる。
以上説明したように、実施の形態にかかる教師端末201によれば、発表者選択モードへの移行指示の受付後に撮影された生徒Siの顔領域の画像を顔認識して得られる認識結果に基づいて、現在の講義における発表者選択モード中の生徒Siのうつむき率を算出することができる。そして、教師端末201によれば、算出した現在の講義における発表者選択モード中の生徒Siのうつむき率を、生徒Siと対応付けて出力することができる。
これにより、課題Kに対する意見について、生徒Siの自信の有無を判断する指標となるうつむき率を教師に提示することができ、教師による発表者の選択を支援することができる。例えば、教師は、うつむき率が高いほど、自分の意見に自信がない生徒であると判断することができる。
また、教師端末201によれば、過去の講義における発表者選択モード中のうつむき率と、現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することができる。そして、教師端末201によれば、比較した結果、うつむき率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名やうつむき画像)を出力することができる。
これにより、課題Kに対する意見について、いつもよりも自信がある(あるいは、自信がない)生徒Siを判別可能に提示することができる。例えば、教師は、今回に限っては当てて欲しいと思っているような生徒Siを判別しやすくなり、生徒が当てて欲しいタイミングを逃しにくくなる。
また、教師端末201によれば、生徒Siの画像を顔認識して得られる生徒Siの眼の画像に基づいて、生徒Siの視線を検出し、検出した検出結果に基づいて、現在の講義における発表者選択モード中の生徒Siの注視率を算出することができる。そして、教師端末201によれば、算出した現在の講義における発表者選択モード中の生徒Siの注視率を、生徒Siと対応付けて出力することができる。
これにより、課題Kに対する意見について、生徒Siの自信の有無を判断する指標となる注視率を教師に提示することができ、教師による発表者の選択を支援することができる。例えば、教師は、注視率が高いほど、自分の意見に自信がある生徒であると判断することができる。
また、教師端末201によれば、過去の講義における発表者選択モード中の注視率と、現在の講義における発表者選択モード中の生徒Siの注視率とを比較することができる。そして、教師端末201によれば、比較した結果、注視率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名や注視画像)を出力することができる。
これにより、課題Kに対する意見について、いつもよりも自信がある(あるいは、自信がない)生徒Siを判別可能に提示することができる。例えば、教師は、今回に限っては当てて欲しいと思っているような生徒Siを判別しやすくなり、生徒が当てて欲しいタイミングを逃しにくくなる。
また、教師端末201によれば、現在の講義中の生徒Siのうつむき率と、現在の講義における発表者選択モード中の生徒Siのうつむき率とを比較することができる。そして、教師端末201によれば、比較した結果、うつむき率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名やうつむき画像)を出力することができる。
これにより、現在の講義中に比べて、現在の講義における発表者選択モード中のうつむき率が極端に高くなっているような生徒Si、すなわち、発表者として当てられたくないために急に下を向いたような生徒Siを判別可能に提示することができる。
また、教師端末201によれば、現在の講義中の生徒Siの注視率と、現在の講義における発表者選択モード中の生徒Siの注視率とを比較することができる。そして、教師端末201によれば、比較した結果、注視率の差分が閾値α以上となる生徒Siの識別情報(例えば、生徒名や注視画像)を出力することができる。
これにより、現在の講義中に比べて、現在の講義における発表者選択モード中の注視率が極端に高くなっているような生徒Si、すなわち、発表者として当てられたいために急に教師のほうを見たような生徒Siを判別可能に提示することができる。
以上の実施例では具体的な認識処理を開示したが、このような実施例に限るものではなく、一般的な画像認識技術を適用しても良い。例えば、表情認識で用いられるような教師画像に基づく認識処理を行っても良い。教師画像としては、教師を注視している顔と、教師を注視していない顔とを教師データとして認識処理の学習を行わせても良い。または、自信のある表情と自信の無い表情とを教師データとして認識処理の学習を行わせても良い。そして、この認識処理結果から得られる自信のある率、または、自信の無い率を用いて、生徒の識別情報を出力してもよい。
なお、本実施の形態で説明した発表者選択支援方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本発表者選択支援プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本発表者選択支援プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
処理を実行させることを特徴とする発表者選択支援プログラム。
(付記2)前記算出する処理は、前記認識結果に基づいて、前記モード中に前記対象者がうつむいている割合を示すうつむき率を算出し、
前記出力する処理は、算出した前記うつむき率を前記対象者と対応付けて出力する、
ことを特徴とする付記1に記載の発表者選択支援プログラム。
(付記3)前記コンピュータに、
前記モードよりも以前の、発表者を選択するモード中の前記対象者のうつむき率を記憶する記憶部を参照して、算出した前記うつむき率と、前記記憶部に記憶された前記対象者のうつむき率とを比較する、処理をさらに実行させ、
前記出力する処理は、
比較した結果、算出した前記うつむき率と前記記憶部に記憶された前記対象者のうつむき率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力することを特徴とする付記2に記載の発表者選択支援プログラム。
(付記4)前記コンピュータに、
前記対象者の画像を顔認識して得られる前記対象者の眼の画像に基づいて、前記対象者の視線を検出する、処理をさらに実行させ、
前記算出する処理は、検出した検出結果に基づいて、前記モード中に前記対象者が特定の方向を見ている割合を示す注視率を算出し、
前記出力する処理は、算出した前記注視率を前記対象者と対応付けて出力する、
ことを特徴とする付記1〜3のいずれか一つに記載の発表者選択支援プログラム。
(付記5)前記特定の方向は、前記発表者を選択する者が位置する方向であることを特徴とする付記4に記載の発表者選択支援プログラム。
(付記6)前記コンピュータに、
前記モードよりも以前の、発表者を選択するモード中の前記対象者の注視率を記憶する記憶部を参照して、算出した前記注視率と、前記記憶部に記憶された前記対象者の注視率とを比較する、処理をさらに実行させ、
前記出力する処理は、
比較した結果、算出した前記注視率と前記記憶部に記憶された前記対象者の注視率との差分が閾値以上となる場合に、前記対象者を識別する識別情報を出力することを特徴とする付記4または5に記載の発表者選択支援プログラム。
(付記7)コンピュータが、
発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
処理を実行することを特徴とする発表者選択支援方法。
(付記8)発表者を選択するモードへの移行指示を受け付け、
前記移行指示の受付後に撮影された対象者の顔画像から所定の特徴を認識して得られる認識結果に基づいて、前記モード中に前記対象者が前記所定の特徴を有する割合を示す値を算出し、
算出した前記値を前記対象者と対応付けて出力する、
制御部を有することを特徴とする情報処理装置。