JP2006330464A - 受講状態判別装置および方法並びにプログラム - Google Patents

Abstract

【課題】 受講者の状態を確認するに際し、受講者数が多くなっても簡易に受講者の状態を確認できるようにする。
【解決手段】 抽出部１１が、複数の受講者の受講風景を撮影して得た画像Ｓ０から、複数の受講者の顔画像Ｓｆ０を抽出する。判定部１２が、顔画像に基づいて複数の受講者の状態を判定する。画像生成部１３が、複数の受講者の顔画像Ｓｆ０を、判定部１２が判定した受講者の状態を示す指標を付して一覧表示するための一覧画像Ｇ０を生成する。
【選択図】 図１

Description

本発明は、授業等を受講する受講者の状態を判別する受講状態判別装置および方法並びに受講状態判別方法をコンピュータに実行させるためのプログラムに関するものである。

授業等を受講する受講者の状態を講師が把握するための各種システムが提案されている。例えば、講師の端末と受講者の端末とをネットワークで接続して双方向通信により講義を行うシステムが提案されている（特許文献１参照）。このシステムでは、講師が受講者の状態を把握できるようにビデオカメラで受講者を撮影し、撮影により取得した映像シーケンスから受講者の反応を判断することにより、講師が受講者の反応を認識できるようになっている。

また、座席レイアウトで表示されている生徒の似顔絵に、例えば風邪を引いている生徒はマスクをつける等することにより、生徒の状態を表示するシステムも提案されている（特許文献２参照）。このシステムにおいては、講師が似顔絵をダブルクリックすると生徒の生の映像が表示されるため、講師が生徒の状態を確認することができる。
特開２００１−６７４８２号公報 特開２００４−１１８５４８号公報

しかしながら、上記特許文献１，２に記載のシステムにおいては、受講者数が多くなると、すべての受講者の状態を一度に認識できるように表示することは困難である。また、特許文献２は、受講者の似顔絵を表示するのみであって、実際の画像は講師が選択した一人の受講者の画像のみである。

本発明は上記事情に鑑みなされたものであり、受講者数が多くなっても簡易に受講者の状態を確認できるようにすることを目的とする。

本発明による受講状態判別装置は、複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する抽出手段と、
前記顔画像に基づいて前記複数の受講者の状態を判定する判定手段と、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する画像生成手段とを備えたことを特徴とするものである。

なお、本発明による受講状態判別装置においては、前記複数の受講者をそれぞれ撮影する複数の撮影手段をさらに備えるようにしてもよい。

また、本発明による受講状態判別装置においては、すべての前記複数の受講者を一度に撮影する撮影手段をさらに備えるようにしてもよい。

また、本発明による受講状態判別装置においては、前記一覧画像を表示する表示手段をさらに備えるようにしてもよい。

本発明による受講状態判別方法は、複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出し、
前記顔画像に基づいて前記複数の受講者の状態を判定し、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成することを特徴とするものである。

なお、本発明による受講状態判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の受講者の顔画像が受講風景を撮影して得た画像から抽出され、抽出された顔画像に基づいて複数の受講者の状態が判定される。そして、受講者の顔画像に判定した状態を示す指標が付与された一覧画像が生成される。このため、一覧画像を見れば、それぞれの受講者の状態を容易に確認することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による受講システム１００は、教室内に設置された、受講者を撮影するためのビデオカメラ１と、講師が所持する講師端末２と、本実施形態による受講状態判別装置３とがネットワーク４により接続されることによって構成されている。

ビデオカメラ１は、例えば講義を行う教室の天井に設置されており、受講者の受講風景の撮影を行い、撮影により取得した画像データＳ０を受講状態判別装置３に送信する。

講師端末２は、ネットワーク４に接続されたコンピュータであり、後述するように受講状態判別装置３が生成した一覧画像を表示するためのプログラムがインストールされている。そして、このプログラムにより、受講状態判別装置３が生成した一覧画像をモニタに表示することができる。

受講状態判別装置３は、抽出部１１、判定部１２および画像生成部１３を備える。受講状態判別装置３は、内部にＣＰＵとメモリを備えた制御基板もしくは半導体装置等からなる制御部を備えている。制御部のメモリには受講状態判別プログラムが記憶されており、抽出部１１による抽出の処理、判定部１２による判定の処理、および画像生成部１３による一覧画像の生成の処理、および一覧画像の出力は、この受講状態判別プログラムにより制御される。

抽出部１１は、ビデオカメラ１から送信された画像データＳ０の画像（以下画像についても同一の参照符号を用いる）から、受講者の顔画像Ｓｆ０を抽出する。顔画像Ｓｆ０を抽出する手法としては、画像Ｓ０における肌色を有する領域を検出し、検出した肌色領域を含む所定範囲の領域を顔画像Ｓｆ０として抽出する手法、顔に含まれる目、鼻および口等の特徴に基づいて顔を検出し、検出した顔を含む所定範囲の領域を顔画像Ｓｆ０として抽出する手法等、公知の任意の手法を用いることができる。なお、画像Ｓ０は動画像であるため、抽出部１１は動画像を構成するすべてのフレームから所定時間間隔にてフレームを抽出し、抽出したフレームについて顔画像Ｓｆ０を抽出する処理を行う。これにより、例えば図２に示すように、受講者の顔画像Ｓｆ０が画像Ｓ０から抽出される。

なお、座席が前の方の受講者と後の方の受講者とでは、画像Ｓ０に含まれる顔のサイズが異なる。このため、抽出部１１は、抽出された顔画像Ｓｆ０のサイズをすべて同一サイズとなるように正規化する。

判定部１２は、抽出した各顔画像Ｓｆ０を用いて受講者の状態を判定する処理を行う。受講者の状態を判定する処理は、公知の任意の手法を用いることができるが、本実施形態においては、上記特許文献１に記載された手法を用いるものとする。具体的には、時間的に隣接するフレームから抽出された顔画像Ｓｆ０から頭部の動きを表す特徴ベクトルを抽出し、特徴ベクトルを入力として、受講者の姿勢を示す情報（正面を向く、首を振る、右を向く、左を向く、下を向くおよび上を向く等）を出力するための、あらかじめ学習がなされたニューラルネットワークを用いて、受講者の姿勢を表す情報を取得する。そして取得した姿勢を表す情報と受講者の状態とを対応づけた参照テーブルＴ０を用いて、受講者の状態を判定する。

図３は参照テーブルＴ０の例を示す図である。図３に示すように、参照テーブルＴ０は、「正面を向いている」、「首を振っている」、「左右を向いている」、「上を向いている」、および「下を向いている」の５通りの受講者の姿勢のそれぞれと、「講師の説明を聞いている」、「講師の説明にうなずいている」、「よそ見をしている」、「考え事をしている」、および「居眠りをしている」という受講者の状態とが対応づけられている。

画像生成部１３は、抽出部１１が画像Ｓ０から抽出したすべての顔画像Ｓｆ０を並べるとともに、各顔画像Ｓｆ０に判定部１２が判定した受講者の状態を表す指標を付与した一覧画像Ｇ０を生成する。

図４は一覧画像の例を示す図である。図４に示すように一覧画像Ｇ０には、複数の顔画像Ｓｆ０が配列されている。そして、各顔画像Ｓｆ０に受講者の状態を表す指標が付与されている。指標は、受講者の状態に応じて異なる色や形状を有する枠やマークからなるものであり、図４に示す一覧画像においては、横を向いている受講者の顔画像Ｓｆ０には斜線の枠が、居眠りをしている受講者の顔画像Ｓｆ０には黒色の枠が付与されている。また、上を向いている受講者の顔画像Ｓｆ０には左上部分に黒色三角形のマークが付与されている。さらに正面を向いている受講者の顔画像Ｓｆ０には左上角部に丸印が付与されている。

なお、指標としては上述したものに限定されるものではなく、受講者の状態に応じて異なる色の枠または異なるマークを付与したり、顔画像Ｓｆ０の全体の色を受講者の状態に応じて赤っぽくしたり青っぽくする等して変更することを指標としてもよい。また、「講師の説明を聞いている」、「講師の説明にうなずいている」等の受講者の状態を表す文字を指標として、顔画像Ｓｆ０上またはその周囲に付与するようにしてもよい。

次いで、本実施形態において行われる処理について説明する。図５は受講状態判別装置３が行う処理を示すフローチャートである。まず、抽出部１１がビデオカメラ１が撮影により取得した画像データＳ０からすべての顔画像Ｓｆ０を抽出する（ステップＳＴ１）。次に、判定部１２が顔画像Ｓｆ０に基づいて受講者の状態を判定する（ステップＳＴ２）。そして、画像生成部１３が、受講者の状態を表す指標を各顔画像Ｓｆ０に付与して、顔画像Ｓｆ０の一覧画像Ｇ０を生成し（ステップＳＴ３）、一覧画像Ｇ０をネットワーク４を経由して講師端末２に送信し（ステップＳＴ４）、処理を終了する。

講師端末２は、受信した一覧画像Ｇ０をモニタに表示する。

このように、本実施形態によれば、受講者の顔画像Ｓｆ０に受講者の状態を示す指標を付与した一覧画像Ｇ０を生成するようにしたため、講師端末２に表示された一覧画像Ｇ０を見れば、講師は受講者の状態を容易に確認することができる。

なお、上記実施形態においては、教室に設置された１台のビデオカメラ１により受講者を撮影しているが、図６に示す第２の実施形態による受講システム１０１のように、各受講者を撮影するための複数のビデオカメラ３１を、教室内の机上に設置するようにしてもよい。

また、遠隔授業を行う場合には、図７に示す第３の実施形態による受講システム１０２のように、受講状態判別装置３をインターネット５を介して、他の受講会場に設置されたビデオカメラ３２と接続し、遠隔授業を行っている受講者の画像を撮影して、一覧画像Ｇ０に加えるようにしてもよい。

また、遠隔授業を行う場合には、受講状態判別装置３は遠隔地に設置してもよい。

なお、コンピュータを、上記の抽出部１１、判定部１２、および画像生成部１３に対応する手段として機能させ、図５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

以上、本発明について複数の実施形態を例示して説明したが、本発明の技術的範囲は特許請求の範囲の記載事項によってのみ定められるべきであり、上記実施形態に限定されないことは、言うまでもない。

本発明の第１の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図 ビデオカメラが撮影した画像を示す図 受講者の姿勢を表す情報と受講者の状態とを対応づけた参照テーブルの例を示す図 一覧画像の例を示す図 受講状態判別装置が行う処理を示すフローチャート 本発明の第２の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図 本発明の第３の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図

符号の説明

１，３１，３２ ビデオカメラ
２ 講師端末
３ 受講状態判別装置
４ ネットワーク
５ インターネット
１１ 抽出部
１２ 判定部
１３ 画像生成部

Claims (6)

1. 複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する抽出手段と、
   前記顔画像に基づいて前記複数の受講者の状態を判定する判定手段と、
   前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する画像生成手段とを備えたことを特徴とする受講状態判別装置。
2. 前記複数の受講者をそれぞれ撮影する複数の撮影手段をさらに備えたことを特徴とする請求項１記載の受講状態判別装置。
3. すべての前記複数の受講者を一度に撮影する撮影手段をさらに備えたことを特徴とする請求項１記載の受講状態判別装置。
4. 前記一覧画像を表示する表示手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の受講状態判別装置。
5. 複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出し、
   前記顔画像に基づいて前記複数の受講者の状態を判定し、
   前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成することを特徴とする受講状態判別方法。
6. 複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する手順と、
   前記顔画像に基づいて前記複数の受講者の状態を判定する手順と、
   前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する手順とを有することを特徴とする受講状態判別方法をコンピュータに実行させるためのプログラム。

Images