JP2013029954A

JP2013029954A - 受講状態改善支援システム、装置、方法、プログラム並びに記録媒体

Info

Publication number: JP2013029954A
Application number: JP2011165050A
Authority: JP
Inventors: Yoshiki Wakita; 由喜脇田; Nozomi Takahashi; 望高橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-07-28
Filing date: 2011-07-28
Publication date: 2013-02-07

Abstract

【課題】大人数の聴講者を前にした状況において、各聴講者の受講状態を同時にモニタリングすることができる新規な受講状態改善支援システムを提供する。
【解決手段】
教室に入室してきた聴講者の動体オブジェクトの特徴点を追跡し、特徴点が予め定義される登録領域内に存在する間に受領した聴講者ＩＤを当該特徴点に紐付けてテーブル管理する。さらに、予め定義される監視領域内に特徴点が存在する間、当該特徴点に紐付けられる聴講者と当該監視領域とを紐付けてテーブル管理する。当該監視領域の画像を解析することによって、被写体の受講状態を判定し、その判定結果を当該監視領域に紐付けてテーブル管理する。各テーブルを照会することによって、聴講者ＩＤに対応する受講状態情報を生成する。生成された受講状態情報に基づいて、好ましくない受講状態の聴講者に対して注意喚起を行う。
【選択図】図２

Description

本発明は、画像解析によって被写体の状態を判定する技術に関し、より詳細には、当該技術を利用した受講状態改善支援システムに関する。

大学の大教室で行われる講義においては、聴講者の人数が多いため教師の目が十分に行き届かない。そのため、大教室においては、居眠りをする者や私語や内職にうつつを抜かす者が後を絶たなかった。つまり、大教室においては、聴講者側に「見られていない」という安心感が芽生え、そのことが教室内の緊張感を失わせていたのである。

受講者の姿が見えないという点では、ネットワークを介した遠隔講義システムにおいても同様のことが言える。この点につき、特開２００７-０９７６６８号公報（特許文献１）は、受講者宅に設置したカメラの画像を解析することにより「頷き」、「居眠り」、「ノート取り」、「離席」などの状態を把握する状態識別装置を開示する。

ここで、仮に、特許文献１が開示するような状態識別装置の構成を大教室の生講義に適用することができれば、聴講者側に「見られている」という緊張感を生じさせることができるかもしれない。しかしながら、特許文献１の構成は、聴講者ごとに一台のカメラが設置されることを前提としており、そのような環境を整備することができない大教室においては、特許文献１の構成をそのまま適用することはできない。

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、大人数の聴講者を前にした状況において、各聴講者の受講状態を同時にモニタリングすることができる新規な受講状態改善支援システムを提供することを目的とする。

本発明者は、教室を撮影した全体画像に基づいて、大人数の聴講者を前にした状況において、各聴講者の受講状態を同時にモニタリングすることができる新規な受講状態改善支援システムにつき鋭意検討した結果、教室内に入室してくる聴講者の動体オブジェクトと予め定義される所定の監視領域とを動的に関連付ける構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、情報処理装置と、聴講者を収容する室内のデジタル画像を取得して前記情報処理装置に転送するための撮像部と、前記聴講者から聴講者ＩＤを取得して前記情報処理装置に転送するための聴講者ＩＤ取得装置とを含む受講状態改善支援システムであって、前記情報処理装置は、前記デジタル画像の解析によって前記室内に入室してきた前記聴講者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡部であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に前記聴講者ＩＤ取得装置から受領した前記聴講者ＩＤを該特徴点に紐付けて管理する動体追跡部と、前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記聴講者ＩＤと該監視領域とを紐付けてテーブル管理する監視領域管理部と、前記監視領域の画像を解析することによって、該監視領域内の被写体の受講状態を判定し、該受講状態の判定結果を該監視領域に紐付けてテーブル管理する受講状態管理部とを含み、前記登録領域は、前記聴講者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、受講状態改善支援システムが提供される。

本実施形態の受講状態改善支援システムが適用された教室を示す図。本実施形態の受講状態改善支援装置の機能ブロック図。教室内のデジタル画像を示す図。本実施形態における動体追跡管理テーブルを示す図。本実施形態における聴講者登録テーブルを示す図。本実施形態における登録領域を説明するための概念図。教室内のデジタル画像を示す図。本実施形態における監視領域を説明するための概念図。着席する聴講者の画像を拡大して示す図。本実施形態における監視領域管理テーブルを示す図。本実施形態における監視領域管理テーブルを示す図。授業の途中で席を移動する聴講者の画像を拡大して示す図。本実施形態における監視領域管理テーブルを示す図。本実施形態における監視領域を示す概念図。本実施形態における受講状態管理テーブルを示す図。本実施形態における受講状態管理テーブルを示す図。本実施形態における受講状態情報を示す図。本実施形態における注意喚起の態様を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である受講状態改善支援システム１００が適用された教室を示す。なお、図１（ａ）は、教室を上から見た様子を示し、図１（ｂ）は、教室を側面から見た様子を示す。図１に示されるように、本実施形態の受講状態改善支援システム１００は、教室（聴講者を収容する室内）のデジタル画像を取得するための撮像部１０と、聴講者ＩＤ取得装置２０と、情報処理装置として参照される受講状態改善支援装置２００を含んで構成される。撮像部１０は、デジタルカメラ１０として構成することができ、座席に座って授業を受ける聴講者および聴講者ＩＤ取得装置２０の周辺を同時に撮影することができるようにその画角が設定されている。

本実施形態の受講状態改善支援システム１００においては、聴講者は、受講に先立ち、教室内に設置された聴講者ＩＤ取得装置２０を介して受講登録を行うことが義務づけられる。図１においては、聴講者ＩＤ取得装置２０として、ＩＤカードリーダ２０を採用した構成を例示する。聴講者は、教室に入室すると、着席する前に、教壇の上に設置されたＩＤカードリーダ２０に自身のＩＤカードを読み込ませることによって受講登録を済ませる。なお、聴講者ＩＤ取得装置２０は、聴講者に固有の識別情報を取得するものであればどのような構成を採用しても良く、携帯電話の近接通信機能を利用して聴講者ＩＤを取得しても良いし、テンキーなどを利用して聴講者ＩＤを直接入力させるようにしてもよいし、指紋認証などの生体認証によって聴講者ＩＤを取得しても良い（この場合は、生体情報が聴講者ＩＤに相当する）。

ＩＤカードリーダ２０が読み取った聴講者ＩＤならびにデジタルカメラ１０が取得するデジタル画像は、リアルタイムで受講状態改善支援装置２００に転送される。本実施形態においては、受講状態改善支援装置２００をサーバやワークステーションなどとして構成することができ、これを教室内に設置するようにしても良いし、ＬＡＮなどのネットワークを介して教室外に設置しても良い。あるいは、受講状態改善支援装置２００をインターネットを介して外部に設置し、受講状態改善支援装置２００の機能を教室内のＰＣからＷｅｂアプリケーションとして使用するように構成しても良い。すなわち、本実施形態における受講状態改善支援装置２００は、ＩＤカードリーダ２０およびデジタルカメラ１０から受領したデータに基づいて処理を実行することができる情報処理装置あれば、どのような形態であってもよく、その設置場所に限定されない。

受講状態改善支援装置２００は、実行した処理の結果を所定の装置に出力する。出力先の装置としては、受講状態改善支援装置２００にローカル接続されたディスプレイ装置、教師のパーソナル・コンピュータ３０（ＰＣ）、教室内に設置された大型映像ディスプレイ装置４０、聴講者が携帯する図示しない携帯電話を挙げることができる。以上、本実施形態の受講状態改善支援システム１００の概要について説明してきたが、次に、本実施形態の受講状態改善支援装置２００の構成について、具体的に説明する。

図２は、受講状態改善支援装置２００の機能ブロック図を示す。受講状態改善支援装置２００は、聴講者登録部２０２、画像解析部２１０、データベース２２０、受講状態情報生成部２３０および注意喚起部２４０を含んで構成されており、画像解析部２１０は、さらに、動体追跡部２１４、監視領域管理部２１６、受講状態管理部２１８を含んで構成されている。デジタルカメラ１０が撮影したデジタル画像（動画）は、リアルタイムで受講状態改善支援装置２００の画像入力ＩＦ２０４を介して、画像解析部２１０の３つの処理部（動体追跡部２１４、監視領域管理部２１６、受講状態管理部２１８）のそれぞれに同期入力される。各処理部は、受領したデジタル画像について固有の処理を実行する。

一方、データベース２２０は、聴講者登録テーブル１０００、動体追跡管理テーブル２０００、監視領域管理テーブル３０００および受講状態管理テーブル４０００を含むリレーショナルデータベースとして構成される。画像解析部２１０の３つの処理部（動体追跡部２１４、監視領域管理部２１６、受講状態管理部２１８）は、各々の処理結果に基づいて、データベース２２０内の対応するテーブルを更新する。

受講状態情報生成部２３０は、データベース２２０に格納された情報に基づいて聴講者の受講状態に関する情報（以下、受講状態情報という）を生成し、所定の装置（例えば、教師のＰＣ３０）に出力する。注意喚起部２４０は、受講状態情報生成部２３０が生成した受講状態情報に基づいて、聴講者を注意喚起するための処理を実行する。具体的には、教室内に設置された大型映像ディスプレイ装置４０（大型モニター）に注意喚起情報を表示させたり、聴講者が携帯する携帯電話５０に注意喚起メールを送信したりする。以上、本実施形態の受講状態改善支援装置２００の概要について説明してきたが、次に、上述した受講状態改善支援装置２００の各機能部が実行する処理について具体的に説明する。

動体追跡部２１４は、デジタルカメラ１０から受領したデジタル画像を時系列的に解析することによって、当該デジタル画像に写る移動物体（動体）を検出し、その特徴点を追跡する。具体的には、フレーム間差分法などの既知の手法によって、動体の画像領域（以下、動体オブジェクトという）をリアルタイムで検出する。さらに、動体追跡部２１４は、新たな動体オブジェクトを検出する度に、当該動体オブジェクトに対して一意識別子（以下、動体オブジェクトＩＤという）を付与するとともに、当該動体オブジェクトの特徴点を算出する。なお、動体の特徴点の抽出およびその追跡は、ＫＬＴ法などの既知の手法を用いて行うことができる。

ここで、聴講者「田中」が最初に教室に入室してきたとする。この場合、動体追跡部２１４は、デジタルカメラ１０から転送されたデジタル画像を解析して動体オブジェクトを検出し、その特徴点を求める。その結果、図３（ａ）に示すように、聴講者「田中」を写した画像領域が動体オブジェクトとして検出され、動体オブジェクトＩＤ「OB-001」が付与されるとともに、その特徴点が算出される。なお、図３においては、動体オブジェクトを点線で囲んで示し、その特徴点を「×」で示している。なお、図３（ａ）においては、説明の便宜上、１つの特徴点のみを示したが、抽出された複数の特徴点を追跡するように構成してもよいし、複数の特徴点の中から適切なルールに基づいて１つの代表点を定義してもよい。

動体追跡部２１４は、検出した動体オブジェクトに付与した動体オブジェクトＩＤとその特徴点の座標を動体追跡管理テーブル２０００にセットする。図４は、動体追跡管理テーブル２０００を示す。動体追跡管理テーブル２０００は、動体オブジェクトＩＤを格納するためのフィールド２００１と、特徴点座標を格納するためのフィールド２００２と、聴講者ＩＤを格納するためのフィールド２００３を備えており、各フィールドの値を紐付けて管理する。図３（ａ）に示すように、聴講者「田中」の動体オブジェクトを検出した時点で、動体追跡部２１４は、図４（ａ）に示すように、フィールド２００１に動体オブジェクトＩＤ「OB-001」をセットし、フィールド２００２に特徴点座標「（X₁,Y₁）」をセットする。なお、この時点では、フィールド２００３（聴講者ＩＤ）は、ブランクとされる。

教室に入室した聴講者「田中」は、図３（ｂ）に示すように、教室前方の教壇の上に設置されたＩＤカードリーダ２０に向かって移動する。動体追跡部２１４は、この間、聴講者「田中」の動体オブジェクトにつき、その特徴点の追跡を継続する。具体的には、時々刻々と変化する動体オブジェクトにつき、その特徴点の座標を算出し、最新の座標値でフィールド２００２の値を更新する。

聴講者「田中」は、ＩＤカードリーダ２０の前に到着すると、ＩＤカードリーダ２０にＩＤカードを挿入する。ＩＤカードリーダ２０は、ＩＤカードから読み取った聴講者ＩＤを受講状態改善支援装置２００に転送する。聴講者登録部２０２は、ＩＤカードリーダ２０から転送された聴講者ＩＤを聴講者登録テーブル１０００に対して照会する。

図５は、聴講者登録テーブル１０００を例示する。聴講者登録テーブル１０００は、講義ごとに用意され、講義を履修する聴講者に関する情報を管理する。聴講者登録テーブル１０００は、聴講者ＩＤを格納するためのフィールド１００１と、聴講者名を格納するためのフィールド１００２と、聴講者のＰＣのメールアドレスを格納するためのフィールド１００３と、聴講者の携帯電話のメールアドレスを格納するためのフィールド１００４とを備えており、各フィールドの値を紐付けて管理している。

聴講者登録部２０２は、照会の結果、聴講者登録テーブル１０００内にＩＤカードリーダ２０から転送された聴講者ＩＤ「US-016」が存在することを確認すると、当該聴講者ＩＤを動体追跡部２１４に通知する。動体追跡部２１４は、聴講者登録部２０２から聴講者ＩＤの通知を受けたことに応答して、その時点で登録領域Ｅに含まれる特徴点をリアルタイムで検出する。本実施形態における登録領域Ｅとは、教室を撮影したデジタル画像において、教室内に設置されたＩＤカードリーダ２０の周辺画像領域であり、具体的には、聴講者がＩＤカードリーダ２０に対して聴講者ＩＤを読み取らせようとするときに、当該聴講者の画像が結像すると推定される画素の座標範囲として定義することができる。本実施形態においては、教室内に設置されたＩＤカードリーダ２０の空間座標とカメラの画角に基づいて、適切な登録領域Ｅを予め計算によって求めておく。

図６は、登録領域Ｅ近傍の画像を拡大して示す。図６（ａ）に示すように、聴講者「田中」がＩＤカードリーダ２０にＩＤカードを挿入する前の状態においては、聴講者「田中」の動体オブジェクトの特徴点（X₂,Y₂）は、登録領域Ｅの座標範囲にない。一方、図６（ｂ）に示すように、聴講者「田中」がＩＤカードリーダ２０にＩＤカードを挿入するタイミングにおいては、聴講者「田中」の動体オブジェクトの特徴点（X_３,Y_３）は、登録領域Ｅの座標範囲内に存在する。

動体追跡部２１４は、特徴点（X_３,Y_３）が登録領域Ｅ内に存在する間にＩＤカードリーダ２０から受領した聴講者ＩＤ「US-016」を、特徴点（X_３,Y_３）を有する動体オブジェクト（ID=OB-001）に紐付ける。具体的には、聴講者登録部２０２から聴講者「田中」の聴講者ＩＤ「US-016」の通知を受けたことに応答して、リアルタイムで動体追跡管理テーブル２０００のフィールド２００２（特徴点座標が格納された列）を走査し、登録領域Ｅの座標範囲に含まれる特徴点座標が格納されたセルを含む行を検出する。その結果、図４（ｃ）に示す行が検出される。動体追跡部２１４は、検出した行のフィールド２００３に、通知された聴講者ＩＤ「US-016」をセットする。その結果、動体追跡管理テーブル２０００は、図４（ｄ）に示すように更新される。

上述した手順で聴講者登録を済ませた聴講者「田中」は、図７(ａ)に示すように、席に移動して着席する。一方、図７(ａ)に示す画面右側には、２人目の聴講者が入室する姿をカメラが捉えている。この２人目の聴講者も上述した一連の手順を経た後、席に移動して着席する。この間、動体追跡部２１４は、２人目の聴講者の動体オブジェクトを検出して、動体追跡管理テーブル２０００に動体オブジェクトＩＤ「OB-002」とその特徴点の座標をセットし、２人目の聴講者が聴講者登録をした時点で、動体追跡管理テーブル２０００の対応する行に聴講者ＩＤをセットする。このように、教室に新たな聴講者が入ってくる度に、動体追跡部２１４は、上述した一連の手順を繰り返す。図７（ｂ）は、授業開始前の教室の画像を示し、図４（ｅ）は、授業開始前における動体追跡管理テーブル２０００を示す。図４（ｅ）に示されるように、授業開始前の段階において、動体追跡管理テーブル２０００には、入室した聴講者の数だけ行が追加され、各行において、動体オブジェクトＩＤと特徴点座標と聴講者ＩＤとが紐付けて管理されている。なお、動体追跡部２１４は、授業中、全ての動体オブジェクトの特徴点の追跡を継続する（すなわち、動体追跡管理テーブル２０００のフィールド２００２を常に最新の座標値に書き換える）ことに留意されたい。以上、聴講者と当該聴講者の動体オブジェクトを関連付けるための処理について説明してきたが、次に、聴講者と監視領域を関連付けるための処理について説明する。

本実施形態の受講状態改善支援システム１００は、聴講者が自由に席を選んで受講することを前提とする。したがって、本システムは、聴講者が教室内のどの席に着席するのかを予め知ることができないという条件の下で、各聴講者の受講状態を個別に把握するための構成を必要とする。この点につき、本システムにおいては、教室内に設置された各座席の位置に対応する所定の監視領域を予め定義し、当該監視領域と聴講者を動的に関連付けるための構成を備える。以下、この点につき、図８〜図１３に基づいて説明する。

図８は、聴講者の受講状態を判定するための画像領域である監視領域Ｗを説明するための概念図である。本実施形態における監視領域Ｗとは、教室を撮影したデジタル画像において、教室内に設置された各座席の周辺画像であり、具体的には、聴講者が座席に着席した際に、当該聴講者の画像が結像すると推定される画素の座標範囲として定義することができる。本実施形態においては、教室内に設置された座席の空間座標とカメラの画角に基づいて、適切な監視領域Ｗを予め計算によって求めておく。監視領域Ｗは、教室内に設置された座席と一対一の対応関係を有し、各監視領域Ｗに対して固有の監視領域ＩＤが付与される。図８（ａ）に示す例においては、全部で３０個の矩形の監視領域Ｗ（太枠で囲んで示す）が定義されている。なお、図８（ｂ）に、３０個の監視領域Ｗと監視領域ＩＤの対応関係を示す。

監視領域管理部２１６は、上述した監視領域と聴講者を動的に関連付けるために以下の処理を実行する。先出の図７(ａ)に示した状態に戻って説明すると、聴講者登録を済ませた聴講者「田中」は、席を探して移動する。図９は、席を探して移動する聴講者「田中」の画像を拡大して示す。監視領域管理部２１６は、３０個の監視領域Ｗのそれぞれの座標範囲と、図４に示した動体追跡管理テーブル２０００の特徴点座標を格納したフィールド２００２の全てのセルの値を常時照合し、監視領域Ｗの座標範囲内に存在する特徴点座標を検出する。監視領域管理部２１６は、監視領域Ｗの座標範囲内に存在する特徴点座標を検出したことに応答して、その特徴点が当該監視領域Ｗの座標範囲内に存在し続ける時間（以下、滞在時間という）をカウントし、当該滞在時間が所定の閾値を超えるか否かを判定する。そして、滞在時間が閾値を超えた場合に、監視領域管理部２１６は、以下のように監視領域管理テーブル３０００を更新する。

図１０は、監視領域管理テーブル３０００を示す。監視領域管理テーブル３０００は、「監視領域ＩＤ」を格納するためのフィールド３００１と、「聴講者ＩＤ」を格納するためのフィールド３００２と、時間帯情報を格納するためのフィールド２００３を備えており、各フィールドの値を紐付けて管理している。監視領域管理テーブル３０００においては、監視領域Ｗの数（座席の数）だけ行が設定され、フィールド３００２およびフィールド３００３は、初期状態においてブランクとされる。

図９（ａ）に示す状態において、監視領域管理部２１６は、聴講者「田中」の特徴点（×で示す）が監視領域Ｗ（ID=AR-019）の座標範囲内に存在することを検出する。しかしながら、図９（ｂ）に示すように、聴講者「田中」が監視領域Ｗ（ID=AR-019）をすぐに通過した場合、特徴点の滞在時間が閾値を超えないので、監視領域管理部２１６は、監視領域管理テーブル３０００の値を更新しない。その後、図９（ｃ）に示すように聴講者「田中」が席を決めて着席すると、特徴点の滞在時間が閾値を超える。その結果、監視領域管理部２１６は、図１１（ａ）に示すように、監視領域管理テーブル３０００の監視領域ＩＤ「AR-020」の行のフィールド３００２に、動体追跡管理テーブル２０００において当該特徴点に紐付けられる聴講者ＩＤ「US-016」を格納する。監視領域管理部２１６は、聴講者が座席に着席する度に上述した一連の処理を繰り返す。その結果、授業開始直前の監視領域管理テーブル３０００には、図１１（ｂ）に示すように、聴講者が着席した座席に対応する監視領域ＩＤの行のフィールド３００２に当該聴講者の聴講者ＩＤがセットされる。

その後、授業の開始時刻（午前１０時００分）になると、監視領域管理部２１６は、監視領域管理テーブル３０００のフィールド３００３の値（時間帯：開始時刻−現在時刻）の「開始時刻」を授業の開始時刻（午前１０時００分）にセットした後、「現在時刻」のインクリメントを開始する。図１１（ｃ）は、授業が開始されて１分が経過した午前１０時０１分時点の監視領域管理テーブル３０００を示す。

次に、聴講者が授業の途中で席を移動する場合について、図１２を参照して説明する。図１２（ａ）に示す状態においては、聴講者「田中」は、監視領域Ｗ（ID=AR-020）に対応する座席に着席している。ここで、午前１１時１０分に、聴講者「田中」が席を立って隣の席に移動する場合を考える。この場合、聴講者「田中」の特徴点（×で示す）は、図１２（ｂ）に示すように、監視領域Ｗ（ID=AR-020）の座標範囲から外れる。この時、監視領域管理部２１６は、午前１１時１０分の時点で監視領域管理テーブル３０００の時間帯（フィールド３００３）における現在時刻のインクリメントを中止する。

その後、図１０（ｃ）に示すように聴講者「田中」が隣の席に着席し、その滞在時間が閾値を超えると、監視領域管理部２１６は、監視領域管理テーブル３０００の監視領域ＩＤ「AR-021」の行のフィールド３００２に、聴講者「田中」の聴講者ＩＤ「US-016」をセットするとともに、監視領域ＩＤ「AR-021」の行のフィールド３００３の値（時間帯：開始時刻−現在時刻）の「開始時刻」を現在時刻の値（午前１１時１０分）にセットした後、「現在時刻」のインクリメントを開始する。

図１３は、聴講者「田中」が席を移動してから４５分が経過した午前１１時５５分時点の監視領域管理テーブル３０００を示す。図１３に示す網掛けの部分は、聴講者「田中」（聴講者ＩＤ=US-016）が、午前１０時００分〜午前１１時１０分の時間帯は、監視領域Ｗ（ID=AR-020）に対応する席で講義を受けており、午前１１時１０分〜午前１１時５５分の時間帯は、監視領域Ｗ（ID=AR-021）に対応する席で講義を受けていたことを示している。

これまで説明してきた内容を整理すると、本実施形態の受講状態改善支援装置２００においては、動体追跡部２１４が聴講者と当該聴講者の動体オブジェクトの特徴点を関連付ける一方で、動体追跡部２１４と監視領域管理部２１６が協働して聴講者の動体オブジェクトの特徴点と当該特徴点が存在する監視領域Ｗを動的に関連付ける。その結果、図１４に概念的に示すように、出席した全聴講者（聴講者ＩＤ）と監視領域Ｗ（監視領域ＩＤ）が動的に関連付けられることになる。

受講状態管理部２１８は、図１４に概念的に示す３０個の監視領域Ｗの画像を時系列的に解析することによって、当該画像の被写体である聴講者の受講状態を判定する。なお、各監視領域Ｗの解析・判定処理は、同時並行で実行される。

本実施形態においては、例えば、以下のような手法で受講状態の判定を行うことができる。まず、所定の受講状態（良好、居眠り、私語、内職中など）を表す複数のテンプレート画像をテンプレート・データベース２１９に予め用意しておく。受講状態管理部２１８は、監視領域Ｗの画像（以下、単に画像という）とテンプレート画像との間でテンプレートマッチング処理を実行し、類似度が所定の閾値を超える場合に、対応する受講状態（「良好」「居眠り」「私語」「内職中」）と判定する。なお、受講状態の判定は、デジタル画像に基づく既知の状態解析方法を適宜適用して実行することができ、本発明は、それらの具体的な解析手法に限定されるものではない

受講状態管理部２１８は、３０個の監視領域Ｗの判定結果（受講状態）に基づいて受講状態管理テーブル４０００を更新する。図１５は、受講状態管理テーブル４０００を示す。受講状態管理テーブル４０００は、「監視領域ＩＤ」を格納するためのフィールド４００１と、「受講状態」を格納するためのフィールド４００２と、時間帯情報を格納するためのフィールド４００３を備えており、各フィールドの値を紐付けて管理している。なお、受講状態管理テーブル４０００においては、監視領域Ｗの数だけ行が設定され、フィールド４００２およびフィールド４００３は、初期状態においてブランクとされる。

受講状態管理部２１８は、授業開始と同時に、受講状態管理テーブル４０００のフィールド４００３の値（時間帯：開始時刻−現在時刻）の「開始時刻」を授業開始時刻：午前１０時００分にセットし、「現在時刻」のインクリメントを開始する。一方、受講状態管理部２１８は、所定時間毎（例えば、１分おき）に上述した受講状態の判定処理を実行し、その結果をフィールド４００３にセットする。この判定処理は、授業の開始時刻から終了時刻まで継続的に実行され、最新の判定結果が直前の判定結果と同じである間、受講状態管理部２１８は、フィールド４００３の時間帯（開始時刻−現在時刻）の「現在時刻」をインクリメントし続ける。

一方、最新の判定結果が直前の判定結果と異なっていた場合、受講状態管理部２１８は、フィールド４００３の時間帯（開始時刻−現在時刻）の「現在時刻」のインクリメントをストップするとともに、フィールド４００２（受講状態）およびフィールド４００３（時間帯）に新たなセルを追加する。受講状態管理部２１８は、フィールド４００２（受講状態）の追加されたセルに最新の判定結果をセットするとともに、フィールド４００３（時間帯）の追加されたセルの時間帯（開始時刻−現在時刻）の「開始時刻」の値に現在時刻をセットした後、「現在時刻」のインクリメントを開始する。

図１６（ａ）は、授業が開始して４８分が経過した午前１０時４８分時点の受講状態管理テーブル４０００を示す。図１６（ａ）の監視領域ＩＤ「AR-004」の行に着目すると、時間帯（10：00-10：25）の受講状態は「良好」であり、その後の時間帯（10：25-10：48）における受講状態は、「居眠り」となっている。このように、受講状態管理部２１８は、受講状態が変化する度に、その都度、受講状態管理テーブル４０００のフィールド４００２（受講状態）およびフィールド４００３（時間帯）に新たなセルを追加することによって、各監視領域Ｗにおいて判定された受講状態を時間帯ごとに記録する。

以上、説明したように、図２に示したデータベース２２０は、デジタルカメラ１０から転送されるデジタル画像の各処理部の解析結果に基づいてリアルタイムに更新される。具体的には、上述した動体追跡部２１４が動体追跡管理テーブル２０００をリアルタイムで更新し、上述した監視領域管理部２１６が監視領域管理テーブル３０００をリアルタイムで更新し、受講状態管理部２１８が受講状態管理テーブル４０００をリアルタイムで更新する。

一方、受講状態情報生成部２３０は、ユーザ（以下、教官として参照する）からの問い合わせに応答して、データベース２２０の４つのテーブル（聴講者登録テーブル１０００、動体追跡管理テーブル２０００、監視領域管理テーブル３０００、受講状態管理テーブル４０００）が管理する情報に基づいて受講状態情報を生成する。

先に説明したように、データベース２２０は、上述した４つのテーブルを含むリレーショナルデータベースとして実装される。具体的には、聴講者登録テーブル１０００と動体追跡管理テーブル２０００は、「聴講者ＩＤ」の項をキーとして連結され、動体追跡管理テーブル２０００と監視領域管理テーブル３０００は、「聴講者ＩＤ」の項をキーとして連結され、監視領域管理テーブル３０００と受講状態管理テーブル４０００は、「監視領域ＩＤ」の項をキーとして連結される。

ここで、教官が授業開始時刻（午前１０時００分）から現在時刻（午前１１時５５分）までの間の聴講者「田中」の受講状態について問い合わせを行う場合について考える。教官は、聴講者名「田中」、時間帯「10:00-11:55」を含むクエリーを生成して受講状態改善支援装置２００に受講状態の問い合わせを行う。これに応答して、受講状態情報生成部２３０は、当該クエリーをデータベース２２０に対して発行する。

データベース２２０は、聴講者名「田中」の聴講者ＩＤ「US-016」（図５参照）と時間帯「10:00-11:55」をキーとして、図１３に示す監視領域管理テーブル３０００を検索する。その結果、聴講者ＩＤ「US-016」に紐付けられた監視領域ＩＤとして「AR-020」および「AR-021」を取得する。次に、監視領域ＩＤ「AR-020」および「AR-021」および時間帯「10:00-11:55」をキーとして、図１６（ｂ）に示す受講状態管理テーブル４０００を検索する。その結果、監視領域ＩＤ「AR-020」に紐付けられた受講状態（時間帯）として、「良好（10:00-10:25）」「居眠り（10:25-11:10）」を、監視領域ＩＤ「AR-021」に紐付けられた受講状態（時間帯）として、「私語（11:10-11:55）」をそれぞれ取得する。このようにして取得された「良好（10:00-10:25）」「居眠り（10:25-11:10）」「私語（11:10-11:55）」という３つの情報が受講状態情報生成部２３０に返される。

受講状態情報生成部２３０は、受領した３つの情報を統合し、図１７に示す受講状態情報５０００を生成する。受講状態情報生成部２３０が生成した受講状態情報５０００は、所定の装置（例えば、教官のＰＣ３０のディスプレイ装置）に出力され、表示される。なお、上述した説明は、便宜上、１名の聴講者の受講状態情報について問い合わせを行った場合について述べたが、実際には、聴講者全員の受講状態情報について問い合わせを行うことができることは言うまでもない。さらに、クエリーの設定如何によって、種々の受講状態情報が取得可能であることは、当然に理解されるところであろう。例えば、好ましくない受講状態（例えば「居眠り」）の継続時間が長い順に受講者名をソートしたり、受講者の離着席状況を時系列的に表示させたりすることが考えられる。この他にも、受講状態情報の内容については種々想定されるが、これ自体は、リレーショナルデータベースの既知の手法に関する事項であるので、これ以上の説明を省略する。

最後に、注意喚起部２４０について説明する。注意喚起部２４０は、受講状態情報生成部２３０が生成する受講状態情報に基づいて、好ましくない受講状態にある聴講者に対して注意喚起を行う。注意喚起部２４０は、例えば、好ましくない受講状態の継続時間が所定の閾値を超えた聴講者に対し、聴講者登録テーブル１０００から取得したアクセス先（メールアドレス）に向けて、警告メールを発信するように構成することができる。さらに、注意喚起部２４０は、図１８に示すように、デジタルカメラ１０が撮影した教室内の映像において、好ましくない受講状態の聴講者の画像に対し、受講状態を表すテキスト情報（「鈴木居眠り３０分」「山本居眠り２０分」）を重層した合成画像を生成し、当該合成画像を教室に設けられた大型映像ディスプレイ装置４０（大型モニター）に表示するようにしてもよい。

以上、説明したように、本発明によれば、聴講者が大人数の場合であっても、各聴講者の受講状態をリアルタイム且つ定量的にモニタリングすることができる。さらに、本発明によれば、受講状態が好ましくない者を正確に特定して、適切な警告を与えることによって、受講態度の改善を促すことができる。さらに、本発明の構成（動体と聴講者を紐付ける構成）を聴講者間のコミュニケーション改善に応用することもできる。たとえば、教室内に設置される大型モニターに室内の映像を映し出し、当該映像内の各聴講者の画像に名前を重層表示することによって、教室内でお互いの顔と名前が一致するように促すといったことが考えられるであろう。

さらに、本発明の構成は、本質的には、講義の受講状態をモニタリングする用途に限定されるものではなく、所定の室内に入室する入室者の状態をモニタリングする用途全般に適用可能であることは、当業者であれば容易に理解できることであろう。この場合、上述した実施形態における「教室」、「聴講者」、「受講状態」、「受講状態改善支援」の文言をそれぞれ「所定の室内」、「入室者」、「入室者の状態」、「入室者の状態把握」と読み替えて参照されたい。

上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…撮像部（デジタルカメラ）
２０…聴講者ＩＤ取得装置（ＩＤカードリーダ）
３０…パーソナル・コンピュータ
４０…大型映像ディスプレイ装置
５０…携帯電話
１００…受講状態改善支援システム
２００…受講状態改善支援装置
２０２…聴講者登録部
２０４…画像入力ＩＦ
２１０…画像解析部
２１４…動体追跡部
２１６…監視領域管理部
２１８…受講状態管理部
２１９…テンプレート・データベース
２２０…データベース
２３０…受講状態情報生成部
２４０…注意喚起部
１０００…聴講者登録テーブル
１００１〜１００４…フィールド
２０００…動体追跡管理テーブル
２００１〜２００３…フィールド
３０００…監視領域管理テーブル
３００１〜３００３…フィールド
４０００…受講状態管理テーブル
４００１〜４００３…フィールド
５０００…受講状態情報

特開２００７-０９７６６８号公報

Claims

情報処理装置と、聴講者を収容する室内のデジタル画像を取得して前記情報処理装置に転送するための撮像部と、前記聴講者から聴講者ＩＤを取得して前記情報処理装置に転送するための聴講者ＩＤ取得装置とを含む受講状態改善支援システムであって、
前記情報処理装置は、
前記デジタル画像の解析によって前記室内に入室してきた前記聴講者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡部であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に前記聴講者ＩＤ取得装置から受領した前記聴講者ＩＤを該特徴点に紐付けて管理する動体追跡部と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記聴講者ＩＤと該監視領域とを紐付けてテーブル管理する監視領域管理部と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の受講状態を判定し、該受講状態の判定結果を該監視領域に紐付けてテーブル管理する受講状態管理部と
を含み、
前記登録領域は、前記聴講者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
受講状態改善支援システム。
前記情報処理装置は、
前記聴講者ＩＤに基づいて、前記監視領域管理部が管理するテーブルと前記受講状態管理部が管理するテーブルを照会することによって、該聴講者ＩＤに紐付けられた前記受講状態の判定結果を取得し、該判定結果に基づいて受講状態情報を生成する受講状態情報生成部をさらに含む、
請求項１に記載の受講状態改善支援システム。
前記情報処理装置は、
前記受講状態情報に基づいて、好ましくない受講状態の前記聴講者に対して注意喚起を行う注意喚起部をさらに含む、請求項１または２に記載の受講状態改善支援システム。
前記注意喚起部は、
好ましくない受講状態の前記聴講者の予め登録されたメールアドレスに対して警告メールを送信する、請求項３に記載の受講状態改善支援システム。
前記聴講者が視認可能に前記室内に設置される大型モニターをさらに含み、
前記注意喚起部は、
前記室内のデジタル画像における好ましくない受講状態の前記聴講者の画像に対して該受講状態を表すテキスト情報を重層した合成画像を生成し、該合成画像を前記大型モニターに表示する、請求項３に記載の受講状態改善支援システム。
聴講者を収容する室内のデジタル画像の解析によって前記室内に入室してきた前記聴講者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡部であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に聴講者ＩＤ取得装置から受領した前記聴講者ＩＤを該特徴点に紐付けて管理する動体追跡部と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記聴講者ＩＤと該監視領域とを紐付けてテーブル管理する監視領域管理部と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の受講状態を判定し、該受講状態の判定結果を該監視領域に紐付けてテーブル管理する受講状態管理部と
を含み、
前記登録領域は、前記聴講者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
受講状態改善支援装置。
コンピュータに対して受講状態改善支援を実行させるコンピュータ実行可能な方法であって、
コンピュータに対して、
聴講者を収容する室内のデジタル画像の解析によって前記室内に入室してきた前記聴講者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡手段であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に聴講者ＩＤ取得装置から受領した聴講者ＩＤを該特徴点に紐付けて管理するための動体追跡手段と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記聴講者ＩＤと該監視領域とを紐付けてテーブル管理するための監視領域管理手段と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の受講状態を判定し、該受講状態の判定結果を該監視領域に紐付けてテーブル管理するための受講状態管理手段と
を実現し、
前記登録領域は、前記聴講者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
方法。
前記コンピュータに対して、さらに、
前記聴講者ＩＤに基づいて、前記監視領域管理手段が管理するテーブルと前記受講状態管理手段が管理するテーブルを照会することによって、該聴講者ＩＤに紐付けられた前記受講状態の判定結果を取得し、該判定結果に基づいて受講状態情報を生成する受講状態情報手段を実現する、請求項７に記載の方法。
入室者の状態を把握するためのシステムであって、
情報処理装置と、入室者を収容する室内のデジタル画像を取得して前記情報処理装置に転送するための撮像部と、前記入室者から入室者ＩＤを取得して前記情報処理装置に転送するための入室者ＩＤ取得装置とを含む
前記情報処理装置は、
前記デジタル画像の解析によって前記室内に入室してきた前記入室者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡部であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に前記入室者ＩＤ取得装置から受領した前記入室者ＩＤを該特徴点に紐付けて管理する動体追跡部と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記入室者ＩＤと該監視領域とを紐付けてテーブル管理する監視領域管理部と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の状態を判定し、該状態の判定結果を該監視領域に紐付けてテーブル管理する状態管理部とを含み、
前記登録領域は、前記入室者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
入室者状態把握システム。
入室者を収容する室内のデジタル画像の解析によって前記室内に入室してきた前記入室者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡部であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に入室者ＩＤ取得装置から受領した入室者ＩＤを該特徴点に紐付けて管理する動体追跡部と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記入室者ＩＤと該監視領域とを紐付けてテーブル管理する監視領域管理部と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の状態を判定し、該状態の判定結果を該監視領域に紐付けてテーブル管理する状態管理部とを含み、
前記登録領域は、前記入室者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
入室者状態把握装置。
コンピュータに対して入室者の状態把握を実行させるコンピュータ実行可能な方法であって、
コンピュータに対して、
入室者を収容する室内のデジタル画像の解析によって前記室内に入室してきた前記入室者の動体オブジェクトを検出し、該動体オブジェクトの特徴点を追跡する動体追跡手段であって、前記デジタル画像に定義される登録領域内に前記特徴点が存在する間に入室者ＩＤ取得装置から受領した入室者ＩＤを該特徴点に紐付けて管理するための動体追跡手段と、
前記デジタル画像に定義される監視領域内に前記特徴点が存在する間、該特徴点に紐付けられる前記入室者ＩＤと該監視領域とを紐付けてテーブル管理するための監視領域管理手段と、
前記監視領域の画像を解析することによって、該監視領域内の被写体の状態を判定し、該状態の判定結果を該監視領域に紐付けてテーブル管理するための状態管理手段と
を実現し、
前記登録領域は、前記入室者ＩＤ取得装置の周辺画像領域として定義され、前記監視領域は、前記室内に設置された座席の周辺画像領域として定義される、
方法。
請求項７、８、１１のいずれか一項に記載の各機能手段を実現するためのコンピュータ実行可能なプログラム。
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。