JP2020525965A - 教学補助方法およびその方法を採用する教学補助システム - Google Patents

Abstract

本発明において教学補助方法およびその方法を採用する教学補助システムを提供する。教学補助方法は、設定済のデプステンソルトレーンネットワークモデルを採用することにより前記教室中の学生の行為を検出し、それにより画像を認識する精度を向上させ、計算をするハードウェアに対する要求を低減し、結合式システムをに応用させ、教学補助方法を用いるコストを低減するができる。前記教学補助方法を採用する教学補助システムによっても同じな発明の効果を獲得することができる。【選択図】図１

Description

本発明は、教学補助の分野に属し、特に、教学補助方法およびその方法を採用する教学補助システムに関するものである。

一般の教学の活動において、受業をする学生の人数と授業をする先生の人数の差が大きいので、授業をしている先生は、多い時間をかけるとともに精力を注ぐことにより受業をする学生の行為と表情を観察し、かつ学生の受業の状態を判断することができない。したがって先生は学生の受業の状態と学生が授業の内容を把握する程度を正確に判断することができない。したがって授業をしている先生は授業にのみ集中し、学生は自己の事をし、先生の授業と学生の受業は分離されるおそれがある。それにより授業中の先生は教学を有効に管理することができないので、教学の品質と効率に影響を与えるおそれがある。そのため授業に用いられる教学補助システムは教育の分野において注目を集めている。教学補助システムで先生の授業を補助することにより教学を容易に実施することができる。従来の教学補助システムは機能を強調し、その目的は、学生に自発的な学習の環境を提供し、学生に充分な学習の資料を提供し、先生の作業量を低減することにある。異なる技術的手段を採用して知能化補助システムを設計することにより先生の授業の効果と学生の学習の効率を向上させる。

従来の技術において、公開番号がＣＮ１０６０９７７９０Ａである中国特許には教学補助装置が公開されている。その装置は、画像認識技術によって受業中の学生の画像を認識することにより受業中の学生が受業と係っていないことをするかを判断し、認識の結果を先生に伝えることにより先生が所定の対策をとるようにする。

前記従来の技術には、画像認識モジュールによって画像を認識する方法と過程が公開されておらず、かつ画像認識モジュールによって検出される画像と予め記憶されている画像を比較する方法とその比較の結果を判断する方法も公開されていない。技術者は前記従来の技術により授業中の状況を把握しかつ補助の技術的効果を獲得することができる。すなわち従来の教学の補助方法は前記欠点を有している。

前記従来の技術的問題を解決するため、本発明は画像認識の精度が高い教学補助方法およびその方法を採用する教学補助システムを提供することを目的とする。

前記技術的問題を解決するため本発明において下記教学補助方法を提供する。前記教学補助方法は順に実施される下記ステップを含む。すなわち
採集モジュールにより教室の画像を随時に採集して認識モジュールに送信するステップｓ１と、
前記認識モジュールにより前記教室の画像を分析しかつ前記教室の画像中に行為が異常である学生がいるかを判断するステップｓ２と、
通知モジュールにより前記認識モジュールが認識した結果を授業の先生に伝達するステップｓ３とを含む。
前記ステップｓ２は前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出するステップｓ２１を含む。

好ましくは、前記ステップｓ２は前記認識モジュールが設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識するステップｓ２２を更に含む。

好ましくは、前記ステップｓ２２は、具体的に、フェース認識サブユニットにより前記採集モジュールが採集した前記教室の画像において各学生のフェース区域を検出するステップｓ２２１と、
畳み込みニューラルネットワーク分類装置により検出された前記フェース区域の表情を認識するステップｓ２２２とを含む。

好ましくは、前記ステップｓ１は、前記採集モジュールの画像採集モジュールを教室の前方の左側、中央、右側にそれぞれ取り付けるステップｓ１１と、
前記画像採集モジュールは教室の学生全員の上半身の画像を採集することを目標とするステップｓ１２とを含む。

好ましくは、前記教学補助方法は記憶モジュールに前記認識結果を同時記憶させるステップｓ４を更に含む。

好ましくは、前記ステップｓ４は、各学生に対応する前記認識結果を分類することにより各クラスの学生の電子ファイルを作成するステップｓ４１と、
前記学生の電子ファイルにより学生の授業の状態の曲線を作成し、授業の先生は授業の内容と試験の成績により学生を適当に指導するステップｓ４２とを含む。

好ましくは、前記教学補助方法は、ステップｓ１前に実施される下記ステップ、すなわち
データベースを作成するステップｑ１と、
前記デプステンソルトレーンネットワークモデルの設定をするステップｑ２と更に含む。

好ましくは、前記ステップｑ１は、前記採集モジュールが教室を長く撮影してえた前記教室の画像を記憶させるステップｑ１１と、
異常な行為をしている学生の画像を選択してラベルをつけるステップｑ１２とを含む。

好ましくは、前記ステップｑ２は、ニューラルネットワークモデルの多層の畳み込み層によりラベルがつけられる前記学生の画像において異常の特徴を検出し、前記異常の特徴と分解後の完全接続層のウエートマトリックス演算によってえた予測値を出力するステップｑ２１と、
前記出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により損失函数を構成するステップｑ２２と、
前記損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得するステップｑ２３とを含む。

前記技術的問題を解決するため本発明において下記教学補助システムを提供する。その教学補助システムには、採集モジュールと、前記採集モジュールに接続される認識モジュールと、前記認識モジュールに接続される通知モジュールとが設けられ、
前記採集モジュールは教室の画像を随時に採集して認識モジュールに送信し、
前記認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断し、前記認識モジュールは行為認識ユニットを含み、前記行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記教室の画像中の学生の行為を認識し、
前記通知モジュールは前記認識モジュールの認識の結果を授業中の先生に知らせる。

好ましくは、前記教学補助システムは前記認識モジュールに接続される記憶モジュールを更に含み、前記記憶モジュールは前記認識の結果を同時に記憶させかつそれを分類して編集し、
前記認識モジュールは表情認識ユニットを更に含み、
表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識し、
前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含む。

従来の技術と比較してみると、本発明の教学補助方法は設定済のデプステンソルトレーンネットワークモデルを採用することにより前記教室中の学生の行為を検出し、それにより画像を認識する精度を向上させ、計算をするハードウェアに対する要求を低減し、教学補助方法を結合式システムをに応用させ、教学補助方法を用いるコストを低減するができる。
また、本発明において設定済のデプステンソルトレーンネットワークモデルを採用することにより前記教室中の学生の表情を認識し、その教学補助システムにより授業中の学生の異常の行為を認識する精度を一層向上させることができる。
前記教学補助方法を採用する教学補助システムによっても同じな発明の効果を獲得することができる。

教学補助方法の概略を示す流れ図である。 教学補助方法を詳細に示す流れ図である。 図１の教学補助方法が採用される教学補助システムを示す構造図である。 図３の教学補助システムの具体的な構造を示す図である。 完全接続層のウエートマトリックスが三階のテンソルに折り畳まれかつ結合されることを示す図である。 三階のテンソルのテンソルトレーン分解を示す図である。 テンソルトレーン分解を示す図である。 マトリックスのテンソルトレーン分解を示す図である。 採集モジュールの配置を示す図である。 行為認識に用いられるデプステンソルトレーンネットワークモデルの構造を示す図である。 表情認識に用いられるデプステンソルトレーンネットワークモデルの構造を示す図である。

以下、図１ないし図１１を参照することにより本発明の各実施例を詳細に説明する。
図１に示される教学補助方法は順に実施される下記ステップを含む。
ステップｓ１において、採集モジュールは教室の画像を随時に採集して認識モジュールに送信する。
ステップｓ２において、前記認識モジュールは前記教室の画像を分析し、かつ前記教室の画像中に行為が異常である学生がいるかを判断する。
ステップｓ３において、通知モジュールは前記認識モジュールが認識した結果を授業中の先生に伝達する。
前記ステップｓ２は下記ステップを含む。
ステップｓ２１において、前記認識モジュールは設定済のデプステンソル（Ｄｅｐｔｈ ｔｅｎｓｏｒ）トレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出する。

具体的に、ステップｓ２１において採用するデプステンソルトレーンネットワークモデルは従来の完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ）マトリックスに対してテンソルトレーンの分解をすることにより獲得するものである。それにより完全接続層マトリックスのテンソルのパラメーターの数量を大幅に圧縮し、計算の効率を向上させ、計算をするハードウェアに対する要求を低減し、結合式方法によりシステムを容易に配置させ、使用の利便性を向上させ、かつコストを低減するができ、教学補助システムを幅広く応用することができる。

図２に示すとおり、前記ステップｓ２は下記ステップを更に含む。
ステップｓ２２において、前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像を検出することにより学生の表情を認識する。

ステップｓ２２において、画像認識である核心算法を再び設定し、学生の画像により学生の行為を検出することと表情を認識することによりデプステンソルトレーンネットワークモデルによって一層よい認識の精度と効率を獲得することができる。デプステンソルトレーンネットワークモデルにおいてモデルのパラメーターの数量を低減し、システムの安定性（ｒｏｂｕｓｔｎｅｓｓ）を向上させ、かつ本発明の教学補助システムにより授業中の学生の異常の行為と表情を検出する速度を有効に向上させることができる。

本実施例において、前記ステップｓ２２は具体的に下記ステップを含む。
ステップｓ２２１において、フェース認識サブユニットにより前記採集モジュールが採集した前記教室の画像において各学生のフェース区域を検出する。
ステップｓ２２２において、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）分類装置により検出される前記フェース区域の表情を認識する。

具体的な操作において、フェースの表情の特徴は細かく、認識モジュールは表情の特徴を直接検出しにくいので、本発明においてステップｓ２２１とステップｓ２２２により表情の認識をする。まず、フェース認識サブユニットにより採集モジュールが採集した教室の画像において各学生のフェース区域を検出する。次に、畳み込みニューラルネットワーク分類装置により検出される各フェース区域の画像中の表情を認識する。

図９に示すとおり、ステップｓ１は下記ステップを含む。
ステップｓ１１において、前記採集モジュールの画像採集モジュールを教室の前方の左側、中央、右側にそれぞれ取り付ける。

他の実施例において、教室の前方の左側および右側または複数の区域に画像採集モジュールをそれぞれ取り付けることにより、単一の方向に撮影するとき学生が撮影されないことを防止することができる。

好適な実施例において、正常な授業の状態において、大部分の学生は困惑するか或いはぼんやりするか或いはいらだつ等のような異常な行為をしないので、各画像採集装置で写真を撮るタイミングの間の間隔を長くすることにより、画像の採集の頻度を低減し、画像を処理するか或いは記憶させる作業を低減することができる。

ステップｓ１２において、前記画像採集モジュールは教室の学生全員の上半身の画像を採集することを目標とする。
具体的な実施例において、受業をしている学生の行為と表情の特徴は上半身の画像によって検出して認識することができるので、上半身の画像を採集することを目標とすることにより被写体の特徴が集まっている区域を撮影することができる。

本実施例は下記ステップを更に含む。ステップｓ４において記憶モジュールは前記認識結果を同時記憶させる。
本実施例において、認識結果を同時記憶させることにより認識結果を全面的に分析し利用することができる。認識結果により授業の効果を分析評価し、かつ学生の学習の状態を分析することにより、需要に対応する適当な対策をとり、次の教学の作業をより有効に管理し、教学のレベルと品質を全面的に向上させることができる。

好ましくは、前記ステップｓ４は下記ステップを含むことができる。
ステップｓ４１において、各学生に対応する前記認識結果を分類することにより各クラスの学生の電子ファイルを作成する。
それにより各学生の受業の状態を検出しかつ認識結果を統計して分析し、学生が学校で授業をする状態を主動的に把握することができ、学生の成績にのみにより学生の授業の状態を判断する従来の受動的な判断方法の弊害を避けることができる。

ステップｓ４２において、前記学生の電子ファイルにより学生の授業の状態の曲線を作成し、授業の先生は授業の内容と試験の成績により学生を適当に指導する。
また、学生の電子ファイルと教師の教学の評価により、学生の成績にのみにより授業の品質を判断するときそれを全面的に判断することができない弊害を避けることができる。

本実施例はステップｓ１前に実施される下記ステップを更に含むことができる。
ステップｑ１においてデータベースを作成する。
具体的な実施例において、行為を検出するデータベースと表情を認識するデータベースをそれぞれ作成することができる。

具体的に、行為を検出するデータベースを作成するとき、適当なデータベースを作成することは学生の異常な行為を正確に検出する基礎になり、システムの認識の性能の変化に直接に係っている。採集モジュールにより複数の教室において教室の授業の状況を長く撮影した後、異常な行為をする学生の画像を選択してラベルをつける。異常な行為とは聴講を真面目にしない任意の行為、例えば居眠り、私語、悪戯、瞑想等をする行為を指す。カメラが遮断されることと視覚の範囲を避けるため、教室の左側、中央、右側にそれぞれ取り付けられる画像採集モジュールで画像を撮影し、画像を選別することができる。かつ画像を簡単に処理し、所定のサイズを入力して画像を適当なモデルに調節することにより、ネットワークモデルのテストをするとき用いることができる。

他の実施例において、表情の特徴例えば集中していること、興味を持っていること、思考していること等を検出し、デプステンソルトレーンネットワークモデルに対して設定をすることにより、前記モデルで聴講に集中している行為を選び出すこともできる。

表情を認識するデータベースを作成するとき、フェースの表情を認識する作業は２つのステップで実施することができる。すなわちフェースを検出した後、表情を認識することにより２つのデータベースを作成する。１つは教室中の学生のフェースを検出するデータベースであり、他の１つは教室で授業をする学生の表情を指すデータベースである。

フェースを検出するデータベース
画像採集モジュールが採集した教室の画像において学生のフェースを正確に検出するため、教室中の学生のフェースを検出する小型データベースを作成する。画像採集モジュールにより複数の教室において教室の授業の状況を長く撮影することにより教室の画像を獲得する。その画像にラベルをつけ、画像中のフェースの位置を把握し、画像を簡単に処理し、所定のサイズを入力して画像を適当なモデルに調節することにより、ネットワークモデルのテストをするとき用いることができる。

授業をする学生の表情に関するデータベース
先生が授業をするとき学生が教室で受業をする状態を正確に把握し、聴講中の学生の表情を認識するため、学生が教室で受業をする場合により聴講中の学生の表情に関するデータベースを構成する。採集した教室の画像において学生のフェースの表情のピクチャーブロック（Ｐｉｃｔｕｒｅ ｂｌｏｃｋ）を検出するため、聴講を真面目にする程度により表情ラベル、例えば集中していること、興味を持っていること、思考していること、困惑すること、ぼんやりすること、いらだつこと等を作成する。それにより授業をする先生は各学生が聴講をする状態と授業を把握した状態を正確に理解し、授業を適当に処理または調節することができる。

ステップｑ２において前記デプステンソルトレーンネットワークモデルの設定をする。
具体的に実施例において、行為の検出と表情の認識をする設定をそれぞれ実施する。相違点は異なるデータにより設定をする。

具体的に、「デプステンソルトレーンネットワーク」中の学生の異常な行為によりニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを認識する。まず、多層の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）により画像中の学生の行為の特徴を検出することを自動に学び、学んだ学生の行為の特徴に関する情報を用い、かつＴＴ分解（テンソルトレーン分解）をしたにより教室中の学生の行為を認識し、教室において異常な行為をしている学生を検出する。

図２に示すとおり、前記ステップｑ１は下記ステップを含む。
ステップｑ１１において、前記採集モジュールは教室を長く撮影してえた前記教室の画像を記憶させる。
ステップｑ１２において、異常な行為をする学生の画像にラベルをつける。

異常な行為をする学生の画像の数量が少ないので、モデルのオーバーフィット（ｏｖｅｒｆｉｔ）を避け、モデルが光線の変化等の要因による影響を受ける反干渉性能（ａｎｔｉ−ｉｎｔｅｒｆｅｒｅｎｃｅ ａｂｉｌｉｔｙ）を向上させるため、ラベルがつけられかつ異常な行為をする学生の画像のデータに対してデータエンハンスメント（ｄａｔａ ｅｎｈａｎｃｅｍｅｎｔ）をする。画像のコントラストを変化させ、ＲＧＢチャンネルを向上させ、ノイズを入力すること等により、画像に関するデータの見本の数量と種類を増加させる。

本実施例において、前記ステップｑ２は下記ステップを含む。
ステップｑ２１において、ニューラルネットワークモデルの多層の畳み込み層によりラベルがつけられる前記学生の画像において異常の特徴を検出し、異常の特徴と分解後の完全接続層のウエートマトリックス演算により出力される予測値を獲得する。

図１０はデプステンソルトレーンネットワークのモデル構造を示す図である（ここにおいて３層の畳み込み層を例として説明する）。デプステンソルトレーンネットワークモデルの構成は下記ステップを含む。
１、ネットワークモデルのパラメーターの初期化をする。
２、教室の学生の行為に関するデータが集中された画像を前記モデルに入力して設定をする。
３、画像に対してＣｏｎｖｏｌｕｔｅｄ ａｎｄ ｐｏｏｌｅｄをし、最下層の畳み込み層においてＳ×Ｓ×ｍであるテンソルを出力する。すなわち元の画像をＳ×Ｓ個のユニットに分割し、各ユニットを元の教室の画像の一部分に対応させ、各ユニット中の画像の特徴を前記テンソル中の一個のｍ次元のベクトルに対応させる。
４、改良後の完全接続により１個のＳ×Ｓ×（５ａ）のテンソルを出力する。すなわち各ユニットに対応するａ個の異常な行為をする学生によりバウンダリーフレームの座標（ｘ、ｙ、ｗ、ｈ）とフレームにおいて異常な行為をする学生のコンフィデンスレベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）を検出する。ｘとｙは異常な行為をする学生の認識フレームの中心の座標であり、ｗとｈは異常な行為をする学生の認識フレームの幅と高さであり、座標を一体にすることによりそれが０から１の間に入るようにする。

改良後の完全接続は従来の完全接続層のマトリックスに対してテンソルトレーン（ＴＴ）分解をすることにより、完全接続層のパラメーターの数量を大幅に圧縮し、計算の効率を向上させ、ハードウェアに対する要求を低減し、結合式装置に用いることができる。この教学補助システムにより教室において異常な行為をしている学生を迅速に検出し、結合式方法によりシステムを容易に配置させ、使用の利便性を向上させ、かつコストを低減するができ、教室において異常な行為をしている学生を検出する教学補助システムを幅広く応用することができる。

テンソルトレーン分解（ＴＴ分解）はテンソル分解モデルであり、各テンソルの各元素は複数のマトリックスのプロダクトで示す。マトリックスのテンソルトレーン分解をするときまず再構成方法を選択する必要がある。マトリックスをｄ階テンソルに送信した後、テンソルに対してテンソルトレーン分解をする。すなわち完全接続層のウエートマトリックスに対してテンソルトレーン分解をし、以下、その過程を詳細に説明する（説明を簡単にするため一部分のパラメーターを例として説明するが、具体的な実施例は下記パラメーターにのみ限定されるものでない）。

本実施例において、完全接続層のウエートマトリックスに対してテンソルトレーン分解をするステップは下記のとおりである。
１、図５に示すとおり、完全接続層のウエートマトリックスの行と列をいずれもｄ個のバーチャルの次元に折り畳み（ａｒｅ ａｌｌ ｆｏｌｄｅｄ ｉｎｔｏ）、ネットワークモデルにおいてＳ＝４、ｍ＝５０、ｎ＝４９であると仮定する。画像採集モジュールが撮影してえた教室の画像の各層に対してＣｏｎｖｏｌｕｔｅｄ ａｎｄ ｐｏｏｌｅｄをすることにより４ｘ４ｘ５０＝８００個の特徴を検出し、下層の隠蔽層には４ｘ４ｘ４９＝７８４個のハイデーンノード（ｈｉｄｄｅｎ ｎｏｄｅ）が含まれ、前記完全接続層のウエートのパラメーターは８００ｘ７８４個のマトリックスである。図面に示すとおり、表示を簡単にするため、ｄ＝３にし、完全接続層のウエートマトリックスの行と列を３個のバーチャルの次元にする。
２、図５に示すとおり、行列に対応するバーチャルの次元を結合させる。すなわち完全接続層のウエートマトリックスをｄ階のテンソルに変換させる。前記実施例の方法により元の８００ｘ７８４のウエートマトリックスを７００ｘ３２ｘ２８の３階のテンソルに変換させる。
３、図６に示すとおり、前記ｄ階のテンソルのテンソルトレーンランク（ｔｅｎｓｏｒ ｔｒａｉｎ ｒａｎｋ）ｒを定義する。この場合、
本実施例において、元の７００ｘ３２ｘ２８の三階のテンソルは１ｘ７００ｘ３、３ｘ３２ｘ３、３ｘ２８ｘ１である３個のカーネルテンソルに分解される。完全接続層のウエートのパラメーターの数量は６２７２００から２４７２個に低下する。

ＴＴ分解（テンソルトレーン分解）により完全接続層のウエートパラメーターの数量が低減されることを直感的に示すため、複数の再構成方法によりテンソルトレーン分解をするときパラメーターの規模の変化を次にとおりに示す。表に示される結果のように、テンソルトレーン分解により完全接続層のウエートのパラメーターの数量を百倍または千倍に低減することができるので、計算の効率を向上させ、ハードウェアに対する要求を低減し、この教学補助システムを結合式装置に用い、教室において異常な行為をしている学生を迅速に検出することができる。

ステップｑ２２において、出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により損失函数を構成する。
ステップｑ２３において、損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得する。

５．逆伝播アルゴリズム（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を用い、出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により構成される損失函数Ｌ（この損失函数は平方と誤算を採用する損失函数であり、これについて以下具体的に説明する）により、ネットワークのパラメーターを調節し、精度の所定のレベルまで向上させる。次に、そのネットワークのパラメーターを記憶させる。

平方と誤算を採用する損失函数において、その損失函数は、３つの部分すなわち座標予測函数、異常な行為をする学生が含まれる認識フレームのコンフィデンスレベルを計算する函数、異常な行為をする学生が含まれない認識フレームのコンフィデンスレベルを計算する函数を含む。

好適な実施例において、図１０と図１１に示すとおり、表情認識設定をするためデプステンソルトレーンネットワークモデルを構成するとき、フェース認識は行為認識サブモジュールにより学生の異常な行為を検出する検出モジュールと類似し、学生の異常な行為に関するデータをフェース認識データに変換させ、フェース認識データ中の画像を用いることによりモデル設定を入力し、前記行為認識サブモジュール１〜５中の設定を繰り返すことにより、モジュールは、フェースの特徴を自動に学び、学生画像において学生のフェースの特徴を自動に検出することができる。

フェースの表情の認識を設定するとき、畳み込みニューラルネットワーク（ＣＮＮ）分類装置を採用する。前記学生の聴講中の表情に関するデータにおいて表情ラベルが付いている学生のフェースのピクチャーブロックを表情認識分類装置に入力し、表情認識ネットワークモデルに対して設定をする。表情認識ネットワークモデルは図１１に示すとおりである。
１、表情認識ネットワークモデルのパラメーターの初期化をする。
２、学生の聴講中の表情に関するデータにおいて表情ラベルが付いている学生のフェースのピクチャーブロックを表情認識分類装置に入力して設定をする。
３、学生のフェースのピクチャーブロックに対してＣｏｎｖｏｌｕｔｅｄ ａｎｄ ｐｏｏｌｅｄをすることによりフェースの表情の特徴を検出する。
４、改良後の完全接続により予測される学生のフェースのピクチャーブロックの表情ラベルを出力する。この場合も完全接続層のウエートマトリックスに対してＴＴ分解をする。具体的な過程は行為認識サブモジュール（４）中の詳細な説明を参照することができるので、ここで再び説明しなし。
５、逆伝播アルゴリズムを用い、出力される予測値と表情ラベルがついている誤差により構成される損失函数Ｌにより、ネットワークのパラメーターを調節し、精度の所定のレベルまで向上させた後、そのネットワークのパラメーターを記憶させる。

他の実施例において、モデルの学習の正確性を検索するため、モデルテストのステップを更に含む。

行為検出のテストをするとき、前記設定済のネットワークモデルのパラメータを認識モジュール中の行為認識サブモジュールのデプステンソルトレーンネットワークに入力し、画像採集モジュールが随時に採集した教室画像を入力し、随時に採集した認識画像に異常な行為をする学生が含まれているかを判断する。含まれている場合、通知モジュールによりその認識の結果を授業中の先生に送信し、かつそれを記憶モジュールを記憶させることにより結果のデータを更に分析することができる。異常な行為であるかを判断するとき、ネットワークモデルが出力した異常な行為の確立が所定の確立の閾値よりおおきいかを判断することにより判断をする。所定の確立の閾値は複数のテストにより獲得しかつ一般人のバランスのセンシティビティーと正確度にあう値である。先生は個人の状況によりそれを適当に調節することによりこの教学補助システムの最適化をすることができる。テストをするとき検出された問題により細部を適当に調節することにより、教学補助システムの最適化を獲得し、教学補助システムを実際の応用に用いることができる。

表情認識のテストをするとき、前記設定済のネットワークモデルのパラメータを認識モジュール中の表情認識サブモジュールに入力し、画像採集モジュールが随時に採集した教室画像を入力する。まず、フェース認識ネットワークモデルにより各学生のフェースが画像中に位置している位置を検出する。次に、フェースのピクチャーブロックを簡単に処理した後、所定のサイズに調節して表情認識ネットワークモデルに入力することにより聴講中の学生の表情を認識する。それによりモデルはフェースを自動に検出しかつその表情の特徴を認識することができるので、それを実際の応用に用い、聴講中の学生の表情に関する情報を随時に認識することができる。その認識の結果と行為認識モジュールの認識の結果により、授業中の先生は聴講中の各学生の受業の状態により正確に把握し、先生は授業をしながら各学生を有効に管理することにより、教学の品質と効率を向上させることができる。

前記技術的問題を解決するため、本発明は教学補助システムを更に提供する。その教学補助システムには、採集モジュールと、前記採集モジュールに接続される認識モジュールと、前記認識モジュールに接続される通知モジュールとが設けられている。

前記採集モジュールは教室の画像を随時に採集して認識モジュールに送信する。

図９に示すとおり、採集モジュールは教室の学生全員の上半身の画像を採集することを目標とする。画像採集方法として画像採集モジュールを教室の前方の左側、中央、右側の上方にそれぞれ取り付け、画像採集モジュールの撮影の角度を調節調節することにより、被写体が遮断されることを防止しかついろいろな角度の画像を獲得することができる。画像採集モジュールが撮影する時間の間隔を設定し、採集した画像を認識モジュールに適用するサイズに調節して認識モジュールに送信することにより、学生の行為を認識するデータを提供することができる。
認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断する。認識モジュールは具体的に下記行為認識ユニットを含む。
行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記授業画像中の学生の行為を認識する。

具体的に、認識モジュールの目的は、認識画像採集モジュールが採集した聴講中の学生の具体的な行為と表情により学生が真面目に聴講をしているかを判断し、学生が授業の内容を把握する程度を判断することにある。行為認識方法は、まず、聴講をしている学生の画像のデータを採集し、所定の画像にラベルを人工的につけることにより異常な行為をしている学生を検出する。すなわち聴講を真面目にしない学生、例えば居眠り、私語、悪戯、瞑想等をする学生を検出する。次に、聴講をしている学生の画像のデータベースによりデプステンソルトレーンネットワークモデルを設定することにより、認識モジュールは画像中の特徴を自動に学習し、異常な行為をしている画像中の学生を検出する。最後に、設定済のモデルを実際の応用に用い、画像採集モジュールから送信されてくる３つの画像（本発明において３つの画像を例として説明するが、ハードウェアがよい場合、複数の画像を採集してもよい）を獲得し、画像中に異常な行為をする学生がいるかを検出し、所定の確立の閾値により異常な行為をしている学生を選別する。

前記通知モジュールは前記認識モジュールの認識の結果を授業中の先生に知らせる。

通知モジュールにおいて、通知モジュールは認識の結果を分析した後所定の方法によりその結果を授業の先生に送信する。３つの角度から撮影した画像に異常が存在しない場合、その結果を先生に送信しない。先生は確立の閾値を調節することにより認識のセンシティビティーを調節することができる。先生は通知を受けることにより教室の学生の聴講の状態と学生が授業の内容を把握する程度を判断することができ、授業の内容をよく把握していない学生を重点に指導するか或いは所定の対策をとることができる。

好ましくは、教学補助システムは前記認識モジュールに接続される記憶モジュールを更に含む。前記記憶モジュールは前記認識の結果を同時に記憶させかつそれを分類して編集する。

記憶モジュールにおいて、記憶モジュールは前記教学補助システムが認識した最終の結果をクラスを目録とし、学生を種類として学生の個人ファイルを作成しかつそれを記憶させる。学校において前記電子ファイルを充分に利用しかつ電子ファイルから有用な情報を読み出すことにより、学生が授業を把握した状況を判断しかつ教学の不足を分析して評価することができる。また、学生の学習の曲線を分析することにより、学生の成績がよくない原因を突き止め、適当な対策をとることができる。

前記認識モジュールは表情認識ユニットを更に含む。
表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識する。
前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含む。

表情認識サブモジュールの認識方法は行為認識方法と類似しており、相違点は異常である表情を選別して計算することにある。本発明において２つのサブモジュールを採用しかつ計算方法が同じであるモデルにより認識を同時にしかつ走査をすることができるが、損失函数を変化させることもできる。多任務の損失函数を採用することにより２つの任務を１つにモデルに送信して認識をすることができる。ここでそれを具体的に説明しないが、それが本発明に含まれることは勿論である。

本発明の技術的事項を採用する場合、教室の画像を分析して処理することにより先生の代わりに教学を補助する技術的問題をよく解決し、従来の教学装置において外部の画像認識装置を過度に依頼することによりハードウェアに対する要求が高くなりかつ認識の正確性が低下する欠点を避け、先生の教学の効率を向上させることができる。

以上、本発明の好適な実施例を説明してきたが、本発明は前記実施形態にのみ限定されるものでない。この技術分野の技術者は本発明の技術的事項と技術的方法により本発明を自由に改変または変更させることができる。本発明の範囲は特許請求の範囲が定めたことを基準とする。

Claims (11)

1. 順に実施される下記ステップ、すなわち
   採集モジュールにより教室の画像を随時に採集して認識モジュールに送信するステップｓ１と、
   前記認識モジュールにより前記教室の画像を分析しかつ前記教室の画像中に行為が異常である学生がいるかを判断するステップｓ２と、
   通知モジュールにより前記認識モジュールが認識した結果を授業の先生に伝達するステップｓ３とを含む教学補助方法であって、
   前記ステップｓ２は前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出するステップｓ２１を含むことを特徴とする教学補助方法。
2. 前記ステップｓ２は前記認識モジュールが設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識するステップｓ２２を更に含むことを特徴とする請求項１に記載の教学補助方法。
3. 前記ステップｓ２２は、具体的に、フェース認識サブユニットにより前記採集モジュールが採集した前記教室の画像において各学生のフェース区域を検出するステップｓ２２１と、
   畳み込みニューラルネットワーク分類装置により検出される前記フェース区域の表情を認識するステップｓ２２２とを含むことを特徴とする請求項２に記載の教学補助方法。
4. 前記ステップｓ１は、前記採集モジュールの画像採集モジュールを教室の前方の左側、中央、右側にそれぞれ取り付けるステップｓ１１と、
   前記画像採集モジュールは教室の学生全員の上半身の画像を採集することを目標とするステップｓ１２とを含むことを特徴とする請求項１に記載の教学補助方法。
5. 前記教学補助方法は記憶モジュールに前記認識結果を同時記憶させるステップｓ４を更に含むことを特徴とする請求項１に記載の教学補助方法。
6. 前記ステップｓ４は、各学生に対応する前記認識結果を分類することにより各クラスの学生の電子ファイルを作成するステップｓ４１と、
   前記学生の電子ファイルにより学生の授業の状態の曲線を作成し、授業の先生は授業の内容と試験の成績により学生を適当に指導するステップｓ４２とを含むことを特徴とする請求項５に記載の教学補助方法。
7. 前記教学補助方法は、ステップｓ１前に実施される下記ステップ、すなわち
   データベースを作成するステップｑ１と、
   前記デプステンソルトレーンネットワークモデルの設定をするステップｑ２と更に含むことを特徴とする請求項１に記載の教学補助方法。
8. 前記ステップｑ１は、前記採集モジュールが教室を長く撮影してえた前記教室の画像を記憶させるステップｑ１１と、
   異常な行為をしている学生の画像を選択してラベルをつけるステップｑ１２とを含むことを特徴とする請求項７に記載の教学補助方法。
9. 前記ステップｑ２は、ニューラルネットワークモデルの多層の畳み込み層によりラベルがつけられる前記学生の画像において異常の特徴を検出し、異常の特徴と分解後の完全接続層のウエートマトリックス演算によってえた予測値を出力するステップｑ２１と、
   前記出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により損失函数を構成するステップｑ２２と、
   前記損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得するステップｑ２３とを含むことを特徴とする請求項８に記載の教学補助方法。
10. 教学補助システムであって、その教学補助システムには、採集モジュールと、前記採集モジュールに接続される認識モジュールと、前記認識モジュールに接続される通知モジュールとが設けられ、
    前記採集モジュールは教室の画像を随時に採集して認識モジュールに送信し、
    前記認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断し、前記認識モジュールは行為認識ユニットを含み、前記行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記教室の画像中の学生の行為を認識し、
    前記通知モジュールは前記認識モジュールの認識の結果を授業中の先生に知らせることを特徴とする教学補助システム。
11. 前記教学補助システムは前記認識モジュールに接続される記憶モジュールを更に含み、前記記憶モジュールは前記認識の結果を同時に記憶させかつそれを分類して編集し、
    前記認識モジュールは表情認識ユニットを更に含み、
    表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識し、
    前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含むことを特徴とする請求項１０に記載の教学補助システム。