JP2018205638A - 集中度評価機構 - Google Patents

集中度評価機構 Download PDF

Info

Publication number
JP2018205638A
JP2018205638A JP2017113640A JP2017113640A JP2018205638A JP 2018205638 A JP2018205638 A JP 2018205638A JP 2017113640 A JP2017113640 A JP 2017113640A JP 2017113640 A JP2017113640 A JP 2017113640A JP 2018205638 A JP2018205638 A JP 2018205638A
Authority
JP
Japan
Prior art keywords
concentration
degree
execution unit
video
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017113640A
Other languages
English (en)
Inventor
吏 中野
Tsukasa Nakano
吏 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiwa House Industry Co Ltd
Original Assignee
Daiwa House Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiwa House Industry Co Ltd filed Critical Daiwa House Industry Co Ltd
Priority to JP2017113640A priority Critical patent/JP2018205638A/ja
Publication of JP2018205638A publication Critical patent/JP2018205638A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】内容の変化を伴いながら進行する話に対する参加者の集中度を適切に評価する。【解決手段】講師側サーバコンピュータ11が、講義中、複数の受講生からなるクラスの映像を取得する受信部101と、講義の内容がある内容である期間中のクラスの映像に基づき、上記の期間中に受講生が見ている各対象について注視率を特定する度合い特定処理を、受講生毎に実行する度合い特定処理実行部106と、各対象について受講生毎に特定した注視率に基づき、上記の期間中の受講生の視覚行動を複数のパターンのいずれかに分類する分類処理を、受講生毎に実行する分類処理実行部107と、上記の期間中の視覚行動が複数のパターン中の最多頻度パターンに分類されている受講生の割合を算出する算出処理を実行する算出処理実行部108と、最多頻度パターンの割合に基づき、上記の期間中のクラスの集中度を評価する評価処理を実行する評価処理実行部109と、を有する。【選択図】図5

Description

本発明は、複数の参加者からなるグループの集中度を評価する集中度評価機構に係り、特に、内容の変化を伴いながら進行する話に対するグループの集中度を評価することが可能な集中度評価機構に関する。
複数の参加者からなるグループに対して講義やセミナー等の話を行う場合には、話を行っている期間中のグループの集中度を把握し、集中度に応じて必要な措置を講じることが重要である。特に、テレビ会議等のような遠隔コミュニケーションの場面では、話者にとって、相手の集中度を把握することがより一層重要となる。これに関して、話を行っている期間中の参加者の映像等を解析することで参加者の集中度を評価する手法が既に開発されている。
一例を挙げて説明すると、特許文献1に記載の装置(集中度推定装置)では、会議等の業務上のやりとりにおける参加者の集中度を、当該やりとりの映像や音声を解析することで推定する。また、特許文献2に記載のシステム(感情推定システム)では、講義を受講している受講生の顔画像を解析して、受講生の感情や講義に対する集中度を推定する。また、参加者の映像や顔画像から当該参加者がどの対象を見ているのかを特定し、その特定結果から集中度を評価する方法も考えられる。
特開2016−32261号公報 特開2011−39934号公報
ところで、講義やセミナー等の話は、通常、内容の変化を伴いながら進行する。そのため、参加者が一方向(例えば、話者が居る方向)のみを見ていたとしても、話の内容次第では(例えば、テキストや配布資料に関する内容を話している場合)、その者が必ずしも集中しているとは限らない。このように参加者が話中に見ている対象や視点は、話の内容の変化に伴って変わり得る。したがって、話に対する参加者の集中度を評価する際には、話の内容に応じて参加者が見ている対象が変化することを考慮に入れながら評価する必要がある。
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、内容の変化を伴いながら進行する話に対する参加者の集中度を適切に評価することが可能な集中度評価機構を提供することである。
前記課題は、本発明の集中度評価機構によれば、内容の変化を伴いながら話が進行している間、該話の相手である複数の参加者からなるグループの映像を取得する映像取得部と、前記話の内容がある内容となっている期間中の前記映像に基づき、該期間中に前記参加者が見ている対象の各々について該対象を見ている度合いを特定する度合い特定処理を、前記参加者毎に実行する度合い特定処理実行部と、前記対象の各々について前記参加者毎に特定した前記度合いに基づき、前記期間中の前記参加者の視覚行動を複数設定されたパターンのいずれかに分類する分類処理を、前記参加者毎に実行する分類処理実行部と、複数の前記パターン中、前記期間中の前記視覚行動が分類されている前記参加者の数が最も多い前記パターンである最多頻度パターンについて、前記期間中の前記視覚行動が前記最多頻度パターンに分類されている前記参加者の割合を算出する算出処理を実行する算出処理実行部と、前記割合に基づいて、前記期間中における前記話に対する前記グループの集中度を評価する評価処理を実行する評価処理実行部と、を有することにより解決される。
上記のように構成された本発明の集中度評価機構によれば、話が進行している間、複数の参加者からなるグループの映像を取得する。また、取得した映像中、話の内容がある内容となっている期間中の映像を解析し、当該期間中に各参加者が見ている対象の各々について、当該対象を見ている度合いを参加者毎に特定する。また、各参加者が各対象を見ている度合いに基づいて、上記期間中の各参加者の視覚行動を複数のパターンのいずれかに分類した上で、上記期間中の視覚行動が分類されている参加者の数が最も多い最多頻度パターンについて、上記期間中の視覚行動が最多頻度パターンに分類されている参加者の割合を算出する。そして、算出された割合に基づいて、上記期間中における話に対するグループの集中度を評価する。
以上の構成であれば、内容の変化を伴いながら進行する話に対する集中度を、当該話の内容毎に定量的に評価することが可能となる。また、上記の構成では、話に対する参加者の集中度として、参加者全員(すなわち、グループ全体)の集中度を評価する。このようにグループ全体の集中度を評価することで、その時点での話の内容に対する参加者の集中度を全体的に把握することが可能となる。
また、上記の集中度評価機構において、前記話をする話者に対して映像を表示するディスプレイに、前記グループの映像の一部又は全部を表示するための映像データを生成する映像データ生成部を更に有し、該映像データ生成部は、前記グループの集中度の評価結果に応じた情報を前記グループの映像に重畳させて表示するための前記映像データを生成すると、好適である。
上記の構成では、話者に対して映像を表示するディスプレイに、グループの集中度の評価結果に応じた情報をグループの映像に重畳させて表示する。これにより、話者は、ディスプレイでグループの映像を観る際に、当該映像と併せてグループの集中度を確認することが可能となる。
また、上記の集中度評価機構において、前記グループと前記話者とが互いに離れた場所にいるとき、前記映像データ生成部は、前記話者がいる空間内に設置された前記ディスプレイに前記グループの映像の一部又は全部を表示するための前記映像データを生成すると、より好適である。
上記の構成では、グループと話者とが離れた場所にいるので、話に対するグループの集中度をディスプレイに表示して話者に報知するという構成がより有意義なものとなる。
また、上記の集中度評価機構において、前記話が進行している間、一定の時間間隔にて、前記度合い特定処理実行部が前記度合い特定処理を前記参加者毎に実行し、前記分類処理実行部が前記参加者毎に実行し、前記算出処理実行部が前記算出処理を実行し、前記評価処理実行部が前記評価処理を実行すると、更に好適である。
上記の構成では、一定の時間間隔にて、話に対するグループの集中度を評価するための一連の処理(度合い特定処理、分類処理、算出処理及び評価処理)を実行する。これにより、話がなされている間、定期的にグループの集中度を評価して確認することが可能となる。
また、上記の集中度評価機構において、前記話に対する前記参加者別の集中度を評価する個別評価処理を実行する個別評価処理実行部を更に有し、該個別評価処理実行部は、複数の前記参加者中、ある参加者の集中度を評価するにあたり、前記最多頻度パターンと前記ある参加者の前記視覚行動が属する前記パターンとが一致するか否かについての判定を実施し、前記個別評価処理において前記判定の結果に応じて前記ある参加者の集中度を評価すると、より一層好適である。
上記の構成では、グループの集中度に加え、グループ内の各参加者の集中度を個別に評価することが可能となる。これにより、グループ全体の集中度を全体的に把握するとともに、参加者個人の集中度を個別に把握することが可能となる。
また、上記の集中度評価機構において、前記個別評価処理実行部は、前記ある参加者の集中度を評価するにあたり、前記話が進行している間、前記判定を繰り返し実施し、前記個別評価処理において、前記話の開始時点から直前の前記判定の実施時点までの間に繰り返された各々の前記判定の結果に応じて、前記ある参加者の集中度を評価すると、尚一層好適である。
上記の構成では、最多頻度パターンと各参加者の視覚行動が属するパターンとが一致するか否かについての判定を繰り返し実施して、各々の判定結果に応じて当該各参加者の集中度を評価する。このような手順によれば、各参加者の集中度を客観的に評価することが可能となる。なお、上記の手順により評価される集中度は、各参加者の、話の開始時点から直前の判定の実施時点までの間における平均的な集中度を示すことになる。
また、上記の集中度評価機構において、前記評価処理実行部による前記評価処理、及び、前記個別評価処理実行部による前記個別評価処理の双方が実行され、前記評価処理において評価された前記グループの集中度を報知する第一モード、及び、前記個別評価処理において評価された前記参加者別の集中度を報知する第二モードのうちの一方が選択されると、前記話をする話者に対して、選択されたモードに応じた集中度を報知すると、一段と好適である。
上記の構成では、話に対するグループ全体の集中度及び参加者個人の集中度の双方を評価する。そして、第一モード及び第二モードのうち、選択された一方のモードに応じた集中度を、話をする話者に対して報知する。これにより、話者は、グループ全体の集中度及び参加者毎の集中度のうち、希望する一方の集中度を確認することが可能となる。
また、上記の集中度評価機構において、前記評価処理実行部による前記評価処理の実行後に前記個別評価処理実行部が前記個別評価処理を実行した後、前記算出処理実行部が前記算出処理を再度実行し、前記個別評価処理の実行後に再度実行される前記算出処理において、前記算出処理実行部は、前記期間中の前記視覚行動が前記最多頻度パターンに分類されている前記参加者の前記割合を、前記個別評価処理において評価された前記参加者別の集中度に基づいて算出し直し、前記算出処理実行部が前記算出処理を再度実行した後、前記評価処理実行部が前記評価処理を再度実行し、前記算出処理実行部によって算出し直された前記割合に基づいて、前記期間中における前記話に対する前記グループの集中度を再度評価すると、益々好適である。
上記の構成では、評価処理を実行してから個別評価処理を実行し、その後に評価処理を再び実行する場合に、個別評価処理において評価された参加者別の集中度を、再度実行される評価処理にてグループの集中度を評価する際に反映させる。これにより、再度の評価処理にて評価されるグループの集中度について、その評価精度を向上させることが可能となる。
本発明の集中度評価機構によれば、内容の変化を伴いながら進行する話に対する、複数の参加者からなるグループの集中度を、話の内容毎に定量的に評価することが可能となる。この効果により、参加者の集中度を把握した上で話を進行することが可能となり、結果として当該話がより円滑に進行するようになる。
本発明の集中度評価機構を利用した通信システムの一例を示す図である。 話者側で利用される機器を示す図である。 参加者側で利用される機器を示す図である。 参加者側で利用されるサーバコンピュータの機能についての説明図である。 話者側で利用されるサーバコンピュータの機能についての説明図である。 話者のディスプレイに表示される映像の一例を示す図である(その1)。 話者のディスプレイに表示される映像の一例を示す図である(その2)。 参加者が各対象を見ている度合いと話の内容との関係を示す図である。 最多頻度パターンについての説明図である。 モード選択画面の一例を示す図である。 本発明の集中度評価機構を利用した通信システムによるデータ配信の全体フローのうち、参加者側のフローを示す図である。 本発明の集中度評価機構を利用した通信システムによるデータ配信の全体フローのうち、話者側のフローを示す図である。 参加者のグループの集中度を評価する工程の流れを示す図である。 参加者毎の集中度を評価する工程の流れを示す図である。
本発明の集中度評価機構は、内容の変化を伴いながら進行する話に対する、当該話の相手である参加者の集中度を評価するものである。ここで、「話」とは、視覚的な情報伝達を含めながら話者が参加者を相手に行う言語的な情報伝達行為・行動であり、具体的には、講義やセミナー、レッスン指導、座談会、話芸等が該当し、本発明では、複数の参加者を相手に行われるものである。また、「話」には、音声による話が含まれることは勿論のこと、手話や文字情報の表示等を通じて行われる無声の話も含まれ得る。
また、「話の内容」とは、話の題目(テーマ)、討論や演習等をはじめとする話の進行方式、質問や回答・解説等をはじめとする話の実施形式、テキストや板書等をはじめとする話中に参照される物、話が進行している間の各時点における話の段階(例えば、諸言、展開、結論等)を含む概念である。
なお、「話の内容の変更」は、参加者が見る(厳密には、注視する)対象の変化を誘導するものであり、例えば、話の内容(実施形式)が「参加者の質問」から「話者の回答」へ変化した場合、質問者以外の参加者が見ている対象は、質問者から話者に切り替わることになる。
また、「集中度」とは、話者が話をしている間、当該話の内容に対応させて適当な場所を見ている(厳密には、注視している)程度を表す指標であり、本発明では数値にて評価される。
以下、本発明の一実施形態(以下、本実施形態)に係る集中度評価機構について一例を挙げて説明する。具体的には、話者である講師が参加者である受講生に対して話としての講義を行っている間に当該講義に対する集中度を評価する集中度評価機構を例に挙げて説明することとする。ただし、以下に説明する集中度評価機構は、講義以外の話(例えば、セミナー、レッスン指導、座談会、話芸等)に対する集中度を評価する場合にも利用可能である。
なお、以下に説明する実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得る。また、当然ながら、本発明にはその等価物が含まれ得る。
さらに、本明細書や後述する各図にて図示する画面のデザインやレイアウト、画面中に表示される情報、及び、その他のGUI(Graphic User Interface)に関する内容は、あくまでも一例に過ぎず、装置の仕様やユーザの要求に応じて適宜変更することが可能である。
<<本実施形態に係る集中度評価機構の概要>>
先ず、本実施形態に係る集中度評価機構について、その概要を説明することとする。本実施形態に係る集中度評価機構は、図1に図示した講義用通信システム(以下、講義配信システム)Tにて利用されている。図1は、本実施形態に係る集中度評価機構を利用した講義配信システムTの構成例を示す図である。
講義配信システムTは、講師(以下、講師K)が行う講義のライブ映像を、遠隔地にて当該講義に参加する受講生(以下、受講生J)に対して配信するために用いられる通信システムである。すなわち、講義配信システムTにより、講師K及び受講生Jが互いに離れた場所に居ながらも、受講生Jは、講師Kが受講生Jから離れた空間(以下、講義室)にて行う講義のライブ映像を、略リアルタイムにて視聴することが可能である。
また、本実施形態では、前述したように、複数の受講生Jがグループ(以下、クラスC)を構成しており、グループ単位で講師Kの講義を受講することになっている。ちなみに、本実施形態では、クラスC内の受講生Jの全員が同じ空間(以下、教室)にて上記の講義を受講することとする。ただし、これに限定されるものではなく、クラスC内の受講生Jが互いに異なる場所にて同じ講義を受講する形でもよい。
なお、本実施形態において、講師Kは、講義中において教材(テキスト)を使用し、参照頁を指定して受講生Jに提示する。具体的に説明すると、講師Kは、講義室にて専用の端末(厳密には、後述するタッチパネル16)を操作してテキストの参照頁を指定する。これにより、教室に設置された表示器(厳密には、後述するテキスト表示用ディスプレイ26)に、講師Kが指定したテキストの参照頁を示す画像が表示されるようになる。
以上のように本実施形態では、講義の進行途中でテキストを参照するように講義の内容が変化する。なお、以下では、説明を分かり易くするために、講義の内容が以下の流れで変化するケースを例に挙げて説明することとする。
講義前半の内容:講師Kがテキストを用いずに説明する。
講義中盤の内容:講師Kがテキストを参照しながら説明する。
講義後半の内容:受講生Jが質問して講師Kが回答する。
講義終盤の内容:講師Kが講義を振り返って講義のポイントを説明する。
<<講義配信システムTの構成について>>
以下、講義配信システムTの構成について、既出の図1とともに、図2及び図3を参照しながら説明する。図2は、講義配信システムTにおいて講師K側で利用される機器を示す図である。図3は、講義配信システムTにおいて受講生J側で利用される機器を示す図である。
講義配信システムTは、図1に示すように、講師側通信ユニット10と受講生側通信ユニット20とによって構成されている。講師側通信ユニット10は、講師Kが講義のライブ映像を受講生Jに向けて配信するために利用されるとともに、講師Kが講義中の受講生Jの様子や集中度等を確認するために利用される。受講生側通信ユニット20は、受講生Jが講義のライブ映像を視聴するために利用されるとともに、講義中の受講生Jの映像や音声を講師Kに向けて配信するために利用される。
以下、講師側通信ユニット10及び受講生側通信ユニット20の各々について説明する。
<講師側通信ユニット10について>
講師側通信ユニット10は、図1及び図2に示すように、サーバコンピュータ(以下、講師側サーバコンピュータ11)と、カメラ12と、マイク13と、ディスプレイ14と、スピーカ15と、タッチパネル16とを有する。
カメラ12は、講義室内に設置されており、講師Kが講義を行っている間、講師Kの映像(全身映像)を撮影する。マイク13は、講義室内に設置されており、講師Kが講義を行っている間、講師Kの音声を集音する。
ディスプレイ14は、講義室内に設置されており、講師Kに対して映像を表示する。このディスプレイ14は、図2に示すように、講師Kが講義を行っている間、教室内に居るクラスCの映像(厳密には、講師側サーバコンピュータ11が受講生側サーバコンピュータ21から受信した映像データが示す映像)の一部又は全部を表示する。つまり、講師Kは、講義中、ディスプレイ14を通じてクラスCの様子を確認することが可能である。
スピーカ15は、講義室内に設置されており、講義室内で再生音を発する。このスピーカ15は、教室内でクラスC中の受講生Jが発した音声(厳密には、講師側サーバコンピュータ11が受講生側サーバコンピュータ21から受信した映像データ中に組み込まれている音声データが示す音声)の再生音を発する。
タッチパネル16は、講師Kに対して操作画面を表示するとともに、当該操作画面上でのタッチ操作を受け付けるものである。このタッチパネル16は、講義中、講義室内に置かれ、講師Kによって操作される。具体的に説明すると、講師Kは、講義中において教材(テキスト)の参照頁を指定するためにタッチパネル16を操作する。そして、タッチパネル16は、講師Kが参照頁を指定するためのタッチ操作を受け付ける。
また、講師Kは、講義に対する受講生Jの集中度を確認するにあたり、後述する二つのモードのうちの一つを選択し、その選択結果を、タッチパネル16を通じて入力する。具体的に説明すると、講師Kがモード選択のためにタッチパネル16を操作すると、タッチパネル16に、後述の図10に図示したモード選択画面が表示される。そして、講師Kがモード選択画面にていずれか一方のモードを選択するためのタッチ操作を行うと、タッチパネル16が当該タッチ操作を受け付ける。
講師側サーバコンピュータ11は、講師側通信ユニット10の中枢を担う装置であり、一般的なサーバコンピュータと同様のハードウェア機器構成となっており、CPU、メモリ、ハードディスクドライブ及び通信用インタフェースを備えている。また、講師側サーバコンピュータ11には、その機能を発揮させるためのコンピュータプログラム(以下、講師側通信用プログラム)がインストールされている。
講師側サーバコンピュータ11は、インターネット等の外部通信ネットワークNを通じて、受講生側通信ユニット20の受講生側サーバコンピュータ21と通信可能である。つまり、講師側サーバコンピュータ11は、外部通信ネットワークNを通じて受講生側サーバコンピュータ21からデータを受信することが可能である。講師側サーバコンピュータ11が受講生側サーバコンピュータ21から受信するデータの中には、受講生J側で撮影された映像のデータ(映像データ)、及び、受講生J側で集音された音声のデータ(音声データ)が含まれている。なお、本実施形態では、映像データ中に音声データが組み込まれた状態で当該映像データが受信されることになっている。
そして、講師側サーバコンピュータ11は、受信した映像データを展開し、当該映像データが示す映像をディスプレイ14に表示させるとともに、上記の映像データ中に組み込まれている音声データが示す音声を再生し、その再生音をスピーカ15から発生させる。これにより、講義が行われている間、教室内に居るクラスCの映像の一部又は全部が講義室内のディスプレイ14に表示され、教室内で受講生Jが発した音声が講義室内のスピーカ15から発せられるようになる。
なお、本実施形態において、講義中、通常はクラスC全体(すなわち、クラスC内の受講生J全員)の映像がディスプレイ14に表示される。そして、講師Kが所定の動作(例えば、タッチパネル16上でのタッチ操作)を行うと、ディスプレイ14に表示される映像が、クラスC中の数名の受講生Jを映し出した映像(ズーム映像)に切り替わる。
また、講師側サーバコンピュータ11は、外部通信ネットワークNを通じて、受講生側サーバコンピュータ21に向けてデータを送信することが可能である。講師側サーバコンピュータ11が受講生側サーバコンピュータ21に向けて送信するデータの中には、カメラ12が撮影した映像のデータ(映像データ)と、マイク13が集音した音声のデータ(音声データ)とが含まれている。なお、本実施形態では、映像データ中に音声データが組み込まれた状態で当該映像データを送信することになっている。
さらに、講師側サーバコンピュータ11が受講生側サーバコンピュータ21に向けて送信するデータには、タッチパネル16が受け付けた講師Kのタッチ操作の内容を示すデータが含まれている。具体的に説明すると、講師側サーバコンピュータ11は、講師Kが講義中にタッチパネル16を通じて指定したテキストの参照頁を示すデータ(以下、参照頁指定データ)を送信する。
さらにまた、本実施形態において、講師側サーバコンピュータ11は、集中度評価機構として機能する。すなわち、講師側サーバコンピュータ11は、講義中、受講生側サーバコンピュータ21から受信した映像データを解析し、講義に対する受講生Jの集中度を評価し、その評価結果に応じた情報をディスプレイ14に表示する。これにより、講師Kは、講義を行っている間、ディスプレイ14を通じて受講生Jの集中度を確認することが可能となる。
なお、本実施形態において、講師側サーバコンピュータ11は、講義に対するクラスC全体の集中度を評価するとともに、クラスCを構成する各受講生J別の集中度を評価する。かかる内容を含め、講師側サーバコンピュータ11の集中度評価機構としての機能については、後に詳述することとする。
<受講生側通信ユニット20について>
受講生側通信ユニット20は、図1及び図3に示すように、サーバコンピュータ(以下、受講生側サーバコンピュータ21)と、カメラ22と、マイク23と、講師表示用ディスプレイ24と、スピーカ25と、テキスト表示用ディスプレイ26とを有する。
カメラ22は、教室内に設置されており、講師Kが講義を行っている間、受講生Jの映像を撮影する。なお、本実施形態では一台のカメラ22が教室内に設置されており、当該カメラ22は、クラスC内の受講生J全員の映像(特に、顔部分の映像)を同時に撮影することが可能な位置に配置されている。ただし、これに限定されるものではなく、複数のカメラ22が配置されており、当該複数のカメラ22を同時に作動させることでクラスC内の受講生J全員の映像を同時に撮影してもよい。
マイク23は、教室内に設置されており、講義中に発言した受講生Jの音声を集音する。
講師表示用ディスプレイ24は、教室内に設置されており、受講生Jに対して講師Kの映像(厳密には、受講生側サーバコンピュータ21が講師側サーバコンピュータ11から受信した映像データが示す映像)を表示する。これにより、受講生Jは、講義中、講師表示用ディスプレイ24を通じて講師Kのライブ映像を観ることが可能である。なお、本実施形態において、講師表示用ディスプレイ24は、講師Kの全身映像を表示するのに十分な高さ及び横幅を有している。
また、講師表示用ディスプレイ24は、図3に示すように、教室においてクラスC内の各受講生Jの正面位置に配置されている。換言すると、クラスC内の各受講生Jは、その正面に講師表示用ディスプレイ24が配置された状態で講義を受講することになる。ただし、受講生Jと講師表示用ディスプレイ24との間の位置関係については、上述の位置関係に限定されるものではなく、任意の位置関係に設定することが可能である。
スピーカ25は、教室内に設置されており、教室内で講義音声(厳密には、受講生側サーバコンピュータ21が講師側サーバコンピュータ11から受信した映像データ中に組み込まれている音声データが示す音声)の再生音を発する。
テキスト表示用ディスプレイ26は、教室内に設置されており、講義において使用されるテキストの画像を1頁単位で表示する。より詳しく説明すると、テキスト表示用ディスプレイ26は、テキスト画像のうち、講師Kが講義中に指定した参照頁の画像(厳密には、受講生側サーバコンピュータ21が講師側サーバコンピュータ11から受信した参照頁指定データによって特定されるテキスト画像)を表示する。これにより、講義中、講師Kがテキスト中の参考頁を指定したときに、受講生Jは、テキスト表示用ディスプレイ26を通じて当該参照頁の画像を確認することが可能である。
なお、テキスト表示用ディスプレイ26は、図3に示すように、教室において講師表示用ディスプレイ24の横脇に配置されている。換言すると、クラスC内の各受講生Jは、その正面から若干側方にずれた位置にテキスト表示用ディスプレイ26が配置された状態で講義を受講することになる。ただし、受講生Jとテキスト表示用ディスプレイ26との間の位置関係については、上述の位置関係に限定されるものではなく、任意の位置関係に設定することが可能である。
受講生側サーバコンピュータ21は、受講生側通信ユニット20の中枢を担う装置であり、一般的なサーバコンピュータと同様のハードウェア機器構成となっており、CPU、メモリ、ハードディスクドライブ及び通信用インタフェースを備えている。また、受講生側サーバコンピュータ21には、その機能を発揮させるためのコンピュータプログラム(以下、受講生側通信用プログラム)がインストールされている。
受講生側サーバコンピュータ21は、外部通信ネットワークNを通じて講師側サーバコンピュータ11と通信することで、講師側サーバコンピュータ11との間でデータの送受信を行う。受講生側サーバコンピュータ21が講師側サーバコンピュータ11から受信するデータの中には、講師K側で撮影された映像のデータ(映像データ)、及び、講師K側で集音された音声のデータ(音声データ)が含まれている。
そして、受講生側サーバコンピュータ21は、受信した映像データを展開し、当該映像データが示す映像を講師表示用ディスプレイ24に表示させるとともに、上記の映像データ中に組み込まれている音声データが示す音声を再生し、その再生音をスピーカ25から発生させる。これにより、講義中の講師Kの映像(全身映像)が教室内の講師表示用ディスプレイ24に表示され、講師Kの音声が教室内のスピーカ25から発せられるようになる。
また、受講生側サーバコンピュータ21が講師側サーバコンピュータ11から受信するデータには、上述した参照頁指定データが含まれている。講師側サーバコンピュータ11は、参照頁指定データを受信すると、同データを解析する。これにより、講師Kが指定したテキスト中の参照頁が特定され、受講生側サーバコンピュータ21は、自己のハードディスクドライブ内に記憶しているテキストの画像データのうち、参照頁の画像データを読み出し、当該画像データが示す参照頁の画像をテキスト表示用ディスプレイ26に表示させる。これにより、講師Kが指定した参照頁の画像が教室内のテキスト表示用ディスプレイ26に表示されるようになる。
受講生側サーバコンピュータ21が外部通信ネットワークNを通じて講師側サーバコンピュータ11に向けて送信するデータは、例えば、カメラ22が撮影した映像のデータ(映像データ)やマイク23が集音した音声のデータ(音声データ)である。
<<受講生側サーバコンピュータ21の機能について>>
次に、受講生側サーバコンピュータ21の機能について図4を参照しながら説明する。図4は、受講生側サーバコンピュータ21の機能に関するブロック図である。受講生側サーバコンピュータ21は、図4に示すように、受信部201、映像表示部202、音声再生部203、画像表示部204及び送信部205を有する。これらの機能部の各々は、受講生側サーバコンピュータ21が有するハードウェア機器が受講生側サーバコンピュータ21にインストールされたソフトウェアによって実現されている。すなわち、受講生側サーバコンピュータ21のCPU、メモリ、ハードディスクドライブ及び通信用インタフェースが受講生側通信用プログラムと協働することで上記の各機能部が構成されている。
以下、受講生側サーバコンピュータ21の各機能部について説明する。
受信部201は、講師側サーバコンピュータ11から外部通信ネットワークNを介して送られてくるデータを受信する。具体的に説明すると、講義が行われている間、受信部201は、講師Kの映像データや参照頁指定データを講師側サーバコンピュータ11から受信する。
映像表示部202は、受信部201が受信した映像データを展開し、当該映像データが示す講師Kの映像(全身映像)を講師表示用ディスプレイ24に表示する。音声再生部203は、受信部201が受信した映像データから音声データを抽出して展開し、当該音声データが示す講師Kの音声を再生し、その再生音をスピーカ25から発する。
画像表示部204は、受信部201が受信した参照頁指定データを解析し、講師Kが指定したテキスト中の参照頁を特定する。また、画像表示部204は、特定した参照頁の画像データを受講生側サーバコンピュータ21のハードディスクドライブから読み出し、当該画像データが示す画像(すなわち、参照頁の画像)をテキスト表示用ディスプレイ26に表示する。
送信部205は、講義中にカメラ22が撮影したクラスCの映像を示すデータ(映像データ)、及び、講義中にマイク23が集音した受講生Jの音声を示すデータ(音声データ)を講師側サーバコンピュータ11に向けて送信する。なお、教室内にカメラ22が複数台設置されている場合において、送信部205は、それぞれのカメラ22が撮影した映像のデータを多重化することで複数の映像データを同時に送信する。
<<講師側サーバコンピュータ11の機能について>>
次に、講師側サーバコンピュータ11の機能について図5乃至図10を参照しながら説明する。図5は、講師側サーバコンピュータ11の機能に関するブロック図である。図6及び図7は、ディスプレイ14に表示される映像を示す図であり、図6は、後述する第一モードを選択したときの表示映像を示しており、図7は、後述する第二モードを選択したときの表示映像を示している。
図8は、各対象の注視率(注視率については後述する)と講義の内容との関係を示す図であり、左側の図が講義前半における各対象の注視率を示し、右の図が講義中盤における各対象の注視率を示している。図9は、後述する最多頻度パターンについての説明図である。図10は、モード選択画面の一例を示す図である。
講師側サーバコンピュータ11は、図5に示すように、受信部101、映像データ生成部102、映像表示部103、音声再生部104、送信部105、度合い特定処理実行部106、分類処理実行部107、算出処理実行部108、評価処理実行部109、個別評価処理実行部110及びモード設定部111を有する。これらの機能部の各々は、講師側サーバコンピュータ11が有するハードウェア機器が講師側サーバコンピュータ11にインストールされたソフトウェアによって実現されている。すなわち、講師側サーバコンピュータ11のCPU、メモリ、ハードディスクドライブ及び通信用インタフェースが講師側通信用プログラムと協働することで上記の各機能部が構成されている。
以下、講師側サーバコンピュータ11の各機能部について説明する。
受信部101は、受講生側サーバコンピュータ21から外部通信ネットワークNを介して送られてくるデータを受信する。具体的に説明すると、講義が行われている間、受信部101は、クラスCの映像データを受講生側サーバコンピュータ21から受信する。かかる意味で、受信部101は、クラスCの映像を取得する映像取得部に該当すると言える。なお、受講生側サーバコンピュータ21から複数の映像データが多重化された状態で送信されてくる場合、受信部101は、多重化された当該複数の映像データを受信する。
映像データ生成部102は、受信部101が受講生側サーバコンピュータ21から受信した映像データを編集して、講義室内のディスプレイ14に表示するための映像データを生成する。映像データ生成部102が生成する映像データについて説明すると、講義中におけるクラスCの映像の一部又は全部を示す映像データである。より詳しく説明すると、映像データ生成部102は、評価処理実行部109や個別評価処理実行部110による集中度の評価結果に応じた情報をクラスCの映像に重畳させて表示するための映像データを生成する。
本実施形態において、「集中度の評価結果に応じた情報」とは、集中度を示す数値情報である。ただし、集中度の評価結果に応じた情報については、数値情報に限定されるものではなく、数値以外の情報(例えば、アルファベット等の記号、あるいは集中度の大きさに応じてサイズや形が変化する図形等)であってもよい。また、集中度の評価結果に応じた情報をクラスCの映像に重畳させる際の当該情報の位置やサイズについては、特に限定されるものではないが、受講生Jの顔の映像に重ならない位置やサイズであることが望ましい。
なお、受信部101が多重化された複数の映像データを受信した場合、映像データ生成部102は、多重化された複数の映像データを個々の映像データに分離し、それぞれの映像データを編集して、ディスプレイ14に表示するための映像データを生成することになる。
映像表示部103は、映像データ生成部102が生成した映像データを展開し、当該データが示す映像をディスプレイ14に表示する。映像表示部103によってディスプレイ14に表示される映像は、図6及び図7に示すように、集中度を示す数値情報が重畳されたクラスCの映像(厳密には、クラスCの映像の一部又は全部)である。
以上のように本実施形態では、講義中、集中度を示す数値情報が重畳されたクラスCの映像がディスプレイ14に表示されるため、講師Kは、ディスプレイ14を見ることで受講生Jの映像とともに受講生Jの集中度を確認することができる。これにより、講師Kは、ディスプレイ14を通じて受講生Jの様子や集中度を把握しながら、講義を進めることが可能となる。
なお、受信部101が多重化された複数の映像データを受信した場合には、前述したように、映像データ生成部102が多重化された複数の映像データを個々の映像データに分離し、分離したデータ数と同じ分だけ、ディスプレイ14に表示するための映像データを生成する。これに対して、映像表示部103は、上述の映像データのうちの一つが示す映像をディスプレイ14に表示する。そして、講師Kが所定の操作(例えば、タッチパネル16上でのタッチ操作)を行うと、映像表示部103は、その操作と対応する映像データが示す映像をディスプレイ14に表示する。
音声再生部104は、受信部101が受信した映像データから音声データを抽出して展開し、当該音声データが示す受講生Jの音声を再生し、その再生音をスピーカ15から発する。
送信部105は、講義中にカメラ12が撮影した講師Kの映像を示すデータ(映像データ)、及び、マイク13が集音した講義音声を示すデータ(音声データ)を受講生側サーバコンピュータ21に向けて送信する。また、講師Kが講義中にタッチパネル16を通じてテキストの参照頁を指定すると、送信部105は、当該指定操作の内容を示す信号をタッチパネル16から受信し、当該信号に基づいて参照頁指定データを生成する。生成された参照頁指定データは、送信部105によって受講生側サーバコンピュータ21に向けて送信される。
度合い特定処理実行部106、分類処理実行部107、算出処理実行部108、評価処理実行部109、個別評価処理実行部110及びモード設定部111は、講義に対する受講生Jの集中度を評価するための一連の処理を実行するものであり、本実施形態の特徴部分に相当する。また、本実施形態では、内容の変化を伴いながら講義が進行している間、講義に対する集中度を講義の内容毎に定量的に評価する。具体的には、講義の前半、中盤、後半及び終盤の各時点で講義に対する集中度を評価する。
また、本実施形態では、講義に対する集中度をクラスC全体で評価するとともに、クラスC内の各受講生J別に評価することになっている。つまり、本実施形態では、講義に対するクラスC全体の集中度、及び、講義に対する受講生J別の集中度の双方を評価する。さらに、本実施形態では、クラスC全体の集中度、及び、受講生J個人の集中度のうち、いずれか一方をクラスCの映像に重畳させて表示させることになっている。
以下、度合い特定処理実行部106、分類処理実行部107、算出処理実行部108、評価処理実行部109、個別評価処理実行部110及びモード設定部111の各々が実行する各処理について説明する。
度合い特定処理実行部106は、度合い特定処理を実行する。度合い特定処理とは、講義の内容がある内容となっている期間中におけるクラスCの映像に基づき、当該期間中に受講生Jが見ている対象の各々について該対象を見ている度合い(以下、注視率)を特定する処理であり、受講生J毎に実行される。より詳しく説明すると、度合い特定処理において、映像表示部103は、先ず、講義の前半、中盤、後半及び終盤の各時点で受信部101が受信した映像データを解析し、当該映像データが示す映像に映っている各受講生Jの顔が向いている方向(顔方向)を、受講生J毎に特定する。
その後、度合い特定処理実行部106は、特定した顔方向から、各受講生Jがその時点で見ている対象を認定する。なお、本実施形態では、顔方向と対象との対応関係が以下のように定められており、度合い特定処理実行部106は、下記の対応関係に則って対象を認定する。ただし、下記の対応関係は、あくまでも一例に過ぎず、下記の内容に限定されるものではない。
『顔方向と対象との対応関係』
(1)顔方向が正面であるとき、受講生Jが見ている対象は、講師表示用ディスプレイ24に表示された講師Kの映像である。
(2)顔方向が斜め前方であるとき、受講生Jが見ている対象は、テキスト表示用ディスプレイ26に表示されたテキストの参照頁画像が対象である。
(3)顔方向が下方であるとき、受講生Jが見ている対象は、机の上の物である。
(4)顔方向が正面、斜め前方及び下方のいずれでもないとき、受講生Jが見ている対象は、その他の物である。
度合い特定処理実行部106は、講義中(つまり、講義が進行している間)、上述した顔方向の特定及び対象の認定を一定の時間間隔(例えば、1分間隔)にて繰り返し実行する。そして、映像表示部103は、繰り返し実行された顔方向の特定及び対象の認定のうち、直近M回分(Mは2以上の自然数)の結果に基づき、注視率Xを下記の式R1により対象別に特定(算出)する。
X=n/M×100 (R1)
上記の式R1において、nは、直近M回分の対象の認定の中で受講生Jが見た対象として認定された回数である。例えば、直近10回分の対象の認定において、講師表示用ディスプレイ24に表示された講師Kの映像が、受講生Jが見ている対象として認定された回数が4回であったとき、講師Kの映像の注視率Xは、40%(=4/10×100)となる。
度合い特定処理実行部106は、各々の対象(すなわち、講師Kの映像、参照頁画像、机の上の物、及びその他の物)について、上記の注視率Xを受講生J毎に特定(算出)する。また、度合い特定処理実行部106は、顔方向の特定及び対象の認定を行う度に、注視率Xを特定する。つまり、度合い特定処理実行部106は、一定の時間間隔にて度合い特定処理を実行する。
ここで、各対象の注視率と講義の内容との関係について言及しておくと、図8に示すように、講義の内容に応じて最も注視率が高くなる対象が変わり、例えば、講義前半では講師Kの映像に対する注視率が最も高くなるのに対し、講義中盤では講師Kの映像に対する注視率と参照頁画像に対する注視率とが略等しくなる。
分類処理実行部107は、分類処理を実行する。分類処理とは、講義の内容がある内容である期間中の受講生Jの視覚行動を、複数設定されたパターンのいずれかに分類する処理であり、受講生J毎に実行される。「受講生Jの視覚行動」とは、受講生Jが自分の視覚を通じて対象(見ている対象)を認識する行動であり、分かり易くは、受講生Jが講義の各時点で物や人(映像中の物や人を含む)を見ている行動である。
分類処理について詳しく説明すると、分類処理において、分類処理実行部107は、度合い特定処理実行部106が各々の対象について受講生J毎に特定した注視率Xに基づき、各受講生Jの視覚行動を6つのパターン(パターン1〜パターン6)までのいずれかに分類する。なお、パターンの数については、特に限定されるものではなく、任意の数(厳密には、2以上の自然数)に設定することが可能である。
より詳しく説明すると、分類処理実行部107は、度合い特定処理実行部106が度合い特定処理を実行して各対象に対する注視率Xを特定する度に、分類処理を実行する。つまり、分類処理実行部107による分類処理は、度合い特定処理実行部106による度合い特定処理と同様、講義中(講義が進行している間)、一定の時間間隔(例えば、1分間隔)にて繰り返し実行される。
具体的な分類処理の手順について説明すると、講義中の各時点では、度合い特定処理が実行されることで、各対象に対する注視率Xが受講生J毎に特定される。分類処理実行部107は、各時点における各受講生Jの視覚行動を、その時点における各々の対象に対する注視率Xで表現する。一例を挙げて説明すると、講義の前半でのある受講生Jの視覚行動については、例えば、「講師Kの映像に対する注視率Xが50%、参照頁画像に対する注視率Xが20%、机の上の物に対する注視率Xが20%、その他の物に対する注視率Xが10%」というように表現される。
そして、分類処理実行部107は、各々の対象に対する注視率Xで表現された各時点での受講生Jの視覚行動を、下記の分類ルールに則って、いずれか一つのパターンに分類する。ただし、下記の分類ルールは、あくまでも一例に過ぎず、下記の内容に限定されるものではない。
『分類ルール』
(1)講師Kの映像に対する注視率Xが最も高く、二番目に高い注視率Xとの差が15%以上である視覚行動は、パターン1に分類される。
(2)講師Kの映像に対する注視率X及び参照頁画像に対する注視率Xが一番目及び二番目に高く、両者の差が10%以内であり、かつ、二番目に高い注視率Xと三番目に高い注視率Xとの差が15%以上である視覚行動は、パターン2に分類される。
(3)参照頁画像に対する注視率Xが最も高く、二番目に高い注視率Xとの差が15%以上である視覚行動は、パターン3に分類される。
(4)机の上の物に対する注視率Xが最も高く、二番目に高い注視率Xとの差が15%以上である視覚行動は、パターン4に分類される。
(5)その他の物に対する注視率Xが最も高く、二番目に高い注視率Xとの差が15%以上である視覚行動は、パターン5に分類される。
(6)上記のパターン1〜5のいずれにも該当しない視覚行動は、パターン6に分類される。
以上の手順により、分類処理実行部107は、講義中の各時点における各受講生Jの視覚行動を上記6つのパターンのいずれか一つに分類する。そして、上述したように、分類処理実行部107は、一定の時間間隔(例えば、1分間隔)にて分類処理を実行する。したがって、本実施形態では、所定時間毎に各受講生Jの視覚行動がいずれかのパターンに分類されることになる。換言すると、講義中の各時点において受講生Jの人数分の視覚行動が用意され、各視覚行動がいずれかのパターンに分類されるようになる。
算出処理実行部108は、算出処理を実行する。算出処理とは、講義の内容がある内容である期間における最多頻度パターンを上記6つのパターンの中から割り出し、当該期間中の視覚行動が最多頻度パターンに分類されている受講生Jの割合を算出する処理である。ここで、最多頻度パターンについて図9を参照しながら説明すると、講義中の各時点において視覚行動が分類されている受講生Jの数が最も多いパターンであり、図9に図示のケースでは、パターン4が最多頻度パターンに該当する。
最多頻度パターンと講義の内容との関係について言及しておくと、講義の内容に応じて最多頻度パターンが変化し、例えば、講義前半ではパターン1が最多頻度パターンとなり、講義中盤ではパターン2が最多頻度パターンとなる。このように講義内容に応じて最多パ頻度パターンが変化するのは、講義内容が変わったときに受講生Jが注視する対象が変動する場合があることを反映している。
最多頻度パターンを割り出した後、算出処理実行部108は、その時点における視覚行動が最多頻度パターンに分類されている受講生Jの割合(以下、最多頻度パターンの割合Y)を、下記の式R2により算出する。
Y=Dp/Dj (R2)
上記の式R2において、Dpは、視覚行動が最多頻度パターンに分類されている受講生Jの人数である。Djは、講義を受講している受講生J全員の人数であり、クラスCを構成する受講生Jの人数である。例えば、講義中のある時点での最多頻度パターンがパターン4であり、その時点における視覚行動がパターン4に分類される受講生Jの人数Dpが5人であり、クラスC全体の受講生Jの人数Djが40人である場合、当該時点における最多頻度パターンの割合Yは、0.125(=5/40)となる。
以上のような手順により、算出処理実行部108は、度合い特定処理実行部106による度合い特定処理や分類処理実行部107による分類処理と同様、講義中(講義が進行している間)、一定の時間間隔(例えば、1分間隔)にて算出処理を繰り返し実行する。すなわち、本実施形態では、講義中、一定の時間間隔で最多頻度パターンが割り出され、また、その時点での最多頻度パターンの割合Yが算出される。
評価処理実行部109は、評価処理を実行する。評価処理は、算出処理実行部108により算出された最多頻度パターンの割合Yに基づき、講義の内容がある内容である期間中における当該講義に対するクラスCの集中度を評価する処理である。
クラスCの集中度を評価する方法について説明すると、本実施形態では、前述したように、算出処理実行部108が講義中に一定の時間間隔で最多頻度パターンを割り出し、その時点での最多頻度パターンの割合Yを算出する。評価処理実行部109は、最多頻度パターンの割合Yが算出される度に評価処理を実行する。すなわち、評価処理実行部109は、講義中(講義が進行している間)、一定の時間間隔(例えば、1分間隔)にて評価処理を繰り返し実行する。
各回の評価処理において、評価処理実行部109は、直前に算出された最多頻度パターンの割合Yに基づき、下記の評価ルールに則って、クラスCの集中度を示す数値(以下、集中度Sa)を評価する。ただし、下記の評価ルールは、あくまでも一例に過ぎず、下記の内容に限定されるものではない。
『評価ルール』
(1)最多頻度パターンの割合Yが0以上で0.2未満であれば、集中度Saを1とする。
(2)最多頻度パターンの割合Yが0.2以上で0.4未満であれば、集中度Saを2とする。
(3)最多頻度パターンの割合Yが0.4以上で0.6未満であれば、集中度Saを3とする。
(4)最多頻度パターンの割合Yが0.6以上で0.8未満であれば、集中度Saを4とする。
(5)最多頻度パターンの割合Yが0.8以上で1以下であれば、集中度Saを5とする。
以上の方法により、本実施形態では、評価処理実行部109により評価処理が一定の時間間隔にて実行されることで、集中度Saが定期的に評価される。ここで、集中度Saは、講義中の各時点におけるクラスCのリアルタイムの集中度を評価したものである。つまり、本実施形態では、講義の進行に伴って講義の内容が変化した際、その時点での講義に対するクラスCの集中度をリアルタイムに評価することが可能である。なお、本実施形態では、上述のように集中度Saを5段階で評価しており、集中度Saが大きいほど講義に集中していることになる。
個別評価処理実行部110は、個別評価処理を実行する。個別評価処理は、講義に対する受講生J別の集中度を評価する処理であり、受講生J毎に実行される。具体的に説明すると、個別評価処理実行部110は、クラスC内の受講生Jのうち、ある受講生J(以下、受講生Ji)の集中度を評価するにあたり、講義中の各時点で、その時点での最多頻度パターン及びその時点での受講生Jiの視覚行動が属するパターンを対比し、両パターンが一致するか否かについての判定を実施する。その後、個別評価処理において当該判定の結果に応じて受講生Jiの集中度を評価する。
より詳しく説明すると、個別評価処理実行部110は、受講生Jiの集中度を評価するにあたり、講義中(講義が進行している間)、上記の判定を一定の時間間隔(例えば、1分間隔)にて繰り返し実施する。そして、個別評価処理実行部110は、個別評価処理において講義開始時点から直前の判定実施時点までの間に繰り返された各々の判定結果に応じて、受講生Jiの集中度を評価する。具体的には、個別評価処理実行部110は、下記の式R3により、受講生Jiの集中度(以下、受講生Jiの集中度Sb)を評価する。
Sb=Fi/Fm×100 (R3)
上記の式R3において、Fmは、講義の開始時点から繰り返し実施された判定の実施回数であり、判定を1分間隔で実施する場合においては講義の経過分数と等しくなる。Fiは、講義の開始時点から繰り返し実施された判定において、最多頻度パターンと受講生Jiの視覚行動が属するパターンとが一致したという判定結果が得られた回数である。例えば、講義開始から20回の判定が繰り返し実施され、そのうち、最多頻度パターンと受講生Jiの視覚行動が属するパターンとが一致したという判定結果が得られた回数が10回であった場合、受講生Jiの集中度Sb(厳密には、20回目の判定が実施された時点での集中度)は、50%(=10/20×100)となる。
以上の方法により、本実施形態では、個別評価処理実行部110により個別評価処理が受講生J毎に実行されることで、受講生J別の集中度Sbが評価される。ここで、集中度Sbは、各受講生Jについての、講義開始時点から直前の判定実施時点までの間の平均的な集中度を評価したものである。つまり、本実施形態では、クラスCの受講生Jの各々について講義開始時点からの平均的な集中度を算出することで、受講生J個人の集中度を客観的に評価することが可能である。なお、本実施形態では、上述のように集中度Sbを数値(パーセント)で評価しており、集中度Sbが大きいほど講義に集中していることになる。
モード設定部111は、モード設定処理を実行する。モード設定処理とは、二つのモードの中から、講師Kが講義中にタッチパネル16を通じて選択した一方のモードを特定し、当該モードを集中度報知用のモードとして設定する処理である。ここで、「二つのモード」とは、第一モード及び第二モードのことであり、講義中に講師Kに報知される受講生Jの集中度の種類を決める上で、いずれか一方のモードが採用されることになっている。
より詳しく説明すると、本実施形態では、講義中、評価処理実行部109による評価処理、及び、個別評価処理実行部110による個別評価処理の双方が実行されることになっている。換言すると、本実施形態では、講義中、クラスC全体の集中度Sa(すなわち、リアルタイムの集中度)、及び受講生J毎の集中度Sb(講義開始時点からの直前の判定実施時点までの平均的な集中度)の双方が評価される。
一方、本実施形態では、講義中にディスプレイ14を通じて講師Kに報知される集中度の種類が一種類のみである。そのため、講師Kは、タッチパネル16を通じていずれか一方のモードを選択し、具体的には、図10に図示の画面にて希望するモードのボタン(図中、「第一モード」又は「第二モード」と記載されたボタン)をタッチする。
第一モードが選択された場合、モード設定部111は、第一モードを集中度報知用のモードとして設定し、映像データ生成部102に対して、評価処理実行部109により評価されたクラスCの集中度SaをクラスCの映像に重畳させた映像データを生成するように指示する。つまり、第一モードは、評価処理において評価されたクラスCの集中度Saを講師Kに報知するモードである。そして、第一モードの下で映像データ生成部102が生成した映像データを展開すると、図6に図示の映像(クラスCの集中度Saが重畳されたクラスCの映像)がディスプレイ14に表示されるようになる。
他方、第二モードが選択された場合、モード設定部111は、第二モードを集中度報知用のモードとして設定し、映像データ生成部102に対して、個別評価処理実行部110により評価された受講生J毎の集中度SbをクラスCの映像に重畳させた映像データを生成するように指示する。つまり、第二モードは、個別評価処理において評価された受講生J別の集中度Sbを講師Kに報知するモードである。そして、第二モードの下で映像データ生成部102が生成した映像データを展開すると、図7に図示の映像(受講生J毎の集中度Sbが重畳されたクラスCの映像)がディスプレイ14に表示されるようになる。
以上のように、講師Kがタッチパネル16を通じて第一モード及び第二モードの中から一つを選択すると、モード設定部111は、選択されたモードを集中度報知用のモードとして設定する。この結果、講師Kに対して、集中度報知用のモード(すなわち、選択されたモード)に応じた集中度が報知されるようになり、具体的にはディスプレイ14に表示されるようになる。
なお、本実施形態において、講師Kは、講義の途中にタッチパネル16を通じてモードを選択し直すことが可能である。そして、講師Kがモードを選択し直した場合、モード設定部111は、集中度報知用のモードを切り替え、選び直されたモードを新たな集中度報知用のモードとして設定する。
ちなみに、本実施形態では、モードの数が二つであることとしたが、これに限定されるものではなく、モードの数が三つ以上であってもよい。例えば、クラスCの映像に受講生Jの集中度を重畳させずクラスCの映像のみを表示するモード(すなわち、集中度を非表示とするモード)が含まれていてもよい。
<<講義映像配信の流れ>>
次に、講義配信システムTによる講義映像配信に係る一連の流れについて、図11A乃至図13を参照しながら説明する。図11Aは、講義映像配信の全体フローのうち、受講生J側のフローを示す図である。図11Bは、講義映像配信の全体フローのうち、講師K側のフローを示す図である。図12は、クラスCの集中度Saを評価する工程の流れを示す図である。図13は、受講生J湖心の集中度Sbを評価する工程の流れを示す図である。
受講生Jが教室で着席している状態において講師Kが講義室に入って講義を開始すると、講義映像配信が講義配信システムTによって自動的に開始される。厳密に説明すると、講義映像配信は、図11A及び図11Bに示すように、講師側サーバコンピュータ11及び受講生側サーバコンピュータ21の間の通信が開始されると、これを契機にしてスタートする(S011、S021)。
先ず、図11Aを参照しながら受講生J側での流れを説明すると、受講生側サーバコンピュータ21は、講師側サーバコンピュータ11から映像データを受信する(S012)。受講生側サーバコンピュータ21は、受信した映像データが示す映像(講師Kの全身映像)を講師表示用ディスプレイ24に表示するとともに、上記映像データから抽出した音声データが示す音声(講義音声)を再生してスピーカ25から発する(S013)。
また、受講生側サーバコンピュータ21は、講義中、参照頁指定データを講師側サーバコンピュータ11から逐次、受信する(S014)。受講生側サーバコンピュータ21は、受信した参照頁指定データを解析することで、講師Kが指定したテキスト中の参照頁を特定する。そして、受講生側サーバコンピュータ21は、特定した参照頁の画像データを読み出して、当該画像データが示す参照頁の画像をテキスト表示用ディスプレイ26に表示する(S015)。
一方で、受講生側サーバコンピュータ21は、カメラ22が撮影したクラスCの映像を示す映像データを、マイク23が集音した受講生Jの音声を示す音声データとともに講師側サーバコンピュータ11に向けて送信する(S016)。
以上までのステップS012〜S016については、講義が終了するまでの間、繰り返し実施される(S017)。
次に、図11B、図12及び図13を参照しながら講師K側の流れを説明すると、講師側サーバコンピュータ11は、カメラ12が撮影した講師Kの映像を示す映像データを、マイク13が集音した講義音声を示す音声データとともに受講生側サーバコンピュータ21に向けて送信する(S022)。このとき、講師Kがタッチパネル16を通じてテキスト中の参照頁を指定していれば、講師側サーバコンピュータ11は、参照頁指定データを生成して映像データ等とともに受講生側サーバコンピュータ21に向けて送信する。
また、講師側サーバコンピュータ11は、受講生側サーバコンピュータ21から映像データを受信する(S023)。映像データを受信すると、講師側サーバコンピュータ11は、その時点(詳しくは、映像データ受信時点)におけるクラスCの集中度Saを評価するための一連の処理を実行する(S024)。その後、講師側サーバコンピュータ11は、クラスC内の受講生Jの各々について集中度Sbを評価するための一連の処理を実行する(S025)。
以下、ステップS024及びステップS025の各々の流れについて詳しく説明する。
クラスCの集中度Saを評価する工程(すなわち、ステップS024)は、図12に図示の流れに従って進行する。具体的に説明すると、講師側サーバコンピュータ11は、先ず度合い特定処理を実行する。より詳しく説明すると、受講生側サーバコンピュータ21から受信した映像データが示す映像を解析し、当該映像に映っている各受講生Jの顔方向を特定する(S041)。また、講師側サーバコンピュータ11は、特定した顔方向から、各受講生Jがその時点で見ている対象を認定する(S042)。具体的には、前述した顔方向と対象との対応関係に則って、特定した顔方向と対応する対象を特定する。
講師側サーバコンピュータ11は、上述した顔方向の特定及び対象の認定を一定の時間間隔(例えば、1分間隔)にて繰り返し実行し、対象を認定する度に、認定した対象を示すデータを蓄積する(S043)。そして、講師側サーバコンピュータ11は、各受講生Jについて、直近M回分のデータから注視率Xを上述の式R1により対象別に特定(算出)する(S044)。
講師側サーバコンピュータ11は、各受講生Jについて対象別の注視率Xを特定した後、分類処理を実行する。より詳しく説明すると、各受講生Jについて、当該各受講生Jの視覚行動を、ステップS044にて対象別に特定した注視率Xによって表現する。その上で、講師側サーバコンピュータ11は、上述した分類ルールに則って、各受講生Jの視覚行動を6つのパターンの中からいずれか一つのパターンに分類する(S045)。
上記一連の処理(具体的には、ステップS041〜S045)は、受講生J毎に実行され、クラスC内の受講生J全員について完了するまで繰り返される(S046)。その後、講師側サーバコンピュータ11は、算出処理を実行する。より詳しく説明すると、全受講生J分のパターンに基づき、その時点での最多頻度パターンを割り出し(S047)、さらに最多頻度パターンの割合Yを上述の式R2により算出する(S048)。
以上までの処理を経た後、講師側サーバコンピュータ11は、評価処理を実行する。評価処理では、前ステップS048で算出した最多頻度パターンの割合Yから、上述の評価ルールに則ってクラスCの集中度Saを評価する(S049)。
以上までに説明してきた一連のステップS041〜S049が終了した時点で、クラスCの集中度Saを評価する工程が完了する。
なお、クラスCの集中度Saを評価する工程は、講義中、一定の時間間隔(例えば、1分間隔)にて繰り返し実行される。すなわち、上述した一連のステップS041〜S049は、一定時間毎に繰り返し実施されることになる。この結果、講義中、クラスCの集中度Saが一定の時間間隔にて評価され、換言すると、講義中の各時点におけるクラスCの集中度Saがリアルタイムで評価されることになる。
受講生J個人の集中度Sbを評価する工程(すなわち、ステップS025)は、クラスCの集中度Saを評価した後に行われ、図13に図示の流れに従って進行する。具体的に説明すると、講師側サーバコンピュータ11は、各受講生Jの集中度を評価するにあたり、講義中の各時点で、その時点での最多頻度パターンとその時点での当該各受講生Jの視覚行動が属するパターンとが一致するか否かについての判定を実施する(S051)。この判定は、前述したように、講義開始時点から一定の時間間隔(例えば、1分間隔)にて繰り返し実施され、各回の判定結果が講師側サーバコンピュータ11に蓄積される(S052)。
講師側サーバコンピュータ11は、個別評価処理を実行し、各受講生Jについて、講義開始時点から直前の判定実施時点までの間に繰り返された各回の判定結果に基づき、上述した式R3により各受講生J別の集中度Sbを評価する(S053)。上記一連の処理(具体的には、ステップS051〜S053)は、受講生J毎に実行され、クラスC内の受講生J全員について完了するまで繰り返される(S054)。そして、クラスC内の受講生J全員について集中度Sbが評価された時点で、受講生J個人の集中度Sbを評価する工程が完了する。
なお、受講生J個人の集中度Sbを評価する工程は、講義中、一定の時間間隔(例えば、1分間隔)にて繰り返し実行される。したがって、上述した一連のステップS051〜S054は、一定時間毎に繰り返し実施されることになる。この結果、講義中、受講生J個人の集中度Sbが一定の時間間隔にて評価される。
講義映像配信の全体フローについての説明に戻ると、クラスCの集中度Saを評価する工程、及び受講生J個人の集中度Sbを評価する工程が完了した後、講師側サーバコンピュータ11は、モード設定処理を実行し、第一モード及び第二モードのうち、講師Kが選択したモードを集中度報知用のモードとして設定する(S026)。
そして、講師側サーバコンピュータ11は、ステップS023にて受信した映像データを、前ステップS026にて設定された集中度報知用のモードに応じて編集し、受講生Jの集中度が重畳されたクラスCの映像を表示するための映像データを新たに生成する(S027)。具体的に説明すると、第一モードが集中度報知用のモードとして設定された場合、クラスCの集中度Saが重畳されたクラスCの映像を表示するための映像データを生成する。他方、第二モードが集中度報知用のモードとして設定された場合、受講生J別の集中度Sbが重畳されたクラスCの映像を表示するための映像データを生成する。
映像データが生成されると、講師側サーバコンピュータ11は、当該映像データを展開して、当該映像データが示す映像をディスプレイ14に表示する(S028)。これにより、ディスプレイ14には、クラスCの集中度Sa又は受講生J別の集中度Sbが重畳されたクラスCの映像が表示されるようになる。
また、講義の途中で講師Kがタッチパネル16を通じてモードを変更した場合(S029)、講師側サーバコンピュータ11は、変更後のモードを集中度報知用のモードとして設定し直した上で(S030)、講義が終了するまでの間、上述した一連のステップS022〜S028を繰り返す(S031)。
<<クラスCの集中度Saを評価する方法の変形例について>>
上述したケースでは、クラスC全体の集中度Sa及び受講生J別の集中度Sbを、それぞれ個別に評価することとした。より具体的に説明すると、上述したケースでは、講義中の各時点において、クラスC全体の集中度Saを評価した後、受講生J別の集中度Sbを別途評価することになっている。
一方で、受講生J別の集中度Sbを評価した直後に再びクラスC全体の集中度Saを評価し、その際に受講生J別の集中度Sbを反映させれば、より妥当なクラスCの集中度Saを評価することが可能となる。以下、クラスCの集中度Saを評価する方法の変形例として、受講生J別の集中度Sbを算出した後に受講生J別の集中度Sbを反映させてクラスCの集中度Saを再評価する方法(以下、変形例に係る評価方法)について説明する。
変形例に係る評価方法では、評価処理実行部109による評価処理の実行後に個別評価処理実行部110が個別評価処理を実行し、その直後に算出処理実行部108が算出処理を再度実行する。個別評価処理の実行直後に再度実行される算出処理において、算出処理実行部108は、その時点での最多頻度パターンの割合Yを、個別評価処理において評価された受講生J別の集中度Sbに基づいて算出し直す。以下、算出し直される最多頻度パターンの割合Yを、「再算出した最多頻度パターンの割合Yr」と呼ぶこととする。
再算出した最多頻度パターンの割合Yrは、下記の式R4によって算出される。
Yr=ΣSb(h)/ΣSb (R4)
上記の式R4において、Sb(h)は、受講生J別の集中度Sbのうち、視覚行動が最多頻度パターンに属している受講生Jの集中度Sbであり、ΣSb(h)は、視覚行動が最多頻度パターンに属している受講生J全員分の集中度Sbの総和である。また、ΣSbは、クラスC内の受講生J全員分の集中度Sbの総和である。
また、個別評価処理の実行直後に再度実行される算出処理では、再算出した最多頻度パターンの割合Yrと共に、最多頻度パターン以外のパターンの割合(具体的には、その時点における視覚行動が最多頻度パターン以外のパターンに分類されている受講生Jの割合)を、上記の式R4と同様の算出式によってパターン別に算出する。
そして、算出処理実行部108が算出処理を再度実行した後、個別評価処理実行部110が評価処理を再度実行する。再度の評価処理において、評価処理実行部109は、再算出した最多頻度パターンの割合Yrに基づいて、クラスCの集中度Saを再度評価する。具体的には、再算出した最多頻度パターンの割合Yrとそれ以外のパターンの割合とを比較する。このとき、最多頻度パターンの割合Yrが最も大きいと、最多頻度パターンがその時点での講義内容に最も適したパターンであると特定することができる。そして、最多頻度パターンがその時点での講義内容に最も適したパターンであると特定することができたとき、上述した式R2によって算出した最多頻度パターンの割合Yを、上述した評価ルールに適用することで、クラスCの集中度Saを再度評価する。
以上までに説明してきた変形例に係る評価方法によれば、クラスCの集中度Saを評価した後に受講生J別の集中度Sbを評価し、その後、受講生J別の集中度Sbを反映してクラスCの集中度Saを再度評価する。これにより、再度評価されるクラスCの集中度Saについて、その評価精度が向上するようになる。
<<その他の実施形態>>
上記の実施形態では、本発明の集中度評価機構について一例を挙げて説明した。ただし、上記の実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。例えば、上記の実施形態では、受講生Jの集中度を評価するための一連の処理(具体的には、度合い特定処理、分類処理、算出処理、評価処理及び個別評価処理)を講師側サーバコンピュータ11側で実行することとした。しかし、これに限定するものではなく、上述した一連の処理の一部又は全部を受講生側サーバコンピュータ21にて実行してもよい。
また、上記の実施形態では、本発明の集中度評価機構としての機能が一台のコンピュータ(具体的には、講師側サーバコンピュータ11)によって実現されている。すなわち、上記の実施形態では、一台のコンピュータによって集中度評価機構が構成されている。しかし、これに限定されるものではなく、複数台のコンピュータによって本発明の集中度評価機構を構成してもよい。
また、上記の実施形態では、話者(講師K)及び参加者(受講生J)が互いに離れた場所に居て各々が相手の映像をディスプレイ等で見ながら話を進めるケース、すなわち遠隔コミュニケーションを例に挙げ、遠隔コミュニケーションにおいて話に対する参加者の集中度を評価する集中度評価機構について説明した。しかし、本発明の集中度評価機構は、話者及び参加者が同じ場所や同じ空間内に居た状態で話が進められる状況下で当該参加者の集中度を評価する場合にも適用可能である。ただし、話者及び参加者が互いに離れた場所に居る状況では、話者が参加者の集中度を把握することがより難しくなるため、本発明の集中度評価機構がより有意義なものとなる。
また、上記の実施形態では、受講生Jの集中度の評価結果をディスプレイ14に表示することで講師Kに報知することとした。より厳密に説明すると、上記の実施形態では、受講生Jの集中度をクラスCの映像に重畳させ、クラスCの映像とともにディスプレイ14に表示することとした。しかし、受講生Jの集中度の評価結果を講師Kに報知する手段は、上記の手段に限定するものではなく、例えば音声や光あるいは振動等の刺激によって報知してもよい。また、クラスCの映像が表示される画面とは別の画面に受講生Jの集中度を表示してもよい。
10 講師側通信ユニット
11 講師側サーバコンピュータ(集中度評価機構)
12 カメラ
13 マイク
14 ディスプレイ
15 スピーカ
16 タッチパネル
20 受講生側通信ユニット
21 受講生側サーバコンピュータ
22 カメラ
23 マイク
24 講師表示用ディスプレイ
25 スピーカ
26 テキスト表示用ディスプレイ
101 受信部
102 映像データ生成部
103 映像表示部
104 音声再生部
105 送信部
106 度合い特定処理実行部
107 分類処理実行部
108 算出処理実行部
109 評価処理実行部
110 個別評価処理実行部
111 モード設定部
201 受信部
202 映像表示部
203 音声再生部
204 画像表示部
205 送信部
C クラス(グループ)
K 講師(話者)
J 受講生(参加者)
N 外部通信ネットワーク
T 講義配信システム

Claims (8)

  1. 内容の変化を伴いながら話が進行している間、該話の相手である複数の参加者からなるグループの映像を取得する映像取得部と、
    前記話の内容がある内容となっている期間中の前記映像に基づき、該期間中に前記参加者が見ている対象の各々について該対象を見ている度合いを特定する度合い特定処理を、前記参加者毎に実行する度合い特定処理実行部と、
    前記対象の各々について前記参加者毎に特定した前記度合いに基づき、前記期間中の前記参加者の視覚行動を複数設定されたパターンのいずれかに分類する分類処理を、前記参加者毎に実行する分類処理実行部と、
    複数の前記パターン中、前記期間中の前記視覚行動が分類されている前記参加者の数が最も多い前記パターンである最多頻度パターンについて、前記期間中の前記視覚行動が前記最多頻度パターンに分類されている前記参加者の割合を算出する算出処理を実行する算出処理実行部と、
    前記割合に基づいて、前記期間中における前記話に対する前記グループの集中度を評価する評価処理を実行する評価処理実行部と、を有することを特徴とする集中度評価機構。
  2. 前記話をする話者に対して映像を表示するディスプレイに、前記グループの映像の一部又は全部を表示するための映像データを生成する映像データ生成部を更に有し、
    該映像データ生成部は、前記グループの集中度の評価結果に応じた情報を前記グループの映像に重畳させて表示するための前記映像データを生成することを特徴とする請求項1に記載の集中度評価機構。
  3. 前記グループと前記話者とが互いに離れた場所にいるとき、前記映像データ生成部は、前記話者がいる空間内に設置された前記ディスプレイに前記グループの映像の一部又は全部を表示するための前記映像データを生成することを特徴とする請求項2に記載の集中度評価機構。
  4. 前記話が進行している間、一定の時間間隔にて、前記度合い特定処理実行部が前記度合い特定処理を前記参加者毎に実行し、前記分類処理実行部が前記参加者毎に実行し、前記算出処理実行部が前記算出処理を実行し、前記評価処理実行部が前記評価処理を実行することを特徴とする請求項1乃至3のいずれか一項に記載の集中度評価機構。
  5. 前記話に対する前記参加者別の集中度を評価する個別評価処理を実行する個別評価処理実行部を更に有し、
    該個別評価処理実行部は、複数の前記参加者中、ある参加者の集中度を評価するにあたり、前記最多頻度パターンと前記ある参加者の前記視覚行動が属する前記パターンとが一致するか否かについての判定を実施し、前記個別評価処理において前記判定の結果に応じて前記ある参加者の集中度を評価することを特徴とする請求項1乃至4のいずれか一項に記載の集中度評価機構。
  6. 前記個別評価処理実行部は、前記ある参加者の集中度を評価するにあたり、前記話が進行している間、前記判定を繰り返し実施し、前記個別評価処理において、前記話の開始時点から直前の前記判定の実施時点までの間に繰り返された各々の前記判定の結果に応じて、前記ある参加者の集中度を評価することを特徴とする請求項5に記載の集中度評価機構。
  7. 前記評価処理実行部による前記評価処理、及び、前記個別評価処理実行部による前記個別評価処理の双方が実行され、
    前記評価処理において評価された前記グループの集中度を報知する第一モード、及び、前記個別評価処理において評価された前記参加者別の集中度を報知する第二モードのうちの一方が選択されると、前記話をする話者に対して、選択されたモードに応じた集中度を報知することを特徴とする請求項6に記載の集中度評価機構。
  8. 前記評価処理実行部による前記評価処理の実行後に前記個別評価処理実行部が前記個別評価処理を実行した後、前記算出処理実行部が前記算出処理を再度実行し、
    前記個別評価処理の実行後に再度実行される前記算出処理において、前記算出処理実行部は、前記期間中の前記視覚行動が前記最多頻度パターンに分類されている前記参加者の前記割合を、前記個別評価処理において評価された前記参加者別の集中度に基づいて算出し直し、
    前記算出処理実行部が前記算出処理を再度実行した後、前記評価処理実行部が前記評価処理を再度実行し、前記算出処理実行部によって算出し直された前記割合に基づいて、前記期間中における前記話に対する前記グループの集中度を再度評価することを特徴とする請求項7に記載の集中度評価機構。
JP2017113640A 2017-06-08 2017-06-08 集中度評価機構 Pending JP2018205638A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017113640A JP2018205638A (ja) 2017-06-08 2017-06-08 集中度評価機構

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017113640A JP2018205638A (ja) 2017-06-08 2017-06-08 集中度評価機構

Publications (1)

Publication Number Publication Date
JP2018205638A true JP2018205638A (ja) 2018-12-27

Family

ID=64957123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017113640A Pending JP2018205638A (ja) 2017-06-08 2017-06-08 集中度評価機構

Country Status (1)

Country Link
JP (1) JP2018205638A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123884A (ja) * 2019-01-31 2020-08-13 富士通株式会社 集中度評価プログラム、装置、及び方法
CN111709362A (zh) * 2020-06-16 2020-09-25 百度在线网络技术(北京)有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
CN111708674A (zh) * 2020-06-16 2020-09-25 百度在线网络技术(北京)有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
WO2021241221A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP2022133177A (ja) * 2021-03-01 2022-09-13 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
KR20230009099A (ko) * 2021-07-08 2023-01-17 주식회사 유비온 실시간 화상 교육 시스템에서의 학습자 그루핑 방법
WO2023100671A1 (ja) * 2021-12-03 2023-06-08 パナソニックIpマネジメント株式会社 リアクション検知システムおよびリアクション検知結果表示方法
WO2023234119A1 (ja) * 2022-05-31 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7442611B2 (ja) 2021-10-13 2024-03-04 株式会社電通 イベント支援システム、イベント支援方法、イベント支援プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243235B2 (ja) 2019-01-31 2023-03-22 富士通株式会社 集中度評価プログラム、装置、及び方法
JP2020123884A (ja) * 2019-01-31 2020-08-13 富士通株式会社 集中度評価プログラム、装置、及び方法
WO2021241221A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7214770B2 (ja) 2020-06-16 2023-01-30 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 重点学習コンテンツを確定するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111709362B (zh) * 2020-06-16 2023-08-08 百度在线网络技术(北京)有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
JP2022000685A (ja) * 2020-06-16 2022-01-04 百度在▲綫▼网▲絡▼技▲術▼(北京)有限公司Baidu Online Network Technology(Beijing)Co., Ltd. 重点学習コンテンツを確定するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
KR20210058757A (ko) * 2020-06-16 2021-05-24 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 중점 학습 내용 결정 방법, 장치, 기기 및 저장 매체
CN111708674A (zh) * 2020-06-16 2020-09-25 百度在线网络技术(北京)有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
CN111709362A (zh) * 2020-06-16 2020-09-25 百度在线网络技术(北京)有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
KR102649722B1 (ko) * 2020-06-16 2024-03-20 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 중점 학습 내용 결정 방법, 장치, 기기 및 저장 매체
JP2022133177A (ja) * 2021-03-01 2022-09-13 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7269269B2 (ja) 2021-03-01 2023-05-08 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
KR20230009099A (ko) * 2021-07-08 2023-01-17 주식회사 유비온 실시간 화상 교육 시스템에서의 학습자 그루핑 방법
KR102622115B1 (ko) * 2021-07-08 2024-01-09 주식회사 유비온 실시간 화상 교육 시스템에서의 학습자 그루핑 방법
JP7442611B2 (ja) 2021-10-13 2024-03-04 株式会社電通 イベント支援システム、イベント支援方法、イベント支援プログラム
WO2023100671A1 (ja) * 2021-12-03 2023-06-08 パナソニックIpマネジメント株式会社 リアクション検知システムおよびリアクション検知結果表示方法
WO2023234119A1 (ja) * 2022-05-31 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Similar Documents

Publication Publication Date Title
JP2018205638A (ja) 集中度評価機構
US9734410B2 (en) Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
US20160188125A1 (en) Method to include interactive objects in presentation
KR20170060023A (ko) 가상 회의에서 이벤트를 추적하고 피드백을 제공하기 위한 시스템 및 방법
Teófilo et al. Exploring virtual reality to enable deaf or hard of hearing accessibility in live theaters: A case study
Chen Conveying conversational cues through video
Weijdom Performative prototyping in collaborative mixed reality environments: an embodied design method for ideation and development in virtual reality.
Vertegaal Look who's talking to whom: mediating joint attention in multiparty communication and collaboration
CN112887790A (zh) 一种视频快速交互与播放的方法
Bianchi et al. Avatar kinect: Drama in the virtual classroom among L2 learners of English
CN104135638A (zh) 优化的视频快照
Nova Videoconferencing for speaking assessment medium: alternative or drawback
Sarkar et al. AVCAffe: a large scale audio-visual dataset of cognitive load and affect for remote work
Ochoa et al. Multimodal Transcript of Face-to-Face Group-Work Activity Around Interactive Tabletops.
US20230093298A1 (en) Voice conference apparatus, voice conference system and voice conference method
CN112185195A (zh) Ai控制远程教学课堂的方法和装置
Nichol et al. Videotutoring, non‐verbal communication and initial teacher training
Truong et al. Public Speaking Simulator with Speech and Audience Feedback
JP7358265B2 (ja) 特性評価システムおよびその方法
Priego-Valverde et al. Facial gestures and laughter as a resource for negotiating humor in conversation
Bahreini et al. FILTWAM-A framework for online game-based communication skills training-Using webcams and microphones for enhancing learner support
JPWO2021245759A5 (ja)
CN112861784A (zh) 答题方法及装置
ROSLI Emphasizing the importance of digital storytelling in rural schools in Malaysia
Cornwall Performance and participation