JP2023059067A - 講義支援システム及び方法 - Google Patents

Abstract

【課題】対面講義とオンライン講義とを組み合わせたハイブリッド型の講義を行う講師による受講生の状態の確認を支援する。【解決手段】対面で授業を受ける対面生徒を含む教室内を撮影した対面映像、及びオンラインで授業を受けるリモート生徒を撮影したリモート映像の各々を映像解析することにより、対面生徒及びリモート生徒の各々の集中度を分析し、リモート生徒の集中度に応じたアバターを、対面映像における空き席に合成して座席映像を生成し、座席映像と、生徒の集中度の分析結果を表す分析結果映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを、教師が視認可能な表示装置３２へ出力する。【選択図】図９

Description

開示の技術は、講義支援システム及び講義支援方法に関する。

従来、オンライン会議やオンライン講義など、参加者がそれぞれの場所からオンラインで会議や授業に参加する技術が存在する。このようなオンライン会議やオンライン授業では、各参加者が利用するパーソナルコンピュータ等の情報処理端末に、参加者を撮影した映像、又はその映像を加工した映像が一覧形式等で表示される。

例えば、コンピュータを介したコミュニケーションを実施するための方法が提案されている。この方法は、コンピュータが、参加者が使用するデジタル・カメラでキャプチャした画像を解析して、当該参加者の状態を認識する。そして、この方法は、ある参加者が使用するコンピュータが、別の参加者が使用するデジタル・カメラでキャプチャした画像の表示に代えて、当該別の参加者の認識された状態に対応した表示を行う。

また、例えば、情報処理装置が、通信先の情報処理装置とのテレビ会議を行うテレビ会議システムが提案されている。このシステムにおいて、情報処理装置は、テレビ会議の複数の参加者を有するグループを設定し、グループの全ての参加者に対応する基準の感情種別の１つのアバターの画像データを作成する。そして、情報処理装置は、テレビ会議におけるグループの全ての参加者の感情情報を判断し、判断された感情種別を、作成されたアバターの画像データへ反映する。

また、近年、学校等の教育機関や塾での授業、企業における研修会等において、講義を行う講師に対して受講者が対面で受講する対面講義と、受講者がオンラインで受講するオンライン講義とを組み合わせたハイブリッド型の講義形式が増えている。一般的なハイブリッド型の講義では、対面の受講者への授業風景をカメラで撮影し、オンラインで受講している受講者が使用する情報処理端末へ、撮影した映像をリアルタイムに配信することで、いずれの受講者も同じように講義が受けられるようにしている。

特許第６８７２０６６号公報 特開２０２１－１１４６４２号公報

講義を行う講師は、受講生の集中状況等の状態を確認し、反応を見ながら講義を進める必要がある。対面講義とオンライン講義とを組み合わせたハイブリッド型の講義の場合、対面で受講している受講生については、講師は、実際の受講生の状態を確認する。一方、オンラインで受講している受講生については、講師は、オンラインで受講している受講生を撮影した映像等を、自身が使用するパーソナルコンピュータ等に表示させ、画面を見て受講生の状態を確認する。このように、ハイブリッド型の講義の場合、対面の受講生の状態と、オンラインの受講生の状態とをそれぞれ確認しながら講義を行う必要があり、講師にとって負担が大きく難しい状況となっている。

一つの側面として、開示の技術は、対面講義とオンライン講義とを組み合わせたハイブリッド型の講義を行う講師による受講生の状態の確認を支援することを目的とする。

一つの態様として、開示の技術は、講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得する取得部を含む。また、開示の技術は、前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析する分析部を含む。また、開示の技術は、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成する合成部を含む。さらに、開示の技術は、前記合成映像と、前記分析部による分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する出力部を含む。

一つの側面として、対面講義とオンライン講義とを組み合わせたハイブリッド型の講義を行う講師による受講生の状態の確認を支援することができる、という効果を有する。

講義支援システムの概略構成を示すブロック図である。 対面映像の一例を示す図である。 リモート生徒及びリモート映像の概略図である。 講義支援装置の機能ブロック図である。 座席ＤＢの一例を示す図である。 分析結果ＤＢの一例を示す図である。 集中度に応じたアバターの一例を示す図である。 座席映像の生成を説明するための図である。 表示映像の一例を示す図である。 講義支援装置として機能するコンピュータの概略構成を示すブロック図である。 対面映像処理の一例を示すフローチャートである。 リモート映像処理の一例を示すフローチャートである。 表示処理の一例を示すフローチャートである。 座席映像の他の例を示す図である。

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。なお、以下の実施形態では、講義の一例として、学校での授業に開示の技術を適用した場合について説明する。また、以下の実施形態では、ハイブリッド型の授業を実現するためのシステムにおいて、開示の技術に関する部分についてのみ説明し、教師や板書等を撮影した映像の配信等、開示の技術に直接関連しない部分については、説明を省略する。

図１に示すように、本実施形態に係る講義支援システム１００は、講義支援装置１０と、カメラ３０と、表示装置３２と、リモート生徒端末４０とを含む。講義支援装置１０とカメラ３０及び表示装置３２の各々とは、例えばイントラネット等のネットワークを介して接続される。講義支援装置１０とリモート生徒端末４０とは、例えばインターネット等のネットワークを介して接続される。なお、講義支援システム１００に含まれるカメラ３０、表示装置３２、及びリモート生徒端末４０の数は図１の例に限定されない。

カメラ３０は、教室で教師と対面して授業を受ける生徒（以下、「対面生徒」という）を含む教室内を撮影し、撮影した映像を出力する。カメラ３０は、教壇に立つ教師側の目線、すなわち教室の前方から後方に向けて、対面生徒の各々の顔を含む上半身を撮影可能な位置に設置される。図２に、カメラ３０により撮影される映像（以下、「対面映像」という）の一例を示す。なお、対面生徒は、開示の技術の「第１の受講者」の一例であり、対面映像は、開示の技術の「第１の映像」の一例である。また、本明細書において、「映像」とは、１フレーム分の画像又は複数フレーム分の画像を含む意味である。すなわち、本明細書における「映像」は「画像」とも言える。

表示装置３２には、講義支援装置１０により生成される表示映像（詳細は後述）が表示される。表示装置３２は、例えば、教師が装着するヘッドマウントディスプレイ、置き型のディスプレイ等で実現される。置き型のディスプレイの場合、教卓上等、教師のみが視認可能な位置に配置される小型のディスプレイであってもよいし、教室の一角等、教師及び対面生徒が視認可能な位置に配置される大型のディスプレイであってもよい。

リモート生徒端末４０は、自宅等のリモートで、オンラインで授業を受ける生徒（以下、「リモート生徒」という）が使用する情報処理端末である。リモート生徒端末４０は、カメラ、マイク、表示装置、ネットワークへの接続機能等を備えたパーソナルコンピュータ、タブレット端末、スマートフォン等で実現される。図３に、リモート生徒端末４０を利用して授業を受けるリモート生徒の概略図を示す。リモート生徒端末４０が備えるカメラ４０Ａは、リモート生徒を撮影し、撮影した映像を出力する。カメラ４０Ａは、例えば、リモート生徒の顔を含む上半身を撮影可能な位置に設置される。図３の上図は、カメラ４０Ａにより撮影される映像（以下、「リモート映像」という）の一例である。リモート生徒端末４０は、カメラ４０Ａから出力されたリモート映像を取得し、リモート生徒の識別情報（以下、「リモート生徒ＩＤ」という）と共に、ネットワークを介して講義支援装置１０へ送信する。なお、リモート生徒は、開示の技術の「第２の受講者」の一例であり、リモート映像は、開示の技術の「第２の映像」の一例である。

講義支援装置１０は、機能的には、図４に示すように、取得部１１と、分析部１２と、合成部１３と、出力部１４とを含む。また、講義支援装置１０の所定の記憶領域２０には、映像ＤＢ（Database）２１と、座席ＤＢ２２と、分析結果ＤＢ２３とが記憶される。

取得部１１は、カメラ３０から出力される対面映像を取得し、映像ＤＢ２１に記憶する。また、取得部１１は、リモート生徒端末４０から送信されるリモート映像及びリモート生徒ＩＤを取得し、映像ＤＢ２１に記憶する。なお、対面映像及びリモート映像の各フレームにはそれぞれ時間情報が付与されており、時間情報に基づいて、対面映像とリモート映像とは同期がとれるものとする。

分析部１２は、対面映像及びリモート映像の各々を映像解析することにより、対面生徒及びリモート生徒の各々の状態を分析する。具体的には、分析部１２は、映像ＤＢ２１から対面映像を取得し、座席ＤＢ２２に基づいて、座席毎に対面生徒の状態を分析する。図５に、座席ＤＢ２２の一例を示す。図５の例では、教室の前方（教卓側）から順にＡ列、Ｂ列、Ｃ列、・・・の列番号が付与され、各列の左から順に１番、２番、３番、・・・の配列番号が付与されており、列番号と配列番号との組み合わせで座席番号が表されている。以下、列番号がｉ及び配列番号がｊの座席番号を「ｉｊ」と表す。分析部１２は、座席ＤＢ２２に定義された各座席の配置と、カメラ３０の設置位置及び設置角度から特定される画角とに基づいて、対面映像内の各座席の領域を特定する。分析部１２は、特定した座席の領域毎に、その領域に存在する対面生徒の状態を分析する。なお、分析部１２は、座席の領域に対面生徒が存在しない場合には、その座席は空き席として特定する。

例えば、分析部１２は、対面生徒の状態の一例として、対面生徒の授業に対する集中度を分析する。具体的には、分析部１２は、対面生徒の表情、頭の向き、及び体の動きの少なくとも１つに基づいて、集中度を分析する。より具体的には、分析部１２は、対面生徒の表情から対面生徒の感情の種類を推定し、予め定義しておいた感情の種類と集中度との関係と、推定した感情の種類とに基づいて、対面生徒の集中度を分析する。なお、表情から感情の種類を推定する手法は、従来既知の手法を用いてよい。また、分析部１２は、頭の向きが正面向きの場合には集中度が高く、横向きや下向きの場合には集中度が低いと分析してもよい。また、分析部１２は、対面生徒の体の動きの大きさが所定値以上の場合に、集中度が低いと分析してもよい。なお、体の動きの大きさは、処理対象のフレームを含む過去数フレーム分の対面映像を用いて取得すればよい。

分析部１２は、座席毎に分析した対面生徒の集中度を、その座席の座席番号及び対面映像の時間情報と対応付けて、分析結果ＤＢ２３に記憶する。図６に、分析結果ＤＢ２３の一例を示す。図６の例では、各行が１つの座席に対応しており、各座席に対応付けて、「座席番号」、「対面生徒の有無」、「リモート生徒ＩＤ」、及び「分析結果」が記憶されている。「対面生徒の有無」は、その座席に対面生徒が存在するか否かを示す情報である。図６の例では、対面生徒が存在する座席を「あり」、対面生徒が存在しない座席を「なし」で表している。「分析結果」には、時間情報（図６の例では、ｔ１、ｔ２、・・・）に対応付けて、分析結果が時系列で記憶されている。なお、本実施形態では、集中度のレベルを４段階に分類し、各レベルに対して、集中度が高い順に、Ｓ１、Ｓ２、Ｓ３、及びＳ４の分類記号を付与した例について説明する。図６では、分析結果として、この分類記号が記憶された例を表している。「リモート生徒ＩＤ」については後述する。

分析部１２は、リモート映像からも同様にリモート生徒の集中度を分析する。分析部１２は、分析結果ＤＢ２３で空き席となっている座席に対応付けてリモート生徒ＩＤを記憶すると共に、そのリモート生徒ＩＤが示すリモート生徒の分析結果を、リモート映像の時間情報に対応付けて記憶する。具体的には、分析部１２は、図６に示すように、分析結果ＤＢ２３において、「対面生徒の有無」欄が「なし」の行の「リモート生徒ＩＤ」にリモート生徒ＩＤを記憶する。そして、分析部１２は、その行の「分析結果」の対応する時間情報の欄に、そのリモート生徒ＩＤが示すリモート生徒の分析結果を記憶する。

合成部１３は、リモート映像の各々又はリモート映像を加工した映像の各々を、対面映像において対面生徒が存在しない領域に合成した座席映像を生成する。本実施形態では、リモート映像を加工した映像として、リモート生徒を模したアバターを用いる場合について説明する。なお、座席映像は、開示の技術の「合成映像」の一例であり、アバターは、開示の技術の「人型映像」の一例である。なお、アバターの映像データは映像ＤＢ２１に記憶されている。

具体的には、合成部１３は、分析結果ＤＢ２３に記憶されたリモート生徒の分析結果に基づいて、リモート生徒の集中度に応じて態様が異なるアバターを特定する。例えば図７に示すように、集中度のレベルを表す分類記号に応じたアバターが定義されているとする。なお、図７中の「分析結果表示用情報」については後述する。合成部１３は、分析結果ＤＢ２３に記憶された分析結果を示す分類記号に対応するアバターを決定し、決定したアバターの映像データを映像ＤＢ２１から読み出す。合成部１３は、分析結果ＤＢ２３を参照して、該当のリモート生徒が割り当てられた座席番号が示す座席の領域を対面映像上で特定し、特定した座席の領域に、読み出したアバターを合成して座席映像を生成する。例えば、図８に示すように、リモート生徒ＩＤがＲ２のリモート生徒について、空き席Ａ３に割り当てられると共に、時間情報ｔ７のリモート映像からＳ１の分析結果が得られたとする。この場合、合成部１３は、分類記号Ｓ１に対応するアバターの映像データを映像ＤＢ２１から読み出し、時間情報ｔ７の対面映像におけるＡ３の座席の領域に合成することで、時間情報ｔ７の座席映像を生成する。合成部１３は、生成した座席映像を映像ＤＢ２１に記憶する。

出力部１４は、分析結果ＤＢ２３に記憶された分析結果に基づいて、分析結果を示す分析結果映像を生成する。例えば、出力部１４は、生徒の集中度の集計結果、及び集中度の時系列の変化の少なくとも一方を表す分析結果映像を生成する。具体的には、出力部１４は、該当の時間情報に対応付けられた分析結果から、例えば、「Ｓ１：１０人 Ｓ２：１０人 Ｓ３：５人 Ｓ４：２人」のような集計結果を、テキストや表で表した分析結果映像を生成してよい。また、例えば、図７に示すように、分析結果を表す分類記号毎に異なる色を分析結果表示用情報として定義しておく。そして、出力部１４は、該当の時間情報に対応付けられた分析結果の各々をセルで表し、全生徒数分のセルを集中度順に並べて、分析結果表示用情報が示す色で各セルを色付けしたメータ形式の分析結果映像を生成してよい。また、例えば、出力部１４は、集中度の時系列の変化を折れ線グラフや、上記の分析結果表示用情報が表す色の変化で表した分析結果映像を生成してもよい。この場合、生徒毎の分析結果映像を生成してもよいし、生徒全体や、列毎等の所定のグループ毎の分析結果の平均に基づく分析結果映像を生成してもよい。

出力部１４は、生成した分析結果映像と、対応する時間情報の対面映像及びリモート映像に基づいて合成部１３により生成された座席映像とを１つの画面に含む表示映像の映像データを生成する。出力部１４は、生成した映像データを映像ＤＢ２１に記憶すると共に、表示装置３２へ出力する。図９に、表示装置３２に表示される表示映像の一例を示す。図９の例では、教師が装着するヘッドマウントディスプレイに表示映像を表示した例を示している。また、図９の例では、表示映像の上部が座席映像、下部が分析結果映像であり、分析結果映像については、上述のメータ形式の例を示している。なお、出力部１４は、所定時間毎に異なる種類の分析結果映像を切り替えて出力するようにしてもよいし、複数種類の分析結果映像を生成しておき、教師の操作により切り替えて出力するようにしてもよい。

講義支援装置１０は、例えば図１０に示すコンピュータ５０で実現されてよい。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、カメラ３０及び表示装置３２を含む外部装置と接続するための入出力Ｉ／Ｆ（Interface）５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ５６を備える。また、コンピュータ５０は、映像解析を行うＧＰＵ（Graphics Processing Unit）５８を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、通信Ｉ／Ｆ５６は、及びＧＰＵ５８は、バス５７を介して互いに接続される。

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現されてよい。記憶媒体としての記憶部５３には、コンピュータ５０を、後述する対面映像処理、リモート映像処理、及び表示処理を含む講義支援処理を実行して講義支援装置１０として機能させるための講義支援プログラム６０が記憶される。講義支援プログラム６０は、取得プロセス６１と、分析プロセス６２と、合成プロセス６３と、出力プロセス６４とを有する。また、記憶部５３は、映像ＤＢ２１、座席ＤＢ２２、及び分析結果ＤＢ２３の各々を構成する情報が記憶される情報記憶領域７０を有する。

ＣＰＵ５１は、講義支援プログラム６０を記憶部５３から読み出してメモリ５２に展開し、講義支援プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６１を実行することで、図４に示す取得部１１として動作する。また、ＣＰＵ５１は、分析プロセス６２を実行することで、図４に示す分析部１２として動作する。また、ＣＰＵ５１は、合成プロセス６３を実行することで、図４に示す合成部１３として動作する。また、ＣＰＵ５１は、出力プロセス６４を実行することで、図４に示す出力部１４として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、映像ＤＢ２１、座席ＤＢ２２、及び分析結果ＤＢ２３の各々をメモリ５２に展開する。これにより、講義支援プログラム６０を実行したコンピュータ５０が、講義支援装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

なお、講義支援プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

また、講義支援装置１０は、対面映像及びリモート映像の取得から、表示映像の表示装置への表示までの遅延時間が所定時間内となるように、表示装置の近傍に配置される。

次に、本実施形態に係る講義支援装置１０の作用について説明する。図１１に示すように、カメラ３０による撮影、及び撮影された対面映像の出力が開始されると（ステップＳ１０）、講義支援装置１０において、対面映像処理が実行される。また、図１２に示すように、リモート生徒端末４０のカメラ４０Ａによる撮影、及びリモート生徒端末４０によるリモート映像及びリモート生徒ＩＤの送信が開始されると（ステップＳ３０）、講義支援装置１０において、リモート映像処理が実行される。さらに、講義支援装置１０において、図１３に示すように、表示処理が実行される。なお、対面映像処理、リモート映像処理、及び表示処理を含む講義支援処理は、開示の技術の講義支援方法の一例である。対面映像処理、リモート映像処理、及び表示処理の各々は、対面映像及びリモート映像のフレーム毎に実行してもよいし、所定フレーム毎に実行してもよい。以下、対面映像処理、リモート映像処理、及び表示処理の各々について詳述する。

まず、図１１を参照して、対面映像処理について説明する。

ステップＳ２１で、取得部１１が、カメラ３０から出力された対面映像を取得したか否かを判定する。対面映像を取得した場合には、ステップＳ２２へ移行し、取得していない場合には、対面映像処理は終了する。

ステップＳ２２では、分析部１２が、座席ＤＢ２２に定義された各座席の配置と、カメラ３０の設置位置及び設置角度から特定される画角とに基づいて、上記ステップＳ２１で取得された対面映像内の各座席の領域を特定する。

次に、ステップＳ２３で、分析部１２が、特定した座席の領域毎に映像解析を行って、その領域に存在する対面生徒の集中度を分析する。そして、分析部１２が、座席毎に分析した対面生徒の集中度を、その座席の座席番号及び対面映像の時間情報と対応付けて、分析結果ＤＢ２３に記憶し、ステップＳ２１に戻る。

次に、図１２を参照して、リモート映像処理について説明する。

ステップＳ４１で、取得部１１が、リモート生徒端末４０から送信されたリモート映像及びリモート生徒ＩＤを取得したか否かを判定する。リモート映像及びリモート生徒ＩＤを取得した場合にはステップＳ４２へ移行し、取得していない場合には、リモート映像処理は終了する。

ステップＳ４２では、分析部１２が、リモート映像の映像解析を行って、リモート生徒の集中度を分析する。そして、分析部１２が、分析結果ＤＢ２３で空き席となっている座席に対応付けてリモート生徒ＩＤを記憶すると共に、そのリモート生徒ＩＤが示すリモート生徒の分析結果を、リモート映像の時間情報に対応付けて記憶する。

次に、ステップＳ４３で、合成部１３が、分析結果ＤＢ２３に記憶されたリモート生徒の分析結果に基づいて、集中度に応じて態様が異なるアバターの中から、リモート生徒の分析結果が示す集中度に応じたアバターを決定し、ステップＳ４１に戻る。

次に、図１３を参照して、表示処理について説明する。

ステップＳ５１で、合成部１３が、映像ＤＢ２１を参照して、処理対象の時間情報に対応する対面映像が記憶されているか否かを判定する。対面映像が記憶されている場合には、ステップＳ５２へ移行し、記憶されていない場合には、ステップＳ５５へ移行する。

ステップＳ５２では、合成部１３が、映像ＤＢ２１を参照して、処理対象の時間情報に対応するリモート映像が記憶されているか否かを判定する。リモート映像が記憶されている場合には、ステップＳ５３へ移行し、記憶されていない場合には、ステップＳ５４へ移行する。

ステップＳ５３では、合成部１３が、映像ＤＢ２１から、処理対象の時間情報に対応する対面映像を読み出し、分析結果ＤＢ２３を参照して、リモート生徒が割り当てられた座席番号が示す座席の領域を対面映像上で特定する。そして、合成部１３が、処理対象の時間情報に対応するリモート映像に基づいて、リモート映像処理のステップＳ４３で決定したアバターの映像データを映像ＤＢ２１から読み出し、特定した座席の領域に合成して座席映像を生成する。一方、ステップＳ５４では、合成部１３が、対面映像をそのまま座席映像として使用する。

また、ステップＳ５５では、合成部１３が、映像ＤＢ２１を参照して、処理対象の時間情報に対応するリモート映像が記憶されているか否かを判定する。リモート映像が記憶されている場合には、ステップＳ５６へ移行し、記憶されていない場合には、ステップＳ５１に戻る。

ステップＳ５６では、合成部１３が、処理対象の時間情報に対応するリモート映像に基づいて、リモート映像処理のステップＳ４３で決定したアバターの映像データを映像ＤＢ２１から読み出す。そして、合成部１３が、アバターを並べた座席映像を生成する。

次に、ステップＳ５７で、出力部１４が、分析結果ＤＢ２３に記憶された分析結果に基づいて、集中度の分析結果を示す分析結果映像を生成する。次に、ステップＳ５８で、出力部１４が、生成した分析結果映像と、上記ステップＳ５３、Ｓ５４、又はＳ５６で生成された座席映像とを１つの画面に含む表示映像の映像データを生成し、表示装置３２へ出力する。これにより、表示装置３２に表示映像が表示される（ステップＳ７０）。

以上説明したように、本実施形態に係る講義支援システムによれば、講義支援装置が、対面生徒を含む教室内を撮影した対面映像、及びリモート生徒を撮影したリモート映像の各々を取得する。そして、講義支援装置が、取得した対面映像及びリモート映像の各々を映像解析することにより、対面生徒及びリモート生徒の集中度等の状態を分析する。また、講義支援装置は、リモート映像の各々又はリモート映像を加工した映像の各々を、対面映像における空き席等の対面生徒が存在しない領域に合成した座席映像を生成する。さらに、講義支援装置が、座席映像と、状態の分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する。これにより、対面授業とオンライン授業とを組み合わせたハイブリッド型の授業を行う教師による生徒の状態の確認を支援することができる。

また、上記実施形態に係る講義支援装置では、リモート映像を加工した映像として、リモート生徒の集中度に応じたアバターを用いている。これにより、自宅等から参加する生徒のプライバシーに配慮することができる。また、画質や画面サイズ等の問題で、リモート映像のままでは生徒の表情や反応を視認し難い場合も、アバターを用いることで、生徒の状態の確認が容易になる。なお、座席映像の生成は、リモート生徒のアバターを対面映像に合成する場合に限定されず、リモート映像をそのまま合成してもよい。

また、上記実施形態に係る講義支援装置は、対面生徒及びリモート生徒の映像に加え、生徒の状態の分析結果も表示映像に含めることで、生徒の状態を定量的に把握することができる。

なお、上記実施形態では、対面生徒が存在しない空き席にアバターを合成する場合について説明したが、これに限定されない。例えば、図１４に示すように、教室の一角等の領域に、リモート映像の各々又はリモート映像を加工したアバター等の映像の各々を並べたパネル状の映像を、対面映像に合成して座席映像を生成してもよい。

また、上記実施形態では、生徒の状態として、集中度を分析する場合について説明したが、これに限定されない。例えば、覚醒度、満足度等、授業に対する生徒の反応を把握可能な他の指標を分析してもよいし、生徒の表情から感情の種類を分析するようにしてもよい。

また、上記実施形態では、講義の一例として、学校での授業に開示の技術を適用した場合について説明したが、これに限定されない。開示の技術は、他の教育機関や塾における授業、企業における研修会、その他各種講演会等の講義など、対面講義とオンライン講義とのハイブリッド型の様々な講義に適用可能である。

また、上記実施形態では、講義支援装置で生成した表示映像を表示装置に送信して表示する場合について説明したが、これに限定されない。表示装置に、上記実施形態の講義支援装置の機能をアプリケーションとしてインストールし、表示装置において表示映像を生成して表示するようにしてもよい。

また、上記実施形態では、講義支援プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得する取得部と、
前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析する分析部と、
前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成する合成部と、
前記合成映像と、前記分析部による分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する出力部と、
を含む講義支援システム。

（付記２）
前記合成部は、前記第２の受講者を模した人型映像であって、前記分析部により分析された前記第２の受講者の状態に応じて態様が異なる人型映像を、前記第２の映像を加工した映像として前記第１の映像に合成する付記１に記載の講義支援システム。

（付記３）
前記分析部は、前記会場の座席の情報、及び前記第１の映像に基づいて、前記第１の受講者が存在しない空き席を特定し、
前記合成部は、前記第１の映像における空き席上に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を合成する
付記１又は付記２に記載の講義支援システム。

（付記４）
前記合成部は、前記第１の映像において前記第１の受講者が存在しない領域に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を並べたパネル状の映像を合成する付記１又は付記２に記載の講義支援システム。

（付記５）
前記分析部は、前記第１の映像及び前記第２の映像の各々における前記第１の受講者及び前記第２の受講者の各々の表情、頭の向き、及び体の動きの少なくとも１つに基づいて、前記第１の受講者及び前記第２の受講者の各々の集中度を、前記第１の受講者及び前記第２の受講者の各々の状態として分析する付記１～付記４のいずれか１項に記載の講義支援システム。

（付記６）
前記分析部は、前記第１の受講者及び前記第２の受講者の各々の状態を、時系列に対応付けて記憶部に記憶し、
前記出力部は、前記記憶部に記憶された情報に基づいて、前記分析結果を示す映像を生成する
付記１～付記５のいずれか１項に記載の講義支援システム。

（付記７）
前記出力部は、前記記憶部に記憶された情報に基づいて、前記第１の受講者及び前記第２の受講者の各々の状態の集計結果、及び前記状態の時系列の変化の少なくとも一方を表す前記分析結果を示す映像を生成する付記６に記載の講義支援システム。

（付記８）
前記出力部は、前記映像データを、前記会場に設置された表示装置、及び前記講義の講師が装着するヘッドマウントディスプレイの少なくとも一方へ出力する付記１～付記７のいずれか１項に記載の講義支援システム。

（付記９）
前記取得部、前記分析部、前記合成部、及び前記出力部を含む講義支援装置が、前記第１の映像及び前記第２の映像の取得から、前記表示映像の前記表示装置への表示までの遅延時間が所定時間内となるように、前記表示装置の近傍に配置される付記１～付記８のいずれか１項に記載の講義支援システム。

（付記１０）
講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得し、
前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析し、
前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成し、
前記合成映像と、状態の分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する
ことを含む処理をコンピュータが実行する講義支援方法。

（付記１１）
前記第２の受講者を模した人型映像であって、分析された前記第２の受講者の状態に応じて態様が異なる人型映像を、前記第２の映像を加工した映像として前記第１の映像に合成する付記１０に記載の講義支援方法。

（付記１２）
前記会場の座席の情報、及び前記第１の映像に基づいて、前記第１の受講者が存在しない空き席を特定し、
前記第１の映像における空き席上に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を合成する
付記１０又は付記１１に記載の講義支援方法。

（付記１３）
前記第１の映像において前記第１の受講者が存在しない領域に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を並べたパネル状の映像を合成する付記１０又は付記１１に記載の講義支援方法。

（付記１４）
前記第１の映像及び前記第２の映像の各々における前記第１の受講者及び前記第２の受講者の各々の表情、頭の向き、及び体の動きの少なくとも１つに基づいて、前記第１の受講者及び前記第２の受講者の各々の集中度を、前記第１の受講者及び前記第２の受講者の各々の状態として分析する付記１０～付記１３のいずれか１項に記載の講義支援方法。

（付記１５）
前記第１の受講者及び前記第２の受講者の各々の状態を、時系列に対応付けて記憶部に記憶し、
前記記憶部に記憶された情報に基づいて、前記分析結果を示す映像を生成する
付記１０～付記１４のいずれか１項に記載の講義支援方法。

（付記１６）
前記記憶部に記憶された情報に基づいて、前記第１の受講者及び前記第２の受講者の各々の状態の集計結果、及び前記状態の時系列の変化の少なくとも一方を表す前記分析結果を示す映像を生成する付記１５に記載の講義支援方法。

（付記１７）
前記映像データを、前記会場に設置された表示装置、及び前記講義の講師が装着するヘッドマウントディスプレイの少なくとも一方へ出力する付記１０～付記１６のいずれか１項に記載の講義支援方法。

（付記１８）
講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得し、
前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析し、
前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成し、
前記合成映像と、状態の分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する
ことを含む処理をコンピュータに実行させるための講義支援プログラム。

（付記１９）
前記第２の受講者を模した人型映像であって、分析された前記第２の受講者の状態に応じて態様が異なる人型映像を、前記第２の映像を加工した映像として前記第１の映像に合成する付記１８に記載の講義支援プログラム。

（付記２０）
講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得し、
前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析し、
前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成し、
前記合成映像と、状態の分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する
ことを含む処理をコンピュータに実行させるための講義支援プログラムを記憶した非一時的記憶媒体。

１０ 講義支援装置
１１ 取得部
１２ 分析部
１３ 合成部
１４ 出力部
２０ 記憶領域
２１ 映像ＤＢ
２２ 座席ＤＢ
２３ 分析結果ＤＢ
３０ カメラ
３２ 表示装置
４０ リモート生徒端末
４０Ａ カメラ
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５４ 入出力Ｉ／Ｆ
５５ Ｒ／Ｗ部
５６ 通信Ｉ／Ｆ
５７ バス
５８ ＧＰＵ
５９ 記憶媒体
６０ 講義支援プログラム
１００ 講義支援システム

Claims (10)

1. 講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得する取得部と、
   前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析する分析部と、
   前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成する合成部と、
   前記合成映像と、前記分析部による分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する出力部と、
   を含む講義支援システム。
2. 前記合成部は、前記第２の受講者を模した人型映像であって、前記分析部により分析された前記第２の受講者の状態に応じて態様が異なる人型映像を、前記第２の映像を加工した映像として前記第１の映像に合成する請求項１に記載の講義支援システム。
3. 前記分析部は、前記会場の座席の情報、及び前記第１の映像に基づいて、前記第１の受講者が存在しない空き席を特定し、
   前記合成部は、前記第１の映像における空き席上に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を合成する
   請求項１又は請求項２に記載の講義支援システム。
4. 前記合成部は、前記第１の映像において前記第１の受講者が存在しない領域に、前記第２の映像の各々又は前記第２の映像を加工した映像の各々を並べたパネル状の映像を合成する請求項１又は請求項２に記載の講義支援システム。
5. 前記分析部は、前記第１の映像及び前記第２の映像の各々における前記第１の受講者及び前記第２の受講者の各々の表情、頭の向き、及び体の動きの少なくとも１つに基づいて、前記第１の受講者及び前記第２の受講者の各々の集中度を、前記第１の受講者及び前記第２の受講者の各々の状態として分析する請求項１～請求項４のいずれか１項に記載の講義支援システム。
6. 前記分析部は、前記第１の受講者及び前記第２の受講者の各々の状態を、時系列に対応付けて記憶部に記憶し、
   前記出力部は、前記記憶部に記憶された情報に基づいて、前記分析結果を示す映像を生成する
   請求項１～請求項５のいずれか１項に記載の講義支援システム。
7. 前記出力部は、前記記憶部に記憶された情報に基づいて、前記第１の受講者及び前記第２の受講者の各々の状態の集計結果、及び前記状態の時系列の変化の少なくとも一方を表す前記分析結果を示す映像を生成する請求項６に記載の講義支援システム。
8. 前記出力部は、前記映像データを、前記会場に設置された表示装置、及び前記講義の講師が装着するヘッドマウントディスプレイの少なくとも一方へ出力する請求項１～請求項７のいずれか１項に記載の講義支援システム。
9. 前記取得部、前記分析部、前記合成部、及び前記出力部を含む講義支援装置が、前記第１の映像及び前記第２の映像の取得から、前記表示映像の前記表示装置への表示までの遅延時間が所定時間内となるように、前記表示装置の近傍に配置される請求項１～請求項８のいずれか１項に記載の講義支援システム。
10. 講義を受講する第１の受講者を含む会場を撮影した第１の映像、及びネットワークを介してリモートで前記講義を受講する第２の受講者を撮影した第２の映像の各々を取得し、
    前記第１の映像及び前記第２の映像の各々を映像解析することにより、前記第１の受講者及び前記第２の受講者の各々の状態を分析し、
    前記第２の映像の各々又は前記第２の映像を加工した映像の各々を、前記第１の映像において前記第１の受講者が存在しない領域に合成した合成映像を生成し、
    前記合成映像と、状態の分析結果を示す映像とを１つの画面に含む表示映像の映像データを生成し、生成した映像データを表示装置へ出力する
    ことを含む処理をコンピュータが実行する講義支援方法。

Images