JP2022142913A - 会議支援制御装置および会議支援方法 - Google Patents

Abstract

【課題】ウェブ会議において発表者が参加者の視線の状況を確認可能にすること。
【解決手段】ネットワークを介して発表画像データを共有して開催される会議を支援する制御部４０であって、参加者が使用する参加者端末の表示部における参加者の視線位置を含む視線位置情報を取得する視線位置情報取得部４３と、視線位置情報取得部４３が取得した視線位置情報を集計して、参加者の視線位置の分布状況を算出する集計部４４と、発表画像データに、集計部４４による集計結果である分布状況を重畳した重畳画像データを生成する重畳画像生成部４５と、重畳画像生成部４５によって生成された重畳画像データを発表者が使用する発表者端末３０の表示部３３に表示するように制御する表示制御部４６と、を備える。
【選択図】図４

Description

本発明は、会議支援制御装置および会議支援方法に関する。

オンラインで行う会議として、いわゆるウェブ会議が知られている。ウェブ会議では、離れた場所にいる発表者および参加者がそれぞれの端末を使用する。このため、発表者が、参加者の反応を確認しながら、会議の進め方を変えたりすることが難しい。ビデオ会議等で撮像された人物の視線方向に基づいて、ビデオ会議装置の表示部の画面レイアウトを変更する技術が知られている（例えば、特許文献１参照）。

特開２０１４－０５００１８号公報

しかしながら、特許文献１に記載の技術では、画面を複数の領域に分割し、最も注目された領域が検出されるが、複数の参加者の視線の状況を把握することは困難である。

本発明は、上記に鑑みてなされたものであり、ウェブ会議において発表者が参加者の視線の状況を確認することが可能な会議支援制御装置および会議支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る会議支援制御装置は、ネットワークを介して発表画像データを共有して開催される会議を支援する会議支援制御装置であって、参加者が使用する参加者端末の表示部における前記参加者の視線位置を含む視線位置情報を取得する視線位置情報取得部と、前記視線位置情報取得部が取得した前記視線位置情報を集計して、前記参加者の視線位置の分布状況を算出する集計部と、前記発表画像データに、前記集計部による集計結果である前記分布状況を重畳した重畳画像データを生成する重畳画像生成部と、前記重畳画像生成部によって生成された前記重畳画像データを発表者が使用する発表者端末の表示部に表示するように制御する表示制御部と、を備える。

目的を達成するために、本発明に係る会議支援方法は、ネットワークを介して発表画像データを共有して開催される会議を支援する会議支援方法であって、参加者が使用する参加者端末の表示部における前記参加者の視線位置を含む視線位置情報を取得する視線位置情報取得ステップと、前記視線位置情報取得ステップによって取得された前記視線位置情報を集計して、前記参加者の視線位置の分布状況を算出する集計ステップと、前記発表画像データに、前記集計ステップによる集計結果である前記分布状況を重畳した重畳画像データを生成する重畳画像生成ステップと、前記重畳画像生成ステップによって生成された前記重畳画像データを発表者が使用する発表者端末の表示部に表示するように制御する表示制御ステップと、を含む。

本発明によれば、ウェブ会議において発表者が参加者の視線の状況を確認することができる。

図１は、会議支援システムの一例を模式的に示す図である。 図２は、参加者端末の構成例を示すブロック図である。 図３は、参加者端末を模式的に示す概略図である。 図４は、第一実施形態に係る会議支援制御装置を有する発表者端末の構成例を示すブロック図である。 図５は、発表者端末を模式的に示す概略図である。 図６は、参加者端末における処理の一例を示すフローチャートである。 図７は、発表者端末における処理の一例を示すフローチャートである。 図８は、第二実施形態に係る会議支援制御装置を有する発表者端末の構成例を示すブロック図である。 図９は、発表者端末における処理の一例を示すフローチャートである。

以下、本発明に係る会議支援制御装置および会議支援方法の実施形態を図面に基づいて説明する。なお、以下の実施形態により本発明が限定されるものではない。ネットワークを介して発表画像データを共有して開催される会議、いわゆるウェブ会議は、発表画像データを提示しながら発表する発表者と、複数の視聴者である参加者とが存在する。ウェブ会議は、会議支援システム１を使用して行われる。発表画像データとは、ウェブ会議で使用する、例えば、プレゼンテーション画像データなどである。発表画像データは、説明時に表示されたポインタの画像データを含んでもよい。

［第一実施形態］
（会議支援システム）
図１は、会議支援システム１の一例を模式的に示す図である。会議支援システム１は、ネットワークを介して発表画像データを共有して開催される会議を支援する。より詳しくは、会議支援システム１は、ウェブ会議において発表する際に、参加者Ｕの集中状況を、視線検出技術を用いて収集し、提示する。会議支援システム１は、複数の参加者Ｕが使用する複数の参加者端末１０と、発表者Ｔが使用する発表者端末３０とを備える。複数の参加者端末１０と、発表者端末３０とは、ネットワークＮＷを介して互いに情報を通信可能である。

本実施形態では、発表者端末３０は、発表者Ｔの発表時に、発表内容データを記録する。本実施形態では発表内容データは、発表画像データと発表者映像データとを含む発表映像データと、発表音声データとを含む。発表者を表示しない場合には、発表者映像データは含まない。発表者端末３０は、発表内容データを参加者端末１０へ送信する。参加者端末１０は、受信した発表内容データを出力する。参加者端末１０は、発表時に、参加者Ｕの視線位置を示す視線位置情報を検出する。参加者端末１０は、視線位置情報を発表者端末３０へ送信する。発表者端末３０は、視線位置情報を表示する。

（参加者端末）
図２は、参加者端末１０の構成例を示すブロック図である。図３は、参加者端末１０を模式的に示す概略図である。参加者端末１０は、ウェブ会議の参加者Ｕが使用する端末である。参加者端末１０は、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどの情報端末が挙げられる。参加者端末１０は、参加者Ｕが視聴する発表内容データを発表者端末３０から受信する。参加者端末１０は、発表内容データを出力する。参加者端末１０は、発表時、表示部１２における参加者Ｕの視線位置を示す視線位置情報を検出して、発表者端末３０へ送信する。参加者端末１０は、カメラ１１と、表示部１２と、スピーカ１３と、通信部１４と、制御部２０とを有する。

カメラ１１は、参加者Ｕを撮影するカメラである。カメラ１１は、参加者端末１０の表示部１２を視認している参加者Ｕの顔部を撮影可能な位置に配置されている。カメラ１１は、例えば、可視光カメラまたは遠赤外線カメラ、または近赤外線カメラで構成される。カメラ１１は、例えば、可視光カメラと遠赤外線カメラまたは近赤外線カメラとの組み合わせで構成されてもよい。カメラ１１は、発表映像データが表示されている間は、参加者映像データを常時撮影する。カメラ１１は、撮影した参加者映像データを制御部２０の視線位置算出部２１へ出力する。

表示部１２は、各種の情報を表示する装置である。表示部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１２は、制御部２０の表示制御部２２から出力された映像信号に基づいて、映像データを表示する。本実施形態では、表示部１２は、発表映像データを表示する。表示部１２は、発表映像データのうち発表画像データのみを表示し、発表者映像データを表示しなくてもよい。図３は、表示部１２に、発表画像１００のみが表示されている。表示部１２は、発表画像データとともに、発表者映像データを表示してもよい。

スピーカ１３は、各種の音声データを出力する装置である。スピーカ１３は、制御部２０の音声出力制御部２３から出力された音声信号に基づいて、音声データを出力する。本実施形態では、スピーカ１３は、発表音声データを出力する。

通信部１４は、通信ユニットである。通信部１４は、インターネットまたは携帯電話回線などいずれの方法で通信を行ってもよい。通信部１４は、ネットワークＮＷを介して発表者端末３０とデータを通信可能に接続する。通信部１４は、発表者端末３０から発表内容データを受信する。通信部１４は、参加者Ｕの視線位置情報を発表者端末３０へ送信する。

制御部２０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記憶などに用いられる。制御部２０は、視線位置算出部２１と、表示制御部２２と、音声出力制御部２３と、通信制御部２４とを有する。

視線位置算出部２１は、参加者Ｕの視線位置を算出する。視線位置算出部２１は、参加者Ｕが使用する参加者端末１０の表示部１２における参加者Ｕの視線位置を算出する。本実施形態では、視線位置算出部２１は、発表画像データにおいて参加者Ｕがどこを見ているかを示す、発表画像データにおける参加者Ｕの視線位置を算出する。視線位置算出部２１は、カメラ１１から参加者映像データを取得する。視線位置算出部２１は、取得した参加者映像データに画像処理を行って、参加者Ｕの眼の映像から、表示部１２における参加者Ｕの視線位置を検出する。視線位置算出部２１は、例えば参加者Ｕの瞳孔の位置と角膜反射像の位置とに基づいて視線位置を検出すること、または参加者Ｕの目頭の位置と虹彩の位置とに基づいて視線位置を検出することなど、各種の手法により参加者Ｕの視線位置を検出する。このようにして、視線位置算出部２１は、発表画像データにおける参加者Ｕの視線位置を示す視線位置情報を算出する。

視線位置情報は、発表画像データと対応付け可能である。視線位置情報は、例えば、発表映像データの開始時点からの経過時間に対応する経過時間情報、または、発表映像データにおいて発表画像データを特定可能なフレーム番号情報などを含んでもよい。

表示制御部２２は、表示部１２における映像データの表示を制御する。表示制御部２２は、映像データを表示部１２に出力させる映像信号を出力する。より詳しくは、表示制御部２２は、発表映像データなどを表示する映像信号を出力する。表示制御部２２は、発表画像データのみを表示する映像信号を出力してもよい。表示制御部２２は、発表画像データとともに、発表者映像データを表示する映像信号を出力してもよい。

音声出力制御部２３は、スピーカ１３からの音声データの出力を制御する。音声出力制御部２３は、音声データをスピーカ１３から出力させる音声信号を出力する。より詳しくは、音声出力制御部２３は、発表音声データなどを出力する音声信号を出力する。

通信制御部２４は、通信部１４を介したデータの送受信を制御する。通信制御部２４は、通信部１４を介して、発表者端末３０から発表内容データを受信するよう制御する。通信制御部２４は、通信部１４を介して、発表者端末３０へ、参加者Ｕの視線位置を示す視線位置情報を送信するよう制御する。

（発表者端末）
図４は、第一実施形態に係る制御部４０を有する発表者端末３０の構成例を示すブロック図である。図５は、発表者端末３０を模式的に示す概略図である。発表者端末３０は、ウェブ会議の発表者Ｔが使用する端末である。発表者端末３０は、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどの情報端末が挙げられる。発表者Ｔは、発表者端末３０を使用して、発表画像データを提示しながら発表内容を発表する。発表者端末３０は、発表映像データと発表音声データとを含む発表内容データを参加者端末１０へ送信する。発表者端末３０は、参加者Ｕの視線位置情報を参加者端末１０から受信する。発表者端末３０は、参加者Ｕの視線位置を発表画像データに重畳した重畳画像データを表示する。発表者端末３０は、カメラ３１と、マイクロフォン３２と、表示部３３と、スピーカ３４と、通信部３５と、制御部（会議支援制御装置）４０とを有する。本実施形態では、発表者端末３０は、発表者Ｔが発表している間、カメラ３１によって発表者の顔などを含む発表者映像データを撮影し、マイクロフォン３２によって発表音声データを収音するものとして説明する。発表者Ｔを撮影しない場合、発表者端末３０は、カメラ３１を有していなくてよい。

カメラ３１は、発表者Ｔを撮影するカメラである。カメラ３１は、発表者Ｔの顔部を撮影可能である。カメラ３１は、例えば、可視光カメラで構成される。カメラ３１は、発表者Ｔが発表している間、常時撮影する。カメラ３１は、撮影した発表者映像データを制御部４０の映像データ取得部４１へ出力する。上述したように、カメラ３１は必須の構成ではない。

マイクロフォン３２は、発表者Ｔの音声データを収音するマイクロフォンである。マイクロフォン３２は、発表者Ｔの音声データを収音可能な位置に配置されている。マイクロフォン３２は、発表者Ｔが発表している間、音声データを常時収音する。マイクロフォン３２は、収音した音声データを制御部４０の音声データ取得部４２へ出力する。

表示部３３は、各種の情報を表示する装置である。表示部３３は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。表示部３３は、制御部４０の表示制御部４６から出力された映像信号に基づいて、映像データを表示する。本実施形態では、表示部３３は、発表画像データおよび重畳画像データを表示する。

スピーカ３４は、各種の音声データを出力する装置である。スピーカ３４は、制御部４０の音声出力制御部４７から出力された音声信号に基づいて、音声データを出力する。本実施形態では、スピーカ３４は、発表音声データを出力する。

通信部３５は、通信ユニットである。通信部３５は、インターネットまたは携帯電話回線などいずれの方法で通信を行ってもよい。通信部３５は、ネットワークＮＷを介して参加者端末１０とデータを通信可能に接続する。通信部３５は、参加者端末１０へ発表内容データを送信する。通信部３５は、参加者Ｕの視線位置情報を参加者端末１０から受信する。

制御部４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０は、ウェブ会議において発表者を支援する。制御部４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０には図示しない内部メモリが含まれ、内部メモリは制御部４０におけるデータの一時記憶などに用いられる。制御部４０は、映像データ取得部４１と、音声データ取得部４２と、視線位置情報取得部４３と、集計部４４と、重畳画像生成部４５と、表示制御部４６と、音声出力制御部４７と、通信制御部４８とを有する。

映像データ取得部４１は、発表者Ｔを撮影した発表者映像データを取得する。映像データ取得部４１は、カメラ３１が撮影した発表者映像データを取得する。発表者映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

音声データ取得部４２は、発表者Ｔが発表内容を発表する発表音声データを取得する。音声データ取得部４２は、マイクロフォン３２が収音した発表音声データを取得する。

視線位置情報取得部４３は、参加者Ｕが使用する参加者端末１０の表示部１２における参加者Ｕの視線位置を示す視線位置情報を取得する。視線位置情報取得部４３は、複数の参加者端末１０から参加者Ｕの視線位置情報を取得する。

集計部４４は、視線位置情報取得部４３が取得した視線位置情報を集計して、複数の参加者Ｕの視線位置の分布状況を算出する。集計部４４は、取得した複数の参加者Ｕの視線位置情報に基づいて、発表画像データにおける複数の参加者Ｕの視線位置の分布状況を集計する。より詳しくは、集計部４４は、複数の参加者Ｕの視線位置情報から、発表画像データに対応付けて、複数の参加者Ｕの視線位置の分布状況を集計する。

集計された分布状況は、どれくらいの参加者Ｕが発表画像データのどこを見ているかを示す。分布状況によって、複数の参加者Ｕの発表内容に対する集中度が示される。分布状況によって、発表内容において参加者Ｕが興味を持っていることが示される。

重畳画像生成部４５は、発表画像データに、集計部４４による集計結果である分布状況を重畳した重畳画像データを生成する。重畳画像生成部４５は、例えば、発表画像データに、分布状況をヒートマップ状などのように度数分布がわかるように重畳した重畳画像データを生成する。重畳画像データは、発表画像データ上に透過性のレイヤーとして表示されてもよい。

重畳画像データは、点の分布によって分布状況を示してもよい。より詳しくは、重畳画像データは、例えば、各参加者Ｕの視線位置の分布状況を点によって示してもよい。多くの参加者Ｕの視線位置が集まる場所は、多くの点が集まる。多くの点が集まる場所は、多くの参加者Ｕが見ている場所である。図５は、表示部３３に、発表画像１００が表示されている。発表画像１００上に、発表者Ｔが入力装置を用いてポインタとして指し示している位置であるポインタ位置１０１と、視線位置の分布状況を点で示した重畳画像１０２とが表示されている。ポインタ位置１０１は、発表画像１００の右側に位置する円グラフを指し示している。重畳画像１０２は、発表画像１００の左側に位置する棒グラフの近傍に位置している。重畳画像１０２は、中央部に多くの点が集まり、中央部から離れるほど点の数が少なくなっている。図５に示す例では、ポインタ位置１０１と、重畳画像１０２とが離れている。これらにより、多くの参加者Ｕが、発表者Ｔが説明している位置とは異なる場所を見ていることがわかる。

重畳画像データは、例えば、色によって分布状況を示してもよい。例えば、多くの参加者Ｕの視線位置が集まる場所ほど、色を濃くする。例えば、多くの参加者Ｕの視線位置が集まる場所は、色を赤く、参加者Ｕの視線位置が集中していない場所は、色を青くする。

重畳画像データは、例えば、視線位置の数に応じたアイコン画像で分布状況を示してもよい。例えば、多くの参加者Ｕの視線位置が集まる場所には、所定のアイコン画像を表示する。

重畳画像データは、例えば、発表画像１００における発表者が入力装置を用いて指し示す位置であり、発表画像１００上にポインタとして示されるポインタの位置（発表位置）と、参加者Ｕの視線位置との距離に応じて色を変えてもよい。例えば、分布状況を点によって示す場合、ポインタの位置と参加者Ｕの視線位置とが近い点は、色を赤く、ポインタの位置と参加者Ｕの視線位置とが離れている点は、色を青くする。

発表位置は、図示しない入力装置による入力を受け付ける入力受付部によって、発表画像１００におけるポインタ位置１０１の座標位置として取得可能である。

表示制御部４６は、表示部３３における映像データの表示を制御する。表示制御部４６は、映像データを表示部３３に出力させる映像信号を出力する。より詳しくは、表示制御部４６は、発表画像データおよび重畳映像データなどを表示する映像信号を出力する。表示制御部４６は、重畳画像生成部４５によって生成された重畳画像データを表示部３３に表示するように制御する。表示制御部４６は、発表者Ｔが発表している間、リアルタイムで生成した重畳映像データを表示部３３に表示させる。

音声出力制御部４７は、スピーカ３４からの音声データの出力を制御する。音声出力制御部４７は、音声データをスピーカ３４から出力させる音声信号を出力する。より詳しくは、音声出力制御部４７は、発表音声データなどを出力する音声信号を出力する。

通信制御部４８は、通信部３５を介したデータの送受信を制御する。通信制御部４８は、通信部３５を介して、参加者端末１０へ、発表内容データを送信するよう制御する。通信制御部４８は、通信部３５を介して、参加者端末１０から視線位置情報を受信するよう制御する。

（会議支援システムにおける処理）
次に、上記のように構成された会議支援システム１の動作の一例を説明する。

（参加者端末における処理）
図６を用いて、参加者端末１０における処理について説明する。図６は、参加者端末１０における処理の一例を示すフローチャートである。ウェブ会議の開催中、参加者端末１０は、発表者端末３０から発表内容データを受信する。ウェブ会議の開催中、ステップＳ１１ないしステップＳ１４の処理が常時実行される。

制御部２０は、発表内容データを出力する（ステップＳ１１）。より詳しくは、制御部２０は、表示制御部２２によって、発表画像データとともに、発表者映像データを表示部１２に表示させる映像信号を出力する。制御部２０は、音声出力制御部２３によって、発表音声データなどをスピーカ１３から出力させる音声信号を出力する。制御部２０は、ステップＳ１２へ進む。

制御部２０は、視線を検出する（ステップＳ１２）。より詳しくは、カメラ１１によって、発表映像データが表示されている間、参加者Ｕの顔部の参加者映像データを常時撮影する。制御部２０は、ステップＳ１３へ進む。

制御部２０は、視線位置を算出する（ステップＳ１３）。より詳しくは、制御部２０は、視線位置算出部２１によって、参加者映像データに画像処理を行って、参加者Ｕが使用する参加者端末１０の表示部１２における参加者Ｕの視線位置を算出する。制御部２０は、視線位置算出部２１によって、発表画像データにおける参加者Ｕの視線位置を示す視線位置情報を算出する。制御部２０は、ステップＳ１４へ進む。

制御部２０は、視線位置情報を送信する（ステップＳ１４）。より詳しくは、制御部２０は、通信制御部２４によって、通信部１４を介して、発表者端末３０へ、参加者Ｕの視線位置を示す視線位置情報を送信するよう制御する。

（発表者端末における処理）
図７を用いて、発表者端末３０における処理について説明する。図７は、発表者端末３０における処理の一例を示すフローチャートである。ウェブ会議の開催中、ステップＳ２１ないしステップＳ２４の処理が常時実行される。

制御部４０は、複数の参加者Ｕの視線位置情報を取得する（ステップＳ２１）。より詳しくは、制御部４０は、視線位置情報取得部４３によって、複数の参加者端末１０から参加者Ｕの視線位置情報を取得する。制御部４０は、ステップＳ２２へ進む。

制御部４０は、視線位置の分布を算出する（ステップＳ２２）。より詳しくは、制御部４０は、集計部４４によって、複数の参加者Ｕの視線位置情報から、発表画像データに対応付けて、複数の参加者Ｕの視線位置の分布状況を集計する。制御部４０は、ステップＳ２３へ進む。

制御部４０は、重畳画像データを生成する（ステップＳ２３）。より詳しくは、制御部４０は、重畳画像生成部４５によって、発表画像データに、集計部４４による集計結果である分布状況を重畳した重畳画像データを生成する。制御部４０は、重畳画像生成部４５によって、例えば、発表画像データに、分布状況をヒートマップ状などのように度数分布がわかるように重畳した重畳画像データを生成する。制御部４０は、ステップＳ２４へ進む。

制御部４０は、重畳画像を表示する（ステップＳ２４）。より詳しくは、制御部４０は、表示制御部４６によって、生成した重畳画像データを表示部３３に表示させる。

（効果）
上述したように、本実施形態では、発表者端末３０の表示部３３に、発表画像データに、複数の参加者Ｕの視線位置の分布状況を重畳した重畳画像データを表示する。本実施形態によれば、ウェブ会議において発表者Ｔが参加者Ｕの視線位置の分布状況を確認することができる。本実施形態によれば、発表者Ｔが発表中に、発表内容に対する参加者Ｕの興味の状況を確認することができる。

以上説明してきたように、発表者端末３０の表示部３３に、発表画像データに、複数の参加者Ｕの視線位置の分布状況を重畳した重畳画像データを単に表示するとしていたが、以下の条件を満たす場合に表示することにしてもよい。条件としては、ポインタの位置と参加者Ｕの視線位置とが所定距離以上離れた場合、または、ポインタの位置と参加者Ｕの視線位置とが所定距離以上離れ、かつ、所定時間以上経過した場合などがある。これにより、発表者Ｔが発表中に、発表内容から参加者Ｕの視線がそれた場合に、参加者Ｕの視線がそれていることを視覚的に認識することができ、発表者Ｔが発表中に、発表内容に対する参加者Ｕの興味の状況をより適切に確認することができる。

［第二実施形態］
図８、図９を参照しながら、本実施形態に係る制御部４０Ａを有する発表者端末３０Ａについて説明する。図８は、第二実施形態に係る制御部４０Ａを有する発表者端末３０Ａの構成例を示すブロック図である。図９は、発表者端末３０Ａにおける処理の一例を示すフローチャートである。発表者端末３０Ａは、基本的な構成は第一実施形態の発表者端末３０と同様である。以下の説明においては、発表者端末３０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の制御部４０Ａは、評価部４９Ａを有する点と、表示制御部４６Ａにおける処理とが第一実施形態と異なる。

発表者端末３０Ａは、発表終了後に参加者Ｕがどれほど興味を示していたかを、視線位置情報と発表画像データのポインタの位置とから数値化して評価し、評価結果を提示する。

評価部４９Ａは、視線位置情報取得部４３が取得した視線位置と、発表画像データにおけるポインタの位置との距離を発表時間で積分して、参加者Ｕの集中度を評価する。より詳しくは、まず、評価部４９Ａは、参加者Ｕごとに、視線位置と、発表画像データにおけるポインタの位置との距離を発表時間で積分する。そして、評価部４９Ａは、算出した各参加者Ｕの積分値を合計する。

発表時間は、例えば、視線位置情報に含まれる経過時間情報が示す経過時間から算出可能である。発表時間で積分するとは、視線位置と発表画像データにおけるポインタの位置との距離を、距離を算出した時間の差分で積分することである。

参加者Ｕが発表者Ｔの発表内容に集中している場合、参加者Ｕの視線位置は、ポインタの位置の近傍に位置する。参加者Ｕの視線位置とポインタの位置との距離が離れている場合、参加者Ｕは、発表者Ｔが発表している位置と関係ない位置を見ている。視線位置とポインタの位置との距離が大きくなるほど、参加者Ｕの集中度は低いと評価される。

評価部４９Ａは、積分値が大きいほど、参加者Ｕの集中度が低いと判定してもよい。評価部４９Ａは、例えば、積分値が閾値以上である場合、参加者Ｕの集中度が「低い」と評価し、積分値が閾値未満である場合、参加者Ｕの集中度が「高い」と評価する。集中度は、例えば、高い順に「Ａ」、「Ｂ」、「Ｃ」などのランクで示してもよい。集中度は、興味度合いである。

評価部４９Ａは、発表画像が切り替わるタイミング、または、ポインタの移動時は、評価の対象外としてもよい。このような場合は、発表に関係ない場合も含まれるためである。評価部４９Ａは、発表画像が静止している状態における距離を積分する。評価部４９Ａは、ポインタの位置が安定している状態における距離を積分する。ポインタの位置が安定しているとは、例えば、ポインタの位置が停止している、または、ポインタの位置の移動が所定範囲内に収まり揺らいでいる程度の状態である。

このような評価部４９Ａによる評価結果は、発表終了後に、例えば、発表者端末３０Ａの表示部３３で確認可能である。

表示制御部４６Ａは、評価部４９Ａの評価結果を表示部３３に表示するように制御する。表示制御部４６Ａは、評価結果を、例えば、集中度が「高い」、集中度が「低い」などと表示してもよい。表示制御部４６Ａは、評価結果を、例えば、集中度を示すランクで表示してもよい。表示制御部４６Ａは、評価結果を、集中度の経時変化がわかるように、発表時間の経過に伴う経時変化を確認可能なグラフなどで表示してもよい。

評価結果は、発表画像が切り替わるタイミングなどの任意のタイミングにおける集中度を記録したものを時系列で示してもよい。これにより、発表中の任意のタイミングにおける集中度が確認可能である。

図９を用いて、発表者端末３０Ａにおける処理について説明する。ウェブ会議の終了後、ステップＳ３１ないしステップＳ３２の処理が実行される。

制御部４０Ａは、評価を行う（ステップＳ３１）。より詳しくは、制御部４０Ａは、評価部４９Ａによって、視線位置と、発表画像データにおけるポインタの位置との距離を発表時間で積分して、参加者Ｕの集中度を評価する。制御部４０Ａは、ステップＳ３２へ進む。

制御部４０Ａは、評価結果を表示する（ステップＳ３２）。より詳しくは、制御部４０Ａは、表示制御部４６Ａによって、評価結果を、例えば、集中度の経時変化がわかるように、発表時間の経過に伴う経時変化を確認可能なグラフなどで表示する。

上述したように、本実施形態は、参加者Ｕの視線位置と発表画像データにおけるポインタ位置との距離を発表時間で積分して、参加者Ｕの集中度を評価することができる。本実施形態によれば、発表者Ｔの発表内容に対する参加者Ｕの興味の状況を評価することができる。

本実施形態では、発表画像が切り替わるタイミング、または、ポインタの移動時は、評価の対象外とする。本実施形態によれば、より正確に参加者Ｕの集中度を評価することができる。

本実施形態では、積分値が大きいほど、参加者Ｕの集中度が低いと判定する。本実施形態によれば、参加者Ｕの集中度を客観的な指標を用いて適切に判定することができる。

図示した会議支援システムの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

会議支援システムの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして発表した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

上記において、発表者端末の制御部は、集計部が集計した複数の参加者Ｕの視線位置の分布状況に基づいて、発表内容に対するアドバイスを行う指導部を有してもよい。指導部は、例えば、分布状況から、多くの参加者Ｕが、現在の発表位置ではなく、説明済みの発表位置を見ていると判定される場合、前の内容を再度説明するよう促すメッセージを表示部３３に表示する。

上記では、発表位置は、ポインタの位置であることとして説明したが、これに限定されない。発表位置は、例えば、カメラ３１が撮影した、発表者映像データから、発表者の視線位置を検出して、発表画像データにおける発表位置としてもよい。発表位置は、例えば、マイクロフォン３２が収音した発表者の音声データを音声認識することによって、発表画像データにおける発表位置としてもよい。

１ 会議支援システム
１０ 参加者端末
１１ カメラ
１２ 表示部
１３ スピーカ
１４ 通信部
２０ 制御部
２１ 視線位置算出部
２２ 表示制御部
２３ 音声出力制御部
２４ 通信制御部
３０ 発表者端末
３１ カメラ
３２ マイクロフォン
３３ 表示部
３４ スピーカ
３５ 通信部
４０ 制御部（会議支援制御装置）
４１ 映像データ取得部
４２ 音声データ取得部
４３ 視線位置情報取得部
４４ 集計部
４５ 重畳画像生成部
４６ 表示制御部
４７ 音声出力制御部
４８ 通信制御部

Claims (5)

1. ネットワークを介して発表画像データを共有して開催される会議を支援する会議支援制御装置であって、
   参加者が使用する参加者端末の表示部における前記参加者の視線位置を含む視線位置情報を取得する視線位置情報取得部と、
   前記視線位置情報取得部が取得した前記視線位置情報を集計して、前記参加者の視線位置の分布状況を算出する集計部と、
   前記発表画像データに、前記集計部による集計結果である前記分布状況を重畳した重畳画像データを生成する重畳画像生成部と、
   前記重畳画像生成部によって生成された前記重畳画像データを発表者が使用する発表者端末の表示部に表示するように制御する表示制御部と、
   を備える、会議支援制御装置。
2. 前記視線位置情報取得部が取得した前記視線位置と前記発表画像データにおける発表位置との距離を算出し、算出した距離を発表時間で積分して積分値を求め、前記参加者の集中度を評価する評価部、
   を備える、請求項１に記載の会議支援制御装置。
3. 前記評価部は、前記発表位置が安定している状態における距離を積分する、
   請求項２に記載の会議支援制御装置。
4. 前記評価部は、前記積分値が大きいほど、前記参加者の集中度が低いと判定する、
   請求項２に記載の会議支援制御装置。
5. ネットワークを介して発表画像データを共有して開催される会議を支援する会議支援方法であって、
   参加者が使用する参加者端末の表示部における前記参加者の視線位置を含む視線位置情報を取得する視線位置情報取得ステップと、
   前記視線位置情報取得ステップによって取得された前記視線位置情報を集計して、前記参加者の視線位置の分布状況を算出する集計ステップと、
   前記発表画像データに、前記集計ステップによる集計結果である前記分布状況を重畳した重畳画像データを生成する重畳画像生成ステップと、
   前記重畳画像生成ステップによって生成された前記重畳画像データを発表者が使用する発表者端末の表示部に表示するように制御する表示制御ステップと、
   を含む、会議支援方法。

Images