JP2022055372A - 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム - Google Patents
動的要素表示システム、オンライン会議端末及び動的要素表示プログラム Download PDFInfo
- Publication number
- JP2022055372A JP2022055372A JP2020158944A JP2020158944A JP2022055372A JP 2022055372 A JP2022055372 A JP 2022055372A JP 2020158944 A JP2020158944 A JP 2020158944A JP 2020158944 A JP2020158944 A JP 2020158944A JP 2022055372 A JP2022055372 A JP 2022055372A
- Authority
- JP
- Japan
- Prior art keywords
- dynamic element
- display
- unit
- evaluation result
- participant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備える。
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在するように移動させる。
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在しないように移動させる。
前記動的要素の大きさを徐々に拡大し、あるいは徐々に縮小しながら前記表示部における位置を移動させる。
前記参加者の有する属性を取得する属性取得部を備え、
前記表示制御部は、
取得された前記属性に従って、前記動的要素を前記表示部に表示するかどうかを決定する。
動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報に基づいて、動的要素を生成する。
前記動的要素生成情報の設定を受け付ける設定受付部を備える。
標準図形として保有している図形と、文字列と、前記オンライン会議の発表者のカメラ映像と、前記表示部のデスクトップ画面にウィンドウで表示される前記オンライン会議の会議画像と、前記オンライン会議で使用される資料と、のうちのいずれかを、前記動的要素として表示する。
前記評価結果を前記表示部に表示する評価結果表示部を備える。
前記評価結果を、予め設定されている色によって表示する。
前記評価結果を、文字列と図形との少なくともいずれかで表示する。
前記参加者を監視する監視部を備え、
前記評価結果生成部は、
生成する評価結果に、前記監視部による前記参加者の監視結果を反映する。
生成する評価結果に、評価加点期間として指定されている期間における前記監視結果を反映する場合には、前記監視結果の反映の度合いを増加する。
このオンライン会議端末は、
表示部と、
前記表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備える。
コンピュータに、
オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御処理と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成処理と、
を実行させる。
図1から図25を参照して、実施の形態1を説明する。実施の形態1は、動的要素表示システム8Sに関する。動的要素表示システム8Sは、オンライン会議システム9S、または後述するオンライン会議端末200Sとして、実現される。
動的要素とは、オンライン会議に参加する参加者がオンライン会議で使用するオンライン会議端末の有する表示部である表示装置983に表示される要素である。そして、動的要素は、参加者の視線によって注視される注視対象の要素であって、表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である。動的要素の制御は表示制御部14が実施する。
図1は、動的要素表示システム8Sの機能ブロックを示す。動的要素表示システム8Sは、機能要素として、設定受付部11、属性取得部12、動的要素生成部13、表示制御部14、監視部15、評価結果生成部16、評価結果表示部17及び入力制御部18を備える。設定受付部11から入力制御部18の8つの機能要素をサーバ100とオンライン会議端末200に振り分けて配置した構成が、オンライン会議システム9Sである。また、設定受付部11から入力制御部18の8つの機能要素をオンライン会議端末に配置した構成が、オンライン会議端末200Sである。
図6から図23を参照してオンライン会議システム9Sの動作を説明する。以下にオンライン会議システム9Sの動作を説明する。
設定ステップS10は、動的要素設定ステップS11、視点取得設定ステップS12、基礎評価点算出設定ステップS13、特別加点設定ステップS14、参加者状態の表示のための閾値を設定する参加者状態表示閾値設定ステップS15及び参加者状態表示色設定ステップS16の、6つのステップから構成される。各設定ステップでは、テーブルにデータが設定される。
図9は、特別加点設定テーブル154、参加者状態表示閾値設定テーブル155、参加者状態表示色設定テーブル156、参加者一覧テーブル157,参加者評価点テーブル158を示している。
設定受付部11は、動的要素タイプ、動的要素サイズを含む動的要素生成情報13Aの設定を受け付ける。具体的には以下のようである。動的要素設定テーブル151は、動的要素のタイプを示す動的要素タイプ、動的要素のサイズを示す動的要素サイズ、動的要素の動作パタン1及び動作パタン2及び動的要素の初期表示位置の、5つの項目を有する。右欄の最上部に示すように、「[ ]」は変数を示し「/」はorを意味する。
(1)動的要素タイプでは、変数に、標準図形、指定文字列、認識文字列、参加者入力文字列、参加者入力文字列関連情報、参加者プロフィール文字列、指定スライド、発表者カメラ映像または会議画面全体を設定できる。つまり、表示制御部14は、標準図形として保有している図形と、文字列と、オンライン会議の発表者のカメラ映像と、表示装置983のデスクトップ画面にウィンドウで表示されるオンライン会議の会議画像と、オンライン会議で使用されるスライドのような資料とのうちのいずれかを、動的要素として表示する。
なお、標準図形等について以下に説明しておく。標準図形とは、円や三角形といった単純で一般に周知の図形である。指定文字列とは、オンライン会議の前に主催者が予め設定した固定の文字列である。認識文字列とは、音声認識技術を利用して、発表者の音声からリアルタイムに生成された文字列である。参加者入力文字列とは、会議の参加者が、会議中に文字入力したコメントである。参加者入力文字列関連情報とは、参加者入力文字列について、システムが自動でWeb情報検索等を行い取得した、別の文字列である。参加者プロフィール文字列とは、オンライン会議の前に参加者が予め設定した、自己紹介文から取得した文字列である。指定スライドとは、会議の前に主催者が予め設定した、文書の特定ページである。
(2)動的要素サイズでは、変数に、絶対サイズを示す[Ax]cm、[Ay]cm、または相対サイズとしてモニタ表示サイズの[Ap]%のようなデータを設定できる。
(3)動作パタン1では、変数に、「フラッシュ表示をB1秒間」または「連続移動表示を[B2]秒間」のようなデータを設定できる。
(4)動作パタン2では、変数に、動的要素サイズの設定に対して、上限[C1]%及び下限[C2]%の拡大縮小あり、または「拡大縮小なし」のようなデータ設定できる。
(5)初期表示位置では、変数に、[Dx]、[Dy]のような指定による絶対位置または[中心/右上/左上/右下/左下]のような指定による相対位置を設定できる。
視点取得設定テーブル152は、オンライン会議の参加者、つまりオンライン会議端末の利用者の視点の取得頻度と、参加者の視点が動的要素にあるかどうかの判定に用いる判定範囲との、2つの項目を有する。
(1)取得頻度では、変数に、[F1]秒間隔のように取得間隔を設定できる。評価結果生成部16は、参加者を監視する監視部15を用いて、[F1]秒ごとに、参加者の視点を取得する。
(2)判定範囲では、変数に、動的要素の中心座標から半径[F2]cmの円の内部のように、視点位置の判定範囲のデータを設定できる。
基礎評価点算出設定テーブル153は、オンライン会議の参加者に付与する基礎評価点を算出するための設定テーブルである。基礎評価点算出設定テーブル153は、「動的要素の中心をみている」と、「動的要素の中心をみていない」の2項目を有する。
(1)「動的要素の中心をみている。」では、変数に、+[G1]点の値を設定できる。「動的要素の中心をみている。」とは、視点取得設定テーブル152で設定された判定範囲に視点が存在することである。
(2)「動的要素の中心をみていない。」では、変数に、-[G2]点の値を設定できる。「動的要素の中心をみていない。」とは、視点取得設定テーブル152で設定された判定範囲に視点が存在しないことである。
特別加点設定テーブル154は、オンライン会議の参加者が動的要素の中心をみているかどうかとは別に、参加者の動作に対して加点する際に使用するテーブルである。特別加点設定テーブル154は、重要スライド、重要映像、メモ、頷き、クイズ正解、コメント入力の6項目を有する。特別加点設定テーブル154では、6項目の各項目に点数を設定できる。
(1)重要スライドとは、予め「重要」と指定されており、オンライン会議で使用されるスライドである。評価結果生成部16は、各オンライン会議端末の表示部である表示装置983に表示されるスライドと、表示されるスライドが重要かどうかを認識可能である。「重要スライド」では、変数に、+[H1]点の値を設定できる。なお表示されるスライドが重要であるか否かの判定は、予め、参加者がスライドを含む文書のファイル名と重要スライドのページ番号の組み合わせを設定しておき、この設定を参照することによって行う。
(2)重要映像とは、予め「重要」と指定されており、オンライン会議で使用される映像である。評価結果生成部16は、各オンライン会議端末の表示装置983に表示される映像と、表示される映像が重要かどうかを認識可能である。「重要映像」では、変数に、+[H2]点の値を設定できる。
(3)「メモ」とは、オンライン会議の参加者がメモをとる動作を意味する。評価結果生成部16は、参加者を監視する監視部15を用いて、参加者がメモをとっているかどうかを判定可能である。「メモ」では、変数に、+[H3]点の値を設定できる。なお、メモを取っているかの判定は、映像解析によりメモ用紙や筆記用具を検出すること、アイトラッキングにより視点が下方にあることを検出すること、モーションキャプチャにより文字を書く手や腕の動きを検出することなどで行う。
(4)「頷き」とは、オンライン会議の参加者が頷く動作を意味する。評価結果生成部16は、監視部15を用いて、参加者の頷き動作を判定可能である。「頷き」では、変数に、+[H4]点の値を設定できる。なお、頷き動作の判定は、アイトラッキングにより参加者の視点が動的要素の枠内にあることを検出し、かつ、モーションキャプチャにより頷く頭部の動作を検出することで行う。
(5)「クイズ正解」とは、オンライン会議の参加者によるクイズへの回答が正解であることを意味する。具体的には、評価結果生成部16は、オンライン会議端末の表示装置983にクイズを表示する。参加者はクイズに答える。クイズへの回答は、マウスまたはキーボードのような入力装置から入力制御部18へ入力され、入力制御部18から評価結果生成部16へ送信される。参加者がクイズに正解した場合、評価結果生成部16は、その参加者を加点する。「クイズ正解」では、変数に、+[H5]点の値を設定できる。
(6)「コメント入力」とは、オンライン会議の参加者が、キーボードのような入力装置から「いいね」のようなコメントを入力することを意味する。コメントは、入力制御部18から評価結果生成部16へ送信される。参加者がコメントを入力した場合、評価結果生成部16は、その参加者を加点する。「コメント入力」では、変数に、+[H6]点の値を設定できる。
参加者状態表示閾値設定テーブル155は、参加者の獲得した点数を表示装置983に表示する際に使用する閾値を設定するテーブルである。参加者状態表示閾値設定テーブル155は、上側閾値と下側閾値との2項目を有する。
(1)上側閾値では、変数に、+[I1]点の値を設定できる。
(2)下側閾値では、変数に、+[I2]点の値を設定できる。
参加者状態表示色設定テーブル156は、参加者の獲得した点数を表示装置983に表示する際に、参加者状態表示閾値設定テーブル155に設定された上側閾値及び下側閾値にしたがって、参加者の点数を表示するときの背景色彩を決定するテーブルである。参加者状態表示色設定テーブル156は、上側閾値以上、下側閾値以下、上側閾値より小さく下側閾値より大きい範囲を示す中間の範囲との3項目を有する。
(1)上限閾値では、変数に、[色1]の値を設定できる。
(2)下限閾値では、変数に、[色2]の値を設定できる。
(3)中間の範囲では、変数に、[色3]の値を設定できる。
ステップS20において、オンライン会議が開始する。図7のステップS30において、オンライン会議が実施される。
ステップS31において、属性取得部12は、会議管理者から、参加者立場情報として、参加者IDと、その参加者IDの参加者が主催者かどうかの情報とを入力されることで、参加者立場情報を取得する。会議管理者は、例えば、オンライン会議の主催者である。参加者立場情報は参加者の属性を示す属性情報である。また、属性取得部12は、参加者立場情報として、参加者IDの参加者が現在発表者であるか聴講者であるかの情報を、参加者立場情報として、以下のように取得する。オンライン会議端末と参加者IDとは、対応付いている。属性取得部12は、発表が行われているオンライン会議端末を検出可能であり、この検出により、属性取得部12は、参加者IDの参加の最新の立場が発表者を聴講者という、参加者立場情報を取得できる。このように、属性取得部12は、参加者立場情報として、参加者ID、主催者かどうかの情報、及び発表者かどうかの情報を取得する。属性取得部12は、取得した参加者立場情報の値を、参加者一覧テーブル157の、参加者ID、主催者及び最新の会議中の立場の各変数に設定する。ステップS31では、サーバ100の属性取得部12は、最新の参加者一覧テーブル157を各オンライン会議端末200へ送信する。
ステップS32において、各オンライン会議端末200の表示制御部14は、ステップS32で送信された参加者一覧テーブル157を参照する。オンライン会議端末200の表示制御部14は、参照の結果、オンライン会議端末200の利用者である会議参加者が、発表者または主催者の場合には、オンライン会議端末200の表示装置983に動的要素を表示しない(ステップS32でYES)。この場合処理は、ステップS37に進む。オンライン会議端末200の表示制御部14は、参照の結果、オンライン会議端末200の利用者である会議参加者が、発表者でも主催者でもない場合には、ステップS33に処理を進める。
ステップS33において、サーバ100の動的要素生成部13は、動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報13Aに基づいて、動的要素を生成する。「動的要素を生成する」とは、図8の動的要素設定テーブル151に示した、動的要素タイプと動的要素サイズとを含む動的要素生成情報13Aから、「表示部である表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される、変化制御対象となる動的要素」を生成することを意味する。
表示制御部14は、動的要素を、表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御して、表示装置983に表示する。以下に、表示制御部14による動的要素の表示について詳しく説明する。
表示制御部14は、設定内容に基づき下記いずれかの動的要素を指定位置に表示する。動的要素タイプでは、標準図形、指定文字列、認識文字列、参加者入力文字列、参加者入力文字列関連情報、参加者プロフィール文字列、指定スライド、発表者カメラ映像、会議画面全体のいずれかが、動的要素タイプとして設定されている。以下の動作は、動的要素生成部13から動的要素を受信した、各オンライン会議端末200の表示制御部14の動作である。
(1)モニタ表示サイズ取得.
表示制御部14は、オンライン会議端末200の表示装置983のモニタ表示サイズを取得する。
(2)初期表示座標計算.
表示制御部14は、動的要素設定テーブル151の初期表示位置に、絶対位置(Dx,Dy)設定がある場合は、その絶対座標を動的要素を表示すべき表示座標と決定する。表示制御部14は、動的要素設定テーブル151の初期表示位置に、相対位置として、中央、左上、右上、左下、右下のいずれかの指定がある場合は、動的要素がモニタ表示サイズの四隅における該当位置にフィットする座標を計算し、その座標を動的要素を表示すべき座標と決定する。
(3)初期表示座標に表示.
表示制御部14は、決定した座標に、動的要素を表示する。
(4)次の表示座標の計算.
(4-1)動作パタン1がフラッシュ表示の場合.
フラッシュ表示とは、連続して動的要素を表示するときに、現在表示している動的要素と、次に表示する動的要素とに重複が生じない表示態様である。つまり、フラッシュ表示の場合には、表示制御部14は、表示装置983の表示画面における動的要素の位置を移動させるとともに、移動前の位置での動的要素と、移動後の位置での動的要素とを表示装置983に表示した場合に、移動前の位置での動的要素と移動後の位置での動的要素10とに重複部分が存在しないように移動させる。
具体的には以下のようである。動的要素設定テーブル151の動作パタン1が「フラッシュ表示」の場合、表示制御部14は、モニタ表示サイズの範囲内のランダムな座標を、動的要素の次の表示座標である次回表示座標として決定する。このとき、なるべく大きく視点を動かすべく、表示制御部14は、前回表示座標と次回表示座標との距離が閾値[B11]cm以上になるように決定する。
(4-2)動作パタン1が連続移動表示の場合.
動作パタン1が「連続移動表示」の場合、表示制御部14は動的要素10の連続表示を以下のように行う。表示制御部14は、表示装置983の表示画面における動的要素の位置を移動させるとともに、移動前の位置での動的要素と、移動後の位置での動的要素とを表示装置983に表示した場合に、移動前の位置での動的要素と移動後の位置での動的要素とに重複部分が存在するように移動させる。「連続移動表示」の具多的な実施内容は以下のようである。動作パタン1が「連続移動表示」の場合、表示制御部14は、前回表示座標のx座標,y座標のどちらか、もしくは両方に1を加えた座標を次回表示座標に決定する。このとき、1を加える対象として、「x,y座標のどちらか」または「x,y座標の両方」のどちらにするかについては、表示制御部14は、ランダムに決定する。また、このとき、1を加える対象として、「x,y座標のどちらか」または「x,y座標の両方」のどちらに決定した後は、表示制御部14は、動作パタン1の「連続移動表示」に示す[B2秒]の間、または座標がモニタサイズのいずれかの端に達するまでは、1を加える対象を変更しない。なお、上記において、1を加える部分は、1を減ずることも可能であり、移動の方向は限定されない。
(5)表示サイズ計算.
(5-1)動作パタン2が「拡大縮小あり」の場合.
動的要素設定テーブル151の動作パタン2が「拡大縮小あり」の場合、表示制御部14は、動的要素10の大きさを徐々に拡大し、あるいは徐々に縮小しながら表示装置983の表示画面における位置を移動させる。具体的には以下のようである。表示制御部14は、動作パタン2に設定されている上限[C1]%、下限[C2]%の範囲内で、動的要素を拡大及び縮小する。例えばC1=200%、C2=50%である。
(5-2)動作パタン2が「拡大縮小なし」の場合.
動作パタン2が「拡大縮小なし」の場合、表示制御部14は、動的要素に対して、拡大も縮小も実施しない。
(6)次回の動的要素の表示.
(6-1)前回の動的要素を消去.
表示制御部14は、前回の動的要素を表示装置983の画面から消去する。
(6-2)次回の動的要素の表示.
表示制御部14は、上記(4)(5)で決定した座標及びサイズに基づき、次回の動的要素を表示装置983に表示する。
図11は、あるオンライン会議端末200の表示装置983の表示画面における、動的要素の表示状態である。図10と図11を参照して、動的要素の生成及び表示の具体例を説明する。図11の左側は会議開始時を示し、中央は会議開始から10秒後を示し、右側は会議開始から20秒後を示す。動的要素生成部13は、図10の動的要素タイプ及び動的要素サイズを参照して、動的要素10として、「働き方を見直そう」を生成する。動的要素設定テーブル151では、動的要素タイプは指定文字列として「働き方を見直そう」であり、動的要素サイズは、横2cm、縦10cmである。動的要素生成部13は、生成した動的要素10である「働き方を見直そう」を、各オンライン会議端末200に送信する。
オンライン会議端末200の評価結果生成部16は、各オンライン会議端末200の監視部15を用いて、全ての参加者の表示装置983のモニタ表示枠内における視点座標を定期的に取得する。視点座標の取得は、監視部15の備えるアイトラッキング技術を使用する。評価結果生成部16による取得頻度は、視点取得設定テーブル152の取得頻度の設定に従う。なお、この設定を用いて、視点座標を常時連続して取得し、一定期間内で、最も対象物と近かった視点座標を評価対象としてもよい。
評価結果生成部16は、生成する評価結果に、監視部15による参加者の監視結果を反映する。監視結果の例としては、図9の特別加点設定テーブル154に設定される6項目である。つまり、監視部15は、監視項目として、参加者が重要スライドを見たか、参加者が重要映像を見たか、参加者がメモをとったか、参加者が頷いたか、参加者がクイズに正解したか、または参加者がコメントを入力したかのような参加者の状態を監視する。
評価結果生成部16は、監視部15を用いて、参加者の特別加点対象状態を取得する。特別加点対象状態に該当する参加者の行為あるいは動作は、特別加点設定テーブル154に設定されている。特別加点設定テーブル154で設定されている6項目は、具体的には以下のようである。
(1)重要スライド.
「重要スライド」とは、参加者が重要なスライドまたは場面を見ている状態である。重要かどうかについては、予めプレゼンテーション資料の各ページに重要度が付与されている。評価結果生成部16は、重要度の高いページを参加者が見ていれば、その参加者の評価に加点する。
(2)重要映像.
評価結果生成部16は、発表者の映像において、重要な場面の開始合図として予め学習させておいた発表者のモーションを検知してから一定時間内もしくは、終了合図が検知されるまでの時間内に、発表者映像部分を見ていれば加点する。
(3)メモ.
評価結果生成部16は、監視部15の有する画像解析機能を用いて、参加者の動きが予め学習させておいたメモをとる動作であるかを判定する。参加者の動きが、画像解析からメモを取る動作と判定されれば、その参加者の評価に加点する。
(4)頷き.
評価結果生成部16は、監視部15の有するモーションキャプチャ機能を用いて、参加者の動きを取得する。評価結果生成部16は、参加者の動きが、予め学習させておいた「頷き動作」であるかを判定する。評価結果生成部16は、参加者の視点が動的要素の枠内にある、かつ、参加者が頷き動作をしている、と判定した場合、その参加者の評価に加点する。
(5)クイズ正解.
評価結果生成部16は、参加者に対して、発表者及び会議内容に関する問題を出す。クイズを出された参加者が問題に正解した場合、評価結果生成部16は、その参加者の評価に加点する。監視部15は入力装置984からの入力を監視しており、クイズの正解を検知する。
(6)コメント入力.
評価結果生成部16は、参加者がキーボードのような入力装置からオンライン会議端末200へ「いいね」、「よくわからない」のような意思表示またはコメントを入力した場合、その参加者の評価に加点する。監視部15は入力装置984からの入力を監視しており、該当するコメント入力を検知する。
<基礎評価点の算出>
評価結果生成部16は、表示装置983に表示された動的要素10を参加者が注視しているかどうかを評価し、評価結果を生成する。
(1)評価結果生成部16は、動的要素10の中心座標を計算する。中心座標は動的要素10の重心でもよい。
(2)評価結果生成部16は、参加者の視点座標を監視部15から取得する。
(3)評価結果生成部16は、動的要素10の中心と、視点座標のマッチング判定範囲を計算する。この計算において、評価結果生成部16は、視点取得設定テーブル152の「判定範囲」に設定されている「動的要素の中心座標を中心にする半径[F]cmの円の内部」を用いる。
(4)評価結果生成部16は、上記(1)~(3)の結果から、基礎評価点を算出する。評価結果生成部16は、基礎評価点算出設定テーブル153の「動的要素の中心を見ていた」及び「動的要素の中心を見ていなかった」の設定に従って、視点座標が上記(3)の円の内部であれば[G1]点を加点し、視点座標が上記(3)の円の外部であれば[G2]点を減点する。
ステップS35に示す状態を取得した場合、評価結果生成部16は、特別加点設定テーブル154の設定に基づき、参加者の評価に対して加点を行う。
評価結果生成部16は、以上の計算結果に基づき、各参加者の参加者評価点テーブル158の評価点の値を更新する。
ステップS37において、評価結果表示部17は、評価結果生成部16の生成した評価結果を、表示装置983に表示する。
具体的には以下のようである。評価結果表示部17は、評価結果生成部16が付与した評価点に応じた、参加者状態の可視化を行う。表示色は、参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156に基づく。
(1)評価結果表示部17は、参加者の評価点が上側閾値以上であれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色1]として設定されている特定色に変更する。
(2)評価結果表示部17は、参加者の評価点が下側閾値以下であれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色2]として設定されている特定色に変更する。
(3)評価結果表示部17は、評価点が上側閾値と下側閾値の間にあれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色3]として設定されている特定色に変更する。
(4)上記の(1)から(3)のように、評価結果表示部17は、評価結果生成部16により生成された評価結果を、予め設定されている色によって表示する。
サーバ100は会議終了かを判定し、NOであればステップS31の処理に戻り、移行の処理を繰り返す。終了であればサーバ100はステップS40で一連の処理を終了する。
図12は、設定済の視点取得設定テーブル152及び基礎評価点算出設定テーブル153を示す。
図13は、評価結果生成部16が参加者003の視点を取得する状態を示す。
図14は、参加者評価点テーブル158の遷移を示す。視点取得設定テーブル152には、「取得頻度」が5秒間隔と設定されており、「判定範囲」が動的要素の中心座標を中心とする半径3cmの円の内部と設定されている。基礎評価点算出設定テーブル153には、「動的要素の中心付近を見ていた」場合には+10点、「動的要素の中心付近を見ていなかった」場合には-10点の加点が設定されている。「動的要素の中心付近」とは、半径3cmの円の内部である。
図15は、設定済の特別加点設定テーブル154である。図15において、重要スライド、重要映像、メモ、頷き、クイズ正解、コメント入力の6項目の各加点の設定値は、それぞれ、+30、+30、+50、+10、+30、+10である。
図16は、評価結果生成部16が、参加者003のスライドへの注目有無を判定する状態を示す。図16の左側は、会議開始0秒から会議開始10秒を示す。図16の右側は、会議開始10秒から会議開始20秒を示す。図16の左側には、重要でないスライドが表示されている。図16の右側には、重要なスライドが表示されている。
図17は、参加者評価点テーブル158の遷移を示す。
図18は、設定済の特別加点設定テーブル154であり、図15に同じである。図18では、メモは+50である。
図19は、評価結果生成部16が、参加者003がメモをとる状態を検知する状態を示す。図19の左側は、会議開始0秒から会議開始10秒を示す。図19の右側は、会議開始10秒から会議開始20秒を示す。図19の左側には、重要でないスライドが表示されている。図19の右側には、重要なスライドが表示されている。図19の右側では、参加者003はノートを開いている。
図20は、参加者評価点テーブル158の遷移を示す。
図21は、設定済の参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156を示す。参加者状態表示閾値設定テーブル155では、上側閾値、下側閾値に300点、50点が設定されている。参加者状態表示色設定テーブル156では、上側閾値以上に赤、下側閾値以下に青、中間の範囲に緑が設定されている。評価結果表示部17は、参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156を参照して、評価結果を表示装置983に表示する。
図22は、参加者評価点テーブル158を示す。図22の左側は、会議開始から5分経過時の参加者評価点テーブル158であり、右側は会議開始から10分経過時の参加者評価点テーブル158である。参加者評価点テーブル158では、参加者ID001、002の参加者は、主催者と発表者のため、評価の対象外である。会議開始から5分経過時の参加者評価点テーブル158では、参加者ID003,004,005の得点は、それぞれ、200、350,150である。会議開始から5分経過時の参加者評価点テーブル158では、参加者ID003,004,005の得点は、それぞれ、400、150,30である。
図23は、評価結果表示部17によって表示される評価結果を示す。図23の左側は、会議開始から5分経過時の表示状態を示し、右側は、会議開始から10分経過時の表示状態を示す。図23の左側では、評価結果表示部17は、参加者001、参加者002の背景は、無色にする。参加者003の得点200は中間の範囲、参加者004の得点350は上側閾値を超えており、参加者005の得点150は中間の範囲であるので、評価結果表示部17は、背景を、それぞれ、緑、赤、緑にする。同様に、図23の右側では、評価結果表示部17は、参加者001、参加者002の背景は、無色にする。また参加者003の得点400は上側閾値を超えており、参加者004の得点150は中間の範囲であり、参加者005の得点30は下側閾値未満であるので、評価結果表示部17は、背景を、それぞれ、赤、緑、青にする。
図24は、オンライン会議システム9を示す。オンライン会議システム9は、複数のオンライン会議端末200Sを備える。
図25は、オンライン会議端末200Sのハードウェア構成を示す。図25に示すオンライン会議端末200Sのハードウェア構成のとおり、オンライン会議端末200Sは、図1に示す動的要素表示システム8Sの機能要素をすべて備えている。図24に示すオンライン会議システム9では、会議管理者の有するオンライン会議端末200Sがサーバ100の役割を有する。つまり、図6及び図7のフローチャートにおけるサーバ100の役割を、会議管理者の有するオンライン会議端末200Sが有する。
実施の形態1の動的要素表示システム8S、オンライン会議システム9S及びオンライン会議端末200Sによれば、動的要素の表示形態によって、オンライン会議の参加者の目の疲労を低減することができる。また、実施の形態1の動的要素表示システム8S、オンライン会議システム9S及びオンライン会議端末200Sによれば、評価結果を参加者に提示することにより、オンライン会議の生産性低下の抑制を図ることができる。具体的には、会議参加者に、自分の評価点を見られていることを意識させることで、緊張感を与え、生産性低下を抑制できる。また、オンライン会議端末200または動的要素表示プログラム7によれば、サーバを設置することなく、端末装置のみで、動的要素表示システム8Sを実現することができる。
なお、目を動かすことで目の疲労を軽減することを述べている文献としては、以下の(1)及び(2)の文献が挙げられる。
(1)北出勝也(2020)「米国ビジョントレーナーが教える眼を動かすだけ1分間超集中法」光文社.
(2)中川和宏(2016)「目を動かすだけで「記憶力」と「視力」が一気によくなる!」青春出版社.
Claims (16)
- オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備える動的要素表示システム。 - 前記動的要素表示システムは、さらに、
前記動的要素を生成する動的要素生成部
を備える請求項1に記載の動的要素表示システム。 - 前記表示制御部は、
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在するように移動させる請求項1または請求項2に記載の動的要素表示システム。 - 前記表示制御部は、
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在しないように移動させる請求項1または請求項2に記載の動的要素表示システム。 - 前記表示制御部は、
前記動的要素の大きさを徐々に拡大し、あるいは徐々に縮小しながら前記表示部における位置を移動させる請求項1から請求項4のいずれか一項に記載の動的要素表示システム。 - 前記動的要素表示システムは、さらに、
前記参加者の有する属性を取得する属性取得部を備え、
前記表示制御部は、
取得された前記属性に従って、前記動的要素を前記表示部に表示するかどうかを決定する請求項1から請求項5のいずれか一項に記載の動的要素表示システム。 - 前記動的要素生成部は、
動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報に基づいて、動的要素を生成する請求項2に記載の動的要素表示システム。 - 前記動的要素表示システムは、さらに、
前記動的要素生成情報の設定を受け付ける設定受付部を備える請求項7に記載の動的要素表示システム。 - 前記表示制御部は、
標準図形として保有している図形と、文字列と、前記オンライン会議の発表者のカメラ映像と、前記表示部のデスクトップ画面にウィンドウで表示される前記オンライン会議の会議画像と、前記オンライン会議で使用される資料と、のうちのいずれかを、前記動的要素として表示する請求項1から請求項8のいずれか一項に記載の動的要素表示システム。 - 前記動的要素表示システムは、さらに、
前記評価結果を前記表示部に表示する評価結果表示部を備える請求項1から請求項9のいずれか一項に記載の動的要素表示システム。 - 前記評価結果表示部は、
前記評価結果を、予め設定されている色によって表示する請求項10に記載の動的要素表示システム。 - 前記評価結果表示部は、
前記評価結果を、文字列と図形との少なくともいずれかで表示する請求項10または請求項11に記載の動的要素表示システム。 - 前記動的要素表示システムは、さらに、
前記参加者を監視する監視部を備え、
前記評価結果生成部は、
生成する評価結果に、前記監視部による前記参加者の監視結果を反映する請求項1から請求項12のいずれか一項に記載の動的要素表示システム。 - 前記評価結果生成部は、
生成する評価結果に、評価加点期間として指定されている期間における前記監視結果を反映する場合には、前記監視結果の反映の度合いを増加する請求項13に記載の動的要素表示システム。 - オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末において、
表示部と、
前記表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備えるオンライン会議端末。 - コンピュータに、
オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御処理と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成処理と、
を実行させる動的要素表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158944A JP7044845B1 (ja) | 2020-09-23 | 2020-09-23 | 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158944A JP7044845B1 (ja) | 2020-09-23 | 2020-09-23 | 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7044845B1 JP7044845B1 (ja) | 2022-03-30 |
JP2022055372A true JP2022055372A (ja) | 2022-04-08 |
Family
ID=80998732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020158944A Active JP7044845B1 (ja) | 2020-09-23 | 2020-09-23 | 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7044845B1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005062218A1 (ja) * | 2003-12-22 | 2005-07-07 | Upinc. | 反応情報表示システム |
JP2010141843A (ja) * | 2008-12-15 | 2010-06-24 | Brother Ind Ltd | 会議システム、通信会議支援方法、会議端末装置及びプログラム |
US9843768B1 (en) * | 2016-09-23 | 2017-12-12 | Intel Corporation | Audience engagement feedback systems and techniques |
JP2020005030A (ja) * | 2018-06-25 | 2020-01-09 | シャープ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020053904A (ja) * | 2018-09-28 | 2020-04-02 | 株式会社Jvcケンウッド | データ受信装置、データ配信制御方法、及びデータ配信制御プログラム |
-
2020
- 2020-09-23 JP JP2020158944A patent/JP7044845B1/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005062218A1 (ja) * | 2003-12-22 | 2005-07-07 | Upinc. | 反応情報表示システム |
JP2010141843A (ja) * | 2008-12-15 | 2010-06-24 | Brother Ind Ltd | 会議システム、通信会議支援方法、会議端末装置及びプログラム |
US9843768B1 (en) * | 2016-09-23 | 2017-12-12 | Intel Corporation | Audience engagement feedback systems and techniques |
JP2020005030A (ja) * | 2018-06-25 | 2020-01-09 | シャープ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020053904A (ja) * | 2018-09-28 | 2020-04-02 | 株式会社Jvcケンウッド | データ受信装置、データ配信制御方法、及びデータ配信制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7044845B1 (ja) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kane et al. | Bonfire: a nomadic system for hybrid laptop-tabletop interaction | |
US11386620B2 (en) | Multi-endpoint mixfd-reality meetings | |
US8549418B2 (en) | Projected display to enhance computer device use | |
CN113170076B (zh) | 一种用于通信会话的方法和系统 | |
CN116194869A (zh) | 人工现实协同工作环境 | |
US11385761B2 (en) | Device, method, and graphical user interface for composing CGR files | |
US6533417B1 (en) | Method and apparatus for relieving eye strain and fatigue | |
JP2018137723A (ja) | 遠隔会議の参加者の資質のフィードバックを提供するための方法およびシステム、コンピューティングデバイス、プログラム | |
US20210201002A1 (en) | Moving image distribution computer program, server device, and method | |
US11871147B2 (en) | Adjusting participant gaze in video conferences | |
Rzayev et al. | Reading in VR: The effect of text presentation type and location | |
US20220326967A1 (en) | Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality | |
He et al. | Gazechat: Enhancing virtual conferences with gaze-aware 3d photos | |
CN111615682A (zh) | 用于基于视角来选择呈现模式的方法和装置 | |
KR20230153488A (ko) | 이미지 처리 방법, 장치, 기기, 및 저장 매체 | |
CN117616748A (zh) | 具有多种空间交互模式的视频会议系统 | |
JP7044845B1 (ja) | 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム | |
WO2023232014A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP5920858B1 (ja) | プログラム、情報処理装置、深度定義方法及び記録媒体 | |
US11991263B2 (en) | Notification delivery in a virtual space based on a user being in a flow state | |
Medlar et al. | Behind the scenes: Adapting cinematography and editing concepts to navigation in virtual reality | |
US11928379B2 (en) | Information orientation and display in extended reality environments | |
KR102561352B1 (ko) | 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스 | |
CN115167736B (zh) | 一种图文位置调整方法、设备和存储介质 | |
US20230334791A1 (en) | Interactive reality computing experience using multi-layer projections to create an illusion of depth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7044845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |