JP2022055372A - 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム - Google Patents

動的要素表示システム、オンライン会議端末及び動的要素表示プログラム Download PDF

Info

Publication number
JP2022055372A
JP2022055372A JP2020158944A JP2020158944A JP2022055372A JP 2022055372 A JP2022055372 A JP 2022055372A JP 2020158944 A JP2020158944 A JP 2020158944A JP 2020158944 A JP2020158944 A JP 2020158944A JP 2022055372 A JP2022055372 A JP 2022055372A
Authority
JP
Japan
Prior art keywords
dynamic element
display
unit
evaluation result
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020158944A
Other languages
English (en)
Other versions
JP7044845B1 (ja
Inventor
靖 中島
Yasushi Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Network Corp
Original Assignee
Mitsubishi Electric Information Network Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Network Corp filed Critical Mitsubishi Electric Information Network Corp
Priority to JP2020158944A priority Critical patent/JP7044845B1/ja
Application granted granted Critical
Publication of JP7044845B1 publication Critical patent/JP7044845B1/ja
Publication of JP2022055372A publication Critical patent/JP2022055372A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】オンライン会議の参加者の目の疲労を低減する手段を提供する。また、オンライン会議の生産性低下の抑制を図る手段を提供する。【解決手段】動的要素表示システム8Sは、オンライン会議に参加する参加者がオンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに参加者の視線によって注視される注視対象の要素であって、表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、表示部における位置と大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御して、表示部に表示する表示制御部14と、表示部に表示された動的要素を参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部16を備える。【選択図】図1

Description

本開示は、オンライン会議で使用中のオンライン会議端末の画面に特定の要素を表示して変化させる、動的要素表示システム、オンライン会議端末及び動的要素表示プログラムに関する。
近年、オンライン会議が普及している。オンライン会議では、会議の参加者はオンライン会議端末の備える画面に表示される画像に注目しながら、会議が進行するため、会議参加者の目が疲労するという課題があった。従来技術には、ディスプレイを有する通信端末を使用するユーザの目の疲労を低減する技術の開示がある(例えば特許文献1)。しかし、特許文献1では、オンライン会議の参加者が、オンライン会議端末の備える画面に表示される画像を見る際の疲労軽減についての言及は、何ら存在しない。
特開2010-237392号公報
本開示は、オンライン会議の参加者の目の疲労を低減することを目的とする。また、本開示は、オンライン会議の生産性低下の抑制を目的とする。
本開示に係る動的要素表示システムは、
オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備える。
前記動的要素表示システムは、さらに、前記動的要素を生成する動的要素生成部を備える。
前記表示制御部は、
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在するように移動させる。
前記表示制御部は、
前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在しないように移動させる。
前記表示制御部は、
前記動的要素の大きさを徐々に拡大し、あるいは徐々に縮小しながら前記表示部における位置を移動させる。
前記動的要素表示システムは、さらに、
前記参加者の有する属性を取得する属性取得部を備え、
前記表示制御部は、
取得された前記属性に従って、前記動的要素を前記表示部に表示するかどうかを決定する。
前記動的要素生成部は、
動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報に基づいて、動的要素を生成する。
前記動的要素表示システムは、さらに、
前記動的要素生成情報の設定を受け付ける設定受付部を備える。
前記表示制御部は、
標準図形として保有している図形と、文字列と、前記オンライン会議の発表者のカメラ映像と、前記表示部のデスクトップ画面にウィンドウで表示される前記オンライン会議の会議画像と、前記オンライン会議で使用される資料と、のうちのいずれかを、前記動的要素として表示する。
前記動的要素表示システムは、さらに、
前記評価結果を前記表示部に表示する評価結果表示部を備える。
前記評価結果表示部は、
前記評価結果を、予め設定されている色によって表示する。
前記評価結果表示部は、
前記評価結果を、文字列と図形との少なくともいずれかで表示する。
前記動的要素表示システムは、さらに、
前記参加者を監視する監視部を備え、
前記評価結果生成部は、
生成する評価結果に、前記監視部による前記参加者の監視結果を反映する。
前記評価結果生成部は、
生成する評価結果に、評価加点期間として指定されている期間における前記監視結果を反映する場合には、前記監視結果の反映の度合いを増加する。
本開示に係るオンライン会議端末は、オンライン会議に参加する参加者が前記オンライン会議で使用する。
このオンライン会議端末は、
表示部と、
前記表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
を備える。
本開示に係る動的要素表示プログラムは、
コンピュータに、
オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御処理と、
前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成処理と、
を実行させる。
本開示の動的要素表示システムは、表示制御部を備えたので、動的要素の表示形態によって、オンライン会議の参加者の目の疲労を低減することができる。また、本開示の動的要素表示システムは、評価結果生成部を備えているので、評価結果を参加者に提示することにより、オンライン会議の生産性低下の抑制を図ることができる。
実施の形態1の図で、動的要素表示システム8Sの機能ブロックを示す図。 実施の形態1の図で、オンライン会議システム9Sのシステム構成を示す図。 実施の形態1の図で、オンライン会議システム9Sにおける、サーバ100及びオンライン会議端末200のブロック構成を示す図。 実施の形態1の図で、サーバ100のハードウェア構成を示す図。 実施の形態1の図で、オンライン会議端末200のハードウェア構成を示す図。 実施の形態1の図で、動的要素表示システム8Sの動作を示すフローチャート。 実施の形態1の図で、動的要素表示システム8Sの動作を示すフローチャート。 実施の形態1の図で、動的要素設定テーブル151、視点取得設定テーブル152、基礎評価点算出設定テーブル153を示す図。 実施の形態1の図で、特別加点設定テーブル154、参加者状態表示閾値設定テーブル155、参加者状態表示色設定テーブル156、参加者一覧テーブル157,参加者評価点テーブル158を示す図。 実施の形態1の図で、設定済の動的要素設定テーブル151を示す図。 実施の形態1の図で、あるオンライン会議端末200の表示装置983の表示画面における、動的要素の表示状態を示す図。 実施の形態1の図で、設定済の視点取得設定テーブル152及び基礎評価点算出設定テーブル153を示す図。 実施の形態1の図で、評価結果生成部16が参加者003の視点を取得する状態を示す図。 実施の形態1の図で、参加者評価点テーブル158の遷移を示す図。 実施の形態1の図で、設定済の特別加点設定テーブル154を示す図。 実施の形態1の図で、評価結果生成部16が、参加者003のスライドへの注目有無を判定する状態を示す。 実施の形態1の図で、参加者評価点テーブル158の遷移を示す図。 実施の形態1の図で、設定済の特別加点設定テーブル154を示す図。 実施の形態1の図で、評価結果生成部16が、参加者003がメモをとる状態を検知する状態を示す図。 実施の形態1の図で、参加者評価点テーブル158の遷移を示す図。 実施の形態1の図で、設定済の参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156を示す図。 実施の形態1の図で、参加者評価点テーブル158を示す図。 実施の形態1の図で、評価結果表示部17によって表示される評価結果を示す図。 実施の形態1の図で、オンライン会議システム9を示す図。 実施の形態1の図で、オンライン会議端末200Sのハードウェア構成を示す図。
以下、実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
実施の形態1.
図1から図25を参照して、実施の形態1を説明する。実施の形態1は、動的要素表示システム8Sに関する。動的要素表示システム8Sは、オンライン会議システム9S、または後述するオンライン会議端末200Sとして、実現される。
<動的要素>
動的要素とは、オンライン会議に参加する参加者がオンライン会議で使用するオンライン会議端末の有する表示部である表示装置983に表示される要素である。そして、動的要素は、参加者の視線によって注視される注視対象の要素であって、表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である。動的要素の制御は表示制御部14が実施する。
***構成の説明***
図1は、動的要素表示システム8Sの機能ブロックを示す。動的要素表示システム8Sは、機能要素として、設定受付部11、属性取得部12、動的要素生成部13、表示制御部14、監視部15、評価結果生成部16、評価結果表示部17及び入力制御部18を備える。設定受付部11から入力制御部18の8つの機能要素をサーバ100とオンライン会議端末200に振り分けて配置した構成が、オンライン会議システム9Sである。また、設定受付部11から入力制御部18の8つの機能要素をオンライン会議端末に配置した構成が、オンライン会議端末200Sである。
図2は、オンライン会議システム9Sのシステム構成を示す。オンライン会議システム9Sは、サーバ100と複数のオンライン会議端末200とを備える。各オンライン会議端末200は表示装置983を備えている。各オンライン会議端末200は、ユーザであるオンライン会議の参加者によって使用される。図2では、それぞれのオンライン会議端末200は、参加者001から参加者005に対応付いている。サーバ100及び複数のオンライン会議端末200はネットワーク300に接続しており、サーバ100と各オンライン会議端末200どうし、及びオンライン会議端末200どうしはネットワーク300を介して通信可能である。
図3は、オンライン会議システム9Sにおける、サーバ100及びオンライン会議端末200のブロック構成を示す。サーバ100は、設定受付部11、属性取得部12、動的要素生成部13,評価結果生成部16及びテーブル群記憶部19を備えている。オンライン会議端末200は、表示制御部14、監視部15、評価結果表示部17、入力制御部18、及び、モーションセンサ981、カメラ982、表示装置983、入力装置984を備えている。図3に示すように監視部15は、アイトラッキング機能、映像解析機能及びモーションキャプチャ機能を有するが、これの機能は従来技術を用いる。
図4は、サーバ100のハードウェア構成を示す。サーバ100は、コンピュータである。サーバ100は、プロセッサ810を備える。サーバ100は、プロセッサ810の他に、主記憶装置820、補助記憶装置830、入力IF840、出力IF850及び通信IF860といった、他のハードウェアを備える。プロセッサ810は、信号線870を介して、他のハードウェアと接続され、他のハードウェアを制御する。
サーバ100は、機能要素として、設定受付部11,属性取得部12,動的要素生成部13,評価結果生成部16を備える。設定受付部11,属性取得部12,動的要素生成部13,評価結果生成部16の機能は、図6、図7に示す一連のステップにより実現される。
プロセッサ810は、サーバ側プログラムを実行する装置である。サーバ側プログラムは、設定受付部11,属性取得部12,動的要素生成部13,評価結果生成部16の機能を実現するプログラムである。プロセッサ810は、演算処理を行うIC(Integrated Circuit)である。プロセッサ810の具体例は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
主記憶装置820の具体例は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。主記憶装置820は、プロセッサ810の演算結果を保持する。
補助記憶装置830は、データを不揮発的に保管する記憶装置である。補助記憶装置830の具体例は、HDD(Hard Disk Drive)である。テーブル群記憶部19は、補助記憶装置830によって実現される。
入力IF840は、各装置からデータが入力されるポートである。出力IF850は、各種機器が接続され、各種機器にプロセッサ810によりデータが出力されるポートである。通信IF860は、プロセッサ810が他の装置と通信するための通信ポートである。通信IF860は、ネットワーク300に接続される。
図5は、オンライン会議端末200のハードウェア構成を示す。オンライン会議端末200もコンピュータである。オンライン会議端末200については、サーバ100と異なる部分を主に説明する。オンライン会議端末200は、プロセッサ910を備える。オンライン会議端末200は、プロセッサ910の他に、主記憶装置920、補助記憶装置930、入力IF940、出力IF950及び通信IF960といった、他のハードウェアを備える。プロセッサ910は、信号線970を介して、他のハードウェアと接続され、他のハードウェアを制御する。
オンライン会議端末200は、機能要素として、表示制御部14、監視部15、評価結果表示部17、入力制御部18を備える。表示制御部14、監視部15、評価結果表示部17、入力制御部18の機能は、端末側プログラムにより実現される。
プロセッサ910は、端末側プログラムを実行する装置である。端末側プログラムは、表示制御部14、監視部15、評価結果表示部17、入力制御部18の機能を実現するプログラムである。
入力IF940は、各装置からデータが入力されるポートである。入力IF940には、モーションセンサ981、カメラ982、入力装置984が接続している。出力IF950は、各種機器が接続され、各種機器にプロセッサ910によりデータが出力されるポートである。出力IF950には、表示装置983が接続されている。通信IF960は、プロセッサ910が他の装置と通信するための通信ポートである。通信IF960はネットワーク300に接続されている。
***動作の説明***
図6から図23を参照してオンライン会議システム9Sの動作を説明する。以下にオンライン会議システム9Sの動作を説明する。
図6及び図7は、動的要素表示システム8Sの動作を示すフローチャートである。動的要素表示システム8Sは、具体的なデータを各テーブルを設定するテーブル設定ステップS10、オンライン会議を開始する会議開始ステップS20、オンライン会議を実施する会議実施ステップS30、及びオンライン会議を終了する会議終了ステップS40を実施する。
<ステップS10:テーブル設定>
設定ステップS10は、動的要素設定ステップS11、視点取得設定ステップS12、基礎評価点算出設定ステップS13、特別加点設定ステップS14、参加者状態の表示のための閾値を設定する参加者状態表示閾値設定ステップS15及び参加者状態表示色設定ステップS16の、6つのステップから構成される。各設定ステップでは、テーブルにデータが設定される。
図8は、動的要素設定テーブル151、視点取得設定テーブル152、基礎評価点算出設定テーブル153を示している。
図9は、特別加点設定テーブル154、参加者状態表示閾値設定テーブル155、参加者状態表示色設定テーブル156、参加者一覧テーブル157,参加者評価点テーブル158を示している。
各テーブルの設定は、設定受付部11が行う。具体的には、設定受付部11は、キーボード及びマウスのような入力装置からデータの入力を受け付けて、このデータをテーブルに設定する。図8,図9に示すように、各テーブルは項目と、項目に対応する変数を持つ。テーブルの設定処理は、設定受付部11が変数にデータを設定する処理である。
<ステップS11>
設定受付部11は、動的要素タイプ、動的要素サイズを含む動的要素生成情報13Aの設定を受け付ける。具体的には以下のようである。動的要素設定テーブル151は、動的要素のタイプを示す動的要素タイプ、動的要素のサイズを示す動的要素サイズ、動的要素の動作パタン1及び動作パタン2及び動的要素の初期表示位置の、5つの項目を有する。右欄の最上部に示すように、「[ ]」は変数を示し「/」はorを意味する。
(1)動的要素タイプでは、変数に、標準図形、指定文字列、認識文字列、参加者入力文字列、参加者入力文字列関連情報、参加者プロフィール文字列、指定スライド、発表者カメラ映像または会議画面全体を設定できる。つまり、表示制御部14は、標準図形として保有している図形と、文字列と、オンライン会議の発表者のカメラ映像と、表示装置983のデスクトップ画面にウィンドウで表示されるオンライン会議の会議画像と、オンライン会議で使用されるスライドのような資料とのうちのいずれかを、動的要素として表示する。
なお、標準図形等について以下に説明しておく。標準図形とは、円や三角形といった単純で一般に周知の図形である。指定文字列とは、オンライン会議の前に主催者が予め設定した固定の文字列である。認識文字列とは、音声認識技術を利用して、発表者の音声からリアルタイムに生成された文字列である。参加者入力文字列とは、会議の参加者が、会議中に文字入力したコメントである。参加者入力文字列関連情報とは、参加者入力文字列について、システムが自動でWeb情報検索等を行い取得した、別の文字列である。参加者プロフィール文字列とは、オンライン会議の前に参加者が予め設定した、自己紹介文から取得した文字列である。指定スライドとは、会議の前に主催者が予め設定した、文書の特定ページである。
(2)動的要素サイズでは、変数に、絶対サイズを示す[Ax]cm、[Ay]cm、または相対サイズとしてモニタ表示サイズの[Ap]%のようなデータを設定できる。
(3)動作パタン1では、変数に、「フラッシュ表示をB1秒間」または「連続移動表示を[B2]秒間」のようなデータを設定できる。
(4)動作パタン2では、変数に、動的要素サイズの設定に対して、上限[C1]%及び下限[C2]%の拡大縮小あり、または「拡大縮小なし」のようなデータ設定できる。
(5)初期表示位置では、変数に、[Dx]、[Dy]のような指定による絶対位置または[中心/右上/左上/右下/左下]のような指定による相対位置を設定できる。
設定後の動的要素設定テーブル151における動的要素タイプ及び動的要素サイズは、動的要素生成情報13Aである。動的要素生成部13は動的要素生成情報13Aに基づいて動的要素を生成する。より具体的には、設定後の動的要素設定テーブル151における動作パタン1、動作パタン2が表示制御情報14Aである。表示制御部14は表示制御情報14Aに基づいて、動的要素の表示制御を実行する。動的要素設定テーブル151の表示制御情報14Aでは、連続表示及びフラッシュ表示という位置の変化と、拡大縮小という大きさの変化を示しているが、これらは一例であり、動的要素の変化は、その他、向き、形状または色彩の変化を含めることができる。つまり、動的要素は、位置、大きさ、向き、形状、色彩の少なくとも一つが制御される。
<ステップS12>
視点取得設定テーブル152は、オンライン会議の参加者、つまりオンライン会議端末の利用者の視点の取得頻度と、参加者の視点が動的要素にあるかどうかの判定に用いる判定範囲との、2つの項目を有する。
(1)取得頻度では、変数に、[F1]秒間隔のように取得間隔を設定できる。評価結果生成部16は、参加者を監視する監視部15を用いて、[F1]秒ごとに、参加者の視点を取得する。
(2)判定範囲では、変数に、動的要素の中心座標から半径[F2]cmの円の内部のように、視点位置の判定範囲のデータを設定できる。
<ステップS13>
基礎評価点算出設定テーブル153は、オンライン会議の参加者に付与する基礎評価点を算出するための設定テーブルである。基礎評価点算出設定テーブル153は、「動的要素の中心をみている」と、「動的要素の中心をみていない」の2項目を有する。
(1)「動的要素の中心をみている。」では、変数に、+[G1]点の値を設定できる。「動的要素の中心をみている。」とは、視点取得設定テーブル152で設定された判定範囲に視点が存在することである。
(2)「動的要素の中心をみていない。」では、変数に、-[G2]点の値を設定できる。「動的要素の中心をみていない。」とは、視点取得設定テーブル152で設定された判定範囲に視点が存在しないことである。
<ステップS14>
特別加点設定テーブル154は、オンライン会議の参加者が動的要素の中心をみているかどうかとは別に、参加者の動作に対して加点する際に使用するテーブルである。特別加点設定テーブル154は、重要スライド、重要映像、メモ、頷き、クイズ正解、コメント入力の6項目を有する。特別加点設定テーブル154では、6項目の各項目に点数を設定できる。
(1)重要スライドとは、予め「重要」と指定されており、オンライン会議で使用されるスライドである。評価結果生成部16は、各オンライン会議端末の表示部である表示装置983に表示されるスライドと、表示されるスライドが重要かどうかを認識可能である。「重要スライド」では、変数に、+[H1]点の値を設定できる。なお表示されるスライドが重要であるか否かの判定は、予め、参加者がスライドを含む文書のファイル名と重要スライドのページ番号の組み合わせを設定しておき、この設定を参照することによって行う。
(2)重要映像とは、予め「重要」と指定されており、オンライン会議で使用される映像である。評価結果生成部16は、各オンライン会議端末の表示装置983に表示される映像と、表示される映像が重要かどうかを認識可能である。「重要映像」では、変数に、+[H2]点の値を設定できる。
(3)「メモ」とは、オンライン会議の参加者がメモをとる動作を意味する。評価結果生成部16は、参加者を監視する監視部15を用いて、参加者がメモをとっているかどうかを判定可能である。「メモ」では、変数に、+[H3]点の値を設定できる。なお、メモを取っているかの判定は、映像解析によりメモ用紙や筆記用具を検出すること、アイトラッキングにより視点が下方にあることを検出すること、モーションキャプチャにより文字を書く手や腕の動きを検出することなどで行う。
(4)「頷き」とは、オンライン会議の参加者が頷く動作を意味する。評価結果生成部16は、監視部15を用いて、参加者の頷き動作を判定可能である。「頷き」では、変数に、+[H4]点の値を設定できる。なお、頷き動作の判定は、アイトラッキングにより参加者の視点が動的要素の枠内にあることを検出し、かつ、モーションキャプチャにより頷く頭部の動作を検出することで行う。
(5)「クイズ正解」とは、オンライン会議の参加者によるクイズへの回答が正解であることを意味する。具体的には、評価結果生成部16は、オンライン会議端末の表示装置983にクイズを表示する。参加者はクイズに答える。クイズへの回答は、マウスまたはキーボードのような入力装置から入力制御部18へ入力され、入力制御部18から評価結果生成部16へ送信される。参加者がクイズに正解した場合、評価結果生成部16は、その参加者を加点する。「クイズ正解」では、変数に、+[H5]点の値を設定できる。
(6)「コメント入力」とは、オンライン会議の参加者が、キーボードのような入力装置から「いいね」のようなコメントを入力することを意味する。コメントは、入力制御部18から評価結果生成部16へ送信される。参加者がコメントを入力した場合、評価結果生成部16は、その参加者を加点する。「コメント入力」では、変数に、+[H6]点の値を設定できる。
<ステップS15>
参加者状態表示閾値設定テーブル155は、参加者の獲得した点数を表示装置983に表示する際に使用する閾値を設定するテーブルである。参加者状態表示閾値設定テーブル155は、上側閾値と下側閾値との2項目を有する。
(1)上側閾値では、変数に、+[I1]点の値を設定できる。
(2)下側閾値では、変数に、+[I2]点の値を設定できる。
<ステップS16>
参加者状態表示色設定テーブル156は、参加者の獲得した点数を表示装置983に表示する際に、参加者状態表示閾値設定テーブル155に設定された上側閾値及び下側閾値にしたがって、参加者の点数を表示するときの背景色彩を決定するテーブルである。参加者状態表示色設定テーブル156は、上側閾値以上、下側閾値以下、上側閾値より小さく下側閾値より大きい範囲を示す中間の範囲との3項目を有する。
(1)上限閾値では、変数に、[色1]の値を設定できる。
(2)下限閾値では、変数に、[色2]の値を設定できる。
(3)中間の範囲では、変数に、[色3]の値を設定できる。
図9には、参加者一覧テーブル157及び参加者評価点テーブル158も示している。参加者一覧テーブル157は、ステップS31で、属性取得部12が値を設定するテーブルである。参加者評価点テーブル158は、評価結果生成部16が参加者に対する評価としてステップS36で設定するテーブルである。参加者一覧テーブル157及び参加者評価点テーブル158は、会議実施ステップS30で説明する。
動的要素設定テーブル151は、動的要素生成部13及び表示制御部14が使用する。オンライン会議システム9Sでは、サーバ100の設定受付部11は、動的要素設定テーブル151をサーバ100の動的要素生成部13と、各オンライン会議端末200の表示制御部14へ送信する。オンライン会議システム9Sでは、設定受付部11は設定した視点取得設定テーブル152から参加者状態表示色設定テーブル156の5つのテーブルを、評価結果生成部16へ送信する。
<ステップS20>
ステップS20において、オンライン会議が開始する。図7のステップS30において、オンライン会議が実施される。
<ステップS31>
ステップS31において、属性取得部12は、会議管理者から、参加者立場情報として、参加者IDと、その参加者IDの参加者が主催者かどうかの情報とを入力されることで、参加者立場情報を取得する。会議管理者は、例えば、オンライン会議の主催者である。参加者立場情報は参加者の属性を示す属性情報である。また、属性取得部12は、参加者立場情報として、参加者IDの参加者が現在発表者であるか聴講者であるかの情報を、参加者立場情報として、以下のように取得する。オンライン会議端末と参加者IDとは、対応付いている。属性取得部12は、発表が行われているオンライン会議端末を検出可能であり、この検出により、属性取得部12は、参加者IDの参加の最新の立場が発表者を聴講者という、参加者立場情報を取得できる。このように、属性取得部12は、参加者立場情報として、参加者ID、主催者かどうかの情報、及び発表者かどうかの情報を取得する。属性取得部12は、取得した参加者立場情報の値を、参加者一覧テーブル157の、参加者ID、主催者及び最新の会議中の立場の各変数に設定する。ステップS31では、サーバ100の属性取得部12は、最新の参加者一覧テーブル157を各オンライン会議端末200へ送信する。
<ステップS32>
ステップS32において、各オンライン会議端末200の表示制御部14は、ステップS32で送信された参加者一覧テーブル157を参照する。オンライン会議端末200の表示制御部14は、参照の結果、オンライン会議端末200の利用者である会議参加者が、発表者または主催者の場合には、オンライン会議端末200の表示装置983に動的要素を表示しない(ステップS32でYES)。この場合処理は、ステップS37に進む。オンライン会議端末200の表示制御部14は、参照の結果、オンライン会議端末200の利用者である会議参加者が、発表者でも主催者でもない場合には、ステップS33に処理を進める。
<ステップS33::動的要素の生成・表示>
ステップS33において、サーバ100の動的要素生成部13は、動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報13Aに基づいて、動的要素を生成する。「動的要素を生成する」とは、図8の動的要素設定テーブル151に示した、動的要素タイプと動的要素サイズとを含む動的要素生成情報13Aから、「表示部である表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される、変化制御対象となる動的要素」を生成することを意味する。
サーバ100の動的要素生成部13は、動的要素設定テーブル151の動的要素タイプ及び動的要素サイズに設定されているデータを参照して、動的要素を生成する。動的要素生成部13は、生成した動的要素を、各オンライン会議端末200に送信する。
<動的要素の表示>
表示制御部14は、動的要素を、表示装置983における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御して、表示装置983に表示する。以下に、表示制御部14による動的要素の表示について詳しく説明する。
表示制御部14は、設定内容に基づき下記いずれかの動的要素を指定位置に表示する。動的要素タイプでは、標準図形、指定文字列、認識文字列、参加者入力文字列、参加者入力文字列関連情報、参加者プロフィール文字列、指定スライド、発表者カメラ映像、会議画面全体のいずれかが、動的要素タイプとして設定されている。以下の動作は、動的要素生成部13から動的要素を受信した、各オンライン会議端末200の表示制御部14の動作である。
(1)モニタ表示サイズ取得.
表示制御部14は、オンライン会議端末200の表示装置983のモニタ表示サイズを取得する。
(2)初期表示座標計算.
表示制御部14は、動的要素設定テーブル151の初期表示位置に、絶対位置(Dx,Dy)設定がある場合は、その絶対座標を動的要素を表示すべき表示座標と決定する。表示制御部14は、動的要素設定テーブル151の初期表示位置に、相対位置として、中央、左上、右上、左下、右下のいずれかの指定がある場合は、動的要素がモニタ表示サイズの四隅における該当位置にフィットする座標を計算し、その座標を動的要素を表示すべき座標と決定する。
(3)初期表示座標に表示.
表示制御部14は、決定した座標に、動的要素を表示する。
(4)次の表示座標の計算.
(4-1)動作パタン1がフラッシュ表示の場合.
フラッシュ表示とは、連続して動的要素を表示するときに、現在表示している動的要素と、次に表示する動的要素とに重複が生じない表示態様である。つまり、フラッシュ表示の場合には、表示制御部14は、表示装置983の表示画面における動的要素の位置を移動させるとともに、移動前の位置での動的要素と、移動後の位置での動的要素とを表示装置983に表示した場合に、移動前の位置での動的要素と移動後の位置での動的要素10とに重複部分が存在しないように移動させる。
具体的には以下のようである。動的要素設定テーブル151の動作パタン1が「フラッシュ表示」の場合、表示制御部14は、モニタ表示サイズの範囲内のランダムな座標を、動的要素の次の表示座標である次回表示座標として決定する。このとき、なるべく大きく視点を動かすべく、表示制御部14は、前回表示座標と次回表示座標との距離が閾値[B11]cm以上になるように決定する。
(4-2)動作パタン1が連続移動表示の場合.
動作パタン1が「連続移動表示」の場合、表示制御部14は動的要素10の連続表示を以下のように行う。表示制御部14は、表示装置983の表示画面における動的要素の位置を移動させるとともに、移動前の位置での動的要素と、移動後の位置での動的要素とを表示装置983に表示した場合に、移動前の位置での動的要素と移動後の位置での動的要素とに重複部分が存在するように移動させる。「連続移動表示」の具多的な実施内容は以下のようである。動作パタン1が「連続移動表示」の場合、表示制御部14は、前回表示座標のx座標,y座標のどちらか、もしくは両方に1を加えた座標を次回表示座標に決定する。このとき、1を加える対象として、「x,y座標のどちらか」または「x,y座標の両方」のどちらにするかについては、表示制御部14は、ランダムに決定する。また、このとき、1を加える対象として、「x,y座標のどちらか」または「x,y座標の両方」のどちらに決定した後は、表示制御部14は、動作パタン1の「連続移動表示」に示す[B2秒]の間、または座標がモニタサイズのいずれかの端に達するまでは、1を加える対象を変更しない。なお、上記において、1を加える部分は、1を減ずることも可能であり、移動の方向は限定されない。
(5)表示サイズ計算.
(5-1)動作パタン2が「拡大縮小あり」の場合.
動的要素設定テーブル151の動作パタン2が「拡大縮小あり」の場合、表示制御部14は、動的要素10の大きさを徐々に拡大し、あるいは徐々に縮小しながら表示装置983の表示画面における位置を移動させる。具体的には以下のようである。表示制御部14は、動作パタン2に設定されている上限[C1]%、下限[C2]%の範囲内で、動的要素を拡大及び縮小する。例えばC1=200%、C2=50%である。
(5-2)動作パタン2が「拡大縮小なし」の場合.
動作パタン2が「拡大縮小なし」の場合、表示制御部14は、動的要素に対して、拡大も縮小も実施しない。
(6)次回の動的要素の表示.
(6-1)前回の動的要素を消去.
表示制御部14は、前回の動的要素を表示装置983の画面から消去する。
(6-2)次回の動的要素の表示.
表示制御部14は、上記(4)(5)で決定した座標及びサイズに基づき、次回の動的要素を表示装置983に表示する。
図10は、設定されている動的要素設定テーブル151を示す。
図11は、あるオンライン会議端末200の表示装置983の表示画面における、動的要素の表示状態である。図10と図11を参照して、動的要素の生成及び表示の具体例を説明する。図11の左側は会議開始時を示し、中央は会議開始から10秒後を示し、右側は会議開始から20秒後を示す。動的要素生成部13は、図10の動的要素タイプ及び動的要素サイズを参照して、動的要素10として、「働き方を見直そう」を生成する。動的要素設定テーブル151では、動的要素タイプは指定文字列として「働き方を見直そう」であり、動的要素サイズは、横2cm、縦10cmである。動的要素生成部13は、生成した動的要素10である「働き方を見直そう」を、各オンライン会議端末200に送信する。
各オンライン会議端末200の表示制御部14は、「働き方を見直そう」を、表示装置983の初期表示位置「相対位置(右上)」に表示する。この状態が図11の左側である。表示制御部14は、動作パタン1の「フラッシュ表示(10秒)」、動作パタン2の「拡/縮小あり(上限150%、下限30%)」、及び次回表示位置「ランダム」に従って、「働き方を見直そう」を画面に表示する。表示制御部14は会議開始から10秒後、図11の中央に示す「働き方を見直そう」を表示する。中央の「働き方を見直そう」は、「サイズ:縦3cm、横15cm」であり、「表示時間:10秒間」である。表示制御部14は会議開始から20秒後、図11の右側に示す「働き方を見直そう」を表示する。右側の「働き方を見直そう」は、「サイズ:縦1cm、横5cm」であり、「表示時間:10秒間」である。
会議画面そのものを動的要素とする場合を除き、動的表示の表示場所を、会議画面と重ならない位置に限定する設定を施すこともできる。これは、会議の映像や画像の一部が一時的に隠れることを避けながら、目の疲労軽減を図ることを目的とする。
<ステップS34:視点の取得>
オンライン会議端末200の評価結果生成部16は、各オンライン会議端末200の監視部15を用いて、全ての参加者の表示装置983のモニタ表示枠内における視点座標を定期的に取得する。視点座標の取得は、監視部15の備えるアイトラッキング技術を使用する。評価結果生成部16による取得頻度は、視点取得設定テーブル152の取得頻度の設定に従う。なお、この設定を用いて、視点座標を常時連続して取得し、一定期間内で、最も対象物と近かった視点座標を評価対象としてもよい。
<ステップS35:特別加点状態の取得>
評価結果生成部16は、生成する評価結果に、監視部15による参加者の監視結果を反映する。監視結果の例としては、図9の特別加点設定テーブル154に設定される6項目である。つまり、監視部15は、監視項目として、参加者が重要スライドを見たか、参加者が重要映像を見たか、参加者がメモをとったか、参加者が頷いたか、参加者がクイズに正解したか、または参加者がコメントを入力したかのような参加者の状態を監視する。
評価結果生成部16は、監視部15を用いて、参加者の特別加点対象状態を取得する。特別加点対象状態に該当する参加者の行為あるいは動作は、特別加点設定テーブル154に設定されている。特別加点設定テーブル154で設定されている6項目は、具体的には以下のようである。
(1)重要スライド.
「重要スライド」とは、参加者が重要なスライドまたは場面を見ている状態である。重要かどうかについては、予めプレゼンテーション資料の各ページに重要度が付与されている。評価結果生成部16は、重要度の高いページを参加者が見ていれば、その参加者の評価に加点する。
(2)重要映像.
評価結果生成部16は、発表者の映像において、重要な場面の開始合図として予め学習させておいた発表者のモーションを検知してから一定時間内もしくは、終了合図が検知されるまでの時間内に、発表者映像部分を見ていれば加点する。
(3)メモ.
評価結果生成部16は、監視部15の有する画像解析機能を用いて、参加者の動きが予め学習させておいたメモをとる動作であるかを判定する。参加者の動きが、画像解析からメモを取る動作と判定されれば、その参加者の評価に加点する。
(4)頷き.
評価結果生成部16は、監視部15の有するモーションキャプチャ機能を用いて、参加者の動きを取得する。評価結果生成部16は、参加者の動きが、予め学習させておいた「頷き動作」であるかを判定する。評価結果生成部16は、参加者の視点が動的要素の枠内にある、かつ、参加者が頷き動作をしている、と判定した場合、その参加者の評価に加点する。
(5)クイズ正解.
評価結果生成部16は、参加者に対して、発表者及び会議内容に関する問題を出す。クイズを出された参加者が問題に正解した場合、評価結果生成部16は、その参加者の評価に加点する。監視部15は入力装置984からの入力を監視しており、クイズの正解を検知する。
(6)コメント入力.
評価結果生成部16は、参加者がキーボードのような入力装置からオンライン会議端末200へ「いいね」、「よくわからない」のような意思表示またはコメントを入力した場合、その参加者の評価に加点する。監視部15は入力装置984からの入力を監視しており、該当するコメント入力を検知する。
なお、評価結果生成部16は、生成する評価結果に、加点期間として指定されている期間における監視結果を反映する場合には、監視結果の反映の度合いを増加する。これは以下のようである。「ここからは重要です。」及び「ここまでが重要な箇所です。」のような録音フレーズを評価結果生成部16は保有している。評価結果生成部16は、オンライン会議中には監視部15に音声認識させ、上記のフレーズを検出した場合に、加点期間を認識する。加点期間はオンライン会議における重要期間である。加点期間中は、監視結果の反映の度合いを増加する。これは、加点期間中でないときは重要スライドに対する加点が50点である場合、加点期間中は重要スライドに対する加点を80点とするような扱いである。評価結果生成部16は録音フレーズで加点期間を認識したが、以下のように発表者の映像で認識することもできる。評価結果生成部16は、予め、加点期間の開始と終了とを発表者のジェスチャの影像として保有している。評価結果生成部16は、オンライン会議中に、監視部15に発表者の該当するジェスチャを検知させる。これにより評価結果生成部16は加点期間を検知できる。
<ステップS36:参加者状態の評価>
<基礎評価点の算出>
評価結果生成部16は、表示装置983に表示された動的要素10を参加者が注視しているかどうかを評価し、評価結果を生成する。
(1)評価結果生成部16は、動的要素10の中心座標を計算する。中心座標は動的要素10の重心でもよい。
(2)評価結果生成部16は、参加者の視点座標を監視部15から取得する。
(3)評価結果生成部16は、動的要素10の中心と、視点座標のマッチング判定範囲を計算する。この計算において、評価結果生成部16は、視点取得設定テーブル152の「判定範囲」に設定されている「動的要素の中心座標を中心にする半径[F]cmの円の内部」を用いる。
(4)評価結果生成部16は、上記(1)~(3)の結果から、基礎評価点を算出する。評価結果生成部16は、基礎評価点算出設定テーブル153の「動的要素の中心を見ていた」及び「動的要素の中心を見ていなかった」の設定に従って、視点座標が上記(3)の円の内部であれば[G1]点を加点し、視点座標が上記(3)の円の外部であれば[G2]点を減点する。
<特別加点の算出>
ステップS35に示す状態を取得した場合、評価結果生成部16は、特別加点設定テーブル154の設定に基づき、参加者の評価に対して加点を行う。
<評価点の更新>
評価結果生成部16は、以上の計算結果に基づき、各参加者の参加者評価点テーブル158の評価点の値を更新する。
<ステップS37:参加者状態の可視化>
ステップS37において、評価結果表示部17は、評価結果生成部16の生成した評価結果を、表示装置983に表示する。
具体的には以下のようである。評価結果表示部17は、評価結果生成部16が付与した評価点に応じた、参加者状態の可視化を行う。表示色は、参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156に基づく。
(1)評価結果表示部17は、参加者の評価点が上側閾値以上であれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色1]として設定されている特定色に変更する。
(2)評価結果表示部17は、参加者の評価点が下側閾値以下であれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色2]として設定されている特定色に変更する。
(3)評価結果表示部17は、評価点が上側閾値と下側閾値の間にあれば、その参加者の表示部分、例えば枠、文字、枠内背景部分などを、[色3]として設定されている特定色に変更する。
(4)上記の(1)から(3)のように、評価結果表示部17は、評価結果生成部16により生成された評価結果を、予め設定されている色によって表示する。
なお、評価結果を色で表す方式に限らず、評価結果表示部17は、評価結果を、文字列と図形との少なくともいずれかで表示してもよい。
<ステップS38:会議終了判定>
サーバ100は会議終了かを判定し、NOであればステップS31の処理に戻り、移行の処理を繰り返す。終了であればサーバ100はステップS40で一連の処理を終了する。
図12から図14を参照して、評価結果生成部16が、基礎評価点算出設定テーブル153に基づいて、参加者003を評価する場合を説明する。
図12は、設定済の視点取得設定テーブル152及び基礎評価点算出設定テーブル153を示す。
図13は、評価結果生成部16が参加者003の視点を取得する状態を示す。
図14は、参加者評価点テーブル158の遷移を示す。視点取得設定テーブル152には、「取得頻度」が5秒間隔と設定されており、「判定範囲」が動的要素の中心座標を中心とする半径3cmの円の内部と設定されている。基礎評価点算出設定テーブル153には、「動的要素の中心付近を見ていた」場合には+10点、「動的要素の中心付近を見ていなかった」場合には-10点の加点が設定されている。「動的要素の中心付近」とは、半径3cmの円の内部である。
評価結果生成部16は、オンライン会議端末200の監視部15を用いて、参加者003の視点座標を5秒間隔で取得する。図13の左側は、会議開始0秒から会議開始10秒を示す。評価結果生成部16は、参加者003の視点座標を10秒間に2回取得し、取得した視点座標が、上記の半径3cmの円の内部に存在するかどうかを判定する。評価結果生成部16は、視点座標が半径3cmの円の内部に存在する場合には範囲内と判定し、+10点を加算する。評価結果生成部16は、視点座標が半径3cmの円の内部に存在しない場合には範囲外と判定し、-10点を加算する。図13の左側では、評価結果生成部16は、1回目を範囲内、2回目を範囲外と判定した。よって、図13の左側の会議開始0秒から会議開始10秒では、参加者003の得点は、+10-10=0点である。この点数は、図14左側の参加者評価点テーブル158に表われている。
図13の中央は、会議開始10秒から会議開始20秒を示す。評価結果生成部16は、参加者003の視点座標を10秒間に2回取得し、取得した視点座標が、上記の半径3cmの円の内部に存在するかどうかを判定する。図13の中央では、評価結果生成部16は、1回目を範囲外、2回目を範囲内と判定した。よって、図13の中央に示す会議開始10秒から会議開始20秒では、参加者003の得点は、-10+10=0点である。この点数は、図14の中央の参加者評価点テーブル158に表われている。
図13の右側は、会議開始20秒から会議開始30秒を示す。評価結果生成部16は、参加者003の視点座標を10秒間に2回取得し、取得した視点座標が、上記の半径3cmの円の内部に存在するかどうかを判定する。図13の右側では、評価結果生成部16は、1回目を範囲内、2回目も範囲内と判定した。よって、図13の右側の会議開始20秒から会議開始30秒では、参加者003の得点は、+10+10=20点である。この点数は、図14の右側の参加者評価点テーブル158に表われている。
図15から図17を参照して、評価結果生成部16が、特別加点設定テーブル154の「重要なスライド」に基づいて、参加者003に特別加点を付与する場合を説明する。
図15は、設定済の特別加点設定テーブル154である。図15において、重要スライド、重要映像、メモ、頷き、クイズ正解、コメント入力の6項目の各加点の設定値は、それぞれ、+30、+30、+50、+10、+30、+10である。
図16は、評価結果生成部16が、参加者003のスライドへの注目有無を判定する状態を示す。図16の左側は、会議開始0秒から会議開始10秒を示す。図16の右側は、会議開始10秒から会議開始20秒を示す。図16の左側には、重要でないスライドが表示されている。図16の右側には、重要なスライドが表示されている。
図17は、参加者評価点テーブル158の遷移を示す。
図16の左側は、会議開始0秒から会議開始10秒を示す。図16の左側では、評価結果生成部16は、1回目を範囲内、2回目を範囲外と判定した。また、図16の左側ではスライドが表示されているが、重要でないスライドであるので、評価結果生成部16は、重要でないスライドの表示は無視する。図16の左側の会議開始0秒から会議開始10秒では、参加者003の得点は0点である。この点数は、図17の左側の参加者評価点テーブル158に表われている。
図16の右側は、会議開始10秒から会議開始20秒を示す。図16の右側では、評価結果生成部16は、1回目を範囲外、2回目を範囲内と判定した。また、図16の右側では重要なスライドが表示されている。評価結果生成部16は、参加者003の視点座標が重要なスライドの内部に存在するかを判定する。存在すると判定した場合、図15の特別加点設定テーブル154に従って+30点を参加者003に観点する。存在すると判定した場合、評価結果生成部16は加点しない。図16の右側では評価結果生成部16は、存在する。つまり、評価結果生成部16は、参加者003が重要なスライドを見ていると判定し、+30点を参加者003に付与する。よって、評価結果生成部16は、動的要素10の視点取得に関してトータル0点、重要なスライドを見ている事の加点として+30点、合計+30点を参加者003に与える。この点数は、図17の右側の参加者評価点テーブル158に表われている。
図18から図20を参照して、評価結果生成部16が、特別加点設定テーブル154の「メモ」の項目に基づいて、参加者003に特別加点を付与する場合を説明する。
図18は、設定済の特別加点設定テーブル154であり、図15に同じである。図18では、メモは+50である。
図19は、評価結果生成部16が、参加者003がメモをとる状態を検知する状態を示す。図19の左側は、会議開始0秒から会議開始10秒を示す。図19の右側は、会議開始10秒から会議開始20秒を示す。図19の左側には、重要でないスライドが表示されている。図19の右側には、重要なスライドが表示されている。図19の右側では、参加者003はノートを開いている。
図20は、参加者評価点テーブル158の遷移を示す。
図19の左側は、会議開始0秒から会議開始10秒を示す。図19の左側では、評価結果生成部16は、1回目を範囲内、2回目を範囲外と判定した。図19の左側の会議開始0秒から会議開始10秒では、参加者003の得点は0点である。この点数は、図20の左側の参加者評価点テーブル158に表われている。
図19の右側は、会議開始10秒から会議開始20秒を示す。図19の右側では、評価結果生成部16は、1回目を範囲外、2回目も範囲外と判定した。また、図19の右側では重要なスライドが表示されている。評価結果生成部16は、参加者003が重要なスライドをみていなかったと判断した。また、図19の右側では、参加者003はノートを開いている。評価結果生成部16は、監視部15の画像解析機能を用いて、参加者003がノートにメモしていることを検知し、特別加点設定テーブル154に基づき、+50点を参加者003に加点する。図19の右側での総合点は、動的要素10の視点に関して-20、重要なスライドについて0点、メモを取ることについて+50であるで、-20+0+50=+30となる。この点数は、図20の右側の参加者評価点テーブル158に表われている。
図21から図24を参照して、評価結果表示部17による評価結果の表示を説明する。
図21は、設定済の参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156を示す。参加者状態表示閾値設定テーブル155では、上側閾値、下側閾値に300点、50点が設定されている。参加者状態表示色設定テーブル156では、上側閾値以上に赤、下側閾値以下に青、中間の範囲に緑が設定されている。評価結果表示部17は、参加者状態表示閾値設定テーブル155及び参加者状態表示色設定テーブル156を参照して、評価結果を表示装置983に表示する。
図22は、参加者評価点テーブル158を示す。図22の左側は、会議開始から5分経過時の参加者評価点テーブル158であり、右側は会議開始から10分経過時の参加者評価点テーブル158である。参加者評価点テーブル158では、参加者ID001、002の参加者は、主催者と発表者のため、評価の対象外である。会議開始から5分経過時の参加者評価点テーブル158では、参加者ID003,004,005の得点は、それぞれ、200、350,150である。会議開始から5分経過時の参加者評価点テーブル158では、参加者ID003,004,005の得点は、それぞれ、400、150,30である。
図23は、評価結果表示部17によって表示される評価結果を示す。図23の左側は、会議開始から5分経過時の表示状態を示し、右側は、会議開始から10分経過時の表示状態を示す。図23の左側では、評価結果表示部17は、参加者001、参加者002の背景は、無色にする。参加者003の得点200は中間の範囲、参加者004の得点350は上側閾値を超えており、参加者005の得点150は中間の範囲であるので、評価結果表示部17は、背景を、それぞれ、緑、赤、緑にする。同様に、図23の右側では、評価結果表示部17は、参加者001、参加者002の背景は、無色にする。また参加者003の得点400は上側閾値を超えており、参加者004の得点150は中間の範囲であり、参加者005の得点30は下側閾値未満であるので、評価結果表示部17は、背景を、それぞれ、赤、緑、青にする。
図24、図25を参照して、動的要素表示システム8Sがオンライン会議端末200Sで実現される場合を説明する。
図24は、オンライン会議システム9を示す。オンライン会議システム9は、複数のオンライン会議端末200Sを備える。
図25は、オンライン会議端末200Sのハードウェア構成を示す。図25に示すオンライン会議端末200Sのハードウェア構成のとおり、オンライン会議端末200Sは、図1に示す動的要素表示システム8Sの機能要素をすべて備えている。図24に示すオンライン会議システム9では、会議管理者の有するオンライン会議端末200Sがサーバ100の役割を有する。つまり、図6及び図7のフローチャートにおけるサーバ100の役割を、会議管理者の有するオンライン会議端末200Sが有する。
図25を参照してオンライン会議端末200Sのハードウェア構成を説明する。図25は、オンライン会議端末200Sのハードウェア構成を示す。オンライン会議端末200Sも、オンライン会議端末200と同様にコンピュータである。オンライン会議端末200Sについては、オンライン会議端末200と異なる部分を主に説明する。
オンライン会議端末200Sは、機能要素として、設定受付部11、属性取得部12、動的要素生成部13、表示制御部14、監視部15、評価結果生成部16、評価結果表示部17、入力制御部18を備える。設定受付部11、属性取得部12、動的要素生成部13、表示制御部14、監視部15、評価結果生成部16、評価結果表示部17、入力制御部18の機能は、動的要素表示プログラム7により実現される。またテーブル群記憶部19は補助記憶装置930によって実現される。
プロセッサ910は、動的要素表示プログラム7を実行する装置である。動的要素表示プログラム7は、設定受付部11、属性取得部12、動的要素生成部13、表示制御部14、監視部15、評価結果生成部16、評価結果表示部17、入力制御部18の機能を実現するプログラムである。動的要素表示プログラム7は補助記憶装置930に記憶されている。
***実施の形態1の効果***
実施の形態1の動的要素表示システム8S、オンライン会議システム9S及びオンライン会議端末200Sによれば、動的要素の表示形態によって、オンライン会議の参加者の目の疲労を低減することができる。また、実施の形態1の動的要素表示システム8S、オンライン会議システム9S及びオンライン会議端末200Sによれば、評価結果を参加者に提示することにより、オンライン会議の生産性低下の抑制を図ることができる。具体的には、会議参加者に、自分の評価点を見られていることを意識させることで、緊張感を与え、生産性低下を抑制できる。また、オンライン会議端末200または動的要素表示プログラム7によれば、サーバを設置することなく、端末装置のみで、動的要素表示システム8Sを実現することができる。
なお、目を動かすことで目の疲労を軽減することを述べている文献としては、以下の(1)及び(2)の文献が挙げられる。
(1)北出勝也(2020)「米国ビジョントレーナーが教える眼を動かすだけ1分間超集中法」光文社.
(2)中川和宏(2016)「目を動かすだけで「記憶力」と「視力」が一気によくなる!」青春出版社.
7 動的要素表示プログラム、8S 動的要素表示システム、9S オンライン会議システム、9 オンライン会議システム、10 動的要素、11 設定受付部、12 属性取得部、13 動的要素生成部、13A 動的要素生成情報、14 表示制御部、15 監視部、16 評価結果生成部、17 評価結果表示部、18 入力制御部、19 テーブル群記憶部、100 サーバ、151 動的要素設定テーブル、152 視点取得設定テーブル、153 基礎評価点算出設定テーブル、154 特別加点設定テーブル、155 参加者状態表示閾値設定テーブル、156 参加者状態表示色設定テーブル、157 参加者一覧テーブル、158 参加者評価点テーブル、200 オンライン会議端末、200S オンライン会議端末、300 ネットワーク、810 プロセッサ、820 主記憶装置、830 補助記憶装置、840 入力IF、850 出力IF、860 通信IF、870 信号線、910 プロセッサ、920 主記憶装置、930 補助記憶装置、940 入力IF、950 出力IF、960 通信IF、970 信号線、981 モーションセンサ、882 カメラ、983 表示装置、984 入力装置。

Claims (16)

  1. オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
    前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
    を備える動的要素表示システム。
  2. 前記動的要素表示システムは、さらに、
    前記動的要素を生成する動的要素生成部
    を備える請求項1に記載の動的要素表示システム。
  3. 前記表示制御部は、
    前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在するように移動させる請求項1または請求項2に記載の動的要素表示システム。
  4. 前記表示制御部は、
    前記表示部における前記動的要素の位置を移動させるとともに、移動前の位置での前記動的要素と、移動後の位置での前記動的要素とを前記表示部に表示した場合に、移動前の位置での前記動的要素と移動後の位置での前記動的要素とに重複部分が存在しないように移動させる請求項1または請求項2に記載の動的要素表示システム。
  5. 前記表示制御部は、
    前記動的要素の大きさを徐々に拡大し、あるいは徐々に縮小しながら前記表示部における位置を移動させる請求項1から請求項4のいずれか一項に記載の動的要素表示システム。
  6. 前記動的要素表示システムは、さらに、
    前記参加者の有する属性を取得する属性取得部を備え、
    前記表示制御部は、
    取得された前記属性に従って、前記動的要素を前記表示部に表示するかどうかを決定する請求項1から請求項5のいずれか一項に記載の動的要素表示システム。
  7. 前記動的要素生成部は、
    動的要素を生成するための情報であり、生成するべき動的要素の仕様が定められている情報である動的要素生成情報に基づいて、動的要素を生成する請求項2に記載の動的要素表示システム。
  8. 前記動的要素表示システムは、さらに、
    前記動的要素生成情報の設定を受け付ける設定受付部を備える請求項7に記載の動的要素表示システム。
  9. 前記表示制御部は、
    標準図形として保有している図形と、文字列と、前記オンライン会議の発表者のカメラ映像と、前記表示部のデスクトップ画面にウィンドウで表示される前記オンライン会議の会議画像と、前記オンライン会議で使用される資料と、のうちのいずれかを、前記動的要素として表示する請求項1から請求項8のいずれか一項に記載の動的要素表示システム。
  10. 前記動的要素表示システムは、さらに、
    前記評価結果を前記表示部に表示する評価結果表示部を備える請求項1から請求項9のいずれか一項に記載の動的要素表示システム。
  11. 前記評価結果表示部は、
    前記評価結果を、予め設定されている色によって表示する請求項10に記載の動的要素表示システム。
  12. 前記評価結果表示部は、
    前記評価結果を、文字列と図形との少なくともいずれかで表示する請求項10または請求項11に記載の動的要素表示システム。
  13. 前記動的要素表示システムは、さらに、
    前記参加者を監視する監視部を備え、
    前記評価結果生成部は、
    生成する評価結果に、前記監視部による前記参加者の監視結果を反映する請求項1から請求項12のいずれか一項に記載の動的要素表示システム。
  14. 前記評価結果生成部は、
    生成する評価結果に、評価加点期間として指定されている期間における前記監視結果を反映する場合には、前記監視結果の反映の度合いを増加する請求項13に記載の動的要素表示システム。
  15. オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末において、
    表示部と、
    前記表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御部と、
    前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成部と、
    を備えるオンライン会議端末。
  16. コンピュータに、
    オンライン会議に参加する参加者が前記オンライン会議で使用するオンライン会議端末の有する表示部に表示されるとともに前記参加者の視線によって注視される注視対象の要素であって、前記表示部における位置と、大きさと、向きと、形状と、色彩との少なくとも一つが変化するように制御される要素である動的要素を、前記表示部における前記位置と、前記大きさと、前記向きと、前記形状と、前記色彩との少なくとも一つが変化するように制御して、前記表示部に表示する表示制御処理と、
    前記表示部に表示された前記動的要素を前記参加者が注視しているかどうかを評価し、評価結果を生成する評価結果生成処理と、
    を実行させる動的要素表示プログラム。
JP2020158944A 2020-09-23 2020-09-23 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム Active JP7044845B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020158944A JP7044845B1 (ja) 2020-09-23 2020-09-23 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020158944A JP7044845B1 (ja) 2020-09-23 2020-09-23 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム

Publications (2)

Publication Number Publication Date
JP7044845B1 JP7044845B1 (ja) 2022-03-30
JP2022055372A true JP2022055372A (ja) 2022-04-08

Family

ID=80998732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020158944A Active JP7044845B1 (ja) 2020-09-23 2020-09-23 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム

Country Status (1)

Country Link
JP (1) JP7044845B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062218A1 (ja) * 2003-12-22 2005-07-07 Upinc. 反応情報表示システム
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
US9843768B1 (en) * 2016-09-23 2017-12-12 Intel Corporation Audience engagement feedback systems and techniques
JP2020005030A (ja) * 2018-06-25 2020-01-09 シャープ株式会社 情報処理装置、情報処理方法及びプログラム
JP2020053904A (ja) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド データ受信装置、データ配信制御方法、及びデータ配信制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062218A1 (ja) * 2003-12-22 2005-07-07 Upinc. 反応情報表示システム
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
US9843768B1 (en) * 2016-09-23 2017-12-12 Intel Corporation Audience engagement feedback systems and techniques
JP2020005030A (ja) * 2018-06-25 2020-01-09 シャープ株式会社 情報処理装置、情報処理方法及びプログラム
JP2020053904A (ja) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド データ受信装置、データ配信制御方法、及びデータ配信制御プログラム

Also Published As

Publication number Publication date
JP7044845B1 (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
Kane et al. Bonfire: a nomadic system for hybrid laptop-tabletop interaction
US11386620B2 (en) Multi-endpoint mixfd-reality meetings
US8549418B2 (en) Projected display to enhance computer device use
CN113170076B (zh) 一种用于通信会话的方法和系统
CN116194869A (zh) 人工现实协同工作环境
US11385761B2 (en) Device, method, and graphical user interface for composing CGR files
US6533417B1 (en) Method and apparatus for relieving eye strain and fatigue
JP2018137723A (ja) 遠隔会議の参加者の資質のフィードバックを提供するための方法およびシステム、コンピューティングデバイス、プログラム
US20210201002A1 (en) Moving image distribution computer program, server device, and method
US11871147B2 (en) Adjusting participant gaze in video conferences
Rzayev et al. Reading in VR: The effect of text presentation type and location
US20220326967A1 (en) Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality
He et al. Gazechat: Enhancing virtual conferences with gaze-aware 3d photos
CN111615682A (zh) 用于基于视角来选择呈现模式的方法和装置
KR20230153488A (ko) 이미지 처리 방법, 장치, 기기, 및 저장 매체
CN117616748A (zh) 具有多种空间交互模式的视频会议系统
JP7044845B1 (ja) 動的要素表示システム、オンライン会議端末及び動的要素表示プログラム
WO2023232014A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP5920858B1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
US11991263B2 (en) Notification delivery in a virtual space based on a user being in a flow state
Medlar et al. Behind the scenes: Adapting cinematography and editing concepts to navigation in virtual reality
US11928379B2 (en) Information orientation and display in extended reality environments
KR102561352B1 (ko) 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스
CN115167736B (zh) 一种图文位置调整方法、设备和存储介质
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220317

R150 Certificate of patent or registration of utility model

Ref document number: 7044845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150