JP2023006988A - 情報処理装置、プログラム及び参加者情報通知方法 - Google Patents
情報処理装置、プログラム及び参加者情報通知方法 Download PDFInfo
- Publication number
- JP2023006988A JP2023006988A JP2021109920A JP2021109920A JP2023006988A JP 2023006988 A JP2023006988 A JP 2023006988A JP 2021109920 A JP2021109920 A JP 2021109920A JP 2021109920 A JP2021109920 A JP 2021109920A JP 2023006988 A JP2023006988 A JP 2023006988A
- Authority
- JP
- Japan
- Prior art keywords
- information
- output
- participant
- unit
- output information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 120
- 230000008569 process Effects 0.000 claims description 50
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000008451 emotion Effects 0.000 claims description 25
- 230000009471 action Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 13
- 230000002996 emotional effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 240000006829 Ficus sundaica Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理装置、プログラム及び参加者情報通知方法に関する。
オンライン会議等のネットワークを介したコミュニケーションに関する技術が知られている。この種の技術として例えば特許文献1がある。特許文献1では、複数の会議参加者を撮影した画像データから切り出した顔画像に基づいて推定した各参加者の感情に応じて各参加者の顔画像の表示態様を変更する技術が記載されている。
特許文献1の技術によれば、対面での会議に比べて相手の感情や状態を把握しづらいオンライン会議でも、参加者の状態を把握し易くできる。しかしながら、オンライン会議に使用する操作端末の画面が占有されている場合、操作端末は、各参加者の状態を示す情報の表示が難しく、各参加者は、お互いの状態の把握が困難だった。
本発明は、このような状況に鑑みてなされたものであり、ネットワークを介したコミュニケーションにおいて使用する操作端末の画面が占有されている場合でも、より容易に参加者の状態を把握できる情報処理装置、プログラム及び参加者情報通知方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理装置は、ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得部と、前記出力情報取得部が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力部と、を備えることを特徴とする。
本発明によれば、ネットワークを介したコミュニケーションにおいて使用する操作端末の画面が占有されている場合でも、より容易に参加者の状態を把握できる情報処理装置、プログラム及び参加者情報通知方法を提供できる。
以下、本発明の実施形態について、図面を用いて説明する。
<オンラインコミュニケーションシステム>
オンラインコミュニケーションシステムSの概要について説明する。図1は、本発明の一実施形態に係るオンライン会議サーバ10が適用されるオンラインコミュニケーションシステムSの模式図である。なお、ここでいうシステムは、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。
オンラインコミュニケーションシステムSの概要について説明する。図1は、本発明の一実施形態に係るオンライン会議サーバ10が適用されるオンラインコミュニケーションシステムSの模式図である。なお、ここでいうシステムは、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。
本実施形態に係るオンラインコミュニケーションシステムSは、図1に示すように、複数の操作端末1と、操作端末1毎に対応した対応端末としての複数のウェアラブル端末2と、ネットワークN及びオンライン会議サーバ10を含む。オンライン会議サーバ10は、ネットワークNを介して複数の操作端末1と相互に通信可能に接続されている。なお、ウェアラブル端末2は、オンライン会議サーバ10と直接通信を行わない構成でも良いし、ネットワークNを介してオンライン会議サーバ10と直接通信を行う構成でも良い。
ネットワークNは、例えば、インターネットや、LAN(Local Area Network)や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
オンラインコミュニケーションシステムSは、オンラインコミュニケーションシステムSに参加した参加者にネットワークを介したコミュニケーションとしてのオンライン会議を提供するシステムである。オンライン会議は、ネットワークNを介して音声やテキストメッセージや画像等を参加者間で共有させて行われる会議である。また、オンラインコミュニケーションシステムSは、オンライン会議サーバ10により実現される。なお、ネットワークを介したコミュニケーションは、これに限られず、例えばオンラインゲームやオンライン授業やオンライン診療等も含まれる。
オンライン会議への各参加者は、マイクやスピーカ、カメラ等を備えたコンピュータである操作端末1を使用して参加する。オンラインコミュニケーションシステムSは、コンピュータに備えられたカメラによってオンライン会議中に参加者の撮影が行われ、当該映像がネットワークNを介してオンライン会議サーバ10に送信される。
オンライン会議サーバ10は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のコンピュータである。しかし、これに限らず、専用のハードウェアに組み込まれているコンピュータでも良い。
オンライン会議サーバ10は、受信した映像に基づいて参加者が共有するための共有画面を生成する。本実施形態に係るオンラインコミュニケーションシステムSにおいて、オンライン会議は、各参加者が共有画面を見ながらマイクやスピーカを用いてコミュニケーションをとることで行われる。なお、本実施形態では、共有画面の生成処理は、オンライン会議サーバ10で行われているが、これに限られず、例えば各参加者の操作端末1で行われても良い。この場合、オンライン会議サーバ10は、各参加者より受信した映像等のデータを各参加者の操作端末1に送信する。詳細は、後述する。なお、本明細書における映像は、画像の一態様である。
操作端末1は、オンライン会議に参加する参加者が所持する情報処理装置である。操作端末1の台数には、特に制限はなく、n台(nは、任意の自然数)の操作端末1がオンラインコミュニケーションシステムSに含まれていても良い。なお、以下の説明において、n台の操作端末1を特に区別することなく符号の末尾のアルファベットを省略し、単に「操作端末1」と称する。
操作端末1は、例えば、デスクトップ型やラップトップ型のパーソナルコンピュータである。しかし、これに限らず、例えばスマートフォンやタブレット等の携帯可能なコンピュータでも良い。また、操作端末1は、近距離無線通信等によってウェアラブル端末2に接続される。詳細は、後述する。
ウェアラブル端末2は、例えば、スマートウォッチ等の装着型情報処理装置である。ウェアラブル端末2は、操作端末1とペアリングを行って各種の情報の送受信を行う。また、ウェアラブル端末2の台数には、特に制限はなく、n台(nは、任意の自然数)のウェアラブル端末2がオンラインコミュニケーションシステムSに含まれていても良い。なお、以下の説明において、n台のウェアラブル端末2を特に区別することなく符号の末尾のアルファベットを省略し、単に「ウェアラブル端末2」と称する。
なお、図1に示したオンラインコミュニケーションシステムSは一例に過ぎず、オンライン会議サーバ10が他の機能を有しても良いし、他の機能を有するサーバが含まれていても良い。また、オンライン会議サーバ10に含まれる機能をそれぞれ別個のサーバ装置で実現しても良い。
<オンライン会議サーバ>
次に、オンライン会議サーバ10の一例について説明する。図2は、本発明の一実施形態に係るオンライン会議サーバ10のハードウェアの構成を示すブロック図である。
次に、オンライン会議サーバ10の一例について説明する。図2は、本発明の一実施形態に係るオンライン会議サーバ10のハードウェアの構成を示すブロック図である。
オンライン会議サーバ10は、図2に示すようにCPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力部14と、出力部15と、記憶部16と、通信部17と、電源部18と、バス19と、入出力インターフェース20と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部16からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス19を介して相互に接続されている。このバス19にはまた、入出力インターフェース20も接続されている。入出力インターフェース20には、入力部14、出力部15、記憶部16、通信部17及び電源部18が接続されている。
入力部14及び出力部15は、有線又は無線により電気的に入出力インターフェース20に接続されるユーザインターフェースである。入力部14は、例えばキーボードやマウス、各種ボタン、マイク等で構成され、ユーザの指示操作に応じて各種情報を入力する。出力部15は、例えば画像を表示するディスプレイや音声を拡声するスピーカ等で構成され、画像や音声を出力する。
記憶部16は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、オンライン会議サーバ10の各種のデータを記憶する。例えば、記憶部16は、参加者の状態が表現された出力情報として感情を表現する複数のアイコン等の画像情報を記憶する。
通信部17は、インターネットを含むネットワークを介して他の装置(図示せず)との間でCPU11が行う通信を制御する。
電源部18は、外部電源に接続されることによってオンライン会議サーバ10の各部に電力を供給可能に構成される。
また、オンライン会議サーバ10は、上述したハードウェアに加えて、他のハードウェアを更に備えていても良い。例えば、オンライン会議サーバ10は、ランプやスピーカ或いは振動用モータ等で構成され、光や音声或いはバイブレーション信号を出力する出力部等を更に備えても良い。
次に、オンライン会議サーバ10の機能的構成について説明する。図3は、図2のオンライン会議サーバ10の機能的構成のうち、参加者情報通知処理を実行するための機能的構成を示す機能ブロック図である。なお、参加者情報通知処理は、オンライン会議に参加する参加者の状態が表現された出力情報であるアイコン等の画像を送信して参加者に通知する一連の処理である。参加者情報通知処理は、オンラインコミュニケーションシステムSが提供するオンライン会議を行うためのオンライン会議処理に含まれる。この参加者情報通知処理については、後述する。
オンライン会議サーバ10の各種の制御を行う制御部30は、演算処理を実行するCPU11によって実現される。また、記憶部16には、不図示のユーザデータベースが構築されており、予めオンラインコミュニケーションシステムSに登録されているユーザ等に関する情報が格納されている。
本実施形態の制御部30は、通信処理部(通信処理機能)31と、出力処理部(出力処理機能)32と、入力処理部(入力処理機能)33と、画面占有判定部(画面占有判定機能)34と、参加者情報取得部(参加者情報取得機能)35と、出力情報設定部(出力情報設定機能)36と、参加者情報出力部(参加者情報出力機能)37と、出力情報取得部(出力情報取得機能)38と、を有する。
通信処理部31は、通信部17を介して外部の機器と通信するための処理を実行する。例えば、通信処理部31は、オンライン会議サーバ10に接続される操作端末1と各種の情報を送受信するための処理を実行する。
出力処理部32は、オンライン会議サーバ10の出力部15の画面に画像を表示するための処理を実行する。例えば、出力処理部32は、オンラインコミュニケーションシステムSの管理のための管理画面を出力部15の画面に表示する処理を実行する。
入力処理部33は、ユーザによる入力部14の操作を受け付ける処理を実行する。例えば、入力処理部33は、出力部15の画面に表示された情報に基づいてユーザが入力部14に入力したオンラインコミュニケーションシステムSの管理のための操作を受け付ける処理を実行する。
画面占有判定部34は、オンラインコミュニケーションシステムSにおける参加者に送信する共有画面の画像情報について、画面の全部又は一部が占有されているか否かの判定処理を実行する。言い換えると、オンライン会議サーバ10は、操作端末1の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部34を備える。
画面の全部が占有されている状態とは、操作端末1におけるオンライン会議のためのアプリのウィンドウにおいて、所定の画像によって画面枠内のすべてが占有されている状態である。所定の画像とは、例えばプレゼンテーション用のアプリにおけるスライド表示画面である。この場合、画面の全部が占有されている状態とは、スライド表示画面を全画面表示された状態である。また、画面の一部が占有されている状態とは、所定の画像によって画面枠内の予め設定した面積を超える領域が占有されている状態である。本実施形態では、当該状態の判定は、例えば、あるプログラムにおいて所定の動作が行われたか否かで判定している。しかし、判定方法は、これに限らない。例えば、判定方法は、画面におけるプログラムの占める面積で判定しても良い。
参加者情報取得部35は、オンライン会議への参加者の状態を示す参加者情報を取得する。参加者情報としては、参加者の脈波や脳波等の生体情報や感情の情報や体動情報や行動情報等である。本実施形態に係る参加者情報取得部35は、後述するウェアラブル端末2で取得された生体情報又は生体情報に基づく感情の情報を取得する。
感情の情報は、生体情報から推定される。例えば、感情の情報は、脈拍からPPI(Pulse Peak Interval)を取得し、取得したPPIの平均値や標準偏差、周波数成分(VLF、LF、HF)等の入力値に基づいて推定されても良い。これらの入力値からの感情の情報の推定は、所定のアルゴリズムで特定しても良いし、機械学習によって学習された学習モデルを利用して特定しても良い。
また本実施形態では、感情の情報は、ウェアラブル端末2によって生体情報に基づいて生成されている。しかし、これに限らない。例えば、感情の情報は、操作端末1がウェアラブル端末2から受信した生体情報に基づき操作端末1によって生成されても良いし、オンライン会議サーバ10がウェアラブル端末2から受信した生体情報に基づきオンライン会議サーバ10によって生成されても良い。
また、生体情報又は感情の情報は、操作端末1を介してウェアラブル端末2から取得しても良いし、ウェアラブル端末2から直接通信によって取得しても良い。
出力情報設定部36は、参加者情報に基づいて参加者の状態が表現された出力情報を設定する。参加者情報は、例えば参加者が身に着けるウェアラブル端末2の生体センサによって取得された生体情報又は感情の情報に基づいて生成される。設定される出力情報は、例えば図8に示すような参加者の感情を表現した笑顔のアイコンや不安な感情を示す不安な顔のアイコン等の画像情報である。しかし、これに限らず、出力情報は、音声データでも良い。また、ウェアラブル端末2が振動モータ等の駆動部を有する場合は駆動データでも良い。
しかし、これに限らず、他の感情を示す画像を用いても良い。また、出力情報が示す参加者の状態は、感情に限らない。また、出力情報の形式は、画像に限らず、参加者の状態を報せるアニメーションや動画、又はこれらに音声データを加えたものでも良い。
参加者情報出力部37は、操作端末1の画面又はオンライン会議に使用する操作端末1に関連付けられたウェアラブル端末2に出力情報に基づく画像を出力する。本実施形態において出力情報に基づく画面とは、出力情報を反映した共有画面を示す。また、参加者情報出力部37は、画面占有判定部34の判定結果に基づいて共有画面の送信先を切り替える処理を行う。
即ち、参加者情報出力部37は、占有状態ではない場合は、操作端末1の画面に出力情報に基づく画像を出力する処理を実行し、占有状態の場合は、ウェアラブル端末2に前記出力情報に基づく画像を出力する処理を実行する。本実施形態では、ウェアラブル端末2に出力情報に基づく画像を出力する処理は、オンライン会議サーバ10が操作端末1に指令してウェアラブル端末2に画像を出力させる処理であるが、これに限らず、オンライン会議サーバ10が直接ウェアラブル端末2に画像を出力する処理でも良い。なお、本実施形態では、参加者情報出力部37は、コミュニケーションに使用するための画像や音声やテキストデータ等のコミュニケーション情報とは別に出力情報を出力する。しかし、これに限らず、参加者情報出力部37は、出力情報と共にコミュニケーション情報を出力しても良い。
出力情報取得部38は、出力情報設定部36が設定した出力情報や通信処理部31が通信部17を介して外部より受信を受け付けた出力情報を取得し、参加者情報出力部37に出力する処理を実行する。
<操作端末>
次に、操作端末1の一例について説明する。図4は、本発明の一実施形態に係る操作端末1のハードウェアの構成を示すブロック図である。
次に、操作端末1の一例について説明する。図4は、本発明の一実施形態に係る操作端末1のハードウェアの構成を示すブロック図である。
本実施形態の操作端末1は、CPU41と、ROM42と、RAM43と、入力部44と、出力部45と、記憶部46と、通信部47と、近距離通信部48と、バッテリ49と、バス50と、入出力インターフェース51と、を備えるコンピュータである。なお、既に説明した構成と共通又は同様の構成については同じ名称をつけて詳細な説明を省略する場合がある。
入出力インターフェース51には、入力部44と、出力部45と、記憶部46と、通信部47と、近距離通信部48及びバッテリ49が接続されている。
近距離通信部48は、ウェアラブル端末2と無線通信を行う第2の通信部である。近距離通信部48は、例えば、BLE(Bluetooth(登録商標) Low Energy)やWi-Fi(Wireless Fidelity)の通信規格に基づいた通信方式でウェアラブル端末2と通信を行う。
バッテリ49は、操作端末1に電力を供給する。例えば、バッテリ49はリチウムイオン電池によって構成される。なお、操作端末1がデスクトップ型パーソナルコンピュータである場合は、操作端末1は、バッテリ49ではなく外部電源に接続されることによって操作端末1に電力を供給可能な電源部を有する。
次に、操作端末1の機能的構成について説明する。図5は、本発明の一実施形態に係る操作端末1の機能的構成の一部を示す機能ブロック図である。操作端末1の各種の制御を行う制御部60は、演算処理を実行するCPU41によって実現される。本実施形態の制御部60は、通信処理部61と、出力処理部62と、入力処理部63と、オンライン会議処理部64と、を有する。
オンライン会議処理部64は、オンラインコミュニケーションシステムSによるオンライン会議に関する各種の処理を行う。オンライン会議処理部64は、例えば、入力処理部63が受け付けた入力部44のマイクやカメラに入力された情報を通信処理部61に指令して通信部47を介してオンライン会議サーバ10に送信させる処理を実行する。また、オンライン会議処理部64は、通信部47を介して通信処理部61が受信したオンライン会議サーバ10から送信された共有画面の画像情報を取得して出力処理部62に指令して出力部45に出力させる処理を実行する。
<ウェアラブル端末>
次に、ウェアラブル端末2の一例について説明する。図6は、本発明の一実施形態に係るウェアラブル端末2のハードウェアの構成を示すブロック図である。
次に、ウェアラブル端末2の一例について説明する。図6は、本発明の一実施形態に係るウェアラブル端末2のハードウェアの構成を示すブロック図である。
本実施形態のウェアラブル端末2は、CPU71と、ROM72と、RAM73と、入力部74と、出力部75と、記憶部76と、通信部77と、GNSS部78と、体動センサとしての加速度センサ79と、近距離通信部80と、生体センサ81と、バッテリ82と、バス83と、入出力インターフェース84と、を備えるコンピュータである。なお、既に説明した構成と共通又は同様の構成については同じ名称をつけて詳細な説明を省略する場合がある。
GNSS部78は、位置情報を取得するための測位情報取得部である。GNSSは、Global Navigation Satellite Systemの略称であり、GNSS部78はGPS等の衛星測位システムを利用する。GNSS部78は、アンテナを含み、複数の測位衛星から送信される測位衛星信号に基づいて測位を行って自身の位置を特定する。
加速度センサ79は、任意の方向の移動と加速度を検出する装置である。例えば、加速度センサ79は、静電容量型或いはピエゾ抵抗素子型の3軸センサであり、3軸方向のそれぞれに生じる加速度を検出する。
生体センサ81は、ユーザの生体情報を取得する生体情報取得装置である。生体情報は、ユーザの脈拍やウェアラブル端末2がユーザの皮膚に接触しているか否か等の情報である。
本実施形態の生体センサ81は、ウェアラブル端末2の裏面(ユーザに接触する面)側に配置される。生体センサ81は、例えば、光学式のものや電流に基づく電流検知式のものが用いられる。光学式の場合、生体センサ81は、ユーザの皮膚に光を照射し、その反射光を測定すること等により、ユーザの生体情報を検出する。電流検知式の場合、生体センサ81は、ユーザの皮膚の微弱電流を直接検出することによって生体情報を取得したり、微弱な電流を皮膚に流して心拍を計測する生体インピーダンス法等を利用して生体情報を取得したりする。
次に、ウェアラブル端末2の機能的構成について説明する。図7は、本発明の一実施形態に係るウェアラブル端末2の機能的構成の一部を示す機能ブロック図である。ウェアラブル端末2の各種の制御を行う制御部90は、演算処理を実行するCPU71によって実現される。本実施形態の制御部90は、通信処理部91と、出力処理部92と、入力処理部93と、位置情報取得部94と、生体情報取得部95と、体動情報取得部96と、オンライン会議処理部97と、を有する。
位置情報取得部94は、GNSS部78が検出する測位信号に基づいてウェアラブル端末2の現在位置を示す位置情報を取得する処理を実行する。
生体情報取得部95は、生体センサ81から取得する信号に基づいてユーザの脈拍を示す情報や、参加者がウェアラブル端末2を身に着けているか否かを示す情報等の生体情報を取得する。なお、生体情報取得部95が、生体情報に基づいて感情の情報を生成しても良い。
体動情報取得部96は、加速度センサ79が検出する信号に基づいて体動情報を取得するための処理を実行する。なお、本実施形態に係るオンライン会議では、ウェアラブル端末2は、会議開始までに参加者により装着される。従って、ウェアラブル端末2は、生体センサ81や加速度センサ79により生体情報や体動情報を取得させ、操作端末1とウェアラブル端末2とをペアリングさせ近距離通信を行うことで、操作端末1に生体情報や体動情報を送信することができる。
オンライン会議処理部97は、オンラインコミュニケーションシステムSによるオンライン会議に関する各種の処理を行う。例えば、オンライン会議処理部97は、オンライン会議中に生体情報取得部95が取得した生体情報を通信処理部91に指令して近距離通信部80を介して操作端末1に送信する処理を実行する。
<参加者情報通知処理の例>
次に、本実施形態に係るオンラインコミュニケーションシステムSについて、図8、9を用いてより詳細に説明する。図8は、オンライン会議時の操作端末1の画面表示を示す模式図である。図9は、オンライン会議時で操作端末の画面が占有されている場合のウェアラブル端末2の画面表示を説明する模式図である。
次に、本実施形態に係るオンラインコミュニケーションシステムSについて、図8、9を用いてより詳細に説明する。図8は、オンライン会議時の操作端末1の画面表示を示す模式図である。図9は、オンライン会議時で操作端末の画面が占有されている場合のウェアラブル端末2の画面表示を説明する模式図である。
上述のように、本実施形態に係るオンラインコミュニケーションシステムSでは、オンライン会議サーバ10は、オンライン会議に参加する各参加者が映った画像や音声を共有可能な画面を生成する。各参加者は、生成された画面を見ながらコミュニケーションを取ることができる。
本実施形態に係るオンラインコミュニケーションシステムSでは、更に各参加者が装着したウェアラブル端末2により生体情報を取得し、図8に示すように取得された生体情報に基づいて感情を示すアイコンを共有される画面に表示させる処理が行われている。これにより、カメラが故障した時等によって共有画面に映像を送信できない参加者がいる場合でも、参加者の状況は、アイコンを確認することで把握可能となっている。
また、本実施形態に係るオンラインコミュニケーションシステムSでは、共有する画面に各参加者を表示させずに資料を全画面表示させる場合がある。この場合に、オンラインコミュニケーションシステムSでは、図9に示すようにウェアラブル端末2に近距離通信により操作端末1に出力情報を送信し、ウェアラブル端末2の画面に感情を示すアイコンを表示する処理を行っている。このため、参加者の状況は、共有する画面に資料を全画面表示させる場合でも、ウェアラブル端末2の画面に表示されたアイコンを確認することで把握可能となっている。
また、本実施形態に係るオンラインコミュニケーションシステムSは、特に不安を感じているようなネガティブな感情を持つ参加者及び対応するアイコンを優先的に表示させる設定としている。オンライン会議の質は、会議進行において会議で取り扱う内容について賛同できなかったり理解ができなかったりする人に対してアクションを取ることで向上につながる。一方、賛同できなかったり理解ができなかったりする人の感情は、ネガティブな感情であることが多い。従って、本実施形態に係るオンラインコミュニケーションシステムSでは、例えばオンライン会議の進行者にネガティブな感情を持つ参加者及びアイコンを優先的に表示させて報せることができる。なお、優先表示の設定は、これに限らない。例えば、優先表示の設定は、ポジティブな感情を持つ参加者及びアイコンを優先的に表示させる設定でも良いし、あるいは感情について反応のない参加者及びアイコンを優先的に表示させる設定でも良い。
また、本実施形態に係るオンライン会議サーバ10は、参加者の状況を報せるために感情を示すアイコンを出力しているが、これに限らない。例えば、オンライン会議サーバ10は、参加者の状況を示す音声データを出力しても良い。この場合、音声データは、参加者の状況を読み上げた音声でも良いし、参加者の状況を表現可能な楽曲でも良いし、効果音でも良い。更にウェアラブル端末2が振動可能な振動モータ等の振動部を有する場合は、オンライン会議サーバ10は、振動部への発信信号を出力しても良い。
このような参加者情報通知処理を実行する場合には、図2、3に示すように、CPU11の制御部30において、画面占有判定部34と、参加者情報取得部35と、出力情報設定部36と、参加者情報出力部37と、が機能する。
図10は、図3の機能的構成を有する図2のオンライン会議サーバ10が実行する参加者情報通知処理の流れを説明するフローチャートである。参加者情報通知処理は、オンラインコミュニケーションシステムSによるオンライン会議の開始によって実行される。なお、参加者情報通知処理は、オンライン会議中に開始と終了の操作をできるような設定としても良い。
まず、参加者情報取得部35は、通信処理部31が通信部17による参加者情報の受信を受け付けたか否かを確認する(ステップS10)。次に、参加者情報取得部35は、通信処理部31が通信部17による出力情報の受信を受け付けている場合(ステップS10:YES)、出力情報設定部36は、記憶部16に記憶させた複数のアイコンから取得した出力情報に関連するアイコンの画像情報を選択する(ステップS11)。
次に、画像占有判定部34は、各参加者の操作端末1について出力部15の画面が占有状態であるか否かを確認する(ステップS12)。操作端末1の出力部15の画面が占有状態である場合(ステップS12:YES)、出力情報取得部38は、出力情報設定部36が選択したアイコンの画像情報を取得して参加者情報出力部37に送信する。参加者情報出力部37は、受信したアイコンの画像情報をウェアラブル端末2に出力し(ステップS13)、処理をステップS15に移行する。また、操作端末1の出力部15の画面が占有状態でない場合(ステップS12:NO)、参加者情報出力部37は、選択したアイコン画像情報を操作端末1に出力し(ステップS14)、処理をステップS15に移行する。
制御部30は、オンライン会議処理の終了操作が入力されたか否かを確認する(ステップS15)。オンライン会議処理の終了操作が入力されていない場合(ステップS15:NO)、制御部30は、処理をステップS10に移行する。オンライン会議処理の終了操作が入力されている場合(ステップS15:YES)、制御部30は、参加者情報通知処理を終了させる。
以上のように構成されるオンライン会議サーバ10は、ネットワークNを介したオンライン会議に参加する参加者の状態が表現された出力情報を取得する出力情報取得部38と、出力情報取得部38が取得した出力情報をオンライン会議に使用する操作端末1に関連付けられたウェアラブル端末2に出力する参加者情報出力部37と、を備える。
これにより、ネットワークNを介したコミュニケーションにおいて使用する操作端末1の画面が占有されている場合でも、ウェアラブル端末2によって参加者の状態を容易に把握することができる。従って、対面での会議に比べて相手の感情や状態を把握しづらいオンライン会議等のコミュニューションの質を効果的に向上させることができる。
また、本実施形態に係るオンライン会議サーバ10は、参加者の状態を示す参加者情報を取得する参加者情報取得部35と、参加者情報に基づいて参加者の状態が表現された出力情報を設定する出力情報設定部36と、を備える。
これにより、オンライン会議サーバ10は、参加者情報を取得すると自動で参加者の状態が表現された画像や音声を設定することができ、参加者は、より簡便に他の参加者の状態を把握することができる。
また、本実施形態に係るオンライン会議サーバ10では、出力情報取得部38は、ネットワークNを介したコミュニケーションに参加する参加者の参加者画像情報を取得可能であり、参加者情報出力部37は、出力情報取得部38が参加者画像情報を取得した場合は、参加者画像情報を操作端末1に出力し、出力情報取得部38が参加者画像情報を取得しない場合は、出力情報をウェアラブル端末2に出力する。
これにより、参加者は、カメラを使用しない参加者の状態を知ることができ、よりオンライン会議の質を効果的に向上させることができる。
また、本実施形態に係るオンライン会議サーバ10において、参加者情報出力部37は、操作端末1の画面に出力情報に基づく画像を出力する処理を実行可能に構成される。
これにより、オンライン会議サーバ10の参加者情報出力部37は、ウェアラブル端末2の他に操作端末1の画面にも出力情報に基づく画像を出力でき、出力情報に基づく画像の確認手段の選択肢が多くなることで参加者の状況把握がより容易になる。
また、本実施形態に係るオンライン会議サーバ10は、操作端末1の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部34を備え、参加者情報出力部37は、占有状態ではない場合は、操作端末1の画面に出力情報に基づく画像を出力する処理を実行し、占有状態の場合は、ウェアラブル端末2に出力情報に基づく画像を出力する処理を実行する。
これにより、操作端末1の画面が占有状態にあり、出力情報に基づく画像を確認できないような場合でも、参加者は、ウェアラブル端末2に出力情報に基づく画像が自動で送信されるため、他の参加者の状況把握がより容易になる。
また、本実施形態に係るオンライン会議サーバ10において、参加者情報は、参加者が身に着けるウェアラブル端末2の生体センサ81によって取得された参加者の生体情報に基づき、出力情報設定部36は、生体情報に基づいてユーザの感情を示す出力情報を設定する。
これにより、参加者の生体情報に基づいて精度良く参加者の状態を伝達することができ、オンライン会議の質をより高めることができる。
また、本実施形態に係るオンライン会議サーバ10において、参加者情報は、参加者が身に着けるウェアラブル端末2の加速度センサ79によって取得された参加者の所定の動作を示す体動情報に基づき、出力情報設定部36は、体動情報に基づいてユーザの所定の動作を示す出力情報を設定する。
これにより、参加者の体動情報に基づいて参加者の動作による意思表示を伝達することが容易になり、オンライン会議の質をより高めることができる。
[変形例]
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を変形し、以下に例示するような変形例とすることができる。また、以下に例示するような変形例を組み合わせることもできる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を変形し、以下に例示するような変形例とすることができる。また、以下に例示するような変形例を組み合わせることもできる。
<第1の変形例>
上述の実施形態に係るオンラインコミュニケーションシステムSでは、オンライン会議サーバ10は、操作端末1の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定の結果に応じて、アイコンの画像情報の出力先を切り替える処理を実行していたがこれに限らない。例えば、オンライン会議サーバ10では画面の占有状態か否かの判定は、行われずに、操作端末1でオンライン会議サーバ10から受信する画面情報が占有状態か否かの判定が行われても良い。この場合、操作端末1は、占有状態の判定の結果に応じて操作端末1の画面とウェアラブル端末2とで出力先を切り替える。以下に詳細を説明する。
上述の実施形態に係るオンラインコミュニケーションシステムSでは、オンライン会議サーバ10は、操作端末1の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定の結果に応じて、アイコンの画像情報の出力先を切り替える処理を実行していたがこれに限らない。例えば、オンライン会議サーバ10では画面の占有状態か否かの判定は、行われずに、操作端末1でオンライン会議サーバ10から受信する画面情報が占有状態か否かの判定が行われても良い。この場合、操作端末1は、占有状態の判定の結果に応じて操作端末1の画面とウェアラブル端末2とで出力先を切り替える。以下に詳細を説明する。
なお、第1の変形例に係るオンライン会議サーバ10及びウェアラブル端末2は、本実施形態と同様の構成であり、同じ名称をつけて詳細な説明を省略する。また、第1の変形例に係る操作端末1のハードウェアの構成も同様に、実施形態と同様の構成の為、同じ名称をつけて詳細な説明を省略する。
まず、第1の変形例に係る操作端末1の機能的構成について図11を用いて説明する。図11は、第1の変形例に係る操作端末1の機能的構成のうち、参加者情報通知処理を実行する機能的構成の機能ブロック図である。第1の変形例に係る操作端末1の各種の制御を行う制御部60Bは、演算処理を実行するCPU41によって実現される。
本変形例の制御部60Bは、通信処理部(通信処理機能)61と、出力処理部(出力処理機能)62と、入力処理部(入力処理機能)63と、オンライン会議処理部(オンライン会議処理機能)64と、出力情報取得部(出力情報取得機能)65と、画面占有判定部(画面占有判定機能)66と、出力情報出力部(出力情報出力機能)67と、を有する。なお、既に説明した構成と共通又は同様の構成については同じ名称をつけて詳細な説明を省略する場合がある。
出力情報取得部65は、ネットワークNを介したオンライン会議に参加する参加者の状態を示す参加者情報に基づいて参加者の状態が表現された出力情報を取得する処理を実行する。本変形例に係るオンラインコミュニケーションシステムSにおいて、オンライン会議サーバ10は、生成した共有画面の画面情報の他に出力情報設定部36が設定した出力情報を送信する設定となっている。
画面占有判定部66は、出力情報取得部65が取得した画像情報に基づいて画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う。
出力情報出力部67は、出力情報取得部65により取得された出力情報を対応するウェアラブル端末2に出力する処理を実行可能である。本実施形態では、出力情報出力部67は、画面占有判定部66によって画面が占有状態であると判定された場合、出力情報取得部65により取得された出力情報をウェアラブル端末2に出力する。
次に、第1の変形例の具体的な処理について説明する。図12は、第1の変形例に係る操作端末1が実行する参加者情報通知処理の流れを説明するフローチャートである。参加者情報通知処理は、オンラインコミュニケーションシステムSによるオンライン会議の開始によって実行される。
まず、出力情報取得部65は、共有画面情報を取得する(ステップS20)。次に、画面占有判定部66は、取得した共有画面情報に基づいて画面が占有状態にあるか否かを判定する(ステップS21)。画面が占有状態にある場合(ステップS21:YES)、出力情報出力部67は、通信処理部61に指令して通信部47を介してウェアラブル端末2に出力情報を出力させて、処理をステップS24に移行させる。一方、画面が占有状態にない場合(ステップS21:NO)、出力情報出力部67は、出力処理部62に指令して出力部45の画面に共有画面情報を出力させて、処理をステップS24に移行させる。
次に、オンライン会議処理部64は、オンライン会議の終了操作が入力されたか否かを確認する(ステップS24)。オンライン会議の終了操作が入力された場合(ステップS24:NO)、オンライン会議処理部64は、処理をステップS20に移行させる。一方、オンライン会議の終了操作が入力された場合(ステップS24:YES)、オンライン会議処理部64は、参加者情報通知処理を終了させる。
以上説明したように、本実施形態に係るオンライン会議サーバ10は、ネットワークNを介したオンライン会議に参加する参加者の状態を示す参加者情報に基づいて参加者の状態が表現された出力情報を取得する出力情報取得部65と、オンライン会議に使用する画面情報を画面に出力する処理を行う出力処理部62と、画面情報に基づいて画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部66と、出力情報取得部65により取得された出力情報を対応するウェアラブル端末2に出力する処理を実行可能な出力情報出力部67と、を備え、出力情報出力部67は、画面占有判定部66によって画面が占有状態であると判定された場合、出力情報取得部65により取得された出力情報をウェアラブル端末2に出力する。
これにより、本実施形態に係るオンライン会議サーバ10は、オンライン会議において使用する操作端末1の画面が占有されている場合でも、より容易に参加者の状態を把握できる。
<第2の変形例>
また、上述の実施形態では、参加者情報は、各参加者が装着するウェアラブル端末2の生体センサ81により取得した生体情報に基づいた情報だったが、これに限らない。例えば、参加者情報は、各参加者が装着するウェアラブル端末2の加速度センサ79により取得した体動情報に基づいた情報でも良い。なお、第2の変形例に係るオンライン会議サーバ10、操作端末1及びウェアラブル端末2は、実施形態と同様の構成であり、同じ名称をつけて詳細な説明を省略する。
また、上述の実施形態では、参加者情報は、各参加者が装着するウェアラブル端末2の生体センサ81により取得した生体情報に基づいた情報だったが、これに限らない。例えば、参加者情報は、各参加者が装着するウェアラブル端末2の加速度センサ79により取得した体動情報に基づいた情報でも良い。なお、第2の変形例に係るオンライン会議サーバ10、操作端末1及びウェアラブル端末2は、実施形態と同様の構成であり、同じ名称をつけて詳細な説明を省略する。
本変形例では、各参加者が身に着けるウェアラブル端末2の加速度センサ79によって取得された参加者の所定の動きを示す体動情報を取得する。次に、ウェアラブル端末2は、近距離通信部80を介して操作端末1に体動情報を送信する。体動情報を受信した操作端末1は、通信部を介してオンライン会議サーバ10に体動情報に基づいた参加者情報を送信する。言い換えると、参加者情報は、参加者が身に着けるウェアラブル端末2の加速度センサ79によって取得された体動情報に基づいて生成される。なお、ウェアラブル端末2は、通信部77を介して直接オンライン会議サーバ10に体動情報を送信しても良い。
また、オンライン会議サーバ10では、取得した体動情報から挙手や拍手等の動きを推定する行動推定処理が行われる。オンライン会議サーバ10では、推定した行動に近い動作のアイコンを選択する。本実施形態では、動作のアイコンは、挙手や拍手等の動きを表現しているが、これに限らない。
オンライン会議サーバ10は、選択されたアイコンを共有画面に反映させる。また、本変形例に係るオンラインコミュニケーションシステムSでは、図13に示すように操作端末1の画面が占有されて場合でも出力先を切り替えてウェアラブル端末2に参加者の動作状態を示すことができる。
なお、行動推定処理は、取得した体動情報に基づいてオンライン会議サーバ10で行われたが、これに限らず、操作端末1で行われても良い。また、本変形例に係るオンライン会議サーバ10では、参加者情報は、加速度センサ79によって取得された体動情報に基づいていたが、更に生体センサ81によって取得された生体情報にも基づいていても良い。
以上説明したように、本実施形態に係るオンライン会議サーバ10では、参加者情報は、参加者が身に着けるウェアラブル端末2の加速度センサ79によって取得された参加者の所定の動作を示す体動情報に基づき、出力情報設定部36は、体動情報に基づいてユーザの所定の動作を示す出力情報を設定する。
これにより、参加者は、ウェアラブル端末2を装着した状態で所定の動作を行うことで、体動情報を介して積極的に他の参加者に意思を伝えることができ、よりオンライン会議の質を高めることができる。
また、本実施形態では、オンライン会議サーバ10は、生体情報に基づいてユーザの感情を推定していたが、これに限らず、カメラにより取得した画像に基づいてユーザの感情を推定しても良い。この場合、オンライン会議サーバ10は、映像脈波を取得して取得した映像脈波から感情を推定しても良いし、機械学習等により学習した学習モデル(AI:Artificial Intelligence)を用いて感情を推定させる処理でも良い。
また、上述の実施形態では、ウェアラブル端末2という同じ装置に操作端末1の画面が占有状態にある場合のアイコンの画像情報を表示するための画面と生体情報を取得する生体センサとが設けられた構成だったが、これに限らない。例えば、操作端末1の画面が占有状態にある場合のアイコンの画像情報を表示する画面と生体情報を取得する生体センサとは、別の装置に設けられる構成でも良い。
また、出力情報は、参加者情報に基づいてオンライン会議サーバ10で生成されていたが、これに限らず、操作端末1又はウェアラブル端末2で生成しても良い。また、参加者情報は、操作端末1で生体情報に基づき生成していたが、これに限らず、オンライン会議サーバ10又はウェアラブル端末2で生成しても良い。
また、本実施形態に係るオンラインコミュニケーションシステムSは、オンライン会議に適用していたが、これに限らない。例えば、オンラインコミュニケーションシステムSは、オンラインゲームに適用しても良い。この場合、操作端末1の画面がオンラインゲームの画像に占有される占有状態の場合は、参加者情報出力部37は、ウェアラブル端末2に出力情報に基づく画像を出力する処理を実行する。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図3、5、7、11の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がオンライン会議サーバ10に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3、5、7、11の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2のROM12や、図2の記憶部16に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記出力情報取得部が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力部と、
を備える情報処理装置。
[付記2]
前記参加者の状態を示す参加者情報を取得する参加者情報取得部と、
前記参加者情報に基づいて参加者の状態が表現された前記出力情報を設定する出力情報設定部と、を備える付記1に記載の情報処理装置。
[付記3]
前記出力情報取得部は、前記コミュニケーションに参加する参加者の参加者画像情報を取得可能であり、
前記参加者情報出力部は、
前記出力情報取得部が前記参加者画像情報を取得した場合は、前記参加者画像情報を前記操作端末に出力し、
前記出力情報取得部が前記参加者画像情報を取得しない場合は、前記出力情報を前記対応端末に出力する付記2に記載の情報処理装置。
[付記4]
前記参加者情報出力部は、
前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行可能な付記2又は3に記載の情報処理装置。
[付記5]
前記操作端末の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部を備え、
前記参加者情報出力部は、
前記占有状態ではない場合は、前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行し、
前記占有状態の場合は、前記対応端末に前記出力情報を出力する処理を実行する付記2から4の何れかに記載の情報処理装置。
[付記6]
前記参加者情報は、前記参加者が身に着けるウェアラブル端末の生体センサによって取得された参加者の生体情報に基づき、
前記出力情報設定部は、前記生体情報に基づいてユーザの感情を示す前記出力情報を設定する付記2から5の何れかに記載の情報処理装置。
[付記7]
前記参加者情報は、前記参加者が身に着けるウェアラブル端末の体動センサによって取得された参加者の所定の動作を示す体動情報に基づき、
前記出力情報設定部は、前記体動情報に基づいてユーザの所定の動作を示す前記出力情報を設定する付記2から6の何れかに記載の情報処理装置。
[付記8]
ネットワークを介したコミュニケーションに参加する参加者の状態を示す参加者情報に基づいて参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記コミュニケーションに使用する画面情報を画面に出力する処理を行う出力処理部と、
前記画面情報に基づいて前記画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部と、
前記出力情報取得部により取得された前記出力情報を対応する対応端末に出力する処理を実行可能な出力情報出力部と、を備え、
前記出力情報出力部は、前記画面占有判定部によって前記画面が占有状態であると判定された場合、前記出力情報取得部により取得された前記出力情報を前記対応端末に出力する情報処理端末。
[付記9]
画像及び音声の少なくとも何れか一方を出力可能な出力部と、
ネットワークを介したコミュニケーションを行う操作端末と通信を行う通信部と、
前記通信部が受信した情報に基づいて前記コミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報設定取得部と、
前記出力部に前記出力情報を出力する処理を実行する参加者情報出力部と、
を備える身体装着型電子機器。
[付記10]
自機を装着したユーザの状態を示す装着者状態情報を取得する装着者状態情報取得部と、
前記操作端末に前記装着者状態情報に基づく情報を出力する処理を前記通信部に実行させる装着者状態情報出力部と、
を備える付記9に記載の身体装着型電子機器。
[付記11]
情報処理装置に、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得機能と、
前記出力情報取得機能が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力機能と、を実行させるプログラム。
[付記12]
情報処理装置が実行する参加者情報通知方法であって、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得ステップと、
前記出力情報取得ステップで取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力ステップと、を含む参加者情報通知方法。
[付記1]
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記出力情報取得部が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力部と、
を備える情報処理装置。
[付記2]
前記参加者の状態を示す参加者情報を取得する参加者情報取得部と、
前記参加者情報に基づいて参加者の状態が表現された前記出力情報を設定する出力情報設定部と、を備える付記1に記載の情報処理装置。
[付記3]
前記出力情報取得部は、前記コミュニケーションに参加する参加者の参加者画像情報を取得可能であり、
前記参加者情報出力部は、
前記出力情報取得部が前記参加者画像情報を取得した場合は、前記参加者画像情報を前記操作端末に出力し、
前記出力情報取得部が前記参加者画像情報を取得しない場合は、前記出力情報を前記対応端末に出力する付記2に記載の情報処理装置。
[付記4]
前記参加者情報出力部は、
前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行可能な付記2又は3に記載の情報処理装置。
[付記5]
前記操作端末の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部を備え、
前記参加者情報出力部は、
前記占有状態ではない場合は、前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行し、
前記占有状態の場合は、前記対応端末に前記出力情報を出力する処理を実行する付記2から4の何れかに記載の情報処理装置。
[付記6]
前記参加者情報は、前記参加者が身に着けるウェアラブル端末の生体センサによって取得された参加者の生体情報に基づき、
前記出力情報設定部は、前記生体情報に基づいてユーザの感情を示す前記出力情報を設定する付記2から5の何れかに記載の情報処理装置。
[付記7]
前記参加者情報は、前記参加者が身に着けるウェアラブル端末の体動センサによって取得された参加者の所定の動作を示す体動情報に基づき、
前記出力情報設定部は、前記体動情報に基づいてユーザの所定の動作を示す前記出力情報を設定する付記2から6の何れかに記載の情報処理装置。
[付記8]
ネットワークを介したコミュニケーションに参加する参加者の状態を示す参加者情報に基づいて参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記コミュニケーションに使用する画面情報を画面に出力する処理を行う出力処理部と、
前記画面情報に基づいて前記画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部と、
前記出力情報取得部により取得された前記出力情報を対応する対応端末に出力する処理を実行可能な出力情報出力部と、を備え、
前記出力情報出力部は、前記画面占有判定部によって前記画面が占有状態であると判定された場合、前記出力情報取得部により取得された前記出力情報を前記対応端末に出力する情報処理端末。
[付記9]
画像及び音声の少なくとも何れか一方を出力可能な出力部と、
ネットワークを介したコミュニケーションを行う操作端末と通信を行う通信部と、
前記通信部が受信した情報に基づいて前記コミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報設定取得部と、
前記出力部に前記出力情報を出力する処理を実行する参加者情報出力部と、
を備える身体装着型電子機器。
[付記10]
自機を装着したユーザの状態を示す装着者状態情報を取得する装着者状態情報取得部と、
前記操作端末に前記装着者状態情報に基づく情報を出力する処理を前記通信部に実行させる装着者状態情報出力部と、
を備える付記9に記載の身体装着型電子機器。
[付記11]
情報処理装置に、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得機能と、
前記出力情報取得機能が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力機能と、を実行させるプログラム。
[付記12]
情報処理装置が実行する参加者情報通知方法であって、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得ステップと、
前記出力情報取得ステップで取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力ステップと、を含む参加者情報通知方法。
N ネットワーク
1 操作端末
2 ウェアラブル端末
10 オンライン会議サーバ
37 参加者情報出力部
38 出力情報取得部
1 操作端末
2 ウェアラブル端末
10 オンライン会議サーバ
37 参加者情報出力部
38 出力情報取得部
Claims (12)
- ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記出力情報取得部が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力部と、
を備える情報処理装置。 - 前記参加者の状態を示す参加者情報を取得する参加者情報取得部と、
前記参加者情報に基づいて参加者の状態が表現された前記出力情報を設定する出力情報設定部と、を備える請求項1に記載の情報処理装置。 - 前記出力情報取得部は、前記コミュニケーションに参加する参加者の参加者画像情報を取得可能であり、
前記参加者情報出力部は、
前記出力情報取得部が前記参加者画像情報を取得した場合は、前記参加者画像情報を前記操作端末に出力し、
前記出力情報取得部が前記参加者画像情報を取得しない場合は、前記出力情報を前記対応端末に出力する請求項2に記載の情報処理装置。 - 前記参加者情報出力部は、
前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行可能な請求項2又は3に記載の情報処理装置。 - 前記操作端末の画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部を備え、
前記参加者情報出力部は、
前記占有状態ではない場合は、前記操作端末の画面に前記出力情報に基づく画像を出力する処理を実行し、
前記占有状態の場合は、前記対応端末に前記出力情報を出力する処理を実行する請求項2から4の何れかに記載の情報処理装置。 - 前記参加者情報は、前記参加者が身に着けるウェアラブル端末の生体センサによって取得された参加者の生体情報に基づき、
前記出力情報設定部は、前記生体情報に基づいてユーザの感情を示す前記出力情報を設定する請求項2から5の何れかに記載の情報処理装置。 - 前記参加者情報は、前記参加者が身に着けるウェアラブル端末の体動センサによって取得された参加者の所定の動作を示す体動情報に基づき、
前記出力情報設定部は、前記体動情報に基づいてユーザの所定の動作を示す前記出力情報を設定する請求項2から6の何れかに記載の情報処理装置。 - ネットワークを介したコミュニケーションに参加する参加者の状態を示す参加者情報に基づいて参加者の状態が表現された出力情報を取得する出力情報取得部と、
前記コミュニケーションに使用する画面情報を画面に出力する処理を行う出力処理部と、
前記画面情報に基づいて前記画面の全部又は一部が所定の画像情報に占有される占有状態か否かの判定を行う画面占有判定部と、
前記出力情報取得部により取得された前記出力情報を対応する対応端末に出力する処理を実行可能な出力情報出力部と、を備え、
前記出力情報出力部は、前記画面占有判定部によって前記画面が占有状態であると判定された場合、前記出力情報取得部により取得された前記出力情報を前記対応端末に出力する情報処理端末。 - 画像及び音声の少なくとも何れか一方を出力可能な出力部と、
ネットワークを介したコミュニケーションを行う操作端末と通信を行う通信部と、
前記通信部が受信した情報に基づいて前記コミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報設定取得部と、
前記出力部に前記出力情報を出力する処理を実行する参加者情報出力部と、
を備える身体装着型電子機器。 - 自機を装着したユーザの状態を示す装着者状態情報を取得する装着者状態情報取得部と、
前記操作端末に前記装着者状態情報に基づく情報を出力する処理を前記通信部に実行させる装着者状態情報出力部と、
を備える請求項9に記載の身体装着型電子機器。 - 情報処理装置に、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得機能と、
前記出力情報取得機能が取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力機能と、を実行させるプログラム。 - 情報処理装置が実行する参加者情報通知方法であって、
ネットワークを介したコミュニケーションに参加する参加者の状態が表現された出力情報を取得する出力情報取得ステップと、
前記出力情報取得ステップで取得した出力情報を前記コミュニケーションに使用する操作端末に関連付けられた対応端末に出力する参加者情報出力ステップと、を含む参加者情報通知方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021109920A JP2023006988A (ja) | 2021-07-01 | 2021-07-01 | 情報処理装置、プログラム及び参加者情報通知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021109920A JP2023006988A (ja) | 2021-07-01 | 2021-07-01 | 情報処理装置、プログラム及び参加者情報通知方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023006988A true JP2023006988A (ja) | 2023-01-18 |
Family
ID=85107161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021109920A Pending JP2023006988A (ja) | 2021-07-01 | 2021-07-01 | 情報処理装置、プログラム及び参加者情報通知方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023006988A (ja) |
-
2021
- 2021-07-01 JP JP2021109920A patent/JP2023006988A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2652578B1 (en) | Correlation of bio-signals with modes of operation of an apparatus | |
US10523614B2 (en) | Conversation agent | |
KR101753509B1 (ko) | 소셜 그래프들, 스피치 모델들, 및 사용자 콘텍스트를 통해 모바일 디바이스 사용자에 근접한 사람들을 식별하는 것 | |
US9781106B1 (en) | Method for modeling user possession of mobile device for user authentication framework | |
JP6238083B2 (ja) | 情報処理装置、サーバ、情報処理方法、および情報処理システム | |
CN111343346B (zh) | 基于人机对话的来电代接方法、装置、存储介质及设备 | |
US11539762B2 (en) | Conferencing based on driver state and context | |
CN110113659A (zh) | 生成视频的方法、装置、电子设备及介质 | |
CN110660398A (zh) | 声纹特征更新方法、装置、计算机设备及存储介质 | |
CN110798327A (zh) | 消息处理方法、设备及存储介质 | |
EP3965369A1 (en) | Information processing apparatus, program, and information processing method | |
EP3279799A1 (en) | Information processing device, information processing method, and computer program | |
JP2023006988A (ja) | 情報処理装置、プログラム及び参加者情報通知方法 | |
CN110795660B (zh) | 数据分析方法、装置、电子设备及介质 | |
WO2017029850A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN111554314A (zh) | 噪声检测方法、装置、终端及存储介质 | |
WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
JP6496220B2 (ja) | 情報配信装置および情報配信プログラム | |
WO2021220812A1 (ja) | 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム | |
CN111444289A (zh) | 关联关系建立方法 | |
JP2005027225A (ja) | 移動電話機 | |
US20240177380A1 (en) | Information analysis system, information analysis method, and non-transitory recording medium | |
JP2020201536A (ja) | 情報処理装置、情報処理システム及び情報処理プログラム | |
KR101689713B1 (ko) | 휴대 단말기 및 그 동작 방법 | |
CN111613252B (zh) | 音频录制的方法、装置、系统、设备及存储介质 |