JP2021018635A - 双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム - Google Patents
双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2021018635A JP2021018635A JP2019134441A JP2019134441A JP2021018635A JP 2021018635 A JP2021018635 A JP 2021018635A JP 2019134441 A JP2019134441 A JP 2019134441A JP 2019134441 A JP2019134441 A JP 2019134441A JP 2021018635 A JP2021018635 A JP 2021018635A
- Authority
- JP
- Japan
- Prior art keywords
- shared
- user
- client terminal
- pointer
- shared data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 16
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 35
- 238000013519 translation Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】データを共有した複数ユーザによるオンラインでのコミュニケーションにおいて、各ユーザによるデータの操作を可能とし、クライアント端末上において、コミュニケーションに関わる操作と関わらない操作をユーザに認識させ、誤った操作を防ぐ技術を提供する。【解決手段】双方向マルチ通信システムにおいて、共有ウィンドウ生成部12は、クライアント端末Cの画面上に、共有データを表示する共有ウィンドウを生成する。操作検出部13によってユーザによるポインタの操作が検出されると、位置判別部14は、ユーザが操作するポインタの位置が、共有ウィンドウ内にあるか否かを判別する。ポインタの位置が共有ウィンドウ内にある場合、操作受付部17によって共有ウィンドウ内に表示されている共有データに対する操作が受け付けられ、反映処理部18は、共有データに対する操作を、他のクライアント端末Cの共有ウィンドウ内の共有データに反映する。【選択図】図1
Description
本発明は、複数のクライアント端末間で、所定のデータを共有したコミュニケーションを実行するシステムに関する。
離れたところにいる複数のユーザ間で、同じ資料等のデータを参照しながら、オンラインで打ち合わせ又は会議をするシステムが知られている。
このようなオンラインでの打ち合わせや会議において、ユーザ間で共有するデータについて、各ユーザが編集等の操作を行いたい場合がある。しかしながら、予め定められた一のユーザのみが、当該データを操作する場合はともかく、複数のユーザが自由に操作できるとなると、操作が競合するなどして、円滑にコミュニケーションを行うことができなくなる虞がある。
また、ユーザが操作するクライアント端末上においては、ユーザは、他のユーザとコミュニケーションを行いつつ、他の作業を実行したい場合があり、そのような場合に、自らがどのような操作を行っているかを認識できていないと、誤った操作によってコミュニケーションに支障をきたす虞がある。
また、ユーザが操作するクライアント端末上においては、ユーザは、他のユーザとコミュニケーションを行いつつ、他の作業を実行したい場合があり、そのような場合に、自らがどのような操作を行っているかを認識できていないと、誤った操作によってコミュニケーションに支障をきたす虞がある。
そこで、本発明は、所定のデータを共有した複数ユーザによるオンラインでのコミュニケーションにおいて、各ユーザによる当該所定のデータの操作を可能とすることを目的の一つとする。
また、本発明は、クライアント端末上において、コミュニケーションに関わる操作とコミュニケーションに関わらない操作をユーザに認識させ、誤った操作を防ぐことを目的の一つとする。
また、本発明は、クライアント端末上において、コミュニケーションに関わる操作とコミュニケーションに関わらない操作をユーザに認識させ、誤った操作を防ぐことを目的の一つとする。
上記目的を達成するため、本発明の一の観点に係る双方向マルチ通信システムは、複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムであって、前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する共有ウィンドウ生成手段と、前記クライアント端末上において、ユーザによるポインタの操作を検出する操作検出手段と、前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する位置判別手段と、ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける操作受付手段と、一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する反映処理手段と、を有する。
また、前記クライアント端末上において、ユーザが操作するポインタに対し、ポインタの位置が前記共有ウィンドウ内にあるか否かを判別するための識別効果を付与する第一の識別効果付与手段、をさらに有するものとしてもよい。
また、前記共有ウィンドウ内に表示されている各クライアント端末のポインタに対し、他のポインタと識別可能な識別効果を付与する第二の識別効果付与手段、をさらに有するものとしてもよい。
また、前記操作受付手段は、前記共有ウィンドウ内に前記ポインタが複数、存在する場合に、所定の優先条件に基づき、他に優先するポインタを操作するユーザからの操作のみを受け付けるものとしてもよい。
また、前記共有ウィンドウ内に表示されている各クライアントのポインタのうち、操作を優先して受け付けるポインタに対し、他のポインタと識別可能に識別効果を付与する第三の識別効果付与手段、をさらに有するものとしてもよい。
また、前記共有データに対するユーザの権限として、操作を可能とする操作権限と、閲覧のみを可能とする閲覧権限とを設定する権限設定手段、をさらに有し、前記操作受付手段は、前記共有データに対する操作権限を有するクライアント端末からのみ、前記共有データに対する操作を受け付けるものとしてもよい。
また、本発明の別の観点に係る双方向マルチ通信方法は、複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムにより実行される方法であって、前記システムが、前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する処理と、前記クライアント端末上において、ユーザによるポインタの操作を検出する処理と、前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する処理と、ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける処理と、一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する処理と、を実行する。
また、本発明のさらに別の観点に係るコンピュータプログラムは、複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムにより実行されるコンピュータプログラムであって、前記システムに対し、前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する処理と、前記クライアント端末上において、ユーザによるポインタの操作を検出する処理と、前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する処理と、ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける処理と、一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する処理と、を実行させる。
なお、コンピュータプログラムは、コンピュータ読取可能な各種の記録媒体によって提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。
なお、コンピュータプログラムは、コンピュータ読取可能な各種の記録媒体によって提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。
本発明によれば、所定のデータを共有した複数ユーザによるオンラインでのコミュニケーションにおいて、各ユーザが当該所定のデータを操作することができる。
また、クライアント端末上において、コミュニケーションに関わる操作とコミュニケーションに関わらない操作をユーザに認識させ、誤った操作を防ぐことができる。
また、クライアント端末上において、コミュニケーションに関わる操作とコミュニケーションに関わらない操作をユーザに認識させ、誤った操作を防ぐことができる。
●機能構成
以下、本発明の実施形態に係る双方向マルチ通信システムについて、図を参照して説明する。
図1に示される本発明の第一の実施形態に係る双方向マルチ通信システム1は、複数のクライアント端末Cの間で、所定のデータを共有したコミュニケーションを行うためのシステムである。
なお、本実施形態でいうところのデータの共有とは、異なる端末間で同一のデータを同時に参照することを意味する。なお、以下の説明において、このように共有されるデータを「共有データ」と称することがある。
以下、本発明の実施形態に係る双方向マルチ通信システムについて、図を参照して説明する。
図1に示される本発明の第一の実施形態に係る双方向マルチ通信システム1は、複数のクライアント端末Cの間で、所定のデータを共有したコミュニケーションを行うためのシステムである。
なお、本実施形態でいうところのデータの共有とは、異なる端末間で同一のデータを同時に参照することを意味する。なお、以下の説明において、このように共有されるデータを「共有データ」と称することがある。
この双方向マルチ通信システム1は、サーバコンピュータ等によって実現され、CPU(Central Processing Unit)などの演算装置、CPUによって実行されるコンピュータプログラム、RAM(Random Access Memory)やROM(Read Only Memory)等の内部メモリ等のハードウェア資源によって実現され、これにより共有データ記憶部1A、セッション情報記憶部1B、権限設定部11、共有ウィンドウ生成部12、操作検出部13、位置判別部14、識別効果付与部15、優先順位判別部16、操作受付部17、反映処理部18、及び通信処理部19からなる機能ブロックを構成する。
共有データ記憶部1Aは、各クライアント端末C間で参照可能に共有される共有データを記憶した記憶部である。
共有データのファイル形式は特に限られず、各種の形式のものに対応できる。クライアント端末Cのユーザは、本実施形態に係る双方向マルチ通信システム1を利用する際、あるいは利用中、適宜に共有データを共有データ記憶部1Aに登録し、当該登録した共有データを指定して、他のクライアント端末Cと共有する。
共有データのファイル形式は特に限られず、各種の形式のものに対応できる。クライアント端末Cのユーザは、本実施形態に係る双方向マルチ通信システム1を利用する際、あるいは利用中、適宜に共有データを共有データ記憶部1Aに登録し、当該登録した共有データを指定して、他のクライアント端末Cと共有する。
セッション情報記憶部1Bは、共有データを共有するクライアント端末C同士を関連付けるセッション情報を記憶した記憶部である。このセッション情報を参照することにより、所定の共有データを共有したコミュニケーションを行っているクライアント端末Cを特定することができる。
なお、本実施形態に係る双方向マルチ通信システム1が提供するユーザ間のコミュニケーションは、2つのクライアント端末C間でのみならず、3つ以上のクライアント端末C間でも実行され、コミュニケーションに参加しているユーザの情報がセッション情報記憶部1Bに記憶される。
なお、本実施形態に係る双方向マルチ通信システム1が提供するユーザ間のコミュニケーションは、2つのクライアント端末C間でのみならず、3つ以上のクライアント端末C間でも実行され、コミュニケーションに参加しているユーザの情報がセッション情報記憶部1Bに記憶される。
権限設定部11は、共有データに対する操作権限を設定する処理部である。共有データは、複数のクライアント端末Cによって参照可能に共有されるが、当該共有される共有データに対する各クライアント端末C上での操作は、権限設定部11によって設定された操作権限によって許容ないしは禁止される。即ち、操作を可能とする操作権限が設定されたクライアント端末C上では、共有データに対しての任意の操作を実行できる一方、操作を可能とする操作権限が設定されていないクライアント端末C上では、共有データに対して操作を実行できない。
また、権限設定部11は、共有データに対する閲覧権限の設定も行うことができる。閲覧権限のみが設定されたユーザは、コミュケーションに参加できるが、共有データを操作することはできない。
なお、権限設定部11によってユーザに設定された操作権限や閲覧権限は、セッション情報記憶部1Aに記憶され、各機能部によって適宜に参照される。
また、権限設定部11は、共有データに対する閲覧権限の設定も行うことができる。閲覧権限のみが設定されたユーザは、コミュケーションに参加できるが、共有データを操作することはできない。
なお、権限設定部11によってユーザに設定された操作権限や閲覧権限は、セッション情報記憶部1Aに記憶され、各機能部によって適宜に参照される。
共有ウィンドウ生成部12は、共有データを共有するクライアント端末Cの画面上に、共有データを表示するウィンドウ(以下、「共有ウィンドウ」と称する)を生成する。
ここで、共有ウィンドウは例えば、デスクトップ上に生成されたポップアップウィンドウによって構成され、この共有ウィンドウ内には、所定の共有データが表示される。
ここで、共有ウィンドウは例えば、デスクトップ上に生成されたポップアップウィンドウによって構成され、この共有ウィンドウ内には、所定の共有データが表示される。
操作検出部13は、クライアント端末C上でのユーザの操作を検出する。ユーザはクライアント端末Cにおいて、マウスなどのポインティングデバイスを操作し、これに応じてカーソルなどのポインタがデスクトップ上を移動したり、所定のオブジェクトを指定したりする。操作検出部13は、このようなポインタの移動やポインタによるオブジェクトの指定などを検出することができる。
位置判別部14は、クライアント端末C上において、操作検出部13によって検出されたポインタの位置が、共有データを表示するウィンドウ内にあるか否かを判別する。
識別効果付与部15は、クライアント端末C上において、ユーザの操作に応じて移動するポインタの位置が、共有データを表示するウィンドウ内にあるか否かに応じて、当該ポインタに識別効果を付与する。例えば、ポインタの位置が、共有ウィンドウ内にある場合とない場合とでポインタの色を変える。
このほか、識別効果付与部15は、共有ウィンドウ内に、コミュニケーションに参加しているクライアント端末Cのポインタが複数、存在している場合に、各ポインタを相互に識別するための識別効果や、後述する操作の優先順位を反映した識別効果などをポイントに付与する。
このほか、識別効果付与部15は、共有ウィンドウ内に、コミュニケーションに参加しているクライアント端末Cのポインタが複数、存在している場合に、各ポインタを相互に識別するための識別効果や、後述する操作の優先順位を反映した識別効果などをポイントに付与する。
優先順位判別部16は、共有ウィンドウ内において、各クライアント端末Cのポインタが複数、存在する場合に、所定の優先条件に基づき、他に優先して操作を行うことのできるポインタを判別する。優先順位は例えば、各クライアント端末Cのユーザによって決められたものであってもよいし、共有ウィンドウ内に存在するポインタについて、当該共有ウィンドウ内に入った順序を優先順位としてもよく、操作の競合を避けるべく設定されれば、各種の条件設定が可能である。
操作受付部17は、ユーザが操作するポインタの位置が、共有ウィンドウ内にある場合に、当該共有ウィンドウ内に表示されている共有データに対する操作を受け付ける。ただし、当該共有データに対する操作は、権限設定部11によって操作権限が設定されたクライアント端末C上においてのみ受け付けられ、権限設定部11によって操作権限が設定されていないクライアント端末C上からの操作は受け付けられない。また、優先順位が設定されている場合には、当該優先順位に応じて操作が受け付けられる。
反映処理部18は、一のクライアント端末C上においてユーザから受け付けた共有データに対する操作を、他のクライアント端末Cの共有ウィンドウ内の共有データに反映する処理を実行する。これにより、各クライアント端末Cの共有ウィンドウ内には、共有データが同じ状態で表示される。
通信処理部19は、インターネット等のネットワークNWを介して、クライアント端末Cと各種のデータを送受信するための処理部である。
クライアント端末Cは、共有データを共有したコミュニケーションを行うユーザが利用する端末であり、所謂パーソナルコンピュータ等により実現される。このクライアント端末Cは、各種のデータを送受信するためのブラウザプログラム等の通信処理部、各種のデータを入出力するためのディスプレイやマウス等の入出力部を備える。
また、クライアント端末Cは、カメラ等の映像入力手段、マイク等の音声入力手段、スピーカ等の音声出力手段等を備えている。これにより、一のクライアント端末Cを操作するユーザの映像や音声を取得し、双方向マルチ通信システム1を介して、他のクライアント端末Cに対して当該ユーザの映像や音声を送信することができ、当該他のクライアント端末Cでは、当該ユーザの映像や音声が出力される。
●出力画面例
ここで、本実施形態に係る双方向マルチ通信システム1によって、各クライアント端末C上に展開される出力画面の例を説明する。
図2では、共有ウィンドウ生成部12によって生成された共有ウィンドウ10a、10bが表示された2つのクライアント端末C(ユーザA、ユーザB)の出力画面の一例を示している。それぞれのクライアント端末Cに生成された共有ウィンドウ10a、10bは夫々、ユーザA、ユーザBのクライアント端末Cのデスクトップ領域において、ポップアップウィンドウにより表示されており、共有ウィンドウ10a、10b内には共有データが表示されている。また、ユーザのデスクトップ領域には、双方向マルチ通信システム1を介したコミュニケーションを行っている相手方ユーザの映像を表示する映像表示枠1011、1021が設けられており、これにより相手方ユーザの映像を見ながらコミュニケーションを取ることができる。
なお、共有ウィンドウ10が展開されていない部分は、クライアント端末Cのデスクトップ領域であり、当該領域における操作は、他のクライアント端末Cには反映されない。
ここで、本実施形態に係る双方向マルチ通信システム1によって、各クライアント端末C上に展開される出力画面の例を説明する。
図2では、共有ウィンドウ生成部12によって生成された共有ウィンドウ10a、10bが表示された2つのクライアント端末C(ユーザA、ユーザB)の出力画面の一例を示している。それぞれのクライアント端末Cに生成された共有ウィンドウ10a、10bは夫々、ユーザA、ユーザBのクライアント端末Cのデスクトップ領域において、ポップアップウィンドウにより表示されており、共有ウィンドウ10a、10b内には共有データが表示されている。また、ユーザのデスクトップ領域には、双方向マルチ通信システム1を介したコミュニケーションを行っている相手方ユーザの映像を表示する映像表示枠1011、1021が設けられており、これにより相手方ユーザの映像を見ながらコミュニケーションを取ることができる。
なお、共有ウィンドウ10が展開されていない部分は、クライアント端末Cのデスクトップ領域であり、当該領域における操作は、他のクライアント端末Cには反映されない。
ここで、図2(a)に示されるように、ユーザAが、ポインタ101によって共有ウィンドウ10a内の所定のオブジェクトを指定し、当該所定のオブジェクトを移動させる操作を実行した場合、ユーザBが使用しているクライアント端末C上においても、図2(b)に示されるように、共有ウィンドウ10b内において、当該オブジェクトが同様に移動させられる。
このとき、双方向マルチ通信システム1では、操作受付部17が、ユーザAから共有ウィンドウ10a内の共有データに対する操作を受け付ける。そして、反映処理部18が当該操作に応じた処理を他のクライアント端末C、図2の例ではユーザBのクライアント端末Cにおける共有データに反映させる。
これにより、共有ウィンドウ10a、10b内の共有データは同じ状態でユーザAとユーザBに参照される。
このとき、双方向マルチ通信システム1では、操作受付部17が、ユーザAから共有ウィンドウ10a内の共有データに対する操作を受け付ける。そして、反映処理部18が当該操作に応じた処理を他のクライアント端末C、図2の例ではユーザBのクライアント端末Cにおける共有データに反映させる。
これにより、共有ウィンドウ10a、10b内の共有データは同じ状態でユーザAとユーザBに参照される。
図3は同じクライアント端末Cの画面を示しており、図3(a)ではポインタ111が共有ウィンドウ11の外側にある。ここで、図3(b)に示されるように、ポインタ111が共有ウィンドウ11の外側から内側に入ると、ポインタ111の模様が変化し、ユーザは、ポインタ111が共有ウィンドウ11内に入ったことを認識することができる。
このとき、双方向マルチ通信システム1では、操作検出部13によってユーザによるポインタの操作を検出しており、操作に応じて、位置判別部14によりポインタの位置を判別している。判別の結果、ポインタが共有ウィンドウ内に入ったと判別されると、識別効果付与部15によってポインタに識別効果が付与される。
このとき、双方向マルチ通信システム1では、操作検出部13によってユーザによるポインタの操作を検出しており、操作に応じて、位置判別部14によりポインタの位置を判別している。判別の結果、ポインタが共有ウィンドウ内に入ったと判別されると、識別効果付与部15によってポインタに識別効果が付与される。
図4〜図6は、共有ウィンドウ12a、12b、13a、13b、14a、14bによって共有データを共有している2つのクライアント端末C(ユーザA、ユーザB)について、それぞれのクライアント端末C上に展開されている出力画面の例を示している。
図4において、ユーザAが操作するポインタ121は共有ウィンドウ12aの内側にあり、ユーザA、ユーザB双方の共有ウィンドウ12a、12b内において、当該ポインタ121が表示されている。
一方、ユーザBが操作するポインタ122は共有ウィンドウ12bの外側にあり、ユーザBが使用しているクライアント端末Cの出力画面上には当該ポインタ122が表示されているが、ユーザAが使用しているクライアント端末Cの出力画面上には当該ポインタ122は表示されていない。
これにより、ユーザAのクライアント端末Cのデスクトップ領域に、共有ウィンドウ1a内にいないユーザBのポインタ112が表示されないようになっている。
図4において、ユーザAが操作するポインタ121は共有ウィンドウ12aの内側にあり、ユーザA、ユーザB双方の共有ウィンドウ12a、12b内において、当該ポインタ121が表示されている。
一方、ユーザBが操作するポインタ122は共有ウィンドウ12bの外側にあり、ユーザBが使用しているクライアント端末Cの出力画面上には当該ポインタ122が表示されているが、ユーザAが使用しているクライアント端末Cの出力画面上には当該ポインタ122は表示されていない。
これにより、ユーザAのクライアント端末Cのデスクトップ領域に、共有ウィンドウ1a内にいないユーザBのポインタ112が表示されないようになっている。
図5において、ユーザA、ユーザBのポインタはいずれも、それぞれのクライアント端末Cにおいて、共有ウィンドウ13a、13b内に位置している。このとき、例えば、ユーザAのクライアント端末Cの共有ウィンドウ13aには、ユーザAが操作しているポインタ131と共に、ユーザBが操作しているポインタ132も表示されている。ポインタ131、132には、互いを識別できるような識別効果が付与されており(図5の例では、自らのポインタ以外のポインタは破線表示されている)、ユーザAは、自らのポインタ131を認識して操作を行いつつ、ユーザBのポインタ132を認識することができる。逆に、ユーザBも、自らのポインタ132を認識して操作を行いつつ、ユーザAのポインタ131を認識することができる。
図6において、共有ウィンドウ14a、14b内には、ユーザAが操作するポインタ141とユーザBが操作するポインタ142が共に表示されているが、共有ウィンドウ14a、14b内に表示されている共有データを優先して操作できるポインタ142に対して、その旨の表示が付されている。
操作の優先順位は、優先順位判別部16によって判別され、判別の結果がポインタ142に反映されている。図6の例であれば、ユーザBはポインタ142によって共有データを操作できるが、ユーザAはポインタ141によって共有データをお操作することができない。また、ユーザAとユーザBは、ポインタ142に付されている優先順位に係る情報により、ユーザBが優先して操作できることを認識することができる。
なお、優先順位は、優先順位を示す情報をポインタ141、142に直接表示する例に限らず、ポインタ141、142に対して何らかの識別効果を付する例によっても実現でき、ユーザAとユーザBが優先順位を認識できる限り、他の態様によることができる。
操作の優先順位は、優先順位判別部16によって判別され、判別の結果がポインタ142に反映されている。図6の例であれば、ユーザBはポインタ142によって共有データを操作できるが、ユーザAはポインタ141によって共有データをお操作することができない。また、ユーザAとユーザBは、ポインタ142に付されている優先順位に係る情報により、ユーザBが優先して操作できることを認識することができる。
なお、優先順位は、優先順位を示す情報をポインタ141、142に直接表示する例に限らず、ポインタ141、142に対して何らかの識別効果を付する例によっても実現でき、ユーザAとユーザBが優先順位を認識できる限り、他の態様によることができる。
なお、図2〜図6を参照して説明した例では、共有データの操作権限を有するユーザAとユーザBによるコミュニケーションを例にとったが、当該ユーザAとユーザBによるコミュニケーションの内容は、閲覧権限のみを有する他のユーザも参照することができる。即ち、閲覧権限のみを有するユーザのクライアント端末C上にも共有ウィンドウが生成され、共有データの参照が可能であるが、当該閲覧権のみを有するユーザは当該共有ウィンドウ内の共有データを操作できない。なお、このような閲覧権限のみを有するユーザのクライアント端末Cにおいては、他のユーザのポインタを表示しないものとしてもよいし、共有ウィンドウ内に自らが操作するポインタがあるか否かに関わらず、ポインタに識別効果を付与しないものとしてもよい。
●処理フロー
次に、本実施形態に係る双方向マルチ通信システム1によって実行される処理の流れについて図を参照して説明する。
まず、図7により、双方向マルチ通信システム1によるコミュニケーションが開始されるまでの流れを説明する。
双方向マルチ通信システム1は、コミュニケーション取り合うユーザを受け付ける(S101)。この際には、一のクライアント端末Cから、当該一のクライアント端末Cとコミュニケーションを取り合う他のクライアント端末Cを識別可能な情報を取得する。クライアント端末Cを識別可能な情報は例えば、クライアント端末Cに対して予め発行されたID等によって構成される。
なお、既にコミュニケーションを取り合っているクライアント端末C間のコミュニケーションに参加することも可能である。この場合には例えば、当該コミュニケーションを取り合っているクライアント端末Cに許可を求め、許可された場合に参加することができる。
次に、本実施形態に係る双方向マルチ通信システム1によって実行される処理の流れについて図を参照して説明する。
まず、図7により、双方向マルチ通信システム1によるコミュニケーションが開始されるまでの流れを説明する。
双方向マルチ通信システム1は、コミュニケーション取り合うユーザを受け付ける(S101)。この際には、一のクライアント端末Cから、当該一のクライアント端末Cとコミュニケーションを取り合う他のクライアント端末Cを識別可能な情報を取得する。クライアント端末Cを識別可能な情報は例えば、クライアント端末Cに対して予め発行されたID等によって構成される。
なお、既にコミュニケーションを取り合っているクライアント端末C間のコミュニケーションに参加することも可能である。この場合には例えば、当該コミュニケーションを取り合っているクライアント端末Cに許可を求め、許可された場合に参加することができる。
双方向マルチ通信システム1により、ユーザが所定のクライアント端末により、他のクライアント端末Cとコミュニケーションを取る、あるいは既にコミュニケーションを取り合っているクライアント端末C間のコミュニケーションに参加する場合、当該所定のクライアント端末Cに権限が設定される(S102)。権限には例えば、共有データを操作可能な操作権限と、共有データを含めたコミュニケーションの内容を閲覧のみ可能な閲覧権限がある。権限の設定は、コミュニケーションに参加するクライアント端末Cのユーザが決定するものであってもよいし、ユーザごとに予め設定さているものであってもよく、各種の方法によることができる。
コミュニケーションを取り合うユーザのクライアント端末C同士が関連付けられ、セッションが確立される(S103)。なお、確立されたセッションに係る情報はセッション情報記憶部1Bに記憶される。
セッションが確立されると、共有ウィンドウ生成部12により、各クライアント端末C上に共有ウィンドウが生成される(S104)。
操作権限を有するユーザが、共有データ記憶部1Aに記憶されている共有データを選択すると(S105)、共有ウィンドウ内に当該選択された共有データが展開され(S106)、各クライアント端末Cで共有データを共有できるようになる。
セッションが確立されると、共有ウィンドウ生成部12により、各クライアント端末C上に共有ウィンドウが生成される(S104)。
操作権限を有するユーザが、共有データ記憶部1Aに記憶されている共有データを選択すると(S105)、共有ウィンドウ内に当該選択された共有データが展開され(S106)、各クライアント端末Cで共有データを共有できるようになる。
続いて、図8により、ユーザによって共有ウィンドウ内の共有データの操作が実行される場合の処理について説明する。
共有ウィンドウ内に表示されている共有データに対する操作は、操作権限を有するユーザのみが行えるようになっている(S201)。操作検出部13は、操作権限を有するユーザのクライアント端末C上において、当該ポインタの移動や当該ポインタによる所定のオブジェクトの指定など、ユーザによるポインタの操作を検出する(S202)。
共有ウィンドウ内に表示されている共有データに対する操作は、操作権限を有するユーザのみが行えるようになっている(S201)。操作検出部13は、操作権限を有するユーザのクライアント端末C上において、当該ポインタの移動や当該ポインタによる所定のオブジェクトの指定など、ユーザによるポインタの操作を検出する(S202)。
検出された操作が共有ウィンドウ内で行われたものであった場合(S203)、例えば共有データを編集等する操作が行われた場合、優先順位判別部16は、当該操作が他のクライアント端末Cからの操作に優先するか否かを判別する(S204)。
その結果、他のクライアント端末Cからの操作に優先する場合には、操作受付部17によって当該操作が受け付けられ(S205)、反映処理部18はこれに応じて、共有データに対する操作を他のクライアント端末Cの共有ウィンドウ内の共有データに反映させる(S206)。
これにより、複数のクライアント端末C間で操作が競合することなく、共有データに対する操作が受け付けられると共に、共有データを共有したコミュニケーションを行うことができる。
その結果、他のクライアント端末Cからの操作に優先する場合には、操作受付部17によって当該操作が受け付けられ(S205)、反映処理部18はこれに応じて、共有データに対する操作を他のクライアント端末Cの共有ウィンドウ内の共有データに反映させる(S206)。
これにより、複数のクライアント端末C間で操作が競合することなく、共有データに対する操作が受け付けられると共に、共有データを共有したコミュニケーションを行うことができる。
続いて、図9により、クライアント端末上において、ユーザの操作によってポインタが移動した際、当該ポインタに識別効果が付与される処理について説明する。
なお、本例では、ポインタに対する識別効果の付与は、操作権限を有するユーザが操作するポインタに対して行われるため、図9では、操作権限を有するユーザがポインタを操作した場合を前提にしている。
操作検出部13は、ユーザによるポインタの操作を常時、検出している(S301)。ここで、ユーザがポインタを操作した結果(S302)、ポインタが共有ウィンドウの外側から内側へ入った場合、あるいはポインタが共有ウィンドウの内側から外側へ出た場合、それぞれの場合で異なる識別効果がポインタに付与される。
なお、本例では、ポインタに対する識別効果の付与は、操作権限を有するユーザが操作するポインタに対して行われるため、図9では、操作権限を有するユーザがポインタを操作した場合を前提にしている。
操作検出部13は、ユーザによるポインタの操作を常時、検出している(S301)。ここで、ユーザがポインタを操作した結果(S302)、ポインタが共有ウィンドウの外側から内側へ入った場合、あるいはポインタが共有ウィンドウの内側から外側へ出た場合、それぞれの場合で異なる識別効果がポインタに付与される。
所定のユーザが操作するポインタが共有ウィンドウの外側から内側に入った場合には、優先順位判別部16により、共有ウィンドウ内に存する他のユーザのポインタや、コミュニケーションに参加しているユーザとの関係で、当該所定のユーザが操作するポインタの優先順位が判別される(S303)。
これに応じて、識別効果付与部15は、ポインタが共有ウィンドウ内にあることを示す識別効果と、優先順位を示す識別効果をポインタに付与する(S304)。
ただし、優先順位を示す識別効果は、優先順位が最も高いポインタにのみ付されてもよく、この場合には、優先順位の低いポインタには特段の識別効果が付与されない。
これに応じて、識別効果付与部15は、ポインタが共有ウィンドウ内にあることを示す識別効果と、優先順位を示す識別効果をポインタに付与する(S304)。
ただし、優先順位を示す識別効果は、優先順位が最も高いポインタにのみ付されてもよく、この場合には、優先順位の低いポインタには特段の識別効果が付与されない。
一方、所定のユーザが操作するポインタが共有ウィンドウの内側から外側へ出た場合には、識別効果付与部15は、ポインタが共有ウィンドウの外にあることを示す識別効果をポインタに付与する(S305)。
以上の本実施形態に係る双方向マルチ通信システムによれば、ユーザはポインタが共有ウィンドウ内の共有データを操作可能な状態にあるか否かを視覚的に判別して操作することができる。また、複数のユーザによる操作が競合することなく、ユーザは所定のデータを共有したスムーズなコミュニケーションを図ることができる。
次に、本発明の第二の実施形態に係る双方向マルチ通信システムについて説明する。
図10に示す本実施形態に係る双方向マルチ通信システム2は、コミュニケーションを取っているユーザの発話内容をテキスト化したり、ユーザの発話内容を翻訳したりする機能を備えたものである。
本実施形態に係る双方向マルチ通信システム2は、第一の実施形態に係る双方向マルチ通信システム1が備えた機能部に加え、テキスト化処理部21と翻訳処理部22を備えている。
図10に示す本実施形態に係る双方向マルチ通信システム2は、コミュニケーションを取っているユーザの発話内容をテキスト化したり、ユーザの発話内容を翻訳したりする機能を備えたものである。
本実施形態に係る双方向マルチ通信システム2は、第一の実施形態に係る双方向マルチ通信システム1が備えた機能部に加え、テキスト化処理部21と翻訳処理部22を備えている。
テキスト化処理部21は、コミュニケーションを取っているユーザの発話内容たる音声を認識し、構文解析等を行って当該音声をテキスト化する。
テキスト化されたユーザの発話内容は、クライアント端末C上に表示させることができる。
テキスト化されたユーザの発話内容は、クライアント端末C上に表示させることができる。
翻訳処理部22は、コミュニケーションを取っているユーザが、異なる言語を用いている場合に、発話内容を翻訳する。翻訳した内容は、機械音声に変換して相手方のユーザに送信してもよいし、テキスト化処理部21によってテキスト化し、各ユーザが理解可能な言語で各クライアント端末C上に表示してもよい。
また、翻訳処理部22による発話内容の翻訳においては、中間言語を介するようにしてもよい。例えば、一方のユーザが日本語を使用し、他方のユーザがスペイン語を使用している場合、日本語を直接、スペイン語に変換することなく、一旦、英語に翻訳した上、さらに英語をスペイン語に翻訳する。このような処理を行った場合には、中間言語の翻訳結果についても、テキスト化してクライアント端末C上に表示し、誤訳等がないかを確認できるようにしてもよい。
また、翻訳処理部22による発話内容の翻訳においては、中間言語を介するようにしてもよい。例えば、一方のユーザが日本語を使用し、他方のユーザがスペイン語を使用している場合、日本語を直接、スペイン語に変換することなく、一旦、英語に翻訳した上、さらに英語をスペイン語に翻訳する。このような処理を行った場合には、中間言語の翻訳結果についても、テキスト化してクライアント端末C上に表示し、誤訳等がないかを確認できるようにしてもよい。
図11は、本実施形態に係る双方向マルチ通信システム2により、共有ウィンドウが生成されたクライアント端末Cの出力画面の一例を示している。
この出力画面では、共有ウィンドウ15内に、ユーザ同士の発話内容をテキスト化したテキスト情報が表示されている。テキスト情報には、いずれのユーザによる発話内容を示しているかを認識可能とするため、発話の主体に係る情報が関連付けられている。また、テキスト情報が翻訳文である場合には、テキスト化された原語文が翻訳文に関連付けて表示されている。なお、翻訳処理部による翻訳の過程で、中間言語が用いられた場合には、原語文のみならず、中間言語による文も翻訳文に関連付けて表示されていてもよい。
この出力画面では、共有ウィンドウ15内に、ユーザ同士の発話内容をテキスト化したテキスト情報が表示されている。テキスト情報には、いずれのユーザによる発話内容を示しているかを認識可能とするため、発話の主体に係る情報が関連付けられている。また、テキスト情報が翻訳文である場合には、テキスト化された原語文が翻訳文に関連付けて表示されている。なお、翻訳処理部による翻訳の過程で、中間言語が用いられた場合には、原語文のみならず、中間言語による文も翻訳文に関連付けて表示されていてもよい。
本実施形態によれば、発話内容がテキスト化されているので、発言内容が容易に確認できる。また、異なる言語を話すユーザ間でも、スムーズなコミュニケーションをとることができる。さらには、翻訳された発話内容が、原語や中間言語、及び翻訳後の言語によってテキスト化されているので、誤訳があっても、すぐに誤訳を発見し、誤訳によるコミュニケーションの齟齬を正すことができる。
1 双方向マルチ通信システム
1A 共有データ記憶部
1B セッション情報記憶部
11 権限設定部
12 共有ウィンドウ生成部
13 操作検出部
14 位置判別部
15 識別効果付与部
16 優先順位判別部
17 操作受付部
18 反映処理部
19 通信処理部
2 双方向マルチ通信システム
21 テキスト化処理部
22 翻訳処理部
C クライアント端末
NW ネットワーク
1A 共有データ記憶部
1B セッション情報記憶部
11 権限設定部
12 共有ウィンドウ生成部
13 操作検出部
14 位置判別部
15 識別効果付与部
16 優先順位判別部
17 操作受付部
18 反映処理部
19 通信処理部
2 双方向マルチ通信システム
21 テキスト化処理部
22 翻訳処理部
C クライアント端末
NW ネットワーク
Claims (8)
- 複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムであって、
前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する共有ウィンドウ生成手段と、
前記クライアント端末上において、ユーザによるポインタの操作を検出する操作検出手段と、
前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する位置判別手段と、
ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける操作受付手段と、
一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する反映処理手段と、を有する、
双方向マルチ通信システム。 - 前記クライアント端末上において、ユーザが操作するポインタに対し、ポインタの位置が前記共有ウィンドウ内にあるか否かを判別するための識別効果を付与する第一の識別効果付与手段、をさらに有する、
請求項1記載の双方向マルチ通信システム。 - 前記共有ウィンドウ内に表示されている各クライアント端末のポインタに対し、他のポインタと識別可能な識別効果を付与する第二の識別効果付与手段、をさらに有する、
請求項1又は2記載の双方向マルチ通信システム。 - 前記操作受付手段は、前記共有ウィンドウ内に前記ポインタが複数、存在する場合に、所定の優先条件に基づき、他に優先するポインタを操作するユーザからの操作のみを受け付ける、
請求項1乃至3いずれかの項に記載の双方向マルチ通信システム。 - 前記共有ウィンドウ内に表示されている各クライアントのポインタのうち、操作を優先して受け付けるポインタに対し、他のポインタと識別可能に識別効果を付与する第三の識別効果付与手段、をさらに有する、
請求項4記載の双方向マルチ通信システム。 - 前記共有データに対するユーザの権限として、操作を可能とする操作権限と、閲覧のみを可能とする閲覧権限とを設定する権限設定手段、をさらに有し、
前記操作受付手段は、前記共有データに対する操作権限を有するクライアント端末からのみ、前記共有データに対する操作を受け付ける、
請求項1乃至5いずれかの項に記載の双方向マルチ通信システム。 - 複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムにより実行される方法であって、
前記システムが、
前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する処理と、
前記クライアント端末上において、ユーザによるポインタの操作を検出する処理と、
前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する処理と、
ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける処理と、
一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する処理と、を実行する、
双方向マルチ通信方法。 - 複数のクライアント端末の間で、共有データを介したコミュニケーションを行うためのシステムにより実行されるコンピュータプログラムであって、
前記システムに対し、
前記クライアント端末の画面上に、前記共有データを表示する共有ウィンドウを生成する処理と、
前記クライアント端末上において、ユーザによるポインタの操作を検出する処理と、
前記クライアント端末上において、前記ポインタの操作が検出された場合に、ユーザが操作するポインタの位置が、前記共有ウィンドウ内にあるか否かを判別する処理と、
ユーザが操作するポインタの位置が前記共有ウィンドウ内にある場合に、前記共有ウィンドウ内に表示されている共有データに対する操作を受け付ける処理と、
一のクライアント端末上においてユーザから受け付けた前記共有データに対する操作を、他のクライアント端末の共有ウィンドウ内の共有データに反映する処理と、を実行させる、
コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134441A JP2021018635A (ja) | 2019-07-22 | 2019-07-22 | 双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134441A JP2021018635A (ja) | 2019-07-22 | 2019-07-22 | 双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021018635A true JP2021018635A (ja) | 2021-02-15 |
Family
ID=74564334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134441A Pending JP2021018635A (ja) | 2019-07-22 | 2019-07-22 | 双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021018635A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305663A (ja) * | 1995-04-28 | 1996-11-22 | Hitachi Ltd | 共同作業支援システム |
JPH096583A (ja) * | 1995-06-19 | 1997-01-10 | Canon Inc | ウィンドウ共有システム |
JP2000057094A (ja) * | 1998-08-10 | 2000-02-25 | Fujitsu Ltd | 他端末操作装置 |
JP2008146584A (ja) * | 2006-12-13 | 2008-06-26 | Oki Electric Ind Co Ltd | アプリケーション共有画面制御装置、アプリケーション共有画面制御プログラム、及び通信端末装置。 |
-
2019
- 2019-07-22 JP JP2019134441A patent/JP2021018635A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305663A (ja) * | 1995-04-28 | 1996-11-22 | Hitachi Ltd | 共同作業支援システム |
JPH096583A (ja) * | 1995-06-19 | 1997-01-10 | Canon Inc | ウィンドウ共有システム |
JP2000057094A (ja) * | 1998-08-10 | 2000-02-25 | Fujitsu Ltd | 他端末操作装置 |
JP2008146584A (ja) * | 2006-12-13 | 2008-06-26 | Oki Electric Ind Co Ltd | アプリケーション共有画面制御装置、アプリケーション共有画面制御プログラム、及び通信端末装置。 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6947852B2 (ja) | 複数のコンピューティングデバイスを使用したインターホン式の通信 | |
JP7513684B2 (ja) | ユーザと、自動化されたアシスタントと、他のコンピューティングサービスとの間のマルチモーダル対話 | |
US9368117B2 (en) | Device and system having smart directional conferencing | |
JP2023539820A (ja) | インタラクティブ情報処理方法、装置、機器、及び媒体 | |
EP2835798B1 (en) | Interfacing device and method for supporting speech dialogue service | |
US20090210803A1 (en) | Automatically modifying communications in a virtual universe | |
US11418551B2 (en) | Method and system for providing virtual whiteboard based collaboration service | |
KR102193029B1 (ko) | 디스플레이 장치 및 그의 화상 통화 수행 방법 | |
US20190171760A1 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
JP6964371B1 (ja) | ウェブ会議システム | |
US20180309703A1 (en) | Communication system and storage medium | |
JP2015035769A (ja) | 情報処理装置、情報処理システム及びプログラム | |
WO2019043597A1 (en) | SYSTEMS AND METHODS FOR MIXED REALITY INTERACTIONS WITH AVATAR | |
JP2013196594A (ja) | 情報処理装置、操作権限付与プログラム及び投影システム | |
US10516708B2 (en) | Method for providing conference service and apparatus thereof | |
US11334706B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP6624476B2 (ja) | 翻訳装置および翻訳システム | |
JP2017146672A (ja) | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示システム | |
JP2021018635A (ja) | 双方向マルチ通信システム、双方向マルチ通信方法、及びコンピュータプログラム | |
KR20200131881A (ko) | 네트워킹된 협업 워크스페이스에서 웹 소켓 연결을 통해 파일을 전송하기 위한 방법, 기기, 및 컴퓨터 판독 가능 매체 | |
KR101695783B1 (ko) | 맞춤형 텔레프레즌스 서비스 제공 방법 및 장치 | |
KR20150108098A (ko) | 채팅 서비스 제공 시스템, 이를 위한 장치 및 방법 | |
KR20200119029A (ko) | 가변적인 답변이 필요한 질문에 대한 답변 세트의 제공 방법 및 이를 이용하는 장치 | |
US20230410800A1 (en) | Controlling a user interface using natural language processing and computer vision | |
JP7509392B1 (ja) | 自動通訳システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231013 |