JP2021149735A - Communication terminal, method, program, and system - Google Patents
Communication terminal, method, program, and system Download PDFInfo
- Publication number
- JP2021149735A JP2021149735A JP2020050626A JP2020050626A JP2021149735A JP 2021149735 A JP2021149735 A JP 2021149735A JP 2020050626 A JP2020050626 A JP 2020050626A JP 2020050626 A JP2020050626 A JP 2020050626A JP 2021149735 A JP2021149735 A JP 2021149735A
- Authority
- JP
- Japan
- Prior art keywords
- communication terminal
- communication
- terminal
- operation information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 449
- 238000000034 method Methods 0.000 title claims description 50
- 230000006870 function Effects 0.000 claims description 44
- 238000007726 management method Methods 0.000 description 157
- 238000012545 processing Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 33
- 238000013523 data management Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 11
- 238000007792 addition Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Abstract
Description
本発明は、通信端末、方法、プログラム、およびシステムに関する。 The present invention relates to communication terminals, methods, programs, and systems.
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムにおいて、遠隔会議を行う当事者の一方が利用する通信端末側で保持または表示中の画像データを、通信ネットワークを介して当事者の他方が利用する通信端末に送信することで、画像データを共有することができる(特許文献1参照)。これにより、実際の会議に近い状態で遠隔地との会議を行うことができる。 Communication systems that communicate with remote locations via communication networks such as the Internet are widespread. Examples of the communication system include a conference system for conducting a remote conference. In a general conference system, an image is transmitted by transmitting image data held or displayed on the communication terminal side used by one of the parties conducting a remote conference to a communication terminal used by the other party via a communication network. Data can be shared (see Patent Document 1). As a result, it is possible to hold a meeting with a remote place in a state close to an actual meeting.
また、企業や教育機関、行政機関等における会議等において、ディスプレイに画像を表示させ、この画像の上に、利用者が、文字、数字および図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。さらに、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。 In addition, at meetings at companies, educational institutions, government agencies, etc., a communication terminal such as an electronic blackboard that displays an image on a display and allows the user to draw a stroke image such as letters, numbers, and figures on the image. Is used (see Patent Document 2). This stroke image is drawn by electronically converting the content drawn by the communication terminal by the user touching and moving it on the display with an electronic pen or hand to generate stroke data such as coordinate data. NS. Further, when a stroke image is drawn on one communication terminal, the stroke data for reproducing the stroke image is transmitted to the other communication terminal via the communication network, so that the same stroke image is also drawn on the other communication terminal. Is displayed.
以上より、一方の通信端末(第1の通信端末)が、表示中または記憶している資料等の画像データ、およびストローク画像を再生するためのストロークデータを、通信ネットワークを介して他方の通信端末(第2の通信端末)に送信することで、他方の通信端末は資料や画像背景等の背景画像を表示するとともにストローク画像を表示させることができる。 From the above, one communication terminal (first communication terminal) transmits image data such as materials being displayed or stored, and stroke data for reproducing a stroke image to the other communication terminal via a communication network. By transmitting to (second communication terminal), the other communication terminal can display a background image such as a material or an image background and display a stroke image.
文書に対する編集操作を端末間で共有することに関して、特許文献3では、個々の端末での共有文書に対する追記、編集の作業工程の中で、他人に不要なあるいは他人に見られたくない部分を全ての端末で共有しないようにする電子会議システムが開示されている。
Regarding sharing the editing operation for a document between terminals, in
しかしながら、特許文献3の手法では、ある種類の操作では第1の通信端末に対する操作を第2の通信端末に共有させず、別の種類の操作では第1の通信端末に対する操作を第2の通信端末に共有させるといった、操作の内容に応じた処理をすることができなかった。
However, in the method of
上述した課題を解決すべく、本発明の一実施形態は、他の通信端末と操作情報を共有する通信端末であって、前記通信端末に対する操作の内容に応じて、前記通信端末に対する操作の操作情報を前記他の通信端末に共有させるか否かを判断する判断部と、前記判断部によって前記操作情報を共有させると判断された場合に、前記操作情報を前記他の通信端末に送信する通信部と、を備える。 In order to solve the above-mentioned problems, one embodiment of the present invention is a communication terminal that shares operation information with another communication terminal, and operates the operation on the communication terminal according to the content of the operation on the communication terminal. A communication unit that determines whether or not to share information with the other communication terminal, and a communication that transmits the operation information to the other communication terminal when the determination unit determines that the operation information is to be shared. It has a part and.
本発明によれば、通信端末に対する操作の内容に応じて、他の通信端末に該操作を共有させることができる。 According to the present invention, the operation can be shared by other communication terminals according to the content of the operation on the communication terminal.
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 Hereinafter, modes for carrying out the invention will be described with reference to the drawings. In the description of the drawings, the same elements are designated by the same reference numerals, and duplicate description will be omitted.
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「ビデオ会議」「テレビ会議」または「遠隔会議」の会議は、複数の端末の間で画像データおよびストロークデータを共有するセッションの一例である。例えば、画像データおよびストロークデータを共有するセッションは、遠隔授業、遠隔診察、打ち合わせ、単なる会話等を行う、会議以外のセッションであってもよい。また、画像データおよびストロークデータを共有するセッションは、一方向での情報の提示に使用されてもよい。
● Outline of communication system ●
● Communication route First, using FIG. 1, a communication system for conducting a video conference while drawing between a plurality of
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ、ストロークが描画された際の筆圧を示すデータ等が含まれている。また、ストロークデータは、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
The communication system is constructed by a plurality of
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
By transmitting and receiving image data of the background image for sharing on the
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
The communication system is not limited to the two
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
In FIG. 1, an electronic blackboard equipped with a video conference function is shown as an example of the
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
Further, the electronic blackboard as the request source for requesting the start of the video conference is represented as the "start terminal", and the electronic blackboard as the destination (relay destination) as the request destination is represented as the "destination terminal". In FIG. 1, the
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
The
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
The
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
The
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
The
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
Further, in the communication system, a management information session sei for transmitting and receiving various management information is established between the
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
Further, in the communication system, stroke data can be transmitted and received between the
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。 Here, the image resolution of the base image data handled in the present embodiment will be described. The low-resolution base image data is, for example, composed of 160 pixels in the horizontal direction and 120 pixels in the vertical direction, and serves as a base image. The medium-resolution base image data consists of 320 pixels in the horizontal direction and 240 pixels in the vertical direction. The high-resolution base image data includes, for example, 640 pixels in the horizontal direction and 480 pixels in the vertical direction. Of these, when passing through a narrow band path, low-quality image data consisting of only low-resolution base image data as a base image is relayed. When the band is relatively wide, the low-resolution base image data as the base image and the medium-quality image data including the medium-resolution base image data are relayed. When the band is very wide, high-quality image data including low-resolution base image data as a base image, medium-resolution base image data, and high-resolution base image data is relayed. Since the amount of sound data is smaller than that of the base image data, it is relayed even on a narrow band route.
●電子黒板の使用イメージ
図2は、実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
● Image of Use of Electronic Blackboard FIG. 2 is a diagram for explaining an image of use of the electronic blackboard according to the embodiment. As shown in FIG. 2, the
●ハードウエア構成●
次に、図3および図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、図3および図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
● Hardware configuration ●
Next, the hardware configuration of each device or terminal constituting the communication system will be described with reference to FIGS. 3 and 4. In the hardware configuration shown in FIGS. 3 and 4, components may be added or deleted as necessary.
●電子黒板のハードウエア構成
図3は、実施形態に係る電子黒板のハードウエア構成の一例を示す図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
● Hardware configuration of the electronic blackboard FIG. 3 is a diagram showing an example of the hardware configuration of the electronic blackboard according to the embodiment. As shown in FIG. 3, the
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク100に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
Of these, the
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
Further, the
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
Of these, the
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Further, the
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
The
●通信管理装置、中継装置、および画像保存装置のハードウエア構成
図4は、実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
● Hardware Configuration of Communication Management Device, Relay Device, and Image Storage Device FIG. 4 is a diagram showing an example of the hardware configuration of the communication management device, relay device, and image storage device according to the embodiment. A computer as an example of the
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD−RWドライブ514は、DVD−RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD−RW513は、DVD−R等であってもよい。また、DVD−RWドライブ514は、BD−RE(Blu-ray(登録商標) Disc Rewritable)またはCD−RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD−RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Of these, the
また、中継装置3は、一般的なコンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD−RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
Further, the
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、図4に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD−RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
Further, the
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、電子黒板1は、本発明に係るプログラムが実行されることで本発明に係る通信方法を実現する。
Further, each of the above programs may be a file in an installable format or an executable format, and may be recorded and distributed on a computer-readable recording medium. Examples of recording media include CD-R (Compact Disc Recordable), DVD, Blu-ray Disc, SD card and the like. In addition, the recording medium can be provided domestically or internationally as a program product. For example, the
●通信システムの全体構成●
次に、図5を用いて、通信システムの全体構成について説明する。図5は、実施形態に係る通信システムのシステム構成の一例を示す図である。
● Overall configuration of communication system ●
Next, the overall configuration of the communication system will be described with reference to FIG. FIG. 5 is a diagram showing an example of the system configuration of the communication system according to the embodiment.
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用しているものとする。
In FIG. 5, the
さらに、電子黒板1a,1b、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク100を介して、相互にデータの送受信を行なうことができる。なお、通信ネットワーク100には、有線だけでなく、Wi−Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
Further, the
●通信システムの機能構成●
次に、図6乃至図11を用いて、本実施形態に係る通信システムの機能構成について説明する。図6は、実施形態に係る通信システムの機能構成の一例を示す図である。なお、図6では、図5に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
● Functional configuration of communication system ●
Next, the functional configuration of the communication system according to the present embodiment will be described with reference to FIGS. 6 to 11. FIG. 6 is a diagram showing an example of the functional configuration of the communication system according to the embodiment. Note that, in FIG. 6, among the terminals, devices, and servers shown in FIG. 5, those related to the processing or operation described later are shown.
●電子黒板1の機能構成
まず、図6を用いて、電子黒板1a,1bの機能構成について説明する。なお、電子黒板1a,1bが有している機能は同様であるため、ここでは、電子黒板1が有している機能として説明する。電子黒板1は、通信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、近距離通信部18、表示画面管理部21および記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板1は、図3に示されているRAM103、SSD104またはUSBメモリ130によって構築される記憶部1000を有している。
● Functional configuration of the
通信部11は、図3に示されているCPU101からの命令、およびネットワークI/F105によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。通信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。また、通信部11は、例えば、他の電子黒板との間で、ディスプレイ180に表示させる描画画面データ(背景画像データおよびストロークデータ)を、通信管理装置5を介して送受信する。受付部12は、図3に示されているCPU101からの命令、並びに接触センサ114および電子ペンコントローラ116によって実現され、利用者から電子ペン190等による各種入力を受け付ける。
The communication unit 11 is realized by the command from the
画像・音処理部13は、図3に示されているCPU101からの命令によって実現され、ビデオ会議機能の主な処理を行う。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に基づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、通信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
The image /
表示制御部14は、図3に示されているCPU101からの命令、および図3に示されているディスプレイコントローラ113によって実現され、ディスプレイ180に画像信号等を出力するための制御を行う機能である。表示制御部14は、例えば、画像処理部16によって生成された描画画面データに係る描画画面を、ディスプレイ180に表示させる。判断部15は、図3に示されているCPU101からの命令によって実現され、各種判断を行う機能である。
The
画像処理部16は、図3に示されているCPU101からの命令、およびキャプチャデバイス111によって実現され、電子黒板機能の主な処理を行う機能である。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190等のストロークに基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、通信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、生成したストローク画像を含む描画画面データを生成する。
The image processing unit 16 is a function realized by the command from the
近距離通信部18は、図3に示されているCPU101からの命令、並びに近距離通信回路119およびアンテナ119aによって実現され、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう機能である。表示画面管理部21は、図3に示されているCPU101からの命令によって実行され、他の電子黒板1との間で共有される表示画面を構成する画面データを管理する機能である。
The short-range communication unit 18 is realized by a command from the
記憶・読出処理部19は、図3に示されているCPU101からの命令によって実行され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶部1000には、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像に係る背景画像データが記憶される。
The storage / reading processing unit 19 is a function executed by a command from the
○表示画面情報
図7は、実施形態に係る表示画面情報の一例を概略的に説明するための図である。図7は、表示画面管理DB1001に記憶されている電子黒板1に表示される表示画面の状態の一例のイメージを示している。
○ Display screen information FIG. 7 is a diagram for schematically explaining an example of display screen information according to the embodiment. FIG. 7 shows an image of an example of the state of the display screen displayed on the
図7の例では、表示画面は、「会議」、「ページ(ページ1〜4)」、「ストローク(ストローク1〜5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。また、「ページ」とは、ディスプレイ180に表示された1ページの画面(表示画面)に係る画像データが記憶された状態を示す。さらに、「会議」とは、電子黒板1によって実行されている会議の情報を示す。例えば、ストローク1には、ストローク1を識別するストロークID(id=aaaaa)、ストローク1が存在するページ1を特定するための情報(parent=pag04)、描画データ1のgid(global id)「g048」、および描画データ1等が含まれている。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=aaaaa)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するgid「g048」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。
In the example of FIG. 7, the display screen has a hierarchical structure of "meeting", "pages (
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=pag01)、電子黒板1で実行されている「会議」を特定するための情報(parent=se01)、ページ(ページデータ)を識別するgid「g01」、および画像データ1等が含まれている。画像データ1は、ページ1を構成する背景画像の画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。また、ページ2には、画像データが含まれていない。これは、ページ2が背景画像を有していない(空白の背景である)ことを意味する。
The pages of the
「会議」は、電子黒板1で実行されている会議に対応しており、会議を識別するための会議IDおよび会議(会議情報)のgid「g2」によって管理されている。また、電子黒板1が他の電子黒板との遠隔通信を行っている場合、会議IDは、セッションを識別するためのセッションID(id=se01)に対応している。例えば、電子黒板1の画像処理部16は、ストローク1〜5に含まれている描画データ1〜5を用いて、ページ4に描画されたストローク画像を生成することができる。なお、各階層に示されているgidは、他の電子黒板との間でデータの共有を行う際に、通信管理装置5によって採番される。また、図7に示されている共有データの階層構造は、複数の電子黒板1の間で共有される。
The "meeting" corresponds to the meeting being executed on the
○操作情報
ここで、図8を用いて、電子黒板1で実行された表示画面に対する操作を示す操作情報について説明する。図8は、実施形態に係る操作情報の一例を概略的に説明するための図である。図8に示されている操作情報には、電子黒板1に表示される表示画面に対して実行された操作の情報が記憶されている。図8に示されている操作情報には、ストロークデータを識別するためのストロークID(Id)、ストロークデータが描画されたページを識別するためのページID(DistId)、描画画面に対して実行された操作の種類を示す操作種別情報(Operation Type)、操作対象となるデータの種別を示すデータ種別情報(Data Type)、操作対象となるデータの内容を示すデータ詳細情報(Date)が含まれている。
○ Operation Information Here, the operation information indicating the operation on the display screen executed on the
このうち、操作種別情報には、表示画面に含まれているストロークやページに対して、利用者によって実行された操作の種類が示されている。例えば、操作対象がストロークである場合において、操作種別情報は、ストロークが描画されたときには「Add(追加)」、ストロークが削除されたときには「Remove(削除)」、ストロークが移動されたときには「Update」が示される。また、データ種別情報には、操作対象がストロークである場合には「Stroke」、ページである場合には「Page」が示される。さらに、操作対象がストロークである場合において、データ詳細情報は、ストロークデータに対応し、座標データ、線の幅データ、線の色データ等の情報が含まれる。データ詳細情報は、後述する共有データ管理テーブル(図14参照)に示されているbodyの情報に対応している。 Of these, the operation type information indicates the type of operation executed by the user with respect to the stroke or page included in the display screen. For example, when the operation target is a stroke, the operation type information is "Add" when the stroke is drawn, "Remov" when the stroke is deleted, and "Update" when the stroke is moved. Is shown. Further, in the data type information, "Stroke" is indicated when the operation target is a stroke, and "Page" is indicated when the operation target is a page. Further, when the operation target is a stroke, the detailed data information corresponds to the stroke data, and includes information such as coordinate data, line width data, and line color data. The detailed data information corresponds to the body information shown in the shared data management table (see FIG. 14) described later.
なお、操作対象となるデータは、ストロークまたはページ単位に限られず、複数のストロークの集合であるオブジェクト単位であってもよい。このオブジェクトには、ストロークが文字もしくは数値等の記号としてOCR(Optical Character Reader)処理されたテキスト、日付もしくは時刻等のシステム生成文字、三角形、星もしくは円形等の予め定められた図形、または矢印、線分もしくはベジェ曲線等の線等が含まれる。 The data to be operated is not limited to the stroke or page unit, but may be an object unit which is a set of a plurality of strokes. This object contains text whose strokes are OCR (Optical Character Reader) processed as symbols such as letters or numbers, system-generated characters such as date or time, predetermined figures such as triangles, stars or circles, or arrows. Line segments or lines such as Bezier curves are included.
●中継装置の機能構成
続いて、図6を用いて、中継装置3の機能構成について説明する。中継装置3は、転送部を兼ねた通信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU301からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
● Functional configuration of the relay device Next, the functional configuration of the
通信部31は、図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、通信部31は、転送部としての役割も果たし、所定の端末から送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、図4に示されているCPU301からの命令によって実現され、各種判断を行なう機能である。
The
記憶・読出処理部39は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
The storage / reading processing unit 39 is a function executed by a command from the CPU 301 shown in FIG. 4 to store various data in the
●通信管理装置の機能構成
続いて、図6を用いて、通信管理装置5の機能構成について説明する。通信管理装置5は、通信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、共有データ管理部57および記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理装置5は、図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
● Functional Configuration of Communication Management Device Next, the functional configuration of the
通信部51は、図4に示されているCPU501からの命令、およびネットワークI/F509によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。通信部51は、例えば、電子黒板1に対して、他の電子黒板1から送信されたストロークデータの送受信を行う。
The
認証部52は、図4に示されているCPU501からの命令によって実現され、ログイン要求元の認証を行う機能である。認証部52は、通信部51によってログイン要求情報を受信した場合、認証管理DB5001を用いて、ログイン要求元の認証処理を実行する。判断部53は、図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
The
端末管理部54は、図4に示されているCPU501からの命令によって実現され、電子黒板1の状態に応じて、端末管理DB5002で管理されている電子黒板1に関する各種情報を管理する機能である。端末管理部54は、例えば、端末管理DB5002における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。また、端末管理部54は、宛先リスト管理DB5003を管理し、電子黒板1からの要求に応じて、宛先リスト管理DB5003で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
The terminal management unit 54 is a function realized by a command from the
セッション管理部55は、図4に示されているCPU501からの命令によって実現され、通信システムで開催されるセッションを管理する機能である。セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報をセッション管理DB5004に記憶させて管理する。
The
中継装置管理部56は、図4に示されているCPU501からの命令によって実現され、複数の中継装置3からセッションの中継に用いる中継装置3を選択する機能である。中継装置管理部56は、例えば、中継装置管理DB5005を管理し、中継装置管理DB5005に記憶されている各中継装置3に関する各種情報を用いて、中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択する。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システムが有する中継装置3の数は、一つであってもよい。
The relay
共有データ管理部57は、図4に示されているCPU501からの命令によって実現され、各電子黒板1(通信端末)の間で送受信される表示画面に関する各種データを管理する機能である。共有データ管理部57は、例えば、セッションに参加している電子黒板1から、セッションseiで送信されるストロークデータを、セッションIDと関連づけて、共有データ管理DB5006に記憶して管理する。
The shared
記憶・読出処理部59は、図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す機能である。
The storage / reading processing unit 59 is a function executed by an instruction from the
○認証管理テーブル
図9は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、図9に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図9に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
-Authentication management table FIG. 9 is a conceptual diagram showing an example of the authentication management table according to the embodiment. In the
○端末管理テーブル
図10は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、図10に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図10に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「Online(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「2020年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
○ Terminal management table FIG. 10 is a conceptual diagram showing an example of the terminal management table according to the embodiment. In the
○宛先リスト管理テーブル
図11は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、図11に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図11に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
○ Destination list management table FIG. 11 is a conceptual diagram showing an example of the destination list management table according to the embodiment. In the
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。 The destination list is an example of destination information, and the destination information may not be in a list format and may include information related to the destination such as a terminal ID.
○セッション管理テーブル
図12は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、図12に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末IDが関連づけられて管理される。例えば、図12に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継していることが示されている。
-Session management table FIG. 12 is a conceptual diagram showing an example of the session management table according to the embodiment. In the
○中継装置管理テーブル
図13は、実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、図13に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理装置5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図13に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「Online」で、通信管理装置5で状態情報が受信された日時が「2020年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○ Relay device management table FIG. 13 is a conceptual diagram showing an example of the relay device management table according to the embodiment. In the
○共有データ管理テーブル
図14は、実施形態に係る共有データ管理テーブルの一例を示す概念図である。記憶部5000には、図14に示されているような共有データ管理テーブルによって構成されている共有データ管理DB5006が構築されている。この共有データ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、電子黒板1の間で共有して記憶される表示画面に関する各種データが記憶されて管理されている。共有データ管理テーブルに示されているデータは、各電子黒板1の表示画面管理DB1001に記憶されている表示画面の状態(図7参照)に対応している。
○ Shared data management table FIG. 14 is a conceptual diagram showing an example of a shared data management table according to the embodiment. In the
共有データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、並びに親となるデータを特定するための情報(parent)が含まれている。例えば、複数の電子黒板1によって実行されている遠隔会議を示す会議情報の場合、共有データ管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)並びに電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)が含まれている。また、例えば、ページデータの場合、共有データ管理テーブルには、ページ(ページデータ)を識別するためのページID、該当するページを構成する背景画像データの記憶位置を示すURL(Uniform Resource Locator)が含まれている。
In the data shown in the shared data management table, an ID for identifying each data, a sequence number indicating the order of occurrence of each data, information indicating the contents of the data (body), and parent data are specified. Information for (part) is included. For example, in the case of conference information indicating a remote conference executed by a plurality of
さらに、例えば、ストロークデータの場合、共有データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、および親となるページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。 Further, for example, in the case of stroke data, the shared data management table contains a stroke ID for identifying the stroke data generated by the "stroke drawing" event, information indicating the contents of the stroke data, and a parent page (page). Information (part) for identifying the data) is included. In this case, the information (body) indicating the content of the stroke data includes the color of the drawn stroke, the width indicating the line thickness of the drawn stroke, and the information of the vertices (x, y) of the drawn stroke. It is included.
ここで、「ストローク描画」は、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0−255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この共有データ管理テーブルにより、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む表示画面に関する各種データを管理することができる。
Here, "stroke drawing" is an input process of drawing information by the user. For example, the user presses the
●画像保存装置の機能構成
続いて、図6を用いて、画像保存装置7の機能構成について説明する。画像保存装置7は、通信部71、生成部73および記憶・読出処理部79を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
● Functional configuration of the image storage device Next, the functional configuration of the
通信部71は、図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、図4に示されているCPU701からの命令によって実現され、背景画像データの記憶位置を示すURLを生成する機能である。記憶・読出処理部79は、図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
The
●実施形態の処理または動作●
次に、図15乃至図22を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
● Processing or operation of the embodiment ●
Next, processing or operation in the communication system according to the present embodiment will be described with reference to FIGS. 15 to 22.
●遠隔通信の準備段階の処理
まず、図15および図16を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。図15は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。図16は、電子黒板に表示される宛先リスト画面の一例を示す図である。なお、電子黒板1bがログイン要求を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
● Processing in the preparation stage for remote communication First, the preparation processing for communication performed by the
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
First, when the
次に、通信部11aは、通信ネットワーク100を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19aによって記憶部1000aから読み出されて、通信部11aに送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
Next, the
次に、通信管理装置5の認証部52は、通信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図9参照)を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、ログイン要求情報に含まれている端末IDおよびパスワードの組合せが、認証管理テーブルで管理されている場合、ステップS14以降の処理が実行される。
Next, the
電子黒板1aのログインが許可された場合、端末管理部54は、端末管理テーブル(図10参照)において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「Online(通信可能)」」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしてもよい。これにより、端末管理テーブルには、例えば、図10に示されているように端末ID「01aa」に、稼動状態「Online(通信可能)」、受信日時「2020.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
When the login of the
次に、セッション管理部55は、ステップS12で受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、セッション管理テーブル(図12参照)に追加して管理する(ステップS15)。そして、通信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
Next, the
電子黒板1a(ログイン要求端末)の通信部11aは、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク100を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の通信部51は、宛先リスト要求情報を受信する。
When the
次に、端末管理部54は、電子黒板1a(ログイン要求端末)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図11参照)を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、端末管理テーブル(図10)から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
Next, the terminal management unit 54 can search the destination list management table (see FIG. 11) using the terminal ID "01aa" of the
次に、通信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、通信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、通信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aに、受信した宛先リスト情報を記憶する(ステップS21)。
Next, the
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
As described above, in the present embodiment, the
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図10参照)を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
Further, the terminal management unit 54 searches the terminal management table (see FIG. 10) using the terminal ID of the destination candidate extracted in step 18 as a search key, and reads out the corresponding operating state for each terminal ID of the destination candidate. As a result, the terminal management unit 54 acquires each operating state of each
次に、通信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介して、電子黒板1aに送信する(ステップS23)。
Next, the
次に、電子黒板1aの記憶・読出処理部19aは、順次、通信管理装置5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
Next, the storage / reading processing unit 19a of the
次に、表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14aは、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、図16に示されているような宛先リスト画面800を表示させる(ステップS25)。この宛先リスト画面800には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図16では、各端末の稼動状態を示したアイコンが、上から「Offline」、「Online(通信可能)」として表示されている。
Next, the display control unit 14a creates a destination list that reflects the state of the terminal as a destination candidate based on the destination list information stored in the
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル(図11参照)を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図11に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
On the other hand, the terminal management unit 54 of the
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル(図10参照)を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
Next, the terminal management unit 54 searches the terminal management table (see FIG. 10) based on the terminal ID “01aa” of the
そして、通信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図10参照)で稼動状態が「Online」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「Online」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、通信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図10参照)で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「Online」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
Then, the
●遠隔通信の開始処理
続いて、図17を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図17は、遠隔通信を開始する処理の一例を示すシーケンス図である。
● Remote communication start processing Next, a process in which the
まず、開始端末(電子黒板1a)の利用者A1が図16に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、開始端末(電子黒板1a)の通信部11aは、通信管理装置5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理装置5の通信部51は、上記開始要求情報を受信すると共に、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
First, when the user A1 of the starting terminal (
そして、端末管理部54は、開始要求情報に含まれる開始端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図10参照)を更新する。例えば、端末管理部54は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブルにおいて、端末ID「01aa」、「01ba」に対応する「稼動状態」を「Online(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、および宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する(ステップS33)。なお、この状態では、開始端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が開始端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
Then, the terminal management unit 54 bases the terminal management table (FIG. 10) based on the terminal ID "01aa" of the start terminal (
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
Next, a process of executing a session for selecting the
そして、セッション管理部55は、セッション管理テーブル(図12参照)に、ステップS34で生成されたセッションID「se01」、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
Then, the
次に、中継装置管理部56は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する(ステップ36)。例えば、中継装置管理部56は、中継装置管理テーブル(図13参照)において稼動状態が「Online」の中継装置3に係る中継装置IDのうち、端末管理テーブル(図10参照)において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
Next, the relay
以上のステップS36における中継装置の選択の処理が終了すると、通信管理装置5の通信部51は、開始端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37−1)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、開始端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
When the process of selecting the relay device in step S36 is completed, the
さらに、通信管理装置5の通信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37−2)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、開始端末(電子黒板1a)の端末ID「01aa」、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
Further, the
次に、開始端末(電子黒板1a)の通信部11は、通信管理装置5に対して、ステップS37−1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38−1)。この受信完了情報には、ステップS37−1の処理で送受信されたセッションIDが含まれている。これにより、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
Next, the communication unit 11 of the start terminal (
さらに、宛先端末(電子黒板1b)は、同様に通信管理装置5へ、ステップS37−2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38−2)。この場合も、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
Further, the destination terminal (
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
As described above, the
以下、本発明の実施形態に係る通信端末に対する操作の内容に応じた他の通信端末での該操作の共有について説明する。 Hereinafter, sharing of the operation with another communication terminal according to the content of the operation with respect to the communication terminal according to the embodiment of the present invention will be described.
本発明の実施形態では、ある種類の操作では第1の通信端末に対する操作を第2の通信端末に共有させず(例えば、即時に共有させず)、別の種類の操作では第1の通信端末に対する操作を第2の通信端末に共有させる(例えば、即時に共有させる)ことができる。 In the embodiment of the present invention, the operation for the first communication terminal is not shared with the second communication terminal (for example, is not immediately shared) in one kind of operation, and the first communication terminal is not shared in another kind of operation. The operation for can be shared (for example, immediately shared) with the second communication terminal.
通信端末に対する操作は、通信端末に表示される画面に対して実行される操作である。例えば、通信端末に対する操作は、ストロークの追加、ストロークの消去、ストロークの移動、ストロークの拡大・縮小、ページの追加、ページの切り替え、ページの消去等である。 The operation on the communication terminal is an operation executed on the screen displayed on the communication terminal. For example, operations on the communication terminal include stroke addition, stroke erasure, stroke movement, stroke enlargement / reduction, page addition, page switching, page erasure, and the like.
まず、図18を参照しながら、通信端末間で操作を共有する処理の流れについて説明する。 First, the flow of processing for sharing operations between communication terminals will be described with reference to FIG.
図18は、本発明の実施形態に係る操作(例えば、ストロークに関する操作)の通信端末(例えば、電子黒板)間での共有の一例を概略的に説明するための図である。例えば、利用者が電子黒板の画面に対して"ストロークaを移動する"という操作をしたとする(図18の(1))。そうすると、電子黒板は、該操作(つまり、"ストロークaを移動する"という操作)を画面に仮反映させる(具体的には、ストロークaが移動された画面を表示する)。次に、電子黒板は、該操作についての操作情報(図8参照)をサーバシステム6へ送信する(図18の(2))。次に、サーバシステム6は、受信した操作情報に対して、gid(global id)を採番する(図18の(3))。次に、サーバシステム6は、他の電子黒板および利用者によって操作された電子黒板へ、操作情報およびgidを送信する(図18の(4))。そうすると、他の電子黒板および利用者によって操作された電子黒板は、gidの順序にしたがって操作を画面に本反映させる(具体的には、ストロークaが移動された画面を表示する)。 FIG. 18 is a diagram for schematically explaining an example of sharing an operation (for example, an operation related to a stroke) according to an embodiment of the present invention between communication terminals (for example, an electronic blackboard). For example, suppose that the user performs an operation of "moving the stroke a" on the screen of the electronic blackboard ((1) in FIG. 18). Then, the electronic blackboard temporarily reflects the operation (that is, the operation of "moving the stroke a") on the screen (specifically, the screen on which the stroke a is moved is displayed). Next, the electronic blackboard transmits operation information (see FIG. 8) about the operation to the server system 6 ((2) in FIG. 18). Next, the server system 6 assigns a guide (global id) to the received operation information ((3) in FIG. 18). Next, the server system 6 transmits the operation information and the guide to the other electronic blackboard and the electronic blackboard operated by the user ((4) in FIG. 18). Then, the other electronic blackboard and the electronic blackboard operated by the user actually reflect the operation on the screen according to the order of the guide (specifically, the screen in which the stroke a is moved is displayed).
次に、図19を参照しながら、通信端末間で操作を即時に共有する場合(つまり、他の通信端末に即時に操作を反映させる場合)と、通信端末間で操作を即時に共有しない場合(つまり、他の通信端末に即時に操作を反映させない場合)と、について説明する。 Next, referring to FIG. 19, when the operation is immediately shared between the communication terminals (that is, when the operation is immediately reflected in another communication terminal), and when the operation is not immediately shared between the communication terminals. (That is, when the operation is not immediately reflected on other communication terminals), will be described.
図19は、実施形態に係る即時反映する場合と即時反映しない場合を説明するための図である。図19の上部は、<即時反映する場合>を示し、図19の下部は、<即時反映しない場合>を示す。 FIG. 19 is a diagram for explaining a case of immediate reflection and a case of not immediately reflecting according to the embodiment. The upper part of FIG. 19 shows <when immediately reflected>, and the lower part of FIG. 19 shows <when not immediately reflected>.
<即時反映する場合>
図19に示されるように、<即時反映する場合>では、第1の通信端末は、利用者によって操作(例えば、ストロークに関する操作)されると、操作についての操作情報(図8参照)を即時にサーバシステム6へ送信する。サーバシステム6は、受信した操作情報を即時に第2の通信端末へ送信する。そのため、第2の通信端末は、第1の通信端末に対する操作を即時に表示する(つまり、第2の通信端末に即時に操作を反映させる)ことができる。以下、より具体的に説明する。
<When reflecting immediately>
As shown in FIG. 19, in the <in the case of immediate reflection>, when the first communication terminal is operated by the user (for example, an operation related to a stroke), the operation information (see FIG. 8) about the operation is immediately displayed. Is sent to the server system 6. The server system 6 immediately transmits the received operation information to the second communication terminal. Therefore, the second communication terminal can immediately display the operation on the first communication terminal (that is, the operation is immediately reflected on the second communication terminal). Hereinafter, a more specific description will be given.
第1の通信端末(例えば、電子黒板)の記憶部1000には、通信端末に対する操作の種類(例えば、ストロークの追加、ストロークの消去、ストロークの移動、ストロークの拡大・縮小、ページの追加、ページの切り替え、ページの消去等)ごとに、即時反映する操作であるか即時反映しない操作であるかの情報が記憶されている。第1の通信端末の受付部12は、利用者から電子ペン190等による各種入力を受け付ける。第1の通信端末の画像処理部16は、受付部12によって受け付けられた操作に基づいて、描画する画面データ(つまり、操作が反映された画面データ)を生成する。第1の通信端末の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。第1の通信端末の判断部15は、記憶部1000を参照して、受付部12によって受け付けられた操作が即時反映する操作であるか即時反映しない操作であるかを判断する。即時反映する場合、第1の通信端末の通信部11は、受付部12によって受け付けられた操作の操作情報をサーバシステム6へ送信する。
In the
なお、上記では、第1の通信端末の判断部15が判断する実施形態を説明したが、サーバシステム6が、第1の通信端末の判断部15と同様の機能を有する(つまり、サーバシステム6が判断部を備える)ようにしてもよい。 In the above description, the embodiment in which the determination unit 15 of the first communication terminal determines is described, but the server system 6 has the same function as the determination unit 15 of the first communication terminal (that is, the server system 6). May have a judgment unit).
サーバシステム6の通信管理装置5の通信部51は、第1の通信端末から操作情報を受信すると、その操作情報を第2の通信端末へ送信する。
When the
第2の通信端末(例えば、電子黒板)の通信部11は、第1の通信端末に対する操作の操作情報をサーバシステム6から受信する。第2の通信端末の画像処理部16は、通信部11によって受信された操作情報に基づいて、描画する画面データ(つまり、操作が反映された画面データ)を生成する。第2の通信端末の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。
The communication unit 11 of the second communication terminal (for example, an electronic blackboard) receives the operation information of the operation for the first communication terminal from the server system 6. The image processing unit 16 of the second communication terminal generates screen data to be drawn (that is, screen data reflecting the operation) based on the operation information received by the communication unit 11. The
<即時反映しない場合>
図19に示されるように、<即時反映しない場合>では、第1の通信端末は、利用者によって操作(例えば、ストロークに関する操作)されると、操作についての操作情報(図8参照)を第1の通信端末に記憶させる。つまり、第1の通信端末は、操作情報を送信しない。その後、所定の条件が満たされたときに、第1の通信端末は、記憶しておいた操作情報をサーバシステム6へ送信する。サーバシステム6は、受信した操作情報を即時に第2の通信端末へ送信する。つまり、所定の条件が満たされたときに、第1の通信端末が操作情報を送信する。以下、より具体的に説明する。
<When not reflected immediately>
As shown in FIG. 19, in <when not immediately reflected>, when the first communication terminal is operated by the user (for example, an operation related to a stroke), the operation information (see FIG. 8) about the operation is displayed. Store in 1 communication terminal. That is, the first communication terminal does not transmit the operation information. After that, when the predetermined condition is satisfied, the first communication terminal transmits the stored operation information to the server system 6. The server system 6 immediately transmits the received operation information to the second communication terminal. That is, when the predetermined condition is satisfied, the first communication terminal transmits the operation information. Hereinafter, a more specific description will be given.
第1の通信端末(例えば、電子黒板)の記憶部1000には、通信端末に対する操作の種類(例えば、ストロークの追加、ストロークの消去、ストロークの移動、ストロークの拡大・縮小、ページの追加、ページの切り替え、ページの消去等)ごとに、即時反映する操作であるか即時反映しない操作であるかの情報が記憶されている。第1の通信端末の受付部12は、利用者から電子ペン190等による各種入力を受け付ける。第1の通信端末の画像処理部16は、受付部12によって受け付けられた操作に基づいて、描画する画面データ(つまり、操作が反映された画面データ)を生成する。第1の通信端末の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。第1の通信端末の判断部15は、記憶部1000を参照して、受付部12によって受け付けられた操作が即時反映する操作であるか即時反映しない操作であるかを判断する。即時反映しない場合、第1の通信端末の判断部15は、受付部12によって受け付けられた操作の操作情報を記憶部1000に記憶させる。その後、所定の条件が満たされたときに、第1の通信端末の通信部11は、受付部12によって受け付けられた操作の操作情報をサーバシステム6へ送信する。
In the
サーバシステム6の通信管理装置5の通信部51は、第1の通信端末から操作情報を受信すると、その操作情報を第2の通信端末へ送信する。
When the
第2の通信端末(例えば、電子黒板)の通信部11は、第1の通信端末に対する操作の操作情報をサーバシステム6から受信する。第2の通信端末の画像処理部16は、通信部11によって受信された操作情報に基づいて、描画する画面データ(つまり、操作が反映された画面データ)を生成する。第2の通信端末の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。
The communication unit 11 of the second communication terminal (for example, an electronic blackboard) receives the operation information of the operation for the first communication terminal from the server system 6. The image processing unit 16 of the second communication terminal generates screen data to be drawn (that is, screen data reflecting the operation) based on the operation information received by the communication unit 11. The
このように、本発明の実施形態では、通信端末1は、通信端末1に対する操作の種類ごとに、他の通信端末に即時に共有させる操作であるか他の通信端末に即時に共有させない操作であるかを予め記憶部1000に登録しておく。そして、通信端末1は、通信端末1に対して操作がなされたときに、その操作を他の通信端末に即時に共有させるべきか即時に共有させざるべきかを判断することができる。その後、通信端末1は、所定の条件が満たされたときに、未だ共有させていない操作を他の通信端末に共有させることができる。
As described above, in the embodiment of the present invention, the
なお、通信端末1は、例えば以下のような所定の条件が満たされたときに、記憶しておいた操作情報をサーバシステム6へ送信することができる。具体的には、通信端末1は、記憶部1000に、以下のような所定の条件の情報を記憶しておき、所定の条件が満たされたときに、記憶しておいた操作情報をサーバシステム6へ送信する。
The
<<所定の操作がなされたとき>>
通信端末1は、通信端末1に対して予め定められた操作(例えば、利用者が画面上の所定のボタンを押下する、利用者が所定のジェスチャーをする等)がなされると、記憶しておいた操作情報をサーバシステム6へ送信することができる。
<< When a predetermined operation is performed >>
The
<<所定の時間が経過したとき>>
通信端末1は、通信端末1に対する操作が所定の時間なされないと、記憶しておいた操作情報をサーバシステム6へ送信することができる。
<< When the specified time has passed >>
The
<<即時に共有させる操作がなされたとき>>
通信端末1は、通信端末1に対して即時に共有させる操作がなされると、記憶しておいた操作情報をサーバシステム6へ送信することができる。
<< When an operation to share immediately is performed >>
When the
次に、図20を参照しながら、通信端末1で管理される表示画面情報について説明する。
Next, the display screen information managed by the
図20は、実施形態に係る表示画面情報(ストロークの場合)の一例を示す図である。図8を参照しながら説明したように、表示画面情報は、ストロークを識別するストロークID(図20の例では、id=aaaaa)、ストロークが存在するページを特定するための情報(図20の例では、parent=bbbbb)、サーバシステム6が採番するgid(図20の例では、gid=g001)を有する。さらに、本発明の実施形態では、表示画面情報は、他の通信端末と操作を共有させているか共有させないないかを示すフラグ(例えば、syncフラグ)を有する。例えば、他の通信端末と操作を共有させている(つまり、操作情報を既にサーバシステム6へ送信済みである)場合には、syncフラグをtrueとし、他の通信端末と操作を共有させていない(つまり、操作情報を未だサーバシステム6へ未送信である)場合には、syncフラグをfalseとする。 FIG. 20 is a diagram showing an example of display screen information (in the case of stroke) according to the embodiment. As described with reference to FIG. 8, the display screen information includes the stroke ID for identifying the stroke (id = aaaaa in the example of FIG. 20) and the information for identifying the page on which the stroke exists (example of FIG. 20). Then, it has a part = bbbbb) and a guide numbered by the server system 6 (gid = g001 in the example of FIG. 20). Further, in the embodiment of the present invention, the display screen information has a flag (for example, a sync flag) indicating whether or not the operation is shared with other communication terminals. For example, when the operation is shared with other communication terminals (that is, the operation information has already been transmitted to the server system 6), the sync flag is set to true and the operation is not shared with other communication terminals. (That is, the operation information has not yet been transmitted to the server system 6), the sync flag is set to false.
図21は、実施形態に係る同期処理の一例を示すシーケンス図である。 FIG. 21 is a sequence diagram showing an example of synchronization processing according to the embodiment.
ステップ101(S101)において、通信端末1の受付部12は、通信端末1に対する操作を受け付ける。例えば、通信端末1の受付部12は、利用者から電子ペン190等による各種入力を受け付ける。
In step 101 (S101), the
ステップ102(S102)において、通信端末1の判断部15は、記憶部1000に記憶されている所定の条件の情報(上記の<<所定の操作がなされたとき>>の場合)を参照して、S101の操作が、記憶しておいた操作情報をサーバシステム6へ送信するための所定の操作であるか否かを判断する。所定の操作ではない場合には、ステップ103へ進み、所定の操作である場合には、ステップ105へ進む。
In step 102 (S102), the determination unit 15 of the
ステップ103(S103)において、通信端末1の判断部15は、記憶部1000に記憶されている即時反映する操作であるか即時反映しない操作であるかの情報を参照して、S101の操作が、即時反映する操作(つまり、他の通信端末に即時に共有させる操作)であるか即時反映しない操作(つまり、他の通信端末に即時に共有させない操作)であるかを判断する。即時反映しない場合にはステップ104へ進み、即時反映する場合にはステップ105へ進む。
In step 103 (S103), the determination unit 15 of the
ステップ104(S104)において、通信端末1の判断部15は、S101の操作の操作情報を記憶部1000に記憶させ、S101へ戻る。
In step 104 (S104), the determination unit 15 of the
ステップ105(S105)において、通信端末1の判断部15は、サーバシステム6へ未送信の操作情報が記憶部1000に存在するか否かを判断する。サーバシステム6へ未送信の操作情報がある場合にはステップ106へ進み、サーバシステム6へ未送信の操作情報がない場合には処理を終了する。
In step 105 (S105), the determination unit 15 of the
ステップ106(S106)において、通信端末1の判断部15は、記憶部1000に存在する未送信の操作情報をサーバシステム6へ送信する。
In step 106 (S106), the determination unit 15 of the
<<操作の登録方法>>
本発明の実施形態では、通信端末に対する操作の種類ごとに、即時反映する操作であるか即時反映しない操作であるかの情報が通信端末1の記憶部1000に記憶されている。例えば、通信端末1の利用者は、図22のような画面で即時反映の操作を設定することができる。
<< How to register the operation >>
In the embodiment of the present invention, information on whether the operation is immediately reflected or the operation is not immediately reflected is stored in the
図22は、実施形態に係る即時反映の操作を設定する画面の一例を示す図である。利用者は、図22のような画面で、即時反映する操作(あるいは即時反映しない操作)を選択して登録することができる。例えば、即時反映の操作の設定は、電子黒板を用いて遠隔会議を開始する前に行う構成とすることもできるし、遠隔会議の途中で適宜利用者が行う構成とすることもできる。 FIG. 22 is a diagram showing an example of a screen for setting an operation for immediate reflection according to the embodiment. The user can select and register an operation that is immediately reflected (or an operation that is not immediately reflected) on a screen as shown in FIG. 22. For example, the setting of the operation for immediate reflection may be configured to be performed before starting the remote conference using the electronic blackboard, or may be configured to be appropriately performed by the user during the remote conference.
<<操作の一部のみの共有>>
本発明の実施形態では、即時反映しない操作の操作情報をサーバシステム6へ送信する際に、該操作のうちの一部の操作の操作情報をサーバシステム6へ送信する構成とすることもできる。例えば、通信端末1の利用者は、図23のような画面でサーバシステム6へ送信する操作(つまり、他の通信端末に共有させる操作)を選択することができる。
<< Sharing only part of the operation >>
In the embodiment of the present invention, when the operation information of an operation that is not immediately reflected is transmitted to the server system 6, the operation information of a part of the operations may be transmitted to the server system 6. For example, the user of the
図23は、実施形態に係る操作データの一部のみを共有する画面の一例を示す図である。利用者は、図23のような画面で、サーバシステム6へ送信する操作(つまり、他の通信端末に共有させる操作)を選択する(図23の例では、点線で囲む)ことができる。 FIG. 23 is a diagram showing an example of a screen that shares only a part of the operation data according to the embodiment. The user can select an operation to be transmitted to the server system 6 (that is, an operation to be shared by another communication terminal) on a screen as shown in FIG. 23 (in the example of FIG. 23, it is surrounded by a dotted line).
<<他の通信端末との操作の共有状況の通知>>
本発明の実施形態では、他の通信端末と操作が共有されていないときに、通信端末1にその旨を通知する画面を表示する構成とすることもできる。例えば、通信端末1の利用者は、図24のような画面で操作(例えば、利用者が現在入力中の文字)が他の通信端末には共有されていないことを知ることができる。
<< Notification of sharing status of operations with other communication terminals >>
In the embodiment of the present invention, when the operation is not shared with other communication terminals, a screen for notifying the
図24は、実施形態に係る他の通信端末と操作が共有されていないことを通知する画面の一例を示す図である。利用者は、図24のような画面で、現在の操作が他の通信端末には共有されていないことを知ることができる。 FIG. 24 is a diagram showing an example of a screen for notifying that the operation is not shared with other communication terminals according to the embodiment. The user can know from the screen as shown in FIG. 24 that the current operation is not shared with other communication terminals.
<<操作の競合の発生>>
以下、通信端末に対する操作の操作情報がサーバシステム6へ未送信であるときに、他の通信端末に対して操作がなされた場合(つまり、操作の競合が発生した場合)について説明する。
<< Occurrence of operation conflict >>
Hereinafter, a case where an operation is performed on another communication terminal (that is, a case where an operation conflict occurs) when the operation information of the operation on the communication terminal is not transmitted to the server system 6 will be described.
図25は、実施形態に係る競合解消の処理の一例を示すフローチャートである。 FIG. 25 is a flowchart showing an example of the conflict resolution process according to the embodiment.
ステップ201(S201)において、通信端末1の通信部11は、操作情報をサーバシステム6から受信する。
In step 201 (S201), the communication unit 11 of the
ステップ202(S202)において、通信端末1の判断部15は、通信端末1の記憶部1000内に、S201の操作情報のIDと同一のIDを有する操作情報が記憶されているか否かを判断する。記憶されていない場合にはステップ203へ進み、記憶されている場合にはステップ207へ進む。
In step 202 (S202), the determination unit 15 of the
ステップ207では、操作の競合が発生しているか否かが判断される。具体的には、S207において、通信端末1の判断部15は、S202の同一のIDを有する操作情報についての表示画面情報のフラグ(図20参照)を参照して、S201の操作が他の通信端末と共有されているか共有されていないかを判断する。共有されている(例えば、syncフラグがtrue)場合にはステップ203へ進み、共有されていない(例えば、syncフラグがfalse)場合にはステップ204へ進む。
In step 207, it is determined whether or not there is an operation conflict. Specifically, in S207, the determination unit 15 of the
ステップ203(S203)において、通信端末1の画像処理部16は、S201で通信部11によって受信された操作情報に基づいて、描画する画面データを生成する。通信端末1の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。
In step 203 (S203), the image processing unit 16 of the
ステップ204(S204)において、通信端末1の画像処理部16は、図26で説明するような競合発生時の解消パターンを選択する画面の画面データを生成する。通信端末1の表示制御部14は、画像処理部16によって生成された画面データをディスプレイ180に表示させる。
In step 204 (S204), the image processing unit 16 of the
ステップ205(S205)において、通信端末1の受付部12は、解消パターンの選択(つまり、自身の通信端末1の操作を反映するか、他の通信端末1の操作を反映するか)を受け付ける。
In step 205 (S205), the
ステップ206(S206)において、通信端末1の判断部15は、S205で選択された解消パターンにしたがって、競合解消のための処理を行う。
In step 206 (S206), the determination unit 15 of the
以下、競合解消のための処理について詳細に説明する。 Hereinafter, the process for resolving the conflict will be described in detail.
自身の通信端末の操作を反映する場合、通信端末1の判断部15は、記憶部1000内に記憶されている、自身の通信端末に対する操作の操作情報(つまり、S201の操作情報のIDと同一のIDを有する操作情報)を、他の通信端末に対する操作(つまり、S201で受信した操作情報の操作)がなされた後の状態から自身の通信端末に対する操作(つまり、S201の操作情報のIDと同一のIDを有する操作情報の操作)がなされた後の状態へと操作する操作情報に変更する。そして、通信端末1の通信部11は、変更された操作情報をサーバシステム6へ送信する。その結果、通信端末1に対する操作が、他の通信端末に反映されることとなる。
When reflecting the operation of its own communication terminal, the determination unit 15 of the
他の通信端末の操作を反映する場合、通信端末1の判断部15は、記憶部1000内に記憶されている、自身の通信端末に対する操作の操作情報(つまり、S201の操作情報のIDと同一のIDを有する操作情報)を削除する。その結果、他の通信端末に対する操作が、通信端末1に反映されることとなる。
When reflecting the operation of another communication terminal, the determination unit 15 of the
図26は、実施形態に係る競合発生時の解消パターンを選択する画面の一例を示す図である。例えば、図25のS204において、通信端末1は、図26の下部に示す画面を表示する。
FIG. 26 is a diagram showing an example of a screen for selecting a resolution pattern when a conflict occurs according to the embodiment. For example, in S204 of FIG. 25, the
例えば、自拠点(例えば、第1の通信端末)と他拠点(例えば、第2の通信端末)に図26の左上[変更前]のような画面が表示されているときに、自拠点の利用者が、第1の通信端末に対して、図26の中央上[自拠点の変更]の状態に変更する操作をしたとする。自拠点での変更の操作情報がサーバシステム6へ未送信であるときに、他拠点の利用者が、第2の通信端末に対して、図26の右上[他拠点の変更]の状態に変更する操作をしたとする。そうすると、操作の競合が発生する。このとき、第1の通信端末上に、図26の下部に示す競合発生時の解消パターンを選択する画面が表示される。解消パターンは、自拠点の変更を反映する、他拠点の変更を反映する、の2つである。このように、通信端末1の利用者は、自拠点の変更(つまり、自分の操作)を反映するか、他拠点の変更(つまり、他の者の操作)を反映するかを選択することができる。
For example, when the screen as shown in the upper left [before change] of FIG. 26 is displayed at the own base (for example, the first communication terminal) and another base (for example, the second communication terminal), the use of the own base is used. It is assumed that a person performs an operation to change the state of the first communication terminal to the state of [change of own base] on the center of FIG. 26. When the operation information of the change at the own base has not been transmitted to the server system 6, the user of the other base changes to the state of [change of other base] in the upper right of FIG. 26 with respect to the second communication terminal. Suppose you have performed an operation. This creates operational conflicts. At this time, a screen for selecting a resolution pattern when a conflict occurs, which is shown in the lower part of FIG. 26, is displayed on the first communication terminal. There are two resolution patterns: reflecting the change of one's own base and reflecting the change of another base. In this way, the user of the
●まとめ●
以上説明したように、本発明の一実施形態では、通信端末に対する操作の内容に応じて、他の通信端末に操作を即時に共有させないようにしたり、他の通信端末に操作を即時に共有させたりすることができる。
● Summary ●
As described above, in one embodiment of the present invention, depending on the content of the operation on the communication terminal, the operation is not immediately shared by other communication terminals, or the operation is immediately shared by other communication terminals. Can be done.
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
● Supplement ●
Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。 Further, the various tables of the embodiment described above may be generated by the learning effect of machine learning, and by classifying the data of each related item by machine learning, the table is not used. You may. Here, machine learning is a technique for making a computer acquire learning ability like a human being, and the computer autonomously generates an algorithm necessary for judgment such as data identification from learning data taken in advance. However, it refers to a technology that applies this to new data to make predictions. The learning method for machine learning may be any of supervised learning, unsupervised learning, semi-teacher learning, reinforcement learning, and deep learning, and may be a learning method that combines these learning methods. Machine learning It doesn't matter how you learn for.
これまで本発明の一実施形態に係る通信端末、通信システム、通信方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the communication terminal, communication system, communication method and program according to one embodiment of the present invention have been described so far, the present invention is not limited to the above-described embodiment, and additions and modifications of other embodiments are made. Alternatively, it can be changed within the range that can be conceived by those skilled in the art, such as deletion, and is included in the scope of the present invention as long as the action and effect of the present invention are exhibited in any of the embodiments.
1a 電子黒板(他の通信端末の一例、第1の通信端末の一例)
1b 電子黒板(通信端末の一例、第2の通信端末の一例)
3 中継装置
5 通信管理装置
6 サーバシステム(サーバの一例)
7 画像保存装置
11a 通信部(第2の送信手段の一例、第2の受信手段の一例)
11b 通信部(受信手段の一例、送信手段の一例)
14b 表示制御部(表示制御手段の一例)
71 通信部(第3の受信手段の一例、第3の送信手段の一例)
73 生成部(生成手段の一例)
180 ディスプレイ(表示部の一例)
1a Electronic blackboard (an example of another communication terminal, an example of the first communication terminal)
1b Electronic blackboard (an example of a communication terminal, an example of a second communication terminal)
3
7
11b Communication unit (example of receiving means, example of transmitting means)
14b Display control unit (an example of display control means)
71 Communication unit (an example of a third receiving means, an example of a third transmitting means)
73 Generation unit (example of generation means)
180 display (example of display unit)
Claims (12)
前記通信端末に対する操作の内容に応じて、前記通信端末に対する操作の操作情報を前記他の通信端末に共有させるか否かを判断する判断部と、
前記判断部によって前記操作情報を共有させると判断された場合に、前記操作情報を前記他の通信端末に送信する通信部と
を備えた通信端末。 A communication terminal that shares operation information with other communication terminals.
A determination unit for determining whether or not to share the operation information of the operation for the communication terminal with the other communication terminal according to the content of the operation for the communication terminal.
A communication terminal including a communication unit that transmits the operation information to the other communication terminal when the determination unit determines that the operation information is to be shared.
前記判断部は、前記記憶部に記憶されている操作情報を、前記他の通信端末に対する操作がなされた後の状態から前記通信端末に対する操作がなされた後の状態へと操作する操作情報に変更する、請求項1に記載の通信端末。 The operation information stored in the storage unit and the operation information for the operation on the other communication terminal received before transmitting the operation information stored in the storage unit to the other communication terminal conflict with each other. case,
The determination unit changes the operation information stored in the storage unit into operation information for operating the operation information after the operation on the other communication terminal is performed to the state after the operation on the communication terminal is performed. The communication terminal according to claim 1.
前記通信端末に対する操作の内容に応じて、前記通信端末に対する操作の操作情報を前記他の通信端末に共有させるか否かを判断するステップと、
前記操作情報を共有させると判断された場合に、前記操作情報を前記他の通信端末に送信するステップと、を含む方法。 This is a method executed by a communication terminal that shares operation information with other communication terminals.
A step of determining whether or not to share the operation information of the operation for the communication terminal with the other communication terminal according to the content of the operation for the communication terminal, and
A method including a step of transmitting the operation information to the other communication terminal when it is determined to share the operation information.
前記通信端末に対する操作の内容に応じて、前記通信端末に対する操作の操作情報を前記他の通信端末に共有させるか否かを判断する判断部として機能させ、
前記判断部によって前記操作情報を共有させると判断された場合に、前記操作情報を前記他の通信端末に送信する通信部として機能させる、プログラム。 As a determination unit that determines whether or not to share the operation information of the operation for the communication terminal with the other communication terminal according to the content of the operation for the communication terminal of the communication terminal that shares the operation information with the other communication terminal. Make it work
A program that functions as a communication unit that transmits the operation information to the other communication terminal when the determination unit determines that the operation information is to be shared.
前記第1の通信端末は、
前記第1の通信端末に対する操作の内容に応じて、前記第1の通信端末に対する操作の操作情報を前記第2の通信端末に共有させるか否かを判断する判断部と、
前記判断部によって前記操作情報を共有させると判断された場合に、前記操作情報を前記第2の通信端末に送信する第1の通信部と、を備え、
前記第2の通信端末は、
前記第1の通信端末に対する操作の操作情報を前記第1の通信端末から受信する第2の通信部を備える、システム。 A system for sharing operation information between a first communication terminal and a second communication terminal.
The first communication terminal is
A determination unit for determining whether or not to share the operation information of the operation for the first communication terminal with the second communication terminal according to the content of the operation for the first communication terminal.
A first communication unit that transmits the operation information to the second communication terminal when the determination unit determines that the operation information is to be shared is provided.
The second communication terminal is
A system including a second communication unit that receives operation information of operations on the first communication terminal from the first communication terminal.
前記サーバは、
前記第1の通信端末に対する操作の内容に応じて、前記第1の通信端末に対する操作の操作情報を前記第2の通信端末に共有させるか否かを判断する判断部と、
前記判断部によって前記操作情報を共有させると判断された場合に、前記操作情報を前記第1または第2の通信端末に送信する第1の通信部と、を備え、
前記第2の通信端末は、
前記第1の通信端末に対する操作の操作情報を前記サーバから受信する第2の通信部を備える、システム。 A system in which a first communication terminal and a second communication terminal are connected via a server.
The server
A determination unit for determining whether or not to share the operation information of the operation for the first communication terminal with the second communication terminal according to the content of the operation for the first communication terminal.
A first communication unit that transmits the operation information to the first or second communication terminal when the determination unit determines that the operation information is to be shared is provided.
The second communication terminal is
A system including a second communication unit that receives operation information of operations on the first communication terminal from the server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050626A JP7476596B2 (en) | 2020-03-23 | COMMUNICATION TERMINAL, METHOD, PROGRAM, AND SYSTEM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050626A JP7476596B2 (en) | 2020-03-23 | COMMUNICATION TERMINAL, METHOD, PROGRAM, AND SYSTEM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021149735A true JP2021149735A (en) | 2021-09-27 |
JP7476596B2 JP7476596B2 (en) | 2024-05-01 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7326963B2 (en) | Communication terminal, communication system, image sharing method and program | |
US11539764B2 (en) | Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium | |
JP7373712B2 (en) | Communication terminals, communication systems, data sharing methods and programs | |
US11394757B2 (en) | Communication terminal, communication system, and method of sharing data | |
JP7400345B2 (en) | Communication terminals, communication systems, data sharing methods and programs | |
US11799925B2 (en) | Communication system, communication terminal, and screen sharing method | |
JP2020149338A (en) | Communication terminal, communication system, display control method, and program | |
JP2021022041A (en) | Communication terminal, communication system, display control method, and program | |
US20220044431A1 (en) | Communication system, method for communicating to share images, and non-transitory recording medium | |
JP7476596B2 (en) | COMMUNICATION TERMINAL, METHOD, PROGRAM, AND SYSTEM | |
JP2021149735A (en) | Communication terminal, method, program, and system | |
JP7476586B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION SYSTEM, SCREEN SHARING METHOD, AND PROGRAM | |
JP7467986B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM | |
JP7396136B2 (en) | Communication management device, communication system, communication method and program | |
JP2021144656A (en) | Communication terminal, communication system, screen sharing method, and program | |
US11636233B2 (en) | Communication terminal sharing image data with counterpart communication terminal, system including the same, and method for controlling image capture | |
JP2020149344A (en) | Communication terminal, communication system, display control method, and program | |
JP7476548B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION SYSTEM, DISPLAY METHOD, AND PROGRAM | |
JP7215341B2 (en) | Communication terminal, communication system, display control method and program | |
JP7428027B2 (en) | Communication systems, communication terminals, display methods, programs | |
JP2021174173A (en) | Communication terminal, communication system, and communication method and program | |
JP2022043668A (en) | Communication terminal, communication system, communication method, and program | |
JP2021124771A (en) | Communication device, communication system, display method, and program | |
JP2022145219A (en) | Display device, data sharing system, display control method and program | |
JP2022021017A (en) | Communication terminal, information communication system, communication method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |