JP2020095705A - Communication management system, communication system, communication method, and program - Google Patents
Communication management system, communication system, communication method, and program Download PDFInfo
- Publication number
- JP2020095705A JP2020095705A JP2019209746A JP2019209746A JP2020095705A JP 2020095705 A JP2020095705 A JP 2020095705A JP 2019209746 A JP2019209746 A JP 2019209746A JP 2019209746 A JP2019209746 A JP 2019209746A JP 2020095705 A JP2020095705 A JP 2020095705A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- image
- data
- terminal
- electronic blackboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 57
- 239000000463 material Substances 0.000 abstract description 46
- 238000012545 processing Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010048669 Terminal state Diseases 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、通信管理システム、通信システム、通信方法、及びプログラムに関する。 The present invention relates to a communication management system, a communication system, a communication method, and a program.
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムでは、遠隔会議を行う当事者の一方が利用する通信端末が、会議室の被写体の画像や音をデジタルデータに変換して、当事者の他方が利用する通信端末に送信する。次に、当事者の他方が利用する通信端末は、ディスプレイに画像を表示させると共にスピーカから音を出力させる。これにより、実際の会議に近い状態で遠隔地間の会議を行うことができる。更に、一方の通信端末側で保持又は表示中の資料等を示す画像データを、通信ネットワークを介して他方の通信端末に送信することで、画像データを共有することが可能である(特許文献1参照)。 A communication system that communicates with a remote place via a communication network such as the Internet has become widespread. An example of the communication system is a conference system for holding a remote conference. In a general conference system, a communication terminal used by one of parties involved in a remote conference converts an image or sound of a subject in a conference room into digital data and transmits the digital data to a communication terminal used by the other party. Next, the communication terminal used by the other of the parties displays an image on the display and outputs a sound from the speaker. As a result, it is possible to hold a conference between remote places in a state close to an actual conference. Furthermore, it is possible to share image data by transmitting image data showing a material or the like held or displayed on one communication terminal side to the other communication terminal via a communication network (Patent Document 1). reference).
また、企業や教育機関、行政機関等における会議等において、ディスプレイに画像を表示させ、この画像の上に、ユーザが、文字、数字及び図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。更に、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。 Also, at a meeting or the like in a company, an educational institution, an administrative institution, etc., a communication terminal such as an electronic blackboard on which an image is displayed on a display and a user draws a stroke image such as letters, numbers and figures on the image. It is used (see Patent Document 2). This stroke image is drawn by electronically converting the content drawn by the user touching and moving the display on the display with an electronic pen or hand by the user to generate stroke data such as coordinate data. It Furthermore, when a stroke image is drawn on one communication terminal, the stroke data for reproducing this stroke image is transmitted to the other communication terminal via the communication network, so that the same stroke image is also displayed on the other communication terminal. Is displayed.
以上より、一方の通信端末(第1の通信端末)が、表示中又は記憶している資料等の画像データ、及びストローク画像を再生するためのストロークデータを、通信ネットワークを介して他方の通信端末(第2の通信端末)に送信することで、他方の通信端末は資料や画面背景等の資料画像を表示すると共にストローク画像を表示することができる。 As described above, one communication terminal (first communication terminal) transmits the image data of the material or the like being displayed or stored and the stroke data for reproducing the stroke image to the other communication terminal via the communication network. By transmitting to the (second communication terminal), the other communication terminal can display a material image such as a material or a screen background and a stroke image.
しかしながら、近年、資料等の画像データはアプリケーションの高度化によりデータそのものの容量が非常に大きくなっている。例えば、資料画像の画像データのデータ量は、ストローク画像を再生するためのストロークデータのデータ量よりも非常に大きいため、第2の通信端末に到達する画像データとストロークデータのタイミングが合わない。即ち、第2の通信端末では、資料画像の画像データよりも先にストロークデータが届くことがあり、このような場合に、第2の通信端末ではストローク画像の表示が進んだ後に資料画像が表示される。これにより、第2の通信端末の利用者は、ストローク画像の表示が進んだ後に資料画像の存在に気づき、第1の通信端末の利用者との円滑なコミュニケーションに支障が生じてしまうという課題が生じる。 However, in recent years, the volume of image data such as materials has become very large due to the sophistication of applications. For example, since the data amount of the image data of the material image is much larger than the data amount of the stroke data for reproducing the stroke image, the timing of the image data and the stroke data reaching the second communication terminal does not match. That is, in the second communication terminal, the stroke data may arrive before the image data of the material image. In such a case, the second communication terminal displays the material image after the stroke image is displayed. To be done. As a result, the user of the second communication terminal notices the existence of the material image after the stroke image is displayed, which causes a problem in smooth communication with the user of the first communication terminal. Occurs.
請求項1に係る発明は、複数の通信端末におけるデータ共有を管理する通信管理システムであって、第1の通信端末が受信するように、画像データの保存位置を示す保存位置情報を送信する送信手段と、前記第1の通信端末が送信した、前記画像データのアップロードを開始する旨を示す開始通知を受信する受信手段と、を有し、前記送信手段は、第2の通信端末が受信するように、前記開始通知を送信し、前記受信手段は、前記第1の通信端末が送信した、ストローク画像を再生するためのストロークデータを受信し、前記送信手段は、第2の通信端末が受信するように、前記ストロークデータを送信すること、を特徴とする通信管理システムである。 The invention according to claim 1 is a communication management system that manages data sharing in a plurality of communication terminals, and transmits so that the first communication terminal receives storage location information indicating a storage location of image data. And a receiving unit that receives a start notification transmitted by the first communication terminal and indicating that the uploading of the image data is to be started, and the transmitting unit is received by the second communication terminal. As described above, the start notification is transmitted, the receiving unit receives the stroke data for reproducing the stroke image transmitted by the first communication terminal, and the transmitting unit receives the stroke data by the second communication terminal. So as to transmit the stroke data.
以上説明したように本発明によれば、第1の通信端末の利用者と第2の通信端末の利用者との間で、資料画像の共有とストローク画像の共有を適切に行うことで、円滑なコミュニケーションに寄与することが可能であるという効果を奏する。 As described above, according to the present invention, by properly sharing the material image and the stroke image between the user of the first communication terminal and the user of the second communication terminal, It is possible to contribute to various communication.
以下、図面を用いて、本発明の一実施形態について説明する。 An embodiment of the present invention will be described below with reference to the drawings.
〔通信システムの概略〕
<通信ルート>
まず、図1を用いて、複数の電子黒板1b,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
[Outline of communication system]
<Communication route>
First, a communication system for conducting a video conference while drawing between a plurality of electronic blackboards 1b, 1b will be described with reference to FIG. FIG. 1 is a schematic diagram showing a communication route of this embodiment. In some cases, the term “video conference” is used instead of “video conference”. Although a video conference will be described here as an example, a meeting or a simple conversation may be performed.
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の映像データ及び音データ、並びに、共有用の画像データ及びストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、遠隔ビデオ通話が可能となる。 The communication system is constructed by a plurality of electronic blackboards 1 a and 1 b, a relay device 3, a communication management system 5, and an image storage device 7. The electronic blackboards 1a and 1b perform mutual communication of content data such as video data and sound data for calls, and image data and stroke data for sharing. The stroke data is data required to reproduce (reproduce) the stroke image, and includes coordinate data, line width data, line color data, vector data, and the like. The electronic blackboards 1a and 1b can transmit and receive video data and sound data for a call to reproduce the video and sound of the other party, thereby enabling a remote video call.
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面をキャプチャされた場合のキャプチャ画面等の画像である。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。 The electronic blackboards 1a and 1b can transmit/receive image data of a material image for sharing, so that participants using the communication system can share the same material image. The material image is an image displayed on the display of the electronic blackboard 1, and is an image of the material of the conference, a background image displayed on the display, a capture screen when the display screen is captured, or the like. Further, the electronic blackboards 1a and 1b transmit/receive the stroke data of the stroke image for sharing, so that the participants who use the communication system can share the same stroke image. The stroke image is an image showing a line or the like drawn by a user with a handwritten stroke with an electronic pen or the like. The stroke image is displayed by the stroke data indicating the point that specifies the coordinates on the display.
なお、通信システムは、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板によって構築されてもよい。以降、電子黒板1b,1bの総称を示す場合は、「電子黒板1」と示す。 The communication system is not limited to the two electronic blackboards 1a and 1b, and may be constructed by three or more electronic blackboards. Hereinafter, the electronic blackboards 1b and 1b are collectively referred to as "electronic blackboard 1".
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、映像データの画像は、動画であっても静止画であってもよい。 In FIG. 1, an electronic blackboard having a video conference function is shown as an example of the electronic blackboards 1a and 1b. The image of the video data may be a moving image or a still image.
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。但し、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1b,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われてもよい。 Further, the electronic blackboard as a request source for requesting the start of the video conference is represented as "starting terminal", and the electronic blackboard as a destination (relay destination) as the request destination is represented as "destination terminal". In FIG. 1, the electronic blackboard 1a is shown as a start terminal and the electronic blackboard 1b is shown as a destination terminal. However, when requesting the start of the video conference from the electronic blackboard 1b, the electronic blackboard 1b becomes the start terminal and the electronic blackboard 1a becomes the destination terminal. The electronic blackboards 1b and 1b are used not only for communication between a plurality of business establishments and communication between different rooms in the same business establishment, but also for communication in the same room, outdoors and indoors or outdoors and outdoors. May be used in communication.
中継装置3は、コンピュータによって構成され、複数の電子黒板1b,1b間で、通話用のコンテンツデータを中継する処理を行なう。 The relay device 3 is composed of a computer and performs a process of relaying content data for a call between the plurality of electronic blackboards 1b and 1b.
通信管理システム5は、コンピュータによって構成され、電子黒板1b,1bからのログイン認証、電子黒板1b、1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1b,1b間で、共有用のストロークデータを中継する。 The communication management system 5 is configured by a computer, and centrally manages login authentication from the electronic blackboards 1b and 1b, management of communication statuses of the electronic blackboards 1b and 1b, management of destination list, communication status of the relay device 3, and the like. To do. Further, the communication management system 5 relays the stroke data for sharing between the plurality of electronic blackboards 1b, 1b.
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。 The image storage device 7 is configured by a computer, stores image data of a material image for sharing uploaded from the electronic blackboard 1a, and downloads it to the electronic blackboard 1b. The reverse is also done. That is, the image storage device 7 stores the image data uploaded from the electronic blackboard 1b and downloads it to the electronic blackboard 1a.
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。 The relay device 3, the communication management system 5, and the image storage device 7 may be constructed by a single computer, or may be constructed by a plurality of computers that are arbitrarily assigned by dividing each unit (function or means). May be.
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つのセッションが確立される。図1では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ない又は多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。 In the communication system, a management information session sei for transmitting and receiving various kinds of management information is established between the electronic blackboards 1a and 1b via the communication management system 5. In addition, for transmitting and receiving each of four data of high-resolution image data, medium-resolution image data, low-resolution image data, and sound data to and from the electronic blackboards 1a and 1b via the relay device 3. Four sessions are established. In FIG. 1, these four sessions are collectively shown as an image/sound data session sed. Note that the image/sound data session sed does not necessarily have to be four sessions, and may have a session number smaller or larger than four sessions. Further, a communication session may be directly established between the start terminal and the destination terminal without going through the relay device 3.
更に、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。 Furthermore, in the communication system, stroke data can be transmitted and received between the electronic blackboards 1a and 1b by using the management information session sei.
ここで、本実施形態で扱われる映像データの映像の解像度について説明する。低解像度の映像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の映像データは、横が320画素、縦が240画素から成る。高解像度の映像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。 Here, the resolution of the video of the video data handled in this embodiment will be described. The low-resolution video data includes, for example, 160 pixels horizontally and 120 pixels vertically, and serves as a base image. The video data of medium resolution consists of 320 pixels horizontally and 240 pixels vertically. The high-resolution video data includes, for example, 640 pixels in the horizontal direction and 480 pixels in the vertical direction. Of these, when passing through a narrow band path, low-quality video data consisting only of low-resolution video data that serves as a base image is relayed. When the band is relatively wide, low-resolution video data serving as a base image and medium-quality video data including medium-resolution video data are relayed. When the band is extremely wide, high-quality video data including low-resolution video data, medium-resolution video data, and high-resolution video data, which are base images, is relayed. Since the amount of sound data is smaller than that of video data, it is relayed even through a narrow band route.
<電子黒板の使用イメージ>
図2は、電子黒板の使用イメージ図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン160を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
<Image of using the electronic blackboard>
FIG. 2 is an image diagram of the use of the electronic blackboard. As shown in FIG. 2, the electronic blackboard 1 includes a leg 151 provided with a plurality of casters on a lower side thereof, a post 152 provided on an upper side of the leg 151, and an upper part of the post 152. It is configured by a main body 153 of the electronic blackboard 1 provided on the side and a display 180 provided on the front surface of the main body 153. The main body 153 has a CPU 101 and the like described later built therein. Then, the user can use the electronic pen 160 to input (draw) a stroke image such as a character on the display 180.
〔ハードウェア構成〕
次に、本実施形態のハードウェア構成を説明する。
[Hardware configuration]
Next, the hardware configuration of this embodiment will be described.
<電子黒板のハードウェア構成>
図3は、電子黒板のハードウェア構成図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F105、及び、外部機器接続I/F(Interface)106を備えている。
<Hardware configuration of electronic blackboard>
FIG. 3 is a hardware configuration diagram of the electronic blackboard. As shown in FIG. 3, the electronic blackboard 1 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an SSD (Solid State Drive) 104, and a network I/O. An F 105 and an external device connection I/F (Interface) 106 are provided.
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。 Of these, the CPU 101 controls the operation of the entire electronic blackboard 1. The ROM 102 stores programs used for driving the CPU 101 such as the CPU 101 and IPL (Initial Program Loader). The RAM 103 is used as a work area for the CPU 101. The SSD 104 stores various data such as a program for an electronic blackboard. The network controller 105 controls communication with the communication network 100. The external device connection I/F 106 is an interface for connecting various external devices. The external devices in this case are, for example, a USB (Universal Serial Bus) memory 130 and external devices (microphone 140, speaker 150, camera 160).
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、及び近距離通信回路119のアンテナ119a、電源スイッチ122及び選択スイッチ類123を備えている。 The electronic blackboard 1 also includes a capture device 111, a GPU 112, a display controller 113, a contact sensor 114, a sensor controller 115, an electronic pen controller 116, a short-range communication circuit 119, and an antenna 119a of the short-range communication circuit 119, a power switch 122, and A selection switch 123 is provided.
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer))170のディスプレイに対して映像情報を静止画または動画として表示させる。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。 Of these, the capture device 111 causes the display of an external PC (Personal Computer) 170 to display video information as a still image or a moving image. A GPU (Graphics Processing Unit) 112 is a semiconductor chip that specializes in graphics. The display controller 113 controls and manages screen display in order to output the output image from the GPU 112 to the display 180 or the like. The contact sensor 114 detects that the electronic pen 190, the user's hand H, or the like has come into contact with the display 180. The sensor controller 115 controls processing of the contact sensor 114. The contact sensor 114 performs input of coordinates and detection of coordinates by an infrared ray blocking method. The method of inputting the coordinates and detecting the coordinates is such that two light emitting/receiving devices installed at both upper ends of the display 180 emit a plurality of infrared rays in parallel with the display 180 and are provided around the display 180. This is a method of receiving the light reflected by the reflecting member and returning on the same optical path as the optical path of the light emitted by the light receiving element. The contact sensor 114 outputs the ID of infrared rays emitted by the two light emitting/receiving devices blocked by the object to the sensor controller 115, and the sensor controller 115 specifies the coordinate position which is the contact position of the object. The electronic pen controller 116 communicates with the electronic pen 190 to determine whether or not the tip of the pen or the touch of the pen bottom touches the display 180. The short-range communication circuit 119 is a communication circuit such as NFC (Near Field Communication) and Bluetooth (registered trademark). The power switch 122 is a switch for switching ON/OFF the power of the electronic blackboard 1. The selection switches 123 are, for example, a group of switches for adjusting the brightness and shade of the display on the display 180 and the like.
更に、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the electronic blackboard 1 includes a bus line 110. The bus line 110 is an address bus, a data bus, or the like for electrically connecting the respective constituent elements such as the CPU 101 shown in FIG.
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先及びペン尻だけでなく、電子ペン190のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 Note that the contact sensor 114 is not limited to the infrared blocking method, but is a capacitive touch panel that detects a change in electrostatic capacity to specify a contact position, and a contact position is specified by a voltage change between two opposing resistance films. Various detection means such as a resistive film type touch panel, an electromagnetic induction type touch panel that detects electromagnetic induction generated when a contact object touches the display unit, and specifies a contact position may be used. Further, the electronic pen controller 116 may determine whether or not the user holds the part of the electronic pen 190 or other parts of the electronic pen 190 as well as the pen tip and pen bottom of the electronic pen 190.
<通信管理システム、中継装置、及び画像保存装置のハードウェア構成>
図4は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、及び、バスライン510を備えている。
<Hardware configuration of communication management system, relay device, and image storage device>
FIG. 4 is a hardware configuration diagram of the communication management system 5 according to the present embodiment. A computer as an example of the communication management system 5 includes a CPU 501, a ROM 502, a RAM 503, an HD (Hard Disk) 504, an HDD (Hard Disk Drive) controller 505, a display 506, an external device connection I/F (Interface) 508, and a network I/F. An F509, a keyboard 511, a pointing device 512, a DVD-RW (Digital Versatile Disk ReWritable) drive 514, a media I/F 516, and a bus line 510 are provided.
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク4を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス12は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD−RWドライブ514は、DVD−RWに対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD−RWドライブでなく、BD−RE(Blu-ray Disc Rewritable)等のディスクに対するデータの読み出し又は書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。 Of these, the CPU 501 controls the operation of the entire communication management system 5. The ROM 502 stores a program used for driving the CPU 501 such as an IPL. The RAM 503 is used as a work area for the CPU 501. The HD 504 stores various data such as a communication management program. The HDD controller 505 controls reading or writing of various data with respect to the HD 504 under the control of the CPU 501. The display 506 displays various information such as a cursor, a menu, a window, characters, and an image. The external device connection I/F 508 is an interface for connecting various external devices. The network I/F 509 is an interface for performing data communication using the communication network 4 such as the Internet. The keyboard 511 is a type of input means including a plurality of keys for inputting characters, numerical values, various instructions, and the like. The pointing device 12 is a type of input means for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like. The DVD-RW drive 514 controls reading or writing (storage) of data with respect to the DVD-RW. Note that reading or writing (storage) of data to a disc such as a BD-RE (Blu-ray Disc Rewritable) instead of the DVD-RW drive may be controlled. The media I/F 516 controls reading or writing (storage) of data with respect to the recording medium 515 such as a flash memory.
また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the bus line 510 is an address bus, a data bus or the like for electrically connecting the respective components such as the CPU 501 shown in FIG.
なお、図1に示されている中継装置3及び画像保存装置7のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。 Note that the hardware configurations of the relay device 3 and the image storage device 7 illustrated in FIG. 1 are similar to the hardware configurations of the communication management system 5, and thus description thereof will be omitted. However, in the case of the relay device 3, the relay program is stored in the HD 504. Further, in the case of the image storage device 7, the image storage program is stored in the HD 504.
〔通信システムの全体構成〕
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、本発明の実施形態に係る通信システムの全体構成図である。
[Overall configuration of communication system]
Next, the overall configuration of the communication system will be described with reference to FIG. FIG. 5 is an overall configuration diagram of the communication system according to the embodiment of the present invention.
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは日本の大阪事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。 In FIG. 5, the electronic blackboard 1a is installed at the site A, and the electronic blackboard 1b is installed at the site B. For example, the base A is the Tokyo office in Japan, and the base B is the Osaka office in Japan. At the base A, the user A1 uses the electronic blackboard 1a, and at the base B, the users B1 and B2 use the electronic blackboard 1b.
更に、電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7は、インターネット等の通信ネットワーク100を介してデータの相互通信を行なうことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。 Further, the electronic blackboards 1a and 1b, the relay device 3, the communication management system 5, and the image storage device 7 can perform mutual data communication via a communication network 100 such as the Internet. The communication network 100 may include a wireless communication part.
なお、図5では、電子黒板1a,1bは、ともに映像通信可能な電子黒板である。 In FIG. 5, the electronic blackboards 1a and 1b are both electronic blackboards capable of video communication.
〔通信システムの機能構成〕
次に、図6乃至図11を用いて、本実施形態の機能構成について説明する。図6は、本実施形態に係る通信システムの各機能ブロック図である。
[Functional configuration of communication system]
Next, the functional configuration of this embodiment will be described with reference to FIGS. 6 to 11. FIG. 6 is a functional block diagram of the communication system according to the present embodiment.
<電子黒板1aの機能構成>
図6に示されているように、電子黒板1aは、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、及び記憶・読出処理部19aを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、電子黒板1aは、図2に示されているRAM103、及び図2に示されているフラッシュメモリ104によって構築される記憶部1000aを有している。
<Functional configuration of electronic blackboard 1a>
As shown in FIG. 6, the electronic blackboard 1a includes a transmission/reception unit 11a, a reception unit 12a, a video/sound processing unit 13a, a display control unit 14a, a determination unit 15a, an image processing unit 17a, and a short-range communication unit 18a. And a storage/readout processing unit 19a. Each of these units is a function realized by any one of the constituent elements shown in FIG. 2 being operated by an instruction from the CPU 101 according to a program expanded on the RAM 103 from the SSD 104, or means for functioning. is there. Further, the electronic blackboard 1a has a RAM 103 shown in FIG. 2 and a storage unit 1000a constructed by the flash memory 104 shown in FIG.
(電子黒板1aの各機能構成)
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行なう。受付部12aは、利用者から電子ペン190等による各種入力を受け付ける。
(Each functional configuration of the electronic blackboard 1a)
Next, each component of the electronic blackboard 1a will be described. The transmission/reception unit 11a transmits/receives various data (or information) to/from another terminal, device, or system via the communication network 100. The transmitter/receiver 11a also functions as a starter and performs a process of starting communication with another communication terminal such as the electronic blackboard 1b. The reception unit 12a receives various inputs from the user using the electronic pen 190 or the like.
映像・音処理部13aは、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13aは、マイク140の出力信号及びカメラ160の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13aは、送受信部11aで受信された映像データ及び音データに基づき、映像信号を生成したり音信号を生成したりする。映像・音処理部13a、解像度の異なる映像データを組み合わせる処理を行う。 The video/sound processing unit 13a performs the main processing of the video conference function. For example, the video/sound processing unit 13a performs digital processing such as encoding of video data and sound data in accordance with the output signal of the microphone 140 and the output signal of the camera 160. The video/sound processing unit 13a also generates a video signal or a sound signal based on the video data and the sound data received by the transmitting/receiving unit 11a. The video/sound processing unit 13a performs a process of combining video data having different resolutions.
表示制御部14aは、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う。判断部15aは、各種判断を行う。 The display control unit 14a performs control for outputting a video signal (image signal) or the like to the display 180. The judgment unit 15a makes various judgments.
画像処理部17aは、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像及びストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。 The image processing unit 17a performs main processing of the electronic blackboard function. For example, the image processing unit 17a creates a stroke image and stroke data based on the stroke of the electronic pen 190 or the like accepted by the accepting unit 12a, or creates a stroke image based on the stroke data received by the transmitting/receiving unit 11a. To do The image processing unit 17a also generates an image signal based on the image data of the material image received by the transmitting/receiving unit 11a.
近距離通信部18aは、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得及び提供を行なう。 The short-range communication unit 18a acquires and provides data by short-range wireless communication with each terminal having the short-range communication unit.
記憶・読出処理部19aは、記憶部1000a又はUSBメモリ130等の記録媒体1010aに各種データを記憶したり、記憶部1000a又は記録媒体1010aに記憶された各種データを読み出したりする処理を行う。 The storage/read processing unit 19a performs processing of storing various data in the storage unit 1000a or the recording medium 1010a such as the USB memory 130, or reading various data stored in the storage unit 1000a or the recording medium 1010a.
更に、記憶部1000aには、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の映像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。 Further, in the storage unit 1000a, video data and sound data received when communicating with another terminal is overwritten and stored each time it is received. Of these, an image is displayed on the display 180 by the video data before being overwritten, and a sound is output from the speaker 150 by the sound data before being overwritten.
<電子黒板1bの機能構成>
図6に示されているように、電子黒板1bは、送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、及び記憶・読出処理部19bを有している。送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、近距離通信部18b、及び記憶・読出処理部19bは、それぞれ、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、近距離通信部18a、及び記憶・読出処理部19aと同様の機能を有しているため、これらの説明を省略する。
<Functional configuration of electronic blackboard 1b>
As shown in FIG. 6, the electronic blackboard 1b includes a transmission/reception unit 11b, a reception unit 12b, a video/sound processing unit 13b, a display control unit 14b, a determination unit 15b, an image processing unit 17b, a short-range communication unit 18b, And a storage/readout processing unit 19b. The transmission/reception unit 11b, the reception unit 12b, the video/sound processing unit 13b, the display control unit 14b, the determination unit 15b, the image processing unit 17b, the short-range communication unit 18b, and the storage/readout processing unit 19b are respectively the transmission/reception unit 11a, Since the reception unit 12a, the video/sound processing unit 13a, the display control unit 14a, the determination unit 15a, the image processing unit 17a, the short-range communication unit 18a, and the storage/readout processing unit 19a have the same functions, Is omitted.
<中継装置の機能構成>
図6に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35、及び記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置3は、図4に示されているRAM503、HD504によって構築される記憶部3000を有している。
<Functional configuration of relay device>
As shown in FIG. 6, the relay device 3 includes a transmission/reception unit 31, which also serves as a transfer unit, a determination unit 35, and a storage/readout processing unit 39. Each of these units is a function realized by any one of the constituent elements shown in FIG. 4 or a function that is realized by operating by a command from the CPU 501 according to a relay program expanded from the HD 504 on the RAM 503. Is. Further, the relay device 3 has a storage unit 3000 constructed by the RAM 503 and the HD 504 shown in FIG.
(中継装置の各機能構成)
次に、中継装置3の各機能構成について詳細に説明する。図6に示されている中継装置3の送受信部31は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た映像データ及び音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行なう。
(Functional configuration of relay device)
Next, each functional configuration of the relay device 3 will be described in detail. The transmission/reception unit 31 of the relay device 3 illustrated in FIG. 6 transmits/receives various data (or information) to/from another terminal, device, or system via the communication network 100. The transmission/reception unit 31 also functions as a transfer unit, and transfers the video data and sound data transmitted from a predetermined terminal to another terminal. The judgment unit 35 makes various judgments such as judgment of a data delay state.
記憶・読出処理部39は、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。 The storage/readout processing unit 39 performs processing of storing various data in the storage unit 3000 and reading out various data stored in the storage unit 3000.
<通信管理システムの機能構成>
図6に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55及び記憶・読出処理部59を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム5は、図4に示されているHD504により構築される記憶部5000を有している。
<Functional configuration of communication management system>
As shown in FIG. 6, the communication management system 5 includes a transmission/reception unit 51, an authentication unit 52, a generation unit 53, a selection unit 54, a determination unit 55, and a storage/readout processing unit 59. Each of these units functions or functions realized by any of the components shown in FIG. 6 being operated by an instruction from the CPU 501 according to a communication management program expanded from the HD 504 on the RAM 503. It is a means. Further, the communication management system 5 has a storage unit 5000 constructed by the HD 504 shown in FIG.
(認証管理テーブル)
図7は、認証管理テーブルを示す概念図である。記憶部5000には、図7に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図7に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
(Authentication management table)
FIG. 7 is a conceptual diagram showing an authentication management table. An authentication management DB 5001 including an authentication management table as shown in FIG. 7 is built in the storage unit 5000. In this authentication management table, each password is associated with each terminal ID of all the electronic blackboards 1 managed by the communication management system 5 and managed. For example, the authentication management table shown in FIG. 7 indicates that the terminal ID of the electronic blackboard 1a (communication terminal) is "01aa" and the password is "aaaa". The password is an example of authentication information, and the authentication information also includes an access token.
(端末管理テーブル)
図8は、端末管理テーブルを示す概念図である。記憶部5000には、図8に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1(通信端末)のIPアドレスが関連付けられて管理される。例えば、図8に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、及び端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
(Terminal management table)
FIG. 8 is a conceptual diagram showing a terminal management table. In the storage unit 5000, a terminal management DB 5002 configured by a terminal management table as shown in FIG. 8 is constructed. In this terminal management table, for each terminal ID for identifying each electronic blackboard 1 (communication terminal), the destination name when each electronic blackboard 1 is the destination, the operating state of each electronic blackboard 1, and the login request information described below. The reception date and time when is received by the communication management system 5 and the IP address of each electronic blackboard 1 (communication terminal) are associated and managed. For example, in the terminal management table shown in FIG. 8, the electronic blackboard 1a with the terminal ID “01aa” has the terminal name “Japan Tokyo Office AA terminal” and the operating state “ON line (communicable)”. Then, the date and time when the login request information is received by the communication management system 5 is "13:40 on April 10, 2015", and the IP address of this terminal 1aa is "1.2.1.3". It is shown. The terminal ID, the destination name, and the IP address of the terminal are stored when each electronic blackboard 1 is pre-registered in order to receive the service provided by the communication management system 5.
(宛先リスト管理テーブル)
図9は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図9に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図9に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
(Recipient list management table)
FIG. 9 is a conceptual diagram showing the destination list management table. A destination list management DB 5003 configured by a destination list management table as shown in FIG. 9 is built in the storage unit 5000. In this destination list management table, all the terminal IDs of the destination terminals registered as candidates for the electronic whiteboard 1 (destination terminal) are associated with the terminal IDs of the electronic whiteboard 1 (starting terminal) requesting the start of communication. Managed. For example, in the destination list management table shown in FIG. 9, the destination terminal candidates that can request the start of communication from the starting terminal (electronic whiteboard 1a) with the terminal ID “01aa” have the terminal ID “ It is shown that it is the electronic blackboard 1b of "01ba". This destination terminal candidate is updated by being added or deleted in response to a request for addition or deletion from the arbitrary management terminal to the communication management system 5.
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。 Note that the destination list is an example of the destination information, and the destination information may not be in a list format, but information about the destination such as the terminal ID may be listed.
(セッション管理テーブル)
図10は、セッション管理テーブルを示す概念図である。記憶部5000には、図10に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連付けられて管理される。例えば、図10に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、映像データ及び音データを中継しており、電子黒板(宛先端末)において「2015年4月10日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。
(Session management table)
FIG. 10 is a conceptual diagram showing a session management table. A session management DB 5004 configured by a session management table as shown in FIG. 10 is built in the storage unit 5000. In the session management table, the relay device ID of the relay device 3 used for each communication session ID for identifying a session for mutual communication between each electronic blackboard (communication terminal) and the relay device 3, The terminal ID of the electronic blackboard 1 (starting terminal), the terminal ID of the electronic blackboard 1 (destination terminal), the delay time (ms) of reception when video data is received at the destination terminal, and this delay time are shown. The reception date and time, which is sent from the destination terminal and is received by the communication management system 5, is associated and managed. For example, in the session management table shown in FIG. 10, in the communication session executed using the session ID “se01”, the relay device (relay device ID “111a”) is the electronic blackboard with the terminal ID “01aa”. And the image data and the sound data are relayed between the electronic blackboard with the terminal ID "01db" and the image at the time "13:41 on April 10, 2015" on the electronic blackboard (destination terminal). It is shown that the data delay time is 200 (ms).
(中継装置管理テーブル)
図11は、中継装置管理テーブルを示す概念図である。記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、及び、中継装置3における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「ONライン」で、通信管理システム5で状態情報が受信された日時が「2014年4月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
(Relay device management table)
FIG. 11 is a conceptual diagram showing a relay device management table. In the storage unit 5000, a relay device management DB 5005 configured by a relay device management table as shown in FIG. 11 is constructed. In this relay device management table, for each relay device ID, the operating state of each relay device 3, the reception date and time when the communication management system 5 received the state information indicating the operating state, the IP address of the relay device 3, and the relay The maximum data transmission rate (Mbps) in the device 3 is associated and managed. For example, in the relay device management table shown in FIG. 11, the relay device 3 having the relay device ID “111a” has the operating state “ON line”, and the date and time when the communication management system 5 receives the state information. At “13:30 on April 10, 2014”, it is shown that the IP address of the relay device 3 is “1.2.1.2” and the maximum data transmission rate in the relay device 3 is 100 Mbps. Has been done.
(通信管理システムの各機能構成)
図6に示されている通信管理システム5の送受信部51は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。
(Functional configuration of communication management system)
The transmission/reception unit 51 of the communication management system 5 shown in FIG. 6 transmits/receives various data (or information) to/from another terminal, device, or system via the communication network 100.
認証部52は、送受信部51を介して受信されたログイン要求に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末ID及びパスワードが管理されているかを判断することによって認証を行う。生成部53は、電子黒板1からの通信開始要求(S62参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部54は、各種判断を行なう。記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。 The authentication unit 52 uses the terminal ID and password included in the login request received via the transmission/reception unit 51 as a search key, searches the authentication management DB 5001 of the storage unit 5000, and sets the same group of terminals in the authentication management DB 5001. Authentication is performed by determining whether the ID and password are managed. The generation unit 53 generates a session ID for identifying a communication session based on the communication start request (see S62) from the electronic blackboard 1. The selection unit 54 performs a process of finally selecting one relay device 3 from the plurality of relay devices 3. The judgment unit 54 makes various judgments. The storage/readout processing unit 59 performs processing of storing various data in the storage unit 5000 and reading out various data stored in the storage unit 5000.
<画像保存装置の機能構成>
図6に示されているように、画像保存装置7は、送受信部71、及び記憶・読出処理部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、画像保存装置7は、図4に示されているRAM503、HD504によって構築される記憶部7000を有している。
<Functional configuration of image storage device>
As shown in FIG. 6, the image storage device 7 includes a transmission/reception unit 71 and a storage/readout processing unit 79. Each of these units functions or functions realized by any of the components shown in FIG. 6 being operated by an instruction from the CPU 501 according to an image storage program expanded from the HD 504 on the RAM 503. It is a means. The image storage device 7 also has a storage unit 7000 constructed by the RAM 503 and HD 504 shown in FIG.
(画像保存装置の各機能構成)
次に、画像保存装置7の各機能構成について詳細に説明する。図6に示されている画像保存装置7の送受信部71は、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。記憶・読出処理部79は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
(Functional configuration of image storage device)
Next, each functional configuration of the image storage device 7 will be described in detail. The transmission/reception unit 71 of the image storage device 7 shown in FIG. 6 transmits/receives various data (or information) to/from another terminal, device, or system via the communication network 100. The storage/readout processing unit 79 performs processing of storing various data in the storage unit 7000 and reading out various data stored in the storage unit 7000.
〔実施形態の処理又は動作〕
次に、図12乃至図17を用いて、本実施形態に係る通信システムにおける処理又は動作を説明する。
[Process or Operation of Embodiment]
Next, processing or operation in the communication system according to the present embodiment will be described with reference to FIGS. 12 to 17.
<遠隔通信の準備段階の処理>
まず、図12及び図13を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。なお、図12は、電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図13は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
<Processing at the preparation stage for remote communication>
First, the preparation process for communication performed by the electronic blackboard 1a as the login request terminal will be described with reference to FIGS. 12 and 13. It should be noted that FIG. 12 is a sequence diagram showing the processing in the preparatory stage for starting remote communication between the electronic blackboards. FIG. 13 is an example of a screen of the destination list displayed on the electronic blackboard 1a. Note that the process of the electronic blackboard 1b performing login sharing is the same as the process of the electronic blackboard 1a, and a description thereof will be omitted.
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS22)。 First, when the power switch 122 is turned on in the electronic whiteboard 1a, the reception unit 12a receives the power ON (step S22).
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS23)。このログイン要求情報には、電子黒板1aの端末ID及びパスワードが含まれている。 Next, the transmission/reception unit 11a transmits login request information indicating a request for login authentication to the communication management system 5 via the communication network 100 (step S23). This login request information includes the terminal ID of the electronic blackboard 1a and the password.
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図7参照)を検索し、同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS24)。ここでは、記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、続けて説明する。 Next, the authentication unit 52 of the communication management system 5 searches the authentication management table (see FIG. 7) using the terminal ID and password included in the login request information received via the transmission/reception unit 51 as a search key, The terminal is authenticated by determining whether the same terminal ID and the same password are managed (step S24). Here, description will be continued assuming that the same terminal ID and the same password are managed by the storage/read processing unit 59.
認証部52によって、同一の端末ID及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図8参照)において、上記ステップS23で受信された端末IDのレコードの稼動状態のフィールド部分を「ONライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS23によってログイン要求情報が受信された受信日時を記憶する(ステップS25)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2015.4.10.13:40」及びIPアドレス「1.2.1.3」が関連付けて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されるようにしてもよい。 When the authentication unit 52 determines that the same terminal ID and the same password are managed, and the login request is from a terminal having a valid usage authority, the storage/read processing unit 59 In the terminal management table (see FIG. 8), the field part of the operating state of the record of the terminal ID received in step S23 is changed to “ON line (communication possible)”, and the field part of the reception date and time is set in step S23. The date and time when the login request information is received is stored (step S25). As a result, in the terminal management table, the terminal ID “01aa”, the operating state “online (communication possible)”, the reception date and time “2015.4.10.13:40”, and the IP address “1.2.1.3”. Will be managed in association with each other. The IP address of the terminal may not be registered in advance, but may be transmitted from the electronic blackboard 1a in step S23.
次に、記憶・読出処理部59は、上記ステップS23によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図10参照)で追加して管理する(ステップS26)。そして、通信管理システム5の送受信部51は、上記ステップ24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。 Next, the storage/read processing unit 59 adds and manages a new record including the terminal ID of the electronic blackboard 1a received in step S23 in the session management table (see FIG. 10) (step S26). Then, the transmission/reception unit 51 of the communication management system 5 transmits the authentication result information indicating the authentication result obtained by the process of step 24 to the electronic blackboard 1a that has made the login request via the communication network 100. (Step S27).
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。 When the transmission/reception unit 11a of the login request terminal (electronic blackboard 1a) receives the authentication result information indicating the result of the determination that the terminal has the proper usage authority, the transmission/reception unit 11a communicates via the communication network 100. The destination list request information indicating that the destination list is requested is transmitted to the management system 5 (step S28). As a result, the transmission/reception unit 51 of the communication management system 5 receives the destination list request information.
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図8参照)から読み出す(ステップS29)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。 Next, the storage/reading processing unit 59 searches the destination list management table (see FIG. 9) using the terminal ID “01aa” of the login request terminal (electronic blackboard 1a) as a search key, and the login request terminal (electronic blackboard 1a). ) Is read out and the destination name corresponding to this terminal ID is read out from the terminal management table (see FIG. 8) (step S29). Here, each terminal ID of the destination candidates corresponding to the terminal ID “01aa” of the login request terminal (electronic blackboard 1a) and the destination name corresponding to these are extracted.
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータ及び稼動状態を示すアイコンのデータを読み出す(ステップS30)と共に、この宛先リスト枠及びアイコン並びに上記記憶・読出処理部59によって読み出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS31)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS32)。 このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。 Next, the transmission/reception unit 51 of the communication management system 5 reads out the data of the destination list frame and the data of the icon indicating the operating state from the storage unit 5000 via the storage/readout processing unit 59 (step S30), and at the same time, the destination list. The “request list information (destination list frame, icon, terminal ID, destination name)” including the frame and the icon, and the terminal ID and the destination name read by the storage/read processing unit 59 are stored in the login request terminal (electronic blackboard). 1a) (step S31). As a result, in the login request terminal (electronic blackboard 1a), the transmission/reception unit 11a receives the destination list information, and the storage/read processing unit 19a stores the destination list information in the storage unit 1000a (step S32). As described above, in the present embodiment, instead of managing the destination list information in each terminal, the communication management system 5 centrally manages the destination list information of all the terminals. Therefore, new electronic blackboards will be included in the communication system, new models of terminals will be included in place of the terminals already included, and the appearance of the destination list frame will be changed. Even in such a case, the communication management system 5 side can handle all at once, so that it is possible to save the trouble of changing the destination list information on each terminal side.
また、通信管理システム5の記憶・読出処理部59は、上述の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図8参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板の各稼動状態を取得する(ステップS33)。 Further, the storage/read processing unit 59 of the communication management system 5 searches the terminal management table (see FIG. 8) using the terminal ID of the read destination candidate described above as a search key, and operates corresponding to each terminal ID. By reading the status, each operating status of the electronic blackboard as a destination candidate is acquired (step S33).
次に、送受信部51は、上記ステップS33で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS34)。 Next, the transmission/reception unit 51 transmits “terminal state information” including the terminal ID as the search key used in step S33 and the operating state of each corresponding destination terminal via the communication network 100. It transmits to the login request terminal (electronic blackboard 1a) (step S34).
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS35)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。 Next, the storage/readout processing unit 19a of the login shared terminal (electronic blackboard 1a) sequentially stores the terminal status information received from the communication management system 5 in the storage unit 1000a (step S35). Therefore, the login request terminal (electronic blackboard 1a) receives the status information of each of the electronic blackboards described above, so that the login request terminal (electronic blackboard 1a) can communicate with the login request terminal (electronic blackboard 1a) such as the current candidate of the electronic blackboard 1b. Each operating status can be acquired.
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、電子黒板1aのディスプレイ180に対して、図13に示されている宛先リスト画面1100を表示する(ステップS36)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、及び宛先名が表示されている。図13では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」として表示されている。 Next, the display control unit 14a of the login request terminal (electronic blackboard 1a) reflects the state of the terminal as a destination candidate based on the destination list information stored in the storage unit 1000a and the state information of the terminal. While creating the destination list, the display control unit 14a displays the destination list screen 1100 shown in FIG. 13 on the display 180 of the electronic blackboard 1a (step S36). On this destination list screen 1100, an icon indicating the operating state, a terminal ID, and a destination name are displayed for each destination candidate. In FIG. 13, the icons indicating the operating states of the terminals are displayed as “offline” and “online (communicable)” from the top.
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図9参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。図9に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ba」、「01da」等である。 On the other hand, the storage/readout processing unit 59 of the communication management system 5 searches the destination list management table (see FIG. 9) based on the terminal ID “01aa” of the login request terminal (electronic blackboard 1a), and thereby the login request terminal The terminal ID “01aa” of the (electronic blackboard 1a) is extracted as the terminal ID of another terminal registered as a destination candidate (step S37). In the destination list management table shown in FIG. 9, the terminal IDs of the other terminals that are read are "01ba", "01ba", "01da", and the like.
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図8参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS38)。 Next, the storage/readout processing unit 59 of the communication management system 5 searches the terminal management table (see FIG. 8) based on the terminal ID “01aa” of the login request terminal (electronic blackboard 1a), and the login request terminal (electronic The operating state of the blackboard 1a) is acquired (step S38).
そして、送受信部51は、上記ステップS37で抽出された端末IDに係る端末のうち、端末管理テーブル(図8参照)で稼動状態が「オンライン」となっている端末に、上記ステップS38で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS39)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図8参照)で管理されている電子黒板のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS40)。 Then, the transmission/reception unit 51 obtains in step S38 the terminal whose operating state is “online” in the terminal management table (see FIG. 8) among the terminals related to the terminal ID extracted in step S37. Then, the "terminal status information" including the terminal ID "01aa" of the login request terminal (electronic whiteboard 1a) and the operating status "online" is transmitted (step S39). When transmitting/receiving the terminal state information to the electronic blackboard 1b, the transmitting/receiving unit 51 refers to the IP address of the electronic blackboard managed in the terminal management table (see FIG. 8) based on each terminal ID. Thereby, the terminal ID “01aa” of the login request terminal (electronic whiteboard 1a) and the operating state “online” are given to each of the other destination terminals that can communicate with the login request terminal (electronic blackboard 1a) as a destination candidate. Can be told. Therefore, the state of the destination candidate can be displayed also on the destination candidate (electronic blackboard 1b or the like) (step S40).
<遠隔通信の開始処理>
続いて、図14を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図14は、遠隔通信を開始する処理を示したシーケンス図である。
<Telecommunication start processing>
Next, a process in which the electronic blackboard 1a starts remote communication with the electronic blackboard 1b will be described with reference to FIG. FIG. 14 is a sequence diagram showing a process of starting remote communication.
まず、要求元端末(電子黒板1a)の利用者が図8に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図6に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS61)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS62)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。 First, when the user of the request source terminal (electronic blackboard 1a) selects the electronic blackboard 1b by pressing the destination candidate (terminal ID "01ba") shown in FIG. 8, the reception unit shown in FIG. 12a receives a request to start a call with the destination terminal (electronic blackboard 1b) (step S61). Then, the transmission/reception unit 11a of the request source terminal (electronic blackboard 1a) transmits start request information indicating that the call is to be started to the communication management system 5 (step S62). This start request information includes the terminal ID “01aa” of the request source terminal (electronic blackboard 1a) and the terminal ID “01ba” of the destination terminal (electronic blackboard 1b). As a result, the transmission/reception unit 51 of the communication management system 5 receives the start request information and the IP address of the request source terminal (electronic whiteboard 1a) that is the transmission source.
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」及び宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図8参照)において、上記端末ID「01aa」、及び端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS63)。なお、この状態では、要求元端末(電子黒板1a)、及び宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板端末が要求元端末(電子黒板1a)又は宛先端末(電子黒板1b)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。 Then, the storage/read processing unit 59 uses the terminal management table based on the terminal ID “01aa” of the request source terminal (electronic blackboard 1a) and the terminal ID “01ba” of the destination terminal (electronic blackboard 1b) included in the start request information. In FIG. 8, both the operating state field portions of the records including the terminal ID “01aa” and the terminal ID “01ba” are changed to “calling” (step S63). In this state, the request source terminal (electronic blackboard 1a) and the destination terminal (electronic blackboard 1b) have not started the video conference, but are in a talking state, and the third electronic blackboard terminal is the request source terminal ( When a call is attempted to the electronic whiteboard 1a) or the destination terminal (electronic blackboard 1b), a notification sound or display indicating that a so-called busy state is output.
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS64)。ここでは、セッションID「se01」が生成された場合について説明する。 Next, a process of executing a session for selecting the relay device 3 that is actually used will be described. First, the generation unit 53 of the communication management system 5 generates a session ID used to execute a session for selecting the relay device 3 (step S64). Here, a case where the session ID “se01” is generated will be described.
そして、記憶・読出処理部59は、セッション管理テーブル(図10参照)に、上記ステップS64で生成されたセッションID「se01」、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」を関連付けて記憶して管理する(ステップS65)。 Then, the storage/read processing unit 59, in the session management table (see FIG. 10), the session ID “se01” generated in step S64, the terminal ID “01aa” of the request source terminal (electronic blackboard 1a), and the destination. The terminal ID “01ba” of the terminal (electronic blackboard 1b) is associated and stored and managed (step S65).
次に、図8に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図11参照)及び端末管理テーブル(図8参照)に基づいて、要求元端末(電子黒板1a)及び宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS66)。具体的には、中継装置管理テーブル(図11参照)において稼動状態が「ONライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図8参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置30a(中継装置ID「111a」)が選択された場合について、以降、続けて説明する。 Next, the selection unit 54 of the communication management system 5 shown in FIG. 8 uses the relay device management table (see FIG. 11) and the terminal management table (see FIG. 8) to request the terminal (electronic blackboard 1a). And the relay device 3 for relaying the call between the two locations of the destination terminal (electronic blackboard 1b) is selected (step S66). Specifically, of the relay device IDs related to the relay device whose operating state is “ON line” in the relay device management table (see FIG. 11), the request source terminal (electronic blackboard 1a) in the terminal management table (see FIG. 8). The relay device ID related to the relay device 3 having the IP address close to the IP address of is selected. Here, a case where the relay device 30a (relay device ID “111a”) is selected will be continuously described below.
以上のステップS66における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS67−1)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、及び上記ステップS64によって生成されたセッションID「se0101」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。 When the process of selecting the relay device in step S66 is completed, the transmission/reception unit 51 of the communication management system 5 transmits the relay device selection information to the request source terminal (electronic blackboard 1a) (step S67-1). .. The relay device selection information includes the IP address of the relay device 3 selected in step S66 and the session ID “se0101” generated in step S64. Thereby, the request source terminal (electronic blackboard 1a) can acquire the IP address of the communication management system 5 that is the transmission source of the relay device selection information.
更に、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS67−2)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、及び上記ステップS64によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。 Further, the transmission/reception unit 51 of the communication management system 5 transmits the relay device selection information to the destination terminal (electronic blackboard 1b) (step S67-2). The relay device selection information includes the IP address of the relay device 3 selected in step S66, the terminal ID “01aa” of the request source terminal (electronic blackboard 1a), and the session ID “se01” generated in step S64. It is included. As a result, the destination terminal (electronic blackboard 1b) can acquire the IP address of the communication management system 5 that is the transmission source of the relay device selection information in the execution of the session with the session ID “se01”.
次に、上記ステップS67−1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS67−1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68−1)。この受信完了情報には、上記ステップS67−1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム50は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。 Next, in response to the processing in step S67-1, the transmission/reception unit 11 of the request source terminal (electronic blackboard 1a) receives the relay device selection information from the communication management system 5 by the processing in step S67-1. The reception completion information indicating that is completed is transmitted (step S68-1). The reception completion information includes the session ID transmitted and received in the process of step S67-1. As a result, the communication management system 50 acquires that the transmission of the relay device selection information executed with the specific session ID “se01” is completed.
更に、上記ステップS67−2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS67−2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68−2)。この場合も、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。 Further, in response to the process of step S67-2, the destination terminal (electronic blackboard 1b) similarly indicates to the communication management system 5 that reception of the relay device selection information has been completed by the process of step S67-2. The reception completion information is transmitted (step S68-2). Also in this case, the communication management system 5 acquires that the transmission of the relay device selection information executed with the specific session ID “se01” is completed.
以上により、電子黒板1a,1bは、上記ステップS66で選択された中継装置3を介して、映像データ及び音データを送受信することで、ビデオ会議を行うことができる。 As described above, the electronic blackboards 1a and 1b can hold a video conference by transmitting and receiving the video data and the sound data via the relay device 3 selected in step S66.
<資料画像及びストローク画像の通信処理>
続いて、図15乃至図17を用いて、電子黒板1に表示されている資料画像及び入力されたストローク画像の通信処理について説明する。図15及び図16は、資料画像の画像データ及びストローク画像のストロークデータを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像の画像データ及びストローク画像のストロークデータを共有する場合であって、電子黒板1aで表示された資料画像及び入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図17のうち、(a)は電子黒板1aの画面例、(b)は電子黒板1bの画面例、(c)は電子黒板1aの画面例、(d)は電子黒板1bの画面例である。
<Communication processing of material images and stroke images>
Next, communication processing of the material image displayed on the electronic blackboard 1 and the input stroke image will be described with reference to FIGS. 15 to 17. 15 and 16 are sequence diagrams showing a process of sharing the image data of the material image and the stroke data of the stroke image. Here, when the image data of the material image and the stroke data of the stroke image are shared by the electronic blackboards 1a and 1b, the material image displayed on the electronic blackboard 1a and the input stroke image are also displayed on the electronic blackboard 1b. The case will be described. 17, (a) is a screen example of the electronic blackboard 1a, (b) is a screen example of the electronic blackboard 1b, (c) is a screen example of the electronic blackboard 1a, and (d) is a screen example of the electronic blackboard 1b. ..
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図17(a)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの映像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共有」ボタンb1を押下すると、受付部12aが利用者aから資料画像の共有処理を受け付ける(ステップS101)。次に、送受信部11aは、通信管理システム5に対して、資料画像の画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS102)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。なお、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。 First, in the electronic blackboard 1a at the site A, the screen shown in FIG. 17A is displayed on the display 180 by the display control unit 14a. Here, the material image d1, the image v2 of the site B, and the “share” button b1 that is pressed when sharing the material image d1 are displayed. In this state, when the user a of the electronic blackboard 1a presses the "share" button b1, the receiving unit 12a receives the process of sharing the material image from the user a (step S101). Next, the transmission/reception unit 11a transmits request information indicating that a URL (Uniform Resource Locator) indicating the storage location of the image data of the material image is requested to the communication management system 5 (step S102). As a result, the transmission/reception unit 51 of the communication management system 5 receives the request information. The URL is an example of storage location information, and the storage location information also includes a URI (Uniform Resource Identifier).
次に、通信管理システム5の生成部53は、資料画像の画像データの保存位置を示すURLを生成する(S103)。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された画像データのURLを送信する。これにより、電子黒板1aの送受信部11aは、画像データのURLを受信する。 Next, the generation unit 53 of the communication management system 5 generates a URL indicating the storage location of the image data of the material image (S103). Then, the transmitting/receiving unit 51 transmits the URL of the image data generated by the generating unit 53 to the electronic blackboard 1a. As a result, the transmission/reception unit 11a of the electronic blackboard 1a receives the URL of the image data.
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードの開始通知を送信する(ステップS105)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。 Next, the transmission/reception unit 11a of the electronic blackboard 1a transmits a start notification of uploading the image data of the material image to the communication management system 5 (step S105). As a result, the transmission/reception unit 51 of the communication management system 5 receives the start notification.
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS106)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14dは、電子黒板1bのディスプレイ180上に、図17(b)に示されているような画面を表示させる(ステップS107)。ここでは、もともと拠点Aの映像v1及び共有する場合に押下される「共有」ボタンb2が表示されており、ステップS106の開始通知により、資料画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。 Next, the transmission/reception unit 51 transfers the start notification to the electronic whiteboard 1b of the other party during the remote conference (step S106). As a result, the transmitting/receiving unit 11b of the electronic blackboard 1b receives the start notification. The display control unit 14d of the electronic whiteboard 1b displays the screen as shown in FIG. 17B on the display 180 of the electronic whiteboard 1b (step S107). Here, the image v1 of the site A and the “share” button b2 that is originally pressed when sharing are displayed, and the start notification of step S106 visually shows the time lapse of downloading the image data of the material image. Output is performed to display the hourglass icon c2.
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(及び/又は「記号」)であってもよし、アイコンと文字(及び/又は「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、映像・音処理部13aによってスピーカ150から音の出力が行われる。 In addition, the elapsed time can be indicated by a still image hourglass or a moving image hourglass with sand movement. The hourglass icon c2 is an example of schedule information indicating that image data is scheduled to be downloaded. As another example of the schedule information, an icon other than an hourglass (for example, a clock icon) may be used, a character (and/or “symbol”) may be used instead of an icon, and an icon and a character (and And/or “symbol”). Further, the schedule information may be a notification by sound. In this case, sound is output from the speaker 150 by the video/sound processing unit 13a, not by the display control unit 14a.
なお、電子黒板1aは、上記ステップS105の処理後に上記ステップS102の処理を行ってもよい。また、通信管理システム5は、上記ステップS105により画像データのアップロード開始通知を受信した後に、上記ステップS104により画像データのURLを送信してもよい。 The electronic blackboard 1a may perform the process of step S102 after the process of step S105. Further, the communication management system 5 may transmit the URL of the image data in step S104 after receiving the image data upload start notification in step S105.
続いて、電子黒板1aの送受信部11aは、ステップS104で受信した画像保存装置7に係るURLに対して、資料画像の画像データのアップロードを行う(ステップS108)。これにより、画像保存装置7の送受信部71は、画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、画像データを記憶する(ステップS109)。 Subsequently, the transmission/reception unit 11a of the electronic blackboard 1a uploads the image data of the material image to the URL relating to the image storage device 7 received in step S104 (step S108). As a result, the transmission/reception unit 71 of the image storage device 7 receives the image data. Then, the storage/readout processing unit 79 of the image storage device 7 stores the image data in the URL in the storage unit 7000 (step S109).
続いて、拠点Aでは、利用者A1が、電子ペン180や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS110)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS111)。これにより、図17(c)に示されているように、ストローク画像st1が表示される。 Subsequently, at the location A, the user A1 contacts the electronic pen 180 or the hand H on the display 180 of the electronic blackboard 1a to move the electronic pen 180 or the hand H, so that the reception unit 12a receives the input of the movement stroke (trajectory). (Step S110). Then, the image processing unit 17a creates stroke data (for example, coordinate data (x, y)) for displaying the stroke image on the two-dimensional display 180 based on the stroke, and the display control unit 14a performs electronic processing. A stroke image is displayed on the display 180 of the blackboard 1a (step S111). As a result, the stroke image st1 is displayed as shown in FIG.
次に、送受信部11aは、通信管理システム5に対して、ステップS111で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS112)。これにより、通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5では、記憶・読出処理部59が、ストロークデータを記憶する(ステップS113)。 Next, the transmission/reception unit 11a transmits the stroke data for reproducing the stroke image created in step S111 to the communication management system 5 (step S112). As a result, the transmission/reception unit 51 of the communication management system 5 receives the stroke data of the stroke image. Then, in the communication management system 5, the storage/readout processing unit 59 stores the stroke data (step S113).
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS114)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14bが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS115)。これにより、図17(d)に示されているように、相手側の電子黒板1aと同じストローク画像st1が表示される。 Next, the transmission/reception unit 51 transfers the stroke data to the electronic whiteboard 1b on the partner side (step S114). As a result, the transmission/reception unit 11b of the electronic blackboard 1b receives the stroke data. Then, in the electronic blackboard 1b, the image processing unit 17b creates a stroke image based on the stroke data, and the display control unit 14b displays the stroke image on the display 180 of the electronic blackboard 1b (step S115). As a result, as shown in FIG. 17D, the same stroke image st1 as that of the other party's electronic blackboard 1a is displayed.
続いて、図16に示されているように、画像保存装置7の送受信部71は、電子黒板1aに対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS121)。これにより、電子黒板1aの送受信部11aが、完了通知を受信する。 Then, as shown in FIG. 16, the transmission/reception unit 71 of the image storage device 7 transmits a completion notice indicating that the upload of the image data of the material image is completed to the electronic blackboard 1a (step S121). As a result, the transmitting/receiving unit 11a of the electronic whiteboard 1a receives the completion notice.
次に、電子黒板1aの送受信部11aが、通信管理システム5に対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS122)。この完了通知には、ステップS104で受信された画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、完了通知を受信する。そして、送受信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS123)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。 Next, the transmission/reception unit 11a of the electronic blackboard 1a transmits a completion notice indicating that the upload of the image data of the material image is completed to the communication management system 5 (step S122). This completion notification includes the URL of the image data received in step S104. As a result, the transmission/reception unit 51 of the communication management system 5 receives the completion notification. Then, the transmission/reception unit 51 transfers the completion notice including the URL to the electronic whiteboard 1b of the other party (step S123). As a result, the transmission/reception unit 11b of the electronic whiteboard 1b receives the completion notice.
次に、電子黒板1bの送受信部11bは、ステップS123で受信した画像保存装置7に係るURLに対して、資料画像の画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS124)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。 Next, the transmission/reception unit 11b of the electronic blackboard 1b transmits request information indicating a request to download the image data of the material image to the URL relating to the image storage device 7 received in step S123 (step S124). .. As a result, the transmission/reception unit 71 of the image storage device 7 receives the request information.
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像の画像データを読み出す(ステップS125)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像の画像データを送信する(ステップS126)。これにより、電子黒板1bの送受信部11bは、画像データのダウンロード(受信)を行う。そして、電子黒板1b側では、表示制御部14bが、図17(d)に示されている画面上に、図17(c)に示されている資料画像d1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする。 Next, in the image storage device 7, the storage/readout processing unit 79 reads out the image data of the requested material image from the storage unit 7000 based on the URL (step S125). Then, the transmission/reception unit 71 transmits the image data of the material image that is the request target to the electronic blackboard 1b that is the request source (step S126). As a result, the transmission/reception unit 11b of the electronic blackboard 1b downloads (receives) the image data. Then, on the electronic blackboard 1b side, the display control unit 14b displays the same material image as the material image d1 shown in FIG. 17C on the screen shown in FIG. 17D, and The hourglass icon c2 that has been displayed until then is hidden.
〔実施形態の主な効果〕
以上説明したように、電子黒板1aが、資料画像の画像データを送信した後に、ストローク画像のストロークデータを送信しても、ストロークデータが画像データよりも非常にデータ量が小さいために、相手側の電子黒板1bにはストロークデータが先に届いてしまう。これに対して、本実施形態では、通信管理システム5が、画像データをアップロードする電子黒板1aからアップロードの開始通知を受信し、電子黒板1bに対して開始通知を転送(送信)する(S106参照)。そして、電子黒板1bでは、図17(B)に示されているように、資料画像の画像データのダウンロードを行う旨を視覚的に示す砂時計のアイコンc2を表示する出力が行われる(S107参照)。これにより、拠点Bの電子黒板1bの利用者B1,B2は、ストローク画像の表示が進んでいる最中に、後ほど送られて来る資料等の資料画像の存在に気づくため、拠点Aの電子黒板1aの利用者A1との円滑なコミュニケーションを行うことができるという効果を奏する。
[Main effects of the embodiment]
As described above, even if the electronic blackboard 1a transmits the stroke data of the stroke image after transmitting the image data of the material image, the stroke data has a much smaller data amount than the image data. Stroke data reaches the electronic blackboard 1b first. On the other hand, in the present embodiment, the communication management system 5 receives the upload start notification from the electronic blackboard 1a uploading the image data, and transfers (transmits) the start notification to the electronic blackboard 1b (see S106). ). Then, on the electronic blackboard 1b, as shown in FIG. 17(B), output is performed to display an hourglass icon c2 that visually indicates that the image data of the material image is to be downloaded (see S107). .. As a result, the users B1 and B2 of the electronic blackboard 1b at the base B notice the existence of the material image such as the material to be sent later while the stroke images are being displayed, and thus the electronic blackboard at the base A is displayed. The effect that the smooth communication with the user A1 of 1a can be performed is produced.
〔実施形態の補足〕
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末等が含まれる。更に、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。
[Supplement to Embodiment]
In the above embodiment, an office device, which is an electronic blackboard, has been described as an example of a communication terminal, but the invention is not limited to this. Other examples of communication terminals include PCs, smartphones, smart watches, car navigation terminals, and the like. Further, the communication terminal includes a medical device. In the case of a medical device, the document image is the patient image.
また、上記実施形態では、通信システムによってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、遠隔診断、又は、一方向での情報の提示に使用されても構わない。 Further, in the above-described embodiment, the case where the video conference is held by the communication system has been described, but the present invention is not limited to this, and a meeting, a general conversation between family and friends, remote diagnosis, or one-way communication can be performed. It may be used to present information.
1a 電子黒板(通信端末の一例)
1b 電子黒板(通信端末の一例)
3 中継装置
5 通信管理システム
7 画像保存装置
51 送受信部(送信手段の一例、受信手段の一例)
52 認証部(認証手段の一例)
53 生成部(生成手段の一例)
54 選択部(選択手段の一例)
55 判断部(判断手段の一例)
5001 認証管理DB
5002 端末管理DB
5003 宛先リスト管理DB
5004 セッション管理DB
5005 中継装置管理DB
1a Electronic blackboard (an example of communication terminal)
1b Electronic blackboard (an example of communication terminal)
3 Relay Device 5 Communication Management System 7 Image Storage Device 51 Transmitter/Receiver (Example of Transmitting Means, Example of Receiving Means)
52 Authentication unit (an example of authentication means)
53 Generator (an example of generator)
54 selection unit (an example of selection means)
55 Judgment unit (an example of judgment means)
5001 Authentication management DB
5002 terminal management DB
5003 Destination list management DB
5004 Session management DB
5005 Relay device management DB
Claims (10)
第1の通信端末が受信するように、画像データの保存位置を示す保存位置情報を送信する送信手段と、
前記第1の通信端末が送信した、前記画像データのアップロードを開始する旨を示す開始通知を受信する受信手段と、
を有し、
前記送信手段は、第2の通信端末が受信するように、前記開始通知を送信し、
前記受信手段は、前記第1の通信端末が送信した、ストローク画像を再生するためのストロークデータを受信し、
前記送信手段は、第2の通信端末が受信するように、前記ストロークデータを送信すること、
を特徴とする通信管理システム。 A communication management system for managing data sharing in a plurality of communication terminals,
Transmitting means for transmitting the storage position information indicating the storage position of the image data so that the first communication terminal receives,
Receiving means for receiving a start notification transmitted by the first communication terminal and indicating that the upload of the image data is started,
Have
The transmission means transmits the start notification so that the second communication terminal receives the start notification,
The receiving means receives stroke data for reproducing a stroke image transmitted by the first communication terminal,
The transmitting means transmits the stroke data so that the second communication terminal receives the stroke data;
Communication management system characterized by.
前記受信手段は、前記第1の通信端末が送信した、前記保存位置情報を要求する旨を示す要求情報を受信し、
前記要求情報の受信に基づいて、前記保存位置情報を生成する生成手段を有することを特徴とする通信管理システム。 The communication management system according to claim 1, wherein
The receiving unit receives request information transmitted by the first communication terminal and requesting the storage location information,
A communication management system comprising: a generation unit that generates the storage location information based on reception of the request information.
前記第1の通信端末と、
前記第2の通信端末と、
を有することを特徴とする通信システム。 A communication management system according to claim 1 or 2,
The first communication terminal;
The second communication terminal;
A communication system comprising:
前記第1の通信端末と、
前記第2の通信端末と、
前記画像データの保存位置を有する画像保存装置と、
を有することを通信システム。 A communication management system according to claim 1 or 2,
The first communication terminal;
The second communication terminal;
An image storage device having a storage location of the image data,
Having a communication system.
前記第1の通信端末は、前記通信管理システムに対して前記ストロークデータを送信すること、
を特徴とする請求項5に記載の通信システム。 The first communication terminal transmits the image data to the image storage device based on the storage location information,
The first communication terminal transmits the stroke data to the communication management system,
The communication system according to claim 5, wherein:
第1の通信端末が受信するように、画像データの保存位置を示す保存位置情報を送信する送信ステップと、
前記第1の通信端末が送信した、前記画像データのアップロードを開始する旨を示す開始通知を受信する受信ステップと、
を実行し、
前記送信ステップは、第2の通信端末が受信するように、前記開始通知を送信する処理を含み、
前記受信ステップは、前記第1の通信端末が送信した、ストローク画像を再生するためのストロークデータを受信する処理を含み、
前記送信ステップは、第2の通信端末が受信するように、前記ストロークデータを送信する処理を含むこと、
を特徴とする通信方法。 A communication method executed by a communication management system that manages data sharing in a plurality of communication terminals,
A transmitting step of transmitting storage location information indicating a storage location of the image data so that the first communication terminal receives the storage location information;
A receiving step of receiving a start notification transmitted by the first communication terminal and indicating that the upload of the image data is to be started;
Run
The transmitting step includes a process of transmitting the start notification so that the second communication terminal receives the start notification.
The receiving step includes a process of receiving stroke data for reproducing a stroke image transmitted by the first communication terminal,
The transmitting step includes a process of transmitting the stroke data so that the second communication terminal receives the stroke data.
A communication method characterized by.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/699,122 US10868923B2 (en) | 2018-11-30 | 2019-11-29 | Communication management system, communication system, communication control method, and recording medium |
US17/090,928 US11146695B2 (en) | 2018-11-30 | 2020-11-06 | Communication management system, communication system, communication control method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225978 | 2018-11-30 | ||
JP2018225978 | 2018-11-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095705A true JP2020095705A (en) | 2020-06-18 |
JP7358934B2 JP7358934B2 (en) | 2023-10-11 |
Family
ID=71085022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019209746A Active JP7358934B2 (en) | 2018-11-30 | 2019-11-20 | Communication management system, communication system, communication method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7358934B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015172919A (en) * | 2014-02-24 | 2015-10-01 | 株式会社リコー | Screen sharing system, screen sharing method, terminal device, and program |
JP2018022478A (en) * | 2016-07-20 | 2018-02-08 | 株式会社リコー | Shared terminal, communication system, image transmission method, and program |
-
2019
- 2019-11-20 JP JP2019209746A patent/JP7358934B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015172919A (en) * | 2014-02-24 | 2015-10-01 | 株式会社リコー | Screen sharing system, screen sharing method, terminal device, and program |
JP2018022478A (en) * | 2016-07-20 | 2018-02-08 | 株式会社リコー | Shared terminal, communication system, image transmission method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7358934B2 (en) | 2023-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11146695B2 (en) | Communication management system, communication system, communication control method, and recording medium | |
JP7413693B2 (en) | Communication terminals, communication systems, data sharing methods and programs | |
JP7373712B2 (en) | Communication terminals, communication systems, data sharing methods and programs | |
JP2017068329A (en) | Communication management system, communication system, communication management method, and program | |
US20200296145A1 (en) | Communication terminal, communication system, and display control method | |
JP2022049507A (en) | Communication system, communication terminal, screen sharing method, and program | |
JP6544117B2 (en) | Terminal, communication system, communication method, and program | |
US12002231B2 (en) | Communication system, method for communicating to share images, and non-transitory recording medium | |
JP2020154437A (en) | Communication management system, communication system, communication management device, communication management method, and program | |
JP6597299B2 (en) | Shared terminal, communication system, communication method, and program | |
JP6565430B2 (en) | Terminal, communication system, communication method, and program | |
JP7243323B2 (en) | Communication terminal, communication system, display control method and program | |
JP7358934B2 (en) | Communication management system, communication system, communication method, and program | |
JP7476548B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION SYSTEM, DISPLAY METHOD, AND PROGRAM | |
JP2022025652A (en) | Communication terminal, communication system, communication method, and program | |
JP6819055B2 (en) | Communication terminals, communication systems, communication methods, and programs | |
JP6730662B2 (en) | Communication system, communication method | |
JP7487542B2 (en) | Communication terminal, communication system, communication method, and program | |
JP7512675B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM | |
US11418628B2 (en) | Communication terminal, communication system, and communication method | |
JP7215341B2 (en) | Communication terminal, communication system, display control method and program | |
JP2017005704A (en) | Mobile terminal, communication system, communication method, and program | |
JP6812645B2 (en) | Communication terminals, communication systems, communication methods, and programs | |
JP6736919B2 (en) | Communication terminal, communication system, communication method, and program | |
JP6607034B2 (en) | Shared terminal, communication system, communication method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230911 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7358934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |