JP2020144848A - Screen sharing system, information processing apparatus, screen sharing method, and program - Google Patents

Screen sharing system, information processing apparatus, screen sharing method, and program Download PDF

Info

Publication number
JP2020144848A
JP2020144848A JP2020010378A JP2020010378A JP2020144848A JP 2020144848 A JP2020144848 A JP 2020144848A JP 2020010378 A JP2020010378 A JP 2020010378A JP 2020010378 A JP2020010378 A JP 2020010378A JP 2020144848 A JP2020144848 A JP 2020144848A
Authority
JP
Japan
Prior art keywords
information
screen sharing
screen
server
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020010378A
Other languages
Japanese (ja)
Other versions
JP7447503B2 (en
Inventor
佑一 河崎
Yuichi Kawasaki
佑一 河崎
中村　滋
Shigeru Nakamura
滋 中村
将 小笠原
Masashi Ogasawara
将 小笠原
宮本　篤
Atsushi Miyamoto
篤 宮本
寛 日野原
Hiroshi Hinohara
寛 日野原
毅史 本間
Takashi Homma
毅史 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US16/802,586 priority Critical patent/US11061641B2/en
Publication of JP2020144848A publication Critical patent/JP2020144848A/en
Application granted granted Critical
Publication of JP7447503B2 publication Critical patent/JP7447503B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To efficiently perform screen sharing between information processing apparatuses.SOLUTION: An information processing apparatus of a screen sharing source acquires an image displayed on a display screen of the apparatus as screen sharing information, when the amount of data of the screen sharing information is less than a threshold, provides the screen sharing information to an information processing apparatus of a screen sharing destination via a first server connected to a network, and when the amount of data of the screen sharing information is equal to or more than the threshold, transmits the screen sharing information to a second server connected to the network, and provides storage destination information indicating a storage destination of the screen sharing information in the second server to the information processing apparatus of the screen sharing destination via the first server. The information processing apparatus of the screen sharing destination displays, on a display screen of the apparatus, an image based on the screen sharing information received from the first server or the screen sharing information received from the second server on the basis of the storage destination information.SELECTED DRAWING: Figure 7

Description

本発明は、画面共有システム、情報処理装置、画面共有方法及びプログラムに関する。 The present invention relates to a screen sharing system, an information processing device, a screen sharing method and a program.

近年、インターネット等の通信ネットワークを介して会議等を行うシステムが普及している。このようなシステムでは、マイクなどの集音装置によって取得された音声データやカメラなどの撮像装置によって取得された撮像データの他、画像表示装置の表示画面に表示された画像を情報処理装置間で送受信することで画面の共有が行われている。例えば、手書き入力された画像（手書き画像）を画面共有することで、遠隔地にあるユーザ間の意思疎通を向上させることができる。 In recent years, a system for holding a conference or the like via a communication network such as the Internet has become widespread. In such a system, in addition to the sound data acquired by a sound collecting device such as a microphone and the imaging data acquired by an imaging device such as a camera, the image displayed on the display screen of the image display device is transmitted between the information processing devices. The screen is shared by sending and receiving. For example, by sharing the screen of an image (handwritten image) input by handwriting, it is possible to improve communication between users at remote locations.

上述した画面共有に関しては、各種の技術が提案されている。例えば、特許文献１には、手書き画像とともに背景画像の共有を行う際に、先に入力された画像よりも、後から入力された画像の方が先に表示画面に表示されることがないようキューイング制御することが記載されている。 Various techniques have been proposed for the screen sharing described above. For example, in Patent Document 1, when sharing a background image together with a handwritten image, an image input later is not displayed on the display screen earlier than an image input earlier. It is described that queuing control is performed.

しかしながら、上記の技術ではキューイング制御に係る構成が煩雑であるという問題がある。また、入力された順に画像が表示される構成であるため、入力された画像の中にデータサイズの大きな画像が含まれると、その後に入力された画像のデータサイズが圧倒的に小さな場合であっても、当該画像が表示されるまで時間を要する。 However, the above technique has a problem that the configuration related to queuing control is complicated. In addition, since the images are displayed in the order in which they are input, if an image with a large data size is included in the input image, the data size of the image input after that may be overwhelmingly small. However, it takes time for the image to be displayed.

本発明は、上記に鑑みてなされたものであって、情報処理装置間の画面共有を効率的に行うことができる画面共有システム、情報処理装置、画面共有方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a screen sharing system, an information processing device, a screen sharing method, and a program capable of efficiently sharing screens between information processing devices. To do.

上述した課題を解決し、目的を達成するために、本発明の一態様は、ネットワーク接続された第１情報処理装置と第２情報処理装置との間で画面共有を行う画面共有システムであって、前記第１情報処理装置は、自装置の表示画面に表示される画像を画面共有情報として取得する取得部と、前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続された第１サーバに送信する第１送信部と、前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続された第２サーバに送信し、当該第２サーバでの前記画面共有情報の保存先を示す保存先情報を前記第１サーバに送信する第２送信部と、を備え、前記第２情報処理装置は、前記第１サーバから前記第１情報処理装置が送信した前記画面共有情報又は前記保存先情報を受信する第１受信部と、前記第１受信部が受信した前記保存先情報に基づき、前記第２サーバから前記画面共有情報を受信する第２受信部と、前記第１受信部又は前記第２受信部が受信した前記画面共有情報に基づく画像を自装置の表示画面に表示させる表示制御部と、を備える。 In order to solve the above-mentioned problems and achieve the object, one aspect of the present invention is a screen sharing system that shares a screen between a first information processing device and a second information processing device connected to a network. The first information processing apparatus obtains the image displayed on the display screen of the own device as screen sharing information, and when the amount of data of the screen sharing information is less than the threshold value, the screen sharing information is obtained. When the data amount of the screen sharing information is equal to or greater than the threshold value, the screen sharing information is transmitted to the second server connected to the network and the first transmission unit to transmit to the first server connected to the network. The second information processing apparatus includes a second transmission unit that transmits storage destination information indicating a storage destination of the screen sharing information in the second server to the first server, and the second information processing apparatus is the first from the first server. The screen sharing information is received from the second server based on the first receiving unit that receives the screen sharing information or the storage destination information transmitted by the information processing apparatus and the storage destination information received by the first receiving unit. A second receiving unit is provided, and a display control unit that displays an image based on the screen sharing information received by the first receiving unit or the second receiving unit on the display screen of the own device.

本発明によれば、情報処理装置間の画面共有を効率的に行うことができる。 According to the present invention, screen sharing between information processing devices can be efficiently performed.

図１は、実施形態に係る画面共有システムのシステム構成の一例を示す図である。FIG. 1 is a diagram showing an example of a system configuration of a screen sharing system according to an embodiment. 図２は、実施形態に係る画像表示装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram showing an example of the hardware configuration of the image display device according to the embodiment. 図３は、実施形態に係る管理サーバのハードウェア構成の一例を示す図である。FIG. 3 is a diagram showing an example of the hardware configuration of the management server according to the embodiment. 図４は、実施形態に係る画像表示装置、管理サーバ及びストレージサーバの機能構成の一例を示す図である。FIG. 4 is a diagram showing an example of the functional configurations of the image display device, the management server, and the storage server according to the embodiment. 図５は、実施形態の管理サーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。FIG. 5 is a diagram schematically showing an information flow when screen sharing information is provided via the management server of the embodiment. 図６は、実施形態の管理サーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。FIG. 6 is a sequence diagram showing an operation example when screen sharing information is provided via the management server of the embodiment. 図７は、実施形態に係るストレージサーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。FIG. 7 is a diagram schematically showing a flow of information when screen sharing information is provided via the storage server according to the embodiment. 図８は、実施形態に係るストレージサーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。FIG. 8 is a sequence diagram showing an operation example when screen sharing information is provided via the storage server according to the embodiment. 図９は、実施形態に係る画面共有元の画像表示装置が実行する処理の一例を示すフローチャートである。FIG. 9 is a flowchart showing an example of processing executed by the image display device of the screen sharing source according to the embodiment. 図１０は、実施形態に係る画面共有先の画像表示装置が実行する処理の一例を示すフローチャートである。FIG. 10 is a flowchart showing an example of processing executed by the image display device of the screen sharing destination according to the embodiment. 図１１は、変形例に係るストレージサーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。FIG. 11 is a diagram schematically showing a flow of information when screen sharing information is provided via a storage server according to a modified example. 図１２は、変形例に係るストレージサーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。FIG. 12 is a sequence diagram showing an operation example when screen sharing information is provided via the storage server according to the modified example.

以下に、図面を参照しながら本発明に係る画面共有システム、情報処理装置、画面共有方法及びプログラムの実施形態を詳細に説明する。 Hereinafter, embodiments of the screen sharing system, information processing apparatus, screen sharing method, and program according to the present invention will be described in detail with reference to the drawings.

図１は、実施形態に係る画面共有システム１のシステム構成の一例を示す図である。本実施形態に係る画面共有システム１は、画像表示装置１０（１０ａ、１０ｂ）と、管理サーバ２０と、ストレージサーバ３０とを有する。かかる画面共有システム１において、画像表示装置１０、管理サーバ２０及びストレージサーバ３０は、インターネット等の通信ネットワークＮ１を介して通信可能に接続される。なお、通信ネットワークＮ１に接続される画像表示装置１０の個数は図１の例に限定されないものとする。 FIG. 1 is a diagram showing an example of a system configuration of the screen sharing system 1 according to the embodiment. The screen sharing system 1 according to the present embodiment includes an image display device 10 (10a, 10b), a management server 20, and a storage server 30. In the screen sharing system 1, the image display device 10, the management server 20, and the storage server 30 are communicably connected via a communication network N1 such as the Internet. The number of image display devices 10 connected to the communication network N1 is not limited to the example shown in FIG.

画像表示装置１０は、情報処理装置の一例である。画像表示装置１０は、通信ネットワークＮ１に接続された他の装置との間で通信（セッション）を確立し、各種データの送受信を行う。具体的には、画像表示装置１０は、通信ネットワークＮ１を介し各種データを送受信することで、画面共有元の画像表示装置１０に表示されている画面を、画面共有先の画像表示装置１０の画面に表示する画面共有を行う。なお、本実施形態では、画像表示装置１０ａが画面共有元であるとし、画像表示装置１０ｂが画面共有先であるとして説明を進める。 The image display device 10 is an example of an information processing device. The image display device 10 establishes communication (session) with another device connected to the communication network N1 and transmits / receives various data. Specifically, the image display device 10 transmits and receives various data via the communication network N1 to change the screen displayed on the image display device 10 of the screen sharing source to the screen of the image display device 10 of the screen sharing destination. Share the screen to be displayed on. In the present embodiment, the image display device 10a is assumed to be the screen sharing source, and the image display device 10b is assumed to be the screen sharing destination.

管理サーバ２０は、第１サーバの一例であり、画像表示装置１０間で送受されるデータを管理する。また、ストレージサーバ３０は、第２サーバの一例であり、画像表示装置１０間で授受される画面共有情報の保存を行う。 The management server 20 is an example of the first server, and manages data transmitted and received between the image display devices 10. The storage server 30 is an example of a second server, and stores screen sharing information exchanged between the image display devices 10.

図２は、画像表示装置１０のハードウェア構成の一例を示す図である。図２に示すように、画像表示装置１０は、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、ＳＳＤ(Solid State Drive)１０４、ネットワークＩ／Ｆ１０５、及び、外部機器接続Ｉ／Ｆ(Interface)１０６を備えている。 FIG. 2 is a diagram showing an example of the hardware configuration of the image display device 10. As shown in FIG. 2, the image display device 10 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an SSD (Solid State Drive) 104, and a network I / F 105. It also has an external device connection I / F (Interface) 106.

ＣＰＵ１０１は、画像表示装置１０全体の動作を制御する。ＲＯＭ１０２は、ＣＰＵ１０１やＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、ＣＰＵ１０１が実行するプログラム等の各種データを記憶する。ネットワークＩ／Ｆ１０５は、通信ネットワークＮ１との通信を制御する。外部機器接続Ｉ／Ｆ１０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ１０６ａ、外付け機器（マイク１０６ｂ、スピーカ１０６ｃ、カメラ１０６ｄ）である。 The CPU 101 controls the operation of the entire image display device 10. The ROM 102 stores a program used to drive the CPU 101 such as the CPU 101 and the IPL (Initial Program Loader). The RAM 103 is used as a work area of the CPU 101. The SSD 104 stores various data such as a program executed by the CPU 101. The network I / F 105 controls communication with the communication network N1. The external device connection I / F 106 is an interface for connecting various external devices. The external device in this case is, for example, a USB (Universal Serial Bus) memory 106a and an external device (microphone 106b, speaker 106c, camera 106d).

また、画像表示装置１０は、キャプチャデバイス１０７、ＧＰＵ(Graphics Processing Unit)１０８、ディスプレイコントローラ１０９、ディスプレイ１１０、センサコントローラ１１１、接触センサ１１２、電子ペンコントローラ１１３、電源スイッチ１１４及び選択スイッチ類１１５等を備えている。 Further, the image display device 10 includes a capture device 107, a GPU (Graphics Processing Unit) 108, a display controller 109, a display 110, a sensor controller 111, a contact sensor 112, an electronic pen controller 113, a power switch 114, selection switches 115, and the like. I have.

キャプチャデバイス１０７は、ＰＣ(Personal Computer)１０７ａのディスプレイに表示されている静止画又は動画を背景画像として取得する。ＧＰＵ１０８は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ１０９は、ＧＰＵ１０８からの出力画像をディスプレイ１１０等へ出力するために画面表示の制御及び管理を行う。 The capture device 107 acquires a still image or a moving image displayed on the display of the PC (Personal Computer) 107a as a background image. The GPU 108 is a semiconductor chip that specializes in graphics. The display controller 109 controls and manages the screen display in order to output the output image from the GPU 108 to the display 110 or the like.

接触センサ１１２は、ディスプレイ１１０上に電子ペン１１３ａやユーザの手Ｈ等が接触したことを検知する。センサコントローラ１１１は、接触センサ１１２の処理を制御する。接触センサ１１２は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ１１０の上側両端部に設置された２つ受発光装置が、ディスプレイ１１０に平行して複数の赤外線を放射し、ディスプレイ１１０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１２は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ１１１に出力し、センサコントローラ１１１が、物体の接触位置である座標位置を特定する。 The contact sensor 112 detects that the electronic pen 113a, the user's hand H, or the like has come into contact with the display 110. The sensor controller 111 controls the processing of the contact sensor 112. The contact sensor 112 inputs and detects the coordinates by the infrared blocking method. In the method of inputting the coordinates and detecting the coordinates, two light receiving / receiving devices installed at both upper ends of the display 110 radiate a plurality of infrared rays in parallel with the display 110 and are provided around the display 110. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 112 outputs an infrared ID emitted by two light emitting / receiving devices blocked by the object to the sensor controller 111, and the sensor controller 111 identifies a coordinate position which is a contact position of the object.

電子ペンコントローラ１１３は、電子ペン１１３ａと通信することで、ディスプレイ１１０へのペン先のタッチやペン尻のタッチの有無を判断する。電源スイッチ１１４は、画像表示装置１０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類１１５は、例えば、ディスプレイ１１０の表示の明暗や色合い等を調整するためのスイッチ群である。 By communicating with the electronic pen 113a, the electronic pen controller 113 determines whether or not there is a touch of the pen tip or a touch of the pen tail on the display 110. The power switch 114 is a switch for switching the power ON / OFF of the image display device 10. The selection switches 115 are, for example, a group of switches for adjusting the brightness and hue of the display 110.

更に、画像表示装置１０は、バスライン１１６を備えている。バスライン１１６は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the image display device 10 includes a bus line 116. The bus line 116 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 101 shown in FIG.

なお、接触センサ１１２は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ１１３が、電子ペン１１３ａのペン先及びペン尻だけでなく、電子ペン１１３ａのユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The contact sensor 112 is not limited to the infrared blocking method, but is a capacitive touch panel that specifies a contact position by detecting a change in capacitance, and a contact position is specified by a voltage change between two opposing resistance films. Various detection means such as a resistance film type touch panel and an electromagnetic induction type touch panel that detects the electromagnetic induction generated when a contact object comes into contact with the display unit and specifies the contact position may be used. Further, the electronic pen controller 113 may determine whether or not there is a touch not only on the pen tip and pen end of the electronic pen 113a but also on the portion gripped by the user of the electronic pen 113a and other electronic pen portions.

画像表示装置１０は、ＰＣ１０７ａから入力される画像（背景画像）を、ディスプレイ１１０の表示画面に表示することができるように構成されている。また、画像表示装置１０は、接触センサ１１２を介して、ユーザの手書き入力を受け付けるように構成されている。例えば、画像表示装置１０では、ユーザが電子ペン１１３ａのペン先をディスプレイ１１０に接触させながら移動させることに応答する。そして、画像表示装置１０は、その移動軌跡に対応する描画線をディスプレイ１１０の表示画面に表示するように構成されている。これにより、画像表示装置１０のユーザは、ディスプレイ１１０の表示画面に表示された背景画像の上に、文字や図形等の手書き画像を自由に書き込むことができる。 The image display device 10 is configured so that an image (background image) input from the PC 107a can be displayed on the display screen of the display 110. Further, the image display device 10 is configured to accept a user's handwritten input via the contact sensor 112. For example, the image display device 10 responds to the user moving the pen tip of the electronic pen 113a while touching the display 110. The image display device 10 is configured to display a drawing line corresponding to the movement locus on the display screen of the display 110. As a result, the user of the image display device 10 can freely write a handwritten image such as characters and figures on the background image displayed on the display screen of the display 110.

図３は、管理サーバ２０のハードウェア構成の一例を示す図である。なお、ストレージサーバ３０のハードウェア構成も、この管理サーバ２０のハードウェア構成と同様である。このため、ストレージサーバ３０のハードウェア構成は、以下の管理サーバ２０のハードウェア構成の説明を参照されたい。 FIG. 3 is a diagram showing an example of the hardware configuration of the management server 20. The hardware configuration of the storage server 30 is the same as the hardware configuration of the management server 20. Therefore, for the hardware configuration of the storage server 30, refer to the following description of the hardware configuration of the management server 20.

図３に示すように、管理サーバ２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ(Hard Disk Drive)２０４、ＨＤＤコントローラ２０５、ディスプレイ２０６、ネットワークＩ／Ｆ２０７、バスライン２０８、キーボード２０９及びポインティングデバイス２１０を備える。 As shown in FIG. 3, the management server 20 includes a CPU 201, a ROM 202, a RAM 203, an HDD (Hard Disk Drive) 204, an HDD controller 205, a display 206, a network I / F 207, a bus line 208, a keyboard 209, and a pointing device 210. ..

ＣＰＵ２０１は、管理サーバ２０全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報やデータを表示する。ネットワークＩ／Ｆ２０７は、通信ネットワークＮ１を利用してデータ通信をするためのインターフェースである。バスライン２０８は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The CPU 201 controls the operation of the entire management server 20. The ROM 202 stores a program used to drive the CPU 201 such as an IPL. The RAM 203 is used as a work area of the CPU 201. HDD 204 stores various data such as programs. The HDD controller 205 controls reading or writing of various data to the HDD 204 according to the control of the CPU 201. The display 206 displays various information and data such as cursors, menus, windows, characters, or images. The network I / F207 is an interface for performing data communication using the communication network N1. The bus line 208 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 201.

また、キーボード２０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。 Further, the keyboard 209 is a kind of input means including a plurality of keys for inputting characters, numerical values, various instructions and the like. The pointing device 210 is a kind of input means for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like.

上述した画面共有システム１の構成において、画像表示装置１０では、ディスプレイ１１０の表示画面に表示された画像を遠隔地に設置された他の画像表示装置１０に転送して表示させる画面共有機能を備えている。これにより、画面共有システム１では、画像表示装置１０ａのディスプレイ１１０に入力（表示）された手書き画像を、遠隔地にある画像表示装置１０ｂと共有しながら会議やプレゼンテーション等を行うことができる。 In the configuration of the screen sharing system 1 described above, the image display device 10 has a screen sharing function of transferring the image displayed on the display screen of the display 110 to another image display device 10 installed at a remote location and displaying the image. ing. As a result, the screen sharing system 1 can hold a meeting, a presentation, or the like while sharing the handwritten image input (displayed) on the display 110 of the image display device 10a with the image display device 10b at a remote location.

ところで、画像表示装置１０間が低帯域幅の通信ネットワークを経由して接続されるような場合、送信元の画像表示装置１０が送信するデータのデータ量によっては、通信ネットワークＮ１を介したデータ転送に遅延が発生する可能性がある。 By the way, when the image display devices 10 are connected via a low bandwidth communication network, data transfer via the communication network N1 depends on the amount of data transmitted by the source image display device 10. May cause a delay.

例えば、手書き線を複数コピーした場合や、複数の手書き線を保存したページを読み込んだような場合、データ量の大きな手書き線が一度に描画されるようなことがある。このように、データ量の大きな手書き画像が入力される場合、当該手書き画像を画像表示装置１０ｂに送信すると、それ以降に入力された手書き画像が画像表示装置１０ｂに到達するのに遅延が発生する可能性がある。このような遅延が発生すると、画面共有先の画像表示装置１０では、データ量の大きな手書き画像が表示されるまでの間、画面共有元の画像表示装置１０で追加の手書き入力が行われたか否かを把握することができず、ユーザ間の意思疎通の妨げとなる可能性がある。 For example, when a plurality of handwritten lines are copied or a page in which a plurality of handwritten lines are saved is read, a handwritten line with a large amount of data may be drawn at one time. In this way, when a handwritten image with a large amount of data is input, if the handwritten image is transmitted to the image display device 10b, a delay occurs in the handwritten image input thereafter to reach the image display device 10b. there is a possibility. When such a delay occurs, whether or not additional handwriting input is performed on the screen sharing source image display device 10 until the screen sharing destination image display device 10 displays a handwritten image having a large amount of data. It is not possible to know whether or not it is possible, which may hinder communication between users.

そこで、本実施形態の画面共有システム１では、上記した問題を改善するため、画像表示装置１０、管理サーバ２０及びストレージサーバ３０の各装置は、図４に示す機能構成を備えている。ここで、図４は、画像表示装置１０、管理サーバ２０及びストレージサーバ３０の機能構成の一例を示す図である。 Therefore, in the screen sharing system 1 of the present embodiment, in order to improve the above-mentioned problems, each device of the image display device 10, the management server 20, and the storage server 30 has the functional configuration shown in FIG. Here, FIG. 4 is a diagram showing an example of the functional configurations of the image display device 10, the management server 20, and the storage server 30.

まず、画面共有元の画像表示装置１０ａの機能構成について説明する。図４に示すように、画像表示装置１０ａは、機能構成として、取得部１５１と、判定部１５２と、送信制御部１５３とを備える。 First, the functional configuration of the image display device 10a of the screen sharing source will be described. As shown in FIG. 4, the image display device 10a includes an acquisition unit 151, a determination unit 152, and a transmission control unit 153 as functional configurations.

取得部１５１は、自装置のディスプレイ１１０の表示画面に表示される画像を画面共有情報として取得する。具体的には、取得部１５１は、接触センサ１１２や電子ペン１１３ａを介して、ディスプレイ１１０の表示画面に手書き画像が入力（表示）されると、その手書き画像を表す情報を画面共有情報として取得する。ここで、画面共有情報は、ディスプレイ１１０の表示画面内における手書き画像の位置（例えば、座標等）や、その形状や色を表す情報（例えば、ベクトルデータや選択されている色等）等、画面共有元と同様の状態で表示させることが可能な情報を含む。 The acquisition unit 151 acquires an image displayed on the display screen of the display 110 of the own device as screen sharing information. Specifically, when the handwritten image is input (displayed) on the display screen of the display 110 via the contact sensor 112 or the electronic pen 113a, the acquisition unit 151 acquires the information representing the handwritten image as screen sharing information. To do. Here, the screen sharing information includes a screen such as a position (for example, coordinates) of a handwritten image in the display screen of the display 110, information representing its shape and color (for example, vector data, a selected color, etc.), and the like. Includes information that can be displayed in the same state as the sharing source.

なお、画面共有情報として切り出す単位は特に問わず、任意に設定することが可能であるとする。例えば、取得部１５１は、一度の操作で入力された手書き画像を一の画面共有情報として取得してもよい。また、例えば、取得部１５１は、手書き画像の入力が開始されたタイミングから所定時間以内に入力された手書き画像を一の画面共有情報として取得してもよい。 It should be noted that the unit to be cut out as the screen sharing information is not particularly limited and can be set arbitrarily. For example, the acquisition unit 151 may acquire the handwritten image input by one operation as one screen sharing information. Further, for example, the acquisition unit 151 may acquire the handwritten image input within a predetermined time from the timing when the input of the handwritten image is started as one screen sharing information.

また、取得部１５１が取得する画面共有情報として取得する画像は、手書き画像に限らず、ディスプレイ１１０の表示画面に表示される背景画像を画面共有情報として取得してもよい。この場合、取得部１５１は、手書き画像と背景画像とを別々の画面共有情報として取得する。 Further, the image acquired as the screen sharing information acquired by the acquisition unit 151 is not limited to the handwritten image, and the background image displayed on the display screen of the display 110 may be acquired as the screen sharing information. In this case, the acquisition unit 151 acquires the handwritten image and the background image as separate screen sharing information.

判定部１５２は、取得部１５１で取得された画面共有情報のデータ量が閾値以上か否かを判定する。ここで、閾値は任意に設定可能であるとするが、画像表示装置１０ａと画像表示装置１０ｂとの間の通信の帯域幅（通信速度）等に応じて自動又は手動で設定できる。 The determination unit 152 determines whether or not the amount of data of the screen sharing information acquired by the acquisition unit 151 is equal to or greater than the threshold value. Here, it is assumed that the threshold value can be set arbitrarily, but it can be set automatically or manually according to the bandwidth (communication speed) of communication between the image display device 10a and the image display device 10b.

送信制御部１５３は、判定部１５２の判定結果に応じて画面共有情報の送信先を切り替える。具体的には、送信制御部１５３は、第１送信部１５３１と第２送信部１５３２とを有し、これら送信部の機能により、判定部１５２の判定結果に応じた送信先に画面共有情報を送信する。 The transmission control unit 153 switches the transmission destination of the screen sharing information according to the determination result of the determination unit 152. Specifically, the transmission control unit 153 has a first transmission unit 1531 and a second transmission unit 1532, and by the functions of these transmission units, screen sharing information is sent to the transmission destination according to the determination result of the determination unit 152. Send.

第１送信部１５３１は、画面共有情報のデータ量が閾値未満の場合に、当該画面共有情報を管理サーバ２０に送信することで、管理サーバ２０経由で画面共有情報を画像表示装置１０ｂに提供する。 When the data amount of the screen sharing information is less than the threshold value, the first transmission unit 1531 transmits the screen sharing information to the management server 20 to provide the screen sharing information to the image display device 10b via the management server 20. ..

第２送信部１５３２は、画面共有情報のデータ量が閾値以上の場合に、当該画面共有情報をストレージサーバ３０に送信する。また、第２送信部１５３２は、第１送信部１５３１と協働することで、ストレージサーバ３０での画面共有情報の保存先を示す保存先情報を、管理サーバ２０経由で画像表示装置１０ｂに提供する。なお、本実施形態では、保存先情報はストレージサーバ３０から通知されるものとするが、第２送信部１５３２が、ストレージサーバ３０での保存先を決定する形態としてもよい。 The second transmission unit 1532 transmits the screen sharing information to the storage server 30 when the data amount of the screen sharing information is equal to or greater than the threshold value. Further, the second transmission unit 1532, in cooperation with the first transmission unit 1531, provides the image display device 10b with the storage destination information indicating the storage destination of the screen sharing information in the storage server 30 via the management server 20. To do. In the present embodiment, the storage destination information is notified from the storage server 30, but the second transmission unit 1532 may determine the storage destination in the storage server 30.

次に、管理サーバ２０の機能構成について説明する。図４に示すように、管理サーバ２０は、機能構成として第１管理部２５１と、第１提供部２５２とを備える。 Next, the functional configuration of the management server 20 will be described. As shown in FIG. 4, the management server 20 includes a first management unit 251 and a first provision unit 252 as functional configurations.

第１管理部２５１は、画像表示装置１０ａの送信制御部１５３の第１送信部１５３１から送信される画面共有情報又は保存先情報を受信し、受信した情報を自装置が備えるＲＡＭやＨＤＤ等の第１記憶媒体Ｍ１に保存する。なお、第１管理部２５１は、画像表示装置１０ａから受信した順に情報の保存を行うものとする。 The first management unit 251 receives the screen sharing information or the storage destination information transmitted from the first transmission unit 1531 of the transmission control unit 153 of the image display device 10a, and the received information is stored in the RAM, HDD, or the like of the own device. It is stored in the first storage medium M1. The first management unit 251 shall store information in the order in which it is received from the image display device 10a.

第１提供部２５２は、第１記憶媒体Ｍ１に保存された情報を、画面共有先の画像表示装置１０ｂに提供する。ここで、情報の提供方法は特に問わず、種々の方法を採用することが可能である。例えば、第１提供部２５２は、新たな画面共有情報又は保存先情報が第１記憶媒体Ｍ１に保存される毎に、その新たな情報を画像表示装置１０ｂに提供してもよい。また、例えば、第１提供部２５２は、画像表示装置１０ｂからの要求に応じて、第１記憶媒体Ｍ１に記憶された情報をＦＩＦＯ（First In First Out）形式で順次提供してもよい。なお、本実施形態では、前者の提供方法で画像表示装置１０ｂに情報が提供されるものとするが、この場合、第１記憶媒体Ｍ１を介さずにメディアストリーム等のストリーム形式で順次送信する構成としてもよい。 The first providing unit 252 provides the information stored in the first storage medium M1 to the image display device 10b of the screen sharing destination. Here, the method of providing information is not particularly limited, and various methods can be adopted. For example, the first providing unit 252 may provide the new information to the image display device 10b each time new screen sharing information or storage destination information is stored in the first storage medium M1. Further, for example, the first providing unit 252 may sequentially provide the information stored in the first storage medium M1 in the FIFO (First In First Out) format in response to the request from the image display device 10b. In the present embodiment, the information is provided to the image display device 10b by the former providing method, but in this case, the information is sequentially transmitted in a stream format such as a media stream without going through the first storage medium M1. May be.

次に、ストレージサーバ３０の機能構成について説明する。図４に示すように、ストレージサーバ３０は、機能構成として第２管理部３５１と、第２提供部３５２とを備える。 Next, the functional configuration of the storage server 30 will be described. As shown in FIG. 4, the storage server 30 includes a second management unit 351 and a second provision unit 352 as functional configurations.

第２管理部３５１は、画像表示装置１０ａの送信制御部１５３の第２送信部１５３２から送信された画面共有情報を受信し、受信した画面共有情報を自装置が備えるＲＡＭやＨＤＤ等の第２記憶媒体Ｍ２に保存する。また、第２管理部３５１は、第２記憶媒体Ｍ２に画面共有情報を保存すると、その保存先を示す保存先情報を画像表示装置１０ａに通知する。ここで、保存先情報は、例えばＵＲＬ（Uniform Resource Locator）等のアドレスであり、対応する画面共有情報をダウンロードすることが可能な情報となっている。 The second management unit 351 receives the screen sharing information transmitted from the second transmission unit 1532 of the transmission control unit 153 of the image display device 10a, and the second management unit 351 receives the received screen sharing information in the RAM, HDD, or the like provided in the own device. It is stored in the storage medium M2. Further, when the screen sharing information is stored in the second storage medium M2, the second management unit 351 notifies the image display device 10a of the storage destination information indicating the storage destination. Here, the save destination information is, for example, an address such as a URL (Uniform Resource Locator), and is information that allows the corresponding screen sharing information to be downloaded.

なお、第２管理部３５１が保存先情報を通知するタイミングは特に問わないものとする。例えば、第２管理部３５１は、画面共有情報の保存が完了したタイミングで通知してもよい。また、第２管理部３５１は、画面共有情報の保存を開始したタイミングで通知してもよい。 The timing at which the second management unit 351 notifies the storage destination information does not matter. For example, the second management unit 351 may notify when the storage of the screen sharing information is completed. In addition, the second management unit 351 may notify at the timing when the storage of the screen sharing information is started.

第２提供部３５２は、第２記憶媒体Ｍ２に保存された画面共有情報を、画面共有先となる画像表示装置１０ｂに提供する。具体的には、第２提供部３５２は、保存先情報に基づいたダウンロード要求を画像表示装置１０ｂから受け付けると、その保存先情報が示す保存先に保存された画面共有情報を画像表示装置１０ｂに提供する。 The second providing unit 352 provides the screen sharing information stored in the second storage medium M2 to the image display device 10b which is the screen sharing destination. Specifically, when the second providing unit 352 receives the download request based on the save destination information from the image display device 10b, the second providing unit 352 transmits the screen sharing information saved in the save destination indicated by the save destination information to the image display device 10b. provide.

次に、画面共有先の画像表示装置１０ｂの機能構成について説明する。図４に示すように、画像表示装置１０ｂは、機能構成として、受信制御部１５５と、表示制御部１５６とを備える。 Next, the functional configuration of the image display device 10b of the screen sharing destination will be described. As shown in FIG. 4, the image display device 10b includes a reception control unit 155 and a display control unit 156 as functional configurations.

受信制御部１５５は、画像表示装置１０から送信された画面共有情報を、管理サーバ２０又はストレージサーバ３０を経由して受信する。具体的には、受信制御部１５５は、第１受信部１５５１と第２受信部１５５２とを有し、これらの受信部の機能により、画像表示装置１０から送信された画面共有情報を、管理サーバ２０又はストレージサーバ３０を経由して受信する。 The reception control unit 155 receives the screen sharing information transmitted from the image display device 10 via the management server 20 or the storage server 30. Specifically, the reception control unit 155 has a first reception unit 1551 and a second reception unit 1552, and the screen sharing information transmitted from the image display device 10 by the functions of these reception units is managed by the management server. Receive via 20 or the storage server 30.

第１受信部１５５１は、管理サーバ２０から提供される画面共有情報又は保存先情報を受信する。ここで、第１受信部１５５１が管理サーバ２０から情報を受信する方法は特に問わず、種々の方法を採用することが可能である。例えば、第１受信部１５５１は、管理サーバ２０に対し情報の提供を随時又は定期的に要求することで、管理サーバ２０から送信される情報を受信してもよい。また、例えば、第１受信部１５５１は、管理サーバ２０から一方的に送信される情報を受信してもよい。 The first receiving unit 1551 receives the screen sharing information or the storage destination information provided by the management server 20. Here, the method in which the first receiving unit 1551 receives information from the management server 20 is not particularly limited, and various methods can be adopted. For example, the first receiving unit 1551 may receive the information transmitted from the management server 20 by requesting the management server 20 to provide the information at any time or periodically. Further, for example, the first receiving unit 1551 may receive information unilaterally transmitted from the management server 20.

第２受信部１５５２は、第１受信部１５５１が受信した保存先情報に基づきストレージサーバ３０にアクセスすることで、当該保存先情報に対応する画面共有情報をストレージサーバ３０から受信（ダウンロード）する。ここで、第２受信部１５５２が、ストレージサーバ３０から画面共有情報を受信する方法は特に問わず、種々の方法を採用することが可能である。例えば、第２受信部１５５２は、第１受信部１５５１が保存先情報を受信した場合、その保存先情報が示すアドレスに自動でアクセスすることで、該当する画面共有情報をストレージサーバ３０から受信してもよい。また、例えば、第２受信部１５５２は、ユーザから保存先情報が示すアドレスへのアクセスが指示された場合に、当該アドレスにアクセスすることで、該当する画面共有情報をストレージサーバ３０から受信してもよい。 The second receiving unit 1552 accesses the storage server 30 based on the storage destination information received by the first receiving unit 1551, and receives (downloads) the screen sharing information corresponding to the storage destination information from the storage server 30. Here, the method in which the second receiving unit 1552 receives the screen sharing information from the storage server 30 is not particularly limited, and various methods can be adopted. For example, when the first receiving unit 1551 receives the storage destination information, the second receiving unit 1552 automatically accesses the address indicated by the storage destination information to receive the corresponding screen sharing information from the storage server 30. You may. Further, for example, when the user instructs the user to access the address indicated by the storage destination information, the second receiving unit 1552 receives the corresponding screen sharing information from the storage server 30 by accessing the address. May be good.

表示制御部１５６は、受信制御部１５５（第１受信部、第２受信部）で受信した画面共有情報に基づき、画面共有情報が表す手書き画像をディスプレイ１１０の表示画面に表示させる。具体的には、表示制御部１５６は、画面共有情報に含まれた座標情報やベクトルデータ等に基づき手書き画像をディスプレイ１１０の表示画面に再現する。これにより、表示制御部１５６は、画像表示装置１０ａのディスプレイ１１０に表示された手書き画像と同様の状態で、自装置のディスプレイ１１０に手書き画像を表示させる。 The display control unit 156 causes the display screen of the display 110 to display a handwritten image represented by the screen sharing information based on the screen sharing information received by the reception control unit 155 (first receiving unit, second receiving unit). Specifically, the display control unit 156 reproduces the handwritten image on the display screen of the display 110 based on the coordinate information, the vector data, and the like included in the screen sharing information. As a result, the display control unit 156 causes the display 110 of its own device to display the handwritten image in the same state as the handwritten image displayed on the display 110 of the image display device 10a.

また、表示制御部１５６は、第１受信部１５５１が保存先情報を受信した場合、報知情報をディスプレイ１１０の表示画面に表示させる。ここで、報知情報の表示形態は特に問わず種々の形態を採用することが可能である。例えば、表示制御部１５６は、保存先情報そのもの（ＵＲＬ等）や、保存先情報が示す保存先へのアクセスを指示する操作子を報知情報としてディスプレイ１１０の表示画面に表示させてもよい。この場合、第２受信部１５５２は、ディスプレイ１１０の表示画面に表示された報知情報に対して接触操作等が行われた場合に、保存先情報が示すアドレスへのアクセスが指示されたと判断してもよい。また、例えば、表示制御部１５６は、未表示の画面共有情報（手書き画像）が存在することを報知するメッセージやアイコン等を報知情報としてディスプレイ１１０の表示画面に表示させてもよい。 Further, when the first receiving unit 1551 receives the storage destination information, the display control unit 156 displays the notification information on the display screen of the display 110. Here, various forms can be adopted regardless of the display form of the notification information. For example, the display control unit 156 may display the save destination information itself (URL or the like) or an operator instructing access to the save destination indicated by the save destination information on the display screen of the display 110 as notification information. In this case, the second receiving unit 1552 determines that the access to the address indicated by the storage destination information is instructed when a contact operation or the like is performed on the notification information displayed on the display screen of the display 110. May be good. Further, for example, the display control unit 156 may display a message, an icon, or the like notifying the existence of undisplayed screen sharing information (handwritten image) on the display screen of the display 110 as the notification information.

なお、図４では、画像表示装置１０ａと画像表示装置１０ｂとで機能構成を分けて説明したが、一の画像表示装置１０が画像表示装置１０ａ及び画像表示装置１０ｂの機能構成を具備する構成としてもよい。つまり、画像表示装置１０が、画面共有先と画面共有元との両機能を有する場合、当該画像表示装置１０は、図４で示した画像表示装置１０ａ及び画像表示装置１０ｂの機能構成を具備することになる。 Although the functional configurations of the image display device 10a and the image display device 10b have been described separately in FIG. 4, one image display device 10 includes the functional configurations of the image display device 10a and the image display device 10b. May be good. That is, when the image display device 10 has both the functions of the screen sharing destination and the screen sharing source, the image display device 10 has the functional configurations of the image display device 10a and the image display device 10b shown in FIG. It will be.

次に、上述した画面共有システム１の動作について説明する。まず、図５及び図６を参照して、管理サーバ２０経由で画面共有情報を提供する場合の動作例について説明する。 Next, the operation of the screen sharing system 1 described above will be described. First, an operation example in the case of providing screen sharing information via the management server 20 will be described with reference to FIGS. 5 and 6.

図５は、管理サーバ２０経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図６は、管理サーバ２０経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。 FIG. 5 is a diagram schematically showing an information flow when screen sharing information is provided via the management server 20. Further, FIG. 6 is a sequence diagram showing an operation example when screen sharing information is provided via the management server 20.

まず、画面共有元の画像表示装置１０ａにおいて、ユーザにより手書き画像の入力が行われると（符号Ｐ１１）、画像表示装置１０ａの取得部１５１は、入力された手書き画像を画面共有情報として取得する。次いで、画像表示装置１０ａの判定部１５２は、取得部１５１が取得した画面共有情報のデータ量を判定する（符号Ｐ１２）。ここで、画面共有情報のデータ量が閾値未満の場合、画像表示装置１０ａの送信制御部１５３（第１送信部１５３１）は、画面共有情報を管理サーバ２０に送信する（符号Ｐ１３）。 First, when the user inputs a handwritten image in the image display device 10a of the screen sharing source (reference numeral P11), the acquisition unit 151 of the image display device 10a acquires the input handwritten image as screen sharing information. Next, the determination unit 152 of the image display device 10a determines the amount of data of the screen sharing information acquired by the acquisition unit 151 (reference numeral P12). Here, when the amount of data of the screen sharing information is less than the threshold value, the transmission control unit 153 (first transmission unit 1531) of the image display device 10a transmits the screen sharing information to the management server 20 (reference numeral P13).

管理サーバ２０では、画像表示装置１０ａから送信された画面共有情報を第１管理部２５１が第１記憶媒体Ｍ１に保存すると、第１提供部２５２は、第１記憶媒体Ｍ１に保存された画面共有情報を画像表示装置１０ｂに提供する。 In the management server 20, when the first management unit 251 stores the screen sharing information transmitted from the image display device 10a in the first storage medium M1, the first providing unit 252 shares the screen stored in the first storage medium M1. Information is provided to the image display device 10b.

一方、画面共有先の画像表示装置１０ｂでは、管理サーバ２０から提供された画面共有情報を受信制御部１５５（第１受信部１５５１）が受信する（符号Ｐ１４）。そして、画像表示装置１０ｂの表示制御部１５６は、管理サーバ２０から提供された画面共有情報に基づき手書き画像をディスプレイ１１０に表示させることで、画像表示装置１０ａと同様の画面を再現する（符号Ｐ１５）。 On the other hand, in the image display device 10b of the screen sharing destination, the reception control unit 155 (first reception unit 1551) receives the screen sharing information provided by the management server 20 (reference numeral P14). Then, the display control unit 156 of the image display device 10b reproduces the same screen as the image display device 10a by displaying the handwritten image on the display 110 based on the screen sharing information provided by the management server 20 (reference numeral P15). ).

次に、図７及び図８を参照して、ストレージサーバ３０経由で画面共有情報を提供する場合の動作例について説明する。ここで、図７は、ストレージサーバ３０経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図８は、ストレージサーバ３０経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。 Next, an operation example in the case of providing the screen sharing information via the storage server 30 will be described with reference to FIGS. 7 and 8. Here, FIG. 7 is a diagram schematically showing an information flow when screen sharing information is provided via the storage server 30. Further, FIG. 8 is a sequence diagram showing an operation example when screen sharing information is provided via the storage server 30.

まず、画面共有元の画像表示装置１０ａにおいて、ユーザにより手書き画像の入力が行われると（符号Ｐ２１）、画像表示装置１０ａの取得部１５１は、入力された手書き画像を画面共有情報として取得する。次いで、画像表示装置１０ａの判定部１５２は、取得部１５１が取得した画面共有情報のデータ量を判定する（符号Ｐ２２）。ここで、画面共有情報のデータ量が閾値以上の場合、画像表示装置１０ａの送信制御部１５３（第２送信部１５３２）は、画面共有情報をストレージサーバ３０に送信（アップロード）する（符号Ｐ２３）。 First, when the user inputs a handwritten image in the image display device 10a of the screen sharing source (reference numeral P21), the acquisition unit 151 of the image display device 10a acquires the input handwritten image as screen sharing information. Next, the determination unit 152 of the image display device 10a determines the amount of data of the screen sharing information acquired by the acquisition unit 151 (reference numeral P22). Here, when the data amount of the screen sharing information is equal to or larger than the threshold value, the transmission control unit 153 (second transmission unit 1532) of the image display device 10a transmits (uploads) the screen sharing information to the storage server 30 (reference numeral P23). ..

ストレージサーバ３０では、第２管理部３５１は、画像表示装置１０ａから送信された画面共有情報を第２記憶媒体Ｍ２に保存すると、その保存先を示す保存先情報を画像表示装置１０ａに通知する（符号Ｐ２４）。画像表示装置１０ａの送信制御部１５３（第２送信部１５３２）は、ストレージサーバ３０から通知された保存先情報を受け付けると、その保存先情報を管理サーバ２０に送信する（符号Ｐ２５）。 In the storage server 30, when the screen sharing information transmitted from the image display device 10a is stored in the second storage medium M2, the second management unit 351 notifies the image display device 10a of the storage destination information indicating the storage destination (the storage destination information). Reference numeral P24). When the transmission control unit 153 (second transmission unit 1532) of the image display device 10a receives the storage destination information notified from the storage server 30, the transmission control unit 153 transmits the storage destination information to the management server 20 (reference numeral P25).

管理サーバ２０では、画像表示装置１０ａから送信された保存先情報を第１管理部２５１が第１記憶媒体Ｍ１に保存すると、第１提供部２５２は、第１記憶媒体Ｍ１に保存された保存先情報を画像表示装置１０ｂに提供する。 In the management server 20, when the first management unit 251 stores the storage destination information transmitted from the image display device 10a in the first storage medium M1, the first providing unit 252 saves the storage destination information in the first storage medium M1. Information is provided to the image display device 10b.

一方、画面共有先の画像表示装置１０ｂでは、受信制御部１５５（第２受信部１５５２）が管理サーバ２０から提供された保存先情報を受信すると（符号Ｐ２６）、表示制御部１５６は、報知情報をディスプレイ１１０に表示させる（符号Ｐ２７）。ここで、図７では、報知情報として未表示の画面共有情報（手書き画像）がある旨を表示させた例を示している。 On the other hand, in the screen sharing destination image display device 10b, when the reception control unit 155 (second reception unit 1552) receives the storage destination information provided by the management server 20 (reference numeral P26), the display control unit 156 sends the notification information. Is displayed on the display 110 (reference numeral P27). Here, FIG. 7 shows an example in which it is displayed that there is undisplayed screen sharing information (handwritten image) as the notification information.

続いて、画像表示装置１０ｂの受信制御部１５５（第２受信部１５５２）は、受信した保存先情報に基づきストレージサーバ３０にアクセスすることで（符号Ｐ２８）、ストレージサーバ３０から提供される画面共有情報を受信（ダウンロード）する（符号Ｐ２９）。そして、画像表示装置１０ｂの表示制御部１５６は、管理サーバ２０から提供された画面共有情報に基づき手書き画像をディスプレイ１１０に表示させることで、画像表示装置１０ａと同様の画面を再現する（符号Ｐ３０）。 Subsequently, the reception control unit 155 (second reception unit 1552) of the image display device 10b accesses the storage server 30 based on the received storage destination information (reference numeral P28), thereby sharing the screen provided by the storage server 30. Receive (download) information (reference numeral P29). Then, the display control unit 156 of the image display device 10b reproduces the same screen as the image display device 10a by displaying the handwritten image on the display 110 based on the screen sharing information provided by the management server 20 (reference numeral P30). ).

このように、本実施形態では、画像表示装置１０ａは、管理サーバ２０及びストレージサーバ３０を介して、画面共有情報を画像表示装置１０ｂに提供する。一方、画像表示装置１０ｂでは、管理サーバ２０を介して提供された画面共有情報に基づき、画像表示装置１０ａのディスプレイ１１０に表示された手書き画像を、自装置のディスプレイ１１０に表示する。また、画像表示装置１０ｂは、管理サーバ２０から提供された保存先情報に基づいて、ストレージサーバ３０から画面共有情報を取得し、当該画面共有情報に基づく手書き画像を自装置のディスプレイ１１０に表示させる。 As described above, in the present embodiment, the image display device 10a provides the screen sharing information to the image display device 10b via the management server 20 and the storage server 30. On the other hand, the image display device 10b displays the handwritten image displayed on the display 110 of the image display device 10a on the display 110 of its own device based on the screen sharing information provided via the management server 20. Further, the image display device 10b acquires screen sharing information from the storage server 30 based on the storage destination information provided by the management server 20, and displays a handwritten image based on the screen sharing information on the display 110 of its own device. ..

これにより、本実施形態では、データ量が閾値未満の画面共有情報と、データサイズが閾値以上の画面共有情報とを異なる経路で転送することができるため、画面共有に係る効率を向上させることができる。また、本実施形態では、データ量が閾値以上の画面共有情報をそのまま画像表示装置１０ｂに送信せずに、データ量の小さな保存先情報の形態で送信するため、当該画面共有情報の後に入力された手書き画像（画面共有情報）の遅延を防ぐことができる。 Thereby, in the present embodiment, the screen sharing information whose data amount is less than the threshold value and the screen sharing information whose data size is larger than the threshold value can be transferred by different routes, so that the efficiency related to screen sharing can be improved. it can. Further, in the present embodiment, the screen sharing information whose data amount is equal to or larger than the threshold value is not transmitted to the image display device 10b as it is, but is transmitted in the form of storage destination information having a small amount of data, so that it is input after the screen sharing information. It is possible to prevent delays in handwritten images (screen sharing information).

また、画像表示装置１０ｂは、保存先情報を受信した場合に報知情報を表示させるため、未表示の画面共有情報（手書き画像）がある旨をユーザに報知するができる。これにより、画像表示装置１０ｂは、未表示の手書き画像が存在することを当該手書き画像が表示される前に知ることができるため、画面共有に係る利便性の向上を図ることができる。また、画像表示装置１０ｂでは、ユーザ操作に応じて保存先情報が示す保存先から画面共有情報を受信することもできるため、データ量が閾値以上の画面共有情報の受信（表示）を任意のタイミングで行うことができる。 Further, since the image display device 10b displays the notification information when the storage destination information is received, it is possible to notify the user that there is undisplayed screen sharing information (handwritten image). As a result, the image display device 10b can know that there is an undisplayed handwritten image before the handwritten image is displayed, so that the convenience related to screen sharing can be improved. Further, in the image display device 10b, since the screen sharing information can be received from the saving destination indicated by the saving destination information according to the user operation, the reception (display) of the screen sharing information whose data amount is equal to or more than the threshold value can be received (displayed) at an arbitrary timing. Can be done with.

次に、図９及び図１０を参照して、上述した画像表示装置１０の動作について説明する。ここで、図９は、画面共有元の画像表示装置１０ａが実行する処理の一例を示すフローチャートである。 Next, the operation of the image display device 10 described above will be described with reference to FIGS. 9 and 10. Here, FIG. 9 is a flowchart showing an example of processing executed by the image display device 10a of the screen sharing source.

まず、画像表示装置１０ａでは、取得部１５１が、電子ペン１１３ａ等を介して手書き画像の入力が行われた否かを判定する（ステップＳ１１）。ここで、手書き入力が行われた場合（ステップＳ１１；Ｙｅｓ）、取得部１５１は、入力された手書き画像を画面共有情報として取得する（ステップＳ１２）。 First, in the image display device 10a, the acquisition unit 151 determines whether or not the handwritten image has been input via the electronic pen 113a or the like (step S11). Here, when handwriting input is performed (step S11; Yes), the acquisition unit 151 acquires the input handwritten image as screen sharing information (step S12).

続いて、判定部１５２は、取得部１５１が取得した画面共有情報のデータ量が閾値以上か否かを判定する（ステップＳ１３）。ここで、画面共有情報のデータ量が閾値未満の場合（ステップＳ１３；Ｎｏ）、送信制御部１５３（第１送信部１５３１）は、画面共有情報を管理サーバ２０に送信し（ステップＳ１４）、ステップＳ１１に戻る。 Subsequently, the determination unit 152 determines whether or not the amount of data of the screen sharing information acquired by the acquisition unit 151 is equal to or greater than the threshold value (step S13). Here, when the data amount of the screen sharing information is less than the threshold value (step S13; No), the transmission control unit 153 (first transmission unit 1531) transmits the screen sharing information to the management server 20 (step S14), and the step. Return to S11.

また、画面共有情報のデータ量が閾値以上の場合（ステップＳ１３；Ｙｅｓ）、送信制御部１５３（第２送信部１５３２）は、画面共有情報をストレージサーバ３０に送信し（ステップＳ１５）、ステップＳ１１に戻る。 When the amount of screen sharing information data is equal to or greater than the threshold value (step S13; Yes), the transmission control unit 153 (second transmission unit 1532) transmits the screen sharing information to the storage server 30 (step S15), and step S11. Return to.

ステップＳ１１では手書き画像の入力が行われない場合（ステップＳ１１；Ｎｏ）、送信制御部１５３（第２送信部１５３２）は、ストレージサーバ３０から保存先情報を受信したか否かを判定する（ステップＳ１６）。ここで、ストレージサーバ３０から保存先情報が通知されない場合には（ステップＳ１６；Ｎｏ）、ステップＳ１１に戻る。 When the handwritten image is not input in step S11 (step S11; No), the transmission control unit 153 (second transmission unit 1532) determines whether or not the storage destination information has been received from the storage server 30 (step S11). S16). Here, if the storage destination information is not notified from the storage server 30 (step S16; No), the process returns to step S11.

また、ステップＳ１６において、ストレージサーバ３０から保存先情報を受信した場合（ステップＳ１６；Ｙｅｓ）、送信制御部１５３（第２送信部１５３２）は、受信した保存先情報を管理サーバ２０に送信し（ステップＳ１７）、ステップＳ１１に戻る。 Further, in step S16, when the storage destination information is received from the storage server 30 (step S16; Yes), the transmission control unit 153 (second transmission unit 1532) transmits the received storage destination information to the management server 20 (step S16; Yes). Step S17), the process returns to step S11.

一方、図１０は、画面共有先の画像表示装置１０ｂが実行する処理の一例を示すフローチャートである。 On the other hand, FIG. 10 is a flowchart showing an example of processing executed by the image display device 10b of the screen sharing destination.

まず、画像表示装置１０ｂでは、受信制御部１５５（第１受信部１５５１）が管理サーバ２０から情報を受信したか否かを判定する（ステップＳ２１）。受信制御部１５５（第１受信部１５５１）は、管理サーバ２０から情報を受信すると（ステップＳ２１；Ｙｅｓ）、受信した情報が画面共有情報か保存先情報かを判別する（ステップＳ２２）。 First, in the image display device 10b, the reception control unit 155 (first reception unit 1551) determines whether or not information has been received from the management server 20 (step S21). When the reception control unit 155 (first reception unit 1551) receives information from the management server 20 (step S21; Yes), the reception control unit 155 determines whether the received information is screen sharing information or storage destination information (step S22).

ここで、受信した情報が画面共有情報であった場合（ステップＳ２２；Ｙｅｓ）、表示制御部１５６は、その画面共有情報に基づき手書き画像をディスプレイ１１０の表示画面に表示させると（ステップＳ２３）、ステップＳ２１に戻る。 Here, when the received information is screen sharing information (step S22; Yes), the display control unit 156 displays the handwritten image on the display screen of the display 110 based on the screen sharing information (step S23). Return to step S21.

また、受信した情報が画像共有情報でなく保存先情報であった場合（ステップＳ２２；Ｎｏ）、表示制御部１５６は、保存先情報に対応する画面共有情報が存在することを報知する報知情報をディスプレイ１１０の表示画面に表示させる（ステップＳ２４）。次いで、受信制御部１５５（第２受信部１５５２）は、保存先情報に基づきストレージサーバ３０にアクセスすることで、画面共有情報のダウンロードを開始し（ステップＳ２５）、ステップＳ２１に戻る。 Further, when the received information is not the image sharing information but the storage destination information (step S22; No), the display control unit 156 provides notification information for notifying that the screen sharing information corresponding to the storage destination information exists. It is displayed on the display screen of the display 110 (step S24). Next, the reception control unit 155 (second reception unit 1552) starts downloading the screen sharing information by accessing the storage server 30 based on the storage destination information (step S25), and returns to step S21.

ステップＳ２１では管理サーバ２０から情報が提供されない場合（ステップＳ２１；Ｎｏ）、受信制御部１５５（第２受信部１５５２）は、画面共有情報のダウンロードが完了したか否かを判定する（ステップＳ２６）。ここで、ストレージサーバ３０から画面共有情報のダウンロードを行っていない場合や、ダウンロードが完了していない場合には（ステップＳ２６；Ｎｏ）、ステップＳ２１に戻る。 If the management server 20 does not provide information in step S21 (step S21; No), the reception control unit 155 (second reception unit 1552) determines whether or not the download of the screen sharing information is completed (step S26). .. Here, if the screen sharing information has not been downloaded from the storage server 30 or the download has not been completed (step S26; No), the process returns to step S21.

また、ステップＳ２６において、画面共有情報のダウンロードが完了した場合には（ステップＳ２６；Ｙｅｓ）、表示制御部１５６がその画面共有情報に基づいた手書き画像をディスプレイ１１０の表示画面に表示させた後（ステップＳ２３）、ステップＳ２１に戻る。 Further, in step S26, when the download of the screen sharing information is completed (step S26; Yes), after the display control unit 156 displays a handwritten image based on the screen sharing information on the display screen of the display 110 (step S26; Yes). Step S23), the process returns to step S21.

以上のように、本実施形態によれば、画像表示装置１０ａは、自装置の表示画面に表示される画像を画面共有情報として取得し、画面共有情報のデータ量が閾値未満の場合に、管理サーバ２０を介して画像表示装置１０ｂに提供する。また、画面共有情報のデータ量が閾値以上の場合に、ストレージサーバ３０に保存した画面共有情報の保存先情報を、管理サーバ２０を介して画像表示装置１０ｂに提供する。一方、画像表示装置１０ｂでは、管理サーバ２０から受信した画面共有情報又は保存先情報に基づきストレージサーバ３０から受信した画面共有情報を自装置のディスプレイ１１０に表示させる。 As described above, according to the present embodiment, the image display device 10a acquires the image displayed on the display screen of the own device as screen sharing information, and manages the image when the data amount of the screen sharing information is less than the threshold value. It is provided to the image display device 10b via the server 20. Further, when the data amount of the screen sharing information is equal to or larger than the threshold value, the storage destination information of the screen sharing information stored in the storage server 30 is provided to the image display device 10b via the management server 20. On the other hand, the image display device 10b causes the display 110 of its own device to display the screen sharing information received from the storage server 30 based on the screen sharing information or the storage destination information received from the management server 20.

これにより、本実施形態では、データ量の大きな手書き画像が画像表示装置１０ａで入力された場合であっても、当該手書き画像以降に入力される手書き画像を遅延することなく、画像表示装置１０ｂに転送することができる。これにより、画像表示装置１０ｂのユーザは、画像表示装置１０ａでの手書き入力の状況を容易に把握することができるため、ユーザ間の意思疎通の向上を図ることができる。 As a result, in the present embodiment, even when a handwritten image having a large amount of data is input by the image display device 10a, the handwritten image input after the handwritten image is not delayed on the image display device 10b. Can be transferred. As a result, the user of the image display device 10b can easily grasp the status of the handwriting input on the image display device 10a, so that communication between the users can be improved.

また、画像表示装置１０ｂでは、保存先情報を受信した場合に報知情報を表示させる。これにより、例えば、先に入力されたデータ量の大きな手書き画像より先に、後に入力された手書き画像が表示された場合であっても、画像表示装置１０ｂのユーザは、データ量の大きな手書き画像が未表示の状態であることを認識できるため、画面共有に係る利便性の向上を図ることができる。 Further, the image display device 10b displays the notification information when the storage destination information is received. As a result, for example, even if the handwritten image input later is displayed before the handwritten image having a large amount of data input earlier, the user of the image display device 10b can use the handwritten image having a large amount of data. Since it can be recognized that is not displayed, it is possible to improve the convenience related to screen sharing.

なお、上述した実施形態では、画面共有先の画像表示装置１０ｂでは保存先情報を受信した場合に、保存先情報を受信したことや、未表示の画面共有情報（手書き画像）が存在することを報知したが、報知内容はこれに限らないものとする。例えば、保存先情報に対応する画面共有情報が手書き画像として表示される画面内の位置（以下、描画位置）を報知してもよい。以下、上述した実施形態の変形例として、描画位置を報知可能な構成について説明する。 In the above-described embodiment, when the save destination information is received by the screen sharing destination image display device 10b, the save destination information is received and the undisplayed screen sharing information (handwritten image) exists. Although the notification has been made, the content of the notification is not limited to this. For example, the position in the screen (hereinafter, drawing position) in which the screen sharing information corresponding to the save destination information is displayed as a handwritten image may be notified. Hereinafter, as a modification of the above-described embodiment, a configuration capable of notifying the drawing position will be described.

［変形例］
図１１及び図１２は、本変形例に係る画面共有システム１の動作を説明するための図である。ここで、図１１は、ストレージサーバ３０経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図１２は、管理サーバ２０経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。なお、符号Ｐ４１〜符号Ｐ４４の動作は、上述した図７及び図８の符号Ｐ２１〜符号Ｐ２４の動作と同様であるため説明を省略する。 [Modification example]
11 and 12 are diagrams for explaining the operation of the screen sharing system 1 according to this modification. Here, FIG. 11 is a diagram schematically showing an information flow when screen sharing information is provided via the storage server 30. Further, FIG. 12 is a sequence diagram showing an operation example when screen sharing information is provided via the management server 20. The operation of reference numerals P41 to P44 is the same as the operation of reference numerals P21 to P24 of FIGS. 7 and 8 described above, and thus the description thereof will be omitted.

本変形例に係る画像表示装置１０ａの送信制御部１５３（第２送信部１５３２）は、ストレージサーバ３０から保存先情報の通知を受け付けると、当該保存先情報を、対応する画面共有情報等から抽出した手書き画像の属性情報とともに管理サーバ２０に送信する（符号Ｐ４５）。 When the transmission control unit 153 (second transmission unit 1532) of the image display device 10a according to this modification receives the notification of the storage destination information from the storage server 30, the storage destination information is extracted from the corresponding screen sharing information and the like. It is transmitted to the management server 20 together with the attribute information of the handwritten image (reference numeral P45).

ここで、属性情報は、手書き画像に関する情報を含む。具体的には、属性情報は、画像表示装置１０ａのディスプレイ１１０の表示画面上において手書き画像が表示（描画）された表示領域を指定する情報（バウンディングボックス情報等）を含む。なお、属性情報の内容は、この例に限らず、他の情報を含んでもよい。例えば、属性情報は、手書き画像（画面共有情報）のデータサイズ等を示す情報を含んでもよい。 Here, the attribute information includes information related to the handwritten image. Specifically, the attribute information includes information (bounding box information, etc.) that specifies a display area on which the handwritten image is displayed (drawn) on the display screen of the display 110 of the image display device 10a. The content of the attribute information is not limited to this example, and may include other information. For example, the attribute information may include information indicating the data size of the handwritten image (screen sharing information) and the like.

管理サーバ２０では、画像表示装置１０ａから保存先情報及び属性情報が受信すると、第１管理部２５１は、受信された保存先情報及び属性情報を第１記憶媒体Ｍ１に保存する。次いで、第１提供部２５２は、第１記憶媒体Ｍ１に保存された保存先情報及び属性情報を画像表示装置１０ｂに提供する。 When the management server 20 receives the storage destination information and the attribute information from the image display device 10a, the first management unit 251 stores the received storage destination information and the attribute information in the first storage medium M1. Next, the first providing unit 252 provides the image display device 10b with the storage destination information and the attribute information stored in the first storage medium M1.

一方、画面共有先の画像表示装置１０ｂでは、管理サーバ２０から提供された保存先情報及び属性情報を受信制御部１５５（第２受信部１５５２）が受信する（符号Ｐ４６）。表示制御部１５６は、受信された属性情報に基づき、保存先情報に対応する画面共有情報（手書き画像）が表示される表示領域を報知する報知情報をディスプレイ１１０の表示画面に表示させる（符号Ｐ４７）。続いて、画像表示装置１０ｂの受信制御部１５５（第２受信部１５５２）は、保存先情報に基づきストレージサーバ３０にアクセスすることで（符号Ｐ４８）、ストレージサーバ３０から提供される画面共有情報を受信する（符号Ｐ４９）。 On the other hand, in the image display device 10b of the screen sharing destination, the reception control unit 155 (second reception unit 1552) receives the storage destination information and the attribute information provided by the management server 20 (reference numeral P46). Based on the received attribute information, the display control unit 156 displays the notification information for notifying the display area where the screen sharing information (handwritten image) corresponding to the save destination information is displayed on the display screen of the display 110 (reference numeral P47). ). Subsequently, the reception control unit 155 (second reception unit 1552) of the image display device 10b accesses the storage server 30 based on the storage destination information (reference numeral P48) to obtain the screen sharing information provided by the storage server 30. Receive (reference numeral P49).

ここで、図１１では、ディスプレイ１１０の表示画面上で画面共有情報（手書き画像）が表示される表示領域を、ハッチングを用いて識別可能に表示した例を示している。また、図１１では、画面共有情報がダウンロード中であることを、砂時計のアイコンで示している。 Here, FIG. 11 shows an example in which a display area in which screen sharing information (handwritten image) is displayed on the display screen of the display 110 is identifiablely displayed by using hatching. Further, in FIG. 11, an hourglass icon indicates that the screen sharing information is being downloaded.

そして、画像表示装置１０ｂの表示制御部１５６は、ストレージサーバ３０から提供された画面共有情報に基づき、手書き画像をディスプレイ１１０の表示画面に表示させることで、画像表示装置１０ａと同様の画面を再現する（符号Ｐ５０）。ここで、手書き画像が表示される位置は表示領域に対応する。 Then, the display control unit 156 of the image display device 10b reproduces the same screen as the image display device 10a by displaying the handwritten image on the display screen of the display 110 based on the screen sharing information provided by the storage server 30. (Reference P50). Here, the position where the handwritten image is displayed corresponds to the display area.

このように、本変形例によれば、画像表示装置１０ｂでは、管理サーバ２０から保存先情報を受信すると、同時に受信した属性情報に基づき、対応する画面共有情報によって表示される手書き画像の表示領域を報知情報として表示する。これにより、画像表示装置１０ｂのユーザは、表示が保留されたデータ量が閾値以上の画面共有情報により、手書き画像が表示される位置を事前に把握することができるため、画面共有に係る利便性の向上を図ることができる。 As described above, according to the present modification, when the storage destination information is received from the management server 20 in the image display device 10b, the display area of the handwritten image displayed by the corresponding screen sharing information based on the attribute information received at the same time. Is displayed as notification information. As a result, the user of the image display device 10b can grasp in advance the position where the handwritten image is displayed based on the screen sharing information in which the amount of data whose display is suspended is equal to or greater than the threshold value, which is convenient for screen sharing. Can be improved.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array) and conventional circuit modules.

上記で説明した実施形態の各機能の少なくとも一部がプログラムの実行によって実現される場合、プログラムは適宜な記憶装置に予め組み込まれて提供される。また、プログラムはインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供されてもよい。また、プログラムはインターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供され得るように構成されてもよい。また、プログラムはインターネット等のネットワーク経由で提供又は配布され得るように構成されてもよい。また、プログラムは上述した各機能の少なくとも一部を含むモジュール構成となっていてもよい。 When at least a part of each function of the embodiment described above is realized by executing the program, the program is provided by being pre-installed in an appropriate storage device. Further, the program may be provided by recording a file in an installable format or an executable format on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. Further, the program may be stored on a computer connected to a network such as the Internet, and may be configured to be provided by downloading via the network. The program may also be configured to be provided or distributed via a network such as the Internet. Further, the program may have a modular structure including at least a part of each of the above-mentioned functions.

また、上記では画像表示装置１０を情報処理装置としたが、表示機能及び通信機能を備えた装置であれば、画像表示装置１０に限らない。情報処理装置は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。 Further, although the image display device 10 is used as an information processing device in the above description, the device is not limited to the image display device 10 as long as it has a display function and a communication function. The information processing device includes, for example, a PJ (Projector: projector), an IWB (Interactive White Board: a white board having an electronic blackboard function capable of intercommunication), an output device such as a digital signage, a HUD (Head Up Display) device, and the like. Industrial machines, image pickup devices, sound collectors, medical devices, network home appliances, automobiles (Connected Cars), notebook PCs (Personal Computers), mobile phones, smartphones, tablet terminals, game machines, PDA (Personal Digital Assistant), digital cameras, It may be a wearable PC, a desktop PC, or the like.

また、上記で説明した実施形態の装置群は、本明細書に開示された実施形態を実施するための複数のコンピュータ環境のうちの１つを示すものにすぎない。例えば、ある実施形態では、管理サーバ２０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリ等を含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様にストレージサーバ３０は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。また、管理サーバ２０及びストレージサーバ３０の各要素は、１つのサーバ装置にまとめられてもよいし、複数の装置に分けられてもよい。 Further, the device group of the embodiments described above is only one of a plurality of computer environments for implementing the embodiments disclosed in the present specification. For example, in one embodiment, the management server 20 includes a plurality of computing devices such as server clusters. The plurality of computing devices are configured to communicate with each other via any type of communication link, including networks, shared memory, and the like, and perform the processes disclosed herein. Similarly, the storage server 30 may include a plurality of computing devices configured to communicate with each other. Further, each element of the management server 20 and the storage server 30 may be integrated into one server device, or may be divided into a plurality of devices.

以上、本発明の実施形態を説明したが、上記実施形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。上記新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。上記実施形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described above, the above-described embodiments are presented as examples and are not intended to limit the scope of the invention. The above-mentioned novel embodiment can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiment and its modification are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１ 画面共有システム
１０ 画像表示装置
２０ 管理サーバ
３０ ストレージサーバ
１５１ 取得部
１５２ 判定部
１５３ 送信制御部
１５３１ 第１送信部
１５３２ 第２送信部
１５５ 受信制御部
１５５１ 第１受信部
１５５２ 第２受信部
１５６ 表示制御部
Ｍ１ 第１記憶媒体
Ｍ２ 第２記憶媒体 1 Screen sharing system 10 Image display device 20 Management server 30 Storage server 151 Acquisition unit 152 Judgment unit 153 Transmission control unit 1531 1st transmission unit 1532 2nd transmission unit 155 Reception control unit 1551 1st reception unit 1552 2nd reception unit 156 Display Control unit M1 1st storage medium M2 2nd storage medium

特許第６１１５１９４号公報Japanese Patent No. 6115194

Claims (11)

ネットワーク接続された第１情報処理装置と第２情報処理装置との間で画面共有を行う画面共有システムであって、
前記第１情報処理装置は、
自装置の表示画面に表示される画像を画面共有情報として取得する取得部と、
前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続された第１サーバに送信する第１送信部と、
前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続された第２サーバに送信し、当該第２サーバでの前記画面共有情報の保存先を示す保存先情報を前記第１サーバに送信する第２送信部と、
を備え、
前記第２情報処理装置は、
前記第１サーバから前記第１情報処理装置が送信した前記画面共有情報又は前記保存先情報を受信する第１受信部と、
前記第１受信部が受信した前記保存先情報に基づき、前記第２サーバから前記画面共有情報を受信する第２受信部と、
前記第１受信部又は前記第２受信部が受信した前記画面共有情報に基づく画像を自装置の表示画面に表示させる表示制御部と、
を備える画面共有システム。 A screen sharing system that shares screens between a first information processing device and a second information processing device connected to a network.
The first information processing device is
An acquisition unit that acquires the image displayed on the display screen of the own device as screen sharing information,
When the amount of data of the screen sharing information is less than the threshold value, the first transmission unit that transmits the screen sharing information to the first server connected to the network, and
When the amount of data of the screen sharing information is equal to or larger than the threshold value, the screen sharing information is transmitted to the second server connected to the network, and the storage destination information indicating the storage destination of the screen sharing information on the second server. A second transmitter that transmits the data to the first server, and
With
The second information processing device is
A first receiving unit that receives the screen sharing information or the storage destination information transmitted by the first information processing apparatus from the first server.
A second receiving unit that receives the screen sharing information from the second server based on the storage destination information received by the first receiving unit.
A display control unit that displays an image based on the screen sharing information received by the first receiving unit or the second receiving unit on the display screen of the own device.
Screen sharing system with. 前記表示制御部は、前記第１受信部が前記保存先情報を受信した場合に、未表示の画像が存在することを報知する報知情報を表示させる請求項１に記載の画面共有システム。 The screen sharing system according to claim 1, wherein the display control unit displays notification information for notifying the existence of an undisplayed image when the first receiving unit receives the storage destination information. 前記第２送信部は、前記保存先情報とともに当該保存先情報が示す保存先に保存された前記画面共有情報の画像に関する属性情報を、前記第１サーバを介して前記第２情報処理装置に提供し、
前記表示制御部は、前記第２受信部が受信した前記属性情報に基づき、前記報知情報を表示する請求項２に記載の画面共有システム。 The second transmission unit provides the second information processing apparatus with the attribute information related to the image of the screen sharing information stored in the storage destination indicated by the storage destination information together with the storage destination information via the first server. And
The screen sharing system according to claim 2, wherein the display control unit displays the notification information based on the attribute information received by the second receiving unit. 前記第２送信部は、前記属性情報として、前記第１情報処理装置の表示画面上において前記画像が表示された表示領域を指定する情報を、前記第１サーバを介して前記第２情報処理装置に提供し、
前記表示制御部は、前記属性情報に基づき、前記第２情報処理装置の表示画面上における前記画像の表示領域を報知する請求項３に記載の画面共有システム。 The second transmission unit provides, as the attribute information, information that specifies a display area in which the image is displayed on the display screen of the first information processing apparatus, via the first server, the second information processing apparatus. Provide to
The screen sharing system according to claim 3, wherein the display control unit notifies the display area of the image on the display screen of the second information processing device based on the attribute information. 前記第２受信部は、前記保存先情報が示す保存先へのアクセスが指示されたことを条件に、前記第２サーバから前記画面共有情報の受信を開始する請求項１〜４の何れか一項に記載の画面共有システム。 Any one of claims 1 to 4 in which the second receiving unit starts receiving the screen sharing information from the second server on condition that the access to the storage destination indicated by the storage destination information is instructed. The screen sharing system described in the section. ネットワーク接続された他の情報処理装置との間で画面共有を行う画面共有元の情報処理装置であって、
自装置の表示画面に表示される画像を画面共有情報として取得する取得部と、
前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続された第１サーバに送信し、当該第１サーバを介して前記画面共有情報を前記他の情報処理装置に提供する第１送信部と、
前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続された第２サーバに送信し、当該第２サーバでの前記画面共有情報の保存先を示す保存先情報を、前記第１サーバを介して前記他の情報処理装置に提供する第２送信部と、
を備える情報処理装置。 A screen sharing source information processing device that shares screens with other information processing devices connected to the network.
An acquisition unit that acquires the image displayed on the display screen of the own device as screen sharing information,
When the amount of data of the screen sharing information is less than the threshold value, the screen sharing information is transmitted to the first server connected to the network, and the screen sharing information is transmitted to the other information processing device via the first server. The first transmitter provided to
When the amount of data of the screen sharing information is equal to or larger than the threshold value, the screen sharing information is transmitted to the second server connected to the network, and the storage destination information indicating the storage destination of the screen sharing information on the second server is shown. With the second transmission unit that provides the other information processing apparatus via the first server.
Information processing device equipped with. ネットワーク接続された他の情報処理装置との間で画面共有を行う画面共有先の情報処理装置であって、
前記ネットワークに接続された第１サーバを介して、前記他の情報処理装置の表示画面に表示された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情報を受信する第１受信部と、
前記第１受信部が受信した前記保存先情報に基づき、前記ネットワークに接続された第２サーバから前記画面共有情報を受信する第２受信部と、
前記第１受信部又は前記第２受信部が受信した前記画面共有情報に基づく画像を自装置の表示画面に表示させる表示制御部と、
を備える情報処理装置。 An information processing device at the screen sharing destination that shares the screen with other information processing devices connected to the network.
A first server that receives screen sharing information representing an image displayed on a display screen of the other information processing apparatus or storage destination information indicating a storage destination of the screen sharing information via a first server connected to the network. Receiver and
A second receiving unit that receives the screen sharing information from a second server connected to the network based on the storage destination information received by the first receiving unit.
A display control unit that displays an image based on the screen sharing information received by the first receiving unit or the second receiving unit on the display screen of the own device.
Information processing device equipped with. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有元の情報処理装置で実行される画面共有方法であって、
取得部が、自装置の表示画面に表示される画像を画面共有情報として取得する取得ステップと、
第１送信部が、前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続された第１サーバに送信し、当該第１サーバを介して前記画面共有情報を前記他の情報処理装置に提供する第１送信ステップと、
第２送信部が、前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続された第２サーバに送信し、当該第２サーバでの前記画面共有情報の保存先を示す保存先情報を、前記第１サーバを介して前記他の情報処理装置に提供する第２送信ステップと、
を含む画面共有方法。 Screen sharing with other information processing devices connected to the network This is a screen sharing method executed by the information processing device of the screen sharing source.
The acquisition step in which the acquisition unit acquires the image displayed on the display screen of the own device as screen sharing information,
When the data amount of the screen sharing information is less than the threshold value, the first transmission unit transmits the screen sharing information to the first server connected to the network, and transmits the screen sharing information via the first server. The first transmission step provided to the other information processing apparatus and
When the data amount of the screen sharing information is equal to or greater than the threshold value, the second transmission unit transmits the screen sharing information to the second server connected to the network, and saves the screen sharing information on the second server. A second transmission step of providing the storage destination information indicating the destination to the other information processing apparatus via the first server, and
Screen sharing methods including. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有先の情報処理装置で実行される画面共有方法であって、
第１受信部が、前記ネットワークに接続された第１サーバを介して、前記他の情報処理装置の表示画面に表示された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情報を受信する第１受信ステップと、
第２受信部が、前記第１受信部が受信した前記保存先情報に基づき、前記ネットワークに接続された第２サーバから前記画面共有情報を受信する第２受信ステップと、
表示制御部が、前記第１受信部又は前記第２受信部が受信した前記画面共有情報に基づく画像を自装置の表示画面に表示させる表示制御ステップと、
を含む画面共有方法。 Screen sharing with other information processing devices connected to the network This is a screen sharing method executed by the information processing device at the destination.
A storage destination in which the first receiving unit indicates a screen sharing information representing an image displayed on a display screen of the other information processing apparatus or a storage destination of the screen sharing information via a first server connected to the network. The first receiving step to receive information and
A second receiving step in which the second receiving unit receives the screen sharing information from the second server connected to the network based on the storage destination information received by the first receiving unit.
A display control step in which the display control unit displays an image based on the screen sharing information received by the first receiving unit or the second receiving unit on the display screen of the own device.
Screen sharing methods including. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有元の情報処理装置のコンピュータを、
自装置の表示画面に表示される画像を画面共有情報として取得する取得部と、
前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続された第１サーバに送信し、当該第１サーバを介して前記画面共有情報を前記他の情報処理装置に提供する第１送信部と、
前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続された第２サーバに送信し、当該第２サーバでの前記画面共有情報の保存先を示す保存先情報を、前記第１サーバを介して前記他の情報処理装置に提供する第２送信部と、
して機能させるためのプログラム。 The computer of the information processing device of the screen sharing source that shares the screen with other information processing devices connected to the network
An acquisition unit that acquires the image displayed on the display screen of the own device as screen sharing information,
When the amount of data of the screen sharing information is less than the threshold value, the screen sharing information is transmitted to the first server connected to the network, and the screen sharing information is transmitted to the other information processing device via the first server. The first transmitter provided to
When the amount of data of the screen sharing information is equal to or larger than the threshold value, the screen sharing information is transmitted to the second server connected to the network, and the storage destination information indicating the storage destination of the screen sharing information on the second server is shown. With the second transmission unit that provides the other information processing apparatus via the first server.
A program to make it work. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有先の情報処理装置のコンピュータを、
前記ネットワークに接続された第１サーバを介して、前記他の情報処理装置の表示画面に表示された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情報を受信する第１受信部と、
前記第１受信部が受信した前記保存先情報に基づき、前記ネットワークに接続された第２サーバから前記画面共有情報を受信する第２受信部と、
前記第１受信部又は前記第２受信部が受信した前記画面共有情報に基づく画像を自装置の表示画面に表示させる表示制御部と、
して機能させるためのプログラム。 The computer of the information processing device of the screen sharing destination that shares the screen with other information processing devices connected to the network
A first server that receives screen sharing information representing an image displayed on a display screen of the other information processing apparatus or storage destination information indicating a storage destination of the screen sharing information via a first server connected to the network. Receiver and
A second receiving unit that receives the screen sharing information from a second server connected to the network based on the storage destination information received by the first receiving unit.
A display control unit that displays an image based on the screen sharing information received by the first receiving unit or the second receiving unit on the display screen of the own device.
A program to make it work.
JP2020010378A 2019-02-28 2020-01-24 Screen sharing system, information processing device, screen sharing method and program Active JP7447503B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/802,586 US11061641B2 (en) 2019-02-28 2020-02-27 Screen sharing system, and information processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019037045 2019-02-28
JP2019037045 2019-02-28

Publications (2)

Publication Number Publication Date
JP2020144848A true JP2020144848A (en) 2020-09-10
JP7447503B2 JP7447503B2 (en) 2024-03-12

Family

ID=72355574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010378A Active JP7447503B2 (en) 2019-02-28 2020-01-24 Screen sharing system, information processing device, screen sharing method and program

Country Status (1)

Country Link
JP (1) JP7447503B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100270A (en) 2009-11-05 2011-05-19 Mitsubishi Electric Corp Screen sharing system and screen sharing server
JP2014021955A (en) 2012-07-24 2014-02-03 Forum8 Co Ltd Information sharing system, server device of information sharing system, program executed by server device, and information sharing method
JP6331296B2 (en) 2013-09-06 2018-05-30 株式会社リコー Information processing terminal, transmission system, and program
JP2015210569A (en) 2014-04-24 2015-11-24 株式会社リコー Image processing device, information sharing device, image processing method, and program
JP6335738B2 (en) 2014-09-30 2018-05-30 Kddi株式会社 Source terminal, display control system, display control method, display control program
US20160269329A1 (en) 2015-03-11 2016-09-15 Dell Software, Inc. Automated large file processing with embedded visual cues

Also Published As

Publication number Publication date
JP7447503B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
WO2022156368A1 (en) Recommended information display method and apparatus
WO2021104365A1 (en) Object sharing method and electronic device
US11061641B2 (en) Screen sharing system, and information processing apparatus
US9910499B2 (en) System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices
WO2015016569A1 (en) Method and apparatus for constructing multi-screen display
WO2014142471A1 (en) Multi-input control method and system, and electronic device supporting the same
WO2015005606A1 (en) Method for controlling chat window and electronic device implementing the same
WO2013032234A1 (en) Method of providing of user interface in portable terminal and apparatus thereof
RU2700188C2 (en) Representing computing environment on multiple devices
WO2014107005A1 (en) Mouse function provision method and terminal implementing the same
KR20220158800A (en) Content Sharing Methods and Electronic Equipment
JP2013222324A (en) Information sharing device, information sharing system, drawing processing method, and program
WO2022105425A1 (en) Display method, electronic device, and readable storage medium
WO2019052251A1 (en) Data sharing method and apparatus, and electronic device
WO2021104255A1 (en) File management method and electronic device
US9239647B2 (en) Electronic device and method for changing an object according to a bending state
WO2015030460A1 (en) Method, apparatus, and recording medium for interworking with external terminal
US20150244799A1 (en) Display system, display apparatus, display method, and computer program
WO2021190353A1 (en) Interaction method and display device
CN114489350A (en) Input method calling method and related equipment
JP7447503B2 (en) Screen sharing system, information processing device, screen sharing method and program
JP2021039616A (en) Information processing system, information processing apparatus, image display method, and program
WO2020045712A1 (en) Device, method and computer-readable recording medium for providing asynchronous instant messaging service
US20190036769A1 (en) Communication system, method of setting configuration information, and electronic apparatus
JP2021165905A (en) Communication device, control method of communication device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R151 Written notification of patent or utility model registration

Ref document number: 7447503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151