JP2009230579A - Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium - Google Patents

Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium Download PDF

Info

Publication number
JP2009230579A
JP2009230579A JP2008076723A JP2008076723A JP2009230579A JP 2009230579 A JP2009230579 A JP 2009230579A JP 2008076723 A JP2008076723 A JP 2008076723A JP 2008076723 A JP2008076723 A JP 2008076723A JP 2009230579 A JP2009230579 A JP 2009230579A
Authority
JP
Japan
Prior art keywords
screen
terminal
pen
display
whiteboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008076723A
Other languages
Japanese (ja)
Inventor
Fumikazu Ohashi
史和 大橋
Kazunori Sakayori
一紀 酒寄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Pioneer Solutions Corp
Original Assignee
Pioneer Electronic Corp
Pioneer Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp, Pioneer Solutions Corp filed Critical Pioneer Electronic Corp
Priority to JP2008076723A priority Critical patent/JP2009230579A/en
Publication of JP2009230579A publication Critical patent/JP2009230579A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make an electronic meeting seamless by sharing the same screen in real time. <P>SOLUTION: A server terminal 10 includes an input part 11 capable of drawing input, an image data transmission part 12 for transmitting image data on a capture screen, a whiteboard 14 of transparent background for sharing a drawing screen from the input part 11, a display 16 for displaying the whiteboard 14 over a desktop work screen, and a control part 15 for controlling the server terminal 10. A client terminal 20 includes an input part 21 capable of drawing input, an image data reception part 22 for receiving the capture screen image data, a whiteboard 24 of transparent background for sharing a drawing screen from the input part 21, a display 26 for displaying the received image data as a shared screen and displaying the whiteboard 24 thereover, and a control part 25 for controlling the client terminal 20. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体に関する。   The present invention relates to a screen sharing system, a screen sharing method, and a server terminal control program in which one server terminal having a display and at least one client terminal having a display are connected via a network and share the screen of each display. The present invention relates to a client terminal control program and a recording medium.

遠隔地にある拠点の端末同士をネットワークで接続して電子会議等を行うのに適したシステムとして、他拠点の端末の画面を手元に表示して操作したり、逆に自拠点の端末の画面を他拠点の端末の画面に表示するという、画面共有システムがある。   As a system suitable for conducting electronic conferences etc. by connecting terminals at remote sites via a network, the screens of terminals at other sites can be displayed and operated at hand, or conversely There is a screen sharing system that displays on the screen of a terminal at another site.

従来技術における画面共有システムとしては、例えば、特許文献1に開示された会議支援システムがある。図1は、従来技術の会議支援システムを示す図である。図1において、会議支援システムは、1つのサーバと、2つのクライアントA、Bとを有する。   As a screen sharing system in the prior art, for example, there is a conference support system disclosed in Patent Document 1. FIG. 1 is a diagram illustrating a conventional conference support system. In FIG. 1, the conference support system has one server and two clients A and B.

サーバPC100は、デスクトップ画面50が最下面にあり、このデスクトップ画面50でアプリケーションを実行し、文書を開くことができる。デスクトップ画面50の上には、各クライアントのウインドウ51〜52と、サーバのウインドウ53とが背景を透明にして重ね合わせて重畳表示されるウインドウ54がある。   The server PC 100 has a desktop screen 50 on the bottom surface, and an application can be executed on the desktop screen 50 to open a document. On the desktop screen 50, there is a window 54 in which the windows 51 to 52 of each client and the window 53 of the server are superimposed and displayed with a transparent background.

クライアントPC200は、サーバPC100のウインドウ54との共有画面60が最下面にあり、その共有画面の上層には、各クライアントが書込を行うローカルのウインドウ61と、ローカルのウインドウ61と共有画面60とが重ね合わせ重畳表示されるウインドウ62がある。   The client PC 200 has a shared screen 60 with the window 54 of the server PC 100 on the bottom surface, and in the upper layer of the shared screen, a local window 61 in which each client writes, a local window 61 and a shared screen 60 There is a window 62 in which is superimposed and displayed.

ここで、背景を透明にして重ね合わせるには、例えばMicrosoft社のWindows(登録商標)2000以上のOSであれば、LayeredWindowと呼ばれるウィンドウスタイルを使用することにより実現することができる。   Here, the background can be made transparent and superimposed, for example, by using Windows (registered trademark) 2000 or higher OS of Microsoft Corporation by using a window style called Layered Window.

サーバPC100の画面では、デスクトップ画面50上で起動しているアプリケーションの画面の上に、ホワイトボードの書き込みが重ね合わされ重畳表示されたウインドウ54が、画面共有機能によって各クライアントPC200と共有される。   On the screen of the server PC 100, the window 54 in which the whiteboard writing is superimposed on the screen of the application running on the desktop screen 50 and displayed in a superimposed manner is shared with each client PC 200 by the screen sharing function.

特開2006−31359号公報(第17頁−18頁、図20)Japanese Patent Laying-Open No. 2006-31359 (pages 17-18, FIG. 20)

しかしながら、図1に示すような、従来の画面共有システムでは、ホワイトボードに書き込まれた描画像を消しゴムツール等で消した場合、消したユーザのクライアントPCではこのローカル描画はすぐに消えるが、下層の共有画面にはリアルタイムに反映されず、各クライアントのユーザはまだ描画されているものと認識してしまう。   However, in the conventional screen sharing system as shown in FIG. 1, when the drawing image written on the whiteboard is erased with an eraser tool or the like, the local drawing is immediately erased in the erased user's client PC. The shared screen is not reflected in real time, and the user of each client recognizes that it is still being drawn.

ローカル描画の消した情報が、サーバ側のホワイトボードに反映され、それを共有画面として配信され、それが下層の描画に反映されたときにはじめて消えたとユーザーは認識する。図1において、クライアントAで描画したペンの内容が、クライアントBに達するまでの時間は、
Δta-s:クライアントAからサーバへのペン描画データ転送時間
Δtswb:サーバのホワイトボードに反映される時間
Δtscap:サーバにて、共有画面が作成される時間
Δtspre:サーバにて共有画面をネットワーク送信する準備処理
Δts-b:サーバからクライアントBへ共有画像が送られる転送時間
Δtcdrw:クライアントBにて共有画像を展開し描画する時間
とすると、
ΔT=Δta-s+Δtswb+Δtscap+Δtspre+Δts-b+Δtcdrw・・・・式(1)
となり、ネットワークを2度通ったり、データ量の多い画像データとして転送されるためネットワークの帯域に大きく左右される。
The user recognizes that the erased information of the local drawing is reflected on the whiteboard on the server side, distributed as a shared screen, and disappears only when it is reflected in the lower layer drawing. In FIG. 1, the time taken for the content of the pen drawn on client A to reach client B is
Δta-s: Pen drawing data transfer time from client A to server Δtswb: Time reflected on server whiteboard Δtscap: Time when shared screen is created at server Δtspre: Server transmits shared screen over network Preparation process Δts-b: Transfer time when the shared image is sent from the server to client B Δtcdrw: Time when the client B develops and draws the shared image
ΔT = Δta-s + Δtswb + Δtscap + Δtspre + Δts-b + Δtcdrw (1)
Therefore, since it passes through the network twice or is transferred as image data with a large amount of data, it greatly depends on the network bandwidth.

従って、下層の描画に反映するまでのレスポンスは、ネットワークの帯域幅が広帯域の場合には、高速に処理可能であるので、違和感を感じない程度で済む可能性はあるが、狭帯域の場合では、消しゴムツールのレスポンスが悪いと認識されてしまう虞がある。   Therefore, the response until it is reflected in the lower layer drawing can be processed at high speed when the bandwidth of the network is wide, so there is a possibility that it does not feel uncomfortable. The eraser tool may be perceived as having poor response.

本発明が解決しようとする課題としては、リアルタイムで同じ画面を共有しあうことができ、電子会議をシームレスに違和感なく利用できる画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体を提供することが一例として挙げられる。   Problems to be solved by the present invention include a screen sharing system, a screen sharing method, a server terminal control program, a client terminal control program, and a screen sharing system that can share the same screen in real time and can use electronic conferences seamlessly One example is to provide a recording medium.

請求項1に記載の画面共有システムは、ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする。
The screen sharing system according to claim 1 is a screen sharing system in which one server terminal having a display and at least one client terminal having a display are connected via a network to share the screen of each display. And
The server terminal is
An input unit capable of drawing input by an input means;
An image data transmission unit that repeatedly captures only the work screen of the desktop and transmits the image data of the capture screen to another terminal;
A whiteboard with a transparent background for sharing the screen drawn by the input from the input unit with other terminals,
A display that displays the whiteboard on top of the desktop work screen;
A control unit for controlling the server terminal,
The client terminal is
An input unit capable of drawing input by an input means;
An image data receiving unit for receiving image data of a capture screen transmitted from the server terminal;
A whiteboard with a transparent background for sharing the screen drawn by the input from the input unit with other terminals,
A display for displaying the image data received by the image data receiving unit as a shared screen, and further displaying the whiteboard superimposed on the upper layer;
And a control unit for controlling the client terminal.

請求項5に記載の画面共有方法は、ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする。
The screen sharing method according to claim 5 is a screen sharing method in which one server terminal having a display and at least one client terminal having a display are connected via a network and the screen of each display is shared. And
Setting a predetermined terminal of the server terminal and the client terminal to a pen drawing mode;
Detecting pen drawing of the predetermined terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing on a transparent whiteboard the background of the predetermined terminal;
Transmitting the pen data information to another terminal;
The other terminal displays the received pen data information as a pen drawing on a whiteboard with a transparent background provided in the other terminal; and
To share the whiteboard images of all devices,
Repeatedly capturing only the work screen of the server terminal desktop;
Transmitting the capture screen as image data to the client terminal;
Receiving the image data by the client terminal;
The client terminal displaying the received image data on a shared screen;
The whiteboard is displayed on the upper layer of the desktop work screen on the display of the server terminal, and the image data receiving unit is displayed on the upper layer of the desktop work screen on the display of the client terminal. The received image data is displayed as a shared screen, and the whiteboard is displayed on the upper layer.

請求項6に記載のサーバ端末制御プログラムは、ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とする。
The server terminal control program according to claim 6, wherein the server in a system in which one server terminal having a display and at least one client terminal having a display are connected via a network and the screen of each display is shared. On the terminal computer,
Setting the server terminal to pen drawing mode;
Detecting pen drawing of the server terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing the pen data information on a whiteboard with a transparent background provided in the server terminal;
Transmitting the pen data information to the client terminal;
Capturing only the work screen of the server terminal desktop;
Transmitting a capture screen as image data to the client terminal;
Is executed.

請求項7に記載のクライアント端末制御プログラムは、ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とする。
The client terminal control program according to claim 7, wherein the client in a system in which one server terminal having a display and at least one client terminal having a display are connected via a network and share a screen of each display. On the terminal computer,
Setting the client terminal to pen drawing mode;
Detecting pen drawing of the client terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing the pen data information on a whiteboard with a transparent background of the client terminal;
Transmitting the pen data information to the server terminal and other client terminals;
Receiving the image data;
Displaying the received image data as a shared screen;
Is executed.

以下、本発明に係る画面共有システムの実施の形態について、図面を参照して詳細に説明する。図2は、本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。   Hereinafter, embodiments of a screen sharing system according to the present invention will be described in detail with reference to the drawings. FIG. 2 is a schematic configuration diagram showing a screen sharing system showing an example of an embodiment according to the present invention.

図2に示すように、本実施の形態に係る画面共有システム1は、1つのサーバ端末10がネットワーク2を介して、少なくとも1つのクライアント端末20によって構成される。なお、図示しないが、複数のクライアント端末が接続されたシステムであってもよい。   As shown in FIG. 2, in the screen sharing system 1 according to the present embodiment, one server terminal 10 is configured by at least one client terminal 20 via a network 2. Although not shown, a system in which a plurality of client terminals are connected may be used.

サーバ端末10は主に、入力手段(電子ペン又はマウス等)により描画入力が可能な入力部11と、キャプチャ画面の画像データを送信する画像データ送信部12と、ユーザにより描画された画面を共有するホワイトボード14及び双方向通信が可能なホワイトボード通信部14aと、サーバ端末10を制御する制御部15と、画像を表示するディスプレイ16と、画像データ等を記憶する記憶部17とを備える。なお、さらに、画像データ受信部13を備えてもよい。また、入力設定切換部19を備えてもよい。   The server terminal 10 mainly shares the screen drawn by the user with the input unit 11 capable of drawing input by an input means (such as an electronic pen or a mouse), the image data transmitting unit 12 for transmitting the image data of the capture screen, and the like. And a whiteboard communication unit 14a capable of bidirectional communication, a control unit 15 that controls the server terminal 10, a display 16 that displays images, and a storage unit 17 that stores image data and the like. Furthermore, an image data receiving unit 13 may be provided. An input setting switching unit 19 may be provided.

クライアント端末20は主に、入力手段(電子ペン又はマウス等)により描画入力が可能な入力部21と、キャプチャ画面の画像データを受信する画像データ受信部22と、ユーザにより描画された画面を共有するホワイトボード24及び双方向通信が可能なホワイトボード通信部24aと、クライアント端末20を制御する制御部25と、画像を表示するディスプレイ26と、画像データ等を記憶する記憶部27とを備える。なお、さらに、画像データ送信部23を備えていてもよい。また、入力設定切換部29を備えてもよい。   The client terminal 20 mainly shares the screen drawn by the user with the input unit 21 capable of drawing input by an input means (such as an electronic pen or a mouse), the image data receiving unit 22 for receiving the image data of the capture screen. And a whiteboard communication unit 24a capable of bidirectional communication, a control unit 25 that controls the client terminal 20, a display 26 that displays an image, and a storage unit 27 that stores image data and the like. Further, an image data transmission unit 23 may be provided. Further, an input setting switching unit 29 may be provided.

さらに、本実施の形態に係る画面共有システムの画面表示について図3を用いて詳細に説明する。図3は、本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。   Furthermore, the screen display of the screen sharing system according to the present embodiment will be described in detail with reference to FIG. FIG. 3 is an explanatory diagram regarding screen display on the display of the screen sharing system according to the present embodiment.

図3に示すように、サーバ端末10のホワイトボード14と、クライアント端末20のホワイトボード24とは両端末同士で共有される。即ち、ネットワーク2を介してホワイトボード通信部14a,24a間で常時双方向通信を行いデータが共有される。   As shown in FIG. 3, the whiteboard 14 of the server terminal 10 and the whiteboard 24 of the client terminal 20 are shared by both terminals. That is, the bidirectional communication is always performed between the whiteboard communication units 14a and 24a via the network 2 to share data.

ホワイトボード通信部14a、24a間の通信は、ペンデータ情報(ペン操作の位置、軌跡、線の太さ、線種、色などの情報)のみの通信であるので、一方のホワイトボード14(又は24)に対する電子ペン(又はマウス等)による描画結果は、即時ペンデータ情報として他方のホワイトボード24(又は14)に送信され、すみやかにその描画結果が反映される。   Since the communication between the whiteboard communication units 14a and 24a is only communication of pen data information (information such as pen operation position, locus, line thickness, line type, and color), one of the whiteboards 14 (or The drawing result of the electronic pen (or mouse or the like) for 24) is transmitted to the other whiteboard 24 (or 14) as immediate pen data information, and the drawing result is immediately reflected.

上記のホワイトボード14,24は、背景を透明化したホワイトボード(例えば、Microsoft社のWindows(登録商標)2000以降であれば、レイヤードウィンドウにてホワイトボードの背景色を透明色に設定することにより実現できる)を配置する。このように、背景を透明化したホワイトボードとは、「背景が透明である」および「レイヤードウィンドウスタイルである」という特徴を有していれば、通常のPC(パーソナルコンピュータ)等に搭載されるホワイトボード機能を用いることにより実現できる。   The above whiteboards 14 and 24 are whiteboards with a transparent background (for example, if Windows (registered trademark) 2000 or later of Microsoft Corporation is used, the whiteboard background color is set to a transparent color in a layered window). Can be realized). Thus, a whiteboard with a transparent background is mounted on a normal PC (personal computer) or the like if it has the characteristics of “transparent background” and “layered window style”. This can be realized by using the whiteboard function.

また、サーバ端末10は、ホワイトボード14をキャプチャせずに、デスクトップの作業画面16b(アプリケーションを起動して作業している画面)のみをキャプチャしてキャプチャ画面18を取得する。そして、このキャプチャ画面18の画像データは、クライアント端末20に送信され、共有画面28としてデスクトップの作業画面26bの上層に重ねて表示される。共有画面28は、ホワイトボード14,24とは、全く別の層となっているので、ペン描画の内容は共有画面28には反映されない。   In addition, the server terminal 10 captures only the desktop work screen 16b (the screen on which the application is activated and works) without capturing the whiteboard 14, and acquires the capture screen 18. Then, the image data of the capture screen 18 is transmitted to the client terminal 20 and displayed as a shared screen 28 on the upper layer of the desktop work screen 26b. Since the shared screen 28 is completely different from the whiteboards 14 and 24, the contents of pen drawing are not reflected on the shared screen 28.

よって、図3に示すように、サーバ端末10のディスプレイ16には、デスクトップの作業画面16bの上層に、背景が透明なホワイトボード14を重ねた画面表示16aがなされる。また、クライアント端末20のディスプレイ26には、デスクトップの作業画面26bの上層にキャプチャ画面18を重ね、さらにその上層に背景が透明なホワイトボード24を重ねた画面表示16aがなされる。   Therefore, as shown in FIG. 3, the display 16 of the server terminal 10 has a screen display 16a in which the whiteboard 14 with a transparent background is superimposed on the upper layer of the desktop work screen 16b. The display 26a of the client terminal 20 has a screen display 16a in which the capture screen 18 is superimposed on the upper layer of the desktop work screen 26b and the whiteboard 24 with a transparent background is further superimposed on the upper layer.

また、本実施の形態に係る画面共有方法の一例について図2〜図5を参照して説明する。図4及び図5は、本実施の形態に係る画面共有方法の一例を示すフローチャートである。
図4に示すように、まず、サーバ端末10において、制御部15の制御により、ペン描画モードに設定する(ステップS1)。
An example of the screen sharing method according to the present embodiment will be described with reference to FIGS. 4 and 5 are flowcharts showing an example of the screen sharing method according to the present embodiment.
As shown in FIG. 4, first, in the server terminal 10, the pen drawing mode is set under the control of the control unit 15 (step S1).

これにより、ユーザによる入力部11からの入力が行えるようになり、制御部15は、入力部11(電子ペン、マウスなど)におけるペン描画の検知を行う(ステップS2)。   As a result, the user can input from the input unit 11, and the control unit 15 detects pen drawing in the input unit 11 (electronic pen, mouse, etc.) (step S2).

ペン描画を検知した場合(ステップS2:YES)、制御部15は、この描画されたペンデータ情報(ペン操作の位置、軌跡、線の太さ、線種、色などの情報)を取得する(ステップS3)。なお、既に描画された画像を消す消しゴムツールとして入力部11(電子ペン、マウスなど)を用いた場合は、消去情報としてのペンデータ情報を取得する。   When pen drawing is detected (step S2: YES), the control unit 15 acquires the drawn pen data information (information such as pen operation position, trajectory, line thickness, line type, color, and the like) ( Step S3). If the input unit 11 (electronic pen, mouse, etc.) is used as an eraser tool for erasing an already drawn image, pen data information as erasure information is acquired.

そして、取得したペンデータ情報(描画あるいは消去)は、記憶部17に記憶され、ホワイトボード14に画像として表示する(ステップS4)。これにより、図3に示すように、サーバ端末10のディスプレイ16には、デスクトップの作業画面16bと背景が透明なホワイトボード14を重ね合わせた画面表示16aがなされる。   The acquired pen data information (drawing or erasing) is stored in the storage unit 17 and displayed as an image on the whiteboard 14 (step S4). As a result, as shown in FIG. 3, the display 16 of the server terminal 10 has a screen display 16a in which the desktop work screen 16b and the whiteboard 14 with a transparent background are superimposed.

また、取得したペンデータ情報(描画あるいは消去)は、ホワイトボード14の通信部14aからクライアント端末20のホワイトボード通信部24aに送信される(ステップS5)。   The acquired pen data information (drawing or erasing) is transmitted from the communication unit 14a of the whiteboard 14 to the whiteboard communication unit 24a of the client terminal 20 (step S5).

受信したペンデータ情報は、記憶部27に記憶され、制御部25の制御によりペン描画の画像に変換され、ホワイトボード24に、サーバ端末10で描画されたペン描画を表示する(ステップS6)。   The received pen data information is stored in the storage unit 27, converted into a pen drawing image under the control of the control unit 25, and the pen drawing drawn on the server terminal 10 is displayed on the whiteboard 24 (step S6).

また、クライアント端末20からのペン描画も上記ステップS1〜S6のフローと同様の手順によって、サーバ端末10のホワイトボード14に送信され表示される。このようにして、ホワイトボード14とホワイトボード24の間で描画データを共有することができる。   Further, pen drawing from the client terminal 20 is also transmitted and displayed on the whiteboard 14 of the server terminal 10 in the same procedure as the flow of steps S1 to S6. In this way, drawing data can be shared between the whiteboard 14 and the whiteboard 24.

また、図5に示すように、サーバ端末10の制御部15は、所定時間ごとに、サーバ端末10のデスクトップの作業画面16bのみのキャプチャを行う(ステップS11)。キャプチャ画面18は、画像データ送信部12から画像データとして送信される(ステップS12)。なお、画面キャプチャーデータは全て送らずに、前回のキャプチャー画像からの差分(変更領域)だけ送信するようにしてもよい。
クライアント端末20は、この画像データを画像データ受信部22で受信する(ステップS13)。受信した画像データは、制御部25の制御により、共有画面28に表示される(ステップS14)。
As shown in FIG. 5, the control unit 15 of the server terminal 10 captures only the desktop work screen 16b of the server terminal 10 at predetermined time intervals (step S11). The capture screen 18 is transmitted as image data from the image data transmission unit 12 (step S12). Note that not all screen capture data is sent, but only the difference (change area) from the previous captured image may be sent.
The client terminal 20 receives this image data at the image data receiving unit 22 (step S13). The received image data is displayed on the shared screen 28 under the control of the control unit 25 (step S14).

なお、サーバ端末10のデスクトップの作業画面16bが動画である場合は、上記の所定時間を短く設定することにより、クライアント端末20の共有画面28に表示される動画の動きをスムーズにすることができる。   If the desktop work screen 16b of the server terminal 10 is a moving image, the moving of the moving image displayed on the shared screen 28 of the client terminal 20 can be made smooth by setting the predetermined time short. .

以上、図4のフロー(ステップS1〜S6)と図5のフロー(ステップS11〜S14)は、それぞれ独立して実行され、クライアント端末20のディスプレイ26には、デスクトップの作業画面26bの上層に共有画面28を重ね、さらにその上層に背景が透明なホワイトボード24を重ねた画面表示26aがなされる。   As described above, the flow of FIG. 4 (steps S1 to S6) and the flow of FIG. 5 (steps S11 to S14) are executed independently, and the display 26 of the client terminal 20 is shared on the upper layer of the desktop work screen 26b. A screen display 26a is formed by superimposing the screen 28 and further overlaying the white board 24 with a transparent background on the upper layer.

また、上述のホワイトボード14,24に、以下のように、ペン描画モードとマウスモードの設定を持たせて、これらの設定を切り換える入力設定切換部19(29)を備える(図2に点線で示す)ようにすることもできる。   Also, the whiteboards 14 and 24 described above are provided with an input setting switching unit 19 (29) for switching between these settings by setting the pen drawing mode and the mouse mode as follows (indicated by a dotted line in FIG. 2). Can also be shown).

以下、本実施の形態に係る画面共有システムにおいて、ホワイトボードにペン描画モードとマウスモードの設定を持たせた変形例について説明する。
図6はペン描画モードとマウスモードの動作の説明図であり、図7は本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。
Hereinafter, in the screen sharing system according to the present embodiment, a modified example in which the pen drawing mode and the mouse mode are set on the whiteboard will be described.
FIG. 6 is an explanatory diagram of operations in the pen drawing mode and the mouse mode. FIG. 7 is a screen sharing system according to the present embodiment. The white board on the server terminal side is set to the mouse mode, and the white board on the client terminal side is the pen. It is explanatory drawing when it is set as drawing mode.

図6(a)に示すように、入力設定切換部19(29)によりペン描画モードに設定すると、マウス操作(マウスイベント)を通過させない通常のウィンドウスタイルとなり、ホワイトボード14(24)に対してのみマウス操作が可能となり、下層のデスクトップの作業画面16b(26b)に対するマウス操作はできなくなる。
なお、Windows(登録商標)では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図6(a)では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Microsoft社のWindows(登録商標)2000以降であれば、ホワイトボードの背景色(ホワイトボード自体の色)をペン描画には使用しない色に設定しておき、当該背景色を指定してWS_EX_LAYEREDを適用することにより、ペン描画以外の部分つまり背景が透明になる。
As shown in FIG. 6A, when the pen drawing mode is set by the input setting switching unit 19 (29), a normal window style that does not allow the mouse operation (mouse event) to pass is obtained, and the whiteboard 14 (24) is displayed. Only the mouse can be operated, and the mouse cannot be operated on the work screen 16b (26b) of the lower desktop.
In Windows (registered trademark), various window styles related to visual styles are set for a window to be displayed. FIG. 6A shows only the window style that is particularly applied for this function. For example, in the case of Microsoft Windows (registered trademark) 2000 or later, the background color of the whiteboard (the color of the whiteboard itself) is set to a color that is not used for pen drawing, and the background color is specified and WS_EX_LAYERED By applying, the part other than the pen drawing, that is, the background becomes transparent.

また、図6(b)に示すように、入力設定切換部19(29)によりマウスモードに設定すると、マウス操作を通過させるウィンドウ設定となり、ホワイトボード14(24)を通過して、下層のデスクトップの作業画面16b(26b)に対してのみマウス操作ができるようになる。
なお、Windows(登録商標)では、表示するウィンドウについて、視覚スタイルに関する種々のウィンドウスタイルが設定される。図6(b)では、本機能のために特に適用するウィンドウスタイルのみを示している。例えば、Microsoft社のWindows(登録商標)2000以降であれば、ウィンドウスタイルWS_EX_LAYEREDとWS_EX_TRANSPARENTを組み合わせることにより背景を透明にしかつマウスイベントを通過させる。
Further, as shown in FIG. 6B, when the mouse mode is set by the input setting switching unit 19 (29), the window setting for passing the mouse operation is set, and the lower desktop is passed through the whiteboard 14 (24). The mouse can be operated only on the work screen 16b (26b).
In Windows (registered trademark), various window styles related to visual styles are set for a window to be displayed. FIG. 6B shows only the window style that is particularly applied for this function. For example, in the case of Windows (registered trademark) 2000 or later of Microsoft Corporation, the background is made transparent and the mouse event is passed by combining the window styles WS_EX_LAYERED and WS_EX_TRANSPARENT.

これにより、図7に示すように、サーバ端末10側をマウスモードに設定し、クライアント端末20側をペン描画モードに設定することにより、画面提供側(サーバ端末10側)にて、他拠点のクライアント端末20に見せるウィンドウを操作している最中に受信側(クライアント端末20側)のユーザが、サーバ端末10側の操作を邪魔することなくペン書きにて間違えや要望を指示することができる。即ち、会議の流れ中断せずに議論を続けることが可能である。   Accordingly, as shown in FIG. 7, the server terminal 10 side is set to the mouse mode and the client terminal 20 side is set to the pen drawing mode, so that the screen providing side (server terminal 10 side) While operating the window to be displayed on the client terminal 20, the user on the receiving side (client terminal 20 side) can instruct mistakes and requests by pen writing without disturbing the operation on the server terminal 10 side. . That is, it is possible to continue the discussion without interrupting the conference flow.

また、クライアント端末20側から指示された内容を確認しながら、サーバ端末10側のユーザは指示通りの操作が可能となる。例えば、「これをこの辺にこの位に拡大し配置し、他のレイアウトはこのようにする。」などの指示が電子ペンで行われたとすると、その電子ペンの指示内容を残したまま、その下層で、その指示を見ながらウィンドウ操作などが可能となる。   Further, while confirming the contents instructed from the client terminal 20 side, the user on the server terminal 10 side can perform the operation as instructed. For example, if an instruction such as “This is enlarged and arranged on this side, and other layouts are done like this” is performed with the electronic pen, the instruction content of the electronic pen is left and the lower layer is left. Thus, window operations can be performed while viewing the instructions.

なお、上述の実施の形態において、図2の点線で示すように、サーバ端末10に画像データ受信部13を備え、クライアント端末20に画像データ送信部23を備えることにより、端末をサーバとするかクライアントとするかを切り替えて設定することができる。例えば、端末にサーバ端末制御プログラムとクライアント端末制御プログラムを持たせて、プログラムを切り替えて使用することにより、この端末をサーバ端末10あるいはクライアント端末20として機能させることができる。   In the above-described embodiment, as indicated by the dotted line in FIG. 2, the server terminal 10 includes the image data receiving unit 13 and the client terminal 20 includes the image data transmitting unit 23, so that the terminal is a server. It can be set by switching whether to be a client. For example, by providing a terminal with a server terminal control program and a client terminal control program, and switching the programs, the terminal can function as the server terminal 10 or the client terminal 20.

また、サーバ端末10側から一方的にプレゼンテーションを行う場合でも、サーバ端末10側の作業画面16bでアプリケーション(アニメーションや動画)を動かしながら、そのアプリケーション画面の所望の位置を指し示すように上層のホワイトボード14にマーキングやペン描きをしたり、マークやペン描きが残っている状態で下層の作業画面16bのアプリケーションを動かしたり、などの効果的なプレゼンテーションを行うこともできる。
また、図3において、クライアント端末20の共有画面28においてクライアント端末20のマウス情報を取得し、サーバ10側のマウス操作をするというような、リモートコントロール(遠隔操作)のシステムにも適用が可能である。
Further, even when a presentation is unilaterally performed from the server terminal 10 side, an upper layer whiteboard is used to point to a desired position on the application screen while moving an application (animation or video) on the work screen 16b on the server terminal 10 side. It is also possible to perform an effective presentation such as marking or pen drawing on 14, or moving the application on the lower work screen 16b with the mark or pen drawing remaining.
Further, in FIG. 3, the present invention can also be applied to a remote control (remote operation) system in which the mouse information of the client terminal 20 is acquired on the shared screen 28 of the client terminal 20 and the mouse operation is performed on the server 10 side. is there.

以上詳述したように、本実施の形態に係る画面共有システムは、ディスプレイ16を有する1つのサーバ端末10と、ディスプレイ26を有する少なくとも1つのクライアント端末20と、がネットワーク2を介して接続され、各ディスプレイ16(26)の画面を共有する画面共有システム1であり、サーバ端末10は、入力手段により描画入力が可能な入力部11と、デスクトップの作業画面16bのみを繰り返しキャプチャし、該キャプチャ画面18の画像データを他の端末へ送信する画像データ送信部12と、入力部11からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード14と、デスクトップの作業画面16bの上層にホワイトボード14を重ねて表示するディスプレイ16と、当該サーバ端末10を制御する制御部17と、を備え、クライアント端末20は、入力手段により描画入力が可能な入力部21と、サーバ端末10から送信されたキャプチャ画面18の画像データを受信する画像データ受信部22と、入力部21からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボード24と、画像データ受信部22が受信した画像データを共有画面28として表示し、さらにその上層にホワイトボード24を重ねて表示するディスプレイ26と、当該クライアント端末20を制御する制御部26と、を備える。   As described above in detail, in the screen sharing system according to the present embodiment, one server terminal 10 having the display 16 and at least one client terminal 20 having the display 26 are connected via the network 2. The screen sharing system 1 shares the screen of each display 16 (26), and the server terminal 10 repeatedly captures only the input unit 11 capable of drawing input by the input means and the desktop work screen 16b, and the capture screen The image data transmitting unit 12 that transmits 18 image data to another terminal, the whiteboard 14 that shares the screen drawn by the input from the input unit 11 with other terminals, and the desktop work screen 16b. A display 16 for displaying the whiteboard 14 on the upper layer, and the server terminal 1 The client terminal 20 includes an input unit 21 that can perform drawing input by an input unit, and an image data receiving unit 22 that receives image data of the capture screen 18 transmitted from the server terminal 10. And a whiteboard 24 with a transparent background for sharing the screen drawn by the input from the input unit 21 with other terminals, and the image data received by the image data receiving unit 22 as a shared screen 28, and further And a display 26 that displays the whiteboard 24 in an overlapping manner, and a control unit 26 that controls the client terminal 20.

また、本実施の形態に係る画面共有方法は、ディスプレイ16を有する1つのサーバ端末10と、ディスプレイ26を有する少なくとも1つのクライアント端末20と、がネットワーク2を介して接続され、各ディスプレイ16(26)の画面を共有する画面共有方法であり、サーバ端末10及びクライアント端末20のうちの所定の端末をペン描画モードに設定するステップS1と、所定の端末のペン描画の検知を行うステップS2と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップS3と、所定の端末が備える背景を透明化したホワイトボード14(24)に描画するステップS4と、ペンデータ情報を他の端末に送信するステップS5と、他の端末は、受信したペンデータ情報をペン描画として、他の端末が備える背景を透明化したホワイトボード24(14)に表示するステップS6と、を含むことによって、全ての端末のホワイトボードの画像を共有化し、サーバ端末10のデスクトップの作業画面16bのみを繰り返しキャプチャするステップS11と、キャプチャ画面18を画像データとしてクライアント端末20へ送信するステップS12と、クライアント端末20が画像データを受信するステップとS13、クライアント端末20は受信した画像データを共有画面28に表示するステップS14と、を含むことによって、サーバ端末のディスプレイ16に、デスクトップの作業画面16bの上層にホワイトボード14を重ねて表示し、クライアント端末20のディスプレイ26に、デスクトップの作業画面26bの上層に、画像データ受信部22が受信した画像データを共有画面28として表示し、さらにその上層にホワイトボード24を重ねて表示する。   Further, in the screen sharing method according to the present embodiment, one server terminal 10 having the display 16 and at least one client terminal 20 having the display 26 are connected via the network 2, and each display 16 (26 ), A step S1 for setting a predetermined terminal of the server terminal 10 and the client terminal 20 to the pen drawing mode, a step S2 for detecting pen drawing of the predetermined terminal, When pen drawing is detected, step S3 for obtaining pen data information drawn by the pen drawing, step S4 for drawing on a whiteboard 14 (24) with a transparent background provided in a predetermined terminal, and pen data information Is transmitted to the other terminal, and the other terminal draws the received pen data information by pen drawing. And the step S6 for displaying the background of the other terminals on the transparent whiteboard 24 (14), thereby sharing the images of the whiteboards of all the terminals, and the desktop operation of the server terminal 10 Step S11 in which only the screen 16b is repeatedly captured, step S12 in which the capture screen 18 is transmitted as image data to the client terminal 20, a step in which the client terminal 20 receives the image data, S13, and the client terminal 20 receives the received image data. Step S14 to be displayed on the shared screen 28, the whiteboard 14 is displayed on the upper layer of the desktop work screen 16b on the display 16 of the server terminal, and the desktop work is displayed on the display 26 of the client terminal 20. On screen 26b The layer to display image data by the image data receiving section 22 receives as a shared screen 28, displays further superimposed whiteboard 24 thereon.

また、本実施の形態に係るサーバ端末制御プログラムは、ディスプレイ16を有する1つのサーバ端末10と、ディスプレイ26を有する少なくとも1つのクライアント端末20と、がネットワーク2を介して接続され、各ディスプレイの画面を共有するシステムにおけるサーバ端末10のコンピュータに、サーバ端末10をペン描画モードに設定するステップS1と、サーバ端末10のペン描画の検知を行うステップS2と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップS3と、ペンデータ情報をサーバ端末10が備える背景を透明化したホワイトボード14に描画するステップS4と、ペンデータ情報をクライアント端末20に送信するステップS5と、サーバ端末10のデスクトップの作業画面16bのみのキャプチャを行うステップS11と、キャプチャ画面18を画像データとしてクライアント端末20へ送信するステップS12と、を実行させる。
また、本実施の形態に係るクライアント端末制御プログラムは、ディスプレイ16を有する1つのサーバ端末10と、ディスプレイ26を有する少なくとも1つのクライアント端末20と、がネットワーク2を介して接続され、各ディスプレイの画面を共有するシステムにおけるクライアント端末20のコンピュータに、クライアント端末20をペン描画モードに設定するステップS1と、クライアント端末20のペン描画の検知を行うステップS2と、ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップS3と、ペンデータ情報をクライアント端末20が備える背景を透明化したホワイトボード24に描画するステップS4と、ペンデータ情報をサーバ端末10および他のクライアント端末20に送信するステップS5と、画像データを受信するステップS13と、受信した画像データを共有画面28として表示するステップS14と、を実行させる。
In addition, the server terminal control program according to the present embodiment is configured such that one server terminal 10 having a display 16 and at least one client terminal 20 having a display 26 are connected via the network 2 and the screen of each display. In the system of the server terminal 10 in the system sharing the information, the step S1 for setting the server terminal 10 to the pen drawing mode, the step S2 for detecting the pen drawing of the server terminal 10, and the pen drawing when the pen drawing is detected. Step S3 for acquiring the pen data information drawn by step S4, Step S4 for drawing the pen data information on the whiteboard 14 with a transparent background included in the server terminal 10, and Step S5 for sending the pen data information to the client terminal 20 And the desktop of the server terminal 10 A step S11 of performing capture work screen 16b only, and the step S12 of transmitting the captured screen 18 as the image data to the client terminal 20, thereby executing.
Further, the client terminal control program according to the present embodiment is configured such that one server terminal 10 having a display 16 and at least one client terminal 20 having a display 26 are connected via the network 2 and the screen of each display. In step S1, the client terminal 20 is set to the pen drawing mode in the computer of the client terminal 20 in the system sharing the information, the step S2 of detecting the pen drawing of the client terminal 20, and the pen drawing when the pen drawing is detected. Step S3 for acquiring pen data information drawn by step S4, Step S4 for drawing pen data information on a whiteboard 24 with a transparent background provided in the client terminal 20, and pen data information for the server terminal 10 and other client terminals 20 A step S5 of trust, a step S13 for receiving image data, a step S14 of displaying the image data received as a shared screen 28, is executed.

以上、本実施の形態によれば、動画やアニメーションなどの動きがあるものに対しても、ペン描画が可能となる。また、サーバ端末10側で操作中の場合も、その操作を中断させることなくクライアント端末20側からペン入力による指示ができる。
また、画面共有システム1を使用して会議を行った場合は、会議の流れを中断せず議論が可能である。さらに、会議本来の目的である議論以外の点で、意識の中断が発生してしまうことを避けることができる。
また、動画やアニメーションなどのコンテンツを利用した時間軸方向もあわせ議論が可能である。つまり、静止画にペン記録をするのではなく、動きのあるものにペン書きができることになることにより、一時的な画面でなく時間軸を捕らえた議論が可能となる。
よって、リアルタイムな指示が可能である。画面共有によりペン情報を閲覧しているのではなくホワイトボード機能をベースとしているため、各拠点の端末に対してレスポンスのよいペン描画が可能である。例えば、「ここ」と発言しながら描画すれば、その音声とペン描画がほとんどズレのないタイミングで他の拠点の端末に届くため、誤認識や受け手のストレスも軽減できる。
また、サーバ端末側にて、デスクトップを操作している最中に、クライアント端末側にて間違え場所や指摘箇所に、マーキングしたり指示することができる。即ち、ペン描画が、サーバー側の入力操作を妨げることがない。
As described above, according to the present embodiment, it is possible to perform pen drawing even for moving objects such as moving images and animations. Further, even when the operation is being performed on the server terminal 10 side, an instruction can be given by pen input from the client terminal 20 side without interrupting the operation.
In addition, when a meeting is performed using the screen sharing system 1, it is possible to discuss without interrupting the flow of the meeting. Furthermore, it is possible to avoid interruption of consciousness at points other than the discussion, which is the original purpose of the conference.
It is also possible to discuss the time axis direction using content such as videos and animations. That is, instead of pen-recording a still image, pen writing can be performed on a moving object, so that it is possible to have a discussion that captures the time axis rather than a temporary screen.
Therefore, a real-time instruction is possible. Since pen information is not browsed by screen sharing but based on the whiteboard function, pen drawing with good response is possible for terminals at each base. For example, if drawing is performed while saying “here”, the voice and pen drawing arrive at the terminal at another base at a timing with almost no deviation, so that misrecognition and stress on the recipient can be reduced.
In addition, while operating the desktop on the server terminal side, it is possible to mark or instruct the wrong place or pointed out place on the client terminal side. That is, the pen drawing does not disturb the input operation on the server side.

従来技術の会議支援システムを示す図である。It is a figure which shows the meeting support system of a prior art. 本発明に係る実施の形態の一例を示す画面共有システムを示す概略構成図である。It is a schematic block diagram which shows the screen sharing system which shows an example of embodiment which concerns on this invention. 本実施の形態に係る画面共有システムのディスプレイの画面表示に関する説明図である。It is explanatory drawing regarding the screen display of the display of the screen sharing system which concerns on this Embodiment. 本実施の形態に係る画面共有方法の一例を示すフローチャートである。It is a flowchart which shows an example of the screen sharing method which concerns on this Embodiment. 本実施の形態に係る画面共有方法の一例を示すフローチャートである。It is a flowchart which shows an example of the screen sharing method which concerns on this Embodiment. ペン描画モードとマウスモードの動作の説明図である。It is explanatory drawing of operation | movement of pen drawing mode and mouse mode. 本実施の形態に係る画面共有システムにおいて、サーバ端末側のホワイトボードをマウスモードとし、クライアント端末側のホワイトボードをペン描画モードとしたときの説明図である。In the screen sharing system according to the present embodiment, the whiteboard on the server terminal side is set to the mouse mode, and the whiteboard on the client terminal side is set to the pen drawing mode.

符号の説明Explanation of symbols

1 画面共有システム
2 ネットワーク
10 サーバ端末
20 クライアント端末
11,21 入力部
12,22 画像データ送信部
13,23 画像データ受信部
14,24 ホワイトボード
14,24a ホワイトボード通信部
15,25 制御部
16 (サーバ端末の)ディスプレイ
26 (クライアント端末の)ディスプレイ
16a,26a (ディスプレイの)画面表示
16b,26b (デスクトップの)作業画面
17,27 記憶部
18 キャプチャ画面
28 共有画面
DESCRIPTION OF SYMBOLS 1 Screen sharing system 2 Network 10 Server terminal 20 Client terminal 11,21 Input part 12,22 Image data transmission part 13,23 Image data reception part 14,24 Whiteboard 14,24a Whiteboard communication part 15,25 Control part 16 ( Server terminal) display 26 (client terminal) display 16a, 26a (display) screen display 16b, 26b (desktop) work screen 17, 27 storage unit 18 capture screen 28 shared screen

Claims (8)

ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有システムであって、
前記サーバ端末は、
入力手段により描画入力が可能な入力部と、
デスクトップの作業画面のみを繰り返しキャプチャし、該キャプチャ画面の画像データを他の端末へ送信する画像データ送信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該サーバ端末を制御する制御部と、を備え、
前記クライアント端末は、
入力手段により描画入力が可能な入力部と、
前記サーバ端末から送信されたキャプチャ画面の画像データを受信する画像データ受信部と、
前記入力部からの入力により描画された画面を他の端末と共有する背景が透明なホワイトボードと、
前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示するディスプレイと、
当該クライアント端末を制御する制御部と、を備えることを特徴とする画面共有システム。
A screen sharing system in which one server terminal having a display and at least one client terminal having a display are connected via a network and share a screen of each display,
The server terminal is
An input unit capable of drawing input by an input means;
An image data transmission unit that repeatedly captures only the work screen of the desktop and transmits the image data of the capture screen to another terminal;
A whiteboard with a transparent background for sharing the screen drawn by the input from the input unit with other terminals,
A display that displays the whiteboard on top of the desktop work screen;
A control unit for controlling the server terminal,
The client terminal is
An input unit capable of drawing input by an input means;
An image data receiving unit for receiving image data of a capture screen transmitted from the server terminal;
A whiteboard with a transparent background for sharing the screen drawn by the input from the input unit with other terminals,
A display for displaying the image data received by the image data receiving unit as a shared screen, and further displaying the whiteboard superimposed on the upper layer;
And a control unit that controls the client terminal.
前記サーバ端末の制御部は、所定時間ごとに、前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うことを特徴とする請求項1に記載の画面共有システム。   The screen sharing system according to claim 1, wherein the control unit of the server terminal captures only the desktop work screen of the server terminal at predetermined time intervals. 前記入力手段は、電子ペン又はマウスであることを特徴とする請求項1又は2に記載の画面共有システム。   The screen sharing system according to claim 1, wherein the input unit is an electronic pen or a mouse. 前記ホワイトボードに対し、
マウス操作を通過させないウィンドウ設定とするペン描画モードと、マウス操作を通過させるウィンドウ設定とするマウスモードと、を切り換える入力設定切換部を備えることを特徴とする請求項3に記載の画面共有システム。
For the whiteboard,
The screen sharing system according to claim 3, further comprising: an input setting switching unit that switches between a pen drawing mode for setting a window that does not allow a mouse operation to pass and a mouse mode for setting a window that allows a mouse operation to pass.
ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有する画面共有方法であって、
前記サーバ端末及び前記クライアント端末のうちの所定の端末をペン描画モードに設定するステップと、
前記所定の端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記所定の端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を他の端末に送信するステップと、
前記他の端末は、受信した前記ペンデータ情報をペン描画として、前記他の端末が備える背景を透明化したホワイトボードに表示するステップと、
を含むことによって、全ての端末のホワイトボードの画像を共有化し、
前記サーバ端末のデスクトップの作業画面のみを繰り返しキャプチャするステップと、
該キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
前記クライアント端末が前記画像データを受信するステップと、
前記クライアント端末は受信した前記画像データを共有画面に表示するステップと、
を含むことによって、前記サーバ端末のディスプレイに、前記デスクトップの作業画面の上層に前記ホワイトボードを重ねて表示し、前記クライアント端末のディスプレイに、前記デスクトップの作業画面の上層に、前記画像データ受信部が受信した画像データを共有画面として表示し、さらにその上層に前記ホワイトボードを重ねて表示することを特徴とする画面共有方法。
A screen sharing method in which one server terminal having a display and at least one client terminal having a display are connected via a network to share a screen of each display,
Setting a predetermined terminal of the server terminal and the client terminal to a pen drawing mode;
Detecting pen drawing of the predetermined terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing on a transparent whiteboard the background of the predetermined terminal;
Transmitting the pen data information to another terminal;
The other terminal displays the received pen data information as a pen drawing on a whiteboard with a transparent background provided in the other terminal; and
To share the whiteboard images of all devices,
Repeatedly capturing only the work screen of the server terminal desktop;
Transmitting the capture screen as image data to the client terminal;
Receiving the image data by the client terminal;
The client terminal displaying the received image data on a shared screen;
The whiteboard is displayed on the upper layer of the desktop work screen on the display of the server terminal, and the image data receiving unit is displayed on the upper layer of the desktop work screen on the display of the client terminal. A screen sharing method characterized in that the received image data is displayed as a shared screen, and the whiteboard is superimposed on the upper layer.
ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記サーバ端末のコンピュータに、
前記サーバ端末をペン描画モードに設定するステップと、
前記サーバ端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記サーバ端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記クライアント端末に送信するステップと、
前記サーバ端末のデスクトップの作業画面のみのキャプチャを行うステップと、
キャプチャ画面を画像データとして前記クライアント端末へ送信するステップと、
を実行させることを特徴とするサーバ端末制御プログラム。
One server terminal having a display and at least one client terminal having a display are connected via a network, and the computer of the server terminal in a system sharing the screen of each display,
Setting the server terminal to pen drawing mode;
Detecting pen drawing of the server terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing the pen data information on a whiteboard with a transparent background provided in the server terminal;
Transmitting the pen data information to the client terminal;
Capturing only the work screen of the server terminal desktop;
Transmitting a capture screen as image data to the client terminal;
The server terminal control program characterized by performing.
ディスプレイを有する1つのサーバ端末と、ディスプレイを有する少なくとも1つのクライアント端末と、がネットワークを介して接続され、各ディスプレイの画面を共有するシステムにおける前記クライアント端末のコンピュータに、
前記クライアント端末をペン描画モードに設定するステップと、
前記クライアント端末のペン描画の検知を行うステップと、
ペン描画を検知した場合、当該ペン描画により描画されたペンデータ情報を取得するステップと、
前記ペンデータ情報を前記クライアント端末が備える背景を透明化したホワイトボードに描画するステップと、
前記ペンデータ情報を前記サーバ端末および他のクライアント端末に送信するステップと、
前記画像データを受信するステップと、
受信した前記画像データを共有画面として表示するステップと、
を実行させることを特徴とするクライアント端末制御プログラム。
One server terminal having a display and at least one client terminal having a display are connected via a network, and a computer of the client terminal in a system sharing a screen of each display,
Setting the client terminal to pen drawing mode;
Detecting pen drawing of the client terminal;
If pen drawing is detected, obtaining pen data information drawn by the pen drawing; and
Drawing the pen data information on a whiteboard with a transparent background of the client terminal;
Transmitting the pen data information to the server terminal and other client terminals;
Receiving the image data;
Displaying the received image data as a shared screen;
A client terminal control program characterized by causing
請求項6及び/又は請求項7のプログラムが記録されたことを特徴とする記録媒体。   8. A recording medium on which the program of claim 6 and / or 7 is recorded.
JP2008076723A 2008-03-24 2008-03-24 Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium Pending JP2009230579A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008076723A JP2009230579A (en) 2008-03-24 2008-03-24 Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008076723A JP2009230579A (en) 2008-03-24 2008-03-24 Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium

Publications (1)

Publication Number Publication Date
JP2009230579A true JP2009230579A (en) 2009-10-08

Family

ID=41245864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008076723A Pending JP2009230579A (en) 2008-03-24 2008-03-24 Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium

Country Status (1)

Country Link
JP (1) JP2009230579A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541314A (en) * 2010-12-13 2012-07-04 株式会社理光 Information processing equipment and method
JP2012133586A (en) * 2010-12-21 2012-07-12 Ntt Docomo Inc Display device, screen image transfer method and program
WO2013137367A1 (en) 2012-03-16 2013-09-19 Ricoh Company, Ltd. Communication control system and control device
JP2013197998A (en) * 2012-03-21 2013-09-30 Toshiba Corp Server terminal, screen transfer system, and screen transfer method
WO2014024257A1 (en) * 2012-08-07 2014-02-13 パイオニア株式会社 Information processing method
KR20140100767A (en) * 2013-02-07 2014-08-18 (주)유브릿지 User Terminal Controlling System and Method
JP2015102925A (en) * 2013-11-22 2015-06-04 シャープ株式会社 Hand-written image display system, hand-written image display method, and hand-written image display program
US9122444B2 (en) 2012-02-08 2015-09-01 Ricoh Company, Ltd. Network accessible projectors that display multiple client screens at once
JP2016071723A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Terminal device, operation reception method, and program
CN106126070A (en) * 2016-07-20 2016-11-16 广东小天才科技有限公司 A kind of screenshotss method and system
JP2018005636A (en) * 2016-07-04 2018-01-11 富士通株式会社 Transmission control program, transmission control method and information processing unit
US9948988B2 (en) 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US10104149B2 (en) 2011-05-20 2018-10-16 Sony Corporation Reception terminal, information processing method, program, server, transmission terminal, and information processing system
CN110352451A (en) * 2019-02-20 2019-10-18 深圳市鹰硕技术有限公司 One kind is the same as screen teaching method, device and system, smart machine and storage medium
CN112543297A (en) * 2019-09-20 2021-03-23 北京新媒传信科技有限公司 Video conference live broadcasting method, device and system
CN115102949A (en) * 2022-06-27 2022-09-23 长沙朗源电子科技有限公司 File sharing method, electronic device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146629A (en) * 2004-11-22 2006-06-08 Hitachi Ltd Screen sharing system and information processor
JP2006164177A (en) * 2004-12-10 2006-06-22 Ricoh Co Ltd Electronic conference system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146629A (en) * 2004-11-22 2006-06-08 Hitachi Ltd Screen sharing system and information processor
JP2006164177A (en) * 2004-12-10 2006-06-22 Ricoh Co Ltd Electronic conference system

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541314A (en) * 2010-12-13 2012-07-04 株式会社理光 Information processing equipment and method
JP2012133586A (en) * 2010-12-21 2012-07-12 Ntt Docomo Inc Display device, screen image transfer method and program
US10104149B2 (en) 2011-05-20 2018-10-16 Sony Corporation Reception terminal, information processing method, program, server, transmission terminal, and information processing system
US9948988B2 (en) 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US10250946B2 (en) 2011-10-04 2019-04-02 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US10250947B2 (en) 2011-10-04 2019-04-02 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US9980008B2 (en) 2011-10-04 2018-05-22 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
USRE48494E1 (en) 2012-02-08 2021-03-30 Ricoh Company, Ltd. Network accessible projectors that display multiple client screens at once
US9122444B2 (en) 2012-02-08 2015-09-01 Ricoh Company, Ltd. Network accessible projectors that display multiple client screens at once
WO2013137367A1 (en) 2012-03-16 2013-09-19 Ricoh Company, Ltd. Communication control system and control device
US9288438B2 (en) 2012-03-16 2016-03-15 Ricoh Company, Ltd. Communication control system and control device
JP2013197998A (en) * 2012-03-21 2013-09-30 Toshiba Corp Server terminal, screen transfer system, and screen transfer method
JPWO2014024257A1 (en) * 2012-08-07 2016-07-21 パイオニアVc株式会社 Information processing method
WO2014024257A1 (en) * 2012-08-07 2014-02-13 パイオニア株式会社 Information processing method
KR20140100767A (en) * 2013-02-07 2014-08-18 (주)유브릿지 User Terminal Controlling System and Method
JP2015102925A (en) * 2013-11-22 2015-06-04 シャープ株式会社 Hand-written image display system, hand-written image display method, and hand-written image display program
JP2016071723A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Terminal device, operation reception method, and program
JP2018005636A (en) * 2016-07-04 2018-01-11 富士通株式会社 Transmission control program, transmission control method and information processing unit
CN106126070A (en) * 2016-07-20 2016-11-16 广东小天才科技有限公司 A kind of screenshotss method and system
CN110352451A (en) * 2019-02-20 2019-10-18 深圳市鹰硕技术有限公司 One kind is the same as screen teaching method, device and system, smart machine and storage medium
CN112543297A (en) * 2019-09-20 2021-03-23 北京新媒传信科技有限公司 Video conference live broadcasting method, device and system
CN112543297B (en) * 2019-09-20 2024-03-29 北京新媒传信科技有限公司 Video conference live broadcast method, device and system
CN115102949A (en) * 2022-06-27 2022-09-23 长沙朗源电子科技有限公司 File sharing method, electronic device and storage medium

Similar Documents

Publication Publication Date Title
JP2009230579A (en) Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium
CN107534704B (en) Information processing method, device and medium connected via communication network
JP6583432B2 (en) Image processing apparatus, image display method, and program
US20100231556A1 (en) Device, system, and computer-readable medium for an interactive whiteboard system
JP2015084211A (en) Information processing device, information processing system, and program
JP2016134014A (en) Electronic information board device, information processing method and program
CN107037939B (en) Electronic blackboard and image processing method
US11294495B2 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
JP5846270B2 (en) Image processing system and information processing apparatus
US20160182579A1 (en) Method of establishing and managing messaging sessions based on user positions in a collaboration space and a collaboration system employing same
US11610560B2 (en) Output apparatus, output system, and method of changing format information
JP6631643B2 (en) Image processing apparatus, image processing system, and image processing method
JP6036621B2 (en) System, information processing device
JP6589621B2 (en) Display device, camera position control method, and program
JP7298224B2 (en) Display device and display method
JP2014149579A (en) Data control device, data sharing system, and program
JP2004118274A (en) Display device and display system
JP7388159B2 (en) Display device, display method
WO2022178777A1 (en) Data sharing method, computer device and storage medium
US11483367B2 (en) Methods and systems for reducing latency on a collaborative platform
JP7363064B2 (en) Image processing device, method, and program
JP2016212844A (en) Display device and display system
TW201616379A (en) Information transmission method capable of selecting preview information
JP2006293449A (en) Data sharing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130409