JP2011204089A - Screen data distribution system, server, client terminal, screen data distribution method, and program - Google Patents

Screen data distribution system, server, client terminal, screen data distribution method, and program Download PDF

Info

Publication number
JP2011204089A
JP2011204089A JP2010071828A JP2010071828A JP2011204089A JP 2011204089 A JP2011204089 A JP 2011204089A JP 2010071828 A JP2010071828 A JP 2010071828A JP 2010071828 A JP2010071828 A JP 2010071828A JP 2011204089 A JP2011204089 A JP 2011204089A
Authority
JP
Japan
Prior art keywords
data
displayed
window
server
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010071828A
Other languages
Japanese (ja)
Other versions
JP5521690B2 (en
Inventor
Atsutaka Isozumi
淳考 五十棲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2010071828A priority Critical patent/JP5521690B2/en
Publication of JP2011204089A publication Critical patent/JP2011204089A/en
Application granted granted Critical
Publication of JP5521690B2 publication Critical patent/JP5521690B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To shorten the display time of the result of a window switching operation.SOLUTION: A screen data distribution system sends out display data that the server is to display through a network to the client terminal and makes the client terminal display them. Before the entire windows are displayed, the server sends out the image data of a window having an area which is not displayed since the plurality of windows are superimposed and displayed on a screen among the plurality of windows that the server is to display.

Description

本発明は、画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムに関する。   The present invention relates to a screen data distribution system, a server, a client terminal, a screen data distribution method, and a program.

サーバの表示部の画面のデータをクライアント端末に転送してクライアント端末の表示部に表示するクライアントシステムにおいて、サーバの表示部に表示された全画面のデータではなく、現在表示された画面と1枚前に送った画面との差分のデータのみを送信する方式がある(例えば、特許文献1参照。)。   In the client system that transfers the screen data of the server display unit to the client terminal and displays it on the display unit of the client terminal, not the full screen data displayed on the display unit of the server but the currently displayed screen and one sheet There is a method of transmitting only the difference data from the previously sent screen (see, for example, Patent Document 1).

特許文献1に記載の発明は、「画面データ送信装置」に関するものであり、具体的には「第1の画面フレームに含まれる複数のブロックの各々について、前記第1の画面フレームよりも前の第2の画面フレームに含まれ、対応する位置にあるブロックと所定量以上の差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、前記第1の画面フレームが前記差分検出手段による検出にかけられる前に、前記第1の画面フレームに含まれる或るブロックと、前記第2の画面フレームに含まれ、前記或るブロックと対応する位置にあるブロックとの間で前記所定量以上の差分が発生するように、前記第1の画面フレームに含まれる前記或るブロックの少なくとも1つの画素のレベルを変更する画素レベル変更手段と、を備える」ものである。   The invention described in Patent Document 1 relates to a “screen data transmission apparatus”, specifically, “each of a plurality of blocks included in a first screen frame is preceded by the first screen frame. Difference detection means for detecting whether or not there is a difference of a predetermined amount or more with a block at a corresponding position included in the second screen frame, and data of a block for which the detection result of the difference detection means is positive Before transmitting the first screen frame to the detection by the difference detecting means, a certain block included in the first screen frame, and included in the second screen frame; At least one pixel of the certain block included in the first screen frame so that a difference of the predetermined amount or more is generated between the block at the corresponding position and the block at the corresponding position. Comprising a pixel level changing means for changing the level, the "is intended.

図9(a)〜(c)は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図であり、図10(a)〜(c)は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。   FIGS. 9A to 9C are explanatory diagrams for explaining screen blocks transferred in the screen transfer type thin client system. FIGS. 10A to 10C are screen transfer type thin client systems. It is explanatory drawing for demonstrating the screen block transferred in FIG.

例えば、第nフレームが図9(a)に示すようなものであり、第(n+1)フレームで図9(b)に示すように新たなWindow(以下、ウィンドウと表記)701が現れた場合、図9(c)に示すようなウィンドウ701を含むブロック群703の画面データが符号化されて送信される。   For example, when the nth frame is as shown in FIG. 9A and a new Window (hereinafter referred to as a window) 701 appears as shown in FIG. 9B in the (n + 1) th frame, The screen data of the block group 703 including the window 701 as shown in FIG. 9C is encoded and transmitted.

また、例えば、自動車705が第nフレームで図10(a)に示すような位置にあり、第(n+1)フレームで図10(b)に示すような位置にある場合には、図10(c)に示すような、自動車705が走り去った後の背景を含むブロック群707と新たに自動車705を含むこととなったブロック群709の画面データが符号化されて送信される。   Further, for example, when the automobile 705 is in the position shown in FIG. 10A in the nth frame and in the position shown in FIG. 10B in the (n + 1) th frame, FIG. The screen data of the block group 707 including the background after the automobile 705 has run away and the block group 709 newly including the automobile 705 are encoded and transmitted.

ここで、「ウィンドウ」とは、例えばパソコンの操作画面内にそれぞれ独立した小さな矩形状の画面(表示領域)を用意して、その画面の中に画像や文書を表示する機能もしくはその矩形状の表示領域をいう。Windows(登録商標)やMac(登録商標)のOS(Operation System)等のパソコン用OSでは一般的に利用される表示方式である。
ウィンドウのデザインや機能はOSやアプリケーションソフトによって異なるが、通常タイトルバーがあって、サイズ調整用のボタンやウィンドウを閉じるボタン等を有する。個々のウィンドウはユーザが自由に移動させたり、サイズを変更させたり、重ねて表示させたりすることができる。
Here, “window” refers to, for example, a function for displaying a small rectangular screen (display area) that is independent of each other in the operation screen of a personal computer and displaying an image or document in the screen or the rectangular shape. Refers to the display area. This is a display method generally used in OSs for personal computers such as Windows (registered trademark) and Mac (registered trademark) OS (Operation System).
The design and function of the window differ depending on the OS and application software, but usually has a title bar, and has a button for adjusting the size and a button for closing the window. Individual windows can be moved freely, resized, or displayed in layers by the user.

特許文献1に記載の発明によれば、所定の差分以上の差分がない画面ブロックのデータも送信することが可能となるので、所定の差分以上の差分がある画面ブロックが多いために劣化した状態で送信された画面をシンクライアント側に高画質に送信しなおすことが可能になるとしている。   According to the invention described in Patent Document 1, since it is possible to transmit screen block data that does not have a difference greater than or equal to a predetermined difference, the state is deteriorated because there are many screen blocks that have a difference greater than or equal to a predetermined difference. It is possible to re-send the screen transmitted in step 1 to the thin client side with high image quality.

特開2009−224847号公報JP 2009-224847 A

ところで、特許文献1に記載の発明では、サーバ装置が実行するアプリケーションのウィンドウを操作することで差分が多く発生する場合がいくつか考えられる。すなわち、
(1)前面に表示させるウィンドウを変更する操作、
(2)前面に表示されているウィンドウを閉じる、または最小化する操作、
(3)前面に表示されているウィンドウを移動することで、背面に位置するウィンドウが表示されるようにする操作、
が挙げられる。
図10に示すように表示部の表示データ100にウィンドウ110、120を表示し、全画面をキャプチャして差分データを送るシステムでは、ウィンドウを変更する操作、閉じる操作、最小化操作、移動操作を行うと、変化領域が大きくなって、データ量が大きくなり、操作した結果の表示が遅くなったり、劣化したりする。
By the way, in the invention described in Patent Document 1, there are some cases where many differences are generated by operating a window of an application executed by the server device. That is,
(1) Operation to change the window to be displayed on the front,
(2) Operation to close or minimize the window displayed on the front,
(3) An operation to move the window displayed on the front to display the window located on the back.
Is mentioned.
As shown in FIG. 10, in the system that displays the windows 110 and 120 on the display data 100 of the display unit, and captures the entire screen and sends the difference data, the window changing operation, the closing operation, the minimizing operation, and the moving operation are performed. If this is done, the change area becomes large, the amount of data becomes large, and the display of the operation result becomes slow or deteriorates.

そこで、本発明の目的は、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムを提供することにある。   Accordingly, an object of the present invention is to provide a screen data distribution system, a server, a client terminal, a screen data distribution method, and a program that can shorten the display time of the result of the window switching operation.

上記課題を解決するため、請求項1記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。   In order to solve the above problem, the invention described in claim 1 is a screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the display data on the client terminal. The server is configured to display image data of a window having a non-display area by overlapping the plurality of windows displayed on the screen among the plurality of windows to be displayed by the server. Sending before the entire window is displayed.

請求項2記載の発明は、請求項1記載の発明において、前記サーバは、前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the server sends identification information for identifying the plurality of windows to the client terminal.

請求項3記載の発明は、請求項2記載の発明において、前記サーバは、前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする。   According to a third aspect of the present invention, in the second aspect of the present invention, the server includes notification means for notifying the client terminal of the display order of the windows, and transmission means for transmitting the window data. The client terminal comprises receiving means for receiving the data of the window during standby of the network, and a plurality of windows are displayed on the display means based on the display order of the windows and the identification information notified from the server. It is characterized by being displayed in a superimposed manner.

請求項4記載の発明は、請求項1または2記載の発明において、前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする。   The invention according to claim 4 is the invention according to claim 1 or 2, wherein the server captures a screen to be displayed by the server, display data captured by the screen capture unit, and An encoder unit that encodes window image data into transmission data; and a transmission unit that transmits the transmission data to the client terminal. The transmission data is decoded and displayed or stored in a screen data buffer. And an identifier for identifying the encoded window, and encoded window data.

請求項5記載の発明は、請求項3記載の発明において、前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする。   The invention described in claim 5 is the screen data buffer according to claim 3, wherein the server captures and stores image data of a window not displayed in the foreground when the difference area is smaller than a predetermined value. And another buffer for storing the image data of the captured window as a type flag, and a value for identifying the captured window is further designated as another identifier.

請求項6記載の発明は、請求項1から5の何れか一項記載の発明において、前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする。   The invention according to claim 6 is the invention according to any one of claims 1 to 5, wherein the server is located on the back of another window and displays so that the hidden window is exposed. When switched, a command is transmitted so that the data of the foremost window in the screen data buffer is displayed on the client terminal.

請求項7記載の発明は、請求項6記載の発明において、前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする。   According to a seventh aspect of the invention, in the sixth aspect of the invention, when the client terminal receives the command, the client terminal searches the screen data buffer and uses the identifier as a key for the hidden window. Data is acquired and displayed on the display means.

請求項8記載の発明は、請求項7記載の発明において、前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする。   The invention according to claim 8 is the invention according to claim 7, wherein the server applies the data of the window acquired from the screen buffer to the area of the non-displayed window, and detects the difference area. The difference area is encoded, and data is transmitted to the client terminal.

請求項9記載の発明は、請求項1から8のいずれか一項記載の発明において、前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする。   The invention according to claim 9 is the present invention according to any one of claims 1 to 8, wherein the display means of the client terminal cuts out a part of the window sent from the server and partially displays it. It is characterized in that data of an area in contact with the displayed window is transmitted in advance.

請求項10記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とする。   The invention according to claim 10 is a server used in a screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the display data on the client terminal. Of the plurality of windows to be displayed by the server, the plurality of windows are superimposed and displayed on the screen, so that the image data of the window having an area that is not displayed is displayed on the entire window. It is characterized by comprising a transmission means for sending before the message is displayed.

請求項11記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、前記サーバは、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする。   The invention according to claim 11 is a screen data distribution method in which display data to be displayed by a server is transmitted to a client terminal via a network and displayed on the client terminal. Among the plurality of windows to be displayed, the plurality of windows are superimposed and displayed on the screen, so that the entire image data of the window having the non-displayed area is displayed. It is characterized by sending before.

請求項12記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、前記サーバが、前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、を実行させることを特徴とする。   The invention described in claim 12 is directed to a computer of a screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the display data on the client terminal. Among a plurality of windows to be displayed, a procedure for superimposing and displaying the plurality of windows on the screen, and displaying image data of a window having a non-display area before the entire window is displayed A procedure for sending out is executed.

請求項13記載の発明は、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させることを特徴とする。   The invention according to claim 13 is directed to the computer of the client terminal of the screen data distribution system for sending the display data to be displayed by the server to the client terminal via the network and displaying the display data on the client terminal. A procedure for receiving the data of the window during standby of the network, a procedure for displaying the window in a superimposed manner so that a part of the plurality of windows is exposed based on the display order of the window notified from the server; It is made to perform.

本発明によれば、ウィンドウの切り替え操作の結果の表示時間を短縮することができる画面データ配信システム、サーバ、クライアント端末、画面データ配信方法、及びプログラムの提供を実現することができる。   According to the present invention, it is possible to provide a screen data distribution system, a server, a client terminal, a screen data distribution method, and a program that can shorten the display time of the result of the window switching operation.

本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。It is a block diagram which shows one Embodiment of the screen data delivery system which concerns on this invention. 図1に示した画面データ配信システムに用いられる送信データ400の構成図の一例である。It is an example of the block diagram of the transmission data 400 used for the screen data delivery system shown in FIG. (a)〜(d)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。(A)-(d) is an example of the screen displayed on the display part of the client terminal of the screen data delivery system shown in FIG. 図1に示した画面配信システムの動作を示すシーケンス図の一例である。It is an example of the sequence diagram which shows operation | movement of the screen delivery system shown in FIG. 図1に示した画面配信システムの動作を示すシーケンス図の他の一例である。It is another example of the sequence diagram which shows operation | movement of the screen delivery system shown in FIG. (a)、(b)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。(A), (b) is another example of the screen displayed on the display part of the client terminal of the screen data delivery system shown in FIG. 図1に示した画面配信システムの動作を示すシーケンス図の他の一例である。It is another example of the sequence diagram which shows operation | movement of the screen delivery system shown in FIG. (a)〜(c)は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。(A)-(c) is explanatory drawing which shows other embodiment of the screen data delivery system which concerns on this invention. (a)〜(c)は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。(A)-(c) is explanatory drawing for demonstrating the screen block transferred in a screen transfer type thin client system. (a)〜(c)は、画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための説明図である。(A)-(c) is explanatory drawing for demonstrating the screen block transferred in a screen transfer type thin client system.

本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
<構 成>
図1は、本発明に係る画面データ配信システムの一実施の形態を示すブロック図である。
図1に示すシステムは、サーバ200、ネットワーク260、及びクライアント端末300を有する。
サーバ200は、制御部210、画面キャプチャ部220、エンコーダ部230、送信部240、及び画面データバッファ250を有する。
Embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
<Configuration>
FIG. 1 is a block diagram showing an embodiment of a screen data distribution system according to the present invention.
The system shown in FIG. 1 includes a server 200, a network 260, and a client terminal 300.
The server 200 includes a control unit 210, a screen capture unit 220, an encoder unit 230, a transmission unit 240, and a screen data buffer 250.

通知手段としての制御部210は、サーバ200を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。制御部210は、画面キャプチャ部220にサーバ200が表示する画面をキャプチャさせ、キャプチャされた表示データをエンコーダ部230でエンコードし、送信部240からエンコードされた送信データ400をクライアント端末300に送信する。   The control unit 210 as a notification unit has a function of performing overall control of the server 200, and includes, for example, a microprocessor. The control unit 210 causes the screen capture unit 220 to capture the screen displayed by the server 200, encodes the captured display data using the encoder unit 230, and transmits the encoded transmission data 400 from the transmission unit 240 to the client terminal 300. .

ここで、「デスクトップ」とは、Windows(登録商標)やMac(登録商標)等のOSを起動させたときに表示される基本となる操作画面である。このデスクトップによりファイルの操作やアプリケーションソフトの起動等を行うことができる。   Here, the “desktop” is a basic operation screen displayed when an OS such as Windows (registered trademark) or Mac (registered trademark) is started. This desktop can be used to operate files and start application software.

図2は、図1に示した画面データ配信システムに用いられる送信データ400の構成図の一例である。
図2に示すように送信データ400にはすぐにデコードして表示するか、画面データバッファ350に保存するかを示す識別フラグ410(例えば、D、P)と、エンコードしたウィンドウとを識別するための識別子420(0x00000000,0x00000001,0x0000002等)と、エンコードされた画面データ430と、が含まれる。
FIG. 2 is an example of a configuration diagram of transmission data 400 used in the screen data distribution system shown in FIG.
As shown in FIG. 2, to identify the encoded window and an identification flag 410 (for example, D, P) indicating whether the transmission data 400 is immediately decoded and displayed or stored in the screen data buffer 350. Identifier 420 (0x00000000, 0x00000001,0x0000002, etc.) and encoded screen data 430 are included.

サーバ200の制御部210は、差分領域が少ない場合に、最前面に表示されていないウィンドウ120の表示データ(ウィンドウ120の画像データ)をキャプチャし、キャプチャした画像データを画面バッファ25に保存すると共に、エンコードし、クライアント端末300に送信する。このときウィンドウ120の送信データは、種別フラグとして画面データバッファ350に保存するように指定され、ウィンドウ120を識別する値が識別子420に指定される。
ここで、「キャプチャ」には表示部に表示される表示データを保存する「キャプチャ」と、画面の一部を構成するウィンドウの画像データを保存する「キャプチャ」との2種類ある。
When the difference area is small, the control unit 210 of the server 200 captures display data of the window 120 that is not displayed in the foreground (image data of the window 120), and stores the captured image data in the screen buffer 25. , Encoded and transmitted to the client terminal 300. At this time, the transmission data of the window 120 is designated to be stored in the screen data buffer 350 as a type flag, and a value for identifying the window 120 is designated in the identifier 420.
Here, there are two types of “capture”: “capture” for storing display data displayed on the display unit and “capture” for storing image data of a window constituting a part of the screen.

画面キャプチャ部220は、画面全体の表示データを取り込むキャプチャ機能を有するものである。さらに、画面キャプチャ部220は、ウィンドウの画像データをキャプチャする機能も有する。それぞれの機能は独立してても良い。また、それぞれソフトウェアで実現されても良い。この場合、キャプチャ処理は制御部310が行う。   The screen capture unit 220 has a capture function for capturing display data of the entire screen. Further, the screen capture unit 220 has a function of capturing window image data. Each function may be independent. Each may be realized by software. In this case, the capture process is performed by the control unit 310.

エンコーダ部230は、画面キャプチャ部220がキャプチャした表示データをエンコードする機能と、ウィンドウの画像データをキャプチャした画像データをエンコードする機能とを備える。なお、エンコーダ部230は、ソフトウェアで実現されていても良い。この場合、制御部210がエンコード処理を実行する。   The encoder unit 230 has a function of encoding display data captured by the screen capture unit 220 and a function of encoding image data obtained by capturing window image data. The encoder unit 230 may be realized by software. In this case, the control unit 210 executes the encoding process.

送信手段としての送信部240は、エンコードされた表示データやウィンドウの画像データをネットワーク260に送信する機能を有する。   The transmission unit 240 serving as a transmission unit has a function of transmitting encoded display data and window image data to the network 260.

画面データバッファ250は、キャプチャしたウィンドウの画像データを保管する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。   The screen data buffer 250 has a function of storing captured window image data, and includes, for example, an HDD (Hard Disk Drive).

クライアント端末300は、制御部310、受信部320、デコーダ部330、表示部340、及び画面データバッファ350を有する。   The client terminal 300 includes a control unit 310, a reception unit 320, a decoder unit 330, a display unit 340, and a screen data buffer 350.

クライアント端末300は、種別フラグ410にすぐに表示されるよう指定された場合、画面データ430をデコーダ部330でデコードし、表示部340で表示を行う。
種別フラグ410に画面データバッファ350に保存するように指定された場合は、デコーダ部330でデコードした画面データを画面データバッファ350に保存する。
When the client terminal 300 is designated to be displayed immediately in the type flag 410, the screen data 430 is decoded by the decoder unit 330 and displayed on the display unit 340.
When the type flag 410 is designated to be stored in the screen data buffer 350, the screen data decoded by the decoder unit 330 is stored in the screen data buffer 350.

制御部310は、クライアント端末300を統括制御する機能を有するものであり、例えば、マイクロプロセッサが挙げられる。   The control unit 310 has a function of comprehensively controlling the client terminal 300, and includes, for example, a microprocessor.

受信部320は、サーバ200からネットワーク260を介して送信される表示データやウィンドウの画像データデータを受信する機能を有する。   The receiving unit 320 has a function of receiving display data and window image data data transmitted from the server 200 via the network 260.

デコーダ部330は、受信した表示データやウィンドウの画像データをデコードする機能を有する。なお、デコーダ部330はソフトウェアで実現されていても良い。この場合、制御部310がデコード処理を実行する。   The decoder unit 330 has a function of decoding the received display data and window image data. Note that the decoder unit 330 may be realized by software. In this case, the control unit 310 executes a decoding process.

表示手段としての表示部340は、デコーダ部330でデコードされた表示データを表示する。例えばウィンドウを一部が露出するように重畳表示する機能を有するものであり、例えば、液晶表示パネル(もしくはプラズマディスプレイ、有機EL(EL)ディスプレイ)が挙げられる。   A display unit 340 as a display unit displays the display data decoded by the decoder unit 330. For example, the window has a function of displaying the window so that a part of the window is exposed. For example, a liquid crystal display panel (or a plasma display or an organic EL (EL) display) can be used.

画面データバッファ350は、デコードされたウィンドウの画像データを保存する機能を有し、例えば、HDD(Hard Disk Drive)が挙げられる。   The screen data buffer 350 has a function of storing decoded window image data, and includes, for example, an HDD (Hard Disk Drive).

<動 作>
次に図1に示した画面データ配信システムの動作について述べる。
図3(a)〜図3(d)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の一例である。
<Operation>
Next, the operation of the screen data distribution system shown in FIG. 1 will be described.
3A to 3D are examples of screens displayed on the display unit of the client terminal of the screen data distribution system illustrated in FIG.

画面データ配信システムは、サーバ200の画面全体の表示データを、ネットワーク260を介してクライアント端末300に配信する。
画面全体の表示データは、複数のウィンドウで構成されている場合があり、クライアント端末300の表示部340に一部が露出するようにウィンドウが重畳表示されることがある。
The screen data distribution system distributes display data of the entire screen of the server 200 to the client terminal 300 via the network 260.
The display data of the entire screen may be composed of a plurality of windows, and the windows may be displayed so as to be partially exposed on the display unit 340 of the client terminal 300.

すなわち、図3(a)のように、クライアント端末の表示部のデスクトップ100には、ウィンドウ120の上に、ウィンドウ120の一部が露出するようにウィンドウ110が重畳表示されている。ウィンドウ120の図3(d)に示す部分は、図3(b)に示すウィンドウ110の背面に位置し、非表示となる領域であり、デスクトップ100には表示されていない。   That is, as shown in FIG. 3A, the window 110 is superimposed and displayed on the desktop 100 of the display unit of the client terminal on the window 120 so that a part of the window 120 is exposed. The portion shown in FIG. 3D of the window 120 is a non-display area located on the back surface of the window 110 shown in FIG. 3B and is not displayed on the desktop 100.

本画面配信システムは、ウィンドウ120の表示状態が変わる。(例えば、ウィンドウ120全体が表示される)表示領域が拡大する(ウィンドウ120全体が表示される)前に、サーバ200がクライアント端末300にウィンドウの表示順位を通知し、ウィンドウの画像データを送信する。
例えば、サーバからクライアント端末に送出されてキャプチャされた表示データ(表示データではない)の更新が少ない場合に送信すればよい。
特許文献1のように更新された領域(矩形)を抽出しているため、更新が少ない場合にはネットワークの帯域があいていて、データを送るのに都合が良い。
本画面配信システムは、ユーザがマウスやキーボード(いずれも図示せず)の操作を行っている間の時間(例えば数秒)を利用して、サーバ200がクライアント端末300にウィンドウの表示順位を通知し、ウィンドウのデータを送信し、クライアント端末300は、ネットワークの待機中にウィンドウのデータを受信し、サーバ200から通知されたウィンドウの表示順位に基づいて複数のウィンドウを表示部に一部が露出するように重畳表示する。
In the screen distribution system, the display state of the window 120 changes. Before the display area expands (for example, the entire window 120 is displayed) (the entire window 120 is displayed), the server 200 notifies the client terminal 300 of the window display order and transmits the window image data. .
For example, the transmission may be performed when there is little update of display data (not display data) transmitted from the server to the client terminal and captured.
Since the updated area (rectangle) is extracted as in Patent Document 1, when there are few updates, there is a network bandwidth, which is convenient for sending data.
In this screen distribution system, the server 200 notifies the client terminal 300 of the window display order using the time (for example, several seconds) while the user operates the mouse and keyboard (both not shown). The client terminal 300 receives the window data while waiting for the network, and a part of the plurality of windows is exposed on the display unit based on the window display order notified from the server 200. Is superimposed and displayed.

マウスの操作やキーボードの操作中はネットワークを流れるデータが少なく、一般的な100BASE-TXのネットワークでは100Mビット/秒の余裕がある。従来はネットワークが空いていてもそのまま待機していたが、本願はこのネットワークの空いた状態を利用してウィンドウのデータをサーバからクライアント端末に送信すると共にサーバからクライアント端末に送信の通知を行うものである。   During mouse operation and keyboard operation, there is little data flowing through the network, and a general 100BASE-TX network has a margin of 100 Mbit / s. Conventionally, even if the network is free, it waits as it is, but this application uses this free state of the network to send window data from the server to the client terminal and to notify the transmission from the server to the client terminal. It is.

このように、重畳して表示されることで、表示されていない領域を有する画面を事前にクライアント端末に通知しておくことにより、切り替え操作の結果を表示する時間を短縮することができる。   As described above, the time for displaying the result of the switching operation can be reduced by notifying the client terminal in advance of the screen having the area that is not displayed by being displayed in a superimposed manner.

図4は、図1に示した画面配信システムの動作を示すシーケンス図の一例である。
図4に示すシーケンス図は、画面が切り替わらず、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値以上の場合を示しており、図3(a)〜(d)に対応している。
FIG. 4 is an example of a sequence diagram showing the operation of the screen distribution system shown in FIG.
The sequence diagram shown in FIG. 4 shows the case where the screen is not switched and the area of the change region (the region that is located behind the other window and is not displayed) is equal to or larger than the threshold value. ) To (d).

ここで、ネットワーク260を用いて画面のデータを送る際、ネットワーク260を100BASE-TXの速度100Mビット/秒のネットワークとし、1秒間に10枚の画像を送るとすると、1枚あたりのデータ量は10Mビットとなる。この値を閾値とし、この閾値と比較してデータ量が小さいときに画像データをサーバからクライアント端末に送る。   Here, when sending screen data using the network 260, assuming that the network 260 is a 100BASE-TX speed 100 Mbit / s network and 10 images are sent per second, the amount of data per frame is 10M bits. Using this value as a threshold value, image data is sent from the server to the client terminal when the amount of data is small compared to this threshold value.

まず、サーバ200の制御部210が画面キャプチャ部220に表示データのキャプチャを要求すると(ステップS1)、画面キャプチャ部220は、デスクトップ全体の画面である表示データをキャプチャする(ステップS2)。
デスクトップ全体の画面である表示データをキャプチャすると、キャプチャデータを制御部210に送る(ステップS3)。
制御部210は、前回画面と評価領域とを検出し(ステップS4)、エンコーダ部230にエンコード要求を行う(ステップS5)。
エンコーダ部230は、エンコードを行ってエンコードデータを制御部210に送る(ステップS6)。
制御部210は、送信部240に送信要求を行い(ステップS7)、送信部240は、送信データ400を、クライアント端末の受信部320に送信する(ステップS8)。
First, when the control unit 210 of the server 200 requests the screen capture unit 220 to capture display data (step S1), the screen capture unit 220 captures display data that is the screen of the entire desktop (step S2).
When the display data that is the screen of the entire desktop is captured, the capture data is sent to the control unit 210 (step S3).
The control unit 210 detects the previous screen and the evaluation area (step S4), and makes an encoding request to the encoder unit 230 (step S5).
The encoder unit 230 performs encoding and sends the encoded data to the control unit 210 (step S6).
The control unit 210 makes a transmission request to the transmission unit 240 (step S7), and the transmission unit 240 transmits the transmission data 400 to the reception unit 320 of the client terminal (step S8).

受信部320は、送信データを制御部310に送り(ステップS9)、制御部310はデコーダ部330にデコード要求を行う(ステップS10)。
デコーダ部330はデコードしたデータを制御部310に送り、制御部310は表示部340に表示要求を送り(ステップS11)、表示部340は図3(a)に示すウィンドウをデスクトップ内に表示する。このとき、ウィンドウ110の背面に位置し、非表示となって表示されない領域(図3(d))のデータは送信済みであるため、ユーザが操作する場合には表示時間を短縮することができる。
The receiving unit 320 sends the transmission data to the control unit 310 (step S9), and the control unit 310 makes a decoding request to the decoder unit 330 (step S10).
The decoder unit 330 sends the decoded data to the control unit 310, the control unit 310 sends a display request to the display unit 340 (step S11), and the display unit 340 displays the window shown in FIG. At this time, since the data of the area (FIG. 3D) which is located behind the window 110 and is not displayed is not transmitted, the display time can be shortened when the user operates. .

図5は、図1に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図5に示すシーケンス図は、画面が切り替わらず、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値未満の場合を示しており、図3(a)〜(d)に対応している。
サーバ200の制御部210は、画面キャプチャ部220にキャプチャ要求を行うと(ステップS21)、画面キャプチャ部220は、画面の一部を構成する、指定されたウィンドウ画像をキャプチャし(ステップS22)、キャプチャした画像データを制御部210に送る(ステップS23)。
制御部210は、エンコーダ部230にエンコード要求を行い(ステップS24)、エンコーダ部230は制御部210にエンコードデータを送る(ステップS25)。
制御部210は、送信部240に送信要求を行い(ステップS26)、送信部240は制御部210に応答すると共に、クライアント端末300の受信部320に送信データ400を送信する(ステップS27)。
FIG. 5 is another example of a sequence diagram showing the operation of the screen distribution system shown in FIG.
The sequence diagram shown in FIG. 5 shows a case where the screen is not switched and the area of the change region (the region that is located behind the other window and is not displayed) is less than the threshold value. ) To (d).
When the control unit 210 of the server 200 makes a capture request to the screen capture unit 220 (step S21), the screen capture unit 220 captures a specified window image that constitutes a part of the screen (step S22). The captured image data is sent to the control unit 210 (step S23).
The control unit 210 makes an encoding request to the encoder unit 230 (step S24), and the encoder unit 230 sends the encoded data to the control unit 210 (step S25).
The control unit 210 makes a transmission request to the transmission unit 240 (step S26), and the transmission unit 240 responds to the control unit 210 and transmits the transmission data 400 to the reception unit 320 of the client terminal 300 (step S27).

受信部320は、制御部310に送信データを送信すると(ステップS28)、制御部310は受信部320に応答すると共にデコーダ部330にデコード要求を行う(ステップS29)。
デコーダ部330は制御部310に応答すると、制御部310は画面データバッファ350にデータの保存要求を行う(ステップS30)。
When receiving the transmission data to the control unit 310 (step S28), the receiving unit 320 responds to the receiving unit 320 and makes a decoding request to the decoder unit 330 (step S29).
When the decoder unit 330 responds to the control unit 310, the control unit 310 makes a data storage request to the screen data buffer 350 (step S30).

以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。
なお、本実施の形態では、前面に表示されているウィンドウ110と背面に表示されているウィンドウ120との表示を切り換える場合で説明したが、本発明はこれに限定されるものではなく、ウィンドウ110を移動させることによって、ウィンドウ120が全体表示される場合や、ウィンドウ110が最小化されたり、閉じられたり、ウィンドウ120が全体表示されるような状態に変化した場合も同様である。
By performing the above operation, the display time during the window switching operation can be shortened.
In the present embodiment, the case where the display between the window 110 displayed on the front and the window 120 displayed on the back is switched has been described. However, the present invention is not limited to this, and the window 110 is not limited thereto. The same applies to the case where the window 120 is displayed as a whole, or the window 110 is minimized, closed, or changed to a state where the window 120 is displayed as a whole.

[第2の実施の形態]
図6(a)、(b)は、図1に示した画面データ配信システムのクライアント端末の表示部に表示される画面の他の一例である。
図6(a)に示す状態から図6(b)に示す状態にウィンドウを切替えた場合、サーバ200の制御部210は、クライアント端末300に画面でデータバッファ350内のウィンドウ120の画像データを表示するようにコマンドを送信する。
クライアント端末300の制御部310は、画面データバッファ350内を検索し、識別子420としてウィンドウ120の画像データを取得し、表示部340に表示する。
[Second Embodiment]
6A and 6B are other examples of the screen displayed on the display unit of the client terminal of the screen data distribution system shown in FIG.
When the window is switched from the state shown in FIG. 6A to the state shown in FIG. 6B, the control unit 210 of the server 200 displays the image data of the window 120 in the data buffer 350 on the screen of the client terminal 300. Send the command to
The control unit 310 of the client terminal 300 searches the screen data buffer 350, acquires the image data of the window 120 as the identifier 420, and displays it on the display unit 340.

サーバ200は、画面データバッファ250から取得したウィンドウ120の画面データをウィンドウ120の領域に適用し、差分領域の検出を行い、差分領域についてエンコードし、表示データをクライアント端末300に送信する。   The server 200 applies the screen data of the window 120 acquired from the screen data buffer 250 to the area of the window 120, detects the difference area, encodes the difference area, and transmits the display data to the client terminal 300.

図7は、図1に示した画面配信システムの動作を示すシーケンス図の他の一例である。
図7に示すシーケンス図は、画面が切り替わり、かつ変化領域(他のウィンドウの背面に位置し、非表示となっている領域)の面積が閾値以上の場合を示しており、図6(a)、(b)に対応している。
サーバ200の制御部210は、送信部240に受信データバッファの表示要求を行い(ステップS41)、送信部240は、クライアント端末300の受信部320に受信データバッファの表示要求を行い(ステップS42)、受信部320は制御部310に信号を送ると、制御部310は画面データバッファ350にウィンドウデータ取得を行い(ステップS43)、画面データバッファ350はウィンドウデータを制御部310に送り、制御部310は表示部340に表示要求を行い(ステップS44)、これを受けて表示部340はウィンドウを表示する。これと同時に、サーバ200の制御部210は、ウィンドウデータ取得要求を画面データバッファ250に行い(ステップS45)、画面データバッファ250は制御部に応答する。
FIG. 7 is another example of a sequence diagram showing the operation of the screen distribution system shown in FIG.
The sequence diagram shown in FIG. 7 shows a case where the screen is switched and the area of the change area (the area that is located behind the other window and is not displayed) is equal to or larger than the threshold value. , (B).
The control unit 210 of the server 200 requests the transmission unit 240 to display the reception data buffer (step S41), and the transmission unit 240 requests the reception unit 320 of the client terminal 300 to display the reception data buffer (step S42). When the receiving unit 320 sends a signal to the control unit 310, the control unit 310 acquires window data in the screen data buffer 350 (step S43), and the screen data buffer 350 sends window data to the control unit 310. Makes a display request to the display unit 340 (step S44), and in response to this, the display unit 340 displays a window. At the same time, the control unit 210 of the server 200 sends a window data acquisition request to the screen data buffer 250 (step S45), and the screen data buffer 250 responds to the control unit.

サーバ200の制御部210は、基準画面に取得したウィンドウを合成し(ステップS46)、画面キャプチャ部220に表示データのキャプチャを要求すると(ステップS47)、画面キャプチャ部220はデスクトップをキャプチャし(ステップS48)、制御部210に表示データのキャプチャデータを送る(ステップS49)。
制御部210は、基準画面と評価領域とを検出し(ステップS50)、エンコーダ部230にエンコード要求を行い(ステップS51)、エンコーダ部230は制御部210にエンコードデータを送る(ステップS52)。
制御部210は、送信部240に送信要求を行い(ステップS53)、送信部240はクライアント端末300の受信部320に送信データ400を送信する(ステップS54)。
受信部320は、送信データを制御部310に送り(ステップS55)、制御部310は受信部320に応答信号を送ると共に、デコーダ部330にデコード要求を行う(ステップS56)。
デコーダ部330は、デコードしたデータを制御部310に送ると、制御部310は、表示部340に表示要求を行い(ステップS57)、表示部340はデコードしたデータに基づくウィンドウを表示する。
When the control unit 210 of the server 200 combines the acquired window with the reference screen (step S46) and requests the screen capture unit 220 to capture display data (step S47), the screen capture unit 220 captures the desktop (step S47). In step S48, display data capture data is sent to the control unit 210 (step S49).
The control unit 210 detects the reference screen and the evaluation area (step S50), makes an encoding request to the encoder unit 230 (step S51), and the encoder unit 230 sends the encoded data to the control unit 210 (step S52).
The control unit 210 makes a transmission request to the transmission unit 240 (step S53), and the transmission unit 240 transmits the transmission data 400 to the reception unit 320 of the client terminal 300 (step S54).
The receiving unit 320 sends transmission data to the control unit 310 (step S55), and the control unit 310 sends a response signal to the receiving unit 320 and makes a decoding request to the decoder unit 330 (step S56).
When the decoder unit 330 sends the decoded data to the control unit 310, the control unit 310 makes a display request to the display unit 340 (step S57), and the display unit 340 displays a window based on the decoded data.

以上の動作を行うことによりウィンドウの切替操作時の表示時間を短縮することができる。   By performing the above operation, the display time during the window switching operation can be shortened.

[第3の実施の形態]
図8(a)〜(c)は、本発明に係る画面データ配信システムの他の実施の形態を示す説明図である。
第3の実施の形態の第1の実施の形態との相違点は、クライアント端末がサーバからのウィンドウのデータの一部を切り出して表示する点である。
これはサーバに比べてクライアント端末の解像度が低い場合、もしくはミニノートパソコンのように画面サイズが小さい(例えば、10型以下)の場合、サーバからのウィンドウのうち例えば左上1/4程度の大きさしか表示できないような場合である。
[Third Embodiment]
FIGS. 8A to 8C are explanatory views showing another embodiment of the screen data distribution system according to the present invention.
The difference of the third embodiment from the first embodiment is that the client terminal cuts out and displays part of the window data from the server.
If the resolution of the client terminal is lower than that of the server, or if the screen size is small (for example, 10-inch or less) as in a mini-notebook computer, for example, the upper left quarter of the window from the server This is the case that only can be displayed.

図8(a)に示すサーバのウィンドウのうち領域A1、A2が最初にクライアント端末の表示部に表示され、ユーザがマウス操作やキーボード操作によりスクロールを行っている間にサーバからクライアント端末に領域A3のデータを送信すると共に、領域A3のデータを送信することを通知する。
これにより、ウィンドウの切り替え操作時の表示時間を短縮することができる。
Of the server window shown in FIG. 8A, areas A1 and A2 are first displayed on the display unit of the client terminal, and the area A3 is displayed from the server to the client terminal while the user is scrolling by mouse operation or keyboard operation. Are transmitted, and the data of the area A3 is notified to be transmitted.
Thereby, the display time at the time of the window switching operation can be shortened.

以上において、差分のデータを送信するシステムでは、ユーザのウィンドウの操作により送信されるデータ量が大きく変動(例えば、ウィンドウの最大化、最小化時に差分のデータ量が大きくなる等)差分のデータ量が少ない場合、ネットワークの帯域に余裕ができる。ネットワークの帯域に余裕がある状態で、次に表示される可能性がある画面のデータを送信することで、クライアント端末の操作性を改善することができる。   In the above, in a system that transmits difference data, the amount of data transmitted by the user's window operation varies greatly (for example, the amount of difference data increases when the window is maximized or minimized). If there is little, you can afford the network bandwidth. The operability of the client terminal can be improved by transmitting screen data that may be displayed next while the network bandwidth is sufficient.

<プログラム>
以上で説明した本発明にかかる画面データ配信システムは、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
<Program>
The screen data distribution system according to the present invention described above is realized by a program that causes a computer to execute processing. Examples of the computer include general-purpose computers such as personal computers and workstations, but the present invention is not limited to this. Therefore, as an example, a case where the present invention is realized by a program will be described below.

サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのコンピュータに、サーバが、サーバが表示させようとしている複数のウィンドウのうち、複数のウィンドウを重畳して画面に表示させる手順、非表示となっている領域を有するウィンドウの画像データを、ウィンドウの全体が表示される前に送出させる手順、を実行させるサーバ用プログラムが挙げられる。   The display data that the server is trying to display is sent to the client terminal via the network, and the computer of the screen data distribution system that is displayed on the client terminal, among the multiple windows that the server is trying to display, A server program that executes a procedure for superimposing a plurality of windows on a screen and a procedure for sending image data of a window having a non-displayed area before the entire window is displayed. .

また、サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、受信手段が、ネットワークの待機中に前記ウィンドウのデータを受信する手順、表示手段が、サーバから通知されたウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、を実行させるクライアント端末用プログラムが挙げられる。   Also, the display data to be displayed by the server is sent to the client terminal via the network and displayed on the client terminal. There is a client terminal program for causing the display unit to execute the procedure for receiving the data and the procedure for the display means to superimpose and display a plurality of windows based on the display order of the windows notified from the server.

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる画面データ配信システムを実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されて
いてもよい。
<記憶媒体>
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(CD Recordable)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。
Accordingly, the screen data distribution system according to the present invention can be realized anywhere as long as there is a computer environment in which the program can be executed.
Such a program may be stored in a computer-readable storage medium.
<Storage medium>
Here, examples of the storage medium include computer-readable storage media such as a CD-ROM (Compact Disc Read Only Memory), a flexible disk (FD), a CD-R (CD Recordable), and a DVD (Digital Versatile Disk). , Flash memory, RAM (Random Access Memory), ROM (Read Only Memory), semiconductor memory such as FeRAM (ferroelectric memory), and HDD (Hard Disc Drive).

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。   The above-described embodiment shows an example of a preferred embodiment of the present invention, and the present invention is not limited thereto, and various modifications can be made without departing from the scope of the invention. is there.

200 サーバ
210、310 制御部
220 画面キャプチャ部
230 エンコーダ部
240 送信部
250、350 画面データバッファ
260 ネットワーク
300 クライアント端末
320 受信部
330 デコーダ部
340 表示部
400 送信データ
200 Server 210, 310 Control unit 220 Screen capture unit 230 Encoder unit 240 Transmission unit 250, 350 Screen data buffer 260 Network 300 Client terminal 320 Reception unit 330 Decoder unit 340 Display unit 400 Transmission data

Claims (15)

サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムであって、
前記サーバは、
前記サーバが表示せようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信システム。
A screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the data on the client terminal,
The server
Of the plurality of windows to be displayed by the server, the plurality of windows are superimposed and displayed on the screen, so that the image data of the window having a non-displayed area is displayed as a whole. A screen data distribution system characterized by being sent out before being displayed.
前記サーバは、
前記複数のウィンドウを識別するための識別情報を前記クライアント端末に送ることを特徴とする請求項1記載の画面データ配信システム。
The server
2. The screen data distribution system according to claim 1, wherein identification information for identifying the plurality of windows is sent to the client terminal.
前記サーバは、
前記クライアント端末に前記ウィンドウの表示順位を通知する通知手段と、前記ウィンドウのデータを送信するための送信手段とを備え、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位及び前記識別情報に基づいて複数のウィンドウを前記表示手段に重畳表示させることを特徴とする請求項2記載の画面データ配信システム。
The server
Notification means for notifying the client terminal of the display order of the window, and transmission means for transmitting the data of the window,
The client terminal includes reception means for receiving the data of the window during standby of the network, and a plurality of windows are superimposed on the display means based on the display order of the window and the identification information notified from the server. The screen data distribution system according to claim 2, wherein the screen data distribution system is displayed.
前記サーバは、前記サーバが表示させようとしている画面をキャプチャする画面キャプチャ部と、前記画面キャプチャ部がキャプチャした表示データ及び前記ウィンドウの画像データを送信データにエンコードするエンコーダ部と、前記送信データを前記クライアント端末に送信する送信部とを備え、
前記送信データには、デコードして表示するか画面データバッファに保存するかを示す識別フラグと、エンコードしたウィンドウを識別するための識別子と、エンコードしたウィンドウのデータと、が含まれることを特徴とする請求項1または2記載の画面データ配信システム。
The server includes a screen capture unit that captures a screen to be displayed by the server, an encoder unit that encodes display data captured by the screen capture unit and image data of the window into transmission data, and the transmission data. A transmission unit for transmitting to the client terminal,
The transmission data includes an identification flag indicating whether to decode and display or save in a screen data buffer, an identifier for identifying an encoded window, and encoded window data. The screen data distribution system according to claim 1 or 2.
前記サーバは、所定の値より差分領域が少ない場合、最前面に表示されていないウィンドウの画像データをキャプチャし、保存する画面データバッファと、
前記キャプチャしたウィンドウの画像データは種別フラグとして保存する他のバッファと、を備え、
前記キャプチャしたウィンドウを識別する値がさらに他の識別子に指定することを特徴とする請求項3記載の画面データ配信システム。
The server captures and saves image data of a window not displayed in the foreground when the difference area is smaller than a predetermined value;
The captured image data of the window includes another buffer that is stored as a type flag,
4. The screen data distribution system according to claim 3, wherein a value for identifying the captured window is further designated as another identifier.
前記クライアント端末は、前記種別フラグに表示されるように指定されると、前記ウィンドウのデータを前記表示手段に表示するためデコードするデコーダ部と、
前記種別フラグに前記画面のデータバッファに保存するように指定された場合、前記デコーダ部でデコードしたウィンドウのデータを保存する画面データバッファ部と、を備えたことを特徴とする請求項1から4の何れか一項記載の画面データ配信システム。
When the client terminal is designated to be displayed in the type flag, a decoder unit that decodes the window data to be displayed on the display means;
5. A screen data buffer unit for storing window data decoded by the decoder unit when the type flag is specified to be stored in the screen data buffer. The screen data distribution system according to any one of the above.
前記サーバは、他のウィンドウの背面に位置し、非表示となっているウィンドウが露出するように表示を切り替えると、前記クライアント端末に前記画面データバッファ内の最前面のウィンドウのデータを表示するようにコマンドを送信するようにしたことを特徴とする請求項1から5の何れか一項記載の画面データ配信システム。   When the server switches the display so that the non-displayed window located behind the other window is exposed, the data of the frontmost window in the screen data buffer is displayed on the client terminal. The screen data distribution system according to any one of claims 1 to 5, wherein a command is transmitted to the screen. 前記クライアント端末は、前記コマンドを受信すると、前記画面データバッファ内を検索し、前記識別子をキーとして前記非表示になっているウィンドウのデータを取得し、表示手段に表示するようにしたことを特徴とする請求項6記載の画面データ配信システム。   When the client terminal receives the command, the client terminal searches the screen data buffer, acquires the data of the hidden window using the identifier as a key, and displays the data on a display unit. The screen data distribution system according to claim 6. 前記サーバは、前記画面バッファから取得した前記ウィンドウのデータを前記非表示になっているウィンドウの領域に適用し、差分領域の検出を行い、前記差分領域についてエンコードし、データを前記クライアント端末に送信するようにしたことを特徴とする請求項7記載の画面データ配信システム。   The server applies the window data obtained from the screen buffer to the hidden window area, detects a difference area, encodes the difference area, and transmits the data to the client terminal. The screen data distribution system according to claim 7, wherein the screen data distribution system is a screen data distribution system. 前記クライアント端末の表示手段が前記サーバから送られるウィンドウの一部を切り出して部分表示する場合において、現在部分表示しているウィンドウに接する領域のデータを予め送信しておくことを特徴とする請求項1から8のいずれか一項記載の画面データ配信システム。   The data of an area in contact with the currently displayed window is transmitted in advance when the display unit of the client terminal cuts out and partially displays a part of the window sent from the server. 9. The screen data distribution system according to any one of 1 to 8. サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるサーバであって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出するための送信手段を備えたことを特徴とするサーバ。
A server used in a screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the data on the client terminal,
The server
Of the plurality of windows to be displayed by the server, the plurality of windows are superimposed and displayed on the screen, so that the image data of the window having a non-displayed area is displayed as a whole. A server comprising transmission means for sending before being displayed.
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムに用いられるクライアント端末であって、
前記クライアント端末は、前記ネットワークの待機中に前記ウィンドウのデータを受信する受信手段を備え、前記サーバから通知された前記ウィンドウの表示順位に基づいて一部が露出するように重畳表示することを特徴とするクライアント端末。
A client terminal used in a screen data distribution system for sending display data to be displayed by a server to a client terminal via a network and displaying the data on the client terminal,
The client terminal includes receiving means for receiving the data of the window during standby of the network, and displays the window so as to be partially exposed based on the display order of the window notified from the server. And the client terminal.
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信方法であって、
前記サーバは、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウが重畳して画面に表示されることにより、非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出することを特徴とする画面データ配信方法。
A screen data delivery method in which display data to be displayed by a server is sent to a client terminal via a network and displayed on the client terminal.
The server
Of the plurality of windows to be displayed by the server, the plurality of windows are superimposed and displayed on the screen, so that the image data of the window having a non-displayed area is displayed as a whole. A screen data delivery method, wherein the screen data is sent before being displayed.
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのコンピュータに、
前記サーバが、
前記サーバが表示させようとしている複数のウィンドウのうち、前記複数のウィンドウを重畳して画面に表示させる手順、
非表示となっている領域を有するウィンドウの画像データを、該ウィンドウの全体が表示される前に送出させる手順、
を実行させることを特徴とするサーバ用プログラム。
Display data to be displayed by the server is sent to the client terminal via the network and displayed on the client terminal computer.
The server is
Among the plurality of windows that the server is trying to display, a procedure for superimposing the plurality of windows to be displayed on the screen,
A procedure for sending image data of a window having a non-display area before the entire window is displayed;
A server program characterized in that is executed.
サーバが表示させようとしている表示データを、ネットワークを介してクライアント端末に送出し、該クライアント端末に表示させる画面データ配信システムのクライアント端末のコンピュータに、
受信手段が、前記ネットワークの待機中に前記ウィンドウのデータを受信する手順、
表示手段が、前記サーバから通知された前記ウィンドウの表示順位に基づいて複数のウィンドウを一部が露出するように重畳表示する手順、
を実行させることを特徴とするクライアント端末用プログラム。
Display data to be displayed by the server is sent to the client terminal via the network and displayed on the client terminal in the client terminal computer of the screen data distribution system.
A receiving means for receiving the data of the window while waiting for the network;
A procedure in which the display means superimposes and displays a plurality of windows based on the display order of the windows notified from the server so that a part of the windows is exposed;
A program for a client terminal, characterized in that
JP2010071828A 2010-03-26 2010-03-26 Screen data distribution system, server, screen data distribution method, and program Expired - Fee Related JP5521690B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010071828A JP5521690B2 (en) 2010-03-26 2010-03-26 Screen data distribution system, server, screen data distribution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010071828A JP5521690B2 (en) 2010-03-26 2010-03-26 Screen data distribution system, server, screen data distribution method, and program

Publications (2)

Publication Number Publication Date
JP2011204089A true JP2011204089A (en) 2011-10-13
JP5521690B2 JP5521690B2 (en) 2014-06-18

Family

ID=44880654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010071828A Expired - Fee Related JP5521690B2 (en) 2010-03-26 2010-03-26 Screen data distribution system, server, screen data distribution method, and program

Country Status (1)

Country Link
JP (1) JP5521690B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105565A (en) * 2011-11-11 2013-05-30 Ube Scientific Analysis Laboratory Inc Electron microscope remote display device
WO2015107672A1 (en) 2014-01-17 2015-07-23 富士通株式会社 Image processing program, image processing method, and image processing device
JP2016122653A (en) * 2016-01-06 2016-07-07 株式会社Ube科学分析センター Electron microscope remote display system
JP7433144B2 (en) 2020-06-19 2024-02-19 株式会社オービック Screen shot shooting device, screen shot shooting method and program
US11963477B2 (en) 2019-06-24 2024-04-23 Grimme Landmaschinenfabrik Gmbh & Co. Kg Method for observing working processes of an agricultural machine, digital video system and agricultural machine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201831A (en) * 2006-01-26 2007-08-09 Sharp Corp Image processor, receiver, broadcasting system, image processing method, image processing program and recording medium
JP2008129954A (en) * 2006-11-22 2008-06-05 Victor Co Of Japan Ltd Server device and client device
WO2008121474A1 (en) * 2007-03-30 2008-10-09 Microsoft Corporation Remoting of windows presentation framework based applications in a non-composed desktop
JP2009015419A (en) * 2007-07-02 2009-01-22 Casio Comput Co Ltd Server device and program
JP2009165636A (en) * 2008-01-16 2009-07-30 Community Engine Kk Online game server, online game system, and online game program
JP2010020159A (en) * 2008-07-11 2010-01-28 Sony Computer Entertainment Inc Screen output converter, display, display system, and screen display method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201831A (en) * 2006-01-26 2007-08-09 Sharp Corp Image processor, receiver, broadcasting system, image processing method, image processing program and recording medium
JP2008129954A (en) * 2006-11-22 2008-06-05 Victor Co Of Japan Ltd Server device and client device
WO2008121474A1 (en) * 2007-03-30 2008-10-09 Microsoft Corporation Remoting of windows presentation framework based applications in a non-composed desktop
JP2009015419A (en) * 2007-07-02 2009-01-22 Casio Comput Co Ltd Server device and program
JP2009165636A (en) * 2008-01-16 2009-07-30 Community Engine Kk Online game server, online game system, and online game program
JP2010020159A (en) * 2008-07-11 2010-01-28 Sony Computer Entertainment Inc Screen output converter, display, display system, and screen display method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105565A (en) * 2011-11-11 2013-05-30 Ube Scientific Analysis Laboratory Inc Electron microscope remote display device
WO2015107672A1 (en) 2014-01-17 2015-07-23 富士通株式会社 Image processing program, image processing method, and image processing device
JP2016122653A (en) * 2016-01-06 2016-07-07 株式会社Ube科学分析センター Electron microscope remote display system
US11963477B2 (en) 2019-06-24 2024-04-23 Grimme Landmaschinenfabrik Gmbh & Co. Kg Method for observing working processes of an agricultural machine, digital video system and agricultural machine
JP7433144B2 (en) 2020-06-19 2024-02-19 株式会社オービック Screen shot shooting device, screen shot shooting method and program

Also Published As

Publication number Publication date
JP5521690B2 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
US20230334112A1 (en) Cooperative web browsing using multiple devices
EP2517470B1 (en) Systems and methods for video-aware screen capture and compression
JP5638666B2 (en) Seamless display transition
JP5521690B2 (en) Screen data distribution system, server, screen data distribution method, and program
RU2506715C2 (en) Transmission of variable visual content
US10176492B2 (en) Information processing apparatus and information processing system to display information based on status of application
US20060233192A1 (en) Display control method and information processing apparatus
US10581950B2 (en) Local operation of remotely executed applications
US20160070421A1 (en) Information Processing Method And Electronic Apparatus
CN104685873A (en) Encoding control device and encoding control method
US9729931B2 (en) System for managing detection of advertisements in an electronic device, for example in a digital TV decoder
JP2006050144A (en) Method for displaying image and image display program
JP2009181318A (en) Information processor and mobile terminal
JP5683550B2 (en) Display method and display system
US20060214950A1 (en) Multi-view video switching control methods and systems
JP2014011566A (en) Image display apparatus and monitor camera system
CN113596561A (en) Video stream playing method and device, electronic equipment and computer readable storage medium
WO2017024448A1 (en) Method and apparatus for encoding screen sharing image
EP3264284A1 (en) Data processing method and device
US20220286617A1 (en) Image capturing control apparatus, information processing apparatus, control methods thereof, image capturing apparatus, and storage medium
JP2004180190A (en) Camera controller and program for performing its control step
JP2012074999A (en) Image data transmission system, server device, client terminal, image data transmission method, and control program
CN112653903B (en) LCD multi-screen different display method and system
JP2011176405A (en) Image display device
JP6490946B2 (en) Image processing device

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R150 Certificate of patent or registration of utility model

Ref document number: 5521690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees