JP2009140378A

JP2009140378A - Data transmitting device and data transmitting method

Info

Publication number: JP2009140378A
Application number: JP2007317873A
Authority: JP
Inventors: Akihisa Matsuzono; 明久松園
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-12-10
Filing date: 2007-12-10
Publication date: 2009-06-25
Anticipated expiration: 2027-12-10
Also published as: JP5130891B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data transmitting device which separately transmits a command and display data corresponding to the execution result of processing requested from a client device, to the client device. <P>SOLUTION: An application 101 executes the processing requested from the client device 2 and generates data to be displayed composed of display data and a command. A separation processing part 12 separates the display data and the command in the data to be displayed. A command transmission part 13 transmits a command to the client device 2. The data transmission part 14 transmits the difference between the display data and display data of the former time to the client device 2 by UDP when the variation of the image is equal to or more than the threshold of variation, and by TCP when the variation of the image less than the threshold of variation. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、データ送信装置及びデータ送信方法に関し、特に、クライアント装置から要求された処理の実行結果に対応するコマンド及び表示データを、別個にクライアント装置に送信するデータ送信装置及びデータ送信方法に関する。 The present invention relates to a data transmission apparatus and a data transmission method, and more particularly to a data transmission apparatus and a data transmission method for separately transmitting a command and display data corresponding to an execution result of processing requested from a client apparatus to the client apparatus.

高性能で高品質な製品を短期間で低コストに開発するためには、早い段階でのシミュレーションが重要である。そのためには、設計者が何時でも何処からでも高性能のマシン環境で高性能なアプリケーション（例えばＣＡＤ等）を低コストに利用できることが必要である。また、全体のＴＣＯ（維持管理も含めたトータルコスト）の削減を図るＡＳＰ(Application Service Provider)等、オンデマンド方式のシステムを構築することが必要である。更に、アプリケーションの処理結果を高速に表示することができるオンデマンド方式のシステムを構築して、ユーザの操作に応じたアプリケーションの処理結果をユーザに高速に提供することが重要である。 In order to develop a high-performance and high-quality product in a short period of time and at a low cost, simulation at an early stage is important. For this purpose, it is necessary that a designer can use a high-performance application (for example, CAD) at a low cost in a high-performance machine environment anytime and anywhere. It is also necessary to construct an on-demand system such as an ASP (Application Service Provider) that reduces the overall TCO (total cost including maintenance). Furthermore, it is important to construct an on-demand system capable of displaying application processing results at high speed, and to provide the user with the application processing results according to user operations at high speed.

なお、ユーザの操作に応じてアプリケーションに処理を実行させるシステムとして、サーバとシンクライアント端末との間で行う通信において、ＧＵＩコンポーネント単位でコマンドを定義し、ＧＵＩコンポーネントのプロパティ値及びＧＵＩコンポーネントに対するユーザの操作を表すコマンドを通信することにより、サーバとシンクライアント端末との間で通信されるデータ量を削減するシステムが提案されている（特許文献１参照）。
特開２００５−２２８２２７号公報 As a system for causing an application to execute processing in response to a user operation, a command is defined for each GUI component in communication performed between a server and a thin client terminal, and the property value of the GUI component and the user's A system that reduces the amount of data communicated between a server and a thin client terminal by communicating a command representing an operation has been proposed (see Patent Document 1).
JP 2005-228227 A

図１５は本発明の背景となる対話型処理システムを示す図であり、図１６は本発明の背景となる表示データの送信処理例を説明する図である。 FIG. 15 is a diagram showing an interactive processing system as the background of the present invention, and FIG. 16 is a diagram for explaining an example of display data transmission processing as the background of the present invention.

クライアント装置２００は、図１５に示すように、ネットワーク３００を介して、サーバ１００に対してある処理を要求する。これに応じて、サーバ１００において、アプリケーションＡ〜Ｃのいずれかが要求された処理を実行する。この後、サーバ１００が、当該処理の実行結果に対応する表示データをクライアント装置２００に送信する。 As illustrated in FIG. 15, the client device 200 requests a certain process from the server 100 via the network 300. In response to this, the server 100 executes a process requested by any of the applications A to C. Thereafter, the server 100 transmits display data corresponding to the execution result of the processing to the client device 200.

例えば、クライアント装置２００のユーザが、図１６に示すように、アプリケーションＡ、Ｂ及びＣに対する処理の実行を要求するための操作入力を、この順に行うとする。図１６において、例えば、ａはアプリケーションＡによる処理の実行結果に対応する表示データ、Ａは表示データａをクライアント装置２００に表示させるためのコマンド、画像ａは表示データａに対応する画像である。ｂ、Ｂ、画像ｂ、ｃ、Ｃ、画像ｃについても同様である（図１１においても同じ）。 For example, it is assumed that the user of the client apparatus 200 performs an operation input for requesting execution of processing for the applications A, B, and C in this order as shown in FIG. In FIG. 16, for example, a is display data corresponding to the execution result of the process by the application A, A is a command for causing the client device 200 to display the display data a, and an image a is an image corresponding to the display data a. The same applies to b, B, images b, c, C, and image c (the same applies to FIG. 11).

サーバ１００は、アプリケーションＡにおける実行結果に応じて、コマンドＡと表示データａとを一体のデータ（表示処理対象データ）として、ＴＣＰによりクライアント装置２００への送信を、時刻ｔ₀に開始する。クライアント装置２００は、コマンドＡと表示データａとが一体となったデータの全体の受信を時刻ｔ₁に完了し、これに応じて、コマンドＡと表示データａとに基づいて画像ａの表示（又は更新）を開始して、時刻ｔ₂にこれを完了する。以下、同様にして、画像ｂ及び画像ｃが表示される。 The server 100 starts transmission of the command A and the display data a as integrated data (display processing target data) to the client apparatus 200 by TCP according to the execution result in the application A at time t ₀ . The client device 200 completes the reception of the entire data in which the command A and the display data a are integrated at time t ₁ , and accordingly displays the image a based on the command A and the display data a ( Or update) and complete this at time t ₂ . Thereafter, the image b and the image c are displayed in the same manner.

この過程において、クライアント装置２００は、時刻ｔ₂に画像ａの表示を完了すると、操作入力の待ち状態となる。これにより、ユーザは、クライアント装置２００に対して、サーバ１００に次の処理を要求するための操作入力、即ち、画像ｂの処理のための入力を行うことができる。 In this process, the client device 200 completes the display of the image a in time t _2, the a state of waiting for an operation input. Thereby, the user can perform an operation input for requesting the server 100 for the next process, that is, an input for processing the image b, to the client apparatus 200.

このように、サーバ１００は、コマンド及び表示データを一体のデータとして送信する。このため、クライアント装置２００は、サーバ１００からコマンドと表示データとが一体となったデータの全体を受信した後でなければ、画像の表示処理を開始することができない。この結果、サーバ１００が表示データの送信を開始してからクライアント装置２００が表示データを表示するまで時間がかかるという問題がある。 As described above, the server 100 transmits the command and the display data as integral data. For this reason, the client apparatus 200 can start the image display process only after receiving the entire data in which the command and the display data are integrated from the server 100. As a result, there is a problem that it takes time until the client apparatus 200 displays the display data after the server 100 starts transmitting the display data.

また、クライアント装置２００は、画像の表示処理が完了した後でなければ操作入力待ち状態とならない。従って、クライアント装置２００が、アプリケーションに対して処理の実行を要求するために、先行する操作入力（画像ａの処理のための入力）を行ってから次の操作入力を行うことができる状態になるまでに時間がかかる。この結果、特に、クライアント装置２００のユーザが、高速な表示レスポンスが要求されるアプリケーション（ＣＡＤ等）を用いた操作を行う場合でも、操作性が悪く、作業効率が低下する。即ち、先行する操作入力を行ってから次の入力を行うことができるまでの期間を短縮することができないという問題がある。 Further, the client device 200 does not wait for an operation input until after the image display processing is completed. Accordingly, the client device 200 can perform the next operation input after performing the preceding operation input (input for processing the image a) in order to request the application to execute the process. It takes time. As a result, in particular, even when the user of the client device 200 performs an operation using an application (such as CAD) that requires a high-speed display response, the operability is poor and the work efficiency is reduced. That is, there is a problem that it is not possible to shorten the period from when the previous operation input is performed until the next input can be performed.

本発明は、クライアント装置から要求された処理の実行結果に対応するコマンド及び表示データを、別個にクライアント装置に対して送信するデータ送信装置を提供することを目的とする。 An object of the present invention is to provide a data transmission device that separately transmits a command and display data corresponding to an execution result of a process requested from a client device to the client device.

また、本発明は、クライアント装置から要求された処理の実行結果に対応するコマンド及び表示データを、別個にクライアント装置に対して送信するデータ送信方法を提供することを目的とする。 Another object of the present invention is to provide a data transmission method for separately transmitting a command and display data corresponding to an execution result of processing requested from a client device to the client device.

本データ送信装置は、クライアント装置から処理の実行要求を受信する受信手段と、前記受信された実行要求に対応する処理を実行して、表示データと当該表示データを表示するためのコマンドとからなる表示処理対象データを生成する生成手段と、前記表示処理対象データにおける表示データとコマンドとを分離して保持するとともに、当該表示データの直前に保持された当該表示データに対応する表示データと当該表示データとの差分を求める分離処理手段と、前記分離されたコマンドを第１の通信速度を有する第１の通信プロトコルにより前記クライアント装置に対して送信するコマンド送信手段と、当該表示データについて画像の変化率を算出し、前記変化率が予め定められた変化率閾値以上である場合に、前記分離処理手段によって求められた差分を送信データとして、前記第１の通信速度とは異なる第２の通信速度を有する第２の通信プロトコルにより前記クライアント装置に対して送信し、前記変化率が前記変化率閾値未満である場合に、前記差分を送信データとして前記第１の通信プロトコルにより前記クライアント装置に対して送信するデータ送信手段とを備える。 The data transmission apparatus includes a receiving unit that receives a process execution request from a client apparatus, and a display data and a command for displaying the display data by executing a process corresponding to the received execution request. Generation means for generating display processing target data, and display data and commands in the display processing target data are separated and held, and display data corresponding to the display data held immediately before the display data and the display Separation processing means for obtaining a difference from data, command transmission means for transmitting the separated command to the client device by a first communication protocol having a first communication speed, and image change for the display data When the rate of change is greater than or equal to a predetermined rate of change threshold, the separation processing means calculates the rate of change. The obtained difference is transmitted as transmission data to the client device by a second communication protocol having a second communication speed different from the first communication speed, and the change rate is less than the change rate threshold value. In some cases, the apparatus includes data transmission means for transmitting the difference as transmission data to the client device using the first communication protocol.

好ましくは、本データ送信装置において、前記第１の通信プロトコルがＴＣＰであり、前記第２の通信プロトコルがＵＤＰである。 Preferably, in the data transmitting apparatus, the first communication protocol is TCP and the second communication protocol is UDP.

好ましくは、本データ送信装置が、更に、前記受信された実行要求の受信量を算出し、当該受信量が予め定められた受信量閾値以上である場合に、前記データ送信手段に指示して前記クライアント装置に対する前記送信データの送信量を減少させ、当該受信量が前記受信量閾値未満である場合に、前記データ送信手段に指示して前記クライアント装置に対する前記送信データの送信量を増加させる送信量制御手段を備える。 Preferably, the data transmission apparatus further calculates a reception amount of the received execution request, and when the reception amount is equal to or greater than a predetermined reception amount threshold, instructs the data transmission unit to A transmission amount that decreases the transmission amount of the transmission data to the client device, and instructs the data transmission unit to increase the transmission amount of the transmission data to the client device when the reception amount is less than the reception amount threshold value. Control means are provided.

好ましくは、本データ送信装置において、前記分離処理手段によって分離された表示データが、当該表示データが対応するコマンドへのリンク情報を有し、当該コマンドが当該表示データへのリンク情報を有する。 Preferably, in the data transmission apparatus, the display data separated by the separation processing unit has link information to a command corresponding to the display data, and the command has link information to the display data.

また、本データ送信方法は、クライアント装置から実行要求された処理に応じた表示データを当該クライアント装置に対して送信するデータ送信方法であって、前記クライアント装置から処理の実行要求を受信し、前記受信された実行要求に対応する処理を実行して、表示データと当該表示データを表示するためのコマンドとからなる表示処理対象データを生成し、前記表示処理対象データにおける表示データとコマンドとを分離して保持するとともに、当該表示データの直前に保持された当該表示データに対応する表示データと当該表示データとの差分を求め、前記分離されたコマンドを第１の通信速度を有する第１の通信プロトコルにより前記クライアント装置に対して送信し、当該表示データについて画像の変化率を算出し、前記変化率が予め定められた変化率閾値以上である場合に、前記分離処理手段によって求められた差分を送信データとして、前記第１の通信速度とは異なる第２の通信速度を有する第２の通信プロトコルにより前記クライアント装置に対して送信し、前記変化率が前記変化率閾値未満である場合に、前記差分を送信データとして前記第１の通信プロトコルにより前記クライアント装置に対して送信する。 The data transmission method is a data transmission method for transmitting display data corresponding to a process requested to be executed from a client apparatus to the client apparatus, wherein the data transmission method receives a process execution request from the client apparatus, and A process corresponding to the received execution request is executed to generate display processing target data including display data and a command for displaying the display data, and the display data and the command in the display processing target data are separated. And the difference between the display data corresponding to the display data held immediately before the display data and the display data is obtained, and the separated command is sent to the first communication having the first communication speed. The change is transmitted to the client device by a protocol, the change rate of the image is calculated for the display data, and the change Is equal to or greater than a predetermined change rate threshold, and the second communication protocol having a second communication speed different from the first communication speed using the difference obtained by the separation processing means as transmission data. When the change rate is less than the change rate threshold, the difference is transmitted as transmission data to the client device using the first communication protocol.

本データ送信装置及び本データ送信方法は、１個の処理要求の実行結果に対応する１個の表示処理対象データにおける表示データとコマンドとを、別個にクライアント装置に対して送信する。この時、表示データとしては、当該表示データと前回の表示データとの差分を送信すると共に、画像の変化率と変化率閾値との比較の結果に応じて、当該差分を第１又は第２の通信プロトコルにより送信する。 In the data transmission apparatus and the data transmission method, display data and a command in one display processing target data corresponding to the execution result of one processing request are separately transmitted to the client apparatus. At this time, as the display data, the difference between the display data and the previous display data is transmitted, and the difference is set to the first or second according to the comparison result between the change rate of the image and the change rate threshold. Send by communication protocol.

この結果、表示データとコマンドの送信を分離することにより、当該実行結果をクライアント装置に高速に表示させることができ、また、これにより、クライアント装置が処理の実行要求を行ってから次の処理の実行要求を行うことができるようになるまでの時間を短縮することができる。また、差分を送信することにより、送信データのデータ量を少なくすることができ、当該実行結果をより高速に送信することができる。更に、画像の変化率に応じて通信プロトコルを変更することにより、表示データの差分のデータ量が小さい場合には信頼性の高い通信プロトコルにより、また、前記差分のデータ量が大きい場合には高速な通信プロトコルにより、データを送信することができる。以上により、表示データとコマンドとからなる表示処理対象データを、最小のデータ量で、最適な通信プロトコルにより送信することができる。 As a result, by separating the display data and command transmission, the execution result can be displayed on the client device at high speed. The time until an execution request can be made can be shortened. Also, by transmitting the difference, the amount of transmission data can be reduced, and the execution result can be transmitted at higher speed. Furthermore, by changing the communication protocol in accordance with the rate of change of the image, it is possible to use a highly reliable communication protocol when the amount of display data difference is small, or high speed when the amount of difference data is large. Data can be transmitted by a simple communication protocol. As described above, display processing target data composed of display data and commands can be transmitted with an optimal communication protocol with a minimum data amount.

また、本データ送信装置は、第１の通信プロトコルとしてＴＣＰを用い、第２の通信プロトコルとしてＵＤＰを用いる。これにより、表示データの差分のデータ量が小さい場合には信頼性の高いＴＣＰにより、また、前記差分のデータ量が大きい場合には高速なＵＤＰにより、データを送信することができる。 In addition, the data transmission apparatus uses TCP as the first communication protocol and UDP as the second communication protocol. Thereby, data can be transmitted by TCP with high reliability when the data amount of the difference between the display data is small, and by high-speed UDP when the data amount of the difference is large.

また、本データ送信装置は、処理の実行要求の受信量と受信量閾値との比較の結果に応じて、クライアント装置に対する送信データの送信量を増減する。これにより、当該受信量の大きさに応じて、クライアント装置に対する送信データの送信量を制御することができる。 In addition, the data transmission apparatus increases or decreases the transmission amount of transmission data to the client apparatus according to the result of comparison between the reception amount of the process execution request and the reception amount threshold. Thereby, the transmission amount of transmission data to the client device can be controlled according to the size of the reception amount.

また、本データ送信装置は、表示データがコマンドへのリンク情報を有し、コマンドが表示データへのリンク情報を有する。これにより、別個に送信された表示データとコマンドとを受信したクライアント装置が、リンク情報に基づいて表示データに対応するコマンドを特定し、当該表示データに応じた画像を確実に表示することができる。 In the data transmitting apparatus, the display data has link information to the command, and the command has link information to the display data. As a result, the client device that has received the display data and the command transmitted separately can specify the command corresponding to the display data based on the link information, and can reliably display the image corresponding to the display data. .

図１は、データ処理システムの構成の一例を示す図である。データ処理システムは、図１に示すように、データ送信装置１、クライアント装置２、これらの間を接続する例えばインターネット等のネットワーク３を備える。 FIG. 1 is a diagram illustrating an example of a configuration of a data processing system. As shown in FIG. 1, the data processing system includes a data transmission device 1, a client device 2, and a network 3 such as the Internet for connecting them.

データ送信装置（又は、サーバ）１は、クライアント装置２から、ネットワーク３を介して実行要求された処理を実行し、処理の実行結果に対応する表示データをクライアント装置２に対して送信するコンピュータである。データ送信装置１は、処理実行要求受信部（以下、受信部）１１、分離処理部１２、コマンド送信部１３、データ送信部１４、スタックメモリ１５、アプリケーション１０１を備える。アプリケーション１０１は、実際には複数の（この例では３個の）アプリケーションＡ、Ｂ、Ｃからなり、例えば主メモリ（図示せず）上に存在する。 The data transmission device (or server) 1 is a computer that executes processing requested to be executed by the client device 2 via the network 3 and transmits display data corresponding to the execution result of the processing to the client device 2. is there. The data transmission device 1 includes a process execution request reception unit (hereinafter, reception unit) 11, a separation processing unit 12, a command transmission unit 13, a data transmission unit 14, a stack memory 15, and an application 101. The application 101 is actually composed of a plurality of (three in this example) applications A, B, and C, and exists on a main memory (not shown), for example.

受信部１１は、クライアント装置２の通信部２１から送信された処理の実行要求を受信して、当該処理を実行するアプリケーション１０１を起動する。この時、受信部１１は、アプリケーション１０１（Ａ〜Ｃのいずれか）が起動中であることを、クライアント装置２に対して通知する。アプリケーション１０１は、当該実行要求に対応する処理を実行して、表示処理対象データを生成する生成手段である。いずれのアプリケーションがいずれの処理を実行するかは予め定められる。表示処理対象データは、当該処理の実行結果に対応する表示データと、当該表示データを表示するためのコマンドとからなる。 The receiving unit 11 receives the process execution request transmitted from the communication unit 21 of the client apparatus 2 and activates the application 101 that executes the process. At this time, the receiving unit 11 notifies the client device 2 that the application 101 (any one of A to C) is being activated. The application 101 is a generation unit that executes processing corresponding to the execution request and generates display processing target data. Which application executes which process is determined in advance. The display process target data includes display data corresponding to the execution result of the process and a command for displaying the display data.

表示処理対象データ２０１の一例を、図２（Ａ）に示す。表示処理対象データ２０１は、例えば表示処理対象データを格納するデータブロックであり、ヘッダー部３０と表示データ部３１とを備える。ヘッダー部３０は、当該表示処理対象データの送信先等のデータを格納し、また、制御データ部３０１を備える。制御データ部３０１は表示処理対象データにおけるコマンドを格納する。表示データ部３１は表示処理対象データにおける表示データを格納する。ヘッダー部３０に格納される情報の情報量は、例えば１ＫＢ以下であり、表示データ部３１に格納される表示データのデータ量は、例えば１ＭＢ以下である。 An example of the display processing target data 201 is shown in FIG. The display processing target data 201 is a data block that stores display processing target data, for example, and includes a header unit 30 and a display data unit 31. The header unit 30 stores data such as a transmission destination of the display processing target data, and includes a control data unit 301. The control data unit 301 stores commands in display processing target data. The display data unit 31 stores display data in display processing target data. The amount of information stored in the header section 30 is, for example, 1 KB or less, and the amount of display data stored in the display data section 31 is, for example, 1 MB or less.

アプリケーション１０１は生成した表示処理対象データを分離処理部１２に送る。分離処理部１２は、当該表示処理対象データにおける表示データについての差分を求め、この後、当該表示処理対象データをコマンドと表示データとに分離する。 The application 101 sends the generated display processing target data to the separation processing unit 12. The separation processing unit 12 obtains a difference for display data in the display processing target data, and thereafter separates the display processing target data into commands and display data.

即ち、分離処理部１２は、表示処理対象データにおける表示データ（当該表示データ）の直前に保持された当該表示データに対応する表示データ（以下、前回の表示データという）と、当該表示データとの差分を求める。前回の表示データは、当該表示データと同一の表示処理対象（例えば、同一の画面）について、スタックメモリ１５に直前に（前回）記憶された表示データである。例えば、現在時刻ｔにおける表示データと時刻（ｔ−１）における前回の表示データとが存在する場合、当該差分は、時刻ｔにおける表示データ部３１と時刻（ｔ−１）における表示データ部３１との差分である。時刻（ｔ−１）は時刻ｔより前の時刻である（以下において同じ）。 That is, the separation processing unit 12 includes display data corresponding to the display data held immediately before display data (display data) in display processing target data (hereinafter referred to as previous display data) and the display data. Find the difference. The previous display data is display data stored immediately before (previous) in the stack memory 15 for the same display processing target (for example, the same screen) as the display data. For example, when there is display data at the current time t and previous display data at the time (t−1), the difference between the display data part 31 at the time t and the display data part 31 at the time (t−1). Difference. Time (t-1) is a time before time t (the same applies hereinafter).

また、分離処理部１２は、表示処理対象データにおける表示データとコマンドとを分離して、これらをスタックメモリ１５に格納する。具体的には、分離処理部１２は、表示処理対象データ２０１のヘッダー部３０と表示データ部３１とを分離し、図２（Ｂ）に示すように、分離されたヘッダー部３０に対応するデータブロック（以下、コマンドブロックという）２０２と、分離された表示データ部３１に対応するデータブロック（以下、表示データブロックという）２０３とを生成する。コマンドブロック２０２は表示処理対象データにおけるコマンドを格納し、表示データブロック２０３は表示処理対象データにおける表示データを格納する。 Further, the separation processing unit 12 separates display data and commands in the display processing target data and stores them in the stack memory 15. Specifically, the separation processing unit 12 separates the header part 30 and the display data part 31 of the display processing target data 201, and data corresponding to the separated header part 30 as shown in FIG. A block (hereinafter referred to as a command block) 202 and a data block (hereinafter referred to as a display data block) 203 corresponding to the separated display data unit 31 are generated. The command block 202 stores commands in the display process target data, and the display data block 203 stores display data in the display process target data.

コマンドブロック２０２は、識別情報部４０と、ヘッダー部３０に対応するヘッダー部４１とを備える。識別情報部４０は、制御データ部４１０内のコマンドの識別情報（この例では、＃ｃ０１）を格納する。コマンドの識別情報は一意に定まる。ヘッダー部４１は、制御データ部３０１に対応する制御データ部４１０を備える。制御データ部４１０はコマンドを格納する。コマンドは、表示データの表示をクライアント装置２に指示する制御情報であり、画面管理情報（図３参照）を含む。制御データ部４１０にはデータリンク部５００が新たに付加される。データリンク部５００は、制御データ部４１０のコマンドが対応する表示データへのリンク情報を格納する。このリンク情報は、この例では、対応する（分離された）表示データの識別情報である＃ｄ０１からなる。 The command block 202 includes an identification information part 40 and a header part 41 corresponding to the header part 30. The identification information unit 40 stores the identification information (# c01 in this example) of the command in the control data unit 410. The command identification information is uniquely determined. The header unit 41 includes a control data unit 410 corresponding to the control data unit 301. The control data unit 410 stores commands. The command is control information for instructing the client device 2 to display the display data, and includes screen management information (see FIG. 3). A data link unit 500 is newly added to the control data unit 410. The data link unit 500 stores link information to display data corresponding to the command of the control data unit 410. In this example, the link information includes # d01 which is identification information of the corresponding (separated) display data.

表示データブロック２０３は、識別情報部５０と、データリンク部５１と、表示データ部３１に対応する表示データ部５２とを備える。識別情報部５０は、表示データブロック２０３内の表示データの識別情報（この例では、＃ｄ０１）を格納する。表示データの識別情報は一意に定まる。データリンク部５１は、新たに付加される情報であり、表示データ部５２の表示データが対応するコマンドへのリンク情報を格納する。このリンク情報は、この例では、対応するコマンドの識別情報である＃ｃ０１からなる。表示データ部５２は表示データを格納する。 The display data block 203 includes an identification information unit 50, a data link unit 51, and a display data unit 52 corresponding to the display data unit 31. The identification information unit 50 stores identification information (# d01 in this example) of display data in the display data block 203. The identification information of the display data is uniquely determined. The data link unit 51 is information that is newly added, and stores link information to a command to which the display data of the display data unit 52 corresponds. In this example, the link information includes # c01 which is identification information of the corresponding command. The display data unit 52 stores display data.

スタックメモリ１５は、分離処理部１２が備える記憶手段であり、分離処理部１２により分離されたコマンド及び表示データ（即ち、コマンドブロック２０２及び表示データブロック２０３）を、相互に対応付けて（リンクして）記憶する。表示データとコマンドとは、図２に示すように、リンクによって対応付けられる。これにより、分離処理部１２は表示データとコマンドとを管理する。 The stack memory 15 is a storage unit included in the separation processing unit 12, and associates (links) the commands and display data separated by the separation processing unit 12 (that is, the command block 202 and the display data block 203) with each other. Remember). The display data and the command are associated with each other as shown in FIG. Thereby, the separation processing unit 12 manages display data and commands.

分離処理部１２は、スタックメモリ１５に記憶したコマンド及び表示データ（コマンドブロック２０２及び表示データブロック２０３）を、各々、コマンド送信部１３及びデータ送信部１４に送る。これに加えて、分離処理部１２は、前記差分をデータ送信部１４に送る。当該差分をスタックメモリ１５に記憶するようにしても良い。 The separation processing unit 12 sends the command and display data (command block 202 and display data block 203) stored in the stack memory 15 to the command transmission unit 13 and the data transmission unit 14, respectively. In addition, the separation processing unit 12 sends the difference to the data transmission unit 14. The difference may be stored in the stack memory 15.

コマンド送信部１３とデータ送信部１４とで送信部を構成する。この送信部と受信部１１とで通信部を構成する。この通信部は、クライアント装置２の通信部２１に対応し、これとの間でデータ通信を行う。 The command transmission unit 13 and the data transmission unit 14 constitute a transmission unit. The transmission unit and the reception unit 11 constitute a communication unit. This communication unit corresponds to the communication unit 21 of the client device 2 and performs data communication with it.

コマンド送信部１３は、分離処理部１２によって分離されたコマンド（即ち、コマンドブロック２０２）を、第１の通信プロトコルによりクライアント装置２の通信部２１に対して送信する。第１の通信プロトコルは、第１の通信速度を有し、例えばＴＣＰ（Transmission Control Protocol ）からなる。ＴＣＰは、コネクション型の通信接続を行ってから通信を行う通信プロトコルであり、信頼性の高いデータ送信を可能とする。ＴＣＰにより、クライアント装置２における表示処理の内容を決定するコマンドを、高い信頼性で送信することができる。 The command transmission unit 13 transmits the command (that is, the command block 202) separated by the separation processing unit 12 to the communication unit 21 of the client device 2 using the first communication protocol. The first communication protocol has a first communication speed and is composed of, for example, TCP (Transmission Control Protocol). TCP is a communication protocol for performing communication after performing a connection-type communication connection, and enables highly reliable data transmission. A command for determining the content of display processing in the client device 2 can be transmitted with high reliability by TCP.

データ送信部１４は、データ圧縮部１４１、画像変化判断部１４２、送信部１４３、データメモリ１４４を備える。前述のように、分離処理部１２は、スタックメモリ１５内の表示処理対象データにおける表示データと、表示データについての前記差分とを、データ送信部１４に送る。 The data transmission unit 14 includes a data compression unit 141, an image change determination unit 142, a transmission unit 143, and a data memory 144. As described above, the separation processing unit 12 sends the display data in the display processing target data in the stack memory 15 and the difference regarding the display data to the data transmission unit 14.

データ圧縮部１４１は、表示処理対象データにおける表示データについての差分を、例えば周知のようにＪＰＥＧ画像データに圧縮して（図３参照）、データメモリ１４４に記憶する。なお、データメモリ１４４に、当該表示データ及びその差分を記憶するようにしても良い。 The data compression unit 141 compresses the difference of the display data in the display processing target data into, for example, JPEG image data as is well known (see FIG. 3) and stores it in the data memory 144. The display data and the difference thereof may be stored in the data memory 144.

画像変化判断部１４２は、分離処理部１２から送信された表示データ（即ち、表示データブロック２０３）について画像の変化率を算出し、変化率が予め定められた閾値（変化率閾値）以上であるか否かを調べる。変化率としては、例えば、表示データの画像全体の面積に対する差分の画像の面積の割合が用いられる。又は、変化率として、表示データのデータ量に対する差分のデータ量の割合を用いるようにしても良い。変化率閾値の値は経験的（又は実験的）に定めることができる。画像全体の面積又は表示データのデータ量は、分離処理部１２からデータ送信部１４に送られた表示データ（表示データブロック２０３の表示データ部５２）から求められる。差分の画像の面積又は差分のデータ量は、分離処理部１２からデータ送信部１４に送られた当該差分から求められる。 The image change determination unit 142 calculates an image change rate for the display data (that is, the display data block 203) transmitted from the separation processing unit 12, and the change rate is equal to or greater than a predetermined threshold (change rate threshold). Check whether or not. As the rate of change, for example, the ratio of the area of the difference image to the area of the entire display data image is used. Alternatively, the ratio of the difference data amount to the display data amount may be used as the change rate. The value of the change rate threshold value can be determined empirically (or experimentally). The area of the entire image or the data amount of the display data is obtained from the display data (the display data block 52 of the display data block 203) sent from the separation processor 12 to the data transmitter 14. The area of the difference image or the data amount of the difference is obtained from the difference sent from the separation processing unit 12 to the data transmission unit 14.

変化率が変化率閾値未満（又は、変化率閾値以下）である場合、送信部１４３は、前記差分を送信データとして、第１の通信プロトコル（例えばＴＣＰ）によりクライアント装置２に対して送信する。変化率が変化率閾値未満であるデータは、そのデータサイズが小さく、元来送信に要する時間が短いので、これをＴＣＰにより高い信頼度で短時間で送信することができる。 When the change rate is less than the change rate threshold (or less than or equal to the change rate threshold), the transmission unit 143 transmits the difference as transmission data to the client device 2 using the first communication protocol (for example, TCP). Since the data whose change rate is less than the change rate threshold has a small data size and originally takes a short time for transmission, it can be transmitted with high reliability in a short time by TCP.

変化率が変化率閾値以上である（又は、変化率閾値より大きい）場合、送信部１４３は、前記差分を送信データとして、第２の通信プロトコルによりクライアント装置２に対して送信する。第２の通信プロトコルは、第１の通信速度とは異なる（第１の通信速度より速い）第２の通信速度を有し、例えばＵＤＰ（User Datagram Protocol）からなる。ＵＤＰは、コネクションレス型の通信プロトコルであり、高速なデータ送信を可能とする。ＵＤＰにより、変化率が変化率閾値以上である大きなデータを高速で送信することができる。 When the change rate is equal to or higher than the change rate threshold (or larger than the change rate threshold), the transmission unit 143 transmits the difference as transmission data to the client device 2 using the second communication protocol. The second communication protocol has a second communication speed different from the first communication speed (faster than the first communication speed), and is made of, for example, UDP (User Datagram Protocol). UDP is a connectionless communication protocol that enables high-speed data transmission. With UDP, large data having a change rate equal to or higher than the change rate threshold can be transmitted at high speed.

以上によれば、表示データブロック２０３について、その画像の変化率を求め、これに基づいて適切な通信プロトコルを選択し、通信時間と通信の信頼度とのバランスを最適な設定とすることができる。 According to the above, it is possible to obtain the rate of change of the image for the display data block 203, select an appropriate communication protocol based on this, and optimize the balance between communication time and communication reliability. .

なお、データ送信部１４は、送信データをＵＤＰパケットに格納し、ＣＲＴＰ(Compressed Real Time Protocol) を用いてＵＤＰパケットのヘッダー情報を圧縮した上で当該ＵＤＰパケットをクライアント装置２に対して送信するようにしても良い。 The data transmitting unit 14 stores the transmission data in a UDP packet, compresses the header information of the UDP packet using CRTP (Compressed Real Time Protocol), and then transmits the UDP packet to the client device 2. Anyway.

また、アプリケーション１０１が新たに表示データを生成した場合には、分離処理部１２は、前記差分を求めず、スタックメモリ１５内に格納された当該新たに生成された表示データ（その表示データブロック２０３）をデータ送信部１４に送る。これに応じて、データ送信部１４は、分離処理部１２から送られた新たな表示データを送信データとして、クライアント装置２に対して送信する。 In addition, when the application 101 newly generates display data, the separation processing unit 12 does not obtain the difference, and the newly generated display data stored in the stack memory 15 (the display data block 203 ) To the data transmission unit 14. In response to this, the data transmission unit 14 transmits the new display data transmitted from the separation processing unit 12 to the client device 2 as transmission data.

クライアント装置２は、ネットワーク３を介して、データ送信装置１に対して処理の実行を要求し、当該処理の実行結果に対応する表示データをデータ送信装置１から受信して表示するコンピュータである。クライアント装置２は、通信部２１、入力部２２、制御部２３、表示部２４、データメモリ２５を備える。 The client device 2 is a computer that requests the data transmission device 1 to execute processing via the network 3, receives display data corresponding to the execution result of the processing from the data transmission device 1, and displays the display data. The client device 2 includes a communication unit 21, an input unit 22, a control unit 23, a display unit 24, and a data memory 25.

入力部２２は、クライアント装置２のユーザの操作入力に従って、処理の実行要求を通信部２１に入力する。通信部２１はデータ送信装置１との間での通信を実行する。即ち、通信部２１は、入力部２２によって入力された処理の実行要求をデータ送信装置１の受信部１１に対して送信する。また、通信部２１は、コマンド送信部１３から送信されるコマンド（コマンドブロック２０２）を受信するとともに、データ送信部１４から送信される表示データの差分（又は、新たに生成された表示データの表示データブロック２０３の全体、以下同じ）を受信する。 The input unit 22 inputs a process execution request to the communication unit 21 in accordance with a user operation input of the client device 2. The communication unit 21 performs communication with the data transmission device 1. That is, the communication unit 21 transmits the process execution request input by the input unit 22 to the reception unit 11 of the data transmission device 1. In addition, the communication unit 21 receives a command (command block 202) transmitted from the command transmission unit 13, and also displays a difference in display data transmitted from the data transmission unit 14 (or display of newly generated display data). The entire data block 203 (the same applies hereinafter) is received.

制御部２３は、通信部２１で受信されたコマンド（コマンドブロック２０２）及び表示データの差分を通信部２１から受け取り、データ圧縮された当該表示データの差分を伸張し、これらをデータメモリ２５に格納する。データメモリ２５に記憶されるコマンド及び表示データの差分は、データ送信装置１のスタックメモリ１５又はデータメモリ１４４に記憶されるコマンド及び表示データの差分と同じデータである。 The control unit 23 receives the difference between the command (command block 202) and the display data received by the communication unit 21 from the communication unit 21, expands the difference between the display data that has been subjected to data compression, and stores these in the data memory 25. To do. The difference between the command and display data stored in the data memory 25 is the same data as the difference between the command and display data stored in the stack memory 15 or the data memory 144 of the data transmission device 1.

制御部２３は、データメモリ２５に記憶されるコマンド及び表示データの差分に基づいて、表示部２４に当該画像を表示させる。即ち、表示部２４は、当該コマンド及び表示データの差分に応じた画像を表示画面（図示せず）上に表示する。この画像は、アプリケーション１０１による処理の実行結果に対応する画像である。 The control unit 23 causes the display unit 24 to display the image based on the difference between the command stored in the data memory 25 and the display data. That is, the display unit 24 displays an image corresponding to the difference between the command and display data on a display screen (not shown). This image is an image corresponding to the execution result of the processing by the application 101.

図３は分離処理部によるスタックメモリ内の表示データの管理を説明する図であり、図４はクライアント装置における画面表示例である。 FIG. 3 is a diagram for explaining management of display data in the stack memory by the separation processing unit, and FIG. 4 is a screen display example in the client device.

クライアント装置２の表示部２４は、図３に示す表示データの管理に基づいて、図４に示す画面を表示する。最も基本の画面即ち最初に開かれた（表示された）画面が親画面と呼ばれ、親画面以外の画面が子画面と呼ばれる。図３及び図４において、画面２４Ａが親画面であり、それ以外の画面２４ｂ〜２４ｄは子画面である。親画面２４Ａ（画面Ａと表す）は、画面の階層においては最上位であり、一方、表示においては最も下に表示される。子画面２４ｂ〜２４ｄ（画面ｂ〜ｄと表す）は、画面の階層においては下位であり、表示においては親画面（及び他の子画面）の上（又は、他の子画面の下）に表示される。 The display unit 24 of the client device 2 displays the screen shown in FIG. 4 based on the management of the display data shown in FIG. The most basic screen, that is, the first opened (displayed) screen is called a parent screen, and a screen other than the parent screen is called a child screen. 3 and 4, the screen 24A is a parent screen, and the other screens 24b to 24d are child screens. The parent screen 24A (denoted as screen A) is the highest in the screen hierarchy, while being displayed at the bottom in the display. The child screens 24b to 24d (represented as screens b to d) are lower in the screen hierarchy, and are displayed above the parent screen (and other child screens) (or below other child screens) in the display. Is done.

分離処理部１２は、コマンドブロック２０２に格納されているコマンドに含まれる画面管理情報を用いて、図３に示すように、画面Ａ、ｂ、ｃ、ｄを、画面同士の階層関係を示しつつリンクさせて、スタックメモリ１５内で管理する。このために、親画面Ａには、その画面管理情報が付加される。 The separation processing unit 12 uses the screen management information included in the command stored in the command block 202 to display the screens A, b, c, and d as shown in FIG. Linked and managed in the stack memory 15. Therefore, the screen management information is added to the main screen A.

画面管理情報は、階層情報と位置情報と格納情報とを含む。階層情報は、表示データに対応する画像（又は画面）相互の階層関係を示す。位置情報は、表示データの表示部２４における表示位置を示す。格納情報は、各画像に対応する表示データのスタックメモリ１５内における格納アドレスを示す。画面同士の階層関係は、ある画面がどの画面の上に重なるかを示す（画面と画面との重なりの関係を示す）情報である。 The screen management information includes hierarchy information, position information, and storage information. Hierarchical information indicates a hierarchical relationship between images (or screens) corresponding to display data. The position information indicates the display position of the display data on the display unit 24. The storage information indicates a storage address in the stack memory 15 of display data corresponding to each image. The hierarchical relationship between screens is information indicating on which screen a certain screen overlaps (indicating the relationship between the screens overlapping).

例えば、分離処理部１２は、画面Ａ、ｂ、ｃ、ｄのそれぞれに対応する表示データを、画面Ａに画面ｃが重なり、画面ｃに画面ｂと画面ｄとが重なることを示す画面管理情報に従って、スタックメモリ１５に記憶する。図３において、点線の矢印は、画面管理情報による各々の画面の間におけるポインタを示している。 For example, the separation processing unit 12 displays display data corresponding to each of the screens A, b, c, and d. Screen management information indicating that the screen c overlaps the screen A, and the screen b and the screen d overlap the screen c. And stored in the stack memory 15. In FIG. 3, dotted arrows indicate pointers between the screens based on the screen management information.

画面Ａ等の表示データの各々は、図３に示すように、データ圧縮部１４１によりＪＰＥＧ変換（データ圧縮）され、送信部１４３によりクライアント装置２に送信される。図３において、点線の矩形で囲まれた「ＪＰＥＧ変換」は、画面ｃについて、分離処理部１２が前回の画面ｃとの差分を求め、データ圧縮部１４１が当該差分をＪＰＥＧ変換することを示す。送信部１４３は、画面ｃについて、当該ＪＰＥＧ変換された当該差分のみをクライアント装置２に対して送信する。画面ｃの当該差分（又は、当該差分を生じさせた即ち変更された領域の画像）を部分画像ｃ（ｐ）と呼ぶこととする。部分画像ｃ（ｐ）は、図４において、点線で囲んで示す領域である（図６及び図７参照）。 Each of the display data such as the screen A is JPEG converted (data compressed) by the data compression unit 141 and transmitted to the client device 2 by the transmission unit 143 as shown in FIG. In FIG. 3, “JPEG conversion” surrounded by a dotted rectangle indicates that the separation processing unit 12 obtains a difference from the previous screen c for the screen c, and the data compression unit 141 performs JPEG conversion on the difference. . The transmission unit 143 transmits only the difference subjected to the JPEG conversion with respect to the screen c to the client device 2. The difference of the screen c (or the image of the area where the difference is generated, that is, changed) is referred to as a partial image c (p). The partial image c (p) is a region surrounded by a dotted line in FIG. 4 (see FIGS. 6 and 7).

制御部２３は、一旦データメモリ２５に格納したコマンド（に含まれる画面管理情報）を解釈して、データメモリ２５の伸張した表示データの差分を含む表示データを、表示部２４に表示させる。この結果、図４に示すように、画面Ａに画面ｃが重なり、画面ｃに画面ｂ及び画面ｄが重なるように画面表示される。この時で、画面ｃは、その差分（点線の矩形で囲った領域、部分画像ｃ（ｐ））により当該領域を上書きすることにより生成される。 The control unit 23 interprets the command once stored in the data memory 25 (screen management information included therein), and causes the display unit 24 to display display data including the difference between the expanded display data in the data memory 25. As a result, as shown in FIG. 4, the screen c is displayed so that the screen c overlaps the screen A, and the screen b and the screen d overlap the screen c. At this time, the screen c is generated by overwriting the area with the difference (area surrounded by a dotted rectangle, partial image c (p)).

図５は、データ送信装置によるコマンド及び表示データの送信処理フローの一例を示す図である。 FIG. 5 is a diagram illustrating an example of a command and display data transmission process flow by the data transmission apparatus.

データ送信装置１の受信部１１が、クライアント装置２の通信部２１から処理の実行要求を受信して（ステップＳ１）、当該処理を実行するアプリケーション１０１を起動し（ステップＳ２）、アプリケーション１０１が起動中であることをクライアント装置２に対して通知する。起動されたアプリケーション１０１は、当該処理を実行して、その実行結果に対応する表示データとコマンドとからなる表示処理対象データを生成し（ステップＳ３）、分離処理部１２に送る。分離処理部１２は、受け取った表示処理対象データをメモリ（図示せず）に一旦保持し、また、データ送信部１４に送る（ステップＳ４）。なお、ステップＳ３において、表示データが消去される場合もある。この場合、分離処理部１２は、例えばコマンドのみからなる（又は、表示データが「空」の）表示処理対象データを受け取る。 The receiving unit 11 of the data transmitting device 1 receives a process execution request from the communication unit 21 of the client device 2 (step S1), starts the application 101 that executes the process (step S2), and starts the application 101. The client device 2 is notified that it is in the middle. The activated application 101 executes the processing, generates display processing target data including display data and a command corresponding to the execution result (step S3), and sends the display processing target data to the separation processing unit 12. The separation processing unit 12 once holds the received display processing target data in a memory (not shown) and sends it to the data transmission unit 14 (step S4). In step S3, the display data may be erased. In this case, the separation processing unit 12 receives display processing target data including only commands (or display data is “empty”), for example.

分離処理部１２は、当該表示処理対象データにおける表示データが新たに生成された表示データであるか、又は、ステップＳ３において表示データが消去されたか否かを調べる（ステップＳ５）。表示データが新たに生成された表示データではなく、かつ、表示データが消去されていない場合、分離処理部１２は、図６及び図７を参照して以下に説明するように、表示データについて差分抽出処理を行い、抽出した当該差分をデータ送信部１４に送る（ステップＳ６）。表示データが新たに生成された表示データであるか、又は、表示データが消去された場合、分離処理部１２は、ステップＳ６を省略する。 The separation processing unit 12 checks whether the display data in the display processing target data is newly generated display data or whether the display data has been deleted in step S3 (step S5). When the display data is not newly generated display data and the display data is not erased, the separation processing unit 12 performs a difference with respect to the display data as will be described below with reference to FIGS. An extraction process is performed, and the extracted difference is sent to the data transmission unit 14 (step S6). If the display data is newly generated display data or the display data is deleted, the separation processing unit 12 omits step S6.

図６及び図７は、アプリケーション１０１の処理によって、画面ｃ内の部分画像ｃ（ｐ）が回転する場合について示す。特に、図６はデータ送信装置１における画面ｃの処理のみを示し、図７はクライアント装置２における画面ｃの表示について示す。 6 and 7 show a case where the partial image c (p) in the screen c is rotated by the processing of the application 101. FIG. In particular, FIG. 6 shows only the processing of the screen c in the data transmission device 1, and FIG. 7 shows the display of the screen c in the client device 2.

図６において、例えば、現在の表示データが、現在時刻である時刻ｔにスタックメモリ１５に記憶された画面（実際は、画面のデータ、以下同じ）１５ｃであり、前回の表示データが、時刻（ｔ−１）にスタックメモリ１５に記憶された画面（実際は、画面のデータ、以下同じ）１５ｃ’であるとする。図７（Ａ）及び図７（Ｂ）は、各々、時刻ｔ−１及び時刻ｔにスタックメモリ１５に記憶された画面１５ｃ’及び１５ｃが表示部２４に表示された画面２４ｃ’及び２４ｃを示す。 In FIG. 6, for example, the current display data is a screen 15c (actually, screen data, the same applies hereinafter) stored in the stack memory 15 at time t, which is the current time, and the previous display data is time (t -1) is a screen (actually screen data, the same applies hereinafter) 15c ′ stored in the stack memory 15. 7A and 7B show screens 24c ′ and 24c in which the screens 15c ′ and 15c stored in the stack memory 15 at time t−1 and time t are displayed on the display unit 24, respectively. .

前回の表示データは、画面１５ｃ’及び画面２４ｃ’（図７（Ａ））であり、円柱２１０の画像を含む。この状態で、アプリケーション１０１の処理によって、例えば、円柱２１０が９０度回転して円柱２１１に変化させられるとする。円柱２１２は、円柱２１０から円柱２１１への変化の過程の画像であり、参考のために図示されている。スタックメモリ１５には、前回の表示データの処理の結果として画面１５ｃ’が格納されており、当該表示データの処理の結果として画面１５ｃが格納される。 The previous display data is the screen 15 c ′ and the screen 24 c ′ (FIG. 7A), and includes the image of the cylinder 210. In this state, it is assumed that, for example, the cylinder 210 is rotated 90 degrees and changed to the cylinder 211 by the processing of the application 101. The cylinder 212 is an image of the process of changing from the cylinder 210 to the cylinder 211 and is shown for reference. In the stack memory 15, a screen 15c 'is stored as a result of the previous display data processing, and a screen 15c is stored as a result of the display data processing.

この場合、分離処理部１２は、画面１５ｃと画面１５ｃ’との差分を抽出する。画面１５ｃと画面１５ｃ’との相違は、円柱２１０と円柱２１２との相違である。即ち、当該差分は、円柱２１０の部分画像ｃ（ｐ）及び円柱２１２の部分画像ｃ’（ｐ）の表示領域（当該円柱及びその周囲の所定の範囲の領域）である。換言すれば、当該差分は、前回の表示データにおける部分画像ｃ’（ｐ）を置換する当該表示データにおける部分画像ｃ（ｐ）である。部分画像ｃ（ｐ）と部分画像ｃ’（ｐ）とは同じ大きさである。分離処理部１２は、当該差分として、部分画像ｃ（ｐ）を抽出する。 In this case, the separation processing unit 12 extracts a difference between the screen 15c and the screen 15c ′. A difference between the screen 15 c and the screen 15 c ′ is a difference between the cylinder 210 and the cylinder 212. That is, the difference is a display area of the partial image c (p) of the cylinder 210 and the partial image c ′ (p) of the cylinder 212 (the cylinder and a predetermined range area around the cylinder). In other words, the difference is the partial image c (p) in the display data that replaces the partial image c ′ (p) in the previous display data. The partial image c (p) and the partial image c ′ (p) have the same size. The separation processing unit 12 extracts the partial image c (p) as the difference.

この結果、画面ｃの表示データとして、当該画面ｃの全体の表示データではなく、差分である部分画像ｃ（ｐ）が、データ圧縮された上で、クライアント装置２に送信される（後述するステップＳ９）。これに応じて、制御部２３は、部分画像ｃ（ｐ）を伸張した上で、当該差分である部分画像ｃ（ｐ）に基づいて、図７（Ａ）に示す画面ｃ’における部分画像ｃ’（ｐ）を、部分画像ｃ（ｐ）により上書きし（更新し）、図７（Ｂ）に示すように、当該表示データに基づく画面ｃを表示する。 As a result, as the display data of the screen c, not the entire display data of the screen c but the partial image c (p) which is a difference is compressed and transmitted to the client device 2 (steps to be described later) S9). In response to this, the control unit 23 expands the partial image c (p), and then, based on the partial image c (p) that is the difference, the partial image c on the screen c ′ shown in FIG. '(P) is overwritten (updated) with the partial image c (p), and the screen c based on the display data is displayed as shown in FIG. 7B.

なお、図６に点線で示すように、回転途中の円柱２１２の部分画像を生成してスタックメモリ１５に格納し、これに基づいて、画面２４ｃにおいて回転途中の円柱２１２を表示するようにしても良い。 As shown by a dotted line in FIG. 6, a partial image of the rotating cylinder 212 is generated and stored in the stack memory 15, and based on this, the rotating cylinder 212 is displayed on the screen 24c. good.

図５に戻って、分離処理部１２が、表示処理対象データにおける表示データとコマンドとを分離した後（ステップＳ７）、コマンド送信部１３がコマンドをＴＣＰによりクライアント装置２に対して送信し（ステップＳ８）、データ送信部１４がステップＳ６において抽出された差分を送信データとしてクライアント装置２に対して送信する（ステップＳ９）。この送信時において、当該表示データが新たに生成された表示データである場合には、データ送信部１４は、当該新たに生成された表示データの全体を送信データとしてクライアント装置２に対して送信する。 Returning to FIG. 5, after the separation processing unit 12 separates the display data and the command in the display processing target data (step S7), the command transmission unit 13 transmits the command to the client device 2 by TCP (step S7). S8) The data transmission unit 14 transmits the difference extracted in step S6 to the client apparatus 2 as transmission data (step S9). At the time of transmission, if the display data is newly generated display data, the data transmission unit 14 transmits the entire newly generated display data to the client device 2 as transmission data. .

図８は、図５のステップＳ９においてデータ送信部１４により実行される送信データの送信処理の詳細を示す送信処理フローである。 FIG. 8 is a transmission process flow showing details of the transmission data transmission process executed by the data transmission unit 14 in step S9 of FIG.

データ送信部１４のデータ圧縮部１４１が、分離処理部１２から送られた当該差分をＪＰＥＧ変換（ＪＰＥＧ画像データに圧縮）して、データメモリ１４４に記憶する（ステップＳ９１）。 The data compression unit 141 of the data transmission unit 14 performs JPEG conversion (compression into JPEG image data) on the difference sent from the separation processing unit 12, and stores it in the data memory 144 (step S91).

次に、画像変化判断部１４２が、表示データについて画像の変化率を算出する（ステップＳ９２）。例えば、画像変化判断部１４２は、図９に示すように、抽出された差分である部分画像ｃ（ｐ）の面積を求め、画面ｃの全体の面積に対する部分画像ｃ（ｐ）の面積（図９に示す点線の矩形部の面積）の割合を、画像の変化率として算出する。 Next, the image change determination unit 142 calculates an image change rate for the display data (step S92). For example, as shown in FIG. 9, the image change determination unit 142 obtains the area of the partial image c (p) that is the extracted difference, and the area of the partial image c (p) with respect to the entire area of the screen c (see FIG. 9). 9 is calculated as the rate of change of the image.

次に、画像変化判断部１４２が、算出された変化率が変化率閾値以上であるか否かを調べる（ステップＳ９３）。画像変化判断部１４２は、変化率が変化率閾値以上である場合、当該差分をＵＤＰによりクライアント装置２に送信し（ステップＳ９４）。変化率が変化率閾値未満である場合、当該差分をＴＣＰによりクライアント装置２に送信する（ステップＳ９５）。 Next, the image change determination unit 142 checks whether or not the calculated change rate is equal to or higher than the change rate threshold (step S93). When the change rate is equal to or higher than the change rate threshold, the image change determination unit 142 transmits the difference to the client device 2 by UDP (step S94). When the change rate is less than the change rate threshold, the difference is transmitted to the client device 2 by TCP (step S95).

なお、新たに生成された表示データについては、データ送信部１４は、当該新たに生成された表示データを、例えばＪＰＥＧ画像データに圧縮した後、ステップＳ９２及びＳ９３の処理を実行することなく、ＵＤＰによりクライアント装置２に対して送信する。 For newly generated display data, the data transmission unit 14 compresses the newly generated display data into, for example, JPEG image data, and then performs the UDP without executing the processes of steps S92 and S93. Is transmitted to the client device 2.

図１０は、クライアント装置２における表示データの表示処理フローの一例を示す図である。 FIG. 10 is a diagram illustrating an example of a display data display processing flow in the client device 2.

入力部２２が、ユーザの操作入力に従って、処理の実行要求を通信部２１に入力し（ステップＳ１０１）、これに応じて、通信部２１が当該実行要求をデータ送信装置１の受信部１１に対して送信する（ステップＳ１０２）。 The input unit 22 inputs a process execution request to the communication unit 21 in accordance with a user operation input (step S101). In response to this, the communication unit 21 sends the execution request to the reception unit 11 of the data transmission device 1. (Step S102).

この後、制御部２３は、通信部２１を介して、前記実行要求に応じてアプリケーション１０１が起動中であることをクライアント装置２から通知されると（ステップＳ１０３）、アプリケーションが起動中であることを示す情報を、表示部２４に表示させる（ステップＳ１０４）。 Thereafter, when the control unit 23 is notified via the communication unit 21 that the application 101 is being activated in response to the execution request (step S103), the application is being activated. Is displayed on the display unit 24 (step S104).

次に、通信部２１が、コマンド送信部１３からコマンドを受信し（ステップＳ１０５）、データ送信部１４から表示データの前記差分を受信する（ステップＳ１０６）。制御部２３が、受信されたコマンド及び表示データの差分とをデータメモリ２５に記憶し、これらに基づいて、表示部２４に表示すべき表示データを表示用メモリ（図示せず）上において更新し（ステップＳ１０７）、前記更新された表示データに応じた画像を、表示部２４に表示させる（ステップＳ１０８）。 Next, the communication unit 21 receives a command from the command transmission unit 13 (step S105), and receives the difference in display data from the data transmission unit 14 (step S106). The control unit 23 stores the received command and the difference between the display data in the data memory 25 and updates display data to be displayed on the display unit 24 on the display memory (not shown) based on these. (Step S107), an image corresponding to the updated display data is displayed on the display unit 24 (Step S108).

図１１（Ａ）は本データ処理システムによる表示データの送信処理を示す。なお、比較のために、図１６を再度図１１（Ｂ）として示す。 FIG. 11A shows display data transmission processing by the data processing system. For comparison, FIG. 16 is shown again as FIG.

図１１（Ａ）において、図１６と同様に、例えば、クライアント装置２００のユーザが、アプリケーションＡ、Ｂ及びＣに対する処理の実行を要求するための操作入力を、この順に行うとする。なお、図１１（Ａ）において、ａはアプリケーションＡによる処理の実行の結果に応じた表示データの差分（送信データ）である。ｂ及びｃも同様である。 In FIG. 11A, as in FIG. 16, for example, it is assumed that the user of the client device 200 performs operation input for requesting execution of processing for the applications A, B, and C in this order. In FIG. 11A, a is a display data difference (transmission data) corresponding to a result of execution of processing by the application A. The same applies to b and c.

データ送信装置１は、時刻ｔ₀に、コマンドＡをＴＣＰにより、送信データａをＵＤＰにより、別々にクライアント装置２に送信する。データ送信装置１は、コマンドＡの送信が完了した時刻ｔ₀₁にコマンドＢの送信を開始し、送信データａの送信が完了した時刻に送信データｂの送信を開始する。コマンドＣ及び送信データｃについても同様である。 The data transmission device 1 separately transmits the command A to the client device 2 at time t ₀ by TCP and the transmission data a by UDP. The data transmitting apparatus 1 starts transmitting the command B at the time t ₀₁ when the transmission of the command A is completed, and starts transmitting the transmission data b at the time when the transmission of the transmission data a is completed. The same applies to the command C and the transmission data c.

クライアント装置２は、データ送信装置１からのコマンドＡの受信が完了した時刻ｔ₀₁に、コマンドＡと受信途中の送信データａとに基づいて、画像ａの表示を開始し、画像ａの表示が完了した時刻ｔ₀₃に、既に受信を完了したコマンドＢと受信途中の送信データｂとに基づいて、画像ｂの表示を開始する。画像ｃの表示についても同様である。 The client device 2 starts displaying the image a based on the command A and the transmission data a being received at the time t ₀₁ when the reception of the command A from the data transmission device 1 is completed. At the completed time t ₀₃ , display of the image b is started based on the command B that has already been received and the transmission data b that is being received. The same applies to the display of the image c.

時刻ｔ₀₆に、クライアント装置２が画像ｃの表示を完了すると、クライアント装置２が操作入力の待ち状態となり、ユーザがデータ送信装置１に対して次の処理の実行を要求するための操作入力を行うことができる。例えば、クライアント装置２の制御部２３が、時刻ｔ₀₆に、表示部２４に、ユーザに対して操作入力待ちとなったことを通知するための表示をさせる。 When the client device 2 completes the display of the image c at time t ₀₆ , the client device 2 enters an operation input waiting state, and the user inputs an operation input for requesting the data transmission device 1 to execute the next process. It can be carried out. For example, at time t ₀₆ , the control unit 23 of the client device 2 causes the display unit 24 to display to notify the user that the operation input is waited.

なお、データ送信装置１がコマンドＣの送信を完了した時刻ｔ₀₄に、クライアント装置２が操作入力の待ち状態となるようにしても良い。 Note that at time t ₀₄ when the data transmission device 1 completes the transmission of the command C, the client device 2 may wait for an operation input.

このように、データ送信装置１は、コマンドと表示データの差分とを別々にクライアント装置２に対して送信するので、クライアント装置２は、最初の（又は、先行する）コマンドの受信を完了した直後に、当該コマンドに対応する表示データに基づいて、最初の画像の表示処理を開始することができる。また、クライアント装置２は、次のコマンドの受信が完了していれば、前記最初の画像の表示処理が完了すると、次の画像の表示処理を実行することができる。従って、データ送信装置１が最初のコマンド（コマンドＡ）を送信してからクライアント装置２において画像の表示処理が全て完了するまでの時間（ｔ₀₆−ｔ₀）は、図１１（Ｂ）において画像の表示処理が全て完了するまでの時間（ｔ₆−ｔ₀）に比べて、極めて短い。 Thus, since the data transmission device 1 transmits the command and the difference between the display data separately to the client device 2, the client device 2 immediately after receiving the first (or preceding) command. In addition, the first image display process can be started based on the display data corresponding to the command. Further, if the reception of the next command is completed, the client device 2 can execute the display process of the next image when the display process of the first image is completed. Therefore, the time (t ₀₆ -t ₀ ) from when the data transmitting apparatus 1 transmits the first command (command A) until the client apparatus 2 completes all the image display processes is the image in FIG. Compared with the time (t ₆ -t ₀ ) until all the display processes are completed, it is extremely short.

また、クライアント装置２は、図１１（Ｂ) においてクライアント装置が操作入力の待ち状態となる時刻ｔ₆より大幅に早い時刻（時刻ｔ₀₆）に、操作入力の待ち状態となる。例えば、クライアント装置２が画像ｃの表示を完了する時間は、図１１（Ｂ) において画像ｃの表示が完了する時間に比べて、約２分の１に短縮される。 Further, the client apparatus 2 enters the operation input waiting state at a time (time t ₀₆ ) that is significantly earlier than the time t ₆ when the client apparatus enters the operation input waiting state in FIG. For example, the time for the client device 2 to complete the display of the image c is shortened by about one half compared to the time for the display of the image c in FIG.

図１２は、本データ処理システムの構成の他の一例を示す図である。図１２において、データ送信装置１’は、図１のデータ送信装置１が備える構成に加えて、送信量制御部１６を備える。送信量制御部１６は、受信部１１によって受信された処理の実行要求の受信量を算出して、算出された受信量と予め定められた閾値（受信量閾値）とを比較する。受信量閾値の値は経験的（又は実験的）に定めることができる。 FIG. 12 is a diagram illustrating another example of the configuration of the data processing system. In FIG. 12, the data transmission device 1 ′ includes a transmission amount control unit 16 in addition to the configuration included in the data transmission device 1 of FIG. 1. The transmission amount control unit 16 calculates the reception amount of the process execution request received by the reception unit 11, and compares the calculated reception amount with a predetermined threshold (reception amount threshold). The reception amount threshold value can be determined empirically (or experimentally).

送信量制御部１６は、前記比較の結果、受信量が受信量閾値以上である（又は、受信量閾値より大きい）場合に、データ送信部１４に、クライアント装置２に対する送信データの送信量を減少させる。また、送信量制御部１６は、受信量が受信量閾値未満（又は、受信量閾値以下）である場合に、データ送信部１４に、クライアント装置２に対する送信データの送信量を増加させる。 When the reception amount is equal to or greater than the reception amount threshold (or larger than the reception amount threshold) as a result of the comparison, the transmission amount control unit 16 reduces the transmission amount of transmission data to the client device 2 to the data transmission unit 14. Let Also, the transmission amount control unit 16 causes the data transmission unit 14 to increase the transmission amount of transmission data to the client device 2 when the reception amount is less than the reception amount threshold (or less than the reception amount threshold).

図１３は、送信量制御部が実行する送信データの送信量の制御処理フローの一例を示す図である。 FIG. 13 is a diagram illustrating an example of a processing flow for controlling the transmission amount of transmission data executed by the transmission amount control unit.

送信量制御部１６が、受信部１１によって受信された処理の実行要求の受信量を算出し（ステップＳ１１１）、当該受信量が受信量閾値以上であるか否かを調べる（ステップＳ１１２）。送信量制御部１６は、当該受信量が受信量閾値以上である場合は、送信データの送信量を減少させ（ステップＳ１１３）、当該受信量が受信量閾値未満である場合は、送信データの送信量を増加させる（ステップＳ１１４）。 The transmission amount control unit 16 calculates the reception amount of the process execution request received by the reception unit 11 (step S111), and checks whether the reception amount is equal to or greater than the reception amount threshold (step S112). The transmission amount control unit 16 decreases the transmission amount of the transmission data when the reception amount is equal to or larger than the reception amount threshold (step S113), and transmits the transmission data when the reception amount is less than the reception amount threshold. The amount is increased (step S114).

これにより、図１４に示すように、送信データ量を制御することができ、結果として、クライアント装置２における表示処理の負荷を適正に維持することができる。例えば、時刻ｔ₀からｔ₁の間は、処理の実行要求の受信量が多いので、送信データの送信量を減少させる。時刻ｔ₁からｔ₂の間は、処理の実行要求の受信量が少ないので、送信データの送信量を増加させる。時刻ｔ₂以降は、処理の実行要求の受信量が増加するので、送信データの送信量を減少させる。なお、図１４において、縦軸は受信部１１が受信した処理の実行要求の受信量を示し、横軸は時間を示す。 Thereby, as shown in FIG. 14, the amount of transmission data can be controlled, and as a result, the load of display processing in the client device 2 can be properly maintained. For example, since the amount of processing execution requests received is large between times t ₀ and t ₁ , the amount of transmission data is reduced. Between times t ₁ and t _2, the amount of received processing execution requests is small, so the amount of transmission data is increased. Time t ₂ later, the reception of the execution request of the processing is increased, reducing the transmission amount of the transmission data. In FIG. 14, the vertical axis indicates the amount of processing execution requests received by the receiving unit 11, and the horizontal axis indicates time.

以上、説明したように、本データ送信装置及び本データ送信方法によれば、クライアント装置からの実行要求に応じた表示処理対象データの送信量を少なくすることができ、かつ、画像の変化率に応じて信頼性の高い通信プロトコルと高速な通信プロトコルとを使い分けることができる。これにより、先行する実行要求から次の実行要求までの時間を短縮することができ、また、当該実行結果をクライアント装置に対してより高速に送信し表示することができる。この結果、表示データとコマンドとからなる表示処理対象データを、最小のデータ量で、最適な通信プロトコルにより送信することができる。 As described above, according to the data transmission device and the data transmission method, it is possible to reduce the transmission amount of the display processing target data according to the execution request from the client device, and to increase the change rate of the image. Accordingly, a reliable communication protocol and a high-speed communication protocol can be properly used. As a result, the time from the previous execution request to the next execution request can be shortened, and the execution result can be transmitted to the client device at a higher speed and displayed. As a result, display processing target data composed of display data and commands can be transmitted with an optimal communication protocol with a minimum amount of data.

データ処理システムの構成の一例を示す図である。It is a figure which shows an example of a structure of a data processing system. 表示データとコマンドとの分離処理を説明する図である。It is a figure explaining the separation processing of display data and a command. スタックメモリ内の表示データの管理を説明する図である。It is a figure explaining management of the display data in a stack memory. クライアント装置における画面表示の一例を示す図である。It is a figure which shows an example of the screen display in a client apparatus. コマンド及び表示データの送信処理フローの一例を示す図である。It is a figure which shows an example of the transmission process flow of a command and display data. 表示データについての差分抽出処理の例を説明する図である。It is a figure explaining the example of the difference extraction process about display data. クライアント装置における画像の表示の一例を示す図である。It is a figure which shows an example of the display of the image in a client apparatus. 送信データの送信処理の詳細な例を説明する送信処理フローである。It is a transmission process flow explaining the detailed example of the transmission process of transmission data. 画像の変化率の算出処理を説明する図である。It is a figure explaining the calculation process of the change rate of an image. 表示データの表示処理フローである。It is a display processing flow of display data. 表示データの送信処理を説明する図である。It is a figure explaining the transmission process of display data. データ処理システムの構成の他の一例を示す図である。It is a figure which shows another example of a structure of a data processing system. 送信データの送信量の制御処理フローである。It is a control processing flow of the transmission amount of transmission data. 送信データの送信量の制御処理を説明する図である。It is a figure explaining the control processing of the transmission amount of transmission data. 本発明の背景となる対話型処理システムを示す図である。It is a figure which shows the interactive processing system used as the background of this invention. 本発明の背景となる送信処理を説明する図である。It is a figure explaining the transmission process used as the background of this invention.

Explanation of symbols

１データ送信装置
２クライアント装置
１１処理実行要求受信部（受信部）
１２分離処理部
１３コマンド送信部
１４データ送信部
１５スタックメモリ
２１通信部
２２入力部
２３制御部
２４表示部
２５、１４４データメモリ
１０１アプリケーション
１４１データ圧縮部
１４２画像変化判断部
１４３送信部 DESCRIPTION OF SYMBOLS 1 Data transmission apparatus 2 Client apparatus 11 Processing execution request reception part (reception part)
DESCRIPTION OF SYMBOLS 12 Separation processing part 13 Command transmission part 14 Data transmission part 15 Stack memory 21 Communication part 22 Input part 23 Control part 24 Display part 25, 144 Data memory 101 Application 141 Data compression part 142 Image change judgment part 143 Transmission part

Claims

Receiving means for receiving a process execution request from the client device;
Generating means for generating display processing target data including display data and a command for displaying the display data by executing processing corresponding to the received execution request;
Separation processing means for separately holding display data and commands in the display processing target data, and obtaining a difference between the display data corresponding to the display data held immediately before the display data and the display data;
Command transmitting means for transmitting the separated command to the client device by a first communication protocol having a first communication speed;
When the change rate of the image is calculated for the display data, and the change rate is equal to or higher than a predetermined change rate threshold, the difference obtained by the separation processing unit is used as transmission data, and the first communication speed and Is transmitted to the client device by a second communication protocol having a different second communication speed, and when the change rate is less than the change rate threshold, the difference is used as transmission data to transmit the first communication protocol. And a data transmission means for transmitting to the client device.

The data transmission device according to claim 1,
The first communication protocol is TCP;
The data transmission apparatus, wherein the second communication protocol is UDP.

The data transmission device according to claim 1, further comprising:
The received amount of the received execution request is calculated, and when the received amount is equal to or greater than a predetermined received amount threshold, the data transmitting unit is instructed to reduce the transmitted amount of the transmitted data to the client device And a transmission amount control means for instructing the data transmission means to increase the transmission amount of the transmission data to the client device when the reception amount is less than the reception amount threshold value. apparatus.

The data transmission device according to claim 1,
The data transmitting apparatus, wherein the display data separated by the separation processing means has link information to a command corresponding to the display data, and the command has link information to the display data.

A data transmission method for transmitting display data according to processing requested from a client device to the client device,
Receiving a process execution request from the client device;
Executing processing corresponding to the received execution request to generate display processing target data including display data and a command for displaying the display data;
Separately holding the display data and the command in the display processing target data and obtaining the difference between the display data corresponding to the display data held immediately before the display data and the display data,
Transmitting the separated command to the client device by a first communication protocol having a first communication speed;
When the change rate of the image is calculated for the display data, and the change rate is equal to or higher than a predetermined change rate threshold, the difference obtained by the separation processing unit is used as transmission data, and the first communication speed and Is transmitted to the client device by a second communication protocol having a different second communication speed, and when the change rate is less than the change rate threshold, the difference is used as transmission data to transmit the first communication protocol. A data transmission method comprising: transmitting to the client device according to the above.