JP2011123760A - Display control device and control system - Google Patents

Display control device and control system Download PDF

Info

Publication number
JP2011123760A
JP2011123760A JP2009282092A JP2009282092A JP2011123760A JP 2011123760 A JP2011123760 A JP 2011123760A JP 2009282092 A JP2009282092 A JP 2009282092A JP 2009282092 A JP2009282092 A JP 2009282092A JP 2011123760 A JP2011123760 A JP 2011123760A
Authority
JP
Japan
Prior art keywords
application
display
pointer
input operation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009282092A
Other languages
Japanese (ja)
Other versions
JP5473578B2 (en
Inventor
Munehiro Yoneda
宗弘 米田
Takahiro Katoji
貴洋 加藤子
Toshiaki Otaka
聡明 大高
Kazufumi Naruto
一文 成戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
NEC Corp
Original Assignee
Mitsubishi Heavy Industries Ltd
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd, NEC Corp filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2009282092A priority Critical patent/JP5473578B2/en
Publication of JP2011123760A publication Critical patent/JP2011123760A/en
Application granted granted Critical
Publication of JP5473578B2 publication Critical patent/JP5473578B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To ensure quick response and operability of pointer display and pointer control. <P>SOLUTION: A display control device includes: a first information processing terminal 2 which draws pointers corresponding to each of input operation devices 1 on a pointer screen, on the basis of manipulated variables input from the input operation devices 1; a second information processing terminal 8 which draws an operation state of an application on an application screen in accordance with input instruction information input from the input operation devices 1; and an image composition part 6 which generates a composite image by superposing the two screens and outputs the composite image to a display device 7. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、例えば、ウィンドウシステム(Window system)を使用した管制システムに係り、特に、複数のポインタを同時に制御することのできる表示制御装置に関する。   The present invention relates to a control system using, for example, a window system, and more particularly to a display control apparatus capable of simultaneously controlling a plurality of pointers.

マルチウィンドウ環境を実現するため、ウィンドウシステムを利用して操作や表示を実現するアプリケーションが多数存在する。ウィンドウシステムとは、並行に動作する複数のタスク(アプリケーション)にそれぞれ固有の領域(ウィンドウ)を割当て、画面出力を多重化するコンピュータ上のメカニズム及びそのためのソフトウェアであり、現在、広く利用されている。ウィンドウシステムでは、基本的に1つの画面上で操作可能なポインタは1つであり、例えば、大画面上に複数のウィンドウを表示し複数の操作員で操作をする場合、ウィンドウシステムとは別に同時操作を行うための仕組みを実装する必要がある。   In order to realize a multi-window environment, there are many applications that use a window system to perform operations and displays. A window system is a mechanism on a computer that allocates unique areas (windows) to multiple tasks (applications) that operate in parallel and multiplexes screen output, and software for the same. Currently, it is widely used. . In a window system, there is basically one pointer that can be operated on a single screen. For example, when a plurality of windows are displayed on a large screen and operated by a plurality of operators, the pointer is operated simultaneously with the window system. It is necessary to implement a mechanism for performing operations.

例えば、特許文献1には、ネットワークを介して互いに接続される情報処理端末と共有画面表示装置とを備えるマルチウィンドウ環境の電子会議システムが開示されている。特許文献1には、複数の操作員が各々の操作端末を用いて共有画面表示装置上のウィンドウを同時に操作する場合のウィンドウ制御権について開示されている。   For example, Patent Document 1 discloses a multi-window environment electronic conference system including an information processing terminal and a shared screen display device connected to each other via a network. Patent Document 1 discloses a window control right in a case where a plurality of operators operate windows on a shared screen display device at the same time using each operation terminal.

特開2000−181846号公報JP 2000-181846 A

上記特許文献1には、複数の操作端末のポインティングデバイスからの入力を共有画面表示装置へ転送した場合のポインタの移動及びウィンドウ制御を行うための具体的手法は示されていない。
しかしながら、例えば、特許文献1の構成によると、ポインタ制御を行うプログラムとアプリケーションプログラムとが同一の情報処理端末において処理され、その処理結果を同一の情報処理端末が保有するビデオカード等で共有表示装置に表示する構成となっている。
Patent Document 1 does not disclose a specific method for performing pointer movement and window control when inputs from pointing devices of a plurality of operation terminals are transferred to a shared screen display device.
However, for example, according to the configuration of Patent Document 1, the pointer control program and the application program are processed in the same information processing terminal, and the processing result is shared by a video card or the like held by the same information processing terminal. Is configured to be displayed.

そのため、例えば、ウィンドウ表示を行うアプリケーションプログラムが、一定周期で多数の3次元ポリゴン目標を表示するような場合、換言すると、管制装置の状況表示のように、表示処理負荷の大きなアプリケーションの場合には、状況表示の処理に費やされる時間が多いため、ポインタ表示やポインタ制御が遅れる等の問題があった。更に、ポインタ制御の負荷が増加することにより、本来のアプリケーションの状況表示のリアルタイム性が低下する等の問題があった。   Therefore, for example, when an application program that performs window display displays a large number of three-dimensional polygon targets at a fixed period, in other words, in the case of an application with a large display processing load such as a status display of a control device. However, since a lot of time is spent on the status display processing, there is a problem that pointer display and pointer control are delayed. Furthermore, there is a problem that the real-time performance of the original application status display is reduced due to an increase in pointer control load.

本発明は、上記問題を解決するためになされたもので、管制システムの状況表示のように、時々刻々変化し、かつ、多数の目標を3次元表示するようなウィンドウアプリケーションに適用された場合でも、ポインタ表示及びポインタ制御の即応性及び操作性を確保することのできる表示制御装置及びそれを備える管制システムを提供することを目的とする。   The present invention has been made to solve the above problems, and even when applied to a window application that changes every moment and displays a large number of targets three-dimensionally, such as a status display of a control system. Another object of the present invention is to provide a display control device capable of ensuring quick response and operability of pointer display and pointer control, and a control system including the display control device.

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の入力操作手段とネットワークを介して接続され、該入力操作手段から入力される操作量に基づいて表示手段に表示されているポインタを移動させるとともに、該入力操作手段から入力される入力指示情報に従って該表示手段に表示されているアプリケーションの動作状況を変更させる表示制御システムであって、前記表示手段の表示領域に相当するポインタ用スクリーンを有し、該入力操作手段の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に前記入力操作手段の各々に対応するポインタを描画する第1の処理手段と、前記表示手段の表示領域に相当するアプリケーション用スクリーンを有し、該入力操作手段の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する第2の処理手段と、前記ポインタが描画されたポインタ用スクリーン及び前記アプリケーションの動作状況が描画されたアプリケーション用スクリーンを重畳した合成画像を作成して前記表示手段に出力する画像合成手段とを具備する表示制御装置を提供する。
In order to solve the above problems, the present invention employs the following means.
The present invention is connected to a plurality of input operation means via a network, moves a pointer displayed on the display means based on an operation amount input from the input operation means, and receives an input from the input operation means. A display control system for changing the operation status of the application displayed on the display means according to the input instruction information, comprising a pointer screen corresponding to the display area of the display means, from each of the input operation means First processing means for drawing a pointer corresponding to each of the input operation means on the pointer screen based on an input operation amount, and an application screen corresponding to a display area of the display means In accordance with the input instruction information input from each of the input operation means, the application operating status is A composite image is generated by superimposing the second processing means for drawing on the screen for the application, the screen for the pointer on which the pointer is drawn and the screen for the application on which the operation status of the application is drawn, and outputs the composite image to the display means Provided is a display control device comprising image composition means.

このように、ポインタを描画する第1の処理手段と、アプリケーションの動作状況を描画する第2の処理手段とを備えるので、ポインタ制御表示とアプリケーションの動作状況表示とを別個の手段、例えば、別個のハードウェアによって実現することが可能となる。このように、表示に関する処理を分離し、別個の処理手段にそれぞれ割り当てることで、処理能力を高めることができる。これにより、即応性、操作性の向上を図ることが可能となる。また、画像合成手段により、個別の処理手段によって作成されたスクリーンが重畳されるので、表示手段には、あたかも一つの処理手段によって表示制御がされたのと同様の画面を表示させることが可能となる。   As described above, since the first processing means for drawing the pointer and the second processing means for drawing the operation status of the application are provided, the pointer control display and the operation status display of the application are separately provided, for example, separately. It can be realized by hardware. In this way, the processing capability can be increased by separating the processing relating to display and assigning the processing to separate processing means. Thereby, it becomes possible to improve responsiveness and operability. Further, since the screen created by the individual processing means is superimposed by the image synthesizing means, it is possible to display the same screen as if display control was performed by one processing means on the display means. Become.

上記表示制御装置において、前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段が支配権を有しているアプリケーションの識別情報とを対応付けた支配権テーブルを保有しており、前記入力操作手段からアプリケーションに関する入力指示情報を受信した場合に、該入力操作手段が該アプリケーションの支配権を有するか否かを前記支配権テーブルを参照して判定し、支配権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該アプリケーションに関する入力指示情報を関連付けて前記第2の処理手段に出力することとしてもよい。   In the display control apparatus, the first processing unit has a control table that associates the identification information of the input operation unit with the identification information of the application that the input operation unit has control over. When the input instruction information related to the application is received from the input operation means, the input operation means determines whether or not the application has the control right with reference to the control right table, and has the control right In addition, the identification information of the input operation means, the identification information of the application, and the input instruction information related to the application may be output in association with the second processing means.

このように、アプリケーションの支配権テーブルを管理することで、一つのアプリケーションが複数の操作員によって操作されることを防止することができる。   Thus, by managing the application control table, it is possible to prevent one application from being operated by a plurality of operators.

上記表示制御装置において、前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段がウィンドウの移動権を有しているアプリケーションの識別情報とを対応付けた移動権テーブルを保有しており、前記入力操作手段からウィンドウの移動に関する操作情報を受信した場合に、該入力操作手段が該アプリケーションのウィンドウの移動権を有するか否かを前記移動権テーブルを参照して判定し、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて前記第2の処理手段に出力することとしてもよい。   In the display control apparatus, the first processing unit has a movement right table in which identification information of the input operation unit is associated with identification information of an application for which the input operation unit has a right to move the window. And determining whether the input operation means has the right to move the window of the application with reference to the movement right table when receiving operation information related to the movement of the window from the input operation means, If the user has the right to move the window, the identification information of the input operation means, the identification information of the application, and the movement operation information of the window may be associated with each other and output to the second processing means.

このように、アプリケーションウィンドウの移動権テーブルを管理することで、一つのアプリケーションウィンドウが複数の操作員によって移動させられることを防止することができる。   As described above, by managing the movement right table of application windows, it is possible to prevent one application window from being moved by a plurality of operators.

上記表示制御装置において、前記アプリケーションの支配権を有している入力操作手段と異なる入力操作手段が、前記アプリケーションのウィンドウの移動権を獲得可能とされていることとしてもよい。   In the display control device, an input operation means different from the input operation means having the control right of the application may be able to acquire the right to move the window of the application.

このようにすることで、例えば、いずれかの入力操作手段によって支配されているアプリケーションに関するウィンドウを他の入力操作手段からの移動指示に基づいて移動させることができる。   In this way, for example, a window related to an application controlled by any input operation means can be moved based on a movement instruction from another input operation means.

本発明は、複数の入力操作手段と、複数の該入力操作手段とネットワークを介して接続される上記のいずれかの表示制御装置と、前記表示制御装置から出力される画像信号を表示する表示手段とを具備する管制システムを提供する。   The present invention provides a plurality of input operation means, any one of the display control apparatuses connected to the plurality of input operation means via a network, and display means for displaying an image signal output from the display control apparatus. A control system comprising:

本発明によれば、管制システムの状況表示のように、時々刻々変化し、かつ、多数の目標を3次元表示するようなウィンドウアプリケーションに適用された場合でも、ポインタ表示及びポインタ制御の即応性及び操作性を確保することができるという効果を奏する。   According to the present invention, even when applied to a window application that changes from moment to moment and displays a large number of targets in a three-dimensional manner, such as the status display of a control system, the pointer display and the responsiveness of pointer control and There is an effect that operability can be ensured.

本実施形態に係る管制システムの概略構成を示したブロック図である。It is the block diagram which showed schematic structure of the control system which concerns on this embodiment. 図1に示した管制システムの構成を更に詳細に示した図である。It is the figure which showed the structure of the control system shown in FIG. 1 in detail. ポインタ用スクリーンの概要を説明するための図である。It is a figure for demonstrating the outline | summary of the screen for pointers. アプリケーション用スクリーンの概要を説明するための図である。It is a figure for demonstrating the outline | summary of the screen for applications. 図3に示されたスクリーンと図4に示されたスクリーンとを重畳させた合成スクリーンの概要を説明するための図である。FIG. 5 is a diagram for explaining an outline of a composite screen in which the screen shown in FIG. 3 and the screen shown in FIG. 4 are superimposed. 表示に関する動作を説明する図であり、ポインタ用スクリーンとアプリケーション用スクリーンが表示装置の表示画面上で合成されるまでの仕組みを模式的に表した図である。It is a figure explaining the operation | movement regarding a display, and is the figure which represented typically the structure until a pointer screen and an application screen are synthesize | combined on the display screen of a display apparatus. ポインタ移動制御の動作を説明するための動作フローである。It is an operation | movement flow for demonstrating the operation | movement of pointer movement control. ポインタ用スクリーンの概念を示した図である。It is the figure which showed the concept of the screen for pointers. 支配権テーブルの一例を示した図である。It is the figure which showed an example of the control table. ポインタ表示座標テーブルの一例を示した図であり、(a)はポインタ移動前のポインタ表示座標テーブル、(b)は、ポインタ移動後のポインタ表示座標テーブルを示した図である。It is the figure which showed an example of the pointer display coordinate table, (a) is the pointer display coordinate table before a pointer movement, (b) is the figure which showed the pointer display coordinate table after a pointer movement. アプリケーションの状況表示に関する処理手順を説明するための動作フローである。It is an operation | movement flow for demonstrating the process sequence regarding the status display of an application. 表示装置の表示画面の一例を示した図である。It is the figure which showed an example of the display screen of a display apparatus. 支配権テーブルの一例を示した図である。It is the figure which showed an example of the control table. ポインタ表示座標テーブルの一例を示した図である。It is the figure which showed an example of the pointer display coordinate table. アプリケーション起動又は終了時のビューマネージャの動作を説明する図である。It is a figure explaining operation | movement of the view manager at the time of application starting or completion | finish. アプリケーションの起動又は終了以外の場合のビューマネージャの動作を説明するための図である。It is a figure for demonstrating operation | movement of the view manager in cases other than starting or completion | finish of an application.

以下に、本発明に係る表示制御装置及び管制システムの一実施形態について、図面を参照して説明する。
図1は、本実施形態に係る管制システムの概略構成を示したブロック図である。
図1に示されるように、本実施形態に係る管制システムは、複数の入力操作装置1と、複数の入力操作装置1とネットワークNet9を介して接続される表示制御装置30と、表示制御装置30から出力される画像信号を表示する表示装置7とを備えている。
入力操作装置1は、各操作員が表示装置7の大画面表示上に表示されたポインタの操作及びウィンドウに対する操作を実施するための操作端末であり、例えば、操作員数分用意されている。
表示制御装置30は、各入力操作装置1から入力される操作量に基づいて表示装置7に表示されているポインタを移動させるとともに、各入力操作装置1から入力される入力指示情報に従って表示装置7に表示されているアプリケーションの動作状況を変化させる。
表示装置7は、液晶、プラズマ、リアプロジェクタ等の表示装置であり、1面の表示装置でもよいし、複数の表示装置を組み合わせて一つの大画面を構成する表示装置でもよい。
Hereinafter, an embodiment of a display control device and a control system according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a control system according to the present embodiment.
As shown in FIG. 1, the control system according to the present embodiment includes a plurality of input operation devices 1, a display control device 30 connected to the plurality of input operation devices 1 via a network Net 9, and a display control device 30. And a display device 7 for displaying an image signal output from.
The input operation device 1 is an operation terminal for each operator to operate the pointer displayed on the large screen display of the display device 7 and the operation on the window. For example, the input operation device 1 is prepared for the number of operators.
The display control device 30 moves the pointer displayed on the display device 7 based on the operation amount input from each input operation device 1, and the display device 7 according to the input instruction information input from each input operation device 1. Change the operating status of the application displayed in.
The display device 7 is a display device such as liquid crystal, plasma, or rear projector, and may be a single-side display device or a display device that combines a plurality of display devices to form a single large screen.

図2は、図1に示した管制システムの構成を更に詳細に示した図である。
図2に示されるように、入力操作装置1は、例えば、情報処理端末であり、入力デバイスとして、キーボード101、ポインティングデバイス102を備えている。キーボード101は、ウィンドウに対する入力等の操作及びアプリケーションの起動又は終了の入力を行うための装置である。ポインティングデバイス102は、ポインタ操作、ウィンドウに対する操作を行うための装置である。キーボード101及びポインティングデバイス102から入力された各入力情報は、リモートカーソル(Remote Cursor)103に送られ、ここで処理がされた後、表示制御装置30に出力される。
FIG. 2 is a diagram showing the configuration of the control system shown in FIG. 1 in more detail.
As illustrated in FIG. 2, the input operation device 1 is, for example, an information processing terminal, and includes a keyboard 101 and a pointing device 102 as input devices. The keyboard 101 is a device for performing an operation such as an input to a window and an input for starting or ending an application. The pointing device 102 is a device for performing pointer operations and window operations. Each input information input from the keyboard 101 and the pointing device 102 is sent to a remote cursor 103, processed there, and then output to the display control device 30.

表示制御装置30は、第1の情報処理端末(第1の処理手段)2と、第2の情報処理端末(第2の処理手段)8と、画像合成部(画像合成手段)6とを主な構成として備えている。
第1の情報処理端末2及び第2の情報処理端末8は、いわゆるコンピュータであり、CU(中央演算処理装置)、RAM(Random Access Memory)等の主記憶装置、HDD(Hard Disk Drive)等の補助記憶装置、外部の機器と通信を行うことにより情報の授受を行う通信装置等などで構成されている。
補助記憶装置には、各種プログラム(例えば、アプリケーションソフトウェア)が格納されており、CPUが補助記憶装置から主記憶装置にプログラムを読み出し、実行することにより種々の処理を実現させる。
The display control device 30 mainly includes a first information processing terminal (first processing means) 2, a second information processing terminal (second processing means) 8, and an image composition unit (image composition means) 6. It is prepared as a simple configuration.
The first information processing terminal 2 and the second information processing terminal 8 are so-called computers, such as a CU (Central Processing Unit), a main storage device such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), or the like. It is composed of an auxiliary storage device, a communication device that exchanges information by communicating with external devices, and the like.
Various programs (for example, application software) are stored in the auxiliary storage device, and various processes are realized by the CPU reading and executing the program from the auxiliary storage device to the main storage device.

第1の情報処理端末2は、例えば、表示装置7の表示画面領域に相当するポインタ用スクリーンを有し、該入力操作装置1の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に入力操作装置1の各々に対応するポインタを描画する。具体的には、第1の情報処理端末2は、入力操作装置1の各々から入力される操作量に基づいてポインタ用スクリーン上における各ポインタの表示座標を算出し、上記ポインタ用スクリーン上の該当表示座標に各ポインタを描画する。各ポインタが描画されたポインタ用スクリーンは、ビデオ信号に変換されて画像合成部6に出力される。第1の情報処理端末2は、例えば、ポインタを表示するためのアプリケーションソフトウェアがインストールされており、このアプリケーションソフトウェアを実行することで上記処理を実現させる。   The first information processing terminal 2 has, for example, a pointer screen corresponding to the display screen area of the display device 7, and on the pointer screen based on the operation amount input from each of the input operation devices 1. A pointer corresponding to each of the input operation devices 1 is drawn. Specifically, the first information processing terminal 2 calculates the display coordinates of each pointer on the pointer screen based on the operation amount input from each of the input operation devices 1, and the corresponding information on the pointer screen. Draw each pointer at the display coordinates. The pointer screen on which each pointer is drawn is converted into a video signal and output to the image composition unit 6. For example, application software for displaying a pointer is installed in the first information processing terminal 2, and the above processing is realized by executing the application software.

より具体的には、第1の情報処理端末2は、マルチカーソルコントローラ21、描画部22、ビデオカード23、支配権テーブル24、ポインタ表示座標テーブル25を備えている。
マルチカーソルコントローラ21は、入力操作装置1毎に表示装置7の表示画面上のポインタの移動を制御すると共に、入力操作装置1が制御しているアプリケーション毎に入力指示情報(例えば、キーボード101の入力情報、ポインティングデバイス102のボタン押下情報)を当該アプリケーションに対しウィンドウシステムのインタフェース仕様に変換して出力する。また、入力操作装置1から入力された入力指示情報がアプリケーションの起動又は終了か否かを判断し、起動又は終了の場合には、ビューマネージャ3に対してアプリケーションの起動又は終了を通知する。
More specifically, the first information processing terminal 2 includes a multi-cursor controller 21, a drawing unit 22, a video card 23, a control table 24, and a pointer display coordinate table 25.
The multi-cursor controller 21 controls the movement of the pointer on the display screen of the display device 7 for each input operation device 1, and input instruction information (for example, input from the keyboard 101) for each application controlled by the input operation device 1. Information, button pressing information of the pointing device 102) is converted into the window system interface specification for the application and output. Further, it is determined whether or not the input instruction information input from the input operation device 1 is activation or termination of the application. If activation or termination is determined, the view manager 3 is notified of activation or termination of the application.

描画部22は、ポインタ用スクリーン上の該当表示座標にポインタを描画する。ビデオカード23は情報処理端末に装備される一般的なビデオカードであり、ポインタ描画後のポインタ用スクリーンをビデオ信号へ変換する。   The drawing unit 22 draws the pointer at the corresponding display coordinates on the pointer screen. The video card 23 is a general video card installed in the information processing terminal, and converts the pointer screen after the pointer drawing into a video signal.

支配権テーブル24は、該入力操作装置1とポインタ情報と支配権を有しているアプリケーションの識別情報とを互いに対応付けて保持するテーブルである。この支配権テーブルには、該アプリケーションの識別情報に対応付けてアプリケーションの表示座標及びサイズ等が登録されている。
ポインタ表示座標テーブル25は、各ポインタ識別情報と現在の表示座標とを対応付けて保持するテーブルである。
The control right table 24 is a table that holds the input operation device 1, the pointer information, and the identification information of the application having the control right in association with each other. In the control table, display coordinates and size of the application are registered in association with the identification information of the application.
The pointer display coordinate table 25 is a table that holds each pointer identification information and the current display coordinate in association with each other.

第2の情報処理端末8は、表示装置7の表示領域に相当するアプリケーション用スクリーンを有しており、入力操作装置1の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する。このアプリケーション用スクリーンの大きさは、上述したポインタ用スクリーンの大きさと同じである。   The second information processing terminal 8 has an application screen corresponding to the display area of the display device 7, and displays the operation status of the application according to the input instruction information input from each of the input operation devices 1. To draw. The size of the application screen is the same as the size of the pointer screen described above.

具体的には、第2の情報処理端末8は、表示制御部4と表示処理部5とを備えている。本実施形態において、表示制御部4と表示処理部5とは独立のハードウェアにより構成されているが、これに代えて、共通のハードウェアにより構成されていてもよい。   Specifically, the second information processing terminal 8 includes a display control unit 4 and a display processing unit 5. In the present embodiment, the display control unit 4 and the display processing unit 5 are configured by independent hardware, but may be configured by common hardware instead.

表示制御部4は、複数のアプリケーションプログラム41とウィンドウマネージャ(Window Manager)42とを備えている。アプリケーションプログラム41は、入力操作装置1からの入力指示情報に応じて、起動、制御、終了されるアプリケーションプログラムである。ウィンドウマネージャ42は、複数のアプリケーションプログラム41のウィンドウ表示を制御するプログラムである。   The display control unit 4 includes a plurality of application programs 41 and a window manager 42. The application program 41 is an application program that is activated, controlled, and terminated in accordance with input instruction information from the input operation device 1. The window manager 42 is a program that controls the window display of the plurality of application programs 41.

表示処理部5は、表示制御部4で動作するアプリケーションの表示処理を行い、表示装置7に表示するためのプリケーション用スクリーンの生成を行い、これをビデオ信号に変換して、画像合成部6に出力する。
具体的には、表示処理部5は、描画部51とビデオカード52とを備えている。描画部51は、ウィンドウマネージャ42から出力される情報、具体的には、アプリケーションウィンドウをアプリケーション用スクリーン上の該当座標に表示するプログラムである。ビデオカード52は、ビデオカード23と同様、情報処理端末に装備される一般的なビデオカードである。
The display processing unit 5 performs display processing of an application that operates in the display control unit 4, generates an application screen for display on the display device 7, converts this to a video signal, and converts the image signal into an image composition unit 6. Output to.
Specifically, the display processing unit 5 includes a drawing unit 51 and a video card 52. The drawing unit 51 is a program that displays information output from the window manager 42, specifically, an application window at corresponding coordinates on the application screen. Similar to the video card 23, the video card 52 is a general video card installed in an information processing terminal.

画像合成部6は、ポインタが描画されたポインタ用スクリーン及びアプリケーションの動作状況が描画されたアプリケーション用スクリーンを第1の情報処理端末2及び第2の情報処理端末8から受信し、該スクリーンを重畳することにより、合成画像データを作成し、表示装置7に出力する。画像合成部6は、例えば、一般的に使用されているビデオ合成装置である。   The image composition unit 6 receives the pointer screen on which the pointer is drawn and the application screen on which the operation status of the application is drawn from the first information processing terminal 2 and the second information processing terminal 8, and superimposes the screens As a result, composite image data is created and output to the display device 7. The image composition unit 6 is, for example, a commonly used video composition device.

上記第1の情報処理端末2及び第2の情報処理端末8は、ビューマネージャ(View Manager)3に接続されている。ビューマネージャ3は、入力操作装置1から第1の情報処理端末2を経由して入力されるアプリケーションの起動又は終了情報を元に、表示制御部4に対しアプリケーションの起動又は終了の制御を行うと共に、アプリケーション用スクリーン上のウィンドウの座標、ウィンドウのサイズを取得し、第1の情報処理端末2に出力する。   The first information processing terminal 2 and the second information processing terminal 8 are connected to a view manager 3. The view manager 3 controls the display control unit 4 to start or end the application based on the application start or end information input from the input operation device 1 via the first information processing terminal 2. The window coordinates on the application screen and the window size are acquired and output to the first information processing terminal 2.

上記構成を備える表示制御装置において、第1の情報処理端末2と画像合成部6との間、第2の情報処理端末8と画像合成部6との間、及び画像合成部6と表示装置7との間は、DVI等のビデオ信号で連接される。また、各入力操作装置1、第1の情報処理端末2、ビューマネージャ部3及び表示制御部4は、ネットワークNet(図1参照)を介して互いに接続されている。
また、本実施形態においては、表示制御部4と表示処理部5との間もネットワークで接続されるが、前記ネットワーク9とは分離したネットワークで接続する。これは、表示更新周期、表示情報量及び表示処理負荷が大きい状況表示等を表示するために、前記ネットワーク9と分離し表示リアルタイム性を確保するためである。
In the display control device having the above-described configuration, the first information processing terminal 2 and the image composition unit 6, the second information processing terminal 8 and the image composition unit 6, and the image composition unit 6 and the display device 7. Are connected by a video signal such as DVI. In addition, each input operation device 1, the first information processing terminal 2, the view manager unit 3, and the display control unit 4 are connected to each other via a network Net (see FIG. 1).
In this embodiment, the display control unit 4 and the display processing unit 5 are also connected by a network, but are connected by a network separated from the network 9. This is for separating display from the network 9 and ensuring display real-time properties in order to display a display update cycle, a display information amount, and a status display with a large display processing load.

次に、図3乃至図5を用いてスクリーンの説明を行う。
図3はポインタ用スクリーンの概要を説明するための図、図4はアプリケーション用スクリーンの概要を説明するための図、図5は2つの上記スクリーンを重畳させた合成スクリーンの概要を説明するための図である。
図3に示したポインタ用スクリーン及び図4に示したアプリケーション用スクリーンのいずれにおいても、スクリーンの左上が座標の原点(0,0)に設定されており、左上から水平方向にx軸、垂直方向にy軸が設定されている。具体的には、スクリーンの左上を基準に右にいくほどx座標値が増加し、また、左上から下にいくほどy座標値が増加するように設定されている。
Next, the screen will be described with reference to FIGS.
3 is a diagram for explaining the outline of the pointer screen, FIG. 4 is a diagram for explaining the outline of the application screen, and FIG. 5 is a diagram for explaining the outline of the composite screen in which the two screens are superimposed. FIG.
In both the pointer screen shown in FIG. 3 and the application screen shown in FIG. 4, the upper left corner of the screen is set to the coordinate origin (0, 0), and the x-axis and vertical direction are set horizontally from the upper left corner. Is set to the y-axis. Specifically, the x coordinate value increases as it goes to the right with respect to the upper left of the screen, and the y coordinate value increases as it goes from the upper left to the lower side.

ポインタ用スクリーンとアプリケーション用スクリーンの座標サイズ(最大のx,y)は同じとされ、表示装置7に重畳表示される場合、同じ座標の表示は、同じ位置に重畳されるようになっている。ポインタは、ポインタの左上の座標で管理され、図3乃至図5の例では、ポインタAの表示位置が(xp1,yp1)の座標、ポインタBの表示位置が(xp2,yp2)の座標でそれぞれ表現される。   The coordinate sizes (maximum x, y) of the pointer screen and the application screen are the same, and when they are superimposed and displayed on the display device 7, the display of the same coordinates is superimposed at the same position. The pointer is managed by the upper left coordinate of the pointer. In the examples of FIGS. 3 to 5, the display position of the pointer A is the coordinates of (xp1, yp1), and the display position of the pointer B is the coordinates of (xp2, yp2). Expressed.

アプリケーション用スクリーン上におけるアプリケーションウィンドウの表示位置は、ウィンドウ位置(ウィンドウの左上の座標)及びウィンドウサイズ(x軸、y軸の幅)で表現される。図4の例では、アプリケーションαのウィンドウは、ウィンドウ位置が(xa1,ya1)でウィンドウサイズが(Wx1,Wy1)と表現され、アプリケーションβのウィンドウは、ウィンドウ位置が(xa2,ya2)でウィンドウサイズが(Wx2,Wy2)と表現される。
そして、図3及び図4に示された各スクリーンが重畳されることにより、図5に示すような合成スクリーンが作成される。
The display position of the application window on the application screen is expressed by the window position (the upper left coordinates of the window) and the window size (the x-axis and y-axis widths). In the example of FIG. 4, the window of the application α is represented by the window position (xa1, ya1) and the window size (Wx1, Wy1), and the window of the application β is the window size of (xa2, ya2). Is expressed as (Wx2, Wy2).
Then, by superimposing the screens shown in FIGS. 3 and 4, a composite screen as shown in FIG. 5 is created.

図6は、表示に関する動作を説明する図であり、先に説明したポインタ用スクリーン(図3参照)とアプリケーション用スクリーン(図4参照)が表示装置7の表示画面上で合成されるまでの仕組みを模式的に表した図である。
ポインタ用スクリーン10には、マルチカーソルコントローラ21により各入力操作装置1の操作量に基づいてポインタ用スクリーン10における各ポインタの表示座標が算出され、描画部22により、該表示座標に各ポインタが描画される。ポインタ描画後のポインタ用スクリーン10は、ビデオカード23によりビデオ信号に変換されて画像合成部6に出力される。
FIG. 6 is a diagram for explaining operations related to display, and the mechanism until the pointer screen (see FIG. 3) and the application screen (see FIG. 4) described above are combined on the display screen of the display device 7. FIG.
On the pointer screen 10, the display coordinates of each pointer on the pointer screen 10 are calculated by the multi-cursor controller 21 based on the operation amount of each input operation device 1, and each pointer is drawn on the display coordinates by the drawing unit 22. Is done. The pointer screen 10 after the pointer drawing is converted into a video signal by the video card 23 and output to the image composition unit 6.

同様に、アプリケーション用スクリーン11には、アプリケーションプログラム41、ウィンドウマネージャ42、及び描画部51の処理を経て、アプリケーション用スクリーン11上の該当表示座標にウィンドウが描画される。ウィンドウ描画後のアプリケーション用スクリーン11は、ビデオカード52によりビデオ信号に変換され、画像合成部6に出力される。   Similarly, on the application screen 11, a window is drawn at the corresponding display coordinates on the application screen 11 through the processing of the application program 41, the window manager 42, and the drawing unit 51. The application screen 11 after window drawing is converted into a video signal by the video card 52 and output to the image composition unit 6.

画像合成部6では、各々ビデオ信号として入力されたポインタ用スクリーン10と、アプリケーション用スクリーン11とがビデオ信号で重畳されることにより合成され、この合成スクリーンのビデオ信号が表示装置7に出力される。これにより、表示装置7の大画面上には、ポインタとアプリケーションウィンドウとが重畳されて表示されることとなる。   In the image synthesizing unit 6, the pointer screen 10 and the application screen 11 each input as a video signal are synthesized by being superimposed with the video signal, and the video signal of the synthesized screen is output to the display device 7. . As a result, the pointer and the application window are superimposed and displayed on the large screen of the display device 7.

次に、本実施形態に係る表示制御装置のポインタ操作に関する処理手順について、図7乃至図10を参照して説明する。図7は、ポインタ移動制御の動作を説明するための動作フローである。図8は、ポインタ用スクリーンの概念を示した図である。図9は、支配権テーブル24の一例を示した図である。図10は、ポインタ表示座標テーブル25の一例を示した図であり、図10(a)はポインタ移動前のポインタ表示座標テーブル、図10(b)は、ポインタ移動後のポインタ表示座標テーブルを示した図である。   Next, a processing procedure related to the pointer operation of the display control apparatus according to the present embodiment will be described with reference to FIGS. FIG. 7 is an operation flow for explaining the operation of the pointer movement control. FIG. 8 is a diagram showing the concept of the pointer screen. FIG. 9 is a diagram illustrating an example of the control right table 24. 10A and 10B are diagrams showing an example of the pointer display coordinate table 25. FIG. 10A shows a pointer display coordinate table before the pointer is moved, and FIG. 10B shows a pointer display coordinate table after the pointer is moved. It is a figure.

図7において、操作員が表示装置7に表示されているポインタを見ながら入力操作装置1のポインティングデバイス102の位置を移動させると、このポインティングデバイス102の操作移動量は、リモートカーソル103に入力される。リモートカーソル103は、この操作移動量に基づいてポインタ用スクリーン上におけるx軸、y軸のポインタ変位量Δx,Δyを算出し(図7のP101)、算出したポインタ変移量に、当該入力操作装置1の識別情報(例えば、端末No.1)を付与して、第1の情報処理端末2が備えるマルチカーソルコントローラ21に出力する(図7のP102)。   In FIG. 7, when the operator moves the position of the pointing device 102 of the input operation device 1 while looking at the pointer displayed on the display device 7, the operation movement amount of the pointing device 102 is input to the remote cursor 103. The The remote cursor 103 calculates the x-axis and y-axis pointer displacement amounts Δx and Δy on the pointer screen based on the operation movement amount (P101 in FIG. 7), and uses the calculated input pointer to the pointer movement amount. 1 identification information (for example, terminal No. 1) is assigned and output to the multi-cursor controller 21 provided in the first information processing terminal 2 (P102 in FIG. 7).

マルチカーソルコントローラ21は、リモートカーソル103からポインタ変移量及び端末No.1を受信すると(P201)、支配権テーブル24を参照し、端末No.1の入力操作装置1がどのポインタを制御しているかを判断する(P202,P203)。例えば、図9に示される支配権テーブルによれば、端末No.1の入力操作装置1がポインタAを制御していることがわかる。続いて、マルチカーソルコントローラ21は、ポインタAの現在の表示座標をポインタ表示テーブル25から読み出す(P204)。ここで、図10(a)に示されるように、ポインタAの現在の表示座標は(xp1,yp1)である。   The multi-cursor controller 21 receives the pointer shift amount and the terminal number from the remote cursor 103. 1 (P201), the control table 24 is referred to and the terminal No. It is determined which pointer is controlled by one input operation device 1 (P202, P203). For example, according to the control table shown in FIG. It can be seen that one input operation device 1 controls the pointer A. Subsequently, the multi-cursor controller 21 reads the current display coordinates of the pointer A from the pointer display table 25 (P204). Here, as shown in FIG. 10A, the current display coordinates of the pointer A are (xp1, yp1).

続いて、マルチカーソルコントローラ21は、リモートカーソル103から先ほど取得したポインタ変移量Δx,Δyと、ポインタ表示座標テーブル25から取得したポインタAの現在の表示座標とから、移動先のポインタ座標を算出する(P205)。この結果、ポインタAの移動後の表示座標は(xp1+Δx,yp1+Δy)となる。マルチカーソルコントローラ21は、移動後の表示座標に基づいて、図10(b)に示すように、ポインタ表示座標テーブル25を更新すると共に、ポインタAの移動先の表示座標の情報を描画部22に出力する(P208)。これにより、図8に示すように、移動後の表示座標にポインタAが描画されたポインタ用スクリーンが作成され、このポインタ用スクリーンがビデオ信号に変換されて画像合成部6に出力される(P209)。この結果、表示装置7において、ポインタAの位置が移動させられる。   Subsequently, the multi-cursor controller 21 calculates the pointer coordinates of the movement destination from the pointer shift amounts Δx and Δy acquired from the remote cursor 103 and the current display coordinates of the pointer A acquired from the pointer display coordinate table 25. (P205). As a result, the display coordinates after the movement of the pointer A are (xp1 + Δx, yp1 + Δy). The multi-cursor controller 21 updates the pointer display coordinate table 25 on the basis of the display coordinates after movement, as shown in FIG. Output (P208). As a result, as shown in FIG. 8, a pointer screen in which the pointer A is drawn at the display coordinates after movement is created, and this pointer screen is converted into a video signal and output to the image composition unit 6 (P209). ). As a result, the position of the pointer A is moved on the display device 7.

なお、上記説明では、端末No.1に対応するポインタAが既に表示装置7に表示されている場合について述べた。換言すると、支配権テーブル24に端末No.1に対応するポインタが登録されている場合について説明したが、例えば、端末No.1に対応するポインタ番号が存在しなかった場合、つまり、端末No.1に対応するポインタが表示装置7に表示されていない状態であった場合には(P203において「NO」)、マルチカーソルコントローラ21は、端末No.1に対するポインタ表示を新規として認識し、端末No.1に対して現在割り付けられていないポインタ番号(例えば、ポインタD)を付与して支配権テーブルを更新する(P206)。そして、該ポインタの表示座標としてスクリーンの中心座標を設定し、設定した中心座標と付与したポインタDの情報を描画部22に出力するとともに(P207)、ポインタの座標とポインタ番号とを対応付けてポインタ表示テーブル25に登録する(P208)。   In the above description, the terminal No. The case where the pointer A corresponding to 1 is already displayed on the display device 7 has been described. In other words, the terminal No. 1 has been described, for example, the terminal No. 1 is registered. 1 does not exist, that is, the terminal No. 1 is not displayed on the display device 7 (“NO” in P203), the multi-cursor controller 21 determines that the terminal No. 1 is recognized as new, and the terminal no. The control table is updated by assigning a pointer number (for example, pointer D) that is not currently allocated to 1 (P206). Then, the center coordinates of the screen are set as the display coordinates of the pointer, the set center coordinates and the assigned pointer D information are output to the drawing unit 22 (P207), and the pointer coordinates are associated with the pointer numbers. It is registered in the pointer display table 25 (P208).

次に、本実施形態に係る表示制御装置のアプリケーションの状況表示に関する処理手順について、図11乃至図16を参照して説明する。図11,図15,及び図16は、アプリケーションの状況表示に関する処理手順を説明するための動作フローである。図12は、表示装置7の表示画面の一例を示した図である。図13は、支配権テーブル24の一例を示した図である。図14は、ポインタ表示座標テーブル25の一例を示した図である。   Next, a processing procedure related to application status display of the display control apparatus according to the present embodiment will be described with reference to FIGS. 11 to 16. 11, FIG. 15, and FIG. 16 are operation flows for explaining the processing procedure relating to the application status display. FIG. 12 is a diagram illustrating an example of a display screen of the display device 7. FIG. 13 is a diagram illustrating an example of the control right table 24. FIG. 14 is a diagram showing an example of the pointer display coordinate table 25.

まず、操作員が表示装置7に表示されているウィンドウを見ながらアプリケーションに対する操作を実施する。例えば、ウィンドウの場所にポインタを移動させ、アプリケーションに関する入力指示を行うと、この入力指示情報はリモートカーソル103に入力される(図11のP103)。リモートカーソル103は、この入力指示情報に当該入力操作装置1の識別情報(例えば、端末No.1)を付与して、第1の情報処理端末2が備えるマルチカーソルコントローラ21に出力する(P104)。   First, the operator performs an operation on the application while looking at the window displayed on the display device 7. For example, when the pointer is moved to the location of the window and an input instruction regarding the application is given, this input instruction information is input to the remote cursor 103 (P103 in FIG. 11). The remote cursor 103 gives identification information (for example, terminal No. 1) of the input operation device 1 to the input instruction information, and outputs it to the multi-cursor controller 21 provided in the first information processing terminal 2 (P104). .

マルチカーソルコントローラ21は、リモートカーソル103からアプリケーションの入力指示情報が入力されると(P210)、この入力指示情報がアプリケーションの起動又は終了に関する情報か否かを判断する(P211)。この結果、アプリケーションの起動又は終了の場合には、図16の処理を実施する。なお、図16の詳細については後述する。   When the application input instruction information is input from the remote cursor 103 (P210), the multi-cursor controller 21 determines whether the input instruction information is information related to the activation or termination of the application (P211). As a result, when the application is activated or terminated, the processing of FIG. 16 is performed. Details of FIG. 16 will be described later.

一方、入力指示情報がアプリケーションの起動又は終了に関する情報ではなかった場合には、マルチカーソルコントローラ21は、支配権テーブル24を参照し(P212)、当該端末No.1がどのアプリケーションを支配しているのかを判断する(P213)。例えば、図13に示される支配権テーブル24によれば、端末No.1はアプリケーションαの支配権を有することがわかる。なお、この場合において、支配しているアプリケーションが登録されていなかった場合には、当該入力指示情報を無視し、処理を終了する(P218)。   On the other hand, if the input instruction information is not information related to the activation or termination of the application, the multi-cursor controller 21 refers to the control table 24 (P212), and the terminal No. It is determined which application 1 controls (P213). For example, according to the control table 24 shown in FIG. It can be seen that 1 has control of the application α. In this case, if the controlling application is not registered, the input instruction information is ignored and the process is terminated (P218).

次に、マルチカーソルコントローラ21は、端末No1が現在制御しているポインタAの情報を支配権テーブル24から取得するとともに、このポインタの現在の表示座標をポインタ表示座標テーブル25から取得する。更に、マルチカーソルコントローラ21は、支配権テーブルにおいて端末No1に対応付けられているアプリケーションウィンドウ座標及びアプリケーションウィンドウ幅を取得し、これらの情報に基づいてアプリケーションαのウィンドウの表示座標範囲を特定する(P214)。そして、ポインタAの表示座標とアプリケーションαのウィンドウの表示座標範囲とから、アプリケーションαのウィンドウ上にポインタAが表示されているか否かを判定する(P215)。   Next, the multi-cursor controller 21 acquires information on the pointer A currently controlled by the terminal No. 1 from the control table 24 and acquires the current display coordinates of this pointer from the pointer display coordinate table 25. Further, the multi-cursor controller 21 acquires the application window coordinates and the application window width associated with the terminal No. 1 in the control table, and specifies the display coordinate range of the window of the application α based on these pieces of information (P214). ). Then, it is determined from the display coordinates of the pointer A and the display coordinate range of the window of the application α whether or not the pointer A is displayed on the window of the application α (P215).

この結果、ウィンドウ上にない場合には、当該入力指示情報を無視し、処理を終了する(P218)。一方、ウィンドウ上にある場合には、先にリモートカーソル103から取得した入力指示情報をアプリケーションが使用しているウィンドウシステムのデータ形式、インタフェース仕様に変換し(P216)、第2の情報処理端末8に出力する(P217)。これにより、入力指示情報に基づくウィンドウの状況変化が表示装置7の表示画面に反映されることとなる(P401)。   As a result, if it is not on the window, the input instruction information is ignored and the process is terminated (P218). On the other hand, if it is on the window, the input instruction information previously obtained from the remote cursor 103 is converted into the data format and interface specification of the window system used by the application (P216), and the second information processing terminal 8 (P217). As a result, the window status change based on the input instruction information is reflected on the display screen of the display device 7 (P401).

次に、アプリケーションの起動又は終了の場合について、図15の処理フローに沿って説明する。図15は、アプリケーション起動又は終了時のビューマネージャ3の動作を説明する図である。図11のP211で入力操作装置1での操作がアプリケーションの起動又は終了と判断された場合、マルチカーソルコントローラ21は、ビューマネージャ3に入力指示情報を出力する(P219)。ビューマネージャ3は、入力された入力指示情報がアプリケーションの起動か終了かを判断する(P301,P302)。   Next, the case of activation or termination of an application will be described along the processing flow of FIG. FIG. 15 is a diagram for explaining the operation of the view manager 3 at the time of application activation or termination. When it is determined in P211 of FIG. 11 that the operation on the input operation device 1 is the activation or termination of the application, the multi-cursor controller 21 outputs the input instruction information to the view manager 3 (P219). The view manager 3 determines whether the input instruction information that has been input is activation or termination of the application (P301, P302).

この結果、アプリケーションの起動の場合には、表示制御部4に対して当該アプリケーションの起動命令を出力する(P303)。これにより、当該アプリケーションプログラム41が表示制御部4により起動されると、ビューマネージャ3は、アプリケーションウィンドウの表示位置及びサイズを表示制御部4のウィンドウマネージャ42に問い合わせる(P304)。ウィンドウマネージャ42は、前記問い合わせが入力されると(P402)、アプリケーションウィンドウの表示位置及びサイズをビューマネージャ3に出力する(P403)。ビューマネージャ3は、アプリケーションウィンドウの表示位置及びサイズが入力されると(P305)、第1の情報処理端末2の支配権テーブル24に起動されたアプリケーション番号、アプリケーションウィンドウの表示位置及びサイズと端末No.1とを対応付けて登録する(P306)。   As a result, when the application is activated, an activation instruction for the application is output to the display control unit 4 (P303). Thus, when the application program 41 is activated by the display control unit 4, the view manager 3 inquires the window manager 42 of the display control unit 4 about the display position and size of the application window (P304). When the inquiry is input (P402), the window manager 42 outputs the display position and size of the application window to the view manager 3 (P403). When the display position and size of the application window are input (P305), the view manager 3 starts the application number activated in the control table 24 of the first information processing terminal 2, the display position and size of the application window, and the terminal number. . 1 is registered in association with each other (P306).

一方、上記P302の判断において、アプリケーションの終了であると判断された場合には、ビューマネージャ3は、表示制御部4に対して当該アプリケーションの終了命令を出力する(P307)。これにより、当該アプリケーションプログラム41が表示制御部4により終了されると、ビューマネージャ部3は、第1の情報処理端末2の支配権テーブルから当該アプリケーション及び該アプリケーションウィンドウの表示位置及びサイズを削除する(P308)。   On the other hand, when it is determined in the above-described determination of P302 that the application is terminated, the view manager 3 outputs an application termination command to the display control unit 4 (P307). Thereby, when the application program 41 is terminated by the display control unit 4, the view manager unit 3 deletes the display position and size of the application and the application window from the control table of the first information processing terminal 2. (P308).

次に、入力操作装置1から入力された入力指示情報がアプリケーションの起動又は終了以外である場合についてのビューマネージャ3の動作について図16を参照して説明する。図16は、アプリケーションの起動又は終了以外の場合のビューマネージャ3の動作を説明するための図である。   Next, the operation of the view manager 3 when the input instruction information input from the input operation device 1 is other than the activation or termination of the application will be described with reference to FIG. FIG. 16 is a diagram for explaining the operation of the view manager 3 in cases other than the activation or termination of an application.

ビューマネージャ3は、ウィンドウの表示位置又はサイズに変更が発生した場合、及び所定の時間間隔において、表示制御部4のウィンドウマネージャ42に対し、アプリケーションウィンドウ位置及びサイズの問い合わせを行い(P304)、取得したアプリケーションウィンドウ位置及びサイズの情報に基づいて第1の情報処理端末2の支配権テーブル24を更新させる処理を実行する(P305,P309)。   The view manager 3 inquires the window manager 42 of the display control unit 4 about the application window position and size when a change occurs in the display position or size of the window and at a predetermined time interval (P304). Based on the information on the application window position and size, the control table 24 of the first information processing terminal 2 is updated (P305, P309).

次に、入力操作装置1から表示装置4に表示されているアプリケーションウィンドウの移動指示が出された場合における表示制御装置の動作について簡単に説明する。
この場合、第1の情報処理端末2のマルチカーソルコントローラ21は、入力操作装置1の識別情報とポインタ情報と該ポインタが移動権を有しているアプリケーションの識別情報とを対応付けた移動権テーブル(図示略)を保有しており、入力操作装置1のリモートカーソル103からウィンドウの移動に関する操作情報を受信した場合に、該入力操作装置が該アプリケーションのウィンドウの移動権を有するか否かを移動権テーブルを参照して判定する。
Next, the operation of the display control device when an instruction to move the application window displayed on the display device 4 is issued from the input operation device 1 will be briefly described.
In this case, the multi-cursor controller 21 of the first information processing terminal 2 associates the identification information of the input operation device 1, the pointer information, and the identification information of the application for which the pointer has the right to move. (Not shown) and when the operation information related to the movement of the window is received from the remote cursor 103 of the input operation device 1, whether or not the input operation device has the right to move the window of the application is moved. Judgment is made by referring to the right table.

この結果、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて第2の情報処理端末8に出力する。これにより、移動権を有する場合には、表示装置7において、ポインタの移動に伴ってウィンドウが移動されることとなる。なお、どのアプリケーションの移動が要求されているか否かについては、アプリケーションウィンドウの表示範囲内にポインタが表示されているか否かによって判断される。   As a result, if the user has the right to move the window, the identification information of the input operation means, the identification information of the application, and the movement operation information of the window are associated and output to the second information processing terminal 8. As a result, when the user has the right to move, the window is moved on the display device 7 as the pointer moves. Note that which application is requested to move is determined by whether or not a pointer is displayed within the display range of the application window.

なお、上述したアプリケーションの支配権については、例えば、ポインタをアプリケーションのウィンドウ上に移動させることにより取得できるようになっている。このアプリケーションの支配権は、排他的に設定されており、いずれかの入力操作装置によって支配されているアプリケーションについては、他の入力操作装置からのアプリケーションに関する操作は無効として取り扱われることとなる。   Note that the above-mentioned control right of the application can be acquired, for example, by moving the pointer onto the window of the application. The control right of this application is set exclusively, and for an application controlled by any one of the input operation devices, an operation related to the application from another input operation device is treated as invalid.

また、アプリケーションの支配権の解除は、アプリケーションウィンドウ以外の場所にポインタを移動させて所定の処理を行うことで実現できるように設定されている。なお、アプリケーションの支配権の取得及び解除については、任意に設定、変更できるものとする。   The release of the application control right is set to be realized by moving the pointer to a place other than the application window and performing a predetermined process. It should be noted that acquisition and cancellation of application control can be arbitrarily set and changed.

また、アプリケーションウィンドウの移動権についても排他的に設定されているが、アプリケーションの移動権とそのアプリケーションの支配権とが同一の入力操作装置に帰属していなくてもよい。つまり、アプリケーションの支配権を有している入力操作装置とは異なる入力操作装置がそのアプリケーションの移動権を有することとしてもよい。このようにすることで、例えば、表示装置7の表示画面において新しいアプリケーションを起動させようとする操作員が、表示画面中に表示されているアプリケーションウィンドウを所望の位置に移動させた後に、自分が希望するアプリケーションウィンドウを表示画面中に表示させることが可能となる。   Also, the right to move the application window is set exclusively, but the right to move the application and the right to control the application do not have to belong to the same input operation device. That is, an input operation device that is different from the input operation device having the application control right may have the right to move the application. In this way, for example, after an operator who wants to start a new application on the display screen of the display device 7 moves the application window displayed on the display screen to a desired position, The desired application window can be displayed on the display screen.

以上説明してきたように、本実施形態に係る表示制御装置及び管制システムによれば、ポインタをスクリーンに描画する第1の情報処理端末2と、アプリケーションの動作状況を描画する第2の情報処理端末2とを備えるので、ポインタ制御表示とアプリケーションの動作状況表示とを別個の端末によって実現することが可能となる。このように、表示に関する処理を分離し、別個の処理手段にそれぞれ割り当てることで、処理能力を高めることができる。これにより、即応性、操作性の向上を図ることが可能となる。   As described above, according to the display control device and the control system according to the present embodiment, the first information processing terminal 2 that draws the pointer on the screen and the second information processing terminal that draws the operation status of the application. 2, the pointer control display and the application operation status display can be realized by separate terminals. In this way, the processing capability can be increased by separating the processing relating to display and assigning the processing to separate processing means. Thereby, it becomes possible to improve responsiveness and operability.

1 入力操作装置
2 第1の情報処理端末
3 ビューマネージャ
4 表示制御部
5 表示処理部
6 画像合成部
7 表示装置
8 第2の情報処理端末
9 ネットワーク
10 ポインタ用スクリーン
11 アプリケーション用スクリーン
21 マルチカーソルコントローラ
22 描画部
23 ビデオカード
24 支配権テーブル
25 ポインタ表示座標テーブル
41 アプリケーションプログラム
42 ウィンドウマネージャ
51 描画部
52 ビデオカード
101 キーボード
102 ポインティングデバイス
103 リモートカーソル
DESCRIPTION OF SYMBOLS 1 Input operation apparatus 2 1st information processing terminal 3 View manager 4 Display control part 5 Display processing part 6 Image composition part 7 Display apparatus 8 2nd information processing terminal 9 Network 10 Pointer screen 11 Application screen 21 Multi cursor controller 22 Drawing unit 23 Video card 24 Control table 25 Pointer display coordinate table 41 Application program 42 Window manager 51 Drawing unit 52 Video card 101 Keyboard 102 Pointing device 103 Remote cursor

Claims (5)

複数の入力操作手段とネットワークを介して接続され、該入力操作手段から入力される操作量に基づいて表示手段に表示されているポインタを移動させるとともに、該入力操作手段から入力される入力指示情報に従って該表示手段に表示されているアプリケーションの動作状況を変更させる表示制御システムであって、
前記表示手段の表示領域に相当するポインタ用スクリーンを有し、該入力操作手段の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に前記入力操作手段の各々に対応するポインタを描画する第1の処理手段と、
前記表示手段の表示領域に相当するアプリケーション用スクリーンを有し、該入力操作手段の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する第2の処理手段と、
前記ポインタが描画されたポインタ用スクリーン及び前記アプリケーションの動作状況が描画されたアプリケーション用スクリーンを重畳した合成画像を作成して前記表示手段に出力する画像合成手段と
を具備する表示制御装置。
Input instruction information that is connected to a plurality of input operation means via a network, moves a pointer displayed on the display means based on an operation amount input from the input operation means, and is input from the input operation means A display control system for changing the operation status of the application displayed on the display means according to
A pointer screen corresponding to the display area of the display means is provided, and a pointer corresponding to each of the input operation means is drawn on the pointer screen based on an operation amount input from each of the input operation means. First processing means to:
A second processing unit that has an application screen corresponding to a display area of the display unit, and draws an operation state of the application on the application screen in accordance with input instruction information input from each of the input operation units;
A display control apparatus comprising: a pointer screen on which the pointer is drawn; and an image composition unit that creates a composite image on which the application screen on which the operation status of the application is rendered is superimposed and outputs the composite image to the display unit.
前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段が支配権を有しているアプリケーションの識別情報とを対応付けた支配権テーブルを保有しており、
前記入力操作手段からアプリケーションに関する入力指示情報を受信した場合に、該入力操作手段が該アプリケーションの支配権を有するか否かを前記支配権テーブルを参照して判定し、支配権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該アプリケーションに関する入力指示情報を関連付けて前記第2の処理手段に出力する請求項1に記載の表示制御装置。
The first processing means has a control table that associates the identification information of the input operation means with the identification information of an application for which the input operation means has control,
When receiving input instruction information related to an application from the input operation means, it is determined whether the input operation means has control of the application with reference to the control table, and if it has control, The display control apparatus according to claim 1, wherein the identification information of the input operation unit, the identification information of the application, and the input instruction information related to the application are associated and output to the second processing unit.
前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段がウィンドウの移動権を有しているアプリケーションの識別情報とを対応付けた移動権テーブルを保有しており、
前記入力操作手段からウィンドウの移動に関する操作情報を受信した場合に、該入力操作手段が該アプリケーションのウィンドウの移動権を有するか否かを前記移動権テーブルを参照して判定し、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて前記第2の処理手段に出力する請求項1または請求項2に記載の表示制御装置。
The first processing means has a movement right table in which identification information of the input operation means is associated with identification information of an application for which the input operation means has a right to move the window.
When receiving operation information related to window movement from the input operation means, it is determined by referring to the movement right table whether the input operation means has the right to move the window of the application, and the window movement right 3. The display control according to claim 1, wherein identification information of the input operation means, identification information of the application, and movement operation information of the window are associated and output to the second processing means. apparatus.
前記アプリケーションの支配権を有している入力操作手段と異なる入力操作手段が、前記アプリケーションのウィンドウの移動権を獲得可能とされている請求項3に記載の表示制御装置。   The display control apparatus according to claim 3, wherein an input operation unit different from the input operation unit having the control right of the application can acquire the right to move the window of the application. 複数の入力操作手段と、
複数の該入力操作手段とネットワークを介して接続される請求項1から請求項4のいずれかに記載の表示制御装置と、
前記表示制御装置から出力される画像信号を表示する表示手段と
を具備する管制システム。
A plurality of input operation means;
The display control apparatus according to any one of claims 1 to 4, wherein the display control apparatus is connected to the plurality of input operation means via a network.
A control system comprising display means for displaying an image signal output from the display control device.
JP2009282092A 2009-12-11 2009-12-11 Display control device and control system Active JP5473578B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009282092A JP5473578B2 (en) 2009-12-11 2009-12-11 Display control device and control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009282092A JP5473578B2 (en) 2009-12-11 2009-12-11 Display control device and control system

Publications (2)

Publication Number Publication Date
JP2011123760A true JP2011123760A (en) 2011-06-23
JP5473578B2 JP5473578B2 (en) 2014-04-16

Family

ID=44287574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009282092A Active JP5473578B2 (en) 2009-12-11 2009-12-11 Display control device and control system

Country Status (1)

Country Link
JP (1) JP5473578B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03119478A (en) * 1989-10-03 1991-05-21 Nippon Telegr & Teleph Corp <Ntt> Shared screen control system
JPH04280294A (en) * 1991-03-08 1992-10-06 Hitachi Ltd Pointer indicating device
JP2000181846A (en) * 1998-12-15 2000-06-30 Fujitsu Ltd Terminal operating device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03119478A (en) * 1989-10-03 1991-05-21 Nippon Telegr & Teleph Corp <Ntt> Shared screen control system
JPH04280294A (en) * 1991-03-08 1992-10-06 Hitachi Ltd Pointer indicating device
JP2000181846A (en) * 1998-12-15 2000-06-30 Fujitsu Ltd Terminal operating device

Also Published As

Publication number Publication date
JP5473578B2 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
KR100317690B1 (en) Control of video conferencing system with pointing device
WO2014154183A1 (en) Multi-window displaying and switching method, device and computer storage medium
JP2009245423A (en) Information device and window display method
JP2007293849A (en) Functional icon display system and method
JP2006172423A (en) Remote controlling system, remote controlling apparatus, controlled apparatus, remote controlling method, computer program, and storage medium
JP2001056675A (en) Screen superimposing display type information input/ output device
JPH01250129A (en) Display screen operating system
JP2010026066A (en) Image display control method, image supply device, and image display control program
JP2008293361A (en) Screen display system, control method therefor, program, and storage medium
JP2006243200A (en) Display apparatus for multi-pictures and control method for the same
WO2011108109A1 (en) Image display system, information processing apparatus, display apparatus, and image display method
US8994655B2 (en) Display control device comprising processing unit for drawing pointer and control system
JP5263419B2 (en) Image supply apparatus, image display control program, and image display control method
CN111857926B (en) Control method and device
JP5473578B2 (en) Display control device and control system
JP2017017446A (en) Information processing device and control method thereof, and program
JP6320241B2 (en) Engineering apparatus and screen display control method
JP2011028530A (en) Server device and coordinate correction program
JP2003092750A (en) Camera control system
JP2006330848A (en) Image editing system, method, and program
US11615766B2 (en) Control method for magnifying display screen and associated display system
JP2014171054A (en) Display device, monitor system with display device, and display control program
JP7283602B2 (en) Information processing device and information processing program
JP2019082647A (en) Multi-projection system, projector, image projection method and program
JP2013125526A (en) Image display device, and method and program of controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5473578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250