JP2011123760A - Display control device and control system - Google Patents
Display control device and control system Download PDFInfo
- Publication number
- JP2011123760A JP2011123760A JP2009282092A JP2009282092A JP2011123760A JP 2011123760 A JP2011123760 A JP 2011123760A JP 2009282092 A JP2009282092 A JP 2009282092A JP 2009282092 A JP2009282092 A JP 2009282092A JP 2011123760 A JP2011123760 A JP 2011123760A
- Authority
- JP
- Japan
- Prior art keywords
- application
- display
- pointer
- input operation
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 claims abstract description 17
- 239000002131 composite material Substances 0.000 claims abstract description 10
- 230000010365 information processing Effects 0.000 abstract description 39
- 230000004044 response Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、例えば、ウィンドウシステム(Window system)を使用した管制システムに係り、特に、複数のポインタを同時に制御することのできる表示制御装置に関する。 The present invention relates to a control system using, for example, a window system, and more particularly to a display control apparatus capable of simultaneously controlling a plurality of pointers.
マルチウィンドウ環境を実現するため、ウィンドウシステムを利用して操作や表示を実現するアプリケーションが多数存在する。ウィンドウシステムとは、並行に動作する複数のタスク(アプリケーション)にそれぞれ固有の領域(ウィンドウ)を割当て、画面出力を多重化するコンピュータ上のメカニズム及びそのためのソフトウェアであり、現在、広く利用されている。ウィンドウシステムでは、基本的に1つの画面上で操作可能なポインタは1つであり、例えば、大画面上に複数のウィンドウを表示し複数の操作員で操作をする場合、ウィンドウシステムとは別に同時操作を行うための仕組みを実装する必要がある。 In order to realize a multi-window environment, there are many applications that use a window system to perform operations and displays. A window system is a mechanism on a computer that allocates unique areas (windows) to multiple tasks (applications) that operate in parallel and multiplexes screen output, and software for the same. Currently, it is widely used. . In a window system, there is basically one pointer that can be operated on a single screen. For example, when a plurality of windows are displayed on a large screen and operated by a plurality of operators, the pointer is operated simultaneously with the window system. It is necessary to implement a mechanism for performing operations.
例えば、特許文献1には、ネットワークを介して互いに接続される情報処理端末と共有画面表示装置とを備えるマルチウィンドウ環境の電子会議システムが開示されている。特許文献1には、複数の操作員が各々の操作端末を用いて共有画面表示装置上のウィンドウを同時に操作する場合のウィンドウ制御権について開示されている。
For example,
上記特許文献1には、複数の操作端末のポインティングデバイスからの入力を共有画面表示装置へ転送した場合のポインタの移動及びウィンドウ制御を行うための具体的手法は示されていない。
しかしながら、例えば、特許文献1の構成によると、ポインタ制御を行うプログラムとアプリケーションプログラムとが同一の情報処理端末において処理され、その処理結果を同一の情報処理端末が保有するビデオカード等で共有表示装置に表示する構成となっている。
However, for example, according to the configuration of
そのため、例えば、ウィンドウ表示を行うアプリケーションプログラムが、一定周期で多数の3次元ポリゴン目標を表示するような場合、換言すると、管制装置の状況表示のように、表示処理負荷の大きなアプリケーションの場合には、状況表示の処理に費やされる時間が多いため、ポインタ表示やポインタ制御が遅れる等の問題があった。更に、ポインタ制御の負荷が増加することにより、本来のアプリケーションの状況表示のリアルタイム性が低下する等の問題があった。 Therefore, for example, when an application program that performs window display displays a large number of three-dimensional polygon targets at a fixed period, in other words, in the case of an application with a large display processing load such as a status display of a control device. However, since a lot of time is spent on the status display processing, there is a problem that pointer display and pointer control are delayed. Furthermore, there is a problem that the real-time performance of the original application status display is reduced due to an increase in pointer control load.
本発明は、上記問題を解決するためになされたもので、管制システムの状況表示のように、時々刻々変化し、かつ、多数の目標を3次元表示するようなウィンドウアプリケーションに適用された場合でも、ポインタ表示及びポインタ制御の即応性及び操作性を確保することのできる表示制御装置及びそれを備える管制システムを提供することを目的とする。 The present invention has been made to solve the above problems, and even when applied to a window application that changes every moment and displays a large number of targets three-dimensionally, such as a status display of a control system. Another object of the present invention is to provide a display control device capable of ensuring quick response and operability of pointer display and pointer control, and a control system including the display control device.
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の入力操作手段とネットワークを介して接続され、該入力操作手段から入力される操作量に基づいて表示手段に表示されているポインタを移動させるとともに、該入力操作手段から入力される入力指示情報に従って該表示手段に表示されているアプリケーションの動作状況を変更させる表示制御システムであって、前記表示手段の表示領域に相当するポインタ用スクリーンを有し、該入力操作手段の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に前記入力操作手段の各々に対応するポインタを描画する第1の処理手段と、前記表示手段の表示領域に相当するアプリケーション用スクリーンを有し、該入力操作手段の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する第2の処理手段と、前記ポインタが描画されたポインタ用スクリーン及び前記アプリケーションの動作状況が描画されたアプリケーション用スクリーンを重畳した合成画像を作成して前記表示手段に出力する画像合成手段とを具備する表示制御装置を提供する。
In order to solve the above problems, the present invention employs the following means.
The present invention is connected to a plurality of input operation means via a network, moves a pointer displayed on the display means based on an operation amount input from the input operation means, and receives an input from the input operation means. A display control system for changing the operation status of the application displayed on the display means according to the input instruction information, comprising a pointer screen corresponding to the display area of the display means, from each of the input operation means First processing means for drawing a pointer corresponding to each of the input operation means on the pointer screen based on an input operation amount, and an application screen corresponding to a display area of the display means In accordance with the input instruction information input from each of the input operation means, the application operating status is A composite image is generated by superimposing the second processing means for drawing on the screen for the application, the screen for the pointer on which the pointer is drawn and the screen for the application on which the operation status of the application is drawn, and outputs the composite image to the display means Provided is a display control device comprising image composition means.
このように、ポインタを描画する第1の処理手段と、アプリケーションの動作状況を描画する第2の処理手段とを備えるので、ポインタ制御表示とアプリケーションの動作状況表示とを別個の手段、例えば、別個のハードウェアによって実現することが可能となる。このように、表示に関する処理を分離し、別個の処理手段にそれぞれ割り当てることで、処理能力を高めることができる。これにより、即応性、操作性の向上を図ることが可能となる。また、画像合成手段により、個別の処理手段によって作成されたスクリーンが重畳されるので、表示手段には、あたかも一つの処理手段によって表示制御がされたのと同様の画面を表示させることが可能となる。 As described above, since the first processing means for drawing the pointer and the second processing means for drawing the operation status of the application are provided, the pointer control display and the operation status display of the application are separately provided, for example, separately. It can be realized by hardware. In this way, the processing capability can be increased by separating the processing relating to display and assigning the processing to separate processing means. Thereby, it becomes possible to improve responsiveness and operability. Further, since the screen created by the individual processing means is superimposed by the image synthesizing means, it is possible to display the same screen as if display control was performed by one processing means on the display means. Become.
上記表示制御装置において、前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段が支配権を有しているアプリケーションの識別情報とを対応付けた支配権テーブルを保有しており、前記入力操作手段からアプリケーションに関する入力指示情報を受信した場合に、該入力操作手段が該アプリケーションの支配権を有するか否かを前記支配権テーブルを参照して判定し、支配権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該アプリケーションに関する入力指示情報を関連付けて前記第2の処理手段に出力することとしてもよい。 In the display control apparatus, the first processing unit has a control table that associates the identification information of the input operation unit with the identification information of the application that the input operation unit has control over. When the input instruction information related to the application is received from the input operation means, the input operation means determines whether or not the application has the control right with reference to the control right table, and has the control right In addition, the identification information of the input operation means, the identification information of the application, and the input instruction information related to the application may be output in association with the second processing means.
このように、アプリケーションの支配権テーブルを管理することで、一つのアプリケーションが複数の操作員によって操作されることを防止することができる。 Thus, by managing the application control table, it is possible to prevent one application from being operated by a plurality of operators.
上記表示制御装置において、前記第1の処理手段は、該入力操作手段の識別情報と該入力操作手段がウィンドウの移動権を有しているアプリケーションの識別情報とを対応付けた移動権テーブルを保有しており、前記入力操作手段からウィンドウの移動に関する操作情報を受信した場合に、該入力操作手段が該アプリケーションのウィンドウの移動権を有するか否かを前記移動権テーブルを参照して判定し、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて前記第2の処理手段に出力することとしてもよい。 In the display control apparatus, the first processing unit has a movement right table in which identification information of the input operation unit is associated with identification information of an application for which the input operation unit has a right to move the window. And determining whether the input operation means has the right to move the window of the application with reference to the movement right table when receiving operation information related to the movement of the window from the input operation means, If the user has the right to move the window, the identification information of the input operation means, the identification information of the application, and the movement operation information of the window may be associated with each other and output to the second processing means.
このように、アプリケーションウィンドウの移動権テーブルを管理することで、一つのアプリケーションウィンドウが複数の操作員によって移動させられることを防止することができる。 As described above, by managing the movement right table of application windows, it is possible to prevent one application window from being moved by a plurality of operators.
上記表示制御装置において、前記アプリケーションの支配権を有している入力操作手段と異なる入力操作手段が、前記アプリケーションのウィンドウの移動権を獲得可能とされていることとしてもよい。 In the display control device, an input operation means different from the input operation means having the control right of the application may be able to acquire the right to move the window of the application.
このようにすることで、例えば、いずれかの入力操作手段によって支配されているアプリケーションに関するウィンドウを他の入力操作手段からの移動指示に基づいて移動させることができる。 In this way, for example, a window related to an application controlled by any input operation means can be moved based on a movement instruction from another input operation means.
本発明は、複数の入力操作手段と、複数の該入力操作手段とネットワークを介して接続される上記のいずれかの表示制御装置と、前記表示制御装置から出力される画像信号を表示する表示手段とを具備する管制システムを提供する。 The present invention provides a plurality of input operation means, any one of the display control apparatuses connected to the plurality of input operation means via a network, and display means for displaying an image signal output from the display control apparatus. A control system comprising:
本発明によれば、管制システムの状況表示のように、時々刻々変化し、かつ、多数の目標を3次元表示するようなウィンドウアプリケーションに適用された場合でも、ポインタ表示及びポインタ制御の即応性及び操作性を確保することができるという効果を奏する。 According to the present invention, even when applied to a window application that changes from moment to moment and displays a large number of targets in a three-dimensional manner, such as the status display of a control system, the pointer display and the responsiveness of pointer control and There is an effect that operability can be ensured.
以下に、本発明に係る表示制御装置及び管制システムの一実施形態について、図面を参照して説明する。
図1は、本実施形態に係る管制システムの概略構成を示したブロック図である。
図1に示されるように、本実施形態に係る管制システムは、複数の入力操作装置1と、複数の入力操作装置1とネットワークNet9を介して接続される表示制御装置30と、表示制御装置30から出力される画像信号を表示する表示装置7とを備えている。
入力操作装置1は、各操作員が表示装置7の大画面表示上に表示されたポインタの操作及びウィンドウに対する操作を実施するための操作端末であり、例えば、操作員数分用意されている。
表示制御装置30は、各入力操作装置1から入力される操作量に基づいて表示装置7に表示されているポインタを移動させるとともに、各入力操作装置1から入力される入力指示情報に従って表示装置7に表示されているアプリケーションの動作状況を変化させる。
表示装置7は、液晶、プラズマ、リアプロジェクタ等の表示装置であり、1面の表示装置でもよいし、複数の表示装置を組み合わせて一つの大画面を構成する表示装置でもよい。
Hereinafter, an embodiment of a display control device and a control system according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a control system according to the present embodiment.
As shown in FIG. 1, the control system according to the present embodiment includes a plurality of
The
The
The
図2は、図1に示した管制システムの構成を更に詳細に示した図である。
図2に示されるように、入力操作装置1は、例えば、情報処理端末であり、入力デバイスとして、キーボード101、ポインティングデバイス102を備えている。キーボード101は、ウィンドウに対する入力等の操作及びアプリケーションの起動又は終了の入力を行うための装置である。ポインティングデバイス102は、ポインタ操作、ウィンドウに対する操作を行うための装置である。キーボード101及びポインティングデバイス102から入力された各入力情報は、リモートカーソル(Remote Cursor)103に送られ、ここで処理がされた後、表示制御装置30に出力される。
FIG. 2 is a diagram showing the configuration of the control system shown in FIG. 1 in more detail.
As illustrated in FIG. 2, the
表示制御装置30は、第1の情報処理端末(第1の処理手段)2と、第2の情報処理端末(第2の処理手段)8と、画像合成部(画像合成手段)6とを主な構成として備えている。
第1の情報処理端末2及び第2の情報処理端末8は、いわゆるコンピュータであり、CU(中央演算処理装置)、RAM(Random Access Memory)等の主記憶装置、HDD(Hard Disk Drive)等の補助記憶装置、外部の機器と通信を行うことにより情報の授受を行う通信装置等などで構成されている。
補助記憶装置には、各種プログラム(例えば、アプリケーションソフトウェア)が格納されており、CPUが補助記憶装置から主記憶装置にプログラムを読み出し、実行することにより種々の処理を実現させる。
The
The first
Various programs (for example, application software) are stored in the auxiliary storage device, and various processes are realized by the CPU reading and executing the program from the auxiliary storage device to the main storage device.
第1の情報処理端末2は、例えば、表示装置7の表示画面領域に相当するポインタ用スクリーンを有し、該入力操作装置1の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に入力操作装置1の各々に対応するポインタを描画する。具体的には、第1の情報処理端末2は、入力操作装置1の各々から入力される操作量に基づいてポインタ用スクリーン上における各ポインタの表示座標を算出し、上記ポインタ用スクリーン上の該当表示座標に各ポインタを描画する。各ポインタが描画されたポインタ用スクリーンは、ビデオ信号に変換されて画像合成部6に出力される。第1の情報処理端末2は、例えば、ポインタを表示するためのアプリケーションソフトウェアがインストールされており、このアプリケーションソフトウェアを実行することで上記処理を実現させる。
The first
より具体的には、第1の情報処理端末2は、マルチカーソルコントローラ21、描画部22、ビデオカード23、支配権テーブル24、ポインタ表示座標テーブル25を備えている。
マルチカーソルコントローラ21は、入力操作装置1毎に表示装置7の表示画面上のポインタの移動を制御すると共に、入力操作装置1が制御しているアプリケーション毎に入力指示情報(例えば、キーボード101の入力情報、ポインティングデバイス102のボタン押下情報)を当該アプリケーションに対しウィンドウシステムのインタフェース仕様に変換して出力する。また、入力操作装置1から入力された入力指示情報がアプリケーションの起動又は終了か否かを判断し、起動又は終了の場合には、ビューマネージャ3に対してアプリケーションの起動又は終了を通知する。
More specifically, the first
The
描画部22は、ポインタ用スクリーン上の該当表示座標にポインタを描画する。ビデオカード23は情報処理端末に装備される一般的なビデオカードであり、ポインタ描画後のポインタ用スクリーンをビデオ信号へ変換する。
The
支配権テーブル24は、該入力操作装置1とポインタ情報と支配権を有しているアプリケーションの識別情報とを互いに対応付けて保持するテーブルである。この支配権テーブルには、該アプリケーションの識別情報に対応付けてアプリケーションの表示座標及びサイズ等が登録されている。
ポインタ表示座標テーブル25は、各ポインタ識別情報と現在の表示座標とを対応付けて保持するテーブルである。
The control right table 24 is a table that holds the
The pointer display coordinate table 25 is a table that holds each pointer identification information and the current display coordinate in association with each other.
第2の情報処理端末8は、表示装置7の表示領域に相当するアプリケーション用スクリーンを有しており、入力操作装置1の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する。このアプリケーション用スクリーンの大きさは、上述したポインタ用スクリーンの大きさと同じである。
The second information processing terminal 8 has an application screen corresponding to the display area of the
具体的には、第2の情報処理端末8は、表示制御部4と表示処理部5とを備えている。本実施形態において、表示制御部4と表示処理部5とは独立のハードウェアにより構成されているが、これに代えて、共通のハードウェアにより構成されていてもよい。
Specifically, the second information processing terminal 8 includes a
表示制御部4は、複数のアプリケーションプログラム41とウィンドウマネージャ(Window Manager)42とを備えている。アプリケーションプログラム41は、入力操作装置1からの入力指示情報に応じて、起動、制御、終了されるアプリケーションプログラムである。ウィンドウマネージャ42は、複数のアプリケーションプログラム41のウィンドウ表示を制御するプログラムである。
The
表示処理部5は、表示制御部4で動作するアプリケーションの表示処理を行い、表示装置7に表示するためのプリケーション用スクリーンの生成を行い、これをビデオ信号に変換して、画像合成部6に出力する。
具体的には、表示処理部5は、描画部51とビデオカード52とを備えている。描画部51は、ウィンドウマネージャ42から出力される情報、具体的には、アプリケーションウィンドウをアプリケーション用スクリーン上の該当座標に表示するプログラムである。ビデオカード52は、ビデオカード23と同様、情報処理端末に装備される一般的なビデオカードである。
The
Specifically, the
画像合成部6は、ポインタが描画されたポインタ用スクリーン及びアプリケーションの動作状況が描画されたアプリケーション用スクリーンを第1の情報処理端末2及び第2の情報処理端末8から受信し、該スクリーンを重畳することにより、合成画像データを作成し、表示装置7に出力する。画像合成部6は、例えば、一般的に使用されているビデオ合成装置である。
The
上記第1の情報処理端末2及び第2の情報処理端末8は、ビューマネージャ(View Manager)3に接続されている。ビューマネージャ3は、入力操作装置1から第1の情報処理端末2を経由して入力されるアプリケーションの起動又は終了情報を元に、表示制御部4に対しアプリケーションの起動又は終了の制御を行うと共に、アプリケーション用スクリーン上のウィンドウの座標、ウィンドウのサイズを取得し、第1の情報処理端末2に出力する。
The first
上記構成を備える表示制御装置において、第1の情報処理端末2と画像合成部6との間、第2の情報処理端末8と画像合成部6との間、及び画像合成部6と表示装置7との間は、DVI等のビデオ信号で連接される。また、各入力操作装置1、第1の情報処理端末2、ビューマネージャ部3及び表示制御部4は、ネットワークNet(図1参照)を介して互いに接続されている。
また、本実施形態においては、表示制御部4と表示処理部5との間もネットワークで接続されるが、前記ネットワーク9とは分離したネットワークで接続する。これは、表示更新周期、表示情報量及び表示処理負荷が大きい状況表示等を表示するために、前記ネットワーク9と分離し表示リアルタイム性を確保するためである。
In the display control device having the above-described configuration, the first
In this embodiment, the
次に、図3乃至図5を用いてスクリーンの説明を行う。
図3はポインタ用スクリーンの概要を説明するための図、図4はアプリケーション用スクリーンの概要を説明するための図、図5は2つの上記スクリーンを重畳させた合成スクリーンの概要を説明するための図である。
図3に示したポインタ用スクリーン及び図4に示したアプリケーション用スクリーンのいずれにおいても、スクリーンの左上が座標の原点(0,0)に設定されており、左上から水平方向にx軸、垂直方向にy軸が設定されている。具体的には、スクリーンの左上を基準に右にいくほどx座標値が増加し、また、左上から下にいくほどy座標値が増加するように設定されている。
Next, the screen will be described with reference to FIGS.
3 is a diagram for explaining the outline of the pointer screen, FIG. 4 is a diagram for explaining the outline of the application screen, and FIG. 5 is a diagram for explaining the outline of the composite screen in which the two screens are superimposed. FIG.
In both the pointer screen shown in FIG. 3 and the application screen shown in FIG. 4, the upper left corner of the screen is set to the coordinate origin (0, 0), and the x-axis and vertical direction are set horizontally from the upper left corner. Is set to the y-axis. Specifically, the x coordinate value increases as it goes to the right with respect to the upper left of the screen, and the y coordinate value increases as it goes from the upper left to the lower side.
ポインタ用スクリーンとアプリケーション用スクリーンの座標サイズ(最大のx,y)は同じとされ、表示装置7に重畳表示される場合、同じ座標の表示は、同じ位置に重畳されるようになっている。ポインタは、ポインタの左上の座標で管理され、図3乃至図5の例では、ポインタAの表示位置が(xp1,yp1)の座標、ポインタBの表示位置が(xp2,yp2)の座標でそれぞれ表現される。
The coordinate sizes (maximum x, y) of the pointer screen and the application screen are the same, and when they are superimposed and displayed on the
アプリケーション用スクリーン上におけるアプリケーションウィンドウの表示位置は、ウィンドウ位置(ウィンドウの左上の座標)及びウィンドウサイズ(x軸、y軸の幅)で表現される。図4の例では、アプリケーションαのウィンドウは、ウィンドウ位置が(xa1,ya1)でウィンドウサイズが(Wx1,Wy1)と表現され、アプリケーションβのウィンドウは、ウィンドウ位置が(xa2,ya2)でウィンドウサイズが(Wx2,Wy2)と表現される。
そして、図3及び図4に示された各スクリーンが重畳されることにより、図5に示すような合成スクリーンが作成される。
The display position of the application window on the application screen is expressed by the window position (the upper left coordinates of the window) and the window size (the x-axis and y-axis widths). In the example of FIG. 4, the window of the application α is represented by the window position (xa1, ya1) and the window size (Wx1, Wy1), and the window of the application β is the window size of (xa2, ya2). Is expressed as (Wx2, Wy2).
Then, by superimposing the screens shown in FIGS. 3 and 4, a composite screen as shown in FIG. 5 is created.
図6は、表示に関する動作を説明する図であり、先に説明したポインタ用スクリーン(図3参照)とアプリケーション用スクリーン(図4参照)が表示装置7の表示画面上で合成されるまでの仕組みを模式的に表した図である。
ポインタ用スクリーン10には、マルチカーソルコントローラ21により各入力操作装置1の操作量に基づいてポインタ用スクリーン10における各ポインタの表示座標が算出され、描画部22により、該表示座標に各ポインタが描画される。ポインタ描画後のポインタ用スクリーン10は、ビデオカード23によりビデオ信号に変換されて画像合成部6に出力される。
FIG. 6 is a diagram for explaining operations related to display, and the mechanism until the pointer screen (see FIG. 3) and the application screen (see FIG. 4) described above are combined on the display screen of the
On the
同様に、アプリケーション用スクリーン11には、アプリケーションプログラム41、ウィンドウマネージャ42、及び描画部51の処理を経て、アプリケーション用スクリーン11上の該当表示座標にウィンドウが描画される。ウィンドウ描画後のアプリケーション用スクリーン11は、ビデオカード52によりビデオ信号に変換され、画像合成部6に出力される。
Similarly, on the
画像合成部6では、各々ビデオ信号として入力されたポインタ用スクリーン10と、アプリケーション用スクリーン11とがビデオ信号で重畳されることにより合成され、この合成スクリーンのビデオ信号が表示装置7に出力される。これにより、表示装置7の大画面上には、ポインタとアプリケーションウィンドウとが重畳されて表示されることとなる。
In the
次に、本実施形態に係る表示制御装置のポインタ操作に関する処理手順について、図7乃至図10を参照して説明する。図7は、ポインタ移動制御の動作を説明するための動作フローである。図8は、ポインタ用スクリーンの概念を示した図である。図9は、支配権テーブル24の一例を示した図である。図10は、ポインタ表示座標テーブル25の一例を示した図であり、図10(a)はポインタ移動前のポインタ表示座標テーブル、図10(b)は、ポインタ移動後のポインタ表示座標テーブルを示した図である。 Next, a processing procedure related to the pointer operation of the display control apparatus according to the present embodiment will be described with reference to FIGS. FIG. 7 is an operation flow for explaining the operation of the pointer movement control. FIG. 8 is a diagram showing the concept of the pointer screen. FIG. 9 is a diagram illustrating an example of the control right table 24. 10A and 10B are diagrams showing an example of the pointer display coordinate table 25. FIG. 10A shows a pointer display coordinate table before the pointer is moved, and FIG. 10B shows a pointer display coordinate table after the pointer is moved. It is a figure.
図7において、操作員が表示装置7に表示されているポインタを見ながら入力操作装置1のポインティングデバイス102の位置を移動させると、このポインティングデバイス102の操作移動量は、リモートカーソル103に入力される。リモートカーソル103は、この操作移動量に基づいてポインタ用スクリーン上におけるx軸、y軸のポインタ変位量Δx,Δyを算出し(図7のP101)、算出したポインタ変移量に、当該入力操作装置1の識別情報(例えば、端末No.1)を付与して、第1の情報処理端末2が備えるマルチカーソルコントローラ21に出力する(図7のP102)。
In FIG. 7, when the operator moves the position of the
マルチカーソルコントローラ21は、リモートカーソル103からポインタ変移量及び端末No.1を受信すると(P201)、支配権テーブル24を参照し、端末No.1の入力操作装置1がどのポインタを制御しているかを判断する(P202,P203)。例えば、図9に示される支配権テーブルによれば、端末No.1の入力操作装置1がポインタAを制御していることがわかる。続いて、マルチカーソルコントローラ21は、ポインタAの現在の表示座標をポインタ表示テーブル25から読み出す(P204)。ここで、図10(a)に示されるように、ポインタAの現在の表示座標は(xp1,yp1)である。
The
続いて、マルチカーソルコントローラ21は、リモートカーソル103から先ほど取得したポインタ変移量Δx,Δyと、ポインタ表示座標テーブル25から取得したポインタAの現在の表示座標とから、移動先のポインタ座標を算出する(P205)。この結果、ポインタAの移動後の表示座標は(xp1+Δx,yp1+Δy)となる。マルチカーソルコントローラ21は、移動後の表示座標に基づいて、図10(b)に示すように、ポインタ表示座標テーブル25を更新すると共に、ポインタAの移動先の表示座標の情報を描画部22に出力する(P208)。これにより、図8に示すように、移動後の表示座標にポインタAが描画されたポインタ用スクリーンが作成され、このポインタ用スクリーンがビデオ信号に変換されて画像合成部6に出力される(P209)。この結果、表示装置7において、ポインタAの位置が移動させられる。
Subsequently, the
なお、上記説明では、端末No.1に対応するポインタAが既に表示装置7に表示されている場合について述べた。換言すると、支配権テーブル24に端末No.1に対応するポインタが登録されている場合について説明したが、例えば、端末No.1に対応するポインタ番号が存在しなかった場合、つまり、端末No.1に対応するポインタが表示装置7に表示されていない状態であった場合には(P203において「NO」)、マルチカーソルコントローラ21は、端末No.1に対するポインタ表示を新規として認識し、端末No.1に対して現在割り付けられていないポインタ番号(例えば、ポインタD)を付与して支配権テーブルを更新する(P206)。そして、該ポインタの表示座標としてスクリーンの中心座標を設定し、設定した中心座標と付与したポインタDの情報を描画部22に出力するとともに(P207)、ポインタの座標とポインタ番号とを対応付けてポインタ表示テーブル25に登録する(P208)。
In the above description, the terminal No. The case where the pointer A corresponding to 1 is already displayed on the
次に、本実施形態に係る表示制御装置のアプリケーションの状況表示に関する処理手順について、図11乃至図16を参照して説明する。図11,図15,及び図16は、アプリケーションの状況表示に関する処理手順を説明するための動作フローである。図12は、表示装置7の表示画面の一例を示した図である。図13は、支配権テーブル24の一例を示した図である。図14は、ポインタ表示座標テーブル25の一例を示した図である。
Next, a processing procedure related to application status display of the display control apparatus according to the present embodiment will be described with reference to FIGS. 11 to 16. 11, FIG. 15, and FIG. 16 are operation flows for explaining the processing procedure relating to the application status display. FIG. 12 is a diagram illustrating an example of a display screen of the
まず、操作員が表示装置7に表示されているウィンドウを見ながらアプリケーションに対する操作を実施する。例えば、ウィンドウの場所にポインタを移動させ、アプリケーションに関する入力指示を行うと、この入力指示情報はリモートカーソル103に入力される(図11のP103)。リモートカーソル103は、この入力指示情報に当該入力操作装置1の識別情報(例えば、端末No.1)を付与して、第1の情報処理端末2が備えるマルチカーソルコントローラ21に出力する(P104)。
First, the operator performs an operation on the application while looking at the window displayed on the
マルチカーソルコントローラ21は、リモートカーソル103からアプリケーションの入力指示情報が入力されると(P210)、この入力指示情報がアプリケーションの起動又は終了に関する情報か否かを判断する(P211)。この結果、アプリケーションの起動又は終了の場合には、図16の処理を実施する。なお、図16の詳細については後述する。
When the application input instruction information is input from the remote cursor 103 (P210), the
一方、入力指示情報がアプリケーションの起動又は終了に関する情報ではなかった場合には、マルチカーソルコントローラ21は、支配権テーブル24を参照し(P212)、当該端末No.1がどのアプリケーションを支配しているのかを判断する(P213)。例えば、図13に示される支配権テーブル24によれば、端末No.1はアプリケーションαの支配権を有することがわかる。なお、この場合において、支配しているアプリケーションが登録されていなかった場合には、当該入力指示情報を無視し、処理を終了する(P218)。
On the other hand, if the input instruction information is not information related to the activation or termination of the application, the
次に、マルチカーソルコントローラ21は、端末No1が現在制御しているポインタAの情報を支配権テーブル24から取得するとともに、このポインタの現在の表示座標をポインタ表示座標テーブル25から取得する。更に、マルチカーソルコントローラ21は、支配権テーブルにおいて端末No1に対応付けられているアプリケーションウィンドウ座標及びアプリケーションウィンドウ幅を取得し、これらの情報に基づいてアプリケーションαのウィンドウの表示座標範囲を特定する(P214)。そして、ポインタAの表示座標とアプリケーションαのウィンドウの表示座標範囲とから、アプリケーションαのウィンドウ上にポインタAが表示されているか否かを判定する(P215)。
Next, the
この結果、ウィンドウ上にない場合には、当該入力指示情報を無視し、処理を終了する(P218)。一方、ウィンドウ上にある場合には、先にリモートカーソル103から取得した入力指示情報をアプリケーションが使用しているウィンドウシステムのデータ形式、インタフェース仕様に変換し(P216)、第2の情報処理端末8に出力する(P217)。これにより、入力指示情報に基づくウィンドウの状況変化が表示装置7の表示画面に反映されることとなる(P401)。
As a result, if it is not on the window, the input instruction information is ignored and the process is terminated (P218). On the other hand, if it is on the window, the input instruction information previously obtained from the
次に、アプリケーションの起動又は終了の場合について、図15の処理フローに沿って説明する。図15は、アプリケーション起動又は終了時のビューマネージャ3の動作を説明する図である。図11のP211で入力操作装置1での操作がアプリケーションの起動又は終了と判断された場合、マルチカーソルコントローラ21は、ビューマネージャ3に入力指示情報を出力する(P219)。ビューマネージャ3は、入力された入力指示情報がアプリケーションの起動か終了かを判断する(P301,P302)。
Next, the case of activation or termination of an application will be described along the processing flow of FIG. FIG. 15 is a diagram for explaining the operation of the
この結果、アプリケーションの起動の場合には、表示制御部4に対して当該アプリケーションの起動命令を出力する(P303)。これにより、当該アプリケーションプログラム41が表示制御部4により起動されると、ビューマネージャ3は、アプリケーションウィンドウの表示位置及びサイズを表示制御部4のウィンドウマネージャ42に問い合わせる(P304)。ウィンドウマネージャ42は、前記問い合わせが入力されると(P402)、アプリケーションウィンドウの表示位置及びサイズをビューマネージャ3に出力する(P403)。ビューマネージャ3は、アプリケーションウィンドウの表示位置及びサイズが入力されると(P305)、第1の情報処理端末2の支配権テーブル24に起動されたアプリケーション番号、アプリケーションウィンドウの表示位置及びサイズと端末No.1とを対応付けて登録する(P306)。
As a result, when the application is activated, an activation instruction for the application is output to the display control unit 4 (P303). Thus, when the
一方、上記P302の判断において、アプリケーションの終了であると判断された場合には、ビューマネージャ3は、表示制御部4に対して当該アプリケーションの終了命令を出力する(P307)。これにより、当該アプリケーションプログラム41が表示制御部4により終了されると、ビューマネージャ部3は、第1の情報処理端末2の支配権テーブルから当該アプリケーション及び該アプリケーションウィンドウの表示位置及びサイズを削除する(P308)。
On the other hand, when it is determined in the above-described determination of P302 that the application is terminated, the
次に、入力操作装置1から入力された入力指示情報がアプリケーションの起動又は終了以外である場合についてのビューマネージャ3の動作について図16を参照して説明する。図16は、アプリケーションの起動又は終了以外の場合のビューマネージャ3の動作を説明するための図である。
Next, the operation of the
ビューマネージャ3は、ウィンドウの表示位置又はサイズに変更が発生した場合、及び所定の時間間隔において、表示制御部4のウィンドウマネージャ42に対し、アプリケーションウィンドウ位置及びサイズの問い合わせを行い(P304)、取得したアプリケーションウィンドウ位置及びサイズの情報に基づいて第1の情報処理端末2の支配権テーブル24を更新させる処理を実行する(P305,P309)。
The
次に、入力操作装置1から表示装置4に表示されているアプリケーションウィンドウの移動指示が出された場合における表示制御装置の動作について簡単に説明する。
この場合、第1の情報処理端末2のマルチカーソルコントローラ21は、入力操作装置1の識別情報とポインタ情報と該ポインタが移動権を有しているアプリケーションの識別情報とを対応付けた移動権テーブル(図示略)を保有しており、入力操作装置1のリモートカーソル103からウィンドウの移動に関する操作情報を受信した場合に、該入力操作装置が該アプリケーションのウィンドウの移動権を有するか否かを移動権テーブルを参照して判定する。
Next, the operation of the display control device when an instruction to move the application window displayed on the
In this case, the
この結果、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて第2の情報処理端末8に出力する。これにより、移動権を有する場合には、表示装置7において、ポインタの移動に伴ってウィンドウが移動されることとなる。なお、どのアプリケーションの移動が要求されているか否かについては、アプリケーションウィンドウの表示範囲内にポインタが表示されているか否かによって判断される。
As a result, if the user has the right to move the window, the identification information of the input operation means, the identification information of the application, and the movement operation information of the window are associated and output to the second information processing terminal 8. As a result, when the user has the right to move, the window is moved on the
なお、上述したアプリケーションの支配権については、例えば、ポインタをアプリケーションのウィンドウ上に移動させることにより取得できるようになっている。このアプリケーションの支配権は、排他的に設定されており、いずれかの入力操作装置によって支配されているアプリケーションについては、他の入力操作装置からのアプリケーションに関する操作は無効として取り扱われることとなる。 Note that the above-mentioned control right of the application can be acquired, for example, by moving the pointer onto the window of the application. The control right of this application is set exclusively, and for an application controlled by any one of the input operation devices, an operation related to the application from another input operation device is treated as invalid.
また、アプリケーションの支配権の解除は、アプリケーションウィンドウ以外の場所にポインタを移動させて所定の処理を行うことで実現できるように設定されている。なお、アプリケーションの支配権の取得及び解除については、任意に設定、変更できるものとする。 The release of the application control right is set to be realized by moving the pointer to a place other than the application window and performing a predetermined process. It should be noted that acquisition and cancellation of application control can be arbitrarily set and changed.
また、アプリケーションウィンドウの移動権についても排他的に設定されているが、アプリケーションの移動権とそのアプリケーションの支配権とが同一の入力操作装置に帰属していなくてもよい。つまり、アプリケーションの支配権を有している入力操作装置とは異なる入力操作装置がそのアプリケーションの移動権を有することとしてもよい。このようにすることで、例えば、表示装置7の表示画面において新しいアプリケーションを起動させようとする操作員が、表示画面中に表示されているアプリケーションウィンドウを所望の位置に移動させた後に、自分が希望するアプリケーションウィンドウを表示画面中に表示させることが可能となる。
Also, the right to move the application window is set exclusively, but the right to move the application and the right to control the application do not have to belong to the same input operation device. That is, an input operation device that is different from the input operation device having the application control right may have the right to move the application. In this way, for example, after an operator who wants to start a new application on the display screen of the
以上説明してきたように、本実施形態に係る表示制御装置及び管制システムによれば、ポインタをスクリーンに描画する第1の情報処理端末2と、アプリケーションの動作状況を描画する第2の情報処理端末2とを備えるので、ポインタ制御表示とアプリケーションの動作状況表示とを別個の端末によって実現することが可能となる。このように、表示に関する処理を分離し、別個の処理手段にそれぞれ割り当てることで、処理能力を高めることができる。これにより、即応性、操作性の向上を図ることが可能となる。
As described above, according to the display control device and the control system according to the present embodiment, the first
1 入力操作装置
2 第1の情報処理端末
3 ビューマネージャ
4 表示制御部
5 表示処理部
6 画像合成部
7 表示装置
8 第2の情報処理端末
9 ネットワーク
10 ポインタ用スクリーン
11 アプリケーション用スクリーン
21 マルチカーソルコントローラ
22 描画部
23 ビデオカード
24 支配権テーブル
25 ポインタ表示座標テーブル
41 アプリケーションプログラム
42 ウィンドウマネージャ
51 描画部
52 ビデオカード
101 キーボード
102 ポインティングデバイス
103 リモートカーソル
DESCRIPTION OF
Claims (5)
前記表示手段の表示領域に相当するポインタ用スクリーンを有し、該入力操作手段の各々から入力される操作量に基づいて、該ポインタ用スクリーン上に前記入力操作手段の各々に対応するポインタを描画する第1の処理手段と、
前記表示手段の表示領域に相当するアプリケーション用スクリーンを有し、該入力操作手段の各々から入力される入力指示情報に従ってアプリケーションの動作状況を該アプリケーション用スクリーンに描画する第2の処理手段と、
前記ポインタが描画されたポインタ用スクリーン及び前記アプリケーションの動作状況が描画されたアプリケーション用スクリーンを重畳した合成画像を作成して前記表示手段に出力する画像合成手段と
を具備する表示制御装置。 Input instruction information that is connected to a plurality of input operation means via a network, moves a pointer displayed on the display means based on an operation amount input from the input operation means, and is input from the input operation means A display control system for changing the operation status of the application displayed on the display means according to
A pointer screen corresponding to the display area of the display means is provided, and a pointer corresponding to each of the input operation means is drawn on the pointer screen based on an operation amount input from each of the input operation means. First processing means to:
A second processing unit that has an application screen corresponding to a display area of the display unit, and draws an operation state of the application on the application screen in accordance with input instruction information input from each of the input operation units;
A display control apparatus comprising: a pointer screen on which the pointer is drawn; and an image composition unit that creates a composite image on which the application screen on which the operation status of the application is rendered is superimposed and outputs the composite image to the display unit.
前記入力操作手段からアプリケーションに関する入力指示情報を受信した場合に、該入力操作手段が該アプリケーションの支配権を有するか否かを前記支配権テーブルを参照して判定し、支配権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該アプリケーションに関する入力指示情報を関連付けて前記第2の処理手段に出力する請求項1に記載の表示制御装置。 The first processing means has a control table that associates the identification information of the input operation means with the identification information of an application for which the input operation means has control,
When receiving input instruction information related to an application from the input operation means, it is determined whether the input operation means has control of the application with reference to the control table, and if it has control, The display control apparatus according to claim 1, wherein the identification information of the input operation unit, the identification information of the application, and the input instruction information related to the application are associated and output to the second processing unit.
前記入力操作手段からウィンドウの移動に関する操作情報を受信した場合に、該入力操作手段が該アプリケーションのウィンドウの移動権を有するか否かを前記移動権テーブルを参照して判定し、ウィンドウの移動権を有する場合に、該入力操作手段の識別情報、該アプリケーションの識別情報、及び該ウィンドウの移動操作情報を関連付けて前記第2の処理手段に出力する請求項1または請求項2に記載の表示制御装置。 The first processing means has a movement right table in which identification information of the input operation means is associated with identification information of an application for which the input operation means has a right to move the window.
When receiving operation information related to window movement from the input operation means, it is determined by referring to the movement right table whether the input operation means has the right to move the window of the application, and the window movement right 3. The display control according to claim 1, wherein identification information of the input operation means, identification information of the application, and movement operation information of the window are associated and output to the second processing means. apparatus.
複数の該入力操作手段とネットワークを介して接続される請求項1から請求項4のいずれかに記載の表示制御装置と、
前記表示制御装置から出力される画像信号を表示する表示手段と
を具備する管制システム。 A plurality of input operation means;
The display control apparatus according to any one of claims 1 to 4, wherein the display control apparatus is connected to the plurality of input operation means via a network.
A control system comprising display means for displaying an image signal output from the display control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282092A JP5473578B2 (en) | 2009-12-11 | 2009-12-11 | Display control device and control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282092A JP5473578B2 (en) | 2009-12-11 | 2009-12-11 | Display control device and control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011123760A true JP2011123760A (en) | 2011-06-23 |
JP5473578B2 JP5473578B2 (en) | 2014-04-16 |
Family
ID=44287574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009282092A Active JP5473578B2 (en) | 2009-12-11 | 2009-12-11 | Display control device and control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5473578B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03119478A (en) * | 1989-10-03 | 1991-05-21 | Nippon Telegr & Teleph Corp <Ntt> | Shared screen control system |
JPH04280294A (en) * | 1991-03-08 | 1992-10-06 | Hitachi Ltd | Pointer indicating device |
JP2000181846A (en) * | 1998-12-15 | 2000-06-30 | Fujitsu Ltd | Terminal operating device |
-
2009
- 2009-12-11 JP JP2009282092A patent/JP5473578B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03119478A (en) * | 1989-10-03 | 1991-05-21 | Nippon Telegr & Teleph Corp <Ntt> | Shared screen control system |
JPH04280294A (en) * | 1991-03-08 | 1992-10-06 | Hitachi Ltd | Pointer indicating device |
JP2000181846A (en) * | 1998-12-15 | 2000-06-30 | Fujitsu Ltd | Terminal operating device |
Also Published As
Publication number | Publication date |
---|---|
JP5473578B2 (en) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100317690B1 (en) | Control of video conferencing system with pointing device | |
WO2014154183A1 (en) | Multi-window displaying and switching method, device and computer storage medium | |
JP2009245423A (en) | Information device and window display method | |
JP2007293849A (en) | Functional icon display system and method | |
JP2006172423A (en) | Remote controlling system, remote controlling apparatus, controlled apparatus, remote controlling method, computer program, and storage medium | |
JP2001056675A (en) | Screen superimposing display type information input/ output device | |
JPH01250129A (en) | Display screen operating system | |
JP2010026066A (en) | Image display control method, image supply device, and image display control program | |
JP2008293361A (en) | Screen display system, control method therefor, program, and storage medium | |
JP2006243200A (en) | Display apparatus for multi-pictures and control method for the same | |
WO2011108109A1 (en) | Image display system, information processing apparatus, display apparatus, and image display method | |
US8994655B2 (en) | Display control device comprising processing unit for drawing pointer and control system | |
JP5263419B2 (en) | Image supply apparatus, image display control program, and image display control method | |
CN111857926B (en) | Control method and device | |
JP5473578B2 (en) | Display control device and control system | |
JP2017017446A (en) | Information processing device and control method thereof, and program | |
JP6320241B2 (en) | Engineering apparatus and screen display control method | |
JP2011028530A (en) | Server device and coordinate correction program | |
JP2003092750A (en) | Camera control system | |
JP2006330848A (en) | Image editing system, method, and program | |
US11615766B2 (en) | Control method for magnifying display screen and associated display system | |
JP2014171054A (en) | Display device, monitor system with display device, and display control program | |
JP7283602B2 (en) | Information processing device and information processing program | |
JP2019082647A (en) | Multi-projection system, projector, image projection method and program | |
JP2013125526A (en) | Image display device, and method and program of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5473578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |