JP2010198509A - 表示制御装置、入力操作装置、及び管制システム - Google Patents

Abstract

【課題】操作性ならびに障害発生時の復旧性能を向上させること。
【解決手段】複数の入力操作装置１とネットワークを介して接続され、該入力操作装置１からの操作情報に基づいて共有表示装置３の表示内容を更新する表示制御装置２であって、いずれかの入力操作装置１から該入力操作装置１に関する識別情報、アプリケーション２２の識別情報、及び該アプリケーション２２に対する入力指示情報を受信した場合に、該当するアプリケーション２２に対して、受信した入力指示情報を出力する情報判別部２１と、該入力指示情報に基づく該アプリケーション２２の処理による画面遷移を前記共有表示装置３の画面に反映させる表示処理部とを備え、表示処理部は、共有表示装置３の画面配置に関する情報を各入力操作装置１に所定のタイミングで送信する。
【選択図】図２

Description

本発明は、複数の入力操作装置からなされた操作内容を共通の表示画面に反映させることのできる表示制御装置、入力操作装置、及び管制システムに関するものである。

従来、共有表示装置の表示を制御する共有表示サーバ（表示制御装置）と複数のユーザ端末（入力操作装置）とをネットワークを介して接続し、各ユーザ端末においてなされた表示操作を共有表示装置における表示に反映させる表示システムが開示されている（例えば、特許文献１参照）。

上述のように、１台のサーバを複数のユーザ端末で共有する処理方法として、例えば、時分割処理、逐次処理等が知られている。
時分割処理は、サーバにおけるＣＰＵの処理能力を細かい時間単位に分割し、この分割時間をそれぞれのユーザ端末に割り当てることにより、各ユーザ端末における処理を順次実行していく処理方法である。

また、逐次処理は、ユーザ端末においてなされた個々の操作内容をサーバが逐次処理していく方法であり、例えば、公知の表示システムでは以下のような処理が行われている。
例えば、図６において、ユーザ端末Ａを操作しているオペレータが、共有表示装置１０１のディスプレイに表示されているウィンドウを見ながら所望のアプリケーションに対するウィンドウの場所にポインタを移動させ、アプリケーションに関する入力指示を行うと、該ポインタの操作量Δｘ，Δｙ及びアプリケーションに関する入力指示情報がユーザ端末の識別情報と対応付けられてサーバ１００に送信される。

まず、表示処理部がユーザ端末Ａに対応するポインタの現在の表示座標に受信した操作量Δｘ，Δｙを加算することで、移動後の表示座標を算出し、その表示座標にポインタを移動させる。この結果、共有表示装置１０１において、ユーザ端末Ａに対応するポインタの位置が移動させられる。

また、サーバ１００は、アプリケーションの識別情報に対応付けてアプリケーションが表示されているディスプレイ上の配置情報を管理しており、この管理情報に基づいて移動後のポインタの表示座標にどのアプリケーションが表示されているのかを判断する。このようにして、ユーザ端末Ａによって入力指示が出されたアプリケーションが特定されると、ユーザ端末Ａから受信した入力指示情報を該当するアプリケーションに出力する。これにより、入力指示情報に基づくウィンドウの状況変化が共有表示装置１０１の表示画面に反映されることとなる。

そして、逐次処理では、各ユーザ端末から上記操作量や入力指示情報を受信する度に、上記処理を行うことで、各ユーザ端末から受け付けた指示に基づいて表示処理等を順番に行う。

特開２００４−２１５９５号公報

しかしながら、上述した時分割処理では、ユーザ端末の台数に応じて、各ユーザ端末に割り当てられる処理時間が決定されるため、ユーザ端末の台数が増加すると各ユーザ端末に割り当てられる時間が減少してしまい、操作性が悪化するという問題がある。

また、逐次処理では、上述したように、サーバにおいて各ユーザ端末から受信した操作イベントを解析し、各ユーザ端末に対する処理を逐次的に実行していくので、処理部（ＣＰＵ）の負担が大きいという問題がある。また、複数のユーザ端末から同時に操作イベントが送られてきた場合には、先に実行された処理が終了するまで、後の処理が実行されないため、後の操作イベントを送信したユーザ端末においてはリアルタイム性が失われ、ユーザは操作性の悪さを実感することとなる。

また、管制システムは常にミッションクリティカルな状況下で使用されることから、サーバダウン等の障害発生時に同じ状態への迅速な復旧が必要となるが、上述した時分割処理並びに逐次処理の方法では、新たなサーバの立ち上げと障害発生時に起動していたアプリケーションの再起動が必要となる。

本発明は、このような事情に鑑みてなされたものであって、操作性を向上させ、障害発生時に迅速な復旧を可能にすることのできる共有表示システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の入力操作装置とネットワークを介して接続され、該入力操作装置からの操作情報に基づいて共有表示装置の表示内容を更新する表示制御装置であって、いずれかの前記入力操作装置から該入力操作装置に関する識別情報、アプリケーションの識別情報、及び該アプリケーションに対する入力指示情報を受信した場合に、該当するアプリケーションに対して、受信した入力指示情報を出力する情報判別手段と、該入力指示情報に基づく該アプリケーションの処理による画面遷移を前記共有表示装置の画面に反映させる表示処理手段とを備え、前記表示処理手段は、前記共有表示装置の画面配置に関する情報を各前記入力操作装置に所定のタイミングで送信する表示制御装置を提供する。
上記表示処理手段は、例えば、後述する本発明の一実施形態に係る「表示管理部２３」及び「描画部２４」に相当する。

本発明は、複数の入力操作装置と、複数の該入力操作装置により共有される共有表示装置と、複数の該入力操作装置とネットワークを介して接続され、該入力操作装置からの操作情報に基づいて該共有表示装置の表示画面を更新する表示制御装置とを備える表示システムに適用される該入力操作装置であって、前記表示制御装置から該共有表示装置の画面配置に関する情報を受信した場合に、受信した該画面配置に関する情報を記憶する記憶手段と、入力手段と、該入力手段から前記表示制御装置が備えるアプリケーションに対する入力指示情報が入力された場合に、該入力手段の操作移動量と該記憶手段に記憶されている画面配置に関する情報とに基づいて、前記共有表示装置の画面上における移動後のポインタの表示座標を算出するとともに、移動後のポインタの表示座標に位置しているアプリケーションを特定する操作判定手段と、操作判定手段によって特定されたアプリケーションの識別情報、該アプリケーションに対する入力指示情報、移動後の該ポインタの表示座標、及び自身の識別情報に関する識別情報を対応付けて前記表示制御装置に送信する送信手段とを具備する入力操作装置を提供する。

本発明によれば、入力操作装置においてアプリケーションを特定し、そのアプリケーションの識別情報と入力指示情報とを対応付けて表示制御装置に送信するので、表示制御装置においては、該アプリケーションの識別情報によって容易にアプリケーションを特定することが可能となる。これにより、従来のように、表示制御装置において、ポインタの表示座標からアプリケーションを特定するといった処理が不要となり、表示制御装置における処理の軽減を図ることができる。これにより、表示制御装置における処理能力を向上させることができ、操作性等が向上する。
また、表示制御装置にて表示しているアプリケーションが入力操作装置において把握されていることから、表示制御装置に障害が発生した場合に、入力操作装置を表示制御装置の代替装置として機能させることが可能となる。

本発明は、上記の複数の入力操作装置と、上記の表示制御装置と、複数の前記入力操作装置が共有する共有表示装置とを備える管制システムを提供する。

本発明によれば、操作性を向上させることができるという効果を奏する。

本発明の一実施形態に係る管制システムの概略構成を示したブロック図である。 図１に示した管制システムの構成を更に詳細に示した図である。 ポインタ表示テーブルの一例を示した図である。 アプリケーション表示テーブルの一例を示した図である。 描画スクリーンの一例を示した図である。 従来の技術を説明するための図である。

以下に、本発明に係る表示制御装置、入力操作装置、及び管制システムの一実施形態について、図面を参照して説明する。
図１は、本実施形態に係る管制システムの概略構成を示したブロック図である。
図１に示されるように、本実施形態に係る管制システムは、複数の入力操作装置１と、複数の入力操作装置１とネットワーク５を介して接続される表示制御装置２と、表示制御装置２から出力される画像信号を表示する共有表示装置３とを備えている。
入力操作装置１は、各オペレータが共有表示装置３の大画面表示上に表示されたポインタの操作及びウィンドウに対する操作を実施するための操作端末であり、例えば、オペレータの人数分用意されている。

表示制御装置２は、各入力操作装置１から入力される情報に基づいて共有表示装置３に表示されているポインタを移動させるとともに、各入力操作装置１から入力される入力指示情報に従って共有表示装置３に表示されているアプリケーションの動作状況を変化させる。

共有表示装置３は、液晶、プラズマ、リアプロジェクタ等の表示装置であり、１面の表示装置でもよいし、複数の表示装置を組み合わせて一つの大画面を構成する表示装置でもよい。

図２は、図１に示した管制システムの構成を更に詳細に示した図である。
図２に示されるように、入力操作装置１は、例えば、情報処理端末であり、入力デバイスとして、キーボード１１、ポインティングデバイス１２を備えている。キーボード１１及びポインティングデバイス１２から入力された各入力情報は、リモートカーソル（Remote Cursor）１３に送られる。
リモートカーソル１３は、上記入力デバイスの操作移動量に基づいて、共有表示装置３の表示画面上のポイント変移量を算出し、このポイント変移量及びクリック等のアクションに関する情報を操作判定部１５に出力する。

記憶部１４には、ポインタ表示テーブルと、アプリケーション表示テーブルが格納されている。図３にポインタ表示テーブルの一例を、図４にアプリケーション表示テーブルの一例を示す。
図３に示すように、ポインタ表示テーブルには、各入力端末装置１の識別情報、ポインタ番号、表示座標が互いに対応付けられている。また、図４に示すように、アプリケーション表示テーブルには、アプリケーションの識別情報、アプリケーションのウィンドウ表示座標、及びアプリケーションのウィンドウ幅が互いに対応付けられている。これにより、共有表示装置の表示画面において、どの領域にどのアプリケーションが表示されているのかが識別できるようになっている。

操作判定部１５は、リモートカーソル１３から入力デバイスの操作移動量のみ受け付けた場合には、記憶部１４に格納されているポインタ表示テーブルから当該入力操作装置の識別情報に対応付けられているポインタ番号及びその表示座標を読み出し、この表示座標にリモートカーソル１３から受け付けたポインタ変移量を加算することで、移動後のポインタ表示座標を取得し、この表示座標をポインタ番号と対応付けて表示制御装置２に出力する。

また、操作判定部１５は、リモートカーソル１３から入力デバイスの操作移動量及びアクションに関する情報を受け付けた場合には、記憶部１４に格納されているポインタ表示テーブルを参照して移動後の表示座標を算出し、更に、この移動後の表示座標に表示されているアプリケーションの識別情報をアプリケーション表示テーブルを参照して特定する。そして、移動後のポインタ表示座標、ポインタ番号、アプリケーションの識別情報、及びアクションに応じた入力指示情報を互いに対応付けて表示制御装置２に出力する。

なお、上記記憶部１４に格納されるポインタ表示テーブル及びアプリケーション表示テーブルは、後述する表示制御装置２の表示管理部２３において管理されている情報であり、各入力操作装置１と表示制御装置２とが所定のタイミングで通信を行うことにより、表示管理部２３で管理されている上記テーブルの情報が各入力操作装置１に通知され、記憶部１４に格納される。例えば、テーブルが更新されたタイミングで各入力操作装置１に通知するようにすることで、各記憶部１４に格納されるテーブルの情報を常に最新に保つことが可能である。

表示制御装置２は、情報判別部２１、複数のアプリケーションソフトウェア（以下「アプリケーション」という。）２２、表示管理部２３、描画部２４、ビデオカード２５等を備えている。表示制御装置２が備えるこれらの部は、ハードウェアによってそれぞれが構成されていてもよいし、その一部がソフトウェアにより実現されるものでもよい。ソフトウェアによって実現される処理は、該処理を実現させるためのプログラムがコンピュータ読取可能な記録媒体に記録されており、このプログラムをＣＰＵ（中央演算処理装置）が読み出して実行することで実現される。また、表示制御装置２は、複数の別個のハードウェアによって構成されていてもよいし、単一のハードウェアによって構成されていてもよい。

情報判別部２１は、入力操作装置１から受信した情報にアプリケーションの情報が含まれていた場合には、そのアプリケーションの識別情報で特定されるアプリケーション２２に対して、入力指示情報を出力するとともに、表示管理部２３に対して移動後のポインタ表示座標とポインタ番号とを出力する。このとき、情報判別部２１は、入力指示情報をその出力先のアプリケーションに適したウィンドウシステムのインターフェース仕様に変換して出力するとよい。
また、情報判別部２１は、入力操作装置１から受信した情報にアプリケーションの情報が含まれていない場合には、表示管理部２３に対して移動後のポインタ表示座標とポインタ番号とを出力する。

アプリケーション２２は、入力操作装置１からの入力指示情報に応じて、起動、制御、終了されるアプリケーションプログラムである。また、アプリケーション２２は、情報判別部２１から受け付けた入力指示情報に基づいて処理を実行し、その実行に伴う表示遷移があった場合には、その表示に関する情報を随時、表示管理部２３に出力する。

表示管理部２３は、上述したようにポインタ表示テーブル及びアプリケーション表示テーブルを管理しており、情報判別部２１から受け付けた情報、即ち、ポインタ番号とその移動後の表示座標とに基づいてポインタ表示テーブルを更新するとともに、そのポインタ番号と移動後の表示座標とを描画部２４に出力する。
また、表示管理部２３は、アプリケーション２２から処理に伴うウィンドウ遷移の表示画面情報やウィンドウのサイズ・位置変更情報等を受け付けた場合には、それらの情報に基づいてアプリケーション表示テーブルを更新するとともに、表示に関する情報を描画部２４に出力する。

描画部２４は、例えば、共有表示装置３の表示画面領域に相当する描画スクリーンを有しており、表示管理部２３から入力されるポインタ番号およびその表示座標に基づいて該描画スクリーン上の対応位置に該当するポインタを描画するとともに、アプリケーションの画面遷移やサイズ・位置変更に関する情報を受け付けた場合には、それらの情報に基づいて、描画スクリーン上におけるアプリケーションのウィンドウのサイズや位置を変更させたり、ウィンドウ内の表示を変化させたりする。

図５は描画スクリーンの概要を説明するための図である。図５において、描画スクリーンは、スクリーンの左上が座標の原点（０，０）に設定されており、左上から水平方向にｘ軸、垂直方向にｙ軸が設定されている。具体的には、スクリーンの左上を基準に右にいくほどｘ座標値が増加し、また、左上から下にいくほどｙ座標値が増加するように設定されている。
描画部２４によって実現される処理は、例えば、予めインストールされている描画に関するアプリケーションソフトウェアをＣＰＵが読み出して実行することにより実現される。

ビデオカード２５は情報処理端末等に装備される一般的なビデオカードであり、描画部２４によってポインタ等が描画された後の描画スクリーンをビデオ信号へ変換し、共有表示装置３に出力する。

共有表示装置３は、ビデオカード２５から入力されたビデオ信号に基づいて表示を行う。これにより、入力操作装置１からの入力操作に基づく表示が略リアルタイムで行われることとなる。

次に、本実施形態に係る管制システムの表示制御に関する処理手順について説明する。ここでは、オペレータが共有表示装置３に表示されているポインタを見ながら入力操作装置１のポインティングデバイス１２の位置を移動させ、その後、アプリケーションに対する入力指示を行った場合について説明する。

まず、オペレータが共有表示装置３に表示されているポインタを見ながら入力操作装置１のポインティングデバイス１０２の位置を移動させると、このポインティングデバイス１０２の操作移動量は、リモートカーソル１０３に入力される。リモートカーソル１０３は、この操作移動量に基づいてポインタ用スクリーン上におけるｘ軸、ｙ軸のポインタ変位量Δｘ，Δｙを算出し、算出したポインタ変移量を操作判定部１５に出力する。

操作判定部１５は、記憶部１４に格納されているポインタ表示テーブル２５から現在のポインタの表示座標を読み出し、この表示座標にリモートカーソル１３から受け付けたポインタ変移量を加算することで、移動後の表示座標を得る。例えば、現在の表示座標が（ｘｐ１，ｙｐ１）であった場合には、この表示座標にポインタ変移量Δｘ，Δｙを加算することで、移動後の表示座標（ｘｐ１＋Δｘ，ｙｐ１＋Δｙ）を得る。
操作判定部１５は、移動後の表示座標（ｘｐ１＋Δｘ，ｙｐ１＋Δｙ）とポインタ番号例えば、「ポインタＡ」とを対応付けて、表示制御装置２に送信する。

表示制御装置２の情報判別部２１は、入力操作装置１から表示座標（ｘｐ１＋Δｘ，ｙｐ１＋Δｙ）及びポインタ番号「ポインタＡ」を受信すると、この情報を表示管理部２３に出力する。
表示管理部２３は、受信した表示座標（ｘｐ１＋Δｘ，ｙｐ１＋Δｙ）とポインタ番号「ポインタＡ」とに基づいてポインタ表示テーブルを更新する。また、表示管理部２３は、ポインタ表示テーブルが更新されると、更新後のポインタ表示テーブルの情報（例えば、差分情報）をネットワークを介して各入力操作装置１に送信する。これにより、各入力操作装置１における記憶部１４に格納されていたポインタ表示テーブルが更新される。
また、表示管理部２３は、上記情報の送信等と並行して、情報判別部２１から入力された情報を描画部２４に出力する。

描画部２４は、描画スクリーンにおいて、ポインタ番号「ポインタＡ」を表示座標（ｘｐ１＋Δｘ，ｙｐ１＋Δｙ）に移動させる。これにより、移動後の表示座標にポインタＡが描画された描画スクリーンが作成され、この描画スクリーンがビデオ信号に変換されて共有表示装置３に出力される。これにより、共有表示装置３において、ポインタＡの位置が移動させられる。

次に、上記入力操作によってポインタが所望のアプリケーション上に到達すると、オペレータはその状態で所望の入力指示情報を入力する。入力指示情報は、アプリケーションに応じて異なるが、例えば、文字の入力指示や、起動、終了の指示、ウィンドウサイズの変更指示等、様々な指示が考えられる。

操作判定部１５は、記憶部１５からポインタ表示テーブルを参照して、当該ポインタの表示座標を取得し、更に、アプリケーション表示テーブルを参照して、当該ポインタの表示座標に表示されているアプリケーションを特定する。そして、特定したアプリケーションの識別情報、オペレータによって入力された入力指示情報、及びポインタ番号を互いに対応付けて表示制御装置２に出力する。

表示制御装置２の情報判別部２１は、上記情報を受け付けると、該当するアプリケーション２２に対して入力指示情報を出力する。アプリケーション２２は、入力指示情報に基づいて処理を実施する。また、処理を実行する上で、表示が遷移するような場合には、遷移後の表示画面の情報を表示管理部２３に出力する。

表示管理部２３は、例えば、当該アプリケーションのウィンドウサイズが変化する、或いは、ウィンドウの位置が移動する等の変更があった場合には、これらの情報に基づいてアプリケーション表示テーブルを更新し、また、ウィンドウ自体はサイズ・位置共に変更ないが、ウィンドウ内の表示が遷移した場合には、アプリケーション表示テーブルを更新することなく、アプリケーション２２から受信した表示に関する情報を描画部２４に出力する。
また、表示管理部２３は、アプリケーション表示テーブルが更新された場合には、更新後のアプリケーション表示テーブルを各入力操作装置１に送信する。これにより、各入力操作装置１における記憶部１５内のアプリケーション表示テーブルが更新される。

描画部２４は、表示管理部２３から受け付けた表示情報に基づいて描画スクリーンを変更し、変更後の描画スクリーンをビデオカード２５に出力する。これにより、変更後の描画スクリーンがビデオ信号に変換されて、共有表示装置３に出力され、共有表示装置３の表示画面が更新される。

以上、説明してきたように、本実施形態に係る表示制御装置、入力操作装置、管制システムによれば、入力操作装置１において、アプリケーションを特定し、このアプリケーションの識別情報と入力指示情報とを対応付けて表示制御装置２に送信するので、表示制御装置２においては、アプリケーションの識別情報によって容易にアプリケーションを識別することが可能となる。これにより、表示制御装置２において、各入力操作装置１に対応するポインタの位置からアプリケーションを特定する等の処理を不要とすることができ、表示制御装置２における処理負担を軽減させることができる。また、表示制御装置２の処理負担を軽減することにより、各入力操作装置１から受け付けた指示に対する処理能力を高めることができ、即応性、操作性の向上を図ることが可能となる。

なお、上記本実施形態において、リモートカーソル１３は、入力デバイスから入力されるポインタの移動操作量について逐次操作判定部１５に出力するのではなく、所定の期間における操作移動量を積分し、この結果を操作判定部１５に出力することとしてもよい。例えば、所定のサンプリング期間の操作移動量がΔＸ１、ΔＹ１であり、次のサンプリング期間の操作移動量がΔＸ２、ΔＹ２であった場合には、これらを積算した値であるΔＸ１＋ΔＸ２、ΔＹ１＋ΔＹ２を操作移動量として操作判定部１５に出力することとしてもよい。操作移動量を積分する期間については、任意に決定できる。長くすれば処理は軽減されるが、操作性が悪化するため、これらの相反する効果を考慮して、バランスのとれた期間にすることが好ましい。

１ 入力操作装置
２ 表示制御装置
３ 共有表示装置
５ ネットワーク
１１ キーボード
１２ ポインティングデバイス
１３ リモートカーソル
１４ 記憶部
１５ 操作判定部
２１ 情報判別部
２２ アプリケーション
２３ 表示管理部
２４ 描画部
２５ ビデオカード

Claims (3)

1. 複数の入力操作装置とネットワークを介して接続され、該入力操作装置からの操作情報に基づいて共有表示装置の表示内容を更新する表示制御装置であって、
   いずれかの前記入力操作装置から該入力操作装置に関する識別情報、アプリケーションの識別情報、及び該アプリケーションに対する入力指示情報を受信した場合に、該当するアプリケーションに対して、受信した入力指示情報を出力する情報判別手段と、
   該入力指示情報に基づく該アプリケーションの処理による画面遷移を前記共有表示装置の画面に反映させる表示処理手段と
   を備え、
   前記表示処理手段は、前記共有表示装置の画面配置に関する情報を各前記入力操作装置に所定のタイミングで送信する表示制御装置。
2. 複数の入力操作装置と、複数の該入力操作装置により共有される共有表示装置と、複数の該入力操作装置とネットワークを介して接続され、該入力操作装置からの操作情報に基づいて該共有表示装置の表示画面を更新する表示制御装置とを備える表示システムに適用される該入力操作装置であって、
   前記表示制御装置から該共有表示装置の画面配置に関する情報を受信した場合に、受信した該画面配置に関する情報を記憶する記憶手段と、
   入力手段と、
   該入力手段から前記表示制御装置が備えるアプリケーションに対する入力指示情報が入力された場合に、該入力手段の操作移動量と該記憶手段に記憶されている画面配置に関する情報とに基づいて、前記共有表示装置の画面上における移動後のポインタの表示座標を算出するとともに、移動後のポインタの表示座標に位置しているアプリケーションを特定する操作判定手段と、
   操作判定手段によって特定されたアプリケーションの識別情報、該アプリケーションに対する入力指示情報、移動後の該ポインタの表示座標、及び自身の識別情報に関する識別情報を対応付けて前記表示制御装置に送信する送信手段と
   を具備する入力操作装置。
3. 請求項２に記載の複数の入力操作装置と、
   請求項１に記載の表示制御装置と、
   複数の前記入力操作装置が共有する共有表示装置と
   を備える管制システム。

Images