JP2007011531A - インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム - Google Patents
インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム Download PDFInfo
- Publication number
- JP2007011531A JP2007011531A JP2005189303A JP2005189303A JP2007011531A JP 2007011531 A JP2007011531 A JP 2007011531A JP 2005189303 A JP2005189303 A JP 2005189303A JP 2005189303 A JP2005189303 A JP 2005189303A JP 2007011531 A JP2007011531 A JP 2007011531A
- Authority
- JP
- Japan
- Prior art keywords
- processing apparatus
- information processing
- information
- display
- interface control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
【課題】 標準的なデスクトップの操作内容を維持しつつ、画面表示態様や操作は携帯端末等の情報端末装置の能力に合わせた遠隔操作環境を実現する。
【解決手段】 サーバ装置側で実行されるアプリケーション３６の操作画面２００をアプリケーション３６に設けられたプラグイン４０にてスライド一覧２０４、メインパネル２０５等の表示要素３６ａに分解して認識し、個々の表示要素３６ａや、表示要素３６ａの組み合わせを情報端末装置２０のリモート操作画面４００に表示してユーザに操作させることで、サーバ装置上におけるアプリケーション３６を、情報端末装置２０から遠隔操作する遠隔デスクトップ操作を実現する。
【選択図】図１
【解決手段】 サーバ装置側で実行されるアプリケーション３６の操作画面２００をアプリケーション３６に設けられたプラグイン４０にてスライド一覧２０４、メインパネル２０５等の表示要素３６ａに分解して認識し、個々の表示要素３６ａや、表示要素３６ａの組み合わせを情報端末装置２０のリモート操作画面４００に表示してユーザに操作させることで、サーバ装置上におけるアプリケーション３６を、情報端末装置２０から遠隔操作する遠隔デスクトップ操作を実現する。
【選択図】図１
Description
本発明は、情報処理装置の操作画面を他の情報処理装置から遠隔操作する技術に関し、特に、情報処理装置の操作画面を、携帯電話のような限られた入出力機器しか持たない情報端末から遠隔操作するための技術に関する。
近年では、コンピュータの操作方法は、オペレーティングシステム等の基本ソフトウェアおよびアプリケーションプログラム（以下、単にアプリケーションと略記する）のいずれの操作においても、いわゆるＧＵＩが主流となっている。
すなわち、オペレーティングシステムの操作では、コンピュータ画面に、「デスクトップ」と呼ばれる基本操作画面を表示し、このデスクトップ上に配置されたアイコン（絵文字）等をマウス等のポインティングデバイスにて操作することで、アイコンに対応した各種プログラムの起動やファイル操作等の各種の操作を行うものである。
また、アプリケーションの操作においては、表示位置やサイズが可変なウィンドウをコンピュータ画面上に表示し、このウィンドウに配置された各種の表示要素をユーザがマウスにて操作することで、アプリケーションに対する各種の指示を行うようになっている。
一方、情報ネットワークや、携帯電話のような携帯端末の発達に伴い、パーソナルコンピュータやサーバ等の据え置き型の情報処理装置を携帯端末から遠隔操作する、いわゆる遠隔デスクトップ操作技術が普及してきている。
従来のＶＮＣ(Virtual Network Computing)やＲｅｍｏｔｅ Ｄｅｓｋｔｏｐのような遠隔デスクトップ操作技術は、遠隔デスクトップの画面を切り出して携帯端末の画面に出力するだけで、操作インタフェースに関してもキー変換やマウスエミュレーション程度の入力補助機能しか持っていなかった。このため、マウス、キーボードおよび広い表示画面からなる据え置き型の情報処理装置のハードウェア環境に特化して開発されたデスクトップの操作体系をそのまま用いた操作しかできず、情報表示手段や情報入力手段等の制約が大きい携帯端末からの操作は一般に困難だった。
例えば、デスクトップ上のアプリケーションはマウスでアイコン化されたボタンを押したり、オブジェクトを指定したりして操作されている。マウスの無い携帯端末では効率よくボタンを押したり、グラフィカルに配置されたオブジェクトを指定したりすることができず、アプリケーションの操作は難しかった。
また、携帯端末の狭い画面ではツールバーや複数階層を表示するサブパネルを常時表示する余裕は無く、注目する情報を最大限に拡大して効果的に表示する必要がある。
すなわち、標準的なデスクトップの操作内容を維持しつつ、画面表示態様や操作は携帯端末に合わせた操作環境が求められている。
すなわち、標準的なデスクトップの操作内容を維持しつつ、画面表示態様や操作は携帯端末に合わせた操作環境が求められている。
従来の例として、特許文献１はＶＮＣのような遠隔デスクトップ操作技術を利用し、入出力プラグインモジュールを活用することで、デスクトップ画面のビットマップイメージの拡大・縮小や、異種インタフェースからマウスイベントへの変換等の入力変換を行っていた。
しかし、実際に利用するアプリケーションは、それぞれに最適な設定や画面サイズが異なり、操作方法もアプリケーション固有の操作が多く、単なるマウスイベントへの変換等の一般的な入力変換方法では入力ボタンの少ない携帯端末から十分な操作を行うことは難しかった。例えば、十字キーを利用したマウスエミュレーションによるボタン押下や、注目領域のスクロール作業などの煩雑な操作をユーザに行わせる必要があった。
他の従来技術として、特許文献２には、ローカルホストとリモートホスト間で、ソフトウェアの構成部品であるオブジェクトを対応付けることで、ローカル側からリモート側のソフトウェアの遠隔操作を実現しようとする技術が開示されている。しかし、この特許文献２の技術では、ローカルおよびリモートホストの双方に共通のソフトウェア基盤が実装されていることが前提となり、また、アプリケーション自体に遠隔操作を意識したオブジェクトの実装が必要であり、汎用性に欠ける懸念がある。
また、特許文献３には、情報端末が接続されるサーバコンピュータに、回線の接続／切断／再開等に伴うセキュリティ管理を行うセキュリティ部と、サーバコンピュータ内のアプリケーションプログラム等のデータを、情報端末の利用者の属性情報に基づいて当該利用者が利用可能な情報に変換する応用機能変換部を設ける技術が開示されている。しかし、この応用機能変換部では、アプリケーションプログラムが取り扱う文書データ等のデータ形式の変換を行うものであり、情報端末のハードウェア環境に応じたアプリケーションプログラムの操作インタフェースの最適化等の技術的課題に関する認識は開示されていない。
特開２００３−２０８４０２号公報
特開２００２−４１３０９号公報
特開平１１−１２２２６２号公報
本発明の目的は、標準的なデスクトップの操作内容を維持しつつ、画面表示態様や操作は携帯端末等の情報端末の能力に合わせた遠隔デスクトップ操作環境を実現することが可能な、遠隔デスクトップ操作技術を提供することにある。
本発明の他の目的は、遠隔デスクトップ操作において、オペレーティングシステムや個々のアプリケーションの多様な操作インタフェースを、情報端末の能力に合わせて最適化することが可能な遠隔デスクトップ操作技術を提供することにある。
本発明の第１の観点は、第１の情報処理装置に、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行させるインタフェース制御プログラムであって、
前記第１の情報処理装置に、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行させるインタフェース制御プログラムを提供する。
前記第１の情報処理装置に、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行させるインタフェース制御プログラムを提供する。
本発明の第２の観点は、第１の情報処理装置が、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御方法であって、
前記第１の情報処理装置が、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行するインタフェース制御方法を提供する。
前記第１の情報処理装置が、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行するインタフェース制御方法を提供する。
本発明の第３の観点は、特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御装置であって、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１手段と、
前記第１手段に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２手段と、
を有するインタフェース制御装置を提供する。
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１手段と、
前記第１手段に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２手段と、
を有するインタフェース制御装置を提供する。
本発明の第４の観点は、第１情報処理装置にて実行されるアプリケーションプログラムに機能を追加するためのプラグインプログラムであって、
前記アプリケーションプログラムの操作画面の表示要素を認識する工程と、
前記表示要素を、前記アプリケーションプログラムを選択するためのプログラムリストに登録する工程と、
前記アプリケーションプログラムを遠隔操作する第２情報処理装置における前記表示要素の表示態様を変更するための補助アプリケーションプログラムインタフェース（補助ＡＰＩ）を準備する工程と、
を前記第１情報処理装置に実行させるプラグインプログラムを提供する。
前記アプリケーションプログラムの操作画面の表示要素を認識する工程と、
前記表示要素を、前記アプリケーションプログラムを選択するためのプログラムリストに登録する工程と、
前記アプリケーションプログラムを遠隔操作する第２情報処理装置における前記表示要素の表示態様を変更するための補助アプリケーションプログラムインタフェース（補助ＡＰＩ）を準備する工程と、
を前記第１情報処理装置に実行させるプラグインプログラムを提供する。
本発明の第５の観点は、アプリケーションプログラムを実行する情報処理装置であって、
前記アプリケーションプログラムの操作画面の表示要素を認識する第１機能と、
前記表示要素または当該表示要素の組み合わせにて他の情報端末からの表示要求に応答する第２機能と、
を含む制御論理を備えた情報処理装置を提供する。
前記アプリケーションプログラムの操作画面の表示要素を認識する第１機能と、
前記表示要素または当該表示要素の組み合わせにて他の情報端末からの表示要求に応答する第２機能と、
を含む制御論理を備えた情報処理装置を提供する。
上記した本発明によれば、第１情報処理装置上で動作するプログラム等の操作画面を構成要素を単位として認識し、前記プログラムを遠隔操作する第２情報処理装置に対して個々の構成要素および／またはいくつかの構成要素の組み合わせを提示し、必要に応じて、当該第２情報処理装置における前記構成要素の表示態様を適宜変更することができる
これにより、操作端末としての第２情報処理装置のハードウェア構成等の特性だけでなく、個々のアプリケーションプログラムの特性に合わせて操作画面の表示や、操作入力方法をカスタマイズすることができる。また、従来の技術では難しかったアプリケーションの設定や状態の自動変更も容易に行うことができる。
これにより、操作端末としての第２情報処理装置のハードウェア構成等の特性だけでなく、個々のアプリケーションプログラムの特性に合わせて操作画面の表示や、操作入力方法をカスタマイズすることができる。また、従来の技術では難しかったアプリケーションの設定や状態の自動変更も容易に行うことができる。
本発明によれば、標準的なデスクトップの操作内容を維持しつつ、画面表示態様や操作は携帯端末等の情報端末の能力に合わせた遠隔デスクトップ操作環境を実現することが可能となる。
また、遠隔デスクトップ操作において、オペレーティングシステムや個々のアプリケーションの多様な操作インタフェースを、情報端末の能力に合わせて最適化することが可能となる。
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。以下では、本発明のインタフェース制御技術を、一例として遠隔デスクトップ操作技術に適用した場合について説明する。
図１は本発明の一実施の形態である遠隔デスクトップ操作方法の一例を示す概念図、図２は、本発明の一実施の形態である遠隔デスクトップ操作方法を実施する情報処理システムの構成の一例を示す概念図、図３は、本実施の形態の遠隔デスクトップ操作方法を実施するサーバ装置の構成の一例を示すブロック図、図４は、本実施の形態の遠隔デスクトップ操作方法を実施する情報端末装置の構成の一例を示すブロック図、図５は、本実施の形態の情報端末装置の外観の一例を示す平面図である。
本実施の形態の情報処理システムは、たとえば、据え置き型のパーソナルコンピュータ等で構成されるサーバ装置１０（第１情報処理装置）と、このサーバ装置１０に対して無線通信網や公衆通信回線等の図示しない情報ネットワークで接続される情報端末装置２０（第２情報処理装置）を含んでいる。
サーバ装置１０は、オペレーティングシステム３０と、このオペレーティングシステム３０の上で稼働するデスクトップマネージャ３１、ファイルサーバ３２、リモートデスクトップサーバ３３、アプリケーションプログラム（以下、アプリケーション３６と略記する）、プラグイン４０（インタフェース制御プログラム）等のソフトウェアが実装されている。
また、オペレーティングシステム３０の配下には、ファイル３４、お気に入り利用履歴３５ 、等の情報資源が存在する。
一方、情報端末装置２０には、当該情報端末装置２０からサーバ装置１０を遠隔操作するためのリモートエクスプローラ５０およびリモートビューア６０、等のソフトウェアが実装されている。
一方、情報端末装置２０には、当該情報端末装置２０からサーバ装置１０を遠隔操作するためのリモートエクスプローラ５０およびリモートビューア６０、等のソフトウェアが実装されている。
図３に例示されるように、本実施の形態のサーバ装置１０は、中央処理装置１１、主記憶１２、外部記憶装置１３、通信インタフェース１４、ディスプレイ１５、キーボード１６、マウス１７およびこれらの構成要素を相互に接続する情報伝送路としてのバス１８を含んでいる。
中央処理装置１１は、たとえばマイクロプロセッサユニット（ＭＰＵ）等で構成され、主記憶１２に格納されたオペレーティングシステム３０およびその配下のソフトウェアを実行する。
主記憶１２は、中央処理装置１１が実行するソフトウェアやデータが格納される。本実施の形態の場合、主記憶１２には、オペレーティングシステム３０、デスクトップマネージャ３１、ファイルサーバ３２、リモートデスクトップサーバ３３、アプリケーション３６、プラグイン４０、等のソフトウェアが実装されている。
外部記憶装置１３は、たとえば、書き換え可能な不揮発性の記憶媒体を備えた記憶装置で構成され、ファイル３４、お気に入り利用履歴３５および後述のアプリケーションプロファイル４７等の情報が格納される。
ファイル３４、お気に入り利用履歴３５、アプリケーション３６は、情報端末装置２０による操作対象アイテムの実体である。
通信インタフェース１４は、無線通信インタフェース 等で構成され、情報端末装置２０との間で情報通信を行う。
通信インタフェース１４は、無線通信インタフェース 等で構成され、情報端末装置２０との間で情報通信を行う。
ディスプレイ１５は、たとえば、比較的大型のパネルディスプレイ（ＸＧＡ：１０２４×７６８ピクセル）で構成され、基本操作画面である後述のデスクトップ１００や、アプリケーション３６の操作画面２００等の情報の可視化表示を行う。
キーボード１６は、ユーザによるオペレーティングシステム３０やアプリケーション３６に対する情報入力に用いられる。マウス１７は、ポインティングデバイスとして、情報の入力を行う。
一方、図４に例示されるように、本実施の形態の情報端末装置２０は、中央処理装置２１、主記憶２２、記憶装置２３、通信インタフェース２４、ディスプレイ２５、音声インタフェース２６、キーパッド２７およびこれらを接続するバス２８を含んでいる。
中央処理装置２１は、たとえばマイクロプロセッサユニット（ＭＰＵ）等で構成され、主記憶２２に実装されたリモートエクスプローラ５０やリモートビューア６０等のソフトウェアを実行することで、サーバ装置１０に対する遠隔アクセスを実現する。
主記憶２２には、中央処理装置２１にて実行されるリモートエクスプローラ５０やリモートビューア６０等のソフトウェアやデータが格納される。
記憶装置２３は、たとえば、書き換え可能な不揮発性の記憶媒体で構成され、後述の、端末側アプリケーションプロファイル６７、端末プロファイル７０、等の情報が格納されている。
記憶装置２３は、たとえば、書き換え可能な不揮発性の記憶媒体で構成され、後述の、端末側アプリケーションプロファイル６７、端末プロファイル７０、等の情報が格納されている。
通信インタフェース２４は、たとえば無線通信インタフェースで構成され、サーバ装置１０との間における情報通信に用いられる。
ディスプレイ２５は、たとえば小型のパネル表示装置（たとえば、解像度がＱＶＧＡ：３２０×２４０ピクセル）等で構成され、ユーザに対する情報の表示を行う。
ディスプレイ２５は、たとえば小型のパネル表示装置（たとえば、解像度がＱＶＧＡ：３２０×２４０ピクセル）等で構成され、ユーザに対する情報の表示を行う。
音声インタフェース２６は、マイクロフォンやスピーカ等で構成され、たとえば電話等の音声通信における音声情報の入出力に用いられる。
キーパッド２７は、後述の十字キー２７ａ、決定ボタン２７ｂ等を含む比較的小型で少数のキーで構成されている。
キーパッド２７は、後述の十字キー２７ａ、決定ボタン２７ｂ等を含む比較的小型で少数のキーで構成されている。
なお、説明の便宜上、主記憶２２および記憶装置２３を別個に例示しているが、一つの共通の記憶装置で実現してもよい。また、必要に応じて図示しないカメラを設けてテレビ電話として機能するようにしてもよい。
図５に例示されるように、本実施の形態の情報端末装置２０は、比較的小型の筐体２９に、通信インタフェース２４のアンテナ２４ａ、ディスプレイ２５、キーパッド２７、十字キー２７ａ、決定ボタン２７ｂを実装した構成となっている。
図６Ａ、図６Ｂおよび図６Ｃは、上述の端末プロファイル７０の設定例を示している。端末プロファイル７０は、端末タイプ７１、画面サイズ７２、カラー表示能力７３、ブラウザタイプ７４、キーボードタイプ７５および通信タイプ７６等の情報で構成されている。
端末タイプ７１には、たとえば、「携帯ＩＰ電話」、「携帯電話」、「ノートパソコン」等の情報端末装置２０の種類を示す情報が設定される。
画面サイズ７２には、「ＱＶＧＡ：３２０×２４０ピクセル」、「ＸＧＡ：１０２４×７６８ピクセル」等のディスプレイ２５の画像表示サイズ（解像度）を示す情報が設定される。
画面サイズ７２には、「ＱＶＧＡ：３２０×２４０ピクセル」、「ＸＧＡ：１０２４×７６８ピクセル」等のディスプレイ２５の画像表示サイズ（解像度）を示す情報が設定される。
カラー表示能力７３には、カラー表示における色数を示すビット値が設定される。
ブラウザタイプ７４には、情報端末装置２０に実装されたリモートビューア６０等の閲覧ソフトウェアの種別が設定される。
ブラウザタイプ７４には、情報端末装置２０に実装されたリモートビューア６０等の閲覧ソフトウェアの種別が設定される。
キーボードタイプ７５には、キーパッド２７の種別を示す情報が設定される。
通信タイプ７６には、通信インタフェース２４における媒体（有線／無線）の種別が設定される。
通信タイプ７６には、通信インタフェース２４における媒体（有線／無線）の種別が設定される。
なお、図６Ａは、情報端末装置２０が無線ＬＡＮ／ＩＰ電話の場合の設定例を示している。図６Ｂは、情報端末装置２０が、一般の携帯電話の場合の設定例を示している。図６Ｃは、情報端末装置２０が、ノートパソコンの場合の設定例を示している。
図７は、サーバ装置１０において、デスクトップマネージャ３１の制御によってディスプレイ２５に表示される基本操作画面としてのデスクトップ１００の一例を示している。
デスクトップ１００は、アプリケーション３６やファイル等に対応付けられたアイコン１０１、ポップアップメニュー１０２、サブメニュー１０３、操作ボタン１０４、操作バー１０５等の表示要素３６ａで構成されている。そして、これらの表示要素３６ａをユーザがマウス１７やキーボード１６にて操作することで、アプリケーション３６の起動やファイル操作等のオペレーティングシステム３０の操作を行う。
デスクトップ１００は、アプリケーション３６やファイル等に対応付けられたアイコン１０１、ポップアップメニュー１０２、サブメニュー１０３、操作ボタン１０４、操作バー１０５等の表示要素３６ａで構成されている。そして、これらの表示要素３６ａをユーザがマウス１７やキーボード１６にて操作することで、アプリケーション３６の起動やファイル操作等のオペレーティングシステム３０の操作を行う。
また、サーバ装置１０のデスクトップ１００には、起動されたアプリケーション３６の操作画面２００も表示される。
図８は、この操作画面２００の構成例を示す概念図である。この図８は、たとえば、アプリケーション３６が、発表会や会議などで使用する資料を作成／表示するためのプレゼンテーシヨンソフトウェアの場合の操作画面２００の例を示している。このプレゼンテーシヨンソフトウェアの場合、操作画面２００は、たとえば、ツールバー２０１、書式設定バー２０２、罫線バー２０３、スライド一覧２０４、メインパネル２０５、レイアウト選択パネル２０６、図形バー２０７、ステイタス通知バー２０８等の複数の表示要素３６ａで構成されている。
図８は、この操作画面２００の構成例を示す概念図である。この図８は、たとえば、アプリケーション３６が、発表会や会議などで使用する資料を作成／表示するためのプレゼンテーシヨンソフトウェアの場合の操作画面２００の例を示している。このプレゼンテーシヨンソフトウェアの場合、操作画面２００は、たとえば、ツールバー２０１、書式設定バー２０２、罫線バー２０３、スライド一覧２０４、メインパネル２０５、レイアウト選択パネル２０６、図形バー２０７、ステイタス通知バー２０８等の複数の表示要素３６ａで構成されている。
上述のように、本実施の形態の情報処理システムは、ユーザが所持して操作する情報端末装置２０と、操作されるデスクトップ１００やアプリケーション３６を保持し実行するサーバ装置１０とで構成されている。
サーバ装置１０のオペレーティングシステム３０は、サーバ装置１０の全体を統括して管理するとともに、ユーザのアプリケーション３６の実行を制御する。
リモートデスクトップサーバ３３は、サーバ装置１０との間におけるデスクトップ１００の画面の送信などの基本的なデスクトップ遠隔操作を受け持つ。
リモートデスクトップサーバ３３は、サーバ装置１０との間におけるデスクトップ１００の画面の送信などの基本的なデスクトップ遠隔操作を受け持つ。
ファイルサーバ３２は、ユーザのファイル３４や利用中のプロセス（プログラム）などをリスト（たとえば後述のアプリケーションリスト３０１）としてサーバ装置１０に公開する処理を行う。
デスクトップマネージャ３１は、オペレーティングシステム３０と連携して実行中のプロセス情報をファイルサーバ３２に通知し、ユーザや情報端末装置２０からの指示でオペレーティングシステム３０に対して操作を行う。このデスクトップマネージャ３１がオペレーティングシステム３０に対して行う操作は、少なくともアプリケーション３６の操作画面２００のサイズ変更、座標変更、最大化、アイコン化、通常化を含む。また、デスクトップマネージャ３１は少なくともユーザの実行するアプリケーション３６の情報をオペレーティングシステム３０から取得し、端末初期画面である遠隔デスクトップ環境３００にアプリケーションリスト３０１としてファイルサーバ３２が公開できるようにデータを整理する機能を持つ。このアプリケーションリスト３０１には、プラグイン４０による表示要素３６ａもアプリケーション３６のサブ項目３０１ａとして登録される。
そして本実施の形態の場合、個々のアプリケーション３６にもユーザや情報端末装置２０からの指示で通常のキーボード操作以外の特殊操作を行うプラグイン４０が設けられている。このプラグイン４０はすべてのアプリケーション３６について設ける必要は無いが、後に説明するプラグイン４０を用いた特殊操作は行えず、通常の操作以外にはデスクトップマネージャ３１を用いたオペレーティングシステム３０経由の特殊操作しか利用できない。
情報端末装置２０に実装されたリモートエクスプローラ５０は、ユーザが操作可能なファイル３４、アプリケーション３６等のプロセスなどのアイテムを、サーバ装置１０のファイルサーバ３２より取得して遠隔デスクトップ環境３００としてディスプレイ２５に表示する。
リモートビューア６０は、情報端末装置２０側のリモートデスクトップサーバ３３と連携して遠隔デスクトップ環境３００を表示しつつ、サーバ装置１０のデスクトップマネージャ３１や個々のアプリケーション３６のプラグイン４０の窓口となる。このリモートビューア６０が、一般的なリモートデスクトップで扱うようなキーボードやマウスを利用した通常操作だけでなく、デスクトップマネージャ３１やプラグイン４０を用いた後述の特殊操作のインタフェースを提供する。
次に、図９等を参照して、本実施の形態のプラグイン４０についてさらに詳細に説明する。図９は、本実施の形態のプラグイン４０の機能構成の一例を示すブロック図である。
本実施の形態のプラグイン４０は、アプリケーション３６毎に用意されており、後述のように、対応するアプリケーション３６の情報を取得し、キーボードやポインティングデバイスで操作できない特殊操作を実現するための操作インタフェースを提供する。
本実施の形態のプラグイン４０は、アプリケーション３６毎に用意されており、後述のように、対応するアプリケーション３６の情報を取得し、キーボードやポインティングデバイスで操作できない特殊操作を実現するための操作インタフェースを提供する。
このプラグイン４０は、表示要素座標認識機能４１、表示要素登録機能４２、表示変更機能４３、注目要素検出機能４４、注目要素変更機能４５、注目要素変更通知機能４６およびアプリケーションプロファイル４７を含んでいる。
アプリケーションプロファイル４７は、アプリケーション３６や内部要素の基本情報を保持している。
図１０は、このアプリケーションプロファイル４７の構成例を示す概念図である。アプリケーションプロファイル４７は、要素名４７ａ、関係情報４７ｂ、優先度４７ｃ、通知有無情報４７ｄ、要素座標検出方法４７ｅ、要素座標４７ｆ、要素サイズ４７ｇを含んでいる。
図１０は、このアプリケーションプロファイル４７の構成例を示す概念図である。アプリケーションプロファイル４７は、要素名４７ａ、関係情報４７ｂ、優先度４７ｃ、通知有無情報４７ｄ、要素座標検出方法４７ｅ、要素座標４７ｆ、要素サイズ４７ｇを含んでいる。
要素名４７ａは、アプリケーション３６の操作画面２００を構成する構成要素（この場合、ツールバー２０１〜ステイタス通知バー２０８）を特定する。
関係情報４７ｂは、要素名４７ａで特定される個々の要素間の階層関係および依存関係を示す。
関係情報４７ｂは、要素名４７ａで特定される個々の要素間の階層関係および依存関係を示す。
優先度４７ｃは、要素名４７ａで特定される個々の要素の表示方法を示し、「単独表示」、「表示不要」、「表示必須」、「選択的表示」（情報端末装置２０の側で自動的に判断）、等の情報が設定される。
通知有無情報４７ｄは、要素名４７ａで特定される個々の要素に関するイベントの発生時に、情報端末装置２０の側に通知するか否かを設定する。
要素座標検出方法４７ｅは、後述のいずれの方法にて、要素名４７ａで特定される個々の要素を認識するかを示す情報である。
要素座標検出方法４７ｅは、後述のいずれの方法にて、要素名４７ａで特定される個々の要素を認識するかを示す情報である。
要素座標４７ｆは、要素座標検出方法４７ｅの方法を用いて認識された要素の座標値である。
要素サイズ４７ｇは、要素座標検出方法４７ｅの方法を用いて認識された要素のサイズ値である。
要素サイズ４７ｇは、要素座標検出方法４７ｅの方法を用いて認識された要素のサイズ値である。
表示要素座標認識機能４１は、アプリケーション３６の操作画面２００（ＧＵＩ）から、その内部の全表示要素３６ａ（この場合、ツールバー２０１〜ステイタス通知バー２０８等）を認識する。
表示要素登録機能４２は、表示要素座標認識機能４１が認識した全表示要素３６ａのうち情報端末装置２０の特性によって表示選択された全表示要素３６ａをアプリケーションリスト３０１に登録する。
表示変更機能４３は、情報端末装置２０の指示で表示モードの変更や表示パーツの選択などを行う。
注目要素検出機能４４は、操作画面２００において現在ユーザが注目（フォーカス）している注目要素（この場合、ツールバー２０１〜ステイタス通知バー２０８のいずれか一つ）を検出する。
注目要素検出機能４４は、操作画面２００において現在ユーザが注目（フォーカス）している注目要素（この場合、ツールバー２０１〜ステイタス通知バー２０８のいずれか一つ）を検出する。
注目要素変更機能４５は、情報端末装置２０からの指示で注目要素を変更する。
注目要素変更通知機能４６は、逆にアプリケーション３６の側が自動的に注目要素の変更を行った際に情報端末装置２０に通知する。
注目要素変更通知機能４６は、逆にアプリケーション３６の側が自動的に注目要素の変更を行った際に情報端末装置２０に通知する。
図１１は、アプリケーション３６の起動時におけるプラグイン４０の動作の一例を示すフローチャートである。
サーバ装置１０内でアプリケーション３６が起動される時（ステップ６０１）、対応するプラグイン４０が存在するなら同時にプラグイン４０も起動する。ユーザが通常通りサーバ装置１０上での直接操作を行う際は、プラグイン４０は表示要素座標認識機能４１による表示要素座標認識（ステップ６０２）およびアプリケーションプロファイル４７への記録（ステップ６０３）、および表示要素登録機能４２による要素登録（ステップ６０４）のみを行い、通常のサーバ装置１０上におけるアプリケーション３６の操作に移行する（ステップ６０５）。
サーバ装置１０内でアプリケーション３６が起動される時（ステップ６０１）、対応するプラグイン４０が存在するなら同時にプラグイン４０も起動する。ユーザが通常通りサーバ装置１０上での直接操作を行う際は、プラグイン４０は表示要素座標認識機能４１による表示要素座標認識（ステップ６０２）およびアプリケーションプロファイル４７への記録（ステップ６０３）、および表示要素登録機能４２による要素登録（ステップ６０４）のみを行い、通常のサーバ装置１０上におけるアプリケーション３６の操作に移行する（ステップ６０５）。
表示要素座標認識機能４１による表示要素座標の認識（上述のステップ６０２の処理）は、図１２に例示されるフローチャートのような処理で行われる。
アプリケーションプロファイル４７内の要素リストにあるツールバー２０１〜ステイタス通知バー２０８等の表示要素３６ａ毎に、対応する矩形領域を検出する。矩形領域の検出方法は３種類あり、検出可能な表示要素３６ａには（１）固定座標による指定、（２）ＡＰＩ（Application Program Interface）呼び出しによる座標取得、（３）色識別による矩形認識、のいずれかが操作画面２００内における座標検出方法として指定されている。いずれの検出方法も指定されていない表示要素３６ａは認識不能領域としてアプリケーションプロファイル４７に記録される。
アプリケーションプロファイル４７内の要素リストにあるツールバー２０１〜ステイタス通知バー２０８等の表示要素３６ａ毎に、対応する矩形領域を検出する。矩形領域の検出方法は３種類あり、検出可能な表示要素３６ａには（１）固定座標による指定、（２）ＡＰＩ（Application Program Interface）呼び出しによる座標取得、（３）色識別による矩形認識、のいずれかが操作画面２００内における座標検出方法として指定されている。いずれの検出方法も指定されていない表示要素３６ａは認識不能領域としてアプリケーションプロファイル４７に記録される。
固定座標による指定は、固定値や、アプリケーション３６の操作画面２００の幅や高さ、別の表示要素３６ａの座標や幅、高さなどの値を利用して指定される。別の表示要素３６ａの座標情報などを利用する場合には、座標情報の依存関係が循環しないように指定しなければならない。特定の表示要素３６ａの座標を検出するために、認識不能な表示要素３６ａの座標が必要になったり、自分自身の座標が必要になったりした場合には、当該表示要素３６ａの座標は認識不能なものとしてプロファイルに記載される。
ＡＰＩ呼び出しによる座標取得方法は、オペレーティングシステム３０やアプリケーション３６のＡＰＩを利用して目的の表示要素３６ａの座標を取得する。オペレーティングシステム３０上のＷｉｎｄｏｗとして登録され、名前などで識別が可能な表示要素３６ａや、アプリケーション３６が外部ＡＰＩとして座標取得用ＡＰＩを用意している場合に、この検出方法が指定される。
色識別による座標認識は、特定の色による矩形外色または矩形内色を指定することによって、矩形領域としての表示要素３６ａを検出する。矩形外色を指定した場合、アプリケーション３６のＧＵＩ画面（操作画面２００）を画像として認識し、指定された色で囲まれた矩形領域を検出する。また、矩形内色を指定した場合、矩形の外周が指定色になっている矩形領域を検出する。一般に指定した色による矩形領域は複数検出されるが、別途指定する座標範囲条件やサイズ範囲条件に合う矩形領域の中で最大のものを表示要素３６ａの領域として検出する。
以上を総合すると以下のようになる。すなわち、図１２のフローチャートにおいて、表示要素座標認識が開始されると、まず、プロファイル内に未認識領域があるか判別し（ステップ６１１）、未認識領域がある場合には、未認識領域の選択を行い（ステップ６１２）、選択領域の位置情報が固定座標指定である場合には（ステップ６１３）、固定座標に指定された座標を認識し（ステップ６１６）、選択領域の位置情報がAPI指定である場合には（ステップ６１４）、API呼び出しによって得られた座標を認識して（ステップ６１７）、ステップ６１１に戻る。
さらに、上記のいずれでもない場合は、選択領域の位置情報が色識別指定であるかを判別し（ステップ６１５）、該当しない場合は、認識不能領域として要素リストに記載して（ステップ６１８）、ステップ６１１に戻る。
ステップ６１５で色識別指定と判定された場合には、色認識による矩形検出結果をリスト化し（ステップ６１９）、検出結果から、座標範囲、サイズ範囲指定の条件に合わないものをリストから削除した後（ステップ６２０）、リスト内でサイズ最大のものを該当領域として認識する（ステップ６２１）。
以上の処理を操作画面２００内の全ての表示要素３６ａについて反復する。これにより、図１３に例示されるような、要素座標４７ｆおよび要素サイズ４７ｇの認識結果を含むアプリケーションプロファイル４７が得られる。
図１４は、情報端末装置２０に実装されたリモートビューア６０の機能構成の一例を示す概念図である。
リモートビューア６０は、リモートデスクトップクライアント機能６１、操作対象要素管理機能６２、表示変更指示機能６３、モード別入力変換機能６４、入力モード管理機能６５、表示要素合成機能６６および端末側アプリケーションプロファイル６７を含んでいる。
リモートビューア６０は、リモートデスクトップクライアント機能６１、操作対象要素管理機能６２、表示変更指示機能６３、モード別入力変換機能６４、入力モード管理機能６５、表示要素合成機能６６および端末側アプリケーションプロファイル６７を含んでいる。
リモートデスクトップクライアント機能６１は、サーバ装置１０上のリモートデスクトップサーバ３３のクライアントとして、サーバ装置１０の画面を取得して情報端末装置２０のディスプレイ２５に表示し、ユーザからの入力をサーバ装置１０のリモートデスクトップサーバ３３に送信する機能を持つ。
操作対象要素管理機能６２は、ユーザがサーバ装置１０上のどの操作対象を注目しているかを管理する。
表示変更指示機能６３は、情報端末装置２０のディスプレイ２５の特性やユーザの微調整指示に従ってアプリケーション３６の表示変更を指示する。
表示変更指示機能６３は、情報端末装置２０のディスプレイ２５の特性やユーザの微調整指示に従ってアプリケーション３６の表示変更を指示する。
端末側アプリケーションプロファイル６７は、表示要素制御テーブル６８と、モード別キー割り当てテーブル６９を含んでいる。
表示要素制御テーブル６８は、アプリケーション３６の各々毎に表示要素３６ａ（要素名６８ａ）と、当該表示要素３６ａに関する表示の可否、表示態様を示す表示設定情報６８ｂを保持している。
表示要素制御テーブル６８は、アプリケーション３６の各々毎に表示要素３６ａ（要素名６８ａ）と、当該表示要素３６ａに関する表示の可否、表示態様を示す表示設定情報６８ｂを保持している。
モード別キー割り当てテーブル６９は、個々のアプリケーション３６毎に、必要なキー入力（サーバ装置１０側のキーボード１６によるキー入力）と、情報端末装置２０上のキーパッド２７のボタンの対応付けを表すキー割り当て表を入力モード別に持つ。
モード別入力変換機能６４は、この端末側アプリケーションプロファイル６７を利用して、ユーザからの入力をアプリケーション３６と入力モードの双方に合わせて変換してサーバ装置１０に送信する。
入力モード管理機能６５は、この端末側アプリケーションプロファイル６７を利用して、情報端末装置２０における現在の入力モードを管理する。
表示要素合成機能６６は、複数の表示要素３６ａを一つの画面上に合成してディスプレイ２５に出力する。
表示要素合成機能６６は、複数の表示要素３６ａを一つの画面上に合成してディスプレイ２５に出力する。
図１５は、モード別キー割り当てテーブル６９の構成の一例を示す概念図である。モード別キー割り当てテーブル６９は、Ｓｈｉｆｔ条件６９ａ、Ａｌｔ条件６９ｂ、Ｃｔｌ条件６９ｃ、受信コード６９ｄおよび送信コード／機能６９ｅを含んでいる。
受信コード６９ｄは、キーパッド２７の個々のキーや十字キー２７ａ、決定ボタン２７ｂの押下に対応した受信コードを示し、Ｓｈｉｆｔ条件６９ａ、Ａｌｔ条件６９ｂ、Ｃｔｌ条件６９ｃの各々は、キーパッド２７の図示しない「Ｓｈｉｆｔキー」「Ａｌｔキー」「Ｃｔｌキー」のキー入力にて、この受信コードを修飾して異なる意味を持たせるか否かが設定される。
送信コード／機能６９ｅは、個々の受信コード６９ｄ、またはＳｈｉｆｔ条件６９ａ〜Ｃｔｌ条件６９ｃで修飾された受信コード６９ｄに対応して、情報端末装置２０の側のアプリケーション３６で実現される動作が設定されている。
なお、この図１５は、たとえば文書作成用のアプリケーション３６を閲覧モードで情報端末装置２０から利用する場合の設定例である。また、図１６は、たとえば文書作成用のアプリケーション３６を編集モードで情報端末装置２０から利用する場合の設定例を示している。
以下、本実施の形態の遠隔デスクトップ操作方法におけるサーバ装置１０および情報端末装置２０の作用の一例について説明する。
まず、図１７および図１８を参照して、情報端末装置２０からサーバ装置１０にアクセスする場合のログインシーケンスの一例について説明する。なお、図１７および図１８において、ステップ６３１からステップ６４３は、情報端末装置２０のリモートエクスプローラ５０の動作を示しており、ステップ６５１からステップ６６２は、サーバ装置１０側のデスクトップマネージャ３１の動作を示している。
まず、図１７および図１８を参照して、情報端末装置２０からサーバ装置１０にアクセスする場合のログインシーケンスの一例について説明する。なお、図１７および図１８において、ステップ６３１からステップ６４３は、情報端末装置２０のリモートエクスプローラ５０の動作を示しており、ステップ６５１からステップ６６２は、サーバ装置１０側のデスクトップマネージャ３１の動作を示している。
ログイン開始時において、リモートエクスプローラ５０は、情報端末装置２０のユーザが入力したユーザＩＤとパスワードの情報をデスクトップマネージャ３１に送信し、デスクトップマネージャ３１は、この情報を受信する（ステップ６３１、ステップ６５１）。
デスクトップマネージャ３１は、受信したパスワードを確認し（ステップ６５２）、パスワードが正しくない場合は、ログイン失敗をリモートエクスプローラ５０に通知し（ステップ６５３）、ログイン処理を終了する（ステップ６５４）。
これを受けたリモートエクスプローラ５０は、ユーザへログイン失敗を通知し（ステップ６３２）、ログイン処理を終了する（ステップ６３３）。
ステップ６５２でパスワードが正しいと判定された場合には、ログイン成功をリモートエクスプローラ５０に通知し（ステップ６５５）、これを受けたリモートエクスプローラ５０は、サービスプロファイルリストをデスクトップマネージャ３１に要求し（ステップ６３４）、デスクトップマネージャ３１は、サービスプロファイルリストをリモートエクスプローラ５０に送信し（ステップ６５６）、リモートエクスプローラ５０はこれを受信する（ステップ６３５）。
ステップ６５２でパスワードが正しいと判定された場合には、ログイン成功をリモートエクスプローラ５０に通知し（ステップ６５５）、これを受けたリモートエクスプローラ５０は、サービスプロファイルリストをデスクトップマネージャ３１に要求し（ステップ６３４）、デスクトップマネージャ３１は、サービスプロファイルリストをリモートエクスプローラ５０に送信し（ステップ６５６）、リモートエクスプローラ５０はこれを受信する（ステップ６３５）。
なお、デスクトップマネージャ３１では、ステップ６５６の送信処理と並行して、サーバ装置１０における起動中のアプリケーション３６等のプロセスの検出（ステップ６５７）、プロセス毎の表示要素３６ａの解析（ステップ６５８）、を実行してログインプロセスを終了する（ステップ６５９）。
そして、リモートエクスプローラ５０は、取得していないアプリケーションプロファイル４７等のサービスプロファイルがあるか調べ（ステップ６３６）、未取得のサービスプロファイルがある場合には、未取得のサービスプロファイルをデスクトップマネージャ３１に要求し（ステップ６３７）、デスクトップマネージャ３１は、この要求に呼応して要求されたサービスプロファイルをリモートエクスプローラ５０に送信し（ステップ６６０）、リモートエクスプローラ５０は、このサービスプロファイルを受信する（ステップ６３８）。
リモートエクスプローラ５０において、上述のステップ６３６で未取得のサービスプロファイルがない、と判定された場合は、デスクトップマネージャ３１にプロセスリスト（アプリケーションリスト３０１）を要求し（ステップ６３９）、これに呼応してデスクトップマネージャ３１は、プロセスリストをリモートエクスプローラ５０に送信し（ステップ６６１）、リモートエクスプローラ５０は、このプロセスリストを受信する（ステップ６４０）。
その後、リモートエクスプローラ５０は、デスクトップマネージャ３１に初期画面（遠隔デスクトップ環境３００）を要求し（ステップ６４１）、デスクトップマネージャ３１は、これに呼応して初期画面をリモートエクスプローラ５０に送信し（ステップ６４２）、情報端末装置２０におけるログイン処理が終了する（ステップ６４３）。
図１９の左側は、このログイン処理時における情報端末装置２０の初期画面（遠隔デスクトップ環境３００）の表示例を示している。
サーバ装置１０のディスプレイ２５に表示された遠隔デスクトップ環境３００には、アプリケーションリスト３０１が表示されている。このアプリケーションリスト３０１の中には、サーバ装置１０において利用可能な個々のアプリケーション３６に加えて、当該アプリケーション３６の操作画面２００の表示要素３６ａの各々に対応したアプリケーションであるサブ項目３０１ａも表示されている。
サーバ装置１０のディスプレイ２５に表示された遠隔デスクトップ環境３００には、アプリケーションリスト３０１が表示されている。このアプリケーションリスト３０１の中には、サーバ装置１０において利用可能な個々のアプリケーション３６に加えて、当該アプリケーション３６の操作画面２００の表示要素３６ａの各々に対応したアプリケーションであるサブ項目３０１ａも表示されている。
また，この図１９の右側は、後述のようにして選択された任意のアプリケーション３６の情報端末装置２０におけるリモート操作画面４００を示している。リモート操作画面４００は、リモート表示領域４０１、操作ガイド領域４０２で構成されている。リモート表示領域４０１には、たとえば、アプリケーション３６の一つまたは複数の表示要素３６ａ（この例では、メインパネル２０５）が表示される。
そして、図１に例示されるように、リモート表示領域４０１には、アプリケーション３６の任意の表示要素３６ａを切り替えながら表示することができる。
操作ガイド領域４０２には、情報端末装置２０におけるキーパッド２７とその時の入力モードに応じた操作ガイドが表示される。
操作ガイド領域４０２には、情報端末装置２０におけるキーパッド２７とその時の入力モードに応じた操作ガイドが表示される。
次に、サーバ装置１０の遠隔操作を行う際の、情報端末装置２０の動作の一例を説明する。
ユーザの指示で情報端末装置２０がサーバ装置１０を遠隔操作し始める際、まずリモートエクスプローラ５０がファイルサーバ３２にアクセスし、ユーザの操作対象アイテムリストを取得する。このアイテムリストには、ユーザが公開用フォルダに保存しているファイル、最近利用したファイル 、実行中のアプリケーション３６、お気に入り利用履歴３５のリンクなどが表示される。上記のアイテムは、デスクトップマネージャ３１がオペレーティングシステム３０上のファイル３４やＡＰＩを利用してファイルサーバ３２が公開できるように整理している。
ユーザの指示で情報端末装置２０がサーバ装置１０を遠隔操作し始める際、まずリモートエクスプローラ５０がファイルサーバ３２にアクセスし、ユーザの操作対象アイテムリストを取得する。このアイテムリストには、ユーザが公開用フォルダに保存しているファイル、最近利用したファイル 、実行中のアプリケーション３６、お気に入り利用履歴３５のリンクなどが表示される。上記のアイテムは、デスクトップマネージャ３１がオペレーティングシステム３０上のファイル３４やＡＰＩを利用してファイルサーバ３２が公開できるように整理している。
リモートエクスプローラ５０でユーザが、サーバ装置１０で実行中のアプリケーション３６や、その操作画面２００の表示要素３６ａを指定した場合、情報端末装置２０とサーバ装置１０は図２０のフローチャートに例示されるような処理でアプリケーション３６の遠隔操作準備を行う。
すなわち、情報端末装置２０からユーザの指示したアプリケーション３６のＩＤを通知されたサーバ装置１０のデスクトップマネージャ３１は（ステップ６７１）、通知された情報端末装置２０に関する端末情報を元にして、該当するアプリケーション３６や表示要素３６ａが情報端末装置２０上で最前面化および最大化されるように表示変更を行う（ステップ６８１、ステップ６８２）。
表示の最大化は、アプリケーション３６や表示要素３６ａによって実際の動作が異なるが、例えば表示要素３６ａのサイズが情報端末装置２０のディスプレイ２５の画面サイズと同じになるようにアプリケーションサイズを変更したり、文字のフォントサイズを変更したり、アプリケーション３６内の表示倍率を変更したりする（ステップ６８３）。プラグイン４０内の表示変更機能４３は個々のアプリケーション３６、表示要素３６ａがどのように表示変更すべきかを予め指定されている。
アプリケーション３６と表示要素３６ａの表示を変更した後は、変更後のアプリケーション情報を情報端末装置２０上のリモートビューア６０に通知する（ステップ６８４）。
このアプリケーション情報を受信した情報端末装置２０のリモートビューア６０は（ステップ６７２）、表示要素３６ａの座標、サイズに合わせて当該表示要素３６ａの位置を計算してリモートデスクトップサーバ３３に通知する（ステップ６７３）。
このアプリケーション情報を受信した情報端末装置２０のリモートビューア６０は（ステップ６７２）、表示要素３６ａの座標、サイズに合わせて当該表示要素３６ａの位置を計算してリモートデスクトップサーバ３３に通知する（ステップ６７３）。
これを受けたリモートデスクトップサーバ３３は、情報端末装置２０に送信する画面情報（表示要素３６ａの位置）を指示された位置に変更し（ステップ６８５）、情報端末装置２０側のリモートビューア６０は、通常のリモートデスクトップ機能（リモートデスクトップクライアント機能６１）を用いて取得画面の座標を受信した座標に変更し、サーバ装置１０上のアプリケーション３６の注目する表示要素３６ａをサーバ装置１０のディスプレイ２５に表示し、ユーザによるアプリケーション操作を行わせる（ステップ６７４）。
同時に、取得したアプリケーション情報を元に端末側アプリケーションプロファイル６７から該当する入力キーの割り当て表（モード別キー割り当てテーブル６９）を選択し、ユーザの入力を支援する。
その後も、ユーザの表示拡大や縮小などの特殊操作に合わせてプラグイン４０の表示変更機能４３を呼び出し、ユーザの目的に応じた表示の微調整を行う。
また、ユーザがリモートエクスプローラ５０上でサーバ装置１０のファイル３４を指定した場合、サーバ装置１０のオペレーティングシステム３０上でそのファイル３４に関連付けられたアプリケーション３６を起動し、図２０のフローチャートと同様の処理にてアプリケーション３６の遠隔操作準備を行う。
また、ユーザがリモートエクスプローラ５０上でサーバ装置１０のファイル３４を指定した場合、サーバ装置１０のオペレーティングシステム３０上でそのファイル３４に関連付けられたアプリケーション３６を起動し、図２０のフローチャートと同様の処理にてアプリケーション３６の遠隔操作準備を行う。
ユーザがリモートエクスプローラ５０上でＵＲＬ（Uniform Resource Locator）のようなリンクを指定した場合、サーバ装置１０のオペレーティングシステム３０上でそのリンクに関連付けられたアプリケーション３６を起動し、ＨＴＴＰ（Hyper Text Transfer Protocol）なら既定のブラウザ、メールアドレスなら規定のメーラ等のアプリケーション３６を起動した上で、図２０と同様にアプリケーションの遠隔操作準備を行う。
図２１は、情報端末装置２０におけるアプリケーション３６の操作画面２００の表示状態を、プラグイン４０によって自動的に変更する例を示している。この図２１に例では、端末プロファイル７０に基づいて、操作画面２００の中の、書式設定バー２０２および罫線バー２０３、レイアウト選択パネル２０６、図形バー２０７等の一部の表示要素３６ａを省略した表示態様で、情報端末装置２０のディスプレイ２５（遠隔デスクトップ環境３００）に表示した場合が例示されている。また、ツールバー２０１の操作項目の並べ替えを行うこともできる。
上述の表示要素３６ａは、操作画面２００の通常状態で目視可能に存在している場合を例示したが、複数の表示要素３６ａが階層構造を呈している場合に、個々の階層構造を再帰的に操作対象の表示要素３６ａとして認識し、情報端末装置２０における表示態様を制御することもできる。
すなわち、図２２は、メーラ等のアプリケーション３６の操作画面２００の例を示している。この操作画面２００においては、表示要素３６ａであるフォルダリスト部２１１の各々のフォルダ２１１ａの中身が、当該フォルダ２１１ａを指定することで、一つ下の階層の表示要素３６ａであるメールファイルリスト部２１２に表示され、さらに、このメールファイルリスト部２１２に表示された複数のメールファイル２１２ａを指定することで、その下の階層の表示要素３６ａとしてのメール閲覧部２１３に、メール内容２１３ａが表示される。
この場合、フォルダリスト部２１１、メールファイルリスト部２１２、メール閲覧部２１３を表示要素３６ａとしてアプリケーションプロファイル４７に登録することで情報端末装置２０における表示制御が可能になる。この場合、関係情報４７ｂには、フォルダリスト部２１１〜メール閲覧部２１３の階層関係が設定される。
ところで、上述のように、アプリケーションプロファイル４７には個々の表示要素３６ａのうち、アプリケーション３６からユーザへの情報通知を行うものには、通知属性（通知有無情報４７ｄ）が指定されている。通知属性がついている表示要素３６ａはアイコンなどの変更によってユーザにアプリケーション３６の状態を通知したりする。
本実施の形態の場合、リモートビューア６０は表示要素合成機能６６を用いて、ユーザが指定するアプリケーション３６や表示要素３６ａの他に、図２３に例示されるように、遠隔デスクトップ環境３００の一部に変更通知表示部３０２を設けて、選択していないアプリケーション３６からの通知をユーザに伝える。
図２３の例では、サーバ装置１０上で動作する、たとえばメーラ等のアプリケーション３６の操作画面２００におけるステイタス通知バー２０８に「メール送受信エラー」が出力された場合に、情報端末装置２０の側の遠隔デスクトップ環境３００の下端部に設けられた変更通知表示部３０２に、ポップアップ表示３０２ａで「メール送受信エラー」のエラーメッセージが出力されるようにした例を示している。
サーバ装置１０上のプラグイン４０は登録されているアプリケーション３６、表示要素３６ａの中で、通知属性が指定されているものの座標情報をリモートビューア６０に送信する。サーバ装置１０上のプラグイン４０は通知属性を持った表示要素３６ａの内容の変更を監視し、アイコンの変更などの内容変更が起こった時に情報端末装置２０上のリモートビューア６０へ通知する。
リモートビューア６０は変更通知表示部３０２を遠隔デスクトップ環境３００の画面の下部にアイコン表示が可能な程度（たとえば、１６ピクセル〜３２ピクセル程度）の大きさに設ける。リモートビューア６０はサーバ装置１０から送られた通知属性要素や内容変更通知を元に、ユーザの指定する所定時間（たとえば、１０秒から２分程度）の間、変更通知表示部３０２に通知属性を持った表示要素３６ａを表示する。サイズの合わないものは変更通知表示部３０２の高さや幅に合わせて縮小して表示される。表示すべき要素が多く、変更通知表示部３０２に表示しきれない場合には、横方向にスクロールしながら通知属性を持つ全ての表示要素３６ａを時分割して表示する。
ユーザはリモートビューア６０の機能を用いて変更通知表示部３０２内の特定の通知要素を選択して、端末画面（ディスプレイ２５）上で最大化して表示することができる。画面最大化の方法は、図２０のフローチャートの処理に準じる。
図２４は、プラグイン４０における上述のような変更通知処理の一例を示すフローチャートである。プラグイン４０は、アプリケーションプロファイル４７に通知有無情報４７ｄで指定された注目エリアにおける変化の有無を監視し（ステップ６９１）、変化があった表示要素３６ａを情報端末装置２０に通知し（ステップ６９２）、現時点の表示状態を保存する（ステップ６９３）。
そして、新規に表示要素３６ａが登録されたか監視し（ステップ６９４）、登録された場合には、さらに、通知有無情報４７ｄに通知属性が設定されているか調べ（ステップ６９５）、通知属性が設定されている場合には、注目エリアに追加して（ステップ６９６）、現時点の表示状態を保存する（ステップ６９７）。
以上説明したように、本実施の形態によれば、個々のアプリケーション３６毎に設けられたプラグイン４０により、当該アプリケーション３６の操作画面２００の表示要素３６ａを認識し、個々の表示要素３６ａや当該表示要素３６ａの組み合わせを単位として、情報端末装置２０に送信して表示および操作を行わせるので、たとえば、パーソナルコンピュータ等のサーバ装置１０における標準的なデスクトップ１００の操作内容を維持しつつ、画面表示態様や操作は携帯端末等の情報端末装置２０の能力に合わせた遠隔デスクトップ操作環境を実現することが可能となる。
また、遠隔デスクトップ操作において、オペレーティングシステム３０や個々のアプリケーション３６の多様な操作インタフェースを、情報端末装置２０の能力に合わせて最適化することが可能となる。
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
たとえば、上述の説明では、アプリケーションプログラムの遠隔操作を例にとって説明したが、これに限らず、オペレーティングシステムの一部を構成し、ＧＵＩベースの操作画面を有する各種のユーティリティプログラムの遠隔操作にも適用できる。
たとえば、上述の説明では、アプリケーションプログラムの遠隔操作を例にとって説明したが、これに限らず、オペレーティングシステムの一部を構成し、ＧＵＩベースの操作画面を有する各種のユーティリティプログラムの遠隔操作にも適用できる。
（付記１）
第１の情報処理装置に、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行させるインタフェース制御プログラムであって、
前記第１の情報処理装置に、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行させることを特徴とするインタフェース制御プログラム。
（付記２）
付記１記載のインタフェース制御プログラムにおいて、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を前記第１情報処理装置に実行させることを特徴とするインタフェース制御プログラム。
（付記３）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において、
前記操作画面上の固定座標にて前記表示要素の位置を認識する処理、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する処理、もしくは、
前記操作画面上の表示色に基づいて前記表示要素を認識する処理、
の少なくとも一つの処理を実行させる事で前記表示要素を認識する処理を実行させることを特徴とするインタフェース制御プログラム。
（付記４）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において個々の前記表示要素を操作するための補助アプリケーションプログラムインタフェースを生成させ、
前記第２工程において、前記表示要求において前記第２情報処理装置から前記補助アプリケーションプログラムインタフェースを呼び出すことで、前記第２情報処理装置における前記表示要素の表示態様を制御させる
処理を実行させることを特徴とするインタフェース制御プログラム。
（付記５）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第２工程において、前記第１情報処理装置で利用可能な前記プログラムのリストと、個々の前記プログラムの前記操作画面を構成する前記表示要素のリストとを含むメニュー情報を前記第２情報処理装置に送信する処理を実行させることを特徴とするインタフェース制御プログラム。
（付記６）
第１の情報処理装置が、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御方法であって、
前記第１の情報処理装置が、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行することを特徴とするインタフェース制御方法。
（付記７）
付記６記載のインタフェース制御方法において、
前記第１情報処理装置に、
前記表示要素が階層構造を持つ場合、個々の階層の操作画面に対して前記第１および第２工程を再帰的に適用する
処理を実行することを特徴とするインタフェース制御方法。
（付記８）
付記６記載のインタフェース制御方法において、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を含むことを特徴とするインタフェース制御方法。
（付記９）
付記６記載のインタフェース制御方法において、
前記第１工程では、
前記操作画面上の固定座標にて前記表示要素の位置を認識する方法、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する方法、
前記操作画面上の表示色に基づいて前記表示要素を認識する方法、
の少なくとも一つの方法を用いて前記表示要素を認識することを特徴とするインタフェース制御方法。
（付記１０）
付記６記載のインタフェース制御方法において、
前記第１工程では、個々の前記表示要素を操作するための補助アプリケーションプログラムインタフェースを生成し、
前記第２工程では、前記表示要求において前記第２情報処理装置から前記補助アプリケーションプログラムインタフェースを呼び出すことで、前記第２情報処理装置における前記表示要素の表示態様を制御することを特徴とするインタフェース制御方法。
（付記１１）
付記６記載のインタフェース制御方法において、
前記第２工程では、前記第１情報処理装置で利用可能な前記プログラムのリストと、個々の前記プログラムの前記操作画面を構成する前記表示要素のリストとを含むメニュー情報を前記第２情報処理装置に送信することを特徴とするインタフェース制御方法。
（付記１２）
付記６記載のインタフェース制御方法において、
前記プログラムは、前記第１情報処理装置を制御するオペレーティングシステムを構成するシステムプログラム、または前記オペレーティングシステムの上で稼働するアプリケーションプログラムであることを特徴とするインタフェース制御方法。
（付記１３）
特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御装置であって、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１手段と、
前記第１手段に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２手段と、
を有することを特徴とするインタフェース制御装置。
（付記１４）
第１情報処理装置にて実行されるアプリケーションプログラムに機能を追加する機能を前記第１情報処理装置に実行させるプラグインプログラムであって、
前記アプリケーションプログラムの操作画面の表示要素を認識する工程と、
前記表示要素を、前記アプリケーションプログラムを選択するためのプログラムリストに登録する工程と、
前記アプリケーションプログラムを遠隔操作する第２情報処理装置における前記表示要素の表示態様を変更するための補助アプリケーションプログラムインタフェース（補助ＡＰＩ）を準備する工程と、
を前記第１情報処理装置に実行させることを特徴とするプラグインプログラム。
（付記１５）
付記１４記載のプラグインプログラムにおいて、
前記表示要素を認識する工程では、
前記操作画面上の固定座標にて前記表示要素の位置を認識する方法、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する方法、
前記操作画面上の表示色に基づいて前記表示要素を認識する方法、
の少なくとも一つの方法を用いて前記表示要素を認識することを特徴とするプラグインプログラム。
（付記１６）
付記１４記載のプラグインプログラムにおいて、
前記第２情報処理装置が操作対象として注目する特定の前記表示要素を検出する工程と、
前記第２情報処理装置が操作対象として注目する特定の前記表示要素の表示態様を、前記第２情報処理装置からの要求に応じて変更する工程と、
個々の前記表示要素にて発生したイベントを前記第２情報処理装置に通知する工程と、
を、前記第１情報処理装置にさらに実行させることを特徴とするプラグインプログラム。
（付記１７）
アプリケーションプログラムを実行する情報処理装置であって、
前記アプリケーションプログラムの操作画面の表示要素を認識する第１機能と、
前記表示要素または当該表示要素の組み合わせにて他の情報端末からの表示要求に応答する第２機能と、
を含む制御論理を備えたことを特徴とする情報処理装置。
（付記１８）
付記１７記載の情報処理装置において、
前記制御論理は、さらに、個々の前記表示要素に対応して前記情報処理装置にて発生したイベントを前記情報端末に通知する第３機能を含むことを特徴とする情報処理装置。
第１の情報処理装置に、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行させるインタフェース制御プログラムであって、
前記第１の情報処理装置に、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行させることを特徴とするインタフェース制御プログラム。
（付記２）
付記１記載のインタフェース制御プログラムにおいて、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を前記第１情報処理装置に実行させることを特徴とするインタフェース制御プログラム。
（付記３）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において、
前記操作画面上の固定座標にて前記表示要素の位置を認識する処理、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する処理、もしくは、
前記操作画面上の表示色に基づいて前記表示要素を認識する処理、
の少なくとも一つの処理を実行させる事で前記表示要素を認識する処理を実行させることを特徴とするインタフェース制御プログラム。
（付記４）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において個々の前記表示要素を操作するための補助アプリケーションプログラムインタフェースを生成させ、
前記第２工程において、前記表示要求において前記第２情報処理装置から前記補助アプリケーションプログラムインタフェースを呼び出すことで、前記第２情報処理装置における前記表示要素の表示態様を制御させる
処理を実行させることを特徴とするインタフェース制御プログラム。
（付記５）
付記１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第２工程において、前記第１情報処理装置で利用可能な前記プログラムのリストと、個々の前記プログラムの前記操作画面を構成する前記表示要素のリストとを含むメニュー情報を前記第２情報処理装置に送信する処理を実行させることを特徴とするインタフェース制御プログラム。
（付記６）
第１の情報処理装置が、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御方法であって、
前記第１の情報処理装置が、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行することを特徴とするインタフェース制御方法。
（付記７）
付記６記載のインタフェース制御方法において、
前記第１情報処理装置に、
前記表示要素が階層構造を持つ場合、個々の階層の操作画面に対して前記第１および第２工程を再帰的に適用する
処理を実行することを特徴とするインタフェース制御方法。
（付記８）
付記６記載のインタフェース制御方法において、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を含むことを特徴とするインタフェース制御方法。
（付記９）
付記６記載のインタフェース制御方法において、
前記第１工程では、
前記操作画面上の固定座標にて前記表示要素の位置を認識する方法、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する方法、
前記操作画面上の表示色に基づいて前記表示要素を認識する方法、
の少なくとも一つの方法を用いて前記表示要素を認識することを特徴とするインタフェース制御方法。
（付記１０）
付記６記載のインタフェース制御方法において、
前記第１工程では、個々の前記表示要素を操作するための補助アプリケーションプログラムインタフェースを生成し、
前記第２工程では、前記表示要求において前記第２情報処理装置から前記補助アプリケーションプログラムインタフェースを呼び出すことで、前記第２情報処理装置における前記表示要素の表示態様を制御することを特徴とするインタフェース制御方法。
（付記１１）
付記６記載のインタフェース制御方法において、
前記第２工程では、前記第１情報処理装置で利用可能な前記プログラムのリストと、個々の前記プログラムの前記操作画面を構成する前記表示要素のリストとを含むメニュー情報を前記第２情報処理装置に送信することを特徴とするインタフェース制御方法。
（付記１２）
付記６記載のインタフェース制御方法において、
前記プログラムは、前記第１情報処理装置を制御するオペレーティングシステムを構成するシステムプログラム、または前記オペレーティングシステムの上で稼働するアプリケーションプログラムであることを特徴とするインタフェース制御方法。
（付記１３）
特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御装置であって、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１手段と、
前記第１手段に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２手段と、
を有することを特徴とするインタフェース制御装置。
（付記１４）
第１情報処理装置にて実行されるアプリケーションプログラムに機能を追加する機能を前記第１情報処理装置に実行させるプラグインプログラムであって、
前記アプリケーションプログラムの操作画面の表示要素を認識する工程と、
前記表示要素を、前記アプリケーションプログラムを選択するためのプログラムリストに登録する工程と、
前記アプリケーションプログラムを遠隔操作する第２情報処理装置における前記表示要素の表示態様を変更するための補助アプリケーションプログラムインタフェース（補助ＡＰＩ）を準備する工程と、
を前記第１情報処理装置に実行させることを特徴とするプラグインプログラム。
（付記１５）
付記１４記載のプラグインプログラムにおいて、
前記表示要素を認識する工程では、
前記操作画面上の固定座標にて前記表示要素の位置を認識する方法、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する方法、
前記操作画面上の表示色に基づいて前記表示要素を認識する方法、
の少なくとも一つの方法を用いて前記表示要素を認識することを特徴とするプラグインプログラム。
（付記１６）
付記１４記載のプラグインプログラムにおいて、
前記第２情報処理装置が操作対象として注目する特定の前記表示要素を検出する工程と、
前記第２情報処理装置が操作対象として注目する特定の前記表示要素の表示態様を、前記第２情報処理装置からの要求に応じて変更する工程と、
個々の前記表示要素にて発生したイベントを前記第２情報処理装置に通知する工程と、
を、前記第１情報処理装置にさらに実行させることを特徴とするプラグインプログラム。
（付記１７）
アプリケーションプログラムを実行する情報処理装置であって、
前記アプリケーションプログラムの操作画面の表示要素を認識する第１機能と、
前記表示要素または当該表示要素の組み合わせにて他の情報端末からの表示要求に応答する第２機能と、
を含む制御論理を備えたことを特徴とする情報処理装置。
（付記１８）
付記１７記載の情報処理装置において、
前記制御論理は、さらに、個々の前記表示要素に対応して前記情報処理装置にて発生したイベントを前記情報端末に通知する第３機能を含むことを特徴とする情報処理装置。
１０ サーバ装置
１１ 中央処理装置
１２ 主記憶
１３ 外部記憶装置
１４ 通信インタフェース
１５ ディスプレイ
１６ キーボード
１７ マウス
１８ バス
２０ 情報端末装置
２１ 中央処理装置
２２ 主記憶
２３ 記憶装置
２４ 通信インタフェース
２４ａ アンテナ
２５ ディスプレイ
２６ 音声インタフェース
２７ キーパッド
２７ａ 十字キー
２７ｂ 決定ボタン
２８ バス
２９ 筐体
３０ オペレーティングシステム
３１ デスクトップマネージャ
３２ ファイルサーバ
３３ リモートデスクトップサーバ
３４ ファイル
３５ お気に入り利用履歴
３６ アプリケーション
３６ａ 表示要素
４０ プラグイン
４１ 表示要素座標認識機能
４２ 表示要素登録機能
４３ 表示変更機能
４４ 注目要素検出機能
４５ 注目要素変更機能
４６ 注目要素変更通知機能
４７ アプリケーションプロファイル
４７ａ 要素名
４７ｂ 関係情報
４７ｃ 優先度
４７ｄ 通知有無情報
４７ｅ 要素座標検出方法
４７ｆ 要素座標
４７ｇ 要素サイズ
５０ リモートエクスプローラ
６０ リモートビューア
６１ リモートデスクトップクライアント機能
６２ 操作対象要素管理機能
６３ 表示変更指示機能
６４ モード別入力変換機能
６５ 入力モード管理機能
６６ 表示要素合成機能
６７ 端末側アプリケーションプロファイル
６８ 表示要素制御テーブル
６８ａ 要素名
６８ｂ 表示設定情報
６９ モード別キー割り当てテーブル
６９ａ Ｓｈｉｆｔ条件
６９ｂ Ａｌｔ条件
６９ｃ Ｃｔｌ条件
６９ｄ 受信コード
６９ｅ 送信コード／機能
７０ 端末プロファイル
７１ 端末タイプ
７２ 画面サイズ
７３ カラー表示能力
７４ ブラウザタイプ
７５ キーボードタイプ
７６ 通信タイプ
１００ デスクトップ
１０１ アイコン
１０２ ポップアップメニュー
１０３ サブメニュー
１０４ 操作ボタン
１０５ 操作バー
２００ 操作画面
２０１ ツールバー
２０２ 書式設定バー
２０３ 罫線バー
２０４ スライド一覧
２０５ メインパネル
２０６ レイアウト選択パネル
２０７ 図形バー
２０８ ステイタス通知バー
２１１ フォルダリスト部
２１１ａ フォルダ
２１２ メールファイルリスト部
２１２ａ メールファイル
２１３ メール閲覧部
２１３ａ メール内容
３００ 遠隔デスクトップ環境
３０１ アプリケーションリスト
３０１ａ サブ項目
３０２ 変更通知表示部
４００ リモート操作画面
４０１ リモート表示領域
４０２ 操作ガイド領域
１１ 中央処理装置
１２ 主記憶
１３ 外部記憶装置
１４ 通信インタフェース
１５ ディスプレイ
１６ キーボード
１７ マウス
１８ バス
２０ 情報端末装置
２１ 中央処理装置
２２ 主記憶
２３ 記憶装置
２４ 通信インタフェース
２４ａ アンテナ
２５ ディスプレイ
２６ 音声インタフェース
２７ キーパッド
２７ａ 十字キー
２７ｂ 決定ボタン
２８ バス
２９ 筐体
３０ オペレーティングシステム
３１ デスクトップマネージャ
３２ ファイルサーバ
３３ リモートデスクトップサーバ
３４ ファイル
３５ お気に入り利用履歴
３６ アプリケーション
３６ａ 表示要素
４０ プラグイン
４１ 表示要素座標認識機能
４２ 表示要素登録機能
４３ 表示変更機能
４４ 注目要素検出機能
４５ 注目要素変更機能
４６ 注目要素変更通知機能
４７ アプリケーションプロファイル
４７ａ 要素名
４７ｂ 関係情報
４７ｃ 優先度
４７ｄ 通知有無情報
４７ｅ 要素座標検出方法
４７ｆ 要素座標
４７ｇ 要素サイズ
５０ リモートエクスプローラ
６０ リモートビューア
６１ リモートデスクトップクライアント機能
６２ 操作対象要素管理機能
６３ 表示変更指示機能
６４ モード別入力変換機能
６５ 入力モード管理機能
６６ 表示要素合成機能
６７ 端末側アプリケーションプロファイル
６８ 表示要素制御テーブル
６８ａ 要素名
６８ｂ 表示設定情報
６９ モード別キー割り当てテーブル
６９ａ Ｓｈｉｆｔ条件
６９ｂ Ａｌｔ条件
６９ｃ Ｃｔｌ条件
６９ｄ 受信コード
６９ｅ 送信コード／機能
７０ 端末プロファイル
７１ 端末タイプ
７２ 画面サイズ
７３ カラー表示能力
７４ ブラウザタイプ
７５ キーボードタイプ
７６ 通信タイプ
１００ デスクトップ
１０１ アイコン
１０２ ポップアップメニュー
１０３ サブメニュー
１０４ 操作ボタン
１０５ 操作バー
２００ 操作画面
２０１ ツールバー
２０２ 書式設定バー
２０３ 罫線バー
２０４ スライド一覧
２０５ メインパネル
２０６ レイアウト選択パネル
２０７ 図形バー
２０８ ステイタス通知バー
２１１ フォルダリスト部
２１１ａ フォルダ
２１２ メールファイルリスト部
２１２ａ メールファイル
２１３ メール閲覧部
２１３ａ メール内容
３００ 遠隔デスクトップ環境
３０１ アプリケーションリスト
３０１ａ サブ項目
３０２ 変更通知表示部
４００ リモート操作画面
４０１ リモート表示領域
４０２ 操作ガイド領域
Claims (10)
- 第１の情報処理装置に、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行させるインタフェース制御プログラムであって、
前記第１の情報処理装置に、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行させることを特徴とするインタフェース制御プログラム。 - 請求項１記載のインタフェース制御プログラムにおいて、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を前記第１情報処理装置に実行させることを特徴とするインタフェース制御プログラム。 - 請求項１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において、
前記操作画面上の固定座標にて前記表示要素の位置を認識する処理、
前記第１情報処理装置に実装されたアプリケーションプログラムインタフェース（ＡＰＩ）の呼び出しによって前記表示要素の位置を認識する処理、もしくは、
前記操作画面上の表示色に基づいて前記表示要素を認識する処理、
の少なくとも一つの処理を実行させる事で前記表示要素を認識する処理を実行させることを特徴とするインタフェース制御プログラム。 - 請求項１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第１工程において個々の前記表示要素を操作するための補助アプリケーションプログラムインタフェースを生成させ、
前記第２工程において、前記表示要求において前記第２情報処理装置から前記補助アプリケーションプログラムインタフェースを呼び出すことで、前記第２情報処理装置における前記表示要素の表示態様を制御させる
処理を実行させることを特徴とするインタフェース制御プログラム。 - 請求項１記載のインタフェース制御プログラムにおいて、
前記第１の情報処理装置に、更に、
前記第２工程において、前記第１情報処理装置で利用可能な前記プログラムのリストと、個々の前記プログラムの前記操作画面を構成する前記表示要素のリストとを含むメニュー情報を前記第２情報処理装置に送信する処理を実行させることを特徴とするインタフェース制御プログラム。 - 第１の情報処理装置が、第１情報処理装置上で特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御方法であって、
前記第１の情報処理装置が、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１工程と、
前記第１工程に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２工程と、
を実行することを特徴とするインタフェース制御方法。 - 請求項６記載のインタフェース制御方法において、
前記第１情報処理装置に、
前記表示要素が階層構造を持つ場合、個々の階層の操作画面に対して前記第１および第２工程を再帰的に適用する
処理を実行することを特徴とするインタフェース制御方法。 - 請求項６記載のインタフェース制御方法において、
さらに、個々の前記表示要素に対応して前記第１情報処理装置にて発生したイベントを前記第２情報処理装置に通知する第３工程を含むことを特徴とするインタフェース制御方法。 - 特定のプログラムを実行しているときに、第２情報処理装置からの操作要求に基づき、該特定のプログラムを操作に応答した処理を行わせ、その処理情報を第２情報処理装置へ送信する処理を実行するインタフェース制御装置であって、
前記第１情報処理装置の特定のプログラムの操作画面情報を取得し、その表示要素を認識する第１手段と、
前記第１手段に表示要素または当該表示要素の組み合わせにて前記第２情報処理装置からの操作要求に応答する画面情報を生成し、該生成した画面情報を前記第２情報処理装置へ送信する第２手段と、
を有することを特徴とするインタフェース制御装置。 - 第１情報処理装置にて実行されるアプリケーションプログラムに機能を追加するためのプラグインプログラムであって、
前記アプリケーションプログラムの操作画面の表示要素を認識する工程と、
前記表示要素を、前記アプリケーションプログラムを選択するためのプログラムリストに登録する工程と、
前記アプリケーションプログラムを遠隔操作する第２情報処理装置における前記表示要素の表示態様を変更するための補助アプリケーションプログラムインタフェース（補助ＡＰＩ）を準備する工程と、
を前記第１情報処理装置に実行させることを特徴とするプラグインプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005189303A JP2007011531A (ja) | 2005-06-29 | 2005-06-29 | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム |
| US11/287,199 US20070005607A1 (en) | 2005-06-29 | 2005-11-28 | Interface control program, interface control method, interface control apparatus, plug-in program and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005189303A JP2007011531A (ja) | 2005-06-29 | 2005-06-29 | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007011531A true JP2007011531A (ja) | 2007-01-18 |
Family
ID=37590968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005189303A Pending JP2007011531A (ja) | 2005-06-29 | 2005-06-29 | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20070005607A1 (ja) |
| JP (1) | JP2007011531A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009020297A (ja) * | 2007-07-11 | 2009-01-29 | Yamaha Corp | 電子音楽装置及びプログラム |
| JP2009169455A (ja) * | 2008-01-10 | 2009-07-30 | Casio Comput Co Ltd | サーバ装置、クライアント装置、サーバベースコンピューティングシステム、サーバ制御プログラム、クライアント制御プログラム |
| JP2009205492A (ja) * | 2008-02-28 | 2009-09-10 | Hitachi Systems & Services Ltd | コンピュータの遠隔操作システム |
| JP2009237604A (ja) * | 2008-03-25 | 2009-10-15 | Hitachi Systems & Services Ltd | コンピュータの遠隔操作システム |
| JP2009258824A (ja) * | 2008-04-14 | 2009-11-05 | Nippon Hoso Kyokai <Nhk> | 代替コンテンツ提示装置および代替コンテンツナビゲーションプログラム |
| WO2010122741A1 (ja) | 2009-04-21 | 2010-10-28 | 株式会社デジタル | サーバ装置、サーバ・クライアントシステム、サーバプログラムおよびそれを記録した記録媒体 |
| JP2012063935A (ja) * | 2010-09-15 | 2012-03-29 | Nec Corp | 電子機器、情報処理装置、情報処理システム、および情報処理装置のプログラム |
| JP2013122645A (ja) * | 2011-12-09 | 2013-06-20 | Ricoh Co Ltd | 電子情報ボード装置 |
| JP2013174964A (ja) * | 2012-02-23 | 2013-09-05 | Toshiba Corp | 情報処理装置および情報処理方法 |
| WO2016056588A1 (ja) * | 2014-10-08 | 2016-04-14 | 三菱電機ビルテクノサービス株式会社 | 遠隔制御システム、保守用端末、操作端末および遠隔制御方法 |
| JP2017188146A (ja) * | 2017-06-21 | 2017-10-12 | キヤノン株式会社 | 端末装置、制御方法及びプログラム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130104062A1 (en) | 2011-09-27 | 2013-04-25 | Z124 | Unified desktop input segregation in an application manager |
| US20090210817A1 (en) * | 2008-02-15 | 2009-08-20 | Microsoft Corporation | Mechanism for increasing remote desktop responsiveness |
| US8060795B2 (en) * | 2008-05-15 | 2011-11-15 | International Business Machines Corporation | Solution for automatically incorporating diagnostic data within screen capture images |
| US8200896B2 (en) * | 2008-06-06 | 2012-06-12 | Microsoft Corporation | Increasing remote desktop performance with video caching |
| KR100931403B1 (ko) * | 2008-06-25 | 2009-12-11 | 한국과학기술연구원 | 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 |
| US7870496B1 (en) | 2009-01-29 | 2011-01-11 | Jahanzeb Ahmed Sherwani | System using touchscreen user interface of a mobile device to remotely control a host computer |
| JP4857406B1 (ja) * | 2010-06-25 | 2012-01-18 | パナソニック株式会社 | 制御装置およびスクリプト変換方法 |
| US20130104051A1 (en) * | 2011-09-27 | 2013-04-25 | Z124 | Unified desktop big brother application pools |
| US11416131B2 (en) | 2011-09-27 | 2022-08-16 | Z124 | Unified desktop input segregation in an application manager |
| US9268517B2 (en) * | 2011-12-07 | 2016-02-23 | Adobe Systems Incorporated | Methods and systems for establishing, hosting and managing a screen sharing session involving a virtual environment |
| US20140218289A1 (en) * | 2013-02-06 | 2014-08-07 | Motorola Mobility Llc | Electronic device with control interface and methods therefor |
| JP6115293B2 (ja) * | 2013-05-02 | 2017-04-19 | 株式会社リコー | 機器、情報処理端末、情報処理システム、表示制御方法、及びプログラム |
| CN104516721B (zh) * | 2013-09-26 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 显示控制方法、装置和电子设备 |
| JP6319038B2 (ja) * | 2014-10-23 | 2018-05-09 | 株式会社デンソー | 画像描画装置 |
| US10162509B2 (en) * | 2015-01-16 | 2018-12-25 | Sharp Kabushiki Kaisha | Terminal device |
| US10963621B2 (en) * | 2018-10-10 | 2021-03-30 | Citrix Systems, Inc. | Management of remote access user application layouts |
| WO2020154898A1 (en) * | 2019-01-29 | 2020-08-06 | Citrix Systems, Inc. | Systems and methods of enabling fast user access to remote desktops |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002111893A (ja) * | 2000-07-26 | 2002-04-12 | Nec Corp | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6710790B1 (en) * | 1998-08-13 | 2004-03-23 | Symantec Corporation | Methods and apparatus for tracking the active window of a host computer in a remote computer display window |
| US20020029259A1 (en) * | 2000-07-26 | 2002-03-07 | Nec Corporation | Remote operation system and remote operation method thereof |
| US20050015731A1 (en) * | 2003-07-15 | 2005-01-20 | Microsoft Corporation | Handling data across different portions or regions of a desktop |
| US20060168526A1 (en) * | 2005-01-12 | 2006-07-27 | Nokia Corporation | Platform-specific application user interface remoting |
| US7665098B2 (en) * | 2005-04-29 | 2010-02-16 | Microsoft Corporation | System and method for monitoring interactions between application programs and data stores |
-
2005
- 2005-06-29 JP JP2005189303A patent/JP2007011531A/ja active Pending
- 2005-11-28 US US11/287,199 patent/US20070005607A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002111893A (ja) * | 2000-07-26 | 2002-04-12 | Nec Corp | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009020297A (ja) * | 2007-07-11 | 2009-01-29 | Yamaha Corp | 電子音楽装置及びプログラム |
| JP2009169455A (ja) * | 2008-01-10 | 2009-07-30 | Casio Comput Co Ltd | サーバ装置、クライアント装置、サーバベースコンピューティングシステム、サーバ制御プログラム、クライアント制御プログラム |
| JP2009205492A (ja) * | 2008-02-28 | 2009-09-10 | Hitachi Systems & Services Ltd | コンピュータの遠隔操作システム |
| JP2009237604A (ja) * | 2008-03-25 | 2009-10-15 | Hitachi Systems & Services Ltd | コンピュータの遠隔操作システム |
| JP2009258824A (ja) * | 2008-04-14 | 2009-11-05 | Nippon Hoso Kyokai <Nhk> | 代替コンテンツ提示装置および代替コンテンツナビゲーションプログラム |
| WO2010122741A1 (ja) | 2009-04-21 | 2010-10-28 | 株式会社デジタル | サーバ装置、サーバ・クライアントシステム、サーバプログラムおよびそれを記録した記録媒体 |
| JP2012063935A (ja) * | 2010-09-15 | 2012-03-29 | Nec Corp | 電子機器、情報処理装置、情報処理システム、および情報処理装置のプログラム |
| JP2013122645A (ja) * | 2011-12-09 | 2013-06-20 | Ricoh Co Ltd | 電子情報ボード装置 |
| JP2013174964A (ja) * | 2012-02-23 | 2013-09-05 | Toshiba Corp | 情報処理装置および情報処理方法 |
| WO2016056588A1 (ja) * | 2014-10-08 | 2016-04-14 | 三菱電機ビルテクノサービス株式会社 | 遠隔制御システム、保守用端末、操作端末および遠隔制御方法 |
| JP2016076150A (ja) * | 2014-10-08 | 2016-05-12 | 三菱電機ビルテクノサービス株式会社 | 遠隔制御システム、保守用端末、操作端末および遠隔制御方法 |
| KR20170047313A (ko) * | 2014-10-08 | 2017-05-04 | 미쓰비시 덴키 빌딩 테크노 서비스 가부시키 가이샤 | 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 |
| KR101919723B1 (ko) * | 2014-10-08 | 2018-11-16 | 미쓰비시 덴키 빌딩 테크노 서비스 가부시키 가이샤 | 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 |
| JP2017188146A (ja) * | 2017-06-21 | 2017-10-12 | キヤノン株式会社 | 端末装置、制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070005607A1 (en) | 2007-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007011531A (ja) | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム | |
| US10402076B2 (en) | Adaptive user interface for multi-source systems | |
| JP4316295B2 (ja) | シンクライアントシステム、シンクライアント端末機、中継装置、サーバ装置及びシンクライアント端末画面表示方法 | |
| CN105512086A (zh) | 信息处理设备以及信息处理方法 | |
| EP3035176B1 (en) | Apparatus and method for enlarging an image and controlling the enlarged image in a mobile communication terminal | |
| CN108205403B (zh) | 终端显示方法、装置、终端及计算机可读存储介质 | |
| US20030177445A1 (en) | System for describing markup language for mobile use, and information processing apparatus and program for generating display content | |
| US20080244452A1 (en) | Method and terminal for implementing preview function | |
| US9448814B2 (en) | Bridge system for auxiliary display devices | |
| JP2002111893A (ja) | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 | |
| JP2005128279A (ja) | 遠隔操作システム | |
| US20030211865A1 (en) | Controlling mobile telephone by operating information processing apparatus | |
| JP2009276889A (ja) | サーバ装置、クライアント装置、サーバベース・コンピューティング・システム、サーバ制御プログラム、クライアント制御プログラム | |
| WO2023124141A9 (zh) | 一种输入法调用方法及相关设备 | |
| CN113672290B (zh) | 一种文件打开方法及设备 | |
| EP2775390A1 (en) | Web Page Providing Method and Apparatus | |
| JP2013148519A (ja) | 分析装置制御システム | |
| US20040162060A1 (en) | Start up application on information processor by means of portable unit | |
| CN111787115B (zh) | 服务器、显示设备和文件传输方法 | |
| CN111935530B (zh) | 一种显示设备 | |
| JP2010211586A (ja) | 情報処理システム、情報処理装置、情報処理方法、制御プログラム、記録媒体 | |
| CN111818368B (zh) | 管理显示设备权限的方法、移动终端以及服务器 | |
| JP4900955B2 (ja) | 遠隔操作システム、制御方法及びプログラム | |
| CN116744073A (zh) | 一种显示设备及电视浏览器内的书签添加方法 | |
| CN111787117A (zh) | 数据传输方法及显示设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101026 |