JP2014222481A - 画像形成システム、遠隔操作装置およびプログラム - Google Patents

Abstract

【課題】画像形成装置と遠隔操作装置との間の通信トラフィックの増大を抑制することが可能な画像形成システムおよびそれに関連する技術を提供する。
【解決手段】画像形成システムは、第１の操作部を有する画像形成装置１０と第２の操作部を有し且つ当該第２の操作部を用いて画像形成装置１０を遠隔操作する外部端末５０とを備える。外部端末５０は、第１の操作部における第１の操作画面を模した模擬画像を画像形成装置１０から受信し（Ｓ２１）、第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素（且つ遠隔操作装置側で独自に動作可能な部品要素）であるコンポーネントを模擬画像上に重畳した画像を第２の操作画面として第２の操作部に表示する（Ｓ２６）。外部端末５０は、第２の操作画面への操作入力がコンポーネントに対するものである場合には、当該コンポーネントを用いて第２の操作画面を更新表示する（Ｓ２９）。
【選択図】図１５

Description

本発明は、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像形成装置を備える画像形成システム、およびそれに関連する技術に関する。

画像形成装置を外部端末（遠隔操作装置）によって操作する技術が存在する。

たとえば、特許文献１においては、画像形成装置から外部端末へと操作画面データ自体（ビットマップ画像データ等）をそのまま送信して当該操作画面を外部端末の表示部に表示するとともに、当該操作画面内での操作位置情報（押下位置情報等）を送受信して操作画面内における操作入力を受け付ける技術が示されている。いわゆるリモート接続による遠隔操作技術である。

特開平０５−１２２４２４号公報

しかしながら、上記遠隔操作技術においては、複数の操作入力のそれぞれに応答して操作画面データ自体をその都度画像形成装置から外部端末へと送信しなければならず、当該画像形成装置と外部端末（遠隔操作装置）との間の通信トラフィックが増大するという問題が有る。

そこで、本発明は、画像形成装置と遠隔操作装置との間の通信トラフィックの増大を抑制することが可能な画像形成システムおよびそれに関連する技術を提供することを課題とする。

上記課題を解決すべく、請求項１の発明は、画像形成システムであって、第１の操作部を有する画像形成装置と、第２の操作部を有し且つ当該第２の操作部を用いて前記画像形成装置を遠隔操作する遠隔操作装置と、を備え、前記画像形成装置は、前記第１の操作部における第１の操作画面を模した模擬画像を前記遠隔操作装置に向けて送信する送信手段、を有し、前記遠隔操作装置は、前記模擬画像を受信する受信手段と、前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示する表示制御手段と、前記第２の操作画面への操作入力を受け付ける受付手段と、前記操作入力が前記コンポーネントに対するものであるか否かを判定する判定手段と、前記操作入力に対する動作を制御する動作制御手段と、を有し、前記動作制御手段は、前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示することを特徴とする。

請求項２の発明は、請求項１の発明に係る画像形成システムにおいて、前記コンポーネントは、前記遠隔操作装置で独自に動作可能なスクリプトを用いて構成されることを特徴とする。

請求項３の発明は、請求項１または請求項２の発明に係る画像形成システムにおいて、前記動作制御手段は、前記操作入力に関する操作位置情報を前記操作入力に応答して前記画像形成装置に向けて随時送信することを特徴とする。

請求項４の発明は、請求項３の発明に係る画像形成システムにおいて、前記動作制御手段は、前記操作入力が前記コンポーネントに対するものである場合には、前記操作入力に応答して、前記操作入力に対する新たな操作画面に関する前記模擬画像の送信要求を送信することなく、前記操作入力に関する操作位置情報を前記画像形成装置に向けて送信することを特徴とする。

請求項５の発明は、請求項４の発明に係る画像形成システムにおいて、前記動作制御手段は、前記操作入力が前記コンポーネントに対するものでない場合には、前記操作入力に応答して、前記操作入力に対する前記新たな操作画面に関する模擬画像の送信要求をも前記画像形成装置に向けて送信することを特徴とする。

請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る画像形成システムにおいて、前記遠隔操作装置は、前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、をさらに有し、前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする。

請求項７の発明は、請求項１ないし請求項５のいずれかの発明に係る画像形成システムにおいて、前記画像形成システムは、前記画像形成装置と前記遠隔操作装置との中継ぎをする中継装置、をさらに備え、前記中継装置は、前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、をさらに有し、前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする。

請求項８の発明は、請求項１ないし請求項５のいずれかの発明に係る画像形成システムにおいて、前記画像形成装置は、前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、をさらに有し、前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする。

請求項９の発明は、請求項６ないし請求項８のいずれかの発明に係る画像形成システムにおいて、前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記画像形成装置から送信されてくるコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする。

請求項１０の発明は、請求項７の発明に係る画像形成システムにおいて、前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記中継装置から送信されてくるコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする。

請求項１１の発明は、請求項８の発明に係る画像形成システムにおいて、前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記画像形成装置に格納されているコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする。

請求項１２の発明は、請求項９ないし請求項１１のいずれかの発明に係る画像形成システムにおいて、前記コンポーネント情報は、前記コンポーネントと当該コンポーネント自身あるいは他のコンポーネントとの間での動作上の関係性を示す関係性情報を含み、前記表現生成手段は、前記関係性情報に基づいて、前記コンポーネントに対する前記操作入力への応答動作を規定したスクリプト言語表現を生成することを特徴とする。

請求項１３の発明は、画像形成装置を遠隔操作する遠隔操作装置であって、前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像を受信する受信手段と、前記遠隔操作装置に設けられた第２の操作部に前記模擬画像を表示するとともに、前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示する表示制御手段と、前記第２の操作画面への操作入力を受け付ける受付手段と、前記操作入力が前記コンポーネントに対するものであるか否かを判定する判定手段と、前記操作入力に対する動作を制御する動作制御手段と、を備え、前記動作制御手段は、前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示することを特徴とする。

請求項１４の発明は、請求項１３の発明に係る遠隔操作装置において、前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、をさらに備え、前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする。

請求項１５の発明は、画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、ａ）前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像の画像データを受信するステップと、ｂ）前記画像データに基づく前記模擬画像を前記遠隔操作装置に設けられた第２の操作部に表示するとともに、前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示するステップと、ｃ）前記第２の操作画面への操作入力を受け付けるステップと、ｄ）前記操作入力が前記コンポーネントに対するものであるか否かを判定するステップと、ｅ）前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示するステップと、を実行させるためのプログラムであることを特徴とする。

請求項１６の発明は、画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、ａ）前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像の画像データを受信するステップと、ｂ）前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを実現するためのウエブコンテンツ記述言語表現を生成するステップと、ｃ）前記画像データに基づく前記模擬画像を前記遠隔操作装置に設けられた第２の操作部に表示するとともに、前記コンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示するステップと、ｄ）前記第２の操作画面への操作入力を受け付けるステップと、ｅ）前記操作入力が前記コンポーネントに対するものであるか否かを判定するステップと、ｆ）前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示するステップと、を実行させるためのプログラムであることを特徴とする。

請求項１ないし請求項１６に記載の発明によれば、画像形成装置と遠隔操作装置との間の通信トラフィックの増大を抑制することが可能である。

特に、請求項３に記載の発明によれば、動作制御手段は、操作入力に関する操作位置情報を操作入力に応答して画像形成装置に向けて随時送信するので、より良好に同期させることが可能である。

画像形成システムを示す図である。 画像形成装置の機能ブロックを示す図である。 外部端末の概略構成を示す機能ブロック図である。 画像形成装置のタッチパネルに表示される操作画面を示す図である。 外部端末のタッチパネルに表示される操作画面（遠隔操作画面）を示す図である。 模擬画像データに基づく模擬画像を示す図である。 各ＵＩコンポーネントが模擬画像に対して重畳表示される様子を示す図である。 画像形成装置から外部端末へと送信されるデータを示す図である。 ＵＩコンポーネントデータを示す図である。 各ＵＩコンポーネントを示す図である。 ウエブコンテンツ記述言語表現の一例を示す図である。 画像形成装置の動作を示すフローチャートである。 外部端末の動作を示すフローチャートである。 外部端末の動作を示すフローチャートである。 ＵＩコンポーネントに対する押下操作が行われた場合における動作例を示す図である。 ＵＩコンポーネント以外の部分に対する押下操作が行われた場合における動作例を示す図である。 操作前のメニュー画面（操作画面）を示す図である。 操作後のメニュー画面（操作画面）を示す図である。 第２実施形態に係る画像形成システムを示す図である。 第２実施形態に係る動作例（ＵＩコンポーネントに対する押下操作が行われた場合における動作例）を示す図である。 中継サーバの動作を示すフローチャートである。 中継サーバの動作を示すフローチャートである。 外部端末の動作を示すフローチャートである。 第３実施形態に係る画像形成装置の機能ブロックを示す図である。 操作前後の画像間での変更内容を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．構成概要＞
図１は、画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と外部端末５０とを備える。

画像形成装置１０と外部端末５０とは、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワークＮＷに対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置１０はネットワークＮＷに対して有線接続され、外部端末５０はネットワークＮＷに対して無線接続される。

画像形成システム１においては、画像形成装置１０に対する各種の操作を外部端末５０を用いて行うことが可能である。すなわち、外部端末５０は、画像形成装置１０を遠隔操作することが可能である。なお、この画像形成システム１は、画像形成装置１０の遠隔操作を行う遠隔操作システムなどとも表現される。また、外部端末５０は、画像形成装置１０を遠隔操作する遠隔操作装置などとも表現される。

＜１−２．画像形成装置の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。

ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像なしいスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。

印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。

通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワークＮＷを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、外部端末５０）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。送信部４ａは、画像形成装置１０側での操作画面ＭＳ（ＳＰ）を模した模擬画像等を外部端末５０に向けて送信する。受信部４ｂは、外部端末５０等から送信されてきた各種のデータを受信する。

格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。格納部５は、各操作画面の模擬画像のデータ（模擬画像データ）およびコンポーネントデータＤＣ（後述）（図９参照）等を記憶する。

操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。

このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられている。また、操作パネル部６ｃは、その正面側にタッチパネル２５（図１参照）を有している。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。タッチパネル２５は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。

たとえば、タッチパネル２５においては、メニュー画像（ボタン画像等を含む）が表示される。操作者は、タッチパネル２５内に仮想的に配置されるボタン（ボタン画像で表現されるボタン）を押下することによって、画像形成装置１０の各種動作内容を設定することなどが可能である。

なお、後述するように、外部端末５０のタッチパネル７５（図１参照）においては、画像形成装置１０のタッチパネル２５に表示される操作画面と同様の画面が表示される。外部端末５０のタッチパネル７５に表示された操作画面を用いることにより、画像形成装置１０のタッチパネル２５に表示された操作画面を用いる操作と同様の操作が実現される。

コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ１を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）ＰＧ１は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介してＭＦＰ１０にインストールされてもよい。

具体的には、図２に示すように、コントローラ９は、プログラムＰＧ１の実行により、通信制御部１１と入力制御部１２と表示制御部１３と判定部１４と動作制御部１８とを含む各種の処理部を実現する。

通信制御部１１は、他の装置（外部端末５０等）との間の通信動作を制御する処理部である。たとえば、通信制御部１１は、通信部４等と協働して、外部端末５０における遠隔操作画面（単に操作画面とも称する）ＭＳ（図５参照）の表示用画像（詳細にはそのデータ）およびコンポーネントデータＤＣ（後述）等を外部端末５０に送信する。

入力制御部１２は、操作入力部６ａ（タッチパネル２５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部１２は、操作画面ＭＳ（ＳＰ）に対する操作入力を受け付ける動作を制御する。

表示制御部１３は、表示部６ｂ（タッチパネル２５等）における表示動作を制御する処理部である。表示制御部１３は、画像形成装置１０を操作するための操作画面ＭＳ（ＳＰ）等をタッチパネル２５に表示させる。

判定部１４は、外部端末５０における操作入力等を判定する処理部である。たとえば、判定部１４は、外部端末５０から送信されてきた操作位置情報（操作入力位置の座標値等）に基づいて、外部端末５０における操作入力の内容を判定する。

動作制御部１８は、外部端末５０による遠隔操作に対応するための動作を統括的に制御する。

＜１−３．外部端末の構成＞
次に外部端末（遠隔操作装置とも称する）５０の構成について説明する。

外部端末５０は、他の装置との間でのネットワーク通信が可能な携帯式の情報入出力端末装置である。ここでは、外部端末５０として、タブレット型端末を例示する。ただし、これに限定されず、外部端末５０は、スマートフォンであってもよく、パーソナルコンピュータなどであってもよい。また、外部端末５０は、携帯式の装置であってもよく、据置型の装置であってもよい。

図３は、外部端末５０の概略構成を示す機能ブロック図である。

外部端末５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５、操作部５６およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

通信部５４は、ネットワークＮＷを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末５０は、所望の相手先（画像形成装置１０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。たとえば、受信部５４ｂは、操作画面（遠隔操作用の操作画面）ＭＳの表示用画像（詳細にはその画像データ）等をＭＦＰ１０から受信し、送信部５４ａは、タッチパネル７５に表示された操作画面ＭＳに対する操作入力の情報（タッチ座標情報等）をＭＦＰ１０に送信する。

格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成される。格納部５５には、ＭＦＰ１０から送信されてきた各種の画像データが一時的に格納される。たとえば、操作画面ＭＳの表示用画像の画像データ等が一時的に格納される。

操作部５６は、外部端末５０に対する操作入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この外部端末５０においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル７５（図１参照）が設けられている。具体的には、図１に示すように、略板状の外部端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたってタッチパネル７５が設けられている。このタッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。

タッチパネル７５には、タッチパネル２５の操作画面と同様の操作画面が遠隔操作画面ＭＳ（ＭＦＰ１０を遠隔操作するための画面）として表示される。また、タッチパネル７５は、当該遠隔操作画面ＭＳ等に対するタッチジェスチャ操作（タッチ操作とも称する）を受け付ける。

再び図３を参照する。図３のコントローラ５９は、外部端末５０に内蔵され、外部端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ２を実行することによって、各種の処理部を実現する。なお、当該プログラムＰＧ２は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介して外部端末５０にインストールされるようにしてもよい。

プログラムＰＧ２は、画像形成装置１０を遠隔操作するアプリケーションソフトウエアプログラムであり、遠隔操作に関する諸機能等を実現する。

具体的には、コントローラ５９は、プログラムＰＧ２の実行により、通信制御部６１と入力制御部６２と表示制御部６３とコンポーネント情報取得部６４と座標変換部６５と表現生成部６６と判定部６７と動作制御部６８とを含む各種の処理部を実現する。

通信制御部６１は、通信部５４等と協働して、画像形成装置１０等との通信動作を制御する処理部である。たとえば、通信制御部６１は、通信部５４等と協働して、外部端末５０における操作画面ＭＳ（ＳＥ）（図５）の表示用画像等を受信する。

入力制御部６２は、操作入力部５６ａ（タッチパネル７５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部６２は、操作画面ＭＳ（ＳＥ）に対する操作入力を受け付ける動作を制御する。

表示制御部６３は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。表示制御部６３は、画像形成装置１０を遠隔操作するための操作画面ＭＳ（ＳＥ）等をタッチパネル７５に表示させる。

具体的には、表示制御部６３は、タッチパネル２５における操作画面ＭＳ（ＳＰ）を模した模擬画像をタッチパネル７５に表示する。また、表示制御部６３は、外部端末５０側で独自に動作可能な部品要素であるコンポーネントＣＰ（後述）を当該模擬画像上に重畳した画像を、外部端末５０側の操作画面ＭＳ（ＳＥ）としてタッチパネル７５に表示する。

コンポーネント情報取得部６４は、画像形成装置１０から送信されてくるコンポーネントデータＤＣ（コンポーネント情報）を取得する処理部である。

座標変換部６５は、タッチパネル７５における操作入力位置の座標値を、外部端末５０のタッチパネル７５における座標系の値から、画像形成装置１０のタッチパネル２５における座標系の値へと変換する処理部である。なお、変換後の座標値は、操作入力の操作位置を示す位置情報（操作位置情報）ＭＰとして、通信制御部６１等によって画像形成装置１０に送信される。

表現生成部６６は、コンポーネントＣＰを実現するためのウエブコンテンツ記述言語表現（ウエブコンテンツの記述等に用いられる言語（ＨＴＭＬ等）による表現）を生成する処理部である。

判定部６７は、外部端末５０における操作入力等を判定する処理部である。たとえば、判定部６７は、タッチパネル７５にて検出された位置情報（操作入力位置の座標値等）に基づいて、外部端末５０における操作入力の内容を判定する。具体的には、判定部６７は、操作入力がコンポーネントＣＰに対するものであるか否かを判定する。

動作制御部６８は、操作入力に対する動作を制御する処理部である。たとえば、動作制御部６８は、操作入力に関する操作位置情報を操作入力に応答して画像形成装置１０に向けて随時送信する。動作制御部６８は、操作入力がコンポーネントＣＰに対するものである場合には、操作入力に応答して、操作入力に対する新たな操作画面に関する模擬画像の画像データの送信要求を送信することなく、操作入力に関する操作位置情報を画像形成装置１０に向けて送信する。一方、操作入力がコンポーネントＣＰに対するものでない場合には、動作制御部６８は、操作入力に応答して、操作入力に対する新たな操作画面に関する模擬画像の画像データの送信要求をも画像形成装置１０に向けて送信する。

＜１−４．操作画面＞
この画像形成システム１においては、画像形成装置１０のタッチパネル２５に操作画面ＭＳ（ＳＰとも称する）（図４参照）が表示されるとともに、外部端末５０のタッチパネル７５に操作画面ＭＳ（ＳＥとも称する）（図５参照）が表示される。操作画面ＳＥは、外観上、操作画面ＳＰと同じ画面である。ここでは、操作画面ＭＳ（ＳＥ，ＳＰ）として、パスワード認証画面（パスワード入力画面）を例示する。

外部端末５０の操作画面ＭＳ（ＳＥ）は、基本的には、画像形成装置１０のタッチパネル２５における操作画面ＭＳ（ＳＰ）を模した模擬画像の画像データ（模擬画像データとも称する）ＤＴ（図６参照）に基づいて表示される。図６は、画像形成装置１０から外部端末５０に送信される模擬画像データＤＴに基づく画像を示す図である。模擬画像データＤＴは、たとえばビットマップ画像として構成される。

ただし、外部端末５０の操作画面ＳＥは、この画像データＤＴのみならず、さらにユーザインターフェイス（単に「ＵＩ」とも表記する）用のコンポーネント（ＵＩコンポーネントとも称する）ＣＰ（ＣＰ１００，ＣＰ１１，ＣＰ１２等）をも備えて構成される（図７参照）。図７では、テキストボックスＴＢに関するコンポーネントＣＰ１００、およびキーボードを構成する複数のキー（ボタン）のそれぞれを示すボタンコンポーネント（ＣＰ１１，ＣＰ１２等）が設けられている。

外部端末５０の操作画面ＳＥにおける各コンポーネントＣＰは、画像形成装置１０の操作画面ＭＳ（ＳＰ）におけるユーザインターフェイス用の部品要素と同等の部品要素であり、外部端末５０側で独自に動作可能な部品要素（画像形成装置１０とは独立して動作可能な部品要素）である。各コンポーネントＣＰは、そのウエブコンテンツ記述言語表現に基づいて実現される。詳細には、各コンポーネントＣＰは、ウエブコンテンツ記述言語表現によって記述されて構成されており、ウエブコンテンツ記述言語表現が外部端末５０側のブラウザエンジン等によって解釈されることにより各コンポーネントＣＰが実現される。各コンポーネントＣＰは、上記の画像データＤＴに基づく模擬画像に対して重畳されて、タッチパネル７５に表示される。換言すれば、各ＵＩコンポーネントと画像データＤＴに基づく模擬画像とが組み合わせられて、タッチパネル７５に表示される。

より詳細には、各ＵＩコンポーネントＣＰは、ウエブコンテンツ記述言語（マークアップ言語等）で記述された内容に基づいて、外部端末５０内のブラウザエンジン（ＨＴＭＬレンダリングエンジン）等によって可視化されてタッチパネル７５に描画される。ブラウザエンジンは、ウエブコンテンツ記述言語で記述されたコンテンツデータを解釈し、ウエブコンテンツ記述言語で指定された表示対象要素（文字および画像など）を実際に画面に描画するプログラムである。また、ウエブコンテンツ記述言語は、ＨＴＭＬ（ハイパーテキストマークアップ言語：HyperText Markup Language）などのマークアップ言語と、スクリプトを記述するスクリプト言語（JavaScript（登録商標）等）とを含む。換言すれば、当該ブラウザエンジンは、ＨＴＭＬなどのマークアップ言語に加え、ブラウザ等で動作するスクリプト言語をも解釈することが可能である。また、各ＵＩコンポーネントＣＰは、外部端末５０で独自に動作可能なスクリプトを用いて構成されており、各ＵＩコンポーネントＣＰに関する動作は、外部端末５０上でのスクリプトの実行等に伴って実現され、外部端末５０上で独自に行われる。すなわち、各ＵＩコンポーネントＣＰは、画像形成装置１０とは独立して動作することが可能である。上記のプログラムＰＧ２は、このようなブラウザエンジンを内蔵して構成される。

この実施形態においては、画像データＤＴとともに画像形成装置１０から外部端末５０へと送信されたコンポーネントデータＤＣ（コンポーネント情報）に基づいて、このようなＵＩコンポーネントが構築される。

図８は、画像形成装置１０から外部端末５０へと送信されるデータＤＳ（ＤＳ１）を示す図である。このデータＤＳ１は、外部端末５０によって画像形成装置１０が遠隔操作される際の或る時点にて、画像形成装置１０から外部端末５０へと送信される。後述するように、このデータＤＳ１に基づいて操作画面ＭＳ（パスワード認証画面等）がタッチパネル７５に表示される。なお、タッチパネル７５に表示される操作画面ＭＳと同じ外観を有する画面が、画像形成装置１０のタッチパネル２５にも表示される。

図８に示すように、データＤＳ１は、画像Ｎｏ．（画像識別子）ＤＮと画像データ（画像データ本体）ＤＴとコンポーネントデータＤＣとを備えて構成される。

画像Ｎｏ．（画像ナンバー）ＤＮは、画像（操作画面ＭＳ）を識別する識別子である。

画像データＤＴは、操作画面ＭＳの表示用の画像データであり、当該操作画面ＭＳを示すビットマップデータ等で構成される。

コンポーネントデータＤＣは、図９に示すように、操作画面ＭＳに含まれる複数のＵＩコンポーネントのコンポーネントＮｏ．（コンポーネント番号）ＣＮと種類（種別）情報ＣＳと位置情報ＣＩと関係性情報ＤＲ（次述）とを備える。なお、このコンポーネントデータＤＣは、画像形成装置１０の格納部５内に予め格納されているものとする。

たとえば、「ボタン」のコンポーネント（ボタンコンポーネントとも称する）ＣＰ１１（ボタン「ａ」）に関して、コンポーネント番号ＣＮ「１１」および種類情報ＣＳ「ボタン」が記録されている。また、コンポーネントＣＰ１１の位置情報ＣＩ（厳密には、位置情報と大きさ情報とを含む）として、ボタン「ａ」の矩形領域の左上の点Ｐ１の座標情報（ＸＰ１、ＹＰ１）および右下の点Ｑ１の座標情報（ＸＱ１、ＹＱ１）が記録されている。

他のボタンコンポーネントＣＰ１２等に関しても同様の内容が記録されている。

また、「テキストボックス（ＴＢ）」のコンポーネント（テキストボックスコンポーネントとも称する）に関して、コンポーネント番号ＣＮ「１００」および種類情報ＣＳ「テキストボックス」が記録されている。また、テキストボックスＴＢの位置情報ＣＩ（厳密には、位置情報と大きさ情報とを含む）として、テキストボックスＴＢの矩形領域の左上の点Ｐ１００の座標情報（ＸＰ１００、ＹＰ１００）および右下の点Ｑ１００の座標情報（ＸＱ１００、ＹＱ１００）が記録されている。

また、関係性情報ＤＲは、操作画面に含まれる複数のＵＩコンポーネントＣＰのうちの特定のＵＩコンポーネントと、当該特定のＵＩコンポーネント自身あるいは当該特定のＵＩコンポーネント以外の他のＵＩコンポーネントとの間での動作上の関係性を示す情報である。

具体的には、関係性情報ＤＲは、関連ＵＩコンポーネントＮｏ．（関連コンポーネント番号）ＣＡと動作情報ＣＢとを有する。関連ＵＩコンポーネント番号ＣＡは、特定ＵＩコンポーネントに関連するＵＩコンポーネント（関連ＵＩコンポーネント）の番号である。また、動作情報ＣＢは、特定ＵＩコンポーネントと関連ＵＩコンポーネントとの間での動作を示す情報である。

たとえば、ボタンコンポーネントＣＰ１１の押下に応じて文字「ａ」がテキストボックスコンポーネントＣＰ１００に表示される場合には、ボタンコンポーネントＣＰ１１とテキストボックスコンポーネントＣＰ１００との両者の間の関係性（関連性）を示す次のような内容が関係性情報ＤＲに記憶される。

まず、ボタンコンポーネントＣＰ１１の関連ＵＩコンポーネント番号ＣＡとして、テキストボックスコンポーネントＣＰ１００のコンポーネント番号「１００」が記憶される。また、ボタンコンポーネントＣＰ１１の動作情報ＣＢとして、当該ボタンコンポーネントＣＰ１１の押下に応じて関連ＵＩコンポーネントに対して文字「ａ」を追加すべき旨が記憶されている。なお、その他のボタンコンポーネントＣＰ１１についても同様の情報ＣＡ，ＣＢが記憶されている。

また、テキストボックスコンポーネントＣＰ１００の関連ＵＩコンポーネント番号ＣＡとして、ボタンコンポーネントＣＰ１１のコンポーネント番号「１１」を含む複数のボタンコンポーネント番号が記憶される。また、テキストボックスコンポーネントＣＰ１００の動作情報ＣＢとして、関連する各ボタンコンポーネントからの各指定文字（「ａ」、「ｂ」等）を表示すべき旨が記憶されている。

この実施形態においては、このような関係性情報ＤＲを含むコンポーネントデータＤＣが外部端末５０で受信されると、外部端末５０は、当該コンポーネントデータＤＣ（関係性情報を含む）に基づいて、図７および図１０に示すようなＵＩコンポーネントを構築する。

まず、外部端末５０は、コンポーネントデータＤＣのうちＣＮ，ＣＳ，ＣＩ（図９）を用いて各ＵＩコンポーネント（ボタンおよびテキストボックス等）に関するＨＴＭＬデータを生成する（図１１参照）。たとえば、各ボタン「ａ」，「ｂ」，...を表示する内容をボタンタグ（<BUTTON>）を用いて記載し（図１１の部分ＰＡ等参照）且つテキストボックスＴＢを表示する内容をインプットタグ（<INPUT>）を用いて記載する（図１１の部分ＰＴ参照）。また、図１１では省略しているが、各コンポーネントＣＰ（コントロール）に関する表示位置をも指定することにより、所望の位置に各コンポーネントＣＰを配置することができる。

さらに、ＵＩコンポーネントの動作は、スクリプト言語に変換されて記述される。たとえば、ボタンが押下されるごとにテキストボックスＴＢに当該ボタンの押下に伴って当該ボタンに対応する指定文字が追加される内容が記述されればよい（図１１の部分ＰＺ参照）。図１１の部分ＰＺにおいては、当該内容がジャバスクリプト（javascript）（商標）によって記述されている。

そして、外部端末５０は、このようなウエブコンテンツ記述言語（マークアップ言語等）による記述内容に基づき、外部端末５０内のブラウザエンジン（ＨＴＭＬレンダリングエンジン）等を用いて、各ＵＩコンポーネントをタッチパネル７５に描画する。これにより、図７および図１０に示すような画面がタッチパネル７５に表示される。

なお、コンポーネントデータＤＣには、ＯＫボタンＢＮ１およびキャンセルボタンＢＮ２に関するデータは、含まれていない。そのため、操作画面ＳＥにおいては、当該ボタンＢＮ１，ＢＮ２は、コンポーネントＣＰとして構成されているのではなく、画像データＤＴに基づく単なる画像（ビットマップ画像）としてのみ表示されている。

後述するように、タッチパネル７５において、当該ボタンＢＮ１，ＢＮ２が押下されたときと各ＵＩコンポーネントが押下されたときとでは、異なる動作が実行される。具体的には、これらのボタンＢＮ１，ＢＮ２が押下されたときには、画像形成装置１０に対する操作画面の更新要求が送出され、当該更新要求に応じて送信されてきた画面が表示される。これにより、ボタンＢＮ１，ＢＮ２が押下されたときには、押下直前の画面とは大きく異なる画面が表示される。一方、各ＵＩコンポーネントＣＰが押下されたときには、画像形成装置１０に対する操作画面の更新要求は送出されない。各ＵＩコンポーネントＣＰが押下されたときには、外部端末５０側でユーザインターフェイス（ＵＩ）処理が行われ、押下直前の操作画面が外部端末５０側のみで部分的に更新される。すなわち、画像形成装置１０からの新たな画像データを受信することなく、操作画面の更新処理が行われる。

＜１−５．動作＞
つぎに、この画像形成システム１における動作について図１２〜図１６を参照しながら説明する。図１２は、画像形成装置１０の動作を示すフローチャートであり、図１３および図１４は、外部端末５０の動作を示すフローチャートである。また、図１５は、ＵＩコンポーネントに対する押下操作が行われた場合における動作例を示す図であり、図１６は、ＵＩコンポーネント以外の部分に対する押下操作が行われた場合における動作例を示す図である。

図１２のステップＳ１１において、画像形成装置１０は、上述のデータＤＳ１（図８参照）を外部端末５０に送信する（図１５も参照）。

一方、外部端末５０は、図１３のステップＳ２１において画像形成装置１０からのデータＤＳ１を受信すると、ステップＳ２２に進む。

ステップＳ２２〜ステップＳ２６においては、操作前の操作画面ＭＳ（ここではパスワード認証画面）の表示動作等が行われる。

具体的には、まず、ステップＳ２２において、ＵＩコンポーネントに関するデータがデータＤＳ１（図８参照）に含まれているか否か、が判定される。より具体的には、操作画面ＭＳにてＵＩコンポーネントを実現するための有効なコンポーネントデータＤＣがデータＤＳ１に含まれているか否か、が判定される。ＵＩコンポーネントに関するデータがデータＤＳ１に含まれていないと判定される場合には、ステップＳ２２からステップＳ２６へと進む。一方、ＵＩコンポーネントに関するデータがデータＤＳ１に含まれている場合には、ステップＳ２２からステップＳ２３へと進む。

ステップＳ２３，Ｓ２４では、コンポーネントデータＤＣに関する複数のデータレコード（図８の各行のデータ）がデータＤＳ１から１つずつ抽出される。そして、コンポーネントデータＤＣ内の各データレコードについてステップＳ２３の動作が実行される。ステップＳ２３では、コンポーネントデータＤＣに基づくＨＴＭＬ表現が生成されるとともに、その関係性情報ＤＲに基づいて対応するスクリプト言語表現も生成される。

たとえば、図９の第１行のデータレコードに基づいて、ボタン「ａ」に関するマークアップ言語表現（ＨＴＭＬ表現等）が生成される（図１１の部分ＰＡ参照）。同様に、図９の第２行以降の各データレコードに基づいて、他のボタン「ｂ」，「ｃ」等に関するマークアップ言語表現も生成される。また、テキストボックスＴＢに関するマークアップ言語表現も生成される（図１１の部分ＰＴ参照）。さらに、テキストボックスＴＢに関するデータレコード（特に関係性情報ＤＲ）等に基づいて、テキストボックスＴＢと当該テキストボックスＴＢに関連するボタン群とに関するスクリプト言語表現（図１１の部分ＰＺ参照）も生成される。換言すれば、各コンポーネントＣＰに対する操作入力への応答動作を規定したスクリプト言語表現も生成される。このようにして、画像形成装置１０から送信されてくるコンポーネントデータＤＣに基づいて、ウエブコンテンツ記述言語表現が外部端末５０において生成される。なお、このようなウエブコンテンツ記述言語表現（マークアップ言語表現およびスクリプト言語表現）は、予め準備された幾つかの基本テンプレート表現をアレンジすることなどによって生成されればよい。

そして、コンポーネントデータＤＣ内の全てのデータレコードについて処理が終了すると、ステップＳ２６に進む。ステップＳ２６では、ウエブコンテンツ記述言語表現（マークアップ言語表現およびスクリプト言語表現を含む）に基づいて生成された各ＵＩコンポーネントＣＰが、画像データＤＴに基づく模擬画像上に重畳された状態で、タッチパネル７５に表示される。これにより、図５のような操作画面ＭＳ（ＳＥ）がタッチパネル７５に表示される。

このようにして、外部端末５０は、画像データＤＴに基づく画像とコンポーネントデータＤＣに基づくコンポーネントＣＰとを組み合わせて操作画面ＭＳ（ＳＥ）を表示する。

次に、操作画面ＳＥに対してユーザからの操作入力が行われる。ステップＳ２７（図１４）の待機ループ処理中において、操作画面ＳＥへの操作入力が受け付けられると、ステップＳ２８に進む。

ステップＳ２８では、ユーザによる操作入力の画面内位置（押下操作位置）がコンポーネントＣＰの配置領域内の位置であるか否か、が判定される。換言すれば、ユーザからの操作入力が操作画面ＳＥ内のいずれかのコンポーネントＣＰに対するものであるか否かが判定される。

たとえば、操作入力の押下操作位置がボタンコンポーネントＣＰ１１（ボタン「ａ」）内の位置であることが判定されると、当該操作入力がコンポーネントに対するものであると判定される。この場合には、操作入力に対応する新たな操作画面の画面データを外部端末５０に送信すべき旨の要求を行うことなく、ステップＳ２９以降に進む。

ステップＳ２９では、１または複数のコンポーネントＣＰ（たとえばボタンコンポーネントＣＰ１１およびテキストコンポーネントＣＰ１００）を用いて、操作画面が更新される。具体的には、ボタン「ａ」の押下に応答して、テキストボックスＴＢに文字「ａ」が表示される。詳細には、マークアップ言語およびスクリプト言語等による記述内容（図１１参照）に基づき、当該記述内容に対応する動作がブラウザエンジン（特に、スクリプトエンジン（スクリプト言語を解釈して実行するプログラム）を含む）等によって行われる。この動作は、画像形成装置１０との通信を伴うことなく外部端末５０において行われる。すなわち、当該動作は、外部端末５０内で完結する。

また、ステップＳ３０では、操作位置情報（操作位置座標）とともに画像送信不要情報（更新画像の送信が不要であることを示す情報）ＮＲが外部端末５０から画像形成装置１０に向けて送信される（図１５も参照）。この画像送信不要情報ＮＲは、更新画像の送信が不要であることを直接的に意味する情報であってもよく、あるいは、画像送信が不要であることを間接的に意味する情報であってもよい。たとえば、操作位置がＵＩコンポーネント内の位置である旨の情報などが画像送信不要情報ＮＲとして送信されてもよい。

このように、操作入力がコンポーネントＣＰに対するものである場合には、操作入力に応答して、新たな操作画面に関する模擬画像の画像データの送信要求を送信することなく、操作入力に関する操作位置情報が画像形成装置１０に向けて送信される。

その後、外部端末５０は、画像形成装置１０から「ＯＫ」データが送信されてくるまで待機する（ステップＳ３１）。

一方、ユーザによる操作入力の画面内位置（押下操作位置）がコンポーネントＣＰの配置領域ではないと判定される場合には、当該操作入力が、操作画面ＳＥ内のいずれのコンポーネントＣＰに対するものでないと判定され、ステップＳ２８からステップＳ３２へと進む。この場合には、外部端末５０は、ユーザの操作入力に関する押下操作位置情報（操作位置座標）とともに、当該操作入力に対応する新たな操作画面の画面データを遠隔操作装置に送信すべき旨の要求（画像送信要求）ＲＱを、画像形成装置１０に向けて送信する（図１６も参照）。画像送信要求ＲＱは、更新画像の送信を要することを直接的に意味する情報であってもよく、あるいは、更新画像の送信を要することを間接的に意味する情報であってもよい。たとえば、操作位置がＵＩコンポーネント内の位置ではない旨の情報などが画像送信要求ＲＱとして送信されてもよい。

このように、操作入力がコンポーネントＣＰに対するものでない場合には、操作入力に応答して、操作入力に対する新たな操作画面に関する模擬画像の画像データの送信要求ＲＱもが画像形成装置１０に向けて送信される。

図１２を再び参照する。ステップＳ１１の次のステップＳ１２（待機状態）において、画像形成装置１０は、外部端末５０からの押下操作位置情報（操作位置座標）が受信された旨を判定すると、ステップＳ１４に進む。

ステップＳ１４では、画像形成装置１０は、更新画像の送信が要求されているか否かを判定する。具体的には、画像送信不要情報ＮＲと画像送信要求ＲＱとのいずれが受信されたかが判定される。押下操作位置情報（操作位置座標）とともに画像送信不要情報ＮＲが受信されている場合には、更新画像の送信が要求されていないと判定され、ステップＳ１４からステップＳ１５へと進む。

ステップＳ１５では、確認のための「ＯＫ」信号と画像番号とＵＩコンポーネント番号との３つの情報（比較的小量の情報）のみが画像形成装置１０から外部端末５０に向けて送信される（図１５も参照）。操作画面の画像データ（比較的大量の情報）は送信されない。また、ステップＳ１５では、画像形成装置１０は、外部端末５０から受信した押下操作位置情報（操作位置座標）に基づき、（外部端末５０側のタッチパネル７５ではなく）当該画像形成装置１０のタッチパネル２５での表示画像を更新する。たとえば、ボタン「ａ」内の位置座標が送信されてきた場合には、文字「ａ」をテキストボックスＴＢに追加表示した表示画像をタッチパネル２５に表示する。これにより、タッチパネル７５の表示内容と同じ表示内容がタッチパネル２５においても表示される。すなわち、タッチパネル２５とタッチパネル７５との表示内容が同一化（同期）される。

一方、押下操作位置情報（操作位置座標）とともに画像更新要求ＲＱが受信されている場合には、更新画像の送信が要求されていると判定され、ステップＳ１４からステップＳ１６へと進む（図１６も参照）。ステップＳ１６では、操作入力に対応する新たな操作画面の新たな画面データ（更新画像データ）ＤＴ２を生成し、当該更新画像データＤＴ２を含むデータＤＳ（ＤＳ２）を外部端末５０に向けて送信する。なお、外部端末５０は、当該新たなデータＤＳ（ＤＳ２）を受信し、当該新たなデータＤＳ２に基づく表示処理等を行う（ステップＳ２１〜Ｓ２６）。また、ステップＳ１６（図１２）では、画像形成装置１０のタッチパネル２５での表示画像も更新される。これにより、タッチパネル２５とタッチパネル７５との表示内容が同一化（同期）される。

上述のように、ＵＩコンポーネントに対する押下操作が行われた場合には、図１５に示すような動作が行われる。たとえば、図１５のステップＳ２６の後のステップＳ２７にて、コンポーネントＣＰ１１（ボタン「ａ」）に対する操作入力が受け付けられると、外部端末５０内でコンポーネントＣＰ１１，ＣＰ１００を用いた画面の更新動作が行われる（ステップＳ２９）。さらに、操作位置情報が画像送信不要情報ＮＲとともに画像形成装置１０に送信され（ステップＳ３０）、画像形成装置１０は、当該操作位置情報に基づいてタッチパネル２５の表示内容を更新する。

このように、ボタン「ａ」の操作に応じて、外部端末５０のタッチパネル７５の操作画面はＵＩコンポーネントを用いて外部端末５０内で更新されるとともに、画像形成装置１０のタッチパネル２５の操作画面は画像形成装置１０で更新される。これにより、両装置１０，５０における操作画面の内容は同一化（同期）される。すなわち、各装置１０，５０の各タッチパネル２５，７５の操作画面ＭＳ（ＳＰ，ＳＥ）は、それぞれ自装置内で更新されて、同一化（同期）される。なお、外部端末５０は、ＯＫ信号を受信する（ステップＳ３１）ことによって、このような同期動作の完了を確認することができる。

その後、ボタンコンポーネントＣＰ１２（ボタン「ｂ」）に対する操作入力が受け付けられる場合にも、ステップＳ２７〜ステップＳ３１の動作が同様に行われる。さらに、別のボタンコンポーネントに対する操作入力が受け付けられる場合にも、ステップＳ２７〜ステップＳ３１の動作が同様に行われる。

このとき、ボタンコンポーネントの押下操作に応じたテキストボックスＴＢの表示内容変更動作は、外部端末５０側で独自に実行される。

これによれば、外部端末５０における各文字の入力（各文字ボタンの押下）ごとにテキストボックスＴＢに入力文字を表示する動作が、外部端末５０において生成されたＵＩコンポーネントＣＰによって実現される。したがって、１文字ずつ入力されるごとに、１文字の入力に応じて更新されたテキストボックスを含む全画面データを画像形成装置１０から受信することを要しない。すなわち、文字の入力ごとに画像形成装置１０で更新画像を生成し当該更新画像を外部端末５０に随時送信する場合に比べて、画像形成装置と外部端末との間の通信トラフィックの増大を抑制することが可能である。

なお、上記実施形態とは別の手法として、文字入力操作に応じた操作画面の変更部分（差分画像）のみを差分転送することも考えられる。しかしながら、その場合であっても、外部端末５０側にて差分画像が受信されるまでは外部端末５０の操作画面は更新されないため、外部端末５０側での画面更新のタイミングが遅延するという問題が存在する。すなわち、操作画面更新のレスポンス（応答性）が十分ではない。一方、上記実施形態によれば、外部端末５０側のＵＩコンポーネントＣＰによって画面更新が行われるため、そのような問題を回避することもできる。

また、上記実施形態においては、１文字入力されるごとに、操作位置情報が外部端末５０から画像形成装置１０へと随時送信される（ステップＳ３０）。換言すれば、操作入力に関する操作位置情報が当該操作入力に応答して、外部端末５０から画像形成装置１０へと随時送信される。これによれば、外部端末５０はタッチパネル２５の内容を随時更新することができる。したがって、タッチパネル２５の表示内容とタッチパネル７５の表示内容とを、より良好に同期させることが可能である。

なお、上記実施形態とはさらに別の手法として、複数のボタン（キー）押下に応じて複数の文字が１つの纏まりとして入力される場合において、当該複数の文字の全てが入力されるまでは外部端末５０側でのみ表示更新することも考えられる。そして、全ての文字が入力された後に、外部端末５０から画像形成装置１０に対する画像更新要求に応じて、画像形成装置１０が更新画像を生成して外部端末５０に送信し、外部端末５０が当該更新画像を受信して表示することが考えられる。しかしながら、その場合には、複数の文字の入力の途中では、画像形成装置１０の操作画面と外部端末５０の操作画面とにおいて相違部分が生じる。たとえば、外部端末５０側で全１０文字中第６文字までが入力されたときには、外部端末５０の操作画面ＳＰのテキストボックスＴＢには第１文字から第６文字までが表示される一方で、画像形成装置１０側の操作画面ＳＥのテキストボックスＴＢには未だ１文字も入力内容として表示されない。すなわち、タッチパネル２５の表示内容とタッチパネル７５の表示内容との同期が不十分になるという問題が存在する。一方、上記実施形態によれば、操作入力に関する操作位置情報が当該操作入力に応答して外部端末５０から画像形成装置１０へと随時送信されるので、このような問題を回避することが可能である。

このような態様は、依頼元のユーザの近くの画像形成装置１０を依頼先のオペレータが外部端末５０を用いて遠隔操作する遠隔操作案内技術（電話と実機（画像形成装置１０）とを用いた操作ガイド技術）において特に有用である。外部端末５０の操作画面ＳＥに対する操作に応じて、１つの操作ごとに（１文字単位で）、その操作内容が画像形成装置１０の操作画面ＳＰに反映される（良好に同期される）ため、依頼元のユーザは依頼先のオペレータの操作案内を、正確に理解することができる。

また、ＵＩコンポーネント以外の部分に対する押下操作が行われた場合には、図１６のような動作が行われる。たとえば、ＯＫボタンＢＮ１あるいはキャンセルボタンＢＮ２に対する操作入力が受け付けられる（ステップＳ２７）と、画像形成装置１０に対する操作画面の更新要求（画面送信要求ＲＱ）が送出される（ステップＳ３２）。また、当該更新要求ＲＱに応じて画像形成装置１０にて新たな操作画面の画像データＤＴ２を含むデータＤＳ２が生成され、外部端末５０に向けて送信される（ステップＳ１６）。そして、外部端末５０は、当該データＤＳ２に基づき新たな操作画面を表示する（ステップＳ２１〜Ｓ２６）。これにより、ボタンＢＮ１，ＢＮ２が押下されたときには、押下直前の画面とは大きく異なる画面が表示される。

＜１−６．その他＞
＜他の操作画面＞
なお、上記においては、操作画面ＭＳ（ＳＥ，ＳＰ）として、パスワード認証画面が例示されているが、これに限定されない。たとえば、図１７に示すようなメニュー画面ＭＮ（設定画面）などの他の操作画面であってもよい。より詳細には、コピー倍率設定画面（図１７）にて標準設定（ボタンＢＴ５に対応する設定（「倍率１００％」（等倍）））がなされている状況において、ボタンＢＴ３の押下に応じてテキストボックスＢＴ２の表示内容が変更される場合に、上記の思想を適用するようにしてもよい。

より具体的には、メニュー画面ＭＮの画像データＤＴ３と各ボタンＢＴ１〜ＢＴ９等に関するコンポーネントデータＤＣ（関係性情報ＤＲを含む）とを含むデータＤＳ３が画像形成装置１０から外部端末５０へと送信される。外部端末５０は、当該コンポーネントデータＤＣに基づき各コンポーネントＣＰを生成するとともに、各コンポーネントＣＰを画像データＤＴ３に基づくメニュー画面ＭＮに重畳して表示する（図１７参照）。そして、ボタンＢＴ３が押下されると、当該ボタンＢＴ３に対応するコンポーネントＣＰを用いて、外部端末５０のメニュー画面ＭＮのテキストボックスＢＴ２の表示内容を「８１．６％」に変更するとともに、ボタンＢＴ３，ＢＴ５の色を変更するようにすればよい（図１８参照）。詳細には、ボタンＢＴ５を黄色から白色（標準色）に変更し、ボタンＢＴ３を逆に白色（標準色）から黄色に変更すればよい。

＜他の種類のコンポーネント＞
また、上記においては、ＵＩコンポーネントＣＰとしてボタンコンポーネントおよびテキストボックスコンポーネントが例示されているが、これに限定されず、他の種類のＵＩコンポーネントＣＰに上記の思想を適用するようにしてもよい。たとえば、他の種類のＵＩコンポーネントＣＰとしては、チェックボックス、ラジオボタン、リストボックス、コンボボックス、スライダ、ツリービュー、リストビューなどが例示される。このうち、「チェックボックス」は、当該チェックボックスに対する押下操作が行われるごとに、ボックス内のチェック印の有無が変更されるコンポーネントである。また、「リストビュー」は、リスト形式（行と列とを有して構成される表示形式）で列挙された複数の選択肢（複数の行要素）の中から所望の選択肢を選択することが可能なコンポーネントである。選択された選択肢は、強調表示されることによって選択されたことが示される。

＜２．第２実施形態＞
上記第１実施形態においては、画像データＤＳ等が画像形成装置１０から外部端末（遠隔操作装置）５０に向けて直接的に送信される態様が例示されているが、これに限定されず、画像データＤＳ等が画像形成装置１０から外部端末５０に向けて中継装置（中継サーバ等）を介して間接的に送信されるようにしてもよい。

また、上記第１実施形態では、操作画面に関する各コンポーネントＣＰのウエブコンテンツ記述言語表現が外部端末５０によって生成されているが、これに限定されず、当該各コンポーネントのウエブコンテンツ記述言語表現がその他の装置（たとえば中継サーバ）によって生成されてもよい。

第２実施形態においては、このような態様について説明する。

図１９は、第２実施形態に係る画像形成システム１（１Ｂ）を示す図である。図１９に示すように、画像形成システム１Ｂは、画像形成装置１０と外部端末５０とに加えて中継サーバ８０を備える。画像形成装置１０と外部端末５０と中継サーバ８０とは、ネットワークＮＷを介して互いに接続される。この第２実施形態においては、画像データＤＳ等が画像形成装置１０から外部端末５０に向けて中継サーバ８０を介して間接的に送信される。中継サーバ８０は、画像形成装置１０と外部端末５０との中継ぎをする装置（中継装置）であるとも表現される。

具体的には、図２０に示すように、まず、画像データＤＴとともにコンポーネントデータＤＣが画像形成装置１０から中継サーバ８０に送信される。また、当該中継サーバ８０においては、画像形成装置１０から送信されてきた当該コンポーネントデータＤＣに基づき、各コンポーネントＣＰのウエブコンテンツ記述言語表現が生成される。中継サーバ８０には、第１実施形態に係る表現生成部６６と同様の処理を行う処理部が設けられ、当該処理部を用いて各コンポーネントのウエブコンテンツ記述言語表現が生成される。そして、中継サーバ８０は、当該ウエブコンテンツ記述言語表現と画像データＤＴとを含むデータＤＳを外部端末５０に送信する。

外部端末５０は、中継サーバ８０を介して、画像データＤＴとウエブコンテンツ記述言語表現とを含むデータを受信する。そして、外部端末５０は、当該画像データＤＴに基づく模擬画像と当該ウエブコンテンツ記述言語表現に基づくコンポーネントＣＰとを組み合わせた画像（画面）を生成し当該画像を操作画面ＭＳとしてタッチパネル７５に表示する。

このように、第２実施形態は、ウエブコンテンツ記述言語表現が外部端末５０ではなく中継サーバ８０で生成される点等において、第１実施形態と相違する。

図２１および図２２は、中継サーバ８０の動作を示すフローチャートである。詳細には、図２１は、画像形成装置１０からの受信データに対する処理を示すフローチャートであり、図２２は、外部端末５０からの受信データに対する処理を示すフローチャートである。また、図２３は、外部端末５０の動作を示すフローチャートである。なお、第２実施形態に係る画像形成装置１０（１０Ｂ）の動作は、図１２のフローチャートに示す第１実施形態に係る動作と同様である。ただし、第２実施形態に係る当該動作は、外部端末５０に向けて送出されるデータＤＳ等が中継サーバ８０を介して送信され、外部端末５０から送信される各種データが中継サーバ８０を介して受信される点で、第１実施形態に係る動作と相違する。

この第２実施形態では、まずステップＳ１１（図１２）にて画像形成装置１０は、上述のデータＤＳ１（図８参照）を（外部端末５０ではなく）中継サーバ８０に送信する（図２０も参照）。

一方、中継サーバ８０は、図２１のステップＳ４１において画像形成装置１０からのデータを受信すると、ステップＳ４７に進む。

ステップＳ４７では、受信データが「ＯＫ」データであるか否かが判定される。受信データが「ＯＫデータ」でない場合には、ステップＳ４２に進む。一方、受信データが「ＯＫデータ」である場合には、ステップＳ４８に進み、当該「ＯＫ」データを外部端末５０に転送する。

ステップＳ４２〜ステップＳ４４の各処理は、ステップＳ２２〜ステップＳ２４（図１３）とそれぞれ同様の処理である。これらの処理により、データＤＳ（特にコンポーネントデータＤＣ）に基づいてウエブコンテンツ記述言語表現が外部端末５０において生成される。

その後、ステップＳ４５に進む。ステップＳ４５では、データＤＳと生成されたウエブコンテンツ記述言語表現とが外部端末５０に送信される。なお、コンポーネントデータＤＣは外部端末５０に送信されなくてもよい。

次に、図２３に示すように、外部端末５０が、データＤＳおよびウエブコンテンツ記述言語表現を中継サーバ８０から受信すると、ステップＳ６１からステップＳ６６に進む。ステップＳ６６では、ステップＳ２６と同様の動作が行われる。ただし、中継サーバ８０にてウエブコンテンツ記述言語表現が生成されている点で、ステップＳ２６とは相違する。ステップＳ６６では、ウエブコンテンツ記述言語表現（マークアップ言語表現およびスクリプト言語表現を含む）に基づく各ＵＩコンポーネントがブラウザエンジン等によって実現される。より詳細には、ウエブコンテンツ記述言語表現がブラウザエンジン等によって解釈され、当該ウエブコンテンツ記述言語表現に対応する各ＵＩコンポーネントがタッチパネル７５に表示される。各ＵＩコンポーネントは、画像データＤＴに基づく画像に重畳された状態で表示される。

このようにして、外部端末５０は、画像データＤＴに基づく画像とウエブコンテンツ記述言語表現（ＨＴＭＬデータ等）に基づくコンポーネントＣＰとを組み合わせて操作画面ＭＳ（ＳＥ）を表示する。

次に、操作画面ＳＥに対してユーザからの操作入力が行われる。ステップＳ６７（図２３）の待機ループ処理中において、操作画面ＳＥへの操作入力が受け付けられると、ステップＳ６８に進む。ステップＳ６８〜ステップＳ７２の各処理は、ステップＳ２８〜Ｓ３２（図１４）の各処理とそれぞれ同様の処理である。

ただし、ステップＳ７０においては、外部端末５０は、操作位置情報（操作位置座標）および画像送信不要情報ＮＲを中継サーバ８０を介して画像形成装置１０に向けて送信する（図２０も参照）。また、その後、外部端末５０は、画像形成装置１０から中継サーバ８０を介して「ＯＫ」データが送信されてくるまで待機する（ステップＳ７１）。

また、ステップＳ７２においては、押下操作位置情報（操作位置座標）および画像送信要求ＲＱが外部端末５０から中継サーバ８０に送信される。

また、中継サーバ８０は、図２２に示すように、外部端末５０からの受信データに対する処理をも行う（図２０も参照）。具体的には、外部端末５０からデータを受信する（ステップＳ５１）と、当該受信したデータをそのまま画像形成装置１０へ転送する処理を実行する（ステップＳ５２）。これにより、外部端末５０から中継サーバ８０に送信されたデータがそのまま画像形成装置１０に転送される。

図１２を再び参照する。ステップＳ１１の次のステップＳ１２（待機状態）において、中継サーバ８０を経由して外部端末５０からの押下操作位置情報（操作位置座標）が受信された旨が判定されると、ステップＳ１４以降に進む。

ステップＳ１４，Ｓ１５，Ｓ１６においても第１実施形態と同様の動作が実行される。ただし、画像形成装置１０から外部端末５０に向けて送信されるデータは、全て中継サーバ８０を介して送信される。

このようなシステム１Ｂによっても、第１実施形態と同様の効果を得ることが可能である。

なお、第１実施形態では、コンポーネントのウエブコンテンツ記述言語表現が外部端末５０によって生成されており、第２実施形態では、コンポーネントのウエブコンテンツ記述言語表現が中継サーバ８０によって生成されているが、これに限定されない。

たとえば、画像形成装置１０がコンポーネントのウエブコンテンツ記述言語表現を生成するようにしてもよい。詳細には、画像形成装置１０において、第１実施形態に係る表現生成部６６と同様の処理を行う処理部が設けられ、当該処理部を用いて各コンポーネントのウエブコンテンツ記述言語表現が生成されればよい。より詳細には、画像形成装置１０は、画像形成装置１０の格納部５に格納されているコンポーネントデータＤＣに基づいて、ウエブコンテンツ記述言語表現を生成すればよい。そして、画像形成装置１０は、当該ウエブコンテンツ記述言語表現を模擬画像データＤＴ等とともに外部端末５０に向けて送信すればよい。なお、ウエブコンテンツ記述言語表現および模擬画像データＤＴ等は、中継サーバ８０を介して間接的に外部端末５０に送信されてもよく、中継サーバ８０を介さずに直接的に外部端末５０に送信されてもよい。

＜３．第３実施形態＞
上記各実施形態においては、コンポーネントデータＤＣが画像形成装置１０において予め格納されている態様が例示されているが、本発明はこれに限定されない。たとえば、コンポーネントデータＤＣは、画像形成装置１０のコントローラ９内に設けられたコンポーネントデータ自動生成部１９（図２４参照）によって自動的に生成されるようにしてもよい。第３実施形態では、このような改変例について説明する。なお、図２４は、第３実施形態に係る画像形成装置１０（１０Ｃ）の機能ブロックを示す図である。

ここでは、操作履歴情報として、各操作画面におけるユーザによる操作位置（押下位置等）と操作前後の各操作画面（画像データ等）とが画像形成装置１０に格納されているものとする。詳細には、或る操作画面ＭＳに対する操作の位置情報である操作位置情報と当該操作前の操作画面ＭＳａの画像データと当該操作後の操作画面ＭＳｂの画像データとを含む履歴情報が格納されている。

そして、コンポーネントデータ自動生成部１９（図２４）は、或る操作画面ＭＳに関して、操作前の操作画面ＭＳａの画像データと操作後の操作画面ＭＳｂの画像データとの差分情報を取得することによって、操作画面の操作に応じた変更内容を検出する。

図２５は、このようにして検出される変更内容の一例を示す図である。ここでは、メニュー画面ＭＮ（操作画面ＭＳ）に関して、図１７のような操作前の操作画面ＭＳａと図１８のような操作後の操作画面ＭＳｂとがその操作位置（ボタンＢＴ３内の或る位置）とともに操作履歴情報として格納されている状況を想定する。

この場合、コンポーネントデータＤＣ（関係性情報ＤＲを含む）は、次のようにして自動生成される。具体的には、コンポーネントデータ自動生成部１９は、両操作画面ＭＳａ，ＭＳｂの差分画像を取得することによって、閉領域ＲＴ１（ボタンＢＴ３に相当する領域）と閉領域ＲＴ２（ボタンＢＴ５に相当する領域）と閉領域ＲＴ３（テキストボックスＴＢに相当する領域）との３カ所において変化が生じていることを検出する。

また、これらの３つの閉領域ＲＴ１，ＲＴ２，ＲＴ３は、それぞれＵＩコンポーネントＣＰであると判定され、各ＵＩコンポーネントＣＰに対して適宜の識別子（コンポーネントＮｏ．）が付与される。

また、閉領域ＲＴ１は、その内部位置での押下操作に応じて操作画面が変更されていることなどに基づいて、ボタンコンポーネントであると判定される。また、閉領域ＲＴ３は、当該押下操作に応じてその表示内容が変更されていることなどに基づいて、テキストボックスコンポーネントであると判定される。さらに、閉領域ＲＴ２は、閉領域ＲＴ１との形状の類似度合いに基づいて、ボタンコンポーネントとして判定される。あるいは、閉領域ＲＴ２は、類似の押下操作（不図示）に関して、当該閉領域ＲＴ内の位置での押下操作に応じて当該操作画面が変更されていることなどに基づいて、ボタンコンポーネントであると判定されるようにしてもよい。このようにして、各コンポーネントの種類情報ＣＳが生成される。

同様に、各コンポーネントの位置情報ＣＩは、各閉領域ＲＴ１，ＲＴ２，ＲＴ３の輪郭に関する位置情報に基づいて、自動的に取得される。

さらに、関係性情報ＤＲも次のようにして取得される。たとえば、閉領域ＲＴ１の押下に応じて閉領域ＲＴ１，ＲＴ２，ＲＴ３が変化していることに基づいて、閉領域ＲＴ１，ＲＴ２，ＲＴ３の各コンポーネントが閉領域ＲＴ１のコンポーネントに対する関連コンポーネントであることが決定される。また、閉領域ＲＴ１の押下に応じて閉領域ＲＴ１自身の色と閉領域ＲＴ２の色とを変更すべきこと、および閉領域ＲＴ１の押下に応じて閉領域ＲＴ３の文字を「８１．６％」に変更すべきことも決定される。これらの決定事項が関係性情報ＤＲとして取得される。なお、各閉領域内の文字等は、ＯＣＲ（Optical Character Recognition：光学文字認識）技術を用いて、認識されればよい。

その後は、上記第１実施形態と同様にして、当該コンポーネントデータＤＣがウエブコンテンツ記述言語表現に変換され、当該ウエブコンテンツ記述言語表現および画像データに基づいて操作画面ＭＳ（ＳＥ）が外部端末５０において表示される。また、当該操作画面ＭＳ（ＳＥ）に対する操作に対しても同様の動作が行われる。

このような態様によっても、第１実施形態と同様の効果を得ることができる。さらに、このような態様によれば、コンポーネントデータＤＣが自動的に生成されるので、コンポーネントデータＤＣの生成に要する手間を低減することが可能である。また、コンポーネントデータＤＣが自動的に生成されることによれば、そのコンポーネントデータＤＣが予め準備されていなかった旧機種の画像形成装置に対しても、上記の思想を容易に適用することが可能である。

なお、ここでは、コンポーネントデータＤＣが画像形成装置１０で自動的に生成される態様が例示されているが、これに限定されず、たとえば、コンポーネントデータＤＣは、外部端末５０あるいは中継サーバ８０等において自動的に生成されるようにしてもよい。この場合、コンポーネントデータ自動生成部１９が、外部端末５０あるいは中継サーバ８０等においてそれぞれ設けられればよい。

＜４．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記各実施形態においては、マークアップ言語表現としてＨＴＭＬデータが例示されているが、これに限定されず、ＨＴＭＬデータ以外のマークアップ言語表現であってもよい。また、スクリプト言語表現に関しても、上述の種類以外のスクリプト言語によるものであってもよい。

１ 画像形成システム
１０ ＭＦＰ（画像形成装置）
２５ （画像形成装置の）タッチパネル
５０ 外部端末（遠隔操作装置）
７５ （外部端末の）タッチパネル
８０ 中継サーバ
ＣＰ コンポーネント
ＤＣ コンポーネントデータ（コンポーネント情報）
ＤＲ 関係性情報
ＭＳ 操作画面

Claims (16)

1. 画像形成システムであって、
   第１の操作部を有する画像形成装置と、
   第２の操作部を有し且つ当該第２の操作部を用いて前記画像形成装置を遠隔操作する遠隔操作装置と、
   を備え、
   前記画像形成装置は、
   前記第１の操作部における第１の操作画面を模した模擬画像を前記遠隔操作装置に向けて送信する送信手段、
   を有し、
   前記遠隔操作装置は、
   前記模擬画像を受信する受信手段と、
   前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示する表示制御手段と、
   前記第２の操作画面への操作入力を受け付ける受付手段と、
   前記操作入力が前記コンポーネントに対するものであるか否かを判定する判定手段と、
   前記操作入力に対する動作を制御する動作制御手段と、
   を有し、
   前記動作制御手段は、
   前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示することを特徴とする画像形成システム。
2. 請求項１に記載の画像形成システムにおいて、
   前記コンポーネントは、前記遠隔操作装置で独自に動作可能なスクリプトを用いて構成されることを特徴とする画像形成システム。
3. 請求項１または請求項２に記載の画像形成システムにおいて、
   前記動作制御手段は、前記操作入力に関する操作位置情報を前記操作入力に応答して前記画像形成装置に向けて随時送信することを特徴とする画像形成システム。
4. 請求項３に記載の画像形成システムにおいて、
   前記動作制御手段は、前記操作入力が前記コンポーネントに対するものである場合には、前記操作入力に応答して、前記操作入力に対する新たな操作画面に関する前記模擬画像の送信要求を送信することなく、前記操作入力に関する操作位置情報を前記画像形成装置に向けて送信することを特徴とする画像形成システム。
5. 請求項４に記載の画像形成システムにおいて、
   前記動作制御手段は、前記操作入力が前記コンポーネントに対するものでない場合には、前記操作入力に応答して、前記操作入力に対する前記新たな操作画面に関する模擬画像の送信要求をも前記画像形成装置に向けて送信することを特徴とする画像形成システム。
6. 請求項１ないし請求項５のいずれかに記載の画像形成システムにおいて、
   前記遠隔操作装置は、
   前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、
   をさらに有し、
   前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする画像形成システム。
7. 請求項１ないし請求項５のいずれかに記載の画像形成システムにおいて、
   前記画像形成システムは、
   前記画像形成装置と前記遠隔操作装置との中継ぎをする中継装置、
   をさらに備え、
   前記中継装置は、
   前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、
   をさらに有し、
   前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする画像形成システム。
8. 請求項１ないし請求項５のいずれかに記載の画像形成システムにおいて、
   前記画像形成装置は、
   前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、
   をさらに有し、
   前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする画像形成システム。
9. 請求項６ないし請求項８のいずれかに記載の画像形成システムにおいて、
   前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記画像形成装置から送信されてくるコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする画像形成システム。
10. 請求項７に記載の画像形成システムにおいて、
    前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記中継装置から送信されてくるコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする画像形成システム。
11. 請求項８に記載の画像形成システムにおいて、
    前記表現生成手段は、前記コンポーネントに関する情報であるコンポーネント情報であって前記画像形成装置に格納されているコンポーネント情報に基づいて、前記ウエブコンテンツ記述言語表現を生成することを特徴とする画像形成システム。
12. 請求項９ないし請求項１１のいずれかに記載の画像形成システムにおいて、
    前記コンポーネント情報は、前記コンポーネントと当該コンポーネント自身あるいは他のコンポーネントとの間での動作上の関係性を示す関係性情報を含み、
    前記表現生成手段は、前記関係性情報に基づいて、前記コンポーネントに対する前記操作入力への応答動作を規定したスクリプト言語表現を生成することを特徴とする画像形成システム。
13. 画像形成装置を遠隔操作する遠隔操作装置であって、
    前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像を受信する受信手段と、
    前記遠隔操作装置に設けられた第２の操作部に前記模擬画像を表示するとともに、前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示する表示制御手段と、
    前記第２の操作画面への操作入力を受け付ける受付手段と、
    前記操作入力が前記コンポーネントに対するものであるか否かを判定する判定手段と、
    前記操作入力に対する動作を制御する動作制御手段と、
    を備え、
    前記動作制御手段は、
    前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示することを特徴とする遠隔操作装置。
14. 請求項１３に記載の遠隔操作装置において、
    前記コンポーネントを実現するためのウエブコンテンツ記述言語表現を生成する表現生成手段、
    をさらに備え、
    前記表示制御手段は、前記ウエブコンテンツ記述言語表現に基づいて前記コンポーネントを前記模擬画像上に重畳して表示することを特徴とする遠隔操作装置。
15. 画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、
    ａ）前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像の画像データを受信するステップと、
    ｂ）前記画像データに基づく前記模擬画像を前記遠隔操作装置に設けられた第２の操作部に表示するとともに、前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示するステップと、
    ｃ）前記第２の操作画面への操作入力を受け付けるステップと、
    ｄ）前記操作入力が前記コンポーネントに対するものであるか否かを判定するステップと、
    ｅ）前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示するステップと、
    を実行させるためのプログラム。
16. 画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、
    ａ）前記画像形成装置に設けられた第１の操作部における第１の操作画面を模した模擬画像の画像データを受信するステップと、
    ｂ）前記第１の操作画面におけるユーザインターフェイス用の部品要素と同等の部品要素であって前記遠隔操作装置側で独自に動作可能な部品要素であるコンポーネントを実現するためのウエブコンテンツ記述言語表現を生成するステップと、
    ｃ）前記画像データに基づく前記模擬画像を前記遠隔操作装置に設けられた第２の操作部に表示するとともに、前記コンポーネントを前記模擬画像上に重畳した画像を第２の操作画面として前記第２の操作部に表示するステップと、
    ｄ）前記第２の操作画面への操作入力を受け付けるステップと、
    ｅ）前記操作入力が前記コンポーネントに対するものであるか否かを判定するステップと、
    ｆ）前記操作入力が前記コンポーネントに対するものである場合には、前記コンポーネントを用いて前記第２の操作画面を更新表示するステップと、
    を実行させるためのプログラム。

Images