JP2019096025A - 画像処理システム、ユーザインタフェースの提供方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】２つの画面を並べて表示する際の操作性を従来よりも向上させる。【解決手段】アイコン７Ａ１１〜７Ａ１４が配置される画面７Ａ１とアイコン７Ｄ１１〜７Ｄ１３が配置される画面７Ｄ１とを並べてディスプレイに表示させる。アイコン７Ａ１１〜７Ａ１４およびアイコン７Ｄ１１〜７Ｄ１３それぞれから、対応する機能が互いに共通するものを第一の共通アイコンおよび第二の共通アイコンとして検出する。ＭＦＰユニットは、アイコン７Ａ１１〜７Ａ１４のうちのいずれかと第二の共通アイコンとが一連的に操作された場合に、操作されたアイコンと第一の共通アイコンとが一連的に操作されたものとみなして処理を行う。サーバユニットは、アイコン７Ｄ１１〜７Ｄ１３のうちのいずれかと第一の共通アイコンとが一連的に操作された場合に、操作された第二のオブジェクトと第二の共通アイコンとが一連的に操作されたものとみなして処理を行う。【選択図】図１０

Description

本発明は、２つの画面を並べてディスプレイに表示させる技術に関する。

近年、「ＭＦＰ（Multi Function Peripherals）」と呼ばれる画像形成装置が普及している。この画像形成装置には、コピー、スキャン、ファックス、およびボックスなど様々な機能が備わっている。

また、近年、いわゆるスティックパソコンのような、アプリケーションによる汎用性が画像形成装置よりも高くかつ人間の手の大きさくらいの小型なコンピュータが普及し始めている。

普及に伴い、小型なコンピュータを内蔵させることによって画像形成装置を拡張させることが、提案されている。以下、このコンピュータを「拡張コンピュータ」と記載する。画像形成装置と拡張コンピュータとは、互いに独立したシステム（例えば、オペレーティングシステム）を有する。しかし、１台のタッチパネルディスプレイを共用する。

タッチパネルディスプレイに画像形成装置の画面および拡張コンピュータの画面を並べて表示することもあれば、いずれか一方を選択的に切り換えながら表示することもある。

従来、ディスプレイの表示領域を複数に分割しそれぞれに画像を表示する技術として、次のような技術が提案されている。

共通の表示領域内に複数の情報を表示する分割領域を操作するボタンの描画領域上に、表示領域内の分割領域形状に比例した操作エリアを設定し、操作対象となるフレームをこの操作エリアに対応付ける。表示画面のフレーム構成を解析する表示命令解析手段と、表示命令解析手段により解析されたフレームの表示形状に基づいて、フレームの表示比率を保持したボタンの操作エリアを設定する手段を備え、フレームの画面表示形状と同じ形状の操作エリア形状をボタン内に設定する（特許文献１）。

共通の操作ボタンから入力される画面操作情報信号から操作情報検出手段によって、操作に応じた表示情報信号を出力する操作情報検出手段と、画面選択信号によって、表示画面を選択する選択手段と、選択手段において第１の画面操作情報信号以外の画面操作情報信号が選択されている時に、一定時間の間、再度画面選択信号が入力されなかった場合には自動的に第１の画面操作情報信号を選択するように選択手段を制御する時間計測手段とを備える（特許文献２）。

特開平１１−２０３０１２号公報 特開平９−８３８９４号公報

タッチパネルディスプレイに画像形成装置の画面および拡張コンピュータの画面を並べて表示すれば、画像形成装置および拡張コンピュータの両方を１人または２人で同時に操作することができる。

しかし、画像形成装置の画面および拡張コンピュータの画面を並べて表示すると、どちらか一方の画面のみを表示する場合よりも、タッチパネルディスプレイ全体に表示されるアイコンまたはボタンなどのオブジェクトの個数が多くなり、または、個々のオブジェクトのサイズが小さくなる。操作性が悪くなる面もある。

本願発明は、このような課題に鑑み、画像形成装置の画面および拡張コンピュータの画面など２つの画面を並べて表示する際の操作性を従来よりも向上させることを目的とする。

本発明の一形態に係る画像処理システムは、第一の処理手段および第二の処理手段を有する画像処理システムであって、前記第一の処理手段の、複数の第一のオブジェクトが配置される第一の画面と、前記第二の処理手段の、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させる表示制御手段と、前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する、検出手段と、を有し、前記第一の処理手段は、前記複数の第一のオブジェクトのうちのいずれかと前記第二の共通オブジェクトとが一連的に操作された場合に、当該操作された第一のオブジェクトと前記第一の共通オブジェクトとが一連的に操作されたものとみなして処理を行い、前記第二の処理手段は、前記複数の第二のオブジェクトのうちのいずれかと前記第一の共通オブジェクトとが一連的に操作された場合に、当該操作された第二のオブジェクトと前記第二の共通オブジェクトとが一連的に操作されたものとみなして処理を行う。

本発明の他の一形態に係る画像処理システムは、第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べて表示するディスプレイとともに用いられる画像処理システムであって、前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する、検出手段と、前記ディスプレイにおける、前記第一の画面の第一の領域が、当該ディスプレイにおける前記第二の共通オブジェクトの位置まで拡張され、かつ、当該位置に前記第一の共通オブジェクトが配置されているものとして前記第一のソフトウェアによって処理が行われるように、第一の設定を行い、当該ディスプレイにおける、前記第二の画面の第二の領域が、当該ディスプレイにおける当該第一の共通オブジェクトの位置まで拡張され、かつ、当該位置に当該第二の共通オブジェクトが配置されているものとして前記第二のソフトウェアによって処理が行われるように、第二の設定を行う、拡張手段と、を有する。

または、表示制御手段は、上述の処理の代わりに、前記第一の共通オブジェクトおよび前記第二の共通オブジェクトのうちのいずれか一方のみが前記第一の画面および前記第二の画面の両方で共通に用いられる共有オブジェクトとして配置されるように当該第一の画面および当該第二の画面を前記ディスプレイに表示させる処理を行ってもよい。

本発明によると、画像形成装置の画面および拡張コンピュータの画面など２つの画面を並べて表示する際の操作性を従来よりも向上させることができる。

複合機と端末装置およびサーバとの接続の例を示す図である。 複合機のハードウェア構成の例を示す図である。 ＭＦＰユニットのハードウェア構成の例を示す図である。 サーバユニットのハードウェア構成の例を示す図である。 ＭＦＰユニットおよびサーバユニットそれぞれの機能的構成の例を示す図である。 デスクトップ画面の例を示す図である。 画面構成データの例を示す図である。 デスクトップ画面の例を示す図である。 画面構成データの例を示す図である。 連結画面の例を示す図である。 対応関係データの例を示す図である。 拡張サーバ領域の決定の仕方の例を説明するための図である。 拡張ＭＦＰ領域の決定の仕方の例を説明するための図である。 操作応答処理の流れの例を説明するフローチャートである。 拡張サーバ領域へのタッチ操作の例を示す図である。 拡張ＭＦＰ領域へのタッチ操作の例を示す図である。 ボックス画面および連結画面の例を示す図である。 拡張ＭＦＰ領域および拡張サーバ領域の例を示す図である。 アイコンに対するジェスチャの例を示す図である。 ＭＦＰユニットにおける全体的な処理の流れの例を説明するフローチャートである。 サーバユニットにおける全体的な処理の流れの例を説明するフローチャートである。 ダイアログを連結画面に重ねて表示する例を示す図である。 共通アイコンの使い分けの例を説明するための図である。 連結画面の例を示す図である。 ＭＦＰユニットにおける全体的な処理の流れの例を説明するフローチャートである。 サーバユニットにおける全体的な処理の流れの例を説明するフローチャートである。 拡張ＭＦＰ領域およびサーバ領域それぞれの範囲の例を示す図である。 デスクトップ画面の例を示す図である。 サーバ領域の拡張の仕方の変形例を示す図である。

図１は、複合機１と端末装置５Ａおよびサーバ５Ｂとの接続の例を示す図である。図２は、複合機１のハードウェア構成の例を示す図である。図３は、ＭＦＰユニット２のハードウェア構成の例を示す図である。図４は、サーバユニット３のハードウェア構成の例を示す図である。図５は、ＭＦＰユニット２およびサーバユニット３それぞれの機能的構成の例を示す図である。

図１に示す複合機１は、様々な機能を集約した装置であって、一般に「画像形成装置」または「ＭＦＰ（Multi Function Peripherals）」と呼ばれることがある。

複合機１は、通信回線５Ｃを介して端末装置５Ａおよびサーバ５Ｂなどと通信する。通信回線５Ｃとして、インターネット、ＬＡＮ（Local Area Network）回線、または公衆回線などが用いられる。

複合機１は、図２に示すように、ＭＦＰユニット２、サーバユニット３、およびタッチパネルディスプレイ４などによって構成される。

ＭＦＰユニット２は、コピー、ファックス、スキャン、およびボックスなどの機能を有する。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

サーバユニット３は、サーバ機またはパーソナルコンピュータに相当する装置であって、ウェブサーバまたはＦＴＰ（File Transfer Protocol）サーバなどの機能を有する。

サーバユニット３として、組込みコンピュータ（例えば、組込みＬｉｎｕｘ（登録商標）または組込みＷｉｎｄｏｗｓなど）が用いられる。組込みコンピュータは、「組込みコンピュータシステム」または「ビルトインサーバ」などと呼ばれることもある。

タッチパネルディスプレイ４は、ＭＦＰユニット２およびサーバユニット３それぞれの画面を表示する。また、タッチパネルのタッチ面のタッチされた位置の座標を示すデータ（以下、「座標データ」と記載する。）をサーバユニット３へ送信する。

サーバユニット３は、ＭＦＰユニット２の筐体に内蔵されている。タッチパネルディスプレイ４は、ＭＦＰユニット２の上部に設けられている。このように、ＭＦＰユニット２、サーバユニット３、およびタッチパネルディスプレイ４は、一体的に構成されている。

ＭＦＰユニット２、サーバユニット３、およびタッチパネルディスプレイ４は、電源を共用している。しかし、ＭＦＰユニット２のオペレーティングシステムおよびサーバユニット３のオペレーティングシステムは、互いに独立して動作する。

ＭＦＰユニット２およびサーバユニット３それぞれの機能によって基本的なサービスがユーザへ提供される。さらに、これらの機能を組み合わせることによって、応用的なサービスがユーザへ提供される。

画面をタッチパネルディスプレイ４に表示させる処理は、サーバユニット３が行う。つまり、サーバユニット３を操作するための画面だけでなくＭＦＰユニット２を操作するための画面も、タッチパネルディスプレイ４をサーバユニット３が制御することによって表示される。

さらに、座標データも、ＭＦＰユニット２のためのものであってもサーバユニット３のためのものであっても、サーバユニット３を介してタッチパネルディスプレイ４からＭＦＰユニット２へ送信される。そして、座標データは、ＭＦＰユニット２のためのものであれば、サーバユニット３からＭＦＰユニット２へ転送される。

端末装置５Ａは、複合機１のサービスをユーザが受けるためのクライアントである。端末装置５Ａとして、パーソナルコンピュータ、タブレットコンピュータ、またはスマートフォンなどが用いられる。

サーバ５Ｂは、ファイルを保存し、複合機１からの要求に応じて適宜、保存しているファイルを提供する。サーバ５Ｂとして、ファイルサーバまたはクラウドサーバなどが用いられる。

ＭＦＰユニット２は、図３に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、補助記憶装置２０ｄ、ＮＩＣ（Network Interface Card）２０ｅ、モデム２０ｆ、スキャンユニット２０ｇ、プリントユニット２０ｈ、およびフィニッシャ２０ｉなどによって構成される。

ＮＩＣ２０ｅは、サーバユニット３のハブ３０ｆ（図４参照）にケーブルで繋がれており、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルでサーバユニット３と通信する。さらに、ハブ３０ｆを介して複合機１の外部の装置、例えば端末装置５Ａまたはサーバ５Ｂなどと通信することができる。

モデム２０ｆは、ファックス端末との間でＧ３などのプロトコルで画像データをやり取りする。

スキャンユニット２０ｇは、プラテンガラスの上にセットされた用紙に記されている画像を読み取って画像データを生成する。

プリントユニット２０ｈは、スキャンユニット２０ｇによって読み取られた画像のほか、複合機１の外部の装置またはサーバユニット３から受信した画像データに示される画像を用紙に印刷する。

フィニッシャ２０ｉは、プリントユニット２０ｈによって得られた印刷物に対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。

ＣＰＵ２０ａは、ＭＦＰユニット２のメインＣＰＵである。ＲＡＭ２０ｂは、ＭＦＰユニット２のメインメモリである。ＲＡＭ２０ｂとして、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate Secure Digital Synchronous Dynamic Random Access Memory）のようなＳＤＲＡＭが用いられる。後述するＲＡＭ３０ｂ（図４参照）も、同様である。

ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、オペレーティングシステムのほか、上述のコピーなどの機能を実現したりサービスを提供したりするためのアプリケーションが記憶されている。さらに、第一の連携プログラム２０Ｐ（図５参照）が記憶されている。第一の連携プログラム２０Ｐは、サーバユニット３の画面とともにＭＦＰユニット２の画面をディスプレイモジュール４Ａに表示するためのプログラムである。

これらのプログラムは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。補助記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。

サーバユニット３は、図４に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、補助記憶装置３０ｄ、ＮＩＣ３０ｅ、ハブ３０ｆ、ビデオボード３０ｇ、およびホストアダプタ３０ｈなどによって構成される。

ＮＩＣ３０ｅは、ハブ３０ｆにケーブルで繋がれており、ハブ３０ｆを介してＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２のほか、複合機１の外部の装置と通信する。

ハブ３０ｆには、上述の通り、ＮＩＣ３０ｅおよびＭＦＰユニット２のＮＩＣ２０ｅがケーブルで繋がれている。さらに、ルータにケーブルで繋がれている。そして、ハブ３０ｆは、これらの機器の間でやり取りされるデータを中継する。

ビデオボード３０ｇは、タッチパネルディスプレイ４のディスプレイモジュール４Ａ（図２参照）とケーブルで繋がれており、画面を表示するための映像信号を生成しディスプレイモジュール４Ａへ送信する。ビデオボード３０ｇは、「グラフィックボード」または「ビデオカード」などと呼ばれることもある。ビデオボード３０ｇおよびディスプレイモジュール４Ａのインタフェースの規格として、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）またはＤ−ＳＵＢ（D-Subminiature）などが用いられる。

ホストアダプタ３０ｈは、タッチパネルディスプレイ４のタッチパネルモジュール４Ｂとケーブルで繋がれており、座標データをタッチパネルモジュール４Ｂから受信する。ホストアダプタ３０ｈとタッチパネルモジュール４Ｂとのインタフェースの規格として、ＵＳＢ（Universal Serial Bus）またはＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４などが用いられる。

ＣＰＵ３０ａは、サーバユニット３のメインＣＰＵである。ＲＡＭ３０ｂは、サーバユニット３のメインメモリである。

ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、オペレーティングシステムのほか、上述の機能を実現しまたはサービスを提供するためのアプリケーションなどのプログラムが記憶されている。さらに、第二の連携プログラム３０Ｐ（図５参照）が記憶されている。第二の連携プログラム３０Ｐは、ＭＦＰユニット２の画面とともにサーバユニット３の画面をディスプレイモジュール４Ａに表示するためのプログラムである。

これらのプログラムは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。補助記憶装置３０ｄとして、ハードディスクまたはＳＳＤなどが用いられる。

タッチパネルディスプレイ４は、図２に示すように、ディスプレイモジュール４Ａおよびタッチパネルモジュール４Ｂなどによって構成される。

ディスプレイモジュール４Ａは、サーバユニット３から送信されてきた映像信号に基づいて画面を表示する。ディスプレイモジュール４Ａとして、有機ＥＬ（Electro Luminescence）ディスプレイまたは液晶ディスプレイなどのフラットパネルディスプレイが用いられる。

タッチパネルモジュール４Ｂは、タッチ面がタッチされたことを検知するごとに、タッチされた位置の座標を示す座標データをサーバユニット３へ送信する。

次に、第一の連携プログラム２０ＰによってＭＦＰユニット２に実現される機能および第二の連携プログラム３０Ｐによってサーバユニット３に実現される機能を、図５などを参照しながら説明する。

第一の連携プログラム２０Ｐによると、図５に示す画面構成データ記憶部２０１、画面描画部２０２、画面構成データ送信部２０３、およびジョブ判別部２０４などがＭＦＰユニット２に実現される。

第二の連携プログラム３０Ｐによると、図５に示す画面構成データ記憶部３０１、画面描画部３０２、画面連結部３０３、対応関係記憶部３２１、共通アイコン検出部３２２、操作領域拡張部３２３、拡張結果通知部３２４、操作応対部３２５、およびジョブ判別部３２６などがサーバユニット３に実現される。

以下、ＭＦＰユニット２の各部およびサーバユニット３の各部の処理を、ディスプレイモジュール４Ａに画面を表示するための処理およびタッチパネルモジュール４Ｂへのタッチに応答するための処理に大別して説明する。

〔ディスプレイモジュール４Ａに画面を表示するための処理〕
図６は、デスクトップ画面７Ａ１の例を示す図である。図７は、画面構成データ６Ａ１の例を示す図である。図８は、デスクトップ画面７Ｄ１の例を示す図である。図９は、画面構成データ６Ｄ１の例を示す図である。図１０は、連結画面７Ｈ１の例を示す図である。

ＭＦＰユニット２の画面構成データ記憶部２０１には、ユーザがＭＦＰユニット２を操作するための画面であるＭＦＰ画面７Ａごとに、ＭＦＰ画面７Ａを構成するオブジェクトごとの配置などを示す画面構成データ６Ａが予め記憶されている。さらに、オブジェクトごとの画像データ６Ｃが予め記憶されている。なお、ＭＦＰ画面７Ａのサイズは予め決められており、タッチパネルモジュール４Ｂを左右に２等分したサイズである。後述するサーバ画面７Ｄのサイズも、同様である。

例えば、図６のようなデスクトップ画面７Ａ１の画面構成データ６Ａとして、図７のような画面構成データ６Ａ１が画面構成データ記憶部２０１に記憶されている。デスクトップ画面７Ａ１は、ＭＦＰユニット２のオペレーティングシステムのデスクトップのＭＦＰ画面７Ａである。デスクトップ画面７Ａ１には、オブジェクトとして４つのアイコン７Ａ１１〜７Ａ１４が配置されている。

アイコン７Ａ１１は、ある書類を再現するための書類ファイルのアイコンである。アイコン７Ａ１２は、あるボックスのアイコンである。アイコン７Ａ１２がダブルタップされると、そのボックスに保存されているファイルの一覧を示すウィンドウがディスプレイモジュール４Ａに表示される。つまり、そのボックスがオープンする。

アイコン７Ａ１３は、ゴミ箱機能のアイコンである。ゴミ箱機能は、ファイルおよびボックスを削除する機能である。アイコン７Ａ１３の上にファイルまたはボックスのアイコンがドラッグアンドドロップされると、そのファイルまたはボックスが削除される。

アイコン７Ａ１４は、ローカルプリント機能のアイコンである。「ローカルプリント機能」は、ボックスまたはデスクトップに保存されているファイルに示される書類などの画像を印刷する機能である。アイコン７Ａ１４の上に書類ファイルまたは画像ファイルのアイコンがドラッグアンドドロップされると、そのファイルに示される書類などの画像がプリントユニット２０ｈによって用紙に印刷される。アイコン７Ａ１４の上にボックスのアイコンをドラッグアンドドロップすることもできる。すると、そのボックスに格納されている書類ファイルまたは画像ファイルに示される書類などの画像がプリントユニット２０ｈによって用紙に印刷される。

画面構成データ６Ａ１には、図７に示すように、デスクトップ画面７Ａ１のオブジェクトごとのオブジェクトデータ６Ｂが含まれている。つまり、オブジェクトデータ６Ｂとして、アイコン７Ａ１１〜７Ａ１４それぞれのオブジェクトデータ６Ｂ１〜６Ｂ４が含まれている。オブジェクトデータ６Ｂには、それに対応するオブジェクトの情報として、オブジェクト名、第一の属性コード、および位置などの情報が示されている。

「オブジェクト名」は、そのオブジェクトの名称である。「第一の属性コード」は、そのオブジェクトの属性を識別するコードである。そのオブジェクトが、あるファイルのアイコンである場合は、そのファイルの種類を識別するコードが第一の属性コードとして示される。または、そのオブジェクトが、ある機能である場合は、その機能を識別するコードが第一の属性コードとして示される。

「０１２３ｈ」は、テキストファイルまたはワープロ用のアプリケーションに対応するフォーマットのバイナリファイルなど書類を再現するための書類ファイルを表わすコードである。「１０００ｈ」は、ボックスを表わすコードである。「０００Ａｈ」は、ゴミ箱機能を表わすコードである。「０００１ｈ」は、ローカルプリント機能を表わすコードである。

「位置」は、デスクトップ画面７Ａ１における、そのオブジェクトの位置である。本例では、そのオブジェクトの位置として、そのオブジェクトを囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。

そのほか、オブジェクトデータ６Ｂには、そのオブジェクトに対応付けられているファイルのファイル名またはそのオブジェクトに対応付けられているアプリケーションの識別子などが必要に応じて示される。

なお、画面構成データ６Ａは、アイコンが移動し、削除され、または追加されるごとに、更新される。

さらに、デスクトップ画面７Ａ１を構成するオブジェクトつまりアイコン７Ａ１１〜７Ａ１４それぞれの画像データ６Ｃ１〜６Ｃ４が画像データ６Ｃとして画面構成データ記憶部２０１に記憶されている。画像データ６Ｃのフォーマットとして、ＧＩＦ（Graphics Interchange Format）またはＪＰＥＧ（Joint Photographic Experts Group）などが用いられる。後述する画像データ６Ｆも、同様である。

サーバユニット３の画面構成データ記憶部３０１には、ユーザがサーバユニット３を操作するための画面であるサーバ画面７Ｄごとに、サーバ画面７Ｄを構成するオブジェクトごとの配置などを示す画面構成データ６Ｄが予め記憶されている。さらに、オブジェクトごとの画像データ６Ｆが予め記憶されている。

例えば、図８のようなデスクトップ画面７Ｄ１の画面構成データ６Ｄとして、図９のような画面構成データ６Ｄ１が画面構成データ記憶部３０１に記憶されている。デスクトップ画面７Ｄ１は、サーバユニット３のオペレーティングシステムのデスクトップのサーバ画面７Ｄである。デスクトップ画面７Ｄ１には、オブジェクトとして３つのアイコン７Ｄ１１〜７Ｄ１３が配置されている。

アイコン７Ｄ１１は、ある書類の書類ファイルのアイコンである。アイコン７Ｄ１１がダブルタップされると、その書類ファイルがワープロ用のアプリケーションなど所定のアプリケーションによってオープンし、その書類がディスプレイモジュール４Ａに表示される。

アイコン７Ｄ１２は、ウェブブラウザ機能のアイコンである。アイコン７Ｄ１２がダブルタップされると、ウェブブラウザが起動する。

アイコン７Ｄ１３は、ネットワークプリント機能のアイコンである。「ネットワークプリント機能」は、フォルダまたはデスクトップに保存されているファイルに示される書類などの画像をＭＦＰユニット２のプリントユニット２０ｈに印刷させる機能である。アイコン７Ｄ１３の上に書類ファイルまたは画像ファイルのアイコンがドラッグアンドドロップされると、そのファイルに示される書類などの画像がプリントユニット２０ｈによって用紙に印刷される。

画面構成データ６Ｄ１には、図９に示すように、デスクトップ画面７Ｄ１のオブジェクトごとのオブジェクトデータ６Ｅが含まれている。つまり、オブジェクトデータ６Ｅとして、アイコン７Ｄ１１〜７Ｄ１３ごとのオブジェクトデータ６Ｅ１〜６Ｅ３が含まれている。オブジェクトデータ６Ｅには、それに対応するオブジェクトの情報として、オブジェクト名、第二の属性コード、および位置などの情報が示されている。

「オブジェクト名」は、そのオブジェクトの名称である。「第二の属性コード」は、第一の属性コードと同様に、そのオブジェクトの属性を識別するコードである。つまり、そのオブジェクトが、あるファイルのアイコンである場合は、そのファイルの種類を識別するコードが第二の属性コードとして示される。または、そのオブジェクトが、ある機能である場合は、その機能を識別するコードが第二の属性コードとして示される。

ただし、第二の属性コードの定義の仕方は、第一の属性コードの定義の仕方と共通していなくても構わない。つまり、ＭＦＰユニット２およびサーバユニット３それぞれ独自に第一の属性コードまたは第二の属性コードを定義してもよい。オブジェクト名も同様に、それぞれ独自に付けることができる。

「１２１２ｈ」は、書類ファイルを表わすコードである。「８００１ｈ」は、ウェブブラウザ機能を表わすコードである。「０００２ｈ」は、ネットワークプリント機能を表わすコードである。

「位置」は、デスクトップ画面７Ｄ１における、そのオブジェクトの位置である。本例では、そのオブジェクトの位置として、そのオブジェクトを囲むことができる最小の矩形の４つの頂点それぞれの座標が示される。

そのほか、オブジェクトデータ６Ｅには、そのオブジェクトに対応付けられているファイルのファイル名またはそのオブジェクトに対応付けられているアプリケーションの識別子などが必要に応じて示される。

なお、画面構成データ６Ｄは、アイコンが移動し、削除され、または追加されるごとに、更新される。

さらに、デスクトップ画面７Ｄ１を構成するオブジェクトつまりアイコン７Ｄ１１〜７Ｄ１３それぞれの画像データ６Ｆ１〜６Ｆ３が画像データ６Ｆとして画面構成データ記憶部３０１に記憶されている。

画面描画部２０２は、ＭＦＰ画面７Ａをディスプレイモジュール４Ａに表示させるための、ビットマップデータであるＭＦＰ画面データ６ＧＡを、そのＭＦＰ画面７Ａの画面構成データ６ＡおよびそのＭＦＰ画面７Ａを構成するオブジェクトそれぞれの画像データ６Ｃに基づいて生成する。そして、生成したＭＦＰ画面データ６ＧＡをサーバユニット３へ送信する。

なお、これらの画面構成データ６Ａおよび画像データ６Ｃは、画面構成データ記憶部２０１から読み出される。ＭＦＰ画面７Ａの中の、オブジェクトが配置されない部分すなわち余白には、予め設定されている色の画素を配置すればよい。

画面描画部３０２は、サーバ画面７Ｄをディスプレイモジュール４Ａに表示させるための、ビットマップデータであるサーバ画面データ６ＧＤを、そのサーバ画面７Ｄの画面構成データ６Ｄおよびそのサーバ画面７Ｄを構成するオブジェクトそれぞれの画像データ６Ｆに基づいて生成する。

なお、これらの画面構成データ６Ｄおよび画像データ６Ｆは、画面構成データ記憶部３０１から読み出される。サーバ画面７Ｄの中の余白には、予め設定されている色の画素を配置すればよい。

画面連結部３０３は、ＭＦＰユニット２から送信されてきた最新のＭＦＰ画面データ６ＧＡおよび画面描画部３０２によって生成された最新のサーバ画面データ６ＧＤに基づいて、連結画面７Ｈの画面データ６Ｈを生成し、ビデオボード３０ｇへ送信する。

連結画面７Ｈは、ディスプレイモジュール４Ａの表示面の全体に表示され、Ｘ軸方向の長さつまり横幅がＷａであり、Ｙ軸方向の長さつまり高さがＨａである（図１０参照）。また、連結画面７Ｈは、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤの２つの領域によって構成される。ＭＦＰ領域７ＨＡは、左側の領域であって、ＭＦＰ画面７Ａに相当し、ＭＦＰ画面データ６ＧＡに基づいている。横幅は、Ｗｂである。サーバ領域７ＨＤは、右側の領域であって、サーバ画面７Ｄに相当し、サーバ画面データ６ＧＤに基づいている。つまり、連結画面７Ｈは、ＭＦＰ画面７Ａおよびサーバ画面７Ｄが左右に並んだものであると、言える。

画面連結部３０３によると、例えば、そのＭＦＰ画面データ６ＧＡがデスクトップ画面７Ａ１（図６参照）のものであり、そのサーバ画面データ６ＧＤがデスクトップ画面７Ｄ１（図８参照）のものである場合は、図１０のような連結画面７Ｈ１の画面データ６Ｈ１が画面データ６Ｈとして生成される。連結画面７Ｈ１には、デスクトップ画面７Ａ１のオブジェクトおよびデスクトップ画面７Ｄ１のオブジェクトと同じものが配置される。すなわち、アイコン７Ａ１１〜７Ａ１４およびアイコン７Ｄ１１〜７Ｄ１３が配置される。

ビデオボード３０ｇは、画面データ６Ｈを映像信号６Ｊに変換し、ディスプレイモジュール４Ａへ送信する。

そして、ディスプレイモジュール４Ａは、映像信号６Ｊに基づいて連結画面７Ｈを表示する。

画面構成データ送信部２０３は、画面描画部２０２によってＭＦＰ画面７ＡのＭＦＰ画面データ６ＧＡが生成される際に、そのＭＦＰ画面７Ａの画面構成データ６Ａをサーバユニット３へ送信する。この画面構成データ６Ａは、後述するように、サーバユニット３において共通アイコン検出部３２２および操作領域拡張部３２３それぞれによって用いられる。

〔タッチパネルモジュール４Ｂへのタッチに応答するための処理〕
図１１は、対応関係データ６Ｋの例を示す図である。図１２は、拡張サーバ領域７ＨＤａの決定の仕方の例を説明するための図である。図１３は、拡張ＭＦＰ領域７ＨＡａの決定の仕方の例を説明するための図である。図１４は、操作応答処理の流れの例を説明するフローチャートである。図１５は、拡張サーバ領域７ＨＤａへのタッチ操作の例を示す図である。図１６は、拡張ＭＦＰ領域７ＨＡａへのタッチ操作の例を示す図である。図１７は、ボックス画面７Ａ２および連結画面７Ｈ２の例を示す図である。図１８は、拡張ＭＦＰ領域７ＨＡａおよび拡張サーバ領域７ＨＤａの例を示す図である。図１９は、アイコン７Ｄ１１に対するジェスチャの例を示す図である。

対応関係記憶部３２１には、図１１に示すような対応関係データ６Ｋが予め記憶されている。対応関係データ６Ｋは、ＭＦＰユニット２の機能およびサーバユニット３の機能のうちの共通する２つの機能それぞれの第一の属性コードおよび第二の属性コードを互いに対応付けてペアとして示している。

ローカルプリント機能およびネットワークプリント機能は、画像をプリントユニット２０ｈによって印刷する点で共通する。そこで、対応関係データ６Ｋには、ローカルプリント機能の第一の属性コードである「０００１ｈ」およびネットワークプリント機能の第二の属性コードである「０００２ｈ」が互いに対応付けられて示されている。

共通アイコン検出部３２２は、ディスプレイモジュール４Ａに現在表示されている連結画面７ＨのＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤから、共通する２つの機能それぞれのアイコンを共通アイコンとして検出する。以下、連結画面７Ｈ１が表示されている場合を例に説明する。

前述の通り、デスクトップ画面７Ａ１の画面構成データ６Ａつまり画面構成データ６Ａ１（図７参照）が、ＭＦＰユニット２からサーバユニット３に送信されてくる。

共通アイコン検出部３２２は、デスクトップ画面７Ｄ１の画面構成データ６Ｄつまり画面構成データ６Ｄ１（図９参照）を画面構成データ記憶部３０１から読み出す。さらに、対応関係データ６Ｋ（図１１参照）を対応関係記憶部３２１から読み出す。対応関係データ６Ｋに１つ目のペアとして示される第一の属性コードおよび第二の属性コードに注目する。そして、その第一の属性コードを示すオブジェクトデータ６Ｂを画面構成データ６Ａ１の中から検索するとともに、その第二の属性コードを示すオブジェクトデータ６Ｅを画面構成データ６Ｄ１の中から検索する。

そして、そのようなオブジェクトデータ６Ｂおよびオブジェクトデータ６Ｅが見つかったら、共通アイコン検出部３２２は、それぞれに係るアイコンを１組の共通アイコンとして検出する。

例えば、対応関係データ６Ｋには、１つ目のペアの第一の属性コードおよび第二の属性コードとして、それぞれ「０００１ｈ」および「０００２ｈ」が示される。そこで、共通アイコン検出部３２２は、「０００１ｈ」を第一の属性コードとして示すオブジェクトデータ６Ｂおよび「０００２ｈ」を第二の属性コードとして示すオブジェクトデータ６Ｅを検索する。すると、オブジェクトデータ６Ｂ４およびオブジェクトデータ６Ｅ３が見つかる。そこで、共通アイコン検出部３２２は、オブジェクトデータ６Ｂ４に係るアイコンつまりアイコン７Ａ１４およびオブジェクトデータ６Ｅ３に係るアイコンつまりアイコン７Ｄ１３を１組の共通アイコンとして検出する。

共通アイコン検出部３２２は、２つ目以降のペアについても同様に、そのペアの第一の属性コードおよび第二の属性コードに注目し、共通アイコンの検出を試みる。

以下、共通アイコン検出部３２２による処理の結果、共通アイコンとしてアイコン７Ａ１４およびアイコン７Ｄ１３のペアのみが検出された場合を例に説明する。

操作領域拡張部３２３は、共通アイコン検出部３２２によって検出された共通アイコンに基づいて、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤそれぞれを拡張する。サーバ領域７ＨＤは、次のように拡張される。

操作領域拡張部３２３は、サーバ領域７ＨＤに配置されているアイコン７Ｄ１１〜７Ｄ１３の中から、共通アイコンとして検出されたアイコンつまりアイコン７Ｄ１３へドラッグアンドドロップすることができるアイコンを適用可能アイコンとして選出する。

適用可能アイコンは、サーバユニット３のオペレーティングシステムに問い合わせることによって選出することができる。または、アイコン７Ｄ１１〜７Ｄ１３ごとに、それへドラッグアンドドロップすることができるアイコンに係る属性コードをデータベースなどによって予め定義しておいてもよい。そして、このデータベースに基づいて選出すればよい。以下、アイコン７Ｄ１１が適用可能アイコンとして選出された場合を例に説明する。

操作領域拡張部３２３は、もう一方の共通アイコンすなわちアイコン７Ａ１４と選出した適用可能アイコンすなわちアイコン７Ｄ１１とを、図１２（Ａ）のように帯７ＤＬで結ぶ。

そして、操作領域拡張部３２３は、サーバ領域７ＨＤを、図１２（Ｂ）に太線で示すように、ＭＦＰ領域７ＨＡの中のアイコン７Ａ１４が配置される領域および帯７ＤＬが配置される領域まで拡張する。帯７ＤＬの太さは、例えば、アイコン７Ａ１４およびアイコン７Ｄ１１の両方が内接する太さまたはそれよりも少し太い。以下、拡張後のサーバ領域７ＨＤを「拡張サーバ領域７ＨＤａ」と記載する。拡張サーバ領域７ＨＤａは、操作応対部３２５およびジョブ判別部３２６において用いられる。これについては、後述する。

ＭＦＰ領域７ＨＡを拡張する方法も基本的に、サーバ領域７ＨＤを拡張する方法と同様である。

すなわち、操作領域拡張部３２３は、ＭＦＰ領域７ＨＡに配置されているアイコン７Ａ１１〜７Ａ１４の中から、共通アイコンとして検出されたアイコンつまりアイコン７Ａ１４へドラッグアンドドロップすることができるアイコンを適用可能アイコンとして選出する。

適用可能アイコンは、ＭＦＰユニット２のオペレーティングシステムに問い合わせることによって選出することができる。または、アイコン７Ａ１１〜７Ａ１４ごとに、それへドラッグアンドドロップすることができるアイコンに係る属性コードをデータベースなどによって予め定義しておいてもよい。そして、このデータベースに基づいて選出すればよい。以下、アイコン７Ａ１１およびアイコン７Ａ１２が適用可能アイコンとして選出された場合を例に説明する。

操作領域拡張部３２３は、もう一方の共通アイコンすなわちアイコン７Ｄ１３を、選出した適用可能アイコンすなわちアイコン７Ａ１１およびアイコン７Ａ１２それぞれと、図１３（Ａ）のように帯７ＡＬ１、７ＡＬ２で結ぶ。

そして、操作領域拡張部３２３は、ＭＦＰ領域７ＨＡを、図１３（Ｂ）に太線で示すように、サーバ領域７ＨＤの中のアイコン７Ｄ１３が配置される領域、帯７ＡＬ１が配置される領域、および帯７ＡＬ２が配置される領域まで拡張する。帯７ＡＬ１の太さは、例えば、アイコン７Ｄ１３およびアイコン７Ａ１１の両方が内接する太さまたはそれよりも少し太い。帯７ＡＬ２の太さは、例えば、アイコン７Ｄ１３およびアイコン７Ａ１２の両方が内接する太さまたはそれよりも少し太い。

以下、拡張後のＭＦＰ領域７ＨＡを「拡張ＭＦＰ領域７ＨＡａ」と記載する。操作領域拡張部３２３の処理によって、アイコン７Ｄ１３が拡張ＭＦＰ領域７ＨＡａに所属するようになる。

なお、複数のペアが共通アイコン検出部３２２によって検出された場合は、操作領域拡張部３２３は、各ペアに基づいて上述の方法によってＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤを拡張する。

ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤが拡張したら、画面連結部３０３は、拡張した部分を変色させるなどして連結画面７Ｈ１を生成し直してもよい。または、拡張しても連結画面７Ｈ１の外観に変化が現われないようにしてもよい。

拡張結果通知部３２４は、拡張結果データ６ＬをＭＦＰユニット２へ送信する。拡張結果データ６Ｌには、拡張ＭＦＰ領域７ＨＡａの形状およびサイズが示される。さらに、拡張ＭＦＰ領域７ＨＡａにおけるアイコン７Ｄ１３の位置の座標、および、アイコン７Ｄ１３とペアになっているアイコンすなわちアイコン７Ａ１４の位置の座標が示される。なお、アイコン７Ｄ１１〜７Ｄ１３のうちの複数が共通アイコン検出部３２２によって共通アイコンとして検出された場合は、検出されたアイコンごとの、拡張ＭＦＰ領域７ＨＡａにおける位置の座標、および、それぞれとペアになっているアイコンの位置の座標が示される。

ユーザは、連結画面７Ｈ１に配置されているオブジェクトつまりアイコン７Ａ１１〜７Ａ１４およびアイコン７Ｄ１１〜７Ｄ１３のうちのいずれかを操作することによって、自分の所望する処理の指令をＭＦＰユニット２またはサーバユニット３に与えることができる。以下、アイコン７Ａ１１〜７Ａ１４およびアイコン７Ｄ１１〜７Ｄ１３を「デスクトップアイコン」と総称する。

連結画面７Ｈ１には、上述の通り、デスクトップ画面７Ａ１およびデスクトップ画面７Ｄ１が並んでいる。つまり、ＭＦＰ画面７Ａおよびサーバ画面７Ｄが並んでいる。したがって、ユーザが行った操作がＭＦＰユニット２に対して指令を与えるためのものなのか、サーバユニット３に対して指令を与えるためのものなのかを判別しなければならない。そして、判別結果に応じて、操作の内容をＭＦＰユニット２およびサーバユニット３のいずれかに振り分けなければならない。判別の処理および振分の処理は、操作応対部３２５によって、例えば図１４に示す手順で行われる。

ユーザがタッチパネルモジュール４Ｂのタッチ面をタッチすると、タッチされた位置の座標を示す座標データ６Ｍがタッチパネルモジュール４Ｂからサーバユニット３に送信される。タッチ面がタッチされている間、定期的に、例えば、０．１秒ごとに座標データ６Ｍが送信される。

サーバユニット３において、座標データ６Ｍが受信され始めると、操作応対部３２５は、１番目の座標データ６Ｍに示される座標がＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤのいずれかの位置を示すものであるのかを判別する（図１４の＃７０１）。つまり、最初にタッチされた位置がＭＦＰ領域７ＨＡに属するのかサーバ領域７ＨＤに属するのかを判別する。

サーバ領域７ＨＤに属すると判別した場合は（＃７０２でＹｅｓ）、操作応対部３２５は、ユーザがサーバユニット３に対して指令を与えるための操作を始めたと判別する（＃７０３）。そして、座標データ６Ｍに示される座標を補正してジョブ判別部３２６へ通知し始める（＃７０４）。具体的には、座標データ６Ｍが受信されるごとに、それに示される座標を補正してジョブ判別部３２６へ通知する。

つまり、座標データ６Ｍに示される座標は、タッチパネルモジュール４Ｂのタッチ面の座標系における座標であって、サーバ領域７ＨＤの基の画面であるデスクトップ画面７Ｄ１の座標系における座標ではない。そこで、操作応対部３２５は、座標データ６Ｍに示される座標をデスクトップ画面７Ｄ１の座標系の座標に補正してジョブ判別部３２６へ通知する。本例では、デスクトップ画面７Ｄ１の原点は、タッチパネルモジュール４Ｂのタッチ面の原点からＸ軸方向へＷｂずれている。そこで、操作応対部３２５は、座標データ６Ｍに示される座標をＸ軸方向の反対方向へＷｂずらしてジョブ判別部３２６へ通知する。例えば、座標データ６Ｍに示される座標が（Ｘ１，Ｙ１）であれば、（（Ｘ１−Ｗｂ），Ｙ１）をジョブ判別部３２６へ通知する。

さらに、操作応対部３２５は、座標データ６Ｍに基づいて、タッチされる位置がＭＦＰ領域７ＨＡとサーバ領域７ＨＤとの境界を越えたかどうかを監視し始める（＃７０５）。

座標データ６Ｍが受信されなくなったら、つまり、タッチによる操作が終了したら（＃７０６でＹｅｓ）、操作応対部３２５は、ジョブ判別部３２６への座標の通知を終了する（＃７１０）。

なお、ダブルタップまたはトリプルタップのように、タッチ面から指が離れるジェスチャがある。このようなジェスチャが行われた際は、タッチによる操作を終了していないにも関わらず、わずかな時間、座標データ６Ｍが受信されなく。そこで、操作応対部３２５は、座標データ６Ｍが受信されない時間が所定の時間例えば０．５秒を超えない間は、タッチによる操作が継続しているとみなし、所定の時間以上、座標データ６Ｍが受信されなくなったら、タッチによる操作が終了したと判別するようにしてもよい。所定の時間は、任意に設定することができる。後述するステップ＃７１４においても、同様である。

操作応対部３２５は、タッチによる操作の最中に（＃７０６でＮｏ）、タッチされる位置がＭＦＰ領域７ＨＡとサーバ領域７ＨＤとの境界を越えたことを検知したら（＃７０７でＹｅｓ）、その位置が拡張サーバ領域７ＨＤａに属するのであれば（＃７０８でＹｅｓ）、ジョブ判別部３２６への座標の通知を継続する（＃７０９）。しかし、その位置が拡張サーバ領域７ＨＤａに属さなければ（＃７０８でＮｏ）、ジョブ判別部３２６への座標の通知を終了する（＃７１０）。

一方、最初にタッチされた位置がＭＦＰ領域７ＨＡに属すると判別した場合は（＃７０２でＮｏ）、操作応対部３２５は、ユーザがＭＦＰユニット２に対して指令を与えるための操作を始めたと判別する（＃７１１）。そして、タッチされた位置の座標をＭＦＰユニット２へ通知し始める（＃７１２）。具体的には、座標データ６Ｍが受信されるごとに、座標データ６Ｍをジョブ判別部３２６へ転送し始める。

ところで、座標データ６Ｍに示される座標は、上述の通り、タッチパネルモジュール４Ｂのタッチ面の座標系における座標である。ところが、ＭＦＰ領域７ＨＡの基の画面であるデスクトップ画面７Ａ１の座標系における座標ではない。しかし、タッチ面の原点とデスクトップ画面７Ａ１の原点は、共通である。そこで、操作応対部３２５は、座標データ６Ｍを補正することなくＭＦＰユニット２に転送すればよい。なお、原点が一致しない場合は、座標データ６Ｍを補正してＭＦＰユニット２に転送すればよい。

さらに、操作応対部３２５は、座標データ６Ｍに基づいて、タッチされる位置がＭＦＰ領域７ＨＡとサーバ領域７ＨＤとの境界を越えたかどうかを監視し始める（＃７１３）。

座標データ６Ｍが受信されなくなったら、つまり、タッチによる操作が終了したら（＃７１４でＹｅｓ）、操作応対部３２５は、ＭＦＰユニット２への座標データ６Ｍの転送を終了する（＃７１８）。

タッチによる操作の最中に（＃７１４でＮｏ）、タッチされる位置がＭＦＰ領域７ＨＡとサーバ領域７ＨＤとの境界を越えたことを検知したら（＃７１５でＹｅｓ）、操作応対部３２５は、その位置が拡張ＭＦＰ領域７ＨＡａに属するのであれば（＃７１６でＹｅｓ）、ＭＦＰユニット２への座標データ６Ｍの転送を継続する（＃７１７）。しかし、その位置が拡張ＭＦＰ領域７ＨＡａに属さなければ（＃７１６でＮｏ）、転送を終了する（＃７１８）。

ジョブ判別部３２６は、操作応対部３２５から通知される座標に基づいて、サーバユニット３において実行すべきジョブを判別する。ここで、判別の例を２つ挙げる。

図１５（Ａ）のようにユーザがアイコン７Ｄ１１をダブルタップすると、アイコン７Ｄ１１（図１０参照）の位置の座標が１回または数回連続して通知され、座標が約０．５秒間通知されなくなり、再びアイコン７Ｄ１１の位置の座標が１回または数回連続して通知される。

このような場合は、ジョブ判別部３２６は、アイコン７Ｄ１１がダブルタップされたと認識する。通知された座標の位置に配置されているオブジェクトがアイコン７Ｄ１１であることは、画面構成データ６Ｄ１（図９参照）に含まれているオブジェクトデータ６Ｅに基づいて判別することができる。そして、実行すべきジョブを、そのアイコン７Ｄ１１に対応する書類ファイルをオープンするジョブであると判別する。

または、図１５（Ｂ）のようにユーザがアイコン７Ｄ１１をアイコン７Ａ１４にドラッグアンドドロップすると、通知される座標がアイコン７Ｄ１１（図１０参照）の位置の座標からアイコン７Ａ１４の座標へ向かって連続的に変化し、アイコン７Ｄ１１の位置の座標になる。そして、座標が通知されなくなる。

このような場合は、ジョブ判別部３２６は、アイコン７Ｄ１１がアイコン７Ａ１４にドラッグアンドドロップされたと認識する。

アイコン７Ａ１４は、デスクトップ画面７Ｄ１には存在しないが拡張サーバ領域７ＨＤａに存在する。つまり、拡張サーバ領域７ＨＤａのうちの拡張した部分に存在する。ジョブ判別部３２６は、このような場合に、デスクトップ画面７Ｄ１に配置されているアイコンつまりアイコン７Ｄ１１〜７Ｄ１４のうちの、アイコン７Ａ１４とともに共通アイコンとして共通アイコン検出部３２２によって検出されたアイコンを選出する。そして、選出したアイコンの上にアイコン７Ｄ１１がドラッグアンドドロップされたものとみなして、実行すべきジョブを判別する。本例では、アイコン７Ｄ１３を選出し、アイコン７Ｄ１３の上にアイコン７Ｄ１１がドラッグアンドドロップされたものとみなす。そして、実行すべきジョブを、そのアイコン７Ｄ１１に対応する書類ファイルをネットワークプリント機能によって印刷するジョブであると判別する。

そして、サーバユニット３において、実行すべきであるとジョブ判別部３２６によって判別されたジョブが実行される。その結果、図１５（Ａ）で説明した例の場合は、アイコン７Ｄ１１に対応する書類ファイルが所定のアプリケーションによってオープンされる。または、図１５（Ｂ）で説明した例の場合は、アイコン７Ｄ１１に対応する書類ファイルに示される書類がネットワークプリント機能によって印刷される。

ＭＦＰユニット２において、ジョブ判別部２０４は、サーバユニット３から受信した座標データ６Ｍに示される座標に基づいて、ＭＦＰユニット２において実行すべきジョブを判別する。ここで、判別の例を２つ挙げる。

図１６（Ａ）のようにユーザがアイコン７Ａ１１をアイコン７Ａ１３にドラッグアンドドロップすると、座標データ６Ｍに示される座標がアイコン７Ｄ１１の位置の座標からアイコン７Ａ１３の座標へ向かって連続的に変化し、アイコン７Ｄ１３の位置の座標になる。そして、座標データ６Ｍが受信されなくなる。

このような場合は、ジョブ判別部２０４は、アイコン７Ａ１１がアイコン７Ａ１３にドラッグアンドドロップされたと認識する。

図１６（Ｂ）のようにユーザがアイコン７Ａ１１をアイコン７Ｄ１３にドラッグアンドドロップすると、座標データ６Ｍに示される座標がアイコン７Ａ１１の位置の座標からアイコン７Ｄ１３の座標へ向かって連続的に変化し、アイコン７Ｄ１３の位置の座標になる。そして、座標データ６Ｍが受信されなくなる。

このような場合は、ジョブ判別部２０４は、アイコン７Ａ１１がアイコン７Ｄ１３にドラッグアンドドロップされたと認識する。

アイコン７Ｄ１３は、デスクトップ画面７Ａ１には存在しないが拡張ＭＦＰ領域７ＨＡａに存在する。つまり、拡張ＭＦＰ領域７ＨＡａのうちの拡張した部分に存在する。ジョブ判別部２０４は、このような場合に、デスクトップ画面７Ａ１に配置されているアイコンつまりアイコン７Ａ１１〜７Ａ１４のうちの、アイコン７Ｄ１３とペアになっているアイコンを拡張結果データ６Ｌに基づいて選出する。そして、選出したアイコンの上にアイコン７Ａ１１がドラッグアンドドロップされたものとみなして、実行すべきジョブを判別する。本例では、アイコン７Ａ１４を選出し、アイコン７Ａ１４の上にアイコン７Ａ１１がドラッグアンドドロップされたものとみなす。そして、実行すべきジョブを、そのアイコン７Ａ１１に対応する書類ファイルをローカルプリント機能によって印刷するジョブであると判別する。なお、拡張ＭＦＰ領域７ＨＡａの形状およびサイズは、拡張結果データ６Ｌに示されている。

そして、ＭＦＰユニット２において、実行すべきであるとジョブ判別部２０４によって判別されたジョブが実行される。その結果、図１６（Ａ）で説明した例の場合は、アイコン７Ａ１１に対応する書類ファイルがデスクトップから削除される。または、図１６（Ｂ）で説明した例の場合は、アイコン７Ａ１１に対応する書類ファイルに示される書類がローカルプリント機能によって印刷される。

ところで、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤのうちの少なくとも一方が遷移することがある。例えば、ＭＦＰ領域７ＨＡまたはサーバ領域７ＨＤに配置されるＭＦＰ画面７Ａまたはサーバ画面７Ｄが変わったり、アイコンが移動し、削除され、または追加されたりすることがある。

このような場合は、ＭＦＰユニット２およびサーバユニット３の各部は、上述の処理を適宜、実行し直す。

例えば、ＭＦＰ領域７ＨＡにデスクトップ画面７Ａ１が配置されているときにアイコン７Ａ１２がダブルタップされると、画面描画部２０２は、アイコン７Ａ１２に対応するボックスに保存されているファイルの一覧を示す、図１７（Ａ）のようなボックス画面７Ａ２を、デスクトップ画面７Ａ１の代わりに表示させるための処理を行う。具体的には、デスクトップ画面７Ａ１のＭＦＰ画面データ６ＧＡの送信を止め、ボックス画面７Ａ２のＭＦＰ画面データ６ＧＡを生成しサーバユニット３へ送信し始める。この際に、ボックス画面７Ａ２の画面構成データ６Ａをサーバユニット３へ送信する。

すると、画面連結部３０３は、図１７（Ｂ）のような、ボックス画面７Ａ２とデスクトップ画面７Ｄ１とを合成した連結画面７Ｈ２を新たな連結画面７Ｈとして生成し、その連結画面７Ｈの画面データ６Ｈをビデオボード３０ｇへ送信する。すると、ビデオボード３０ｇは、その画面データ６Ｈを映像信号６Ｊに変換し、ディスプレイモジュール４Ａへ送信する。これにより、連結画面７Ｈ１に代わり新たな連結画面７Ｈが表示される。

さらに、共通アイコン検出部３２２、操作領域拡張部３２３、拡張結果通知部３２４、および操作応対部３２５は、デスクトップ画面７Ａ１の画面構成データ６Ａの代わりにボックス画面７Ａ２の画面構成データ６Ａを用いて、上述の各処理を実行する。ジョブ判別部２０４は、操作領域拡張部３２３から新たに通知された拡張ＭＦＰ領域７ＨＡａに基づいて、上述の処理を実行する。

これにより、拡張ＭＦＰ領域７ＨＡａおよび拡張サーバ領域７ＨＤａは、それぞれ、図１８（Ａ）および図１８（Ｂ）のように拡張し直される。

または、サーバ領域７ＨＤが遷移した場合は、共通アイコン検出部３２２、操作領域拡張部３２３、拡張結果通知部３２４、および操作応対部３２５は、遷移後のサーバ領域７ＨＤのサーバ画面７Ｄの画面構成データ６Ｄを遷移前のサーバ画面７Ｄの画面構成データ６Ｄの代わりに用いて上述の各処理を実行する。ジョブ判別部２０４は、操作領域拡張部３２３から新たに通知された拡張ＭＦＰ領域７ＨＡａに基づいて、上述の処理を実行する。

これにより、例えば、アイコン７Ｄ１１が図１９（Ａ）のように移動した場合は、図１９（Ｂ）のように拡張サーバ領域７ＨＤａが拡張し直される。

図２０は、ＭＦＰユニット２における全体的な処理の流れの例を説明するフローチャートである。図２１は、サーバユニット３における全体的な処理の流れの例を説明するフローチャートである。

次に、ＭＦＰ画面７Ａおよびサーバ画面７Ｄを合成して表示する際の、ＭＦＰユニット２およびサーバユニット３それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。

ＭＦＰユニット２は、オペレーティングシステムの起動後、第一の連携プログラム２０Ｐに基づいて、図２０に示す手順で処理を実行する。以下、オペレーティングシステムの起動後にデフォルトで表示されるＭＦＰ画面７Ａがデスクトップ画面７Ａ１（図６参照）である場合を例に説明する。

一方、サーバユニット３は、オペレーティングシステムの起動後、第二の連携プログラム３０Ｐに基づいて、図２１に示す手順で処理を実行する。以下、オペレーティングシステムの起動後にデフォルトで表示されるサーバ画面７Ｄがデスクトップ画面７Ｄ１（図８参照）である場合を例に説明する。

ＭＦＰユニット２は、デスクトップ画面７Ａ１のＭＦＰ画面データ６ＧＡを画面構成データ６Ａ１（図７参照）およびデスクトップ画面７Ａ１のオブジェクトそれぞれの画像データ６Ｃに基づいて生成し始め、サーバユニット３へ送信し始める（図２０の＃７３１）。さらに、画面構成データ６Ａ１をサーバユニット３へ送信する（＃７３２）。

サーバユニット３は、デスクトップ画面７Ｄ１のサーバ画面データ６ＧＤを画面構成データ６Ｄ１（図９参照）およびデスクトップ画面７Ｄ１のオブジェクトそれぞれの画像データ６Ｆに基づいて生成し始める（図２１の＃７５１）。ステップ＃７５１の処理と前後して、ＭＦＰ画面データ６ＧＡを受信し始める（＃７５２）。さらに、画面構成データ６Ａ１を受信する（＃７５３）。

そして、サーバユニット３は、ＭＦＰ画面データ６ＧＡおよびサーバ画面データ６ＧＤに基づいて連結画面７Ｈ１（図１０参照）を生成してディスプレイモジュール４Ａに表示させ始めるとともに（＃７５４）、画面構成データ６Ａ１、画面構成データ６Ｄ１、および対応関係データ６Ｋに基づいて共通アイコンを検出し（＃７５５）、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤを拡張する（＃７５６）。これにより、拡張ＭＦＰ領域７ＨＡａおよび拡張サーバ領域７ＨＤａが求められる。そして、拡張結果データ６ＬをＭＦＰユニット２へ送信する（＃７５７）。

ＭＦＰユニット２は、拡張結果データ６Ｌを受信し（＃７３３）、サーバユニット３から座標データ６Ｍが送信されてくるのを待つ。

タッチパネルモジュール４Ｂは、タッチ面がタッチされると、所定の時間ごとに、タッチされている最新の位置を示すデータを座標データ６Ｍとしてサーバユニット３へ送信する。

サーバユニット３は、１つ目の座標データ６Ｍを受信すると（＃７５８でＹｅｓ）、さらにその後に受信する座標データ６Ｍに基づいて、今回のタッチの操作がＭＦＰユニット２およびサーバユニット３自身のどちらに対するものなのかを判別し、操作の内容をサーバユニット３自身およびＭＦＰユニット２のどちらかに振り分ける処理を行う（＃７５９）。この処理の手順は、前に図１４で説明した通りである。

サーバユニット３は、今回のタッチの操作がサーバユニット３自身に対するものである場合は（＃７６０でＹｅｓ）、座標データ６Ｍに示される座標に基づいて、サーバユニット３自身が実行すべきジョブを判別する（＃７６１）。なお、座標がデスクトップ画面７Ｄ１には属しないが拡張サーバ領域７ＨＤａに属するアイコンに達した場合は、そのアイコンとともに共通アイコンとして検出したアイコンを選出する。そして、その座標が、選出したアイコンに達したものとみなしてジョブを判別する。さらに、実行すべきと判別したジョブを実行する。

一方、今回のタッチの操作がＭＦＰユニット２に対するものである場合は、ステップ＃７５９の処理によって、座標データ６Ｍがサーバユニット３からＭＦＰユニット２へ転送される。

ＭＦＰユニット２は、座標データ６Ｍを受信し始めると（＃７３４でＹｅｓ）、各座標データ６Ｍに示される座標に基づいて、ＭＦＰユニット２自身が実行すべきジョブを判別する（＃７３５）。なお、座標がデスクトップ画面７Ａ１には属しないが拡張ＭＦＰ領域７ＨＡａに属するアイコンに達した場合は、拡張結果データ６Ｌに基づいて、そのアイコンとペアになっているアイコンにその座標が達したものとみなしてジョブを判別する。そして、実行すべきと判別したジョブを実行する。

ところで、サーバユニット３において、現在のサーバ画面７Ｄ（デフォルトでは、デスクトップ画面７Ｄ１）に代えて他の画面を表示させる必要が生じ、または、現在のサーバ画面７Ｄのアイコンの配置を変更する必要が生じるなど、サーバ画面７Ｄを遷移させる必要が生じることがある。

サーバユニット３は、この場合に（＃７６２でＹｅｓ）、現在のサーバ画面７Ｄに代えて他の画面を表示し始め、または、現在のサーバ画面７Ｄを、アイコンの配置を変更して再表示し始める（＃７６３）。そして、ステップ＃７５４に戻って、連結画面７Ｈを生成し直し（＃７５４）、共通アイコンを検出し直し（＃７５５）、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤそれぞれを拡張し直し（＃７５６）、拡張結果データ６ＬをＭＦＰユニット２へ送信する（＃７５７）。なお、現在のサーバ画面７Ｄのアイコンの配置を変更した場合は、そのサーバ画面７Ｄの画面構成データ６Ｄを新たな配置に応じて更新する。

同様に、ＭＦＰユニット２において、現在のＭＦＰ画面７Ａ（デフォルトでは、デスクトップ画面７Ａ１）に代えて他の画面を表示させる必要が生じ、または、現在のＭＦＰ画面７Ａのアイコンの配置を変更する必要が生じるなど、ＭＦＰ画面７Ａを遷移させる必要が生じることがある。

ＭＦＰユニット２は、この場合に（＃７３６でＹｅｓ）、ステップ＃７３１に戻って、現在のＭＦＰ画面７Ａに代えて他の画面のＭＦＰ画面データ６ＧＡを生成しサーバユニット３へ送信し始め、または、または、現在のＭＦＰ画面７Ａのアイコンの配置を変更してＭＦＰ画面データ６ＧＡを生成しサーバユニット３へ送信し始める。アイコンの配置を変更した場合は、そのＭＦＰ画面７Ａの画面構成データ６Ａを新たな配置に応じて更新する。そして、遷移後のＭＦＰ画面７Ａの画面構成データ６Ａをサーバユニット３に送信する（＃７３２）。

サーバユニット３は、新たなＭＦＰ画面７ＡのＭＦＰ画面データ６ＧＡおよび画面構成データ６ＡをＭＦＰユニット２から受信した場合つまりＭＦＰユニット２において画面の遷移があった場合は（＃７６４でＹｅｓ）、ステップ＃７５４に戻って、連結画面７Ｈを生成し直し（＃７５４）、共通アイコンを検出し直し（＃７５５）、ＭＦＰ領域７ＨＡおよびサーバ領域７ＨＤそれぞれを拡張し直し（＃７５６）、拡張結果データ６ＬをＭＦＰユニット２へ送信する（＃７５７）。

また、ＭＦＰ画面７Ａおよびサーバ画面７Ｄのいずれかが遷移するごとに、サーバユニット３からＭＦＰユニット２に拡張結果データ６Ｌが送信されてくる。ＭＦＰユニット２は、拡張結果データ６Ｌを受信すると（＃７３３）、前に受信した拡張結果データ６Ｌを削除し、ステップ＃７３５の処理において最新の拡張結果データ６Ｌを使用する。

本実施形態によると、ＭＦＰ画面７Ａおよびサーバ画面７Ｄを並べて表示する際の操作性を従来よりも向上させることができる。

図２２は、ダイアログ７Ａ３、７Ｄ３を連結画面７Ｈに重ねて表示する例を示す図である。図２３は、共通アイコンの使い分けの例を説明するための図である。図２４は、連結画面７Ｈ５の例を示す図である。図２５は、ＭＦＰユニット２における全体的な処理の流れの例を説明するフローチャートである。図２６は、サーバユニット３における全体的な処理の流れの例を説明するフローチャートである。図２７は、拡張ＭＦＰ領域７ＨＡａおよびサーバ領域７ＨＤそれぞれの範囲の例を示す図である。図２８は、デスクトップ画面７Ａ５’、７Ｄ５’の例を示す図である。図２９は、サーバ領域７ＨＤの拡張の仕方の変形例を示す図である。

本実施形態では、操作領域拡張部３２３は、共通アイコンとしてアイコン７Ａ１４およびアイコン７Ｄ１３が検出されると、アイコン７Ａ１４に基づいてサーバ領域７ＨＤを拡張し（図１２参照）、アイコン７Ｄ１３に基づいてＭＦＰ領域７ＨＡを拡張した（図１３参照）。

アイコン７Ｄ１１に対応する書類ファイルの書類をネットワークプリント機能で印刷するには、アイコン７Ｄ１１をアイコン７Ａ１４およびアイコン７Ｄ１３のどちらにドラッグアンドドロップしてもよい。ただし、図１２（Ａ）に示したようにアイコン７Ｄ１１からはアイコン７Ａ１４のほうがアイコン７Ｄ１３よりも近いので、アイコン７Ａ１４にドラッグアンドドロップするほうが便利である。したがって、サーバ領域７ＨＤを拡張サーバ領域７ＨＤａに拡張することに意義があると、言える。

一方、アイコン７Ａ１１に対応する書類ファイルの書類をネットワークプリント機能で印刷するには、アイコン７Ａ１１をアイコン７Ａ１４およびアイコン７Ｄ１３のどちらにドラッグアンドドロップしてもよい。ただし、図１３（Ａ）に示したように、アイコン７Ａ１１からはアイコン７Ａ１４のほうがアイコン７Ｄ１３よりも近いので、アイコン７Ａ１４にドラッグアンドドロップするほうが便利である。アイコン７Ａ１２に対応するボックスの中の書類ファイルの書類をアイコン７Ａ１２をドラッグアンドドロップしてネットワークプリント機能で印刷する場合も、同様である。したがって、ＭＦＰ領域７ＨＡを拡張ＭＦＰ領域７ＨＡａに拡張することは、あまり意義がないと、言える。

そこで、操作領域拡張部３２３は、ある領域を拡張することによって次の要件を満たす場合にのみ、その領域を拡張するようにしてもよい。なお、以下、ある領域を拡張することによって新たに含まれるようになったアイコンを、「増加アイコン」と記載する。その領域の中の、共通アイコン検出部３２２によって増加アイコンとともに共通アイコンとして検出されたアイコンを「カウンタパートアイコン」と記載する。その領域の中の、増加アイコンおよびカウンタパートアイコンのいずれへもドラッグアンドドロップすることができるアイコンを「操作対象アイコン」と記載する。
（要件＿１）：操作対象アイコンと増加アイコンとの距離が操作対象アイコンとカウンタパートアイコンとの距離以下であること。
（要件＿２）：操作対象アイコンが複数ある場合は、（要件＿１）を満たす操作対象アイコンが少なくとも１つあること。

なお、増加アイコンが複数ある場合は、操作領域拡張部３２３は、上の要件を満たす増加アイコンのみに基づいて領域を拡張すればよい。

本実施形態では、共通アイコンの使い方の例として、共通アイコンの上に他のアイコンをドラッグアンドドロップする例を挙げた。しかし、共通アイコンを他のアイコンとともに使用しないことがある。つまり、共通アイコンを単独で使用することがある。例えば、共通アイコンをダブルタップしたりフリックしたりする場合である。

ところが、このような場合は、ＭＦＰユニット２に対する操作なのかサーバユニット３に対する操作なのかを判断する必要がある。そこで、ＭＦＰユニット２またはサーバユニット３の各部は、次のように処理を行ってもよい。

操作応対部３２５は、連結画面７Ｈ１が表示された後、アイコン７Ａ１４が１回目にダブルタップされた場合は、今回のタッチの操作が、ＭＦＰユニット２およびサーバユニット３のうちのアイコン７Ａ１４が本来所属する画面を有するほうに対する操作であると、判別する。つまり、ＭＦＰユニット２に対する操作であると、判別する。そして、座標データ６ＭをＭＦＰユニット２へ送信する。

なお、ジョブ判別部２０４は、送信されてきた座標データ６Ｍに基づいて、実行すべきジョブを、印刷キューのダイアログの表示と判別する。そして、画面描画部２０２は、図２２（Ａ）のようなダイアログ７Ａ３をディスプレイモジュール４Ａに表示させる。

アイコン７Ａ１４が２回目にダブルタップされた場合は、今回のタッチの操作がもう一方のユニットつまりサーバユニット３に対する操作であると、判別する。そして、座標データ６Ｍに示される座標を補正してジョブ判別部３２６へ通知する。または、ダイアログ７Ａ３が表示されているか否かをＭＦＰユニット２に問い合わせ、表示されている旨の回答が得られた場合に、サーバユニット３に対する操作であると、判別してもよい。

なお、ジョブ判別部３２６は、通知されてきた座標に基づいて、実行すべきジョブを、印刷キューのダイアログの表示と判別する。そして、画面描画部３０２は、図２２（Ｂ）のようなダイアログ７Ｄ３をディスプレイモジュール４Ａに表示させる。

または、操作応対部３２５は、今回のタッチの操作が、ＭＦＰユニット２に対する操作でもありサーバユニット３に対する操作でもあると判別してもよい。この場合は、１回のダブルタップの操作によって、ダイアログ７Ａ３およびダイアログ７Ｄ３が表示される。

または、拡張結果通知部３２４は、アイコン７Ａ１４が左へフリックされた場合は今回のタッチの操作がＭＦＰユニット２に対する操作であると判別し、右へフリックされた場合はサーバユニット３に対する操作であると判別してもよい。アイコン７Ａ１４は、プリントの機能に係るアイコンだが、ゴミ箱機能に係るアイコンが共通アイコンとして配置されている場合は、このアイコンが左へフリックされた場合は、画面描画部２０２は、図２３（Ａ）のような、ＭＦＰユニット２のゴミ箱に関するメニュー７Ａ４を、ディスプレイモジュール４Ａに表示させる。右へフリックされた場合は、画面描画部３０２は、図２３（Ｂ）のような、サーバユニット３のゴミ箱に関するメニュー７Ｄ４をディスプレイモジュール４Ａに表示させる。

または、拡張結果通知部３２４は、アイコン７Ａ１４がダブルタップされた際に、ＭＦＰユニット２およびサーバユニット３それぞれに対する操作の履歴に基づいて、ＭＦＰユニット２およびサーバユニット３それぞれが最後に操作されてからアイコン７Ａ１４が今回ダブルタップされるまでの経過時間Ｔ１、Ｔ２を求める。

そして、経過時間Ｔ１が所定の時間Ｔ０未満であり、かつ、経過時間Ｔ２が所定の時間Ｔ０以上であれば、拡張結果通知部３２４は、今回のダブルタップがＭＦＰユニット２のみに対する操作であると判別する。または、経過時間Ｔ２が所定の時間Ｔ０未満であり、かつ、経過時間Ｔ１が所定の時間Ｔ０以上であれば、拡張結果通知部３２４は、今回のダブルタップがサーバユニット３のみに対する操作であると判別する。または、経過時間Ｔ１が所定の時間Ｔ０未満であり、かつ、経過時間Ｔ２が所定の時間Ｔ０未満であれば、拡張結果通知部３２４は、今回のダブルタップがＭＦＰユニット２およびサーバユニット３の両方に対する操作であると判別する。所定の時間Ｔ０は、例えば、３０分である。

本実施形態では、複合機１は、共通アイコンとして検出された２つのアイコンを併存させたが、いずれか一方を残し、他方を表示させないようにしてもよい。この際に、連結画面７Ｈの中央に共有領域を設け、残すほうの共通アイコンを共有領域へ移動させてもよい。

以下、この仕組みを、図２４（Ａ）のような連結画面７Ｈ５に共有領域７ＨＥを図２４（Ｂ）のように設ける場合を例に、フローチャートを参照しながら説明する。なお、連結画面７Ｈ５は、デスクトップ画面７Ａ５およびデスクトップ画面７Ｄ５によって構成される。デスクトップ画面７Ａ５は、ＭＦＰ画面７Ａの１つであり、デスクトップ画面７Ｄ５は、サーバ画面７Ｄの１つである。

ＭＦＰユニット２は、第一の連携プログラム２０Ｐａに基づいて、図２５に示す手順で処理を実行する。サーバユニット３は、第二の連携プログラム３０Ｐａに基づいて、図２６に示す手順で処理を実行する。

ＭＦＰユニット２において、画面構成データ送信部２０３は、デスクトップ画面７Ａ５の画面構成データ６Ａをサーバユニット３に送信する（図２５の＃７７１）。

サーバユニット３において、共通アイコン検出部３２２は、画面構成データ６Ａを受信すると（＃７８１）、その画面構成データ６Ａ、デスクトップ画面７Ｄ５の画面構成データ６Ｄ、および対応関係データ６Ｋに基づいて、共通する２つの機能それぞれのアイコンを共通アイコンとして検出する（＃７８２）。その結果、本例では、２組の共通アイコンが検出される。１組目は、アイコン７Ａ５３およびアイコン７Ｄ５３である。２組目は、アイコン７Ａ５４およびアイコン７Ｄ５４である。

操作領域拡張部３２３は、デスクトップ画面７Ｄ５の中の、デスクトップ画面７Ａ５と接する辺りに共有領域７ＨＥを設ける（＃７８３）。共有領域７ＨＥは、図２７（Ａ）に示すように、ＭＦＰ領域７ＨＡとともに拡張ＭＦＰ領域７ＨＡａの一部分をなす。また、図２７（Ｂ）に示すように、サーバ領域７ＨＤの一部分をなす。

拡張結果通知部３２４は、拡張結果データ６ＮをＭＦＰユニット２へ送信し、デスクトップ画面７Ｄ５のアイコン７Ｄ５１〜７Ｄ５４のうち共有アイコンとして検出されたアイコン（本例では、アイコン７Ｄ５３および７Ｄ５４）ならびにデスクトップ画面７Ｄ５における共有領域７ＨＥの位置を画面描画部３０２に通知する（＃７８４）。

拡張結果データ６Ｎには、デスクトップ画面７Ａ５のアイコン７Ａ５１〜７Ａ５４のうち共有アイコンとして検出されたアイコン（本例では、アイコン７Ａ５３および７Ａ５４）ならびに拡張ＭＦＰ領域７ＨＡａの形状およびサイズが示される。

ＭＦＰユニット２において、画面描画部２０２は、拡張結果データ６Ｎを受信すると（＃７７２）、拡張結果データ６Ｎに示されるサイズおよび形状にデスクトップ画面７Ａ５を拡張し、拡張結果データ６Ｎに示されるアイコンつまりアイコン７Ａ５３および７Ａ５４を、拡張された部分に移動させる（＃７７３）。これにより、デスクトップ画面７Ａ５が図２８（Ａ）のように更新される。以下、更新後のデスクトップ画面７Ａ５をデスクトップ画面７Ａ５’と記載する。そして、デスクトップ画面７Ａ５’のビットマップデータを生成しＭＦＰ画面データ６ＧＡとしてサーバユニット３へ送信し始める（＃７７４）。さらに、アイコン７Ａ５３および７Ａ５４およびそれぞれの移動後の位置の座標を示す新座標データ６Ｑをサーバユニット３へ送信する（＃７７５）。

サーバユニット３において、画面描画部３０２は、新座標データ６Ｑを受信すると（＃７８５）、操作領域拡張部３２３から通知されたアイコンつまりアイコン７Ｄ５３および７Ｄ５４が非表示になるように、さらに、共有領域７ＨＥに他のアイコンが配置されている場合はそれを共有領域７ＨＥ以外の領域に配置されるように、つまり、図２８（Ｂ）のようにデスクトップ画面７Ｄ５を更新する（＃７８６）。以下、更新後のデスクトップ画面７Ｄ５をデスクトップ画面７Ｄ５’と記載する。そして、デスクトップ画面７Ｄ５’のビットマップデータを生成しサーバ画面データ６ＧＤとして画面連結部３０３に付与し始める。

画面連結部３０３は、ＭＦＰユニット２からＭＦＰ画面データ６ＧＡを受信し始め（＃７８７）、画面描画部３０２からサーバ画面データ６ＧＤを受け取り始めると（＃７８８）、ＭＦＰ画面データ６ＧＡおよびサーバ画面データ６ＧＤに基づいて、デスクトップ画面７Ａ５’およびデスクトップ画面７Ｄ５’を合成することによって連結画面７Ｈ５の画面データ６Ｈを生成し、ビデオボード３０ｇへ送信する（＃７８９）。なお、デスクトップ画面７Ａ５’およびデスクトップ画面７Ｄ５’の一部分が重複するが、その部分については、デスクトップ画面７Ａ５’がデスクトップ画面７Ｄ５’の上に重なるように、両者を合成する。

ビデオボード３０ｇは、画面データ６Ｈを映像信号６Ｊに変換し、ディスプレイモジュール４Ａへ送信する。そして、ディスプレイモジュール４Ａは、映像信号６Ｊに基づいて連結画面７Ｈ５を表示する。

操作応対部３２５は、１つ目の座標データ６Ｍをタッチパネルモジュール４Ｂから受信すると（＃７９０でＹｅｓ）、その座標データ６Ｍに示される座標がＭＦＰ領域７ＨＡのいずれかの位置の座標である場合は、ＭＦＰユニット２に対する操作であると判別し、サーバ領域７ＨＤのいずれかの位置の座標である場合は、サーバユニット３に対する操作であると判別する（＃７９１）。

そして、ＭＦＰユニット２に対する操作であると判別した場合は（＃７９２でＹｅｓ）、操作応対部３２５は、その座標データ６Ｍおよびその後に受信する座標データ６ＭをＭＦＰユニット２へ送信する（＃７９３）。

一方、サーバユニット３に対する操作であると操作応対部３２５が判別した場合は（＃７９２でＮｏ）、ジョブ判別部３２６は、その座標データ６Ｍおよびその後に受信する座標データ６Ｍそれぞれに示される座標をＸ軸方向の反対方向へＷｂずらし、これらの座標に基づいて、サーバユニット３において実行すべきジョブを判別する（＃７９４）。判別の仕方は、基本的に前に例示した通りである。

ただし、ジョブ判別部３２６は、新座標データ６Ｑに示されるアイコンとともに共通アイコンとして検出されたアイコンが、デスクトップ画面７Ｄ５’の共有領域７ＨＥの中の、新座標データ６Ｑに示される座標の位置に配置されているものとみなして、判別する。つまり、つまりアイコン７Ｄ５３およびアイコン７Ｄ５４が配置されているものとみなして、判別する。なお、アイコン７Ｄ５３およびアイコン７Ｄ５４それぞれの座標は、新座標データ６Ｑに示されるアイコン７Ａ５３およびアイコン７Ａ５４座標をＸ軸方向の反対方向へＷｂずらすことによって算出することができる。

ＭＦＰユニット２において、ジョブ判別部２０４は、サーバユニット３から受信した座標データ６Ｍに示される座標に基づいて、ＭＦＰユニット２において実行すべきジョブを判別する（＃７７７）。判別の仕方は、基本的に前に例示した通りである。

ＭＦＰ画面７Ａを遷移させる場合は（＃７７８でＹｅｓ、＃７９６でＹｅｓ）、ＭＦＰユニット２およびサーバユニット３は、それぞれ、ステップ＃７７１およびステップ＃７８２に戻って処理を行う。サーバ画面７Ｄを遷移させる場合も（＃７９５でＹｅｓ）、それぞれ、ステップ＃７７１およびステップ＃７８２に戻って処理を行う。

本実施形態では、２つのソフトウェアの例として、ＭＦＰユニット２およびサーバユニット３それぞれのオペレーティングシステムを挙げ、それぞれのデスクトップのアイコンを共用する場合の処理を説明した。しかし、他の２つのソフトウェア（例えば、ＭＦＰユニット２のワープロソフトおよびサーバユニット３の表計算ソフト）それぞれのアイコンまたはボタンなどのオブジェクトを共用する場合にも、上述の通り処理を行えばよい。

同一のプラットフォーム（例えば、ＭＦＰユニット２のオペレーティングシステム）上で実行される２つのソフトウェアそれぞれのアイコンまたはボタンなどのオブジェクトを共用する場合にも、本発明を適用することができる。

本実施形態では、アイコンの位置を、そのアイコンを囲むことができる最小の矩形の４つの頂点それぞれの座標によって表わしたが、そのアイコンの中心および縦横それぞれの長さによって表わしてもよい。

本実施形態では、操作領域拡張部３２３は、サーバ領域７ＨＤを、図１２（Ｂ）に太線で示したように、アイコン７Ａ１４が配置される領域および帯７ＤＬが配置される領域まで拡張した。帯７ＤＬの太さは、アイコン７Ａ１４およびアイコン７Ｄ１１の両方が内接する太さであった。しかし、帯７ＤＬをもう少し太くしてもよい。例えば、１０％太くしてもよい。ＭＦＰ領域７ＨＡの拡張についても、同様である。

図２９（Ａ）に示すようにアイコン７Ａ１４とアイコン７Ｄ１１との間にアイコン７Ｄ１４がある場合は、アイコン７Ｄ１４を避けながらアイコン７Ｄ１１をアイコン７Ａ１４にドラッグアンドドロップすることがあり得る。そこで、操作領域拡張部３２３は、このような場合は、図２９（Ｂ）に示すように、アイコン７Ｄ１１が他のいずれのアイコン（本例では、アイコン７Ｄ１４）に接することなくアイコン７Ａ１４まで移動することができる経路が含まれるように、サーバ領域７ＨＤを拡張してもよい。ＭＦＰ領域７ＨＡの拡張についても、同様である。

本実施形態では、ＭＦＰ画面７Ａおよびサーバ画面７Ｄの合成および座標データ６Ｍの振分けなどをサーバユニット３が行ったが、ＭＦＰユニット２が行ってもよい。

その他、複合機１の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 複合機（画像処理システム）
２ ＭＦＰユニット（第一の処理手段）
３ サーバユニット（第二の処理手段）
３０３ 画面連結部（表示制御手段）
３０ｇ ビデオボード（表示制御手段）
３２２ 共通アイコン検出部（検出手段）
３２３ 操作領域拡張部（拡張手段）
４Ａ ディスプレイモジュール（ディスプレイ）
７Ａ ＭＦＰ画面（第一の画面）
７Ａ１１〜７Ａ１４ アイコン（第一のオブジェクト）
７Ｄ サーバ画面（第二の画面）
７Ｄ１１〜７Ｄ１３ アイコン（第二のオブジェクト）

Claims (17)

1. 第一の処理手段および第二の処理手段を有する画像処理システムであって、
   前記第一の処理手段の、複数の第一のオブジェクトが配置される第一の画面と、前記第二の処理手段の、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させる表示制御手段と、
   前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する、検出手段と、
   を有し、
   前記第一の処理手段は、前記複数の第一のオブジェクトのうちのいずれかと前記第二の共通オブジェクトとが一連的に操作された場合に、当該操作された第一のオブジェクトと前記第一の共通オブジェクトとが一連的に操作されたものとみなして処理を行い、
   前記第二の処理手段は、前記複数の第二のオブジェクトのうちのいずれかと前記第一の共通オブジェクトとが一連的に操作された場合に、当該操作された第二のオブジェクトと前記第二の共通オブジェクトとが一連的に操作されたものとみなして処理を行う、
   ことを特徴とする画像処理システム。
2. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べて表示するディスプレイとともに用いられる画像処理システムであって、
   前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する、検出手段と、
   前記ディスプレイにおける、前記第一の画面の第一の領域が、当該ディスプレイにおける前記第二の共通オブジェクトの位置まで拡張され、かつ、当該位置に前記第一の共通オブジェクトが配置されているものとして前記第一のソフトウェアによって処理が行われるように、第一の設定を行い、当該ディスプレイにおける、前記第二の画面の第二の領域が、当該ディスプレイにおける当該第一の共通オブジェクトの位置まで拡張され、かつ、当該位置に当該第二の共通オブジェクトが配置されているものとして前記第二のソフトウェアによって処理が行われるように、第二の設定を行う、拡張手段と、
   を有することを特徴とする画像処理システム。
3. 前記拡張手段は、前記第二の画面のうちの、前記第二の共通オブジェクトと前記複数の第一のオブジェクトのうちの前記第一の共通オブジェクトとともに一連的に操作され得る第一の連携オブジェクトとを結ぶ区域に重複する部分だけ、前記第一の領域が拡張されるように、前記第一の設定を行い、前記第一の画面のうちの、前記第一の共通オブジェクトと前記複数の第二のオブジェクトのうちの前記第二の共通オブジェクトとともに一連的に操作され得る第二の連携オブジェクトとを結ぶ区域に重複する部分だけ、前記第二の領域が拡張されるように、前記第二の設定を行う、
   請求項２に記載の画像処理システム。
4. 前記拡張手段は、前記第一の設定を、前記第一の共通オブジェクトよりも前記第二の共通オブジェクトのほうが前記第一の連携オブジェクトに近い場合に行い、前記第二の設定を、前記第二の共通オブジェクトよりも前記第一の共通オブジェクトのほうが前記第二の連携オブジェクトに近い場合に行う、
   請求項３に記載の画像処理システム。
5. 互いに共通する２つの機能同士を示す対応関係データを記憶する対応関係記憶手段、を有し、
   前記検出手段は、前記対応関係データに基づいて前記第一の共通オブジェクトおよび前記第二の共通オブジェクトを検出する、
   請求項２ないし請求項４のいずれかに記載の画像処理システム。
6. 前記検出手段は、前記第一の画面または前記第二の画面が更新されるごとに、前記第一の共通オブジェクトおよび前記第二の共通オブジェクトを検出し、
   前記拡張手段は、前記第一の共通オブジェクトおよび前記第二の共通オブジェクトが検出されるごとに前記第一の設定および前記第二の設定を行う、
   請求項２ないし請求項５のいずれかに記載の画像処理システム。
7. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べて表示するディスプレイとともに用いられる画像処理システムであって、
   前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する、検出手段と、
   前記第一の共通オブジェクトおよび前記第二の共通オブジェクトのうちのいずれか一方のみが前記第一の画面および前記第二の画面の両方で共通に用いられる共有オブジェクトとして配置されるように当該第一の画面および当該第二の画面を前記ディスプレイに表示させる表示制御手段と、
   を有することを特徴とする画像処理システム。
8. 前記表示制御手段は、前記第一の共通オブジェクトおよび前記第二の共通オブジェクトのうちのいずれか一方のみが前記共有オブジェクトとして前記ディスプレイの中央に配置されるように前記第一の画面および前記第二の画面を表示させる、
   請求項７に記載の画像処理システム。
9. 前記共有オブジェクトに対して第一の操作が行われた場合は、前記第一の共通オブジェクトへの当該第一の操作に応じた処理が前記第一のソフトウェアによって行われ、当該記共有オブジェクトに対して第二の操作が行われた場合は、前記第二の共通オブジェクトへの当該第二の操作に応じた処理が前記第二のソフトウェアによって行われるように、当該第一のソフトウェアまたは当該第二のソフトウェアを制御する、制御手段、を有する、
   請求項７または請求項８に記載の画像処理システム。
10. 前記共有オブジェクトに対して所定の操作が行われた場合に、前記第一のソフトウェアに対する操作が最後に行われてから所定の時間が経過していないのであれば、前記第一の共通オブジェクトに対する当該所定の操作に応じた処理が当該第一のソフトウェアによって行われ、前記第二のソフトウェアに対する操作が最後に行われてから当該所定の時間が経過していないのであれば、前記第二の共通オブジェクトに対する当該所定の操作に応じた処理が当該第二のソフトウェアによって行われるように、当該第一のソフトウェアまたは当該第二のソフトウェアを制御する、制御手段、を有する、
    請求項７または請求項８に記載の画像処理システム。
11. 前記第一のソフトウェアは、画像形成装置のオペレーティングシステムであり、
    前記第二のソフトウェアは、サーバのオペレーティングシステムである、
    請求項２ないし請求項１０のいずれかに記載の画像処理システム。
12. 前記画像形成装置および前記サーバを有する、
    請求項１１に記載の画像処理システム。
13. 第一の処理手段および第二の処理手段を有する画像処理システムにおけるユーザインタフェースの提供方法であって、
    前記第一の処理手段の、複数の第一のオブジェクトが配置される第一の画面と、前記第二の処理手段の、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させ、
    前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出し、
    前記複数の第一のオブジェクトのうちのいずれかと前記第二の共通オブジェクトとが一連的に操作された際に、当該操作された第一のオブジェクトと前記第一の共通オブジェクトとが一連的に操作された場合の処理を前記第一の処理手段に行わせ、
    前記複数の第二のオブジェクトのうちのいずれかと前記第一の共通オブジェクトとが一連的に操作された際に、当該操作された第二のオブジェクトと前記第二の共通オブジェクトとが一連的に操作された場合の処理を前記第二の処理手段に行わせる、
    ことを特徴とするユーザインタフェースの提供方法。
14. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させる画像処理システムにおけるユーザインタフェースの提供方法であって、
    前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出し、
    前記ディスプレイにおける、前記第一の画面の第一の領域が、当該ディスプレイにおける前記第二の共通オブジェクトの位置まで拡張され、かつ、当該位置に前記第一の共通オブジェクトが配置されているものとして前記第一のソフトウェアによって処理が行われるように、第一の設定を行い、当該ディスプレイにおける、前記第二の画面の第二の領域が、当該ディスプレイにおける当該第一の共通オブジェクトの位置まで拡張され、かつ、当該位置に当該第二の共通オブジェクトが配置されているものとして前記第二のソフトウェアによって処理が行われるように、第二の設定を行う、
    ことを特徴とするユーザインタフェースの提供方法。
15. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させる画像処理システムにおけるユーザインタフェースの提供方法であって、
    前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出し、
    前記第一の共通オブジェクトおよび前記第二の共通オブジェクトのうちのいずれか一方のみが前記第一の画面および前記第二の画面の両方で共通に用いられる共有オブジェクトとして配置されるように当該第一の画面および当該第二の画面を前記ディスプレイに表示させる、
    ことを特徴とするユーザインタフェースの提供方法。
16. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させるコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する処理を実行させ、
    前記ディスプレイにおける、前記第一の画面の第一の領域が、当該ディスプレイにおける前記第二の共通オブジェクトの位置まで拡張され、かつ、当該位置に前記第一の共通オブジェクトが配置されているものとして前記第一のソフトウェアによって処理が行われるように、第一の設定処理を実行させ、
    前記ディスプレイにおける、前記第二の画面の第二の領域が、当該ディスプレイにおける前記第一の共通オブジェクトの位置まで拡張され、かつ、当該位置に前記第二の共通オブジェクトが配置されているものとして前記第二のソフトウェアによって処理が行われるように、第二の設定処理を実行させる、
    ことを特徴とするコンピュータプログラム。
17. 第一のソフトウェアの、複数の第一のオブジェクトが配置される第一の画面と、第二のソフトウェアの、複数の第二のオブジェクトが配置される第二の画面と、を並べてディスプレイに表示させるコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記複数の第一のオブジェクトおよび前記複数の第二のオブジェクトそれぞれから、対応付けられている機能が互いに共通する第一のオブジェクトおよび第二のオブジェクトを第一の共通オブジェクトおよび第二の共通オブジェクトとして検出する処理を実行させ、
    前記第一の共通オブジェクトおよび前記第二の共通オブジェクトのうちのいずれか一方のみが前記第一の画面および前記第二の画面の両方で共通に用いられる共有オブジェクトとして配置されるように当該第一の画面および当該第二の画面を前記ディスプレイに表示させる処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images