JP2015114928A - 画像処理システム、画像形成装置、操作画面表示方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】タッチパネルディスプレイごとに特性が異なる場合であっても、従来よりも正確にユーザによる操作を再現する。
【解決手段】画像形成装置１Ａは、自らのタッチパネルにタッチされた第一のタッチ位置に対応する、自らのディスプレイの表示面における表示面上位置を、時刻ごとに記録することによって、ログデータを生成する。画像形成装置１Ｂは、ログデータに示される表示面上位置に対応する、自らのタッチパネルにおける対応位置を、自らのタッチパネルと自らのディスプレイとの位置関係に基づいて算出する。そして、自らのタッチパネルにおいて、算出した対応位置がタッチされたものとして、操作画面の表示などの処理を実行する。
【選択図】図１

Description

本発明は、タッチパネルに対する操作に応じてディスプレイに画像を表示する技術に関する。

近年、コピー、スキャン、ファックス、ネットワークプリント、およびボックス（ドキュメントサーバ）など様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」と呼ばれることもある。

ＡＤＦ（Auto Document Feeder）、印刷エンジン、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および大容量記憶装置などのハードウェアの性能が向上したり、ソフトウェアの開発の環境が整備されたりするのに伴い、上述の機能とともに用いられる付随的な様々な機能が開発されている。

このように、画像形成装置は、多機能化されている。多機能化が進めば、ユーザは、様々な処理を画像形成装置に実行させることができるようになる。

ところが、実行させることができる処理のバリエーションが増えれば増えるほど、画像形成装置の操作が複雑になりやすい。管理者が行うべき設定の操作も同様に、複雑になりやすい。

そこで、手本となる操作のログを予め記録しておき、操作の仕方を知りたいユーザのために、このログに基づいて操作を再現する方法が、提案されている（特許文献１）。ユーザは、操作が再現されるときにディスプレイに表示される画面の遷移を見ることによって、操作の仕方を確認することができる。

複数のユーザへログを配付し、ユーザごとの画像形成装置において操作を再現させることもできる。

画像形成装置ごとに種々の事項について異なる条件値が設定されている場合がある。そこで、再現をより確実にするために、次の方法が提案されている。

自動再生機能における操作記録の際、所定の記録期間において操作パネルで操作された操作内容を時系列的に特定操作手順として操作記録用メモリに記録するが、その記録前に、実機に設定されている各種設定値（設定データ）を、その記録対象の特定操作手順と対応付けて記録する。そして、自動再生機能における操作再生の際は、まず、実機に設定されている各種設定値を、その再生対象の特定操作手順に対応付けられて記録されている設定値に設定変更し、その後、再生対象の特定操作手順を再生する（特許文献２）。

特開２０００−２３５５４９号公報 特開２０１２−７５０１４号公報

ところで、タッチパネルディスプレイは、ディスプレイの表示面にタッチパネルを重ね合わせた装置であるが、重なりの位置がタッチパネルディスプレイごとに少しずつ異なる場合がある。そこで、ディスプレイの表示面の位置とタッチパネルの位置との対応関係を示すデータがタッチパネルディスプレイに用意されている。そして、タッチパネルディスプレイごとに、タッチパネルのタッチされた位置に対応する表示面における位置を、自らのデータに基づいて算出する。

しかし、特許文献２に記載される方法によると、ディスプレイの表示面とタッチパネルとの重なりの位置がタッチパネルディスプレイごとに異なる場合に、ある画像形成装置で記録したログに基づいて他の画像形成装置で操作を上手く再現できないことがある。

本発明は、このような問題点に鑑み、ディスプレイの表示面とタッチパネルとの重なり具合がタッチパネルディスプレイごとに異なる場合であっても、従来よりも正確にユーザによる操作を再現することを、目的とする。

本発明の一形態に係る画像処理システムは、第一のディスプレイおよび前記第一のディスプレイの表示面に重ねられた第一のタッチパネルが設けられた第一の画像形成装置と、第二のディスプレイおよび前記第二のディスプレイの表示面に重ねられた第二のタッチパネルが設けられた第二の画像形成装置と、を有する画像処理システムであって、前記第一の画像形成装置に、前記第一のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記第一のディスプレイの表示面における表示面上位置を、前記第一のディスプレイの表示面と前記第一のタッチパネルとの位置関係を示す第一の位置関係データに基づいて算出する、表示面上位置算出手段と、前記表示面上位置算出手段によって算出された、時刻ごとの前記表示面上位置を示す操作ログデータを生成する、操作ログデータ生成手段と、が備えられ、前記第二の画像形成装置に、前記操作ログデータに示される前記表示面上位置に対応する、前記第二のタッチパネルにおける対応位置を、前記第二のディスプレイの表示面と前記第二のタッチパネルとの位置関係を示す第二の位置関係データに基づいて算出する、対応位置算出手段と、前記対応位置算出手段によって算出された前記対応位置を前記第二のタッチパネルにおけるタッチされた第二のタッチ位置として用いて、操作画面を前記第二のディスプレイに表示させる表示制御処理を決定する、処理決定手段と、前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、が備えられる。

好ましくは、前記対応位置算出手段は、前記対応位置を、前記第一のディスプレイに対する前記第二のディスプレイのサイズの割合に基づいて算出する。

または、前記処理決定手段は、前記第二のディスプレイに表示している画面の中のいずれのオブジェクトにも前記対応位置が属しない場合に、前記対応位置に最も近いオブジェクトがタッチされたものとして、前記表示制御処理を決定する。または、前記処理決定手段は、前記第二のディスプレイに表示している画面の中のいずれのオブジェクトにも前記対応位置が属しないが前記対応位置から所定の範囲内に１つまたは複数のオブジェクトがある場合に、当該１つまたは複数のオブジェクトのうちの前記対応位置に最も近いオブジェクトがタッチされたものとして、前記表示制御処理を決定する。

本発明によると、タッチパネルディスプレイごとに特性が異なる場合であっても、従来よりも正確にユーザによる操作を再現することを、目的とする。

ネットワークシステムの例を示す図である。 画像形成装置の外観および内部の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 操作パネルユニットの構成の例を示す図である。 液晶ディスプレイとタッチパネルとの重なり具合の例を示す図である。 コピージョブ画面の例を示す図である。 バッジ列とコピージョブ画面との関係を説明するための図である。 画像形成装置の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。 タッチパネル座標と表示面座標との関係を説明するための図である。 基本的なタッチ操作の例を示す図である。 ファックス送信ジョブ画面の例を示す図である。 操作ログデータの例を示す図である。 画像形成装置の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。 一方の画像形成装置のタッチパネル座標および表示面座標ならびに他方の画像形成装置のタッチパネル座標の位置関係の例を示す図である。 ハードキーパネル下方画面およびハードキーパネル右方画面の例を示す図である。 画像形成装置の全体的な処理の流れの例を説明するフローチャートである。 記録処理の流れの例を説明するフローチャートである。 再生処理の流れの例を説明するフローチャートである。 再生処理の流れの例を説明するフローチャートである。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 一方の画像形成装置のタッチパネル座標および表示面座標ならびに他方の画像形成装置のタッチパネル座標の位置関係の例を示す図である。 表示面座標とオブジェクトとの位置関係の例を示す図である。

図１は、ネットワークシステム１００の例を示す図である。図２は、画像形成装置１の外観および内部の例を示す図である。図３は、画像形成装置１のハードウェア構成の例を示す図である。図４は、操作パネルユニット１０ｋの構成の例を示す図である。図５は、液晶ディスプレイ１０ｋ２とタッチパネル１０ｋ３との重なり具合の例を示す図である。図６は、コピージョブ画面３Ｃの例を示す図である。図７は、バッジ列４Ｌとコピージョブ画面３Ｃとの関係を説明するための図である。図８は、画像形成装置１の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。

図１に示すように、ネットワークシステム１００は、複数台の画像形成装置１、端末装置２Ａ〜２Ｃ、および通信回線ＮＷなどによって構成される。画像形成装置１と端末装置２Ａ〜２Ｃとは、通信回線ＮＷを介して通信を行うことができる。通信回線ＮＷとして、公衆回線、専用線、インターネット、またはいわゆるＬＡＮ（Local Area Network）回線などが用いられる。以下、各画像形成装置１を「画像形成装置１Ａ」、「画像形成装置１Ｂ」、…と区別して記載することがある。

画像形成装置１は、一般にＭＦＰ（Multi Function Peripherals）または複合機と呼ばれる画像処理装置であって、コピー、ネットワークプリント、ファックス、スキャン、およびボックスなどの機能を集約した装置である。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像ファイルなどのドキュメントデータを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

端末装置２Ａ〜２Ｃとして、パーソナルコンピュータ、スマートフォン、またはタブレットコンピュータなどが用いられる。

図２または図３に示すように、画像形成装置１は、メインＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、スキャンユニット１０ｅ、ＮＩＣ（Network Interface Card）１０ｆ、モデム１０ｇ、接続インタフェースボード１０ｈ、プリントユニット１０ｉ、後処理装置１０ｊ、および操作パネルユニット１０ｋなどによって構成される。

スキャンユニット１０ｅは、用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する。具体的には、スキャンユニット１０ｅは、イメージセンサ１０ｅ１、ＡＤＦ（Auto Document Feeder）１０ｅ２、読取用スリット１０ｅ３、およびプラテンガラス１０ｅ４などによって構成される。

ＡＤＦ１０ｅ２は、セットされた用紙を１枚ずつ読取用スリット１０ｅ３へ搬送する。すると、イメージセンサ１０ｅ１は、用紙が読取用スリット１０ｅ３を通過する際に、用紙から画像を読み取り、画像の電子データを生成する。また、ユーザがプラテンガラス１０ｅ４に原稿をセットした場合は、イメージセンサ１０ｅ１は、プラテンガラス１０ｅ４を走査することによって、用紙から画像を読み取り、画像の電子データを生成する。

ＮＩＣ１０ｆは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２Ａ〜２Ｃなどの装置と通信を行う。

モデム１０ｇは、固定電話網を介してＧ３などのプロトコルによってファックス端末と通信を行う。

接続インタフェースボード１０ｈは、周辺機器を画像形成装置１に接続するための装置である。接続インタフェースボード１０ｈとして、例えば、ＵＳＢ（Universal Serial Bus）ボードまたはＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４ボードなどが用いられる。

プリントユニット１０ｉは、スキャンユニット１０ｅによって読み取られた画像、または、ＮＩＣ１０ｆ、モデム１０ｇ、もしくは接続インタフェースボード１０ｈを介して入力された画像を、用紙に印刷する。具体的には、プリントユニット１０ｉは、エンジン部１０ｉ１、給紙トレイ１０ｉ２、大容量給紙タンク１０ｉ３、および用紙搬送機構１０ｉ４などによって構成される。

給紙トレイ１０ｉ２は、１つまたは複数、プリントユニット１０ｉに設けられている。それぞれに、所定のサイズの用紙（白紙）が格納される。大容量給紙タンク１０ｉ３にも、所定のサイズの用紙（白紙）が格納されるが、給紙トレイ１０ｉ２よりも容量が大きい。よって、通常、最もよく使用されるサイズの用紙が格納される。

用紙搬送機構１０ｉ４は、給紙トレイ１０ｉ２または大容量給紙タンク１０ｉ３から用紙を１枚ずつエンジン部１０ｉ１へ搬送する。エンジン部１０ｉ１は、用紙に画像を印刷する。そして、用紙搬送機構１０ｉ４は、画像が印刷された用紙を排紙トレイまたはビンへ搬出する。なお、後処理（ステープルで綴じる処理またはパンチ穴を開ける処理など）が必要な場合は、画像が印刷された用紙を後処理装置１０ｊへ搬送する。

後処理装置１０ｊは、画像が印刷された１枚または複数の用紙に対して、適宜、上述の後処理を施す。

操作パネルユニット１０ｋは、ユーザインタフェースのユニットであって、図４に示すように、ハードキーパネル１０ｋ１、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）１０ｋ２、およびタッチパネル１０ｋ３などによって構成される。

ハードキーパネル１０ｋ１は、テンキー１ｋｔ、スタートキー１ｋｓ、ストップキー１ｋｐ、リセットキー１ｋｒ、電源キー１ｋｅ、およびファンクションキー１ｋｆ１〜１ｋｆ７などのキーによって構成される入力装置である。これらのキーは、液晶ディスプレイ１０ｋ２に表示されるキー（いわゆるソフトウェアキー）と区別するために、一般に、「ハードキー」または「ハードウェアキー」と呼ばれることがある。また、ファンクションキー１ｋｆ１〜１ｋｆ７のうち、ファンクションキー１ｋｆ２には、後述する操作の記録の開始および終了のコマンドが割り当てられている。ファンクションキー１ｋｆ４には、後述するホーム画面３Ｔの表示のコマンドが割り当てられている。そこで、以下、ファンクションキー１ｋｆ２を「開始終了コマンドキー１ｋｆ２」と記載し、ファンクションキー１ｋｆ４を「ホームキー１ｋｆ４」と記載する。

液晶ディスプレイ１０ｋ２には、ユーザへのメッセージを示す画面、処理の結果を示す画面、またはユーザが画像形成装置１に対して指示もしくは条件を入力するための画面などが表示される。

タッチパネル１０ｋ３は、液晶ディスプレイ１０ｋ２の表示面の全体を覆うように固定的に設けられており、タッチされた（押された）位置を検知し、メインＣＰＵ１０ａにその位置を通知する。タッチパネル１０ｋ３として、例えば、静電容量方式のタッチパネル、表面弾性波方式のタッチパネル、または電磁誘導方式のタッチパネルなどが用いられる。なお、以下、液晶ディスプレイ１０ｋ２の画素のピッチとタッチパネル１０ｋ３の読取分解能とが同一になるよう設定されている場合を例に説明する。また、各画像形成装置１の液晶ディスプレイ１０ｋ２の性能は同じであり、各画像形成装置１のタッチパネル１０ｋ３の性能は同じである場合を例に説明する。

ところで、液晶ディスプレイ１０ｋ２とタッチパネル１０ｋ３との位置関係は、画像形成装置１ごとに異なる。画像形成装置１Ａにおいて、図５（Ａ）に示すように、液晶ディスプレイ１０ｋ２の左上端は、タッチパネル１０ｋ３の左上端に対して右方向（Ｘ軸方向）に「Ｇａ」だけずれており、下方向（Ｙ軸方向）に「Ｇｂ」だけずれている。一方、画像形成装置１Ｂにおいて、液晶ディスプレイ１０ｋ２の左上端は、タッチパネル１０ｋ３の左上端に対してＸ軸方向に「Ｇｃ」だけずれており、Ｙ軸方向に「Ｇｄ」だけずれている。

ずれがない場合は、タッチパネル１０ｋ３のタッチされた位置の座標を、ずれに関する補正を行うことなく、液晶ディスプレイ１０ｋ２のタッチされた位置の座標として取り扱うことができる。以下、タッチパネル１０ｋ３上の座標を「タッチパネル座標Ｐ」または「タッチパネル座標Ｐ（Ｘｐ，Ｙｐ）」と記載する。

しかし、ずれがある場合は、ずれに関する補正を行う必要がある。画像形成装置１Ａにおいては、タッチパネル座標Ｐを（Ｘｐ−Ｇａ，Ｙｐ−Ｇｂ）と補正する必要がある。画像形成装置１Ｂにおいては、タッチパネル座標Ｐを（Ｘｐ−Ｇｃ，Ｙｐ−Ｇｄ）と補正する必要がある。

このように、液晶ディスプレイ１０ｋ２に対するタッチパネル１０ｋ３のずれの量は、補正の量として用いられる。そこで、以下、ずれの量を「補正量」と記載する。

各画像形成装置１には、自らの補正量を示す補正量データ５Ｕが予め記憶されている。つまり、画像形成装置１Ａには（Ｇａ，Ｇｂ）を示すデータが補正量データ５Ｕとして予め記憶されており、画像形成装置１Ｂには、（Ｇｃ，Ｇｄ）を示すデータが補正量データ５Ｕとして予め記憶されている。

液晶ディスプレイ１０ｋ２には、様々な画面が表示される。各画面には、様々な種類のオブジェクトが配置されている。例えば、図６のコピージョブ画面３Ｃには、クローズボタン４Ａ、右スクロールボタン４Ｂ１、左スクロールボタン４Ｂ２、複数のオプション機能バッジ４Ｃ、複数のマーカ４Ｄ、およびスライドゲージ４Ｅなどのオブジェクトが配置されている。

クローズボタン４Ａは、コピージョブ画面３Ｃを閉じて１つ前の画面を再び表示させるためのボタンである。

オプション機能バッジ４Ｃは、オプション機能を表わすアイコンであり、画像形成装置１に備わっているオプション機能ごとに１つずつ用意されている。オプション機能バッジ４Ｃは、横一列に並んでおり、バッジ列４Ｌを形成している。しかし、すべてのオプション機能バッジ４Ｃを、同時に配置することができない。つまり、コピージョブ画面３Ｃには、図７に示すように、一部のオプション機能バッジ４Ｃのみが現われ、残りのオプション機能バッジ４Ｃが現われない。

ユーザは、バッジ列４Ｌをスクロールさせることによって、残りのオプション機能バッジ４Ｃを順次表示させることができる。以下、各オプション機能バッジ４Ｃを左から順に「オプション機能バッジ４Ｃａ」、「オプション機能バッジ４Ｃｂ」、…、「オプション機能バッジ４Ｃｚ」と区別して記載することがある。

右スクロールボタン４Ｂ１は、バッジ列４Ｌを右から左へスクロールさせるためのボタンである。左スクロールボタン４Ｂ２は、バッジ列４Ｌを左から右へスクロールさせるためのボタンである。

マーカ４Ｄも、オプション機能バッジ４Ｃと同様、横一列に並んでいる。マーカ４の個数は機能バッジ４Ｃの個数と同じである。そして、左のマーカ４から順に機能バッジ４Ｃａ、機能バッジ４Ｃｂ、…、機能バッジ４Ｃｚに対応している。ただし、すべてのマーカ４Ｄが、同時にコピージョブ画面３Ｃに現われている。以下、オプション機能バッジ４Ｃａ、オプション機能バッジ４Ｃｂ、…、オプション機能バッジ４Ｃｚに対応するマーカ４Ｄをそれぞれ「マーカ４Ｄａ」、「マーカ４Ｄｂ」、…、「マーカ４Ｄｚ」と区別して記載することがある。

スライドゲージ４Ｅは、スライドバー４Ｅ１およびウィンドウ４Ｅ２によって構成される。スライドバー４Ｅ１は、ドラッグまたはフリックに応じて左または右に移動する。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１の真上に設けられている。さらに、コピージョブ画面３Ｃに現在配置されているオプション機能バッジ４Ｃに対応する個数のマーカ４Ｄを囲っている。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１に固定されている。したがって、ウィンドウ４Ｅ２は、スライドバー４Ｅ１が移動すると、一緒に移動する。ユーザは、ウィンドウ４Ｅ２に囲われるマーカ４Ｄを、スライドバー４Ｅ１を操作することによって変えることができる。ウィンドウ４Ｅ２に囲われているマーカ４Ｄが変わると、それに伴い、バッジ列４Ｌがスクロールし、コピージョブ画面３Ｃに配置されるオプション機能バッジ４Ｃが変わる。

また、ユーザは、バッジ列４Ｌを直接ドラッグしまたはフリックすることによって、スクロールさせることもできる。

右スクロールボタン４Ｂ１または左スクロールボタン４Ｂ２によってバッジ列４Ｌがスクロールした場合は、コピージョブ画面３Ｃにおけるオプション機能バッジ４Ｃの新たな配置に応じて、スライドゲージ４Ｅが移動する。

ところで、液晶ディスプレイ１０ｋ２は、全体が１つの領域である画面を表示することもあれば、複数の領域に分割されている画面を表示することもある。以下、画面を構成する領域を「要素領域」と記載する。さらに、要素領域は、シンプル操作領域およびジェスチャ領域のいずれかに分類されている。

「シンプル操作領域」は、ユーザのアクション（操作）として、タップのみを受け付ける領域である。一方、「ジェスチャ領域」は、ユーザのアクションとして、タップ、フリック、ドラッグ、およびダブルタップなど様々なジェスチャを受け付ける領域である。

各画面の各画素がどの要素領域に属するのかは、および、各要素領域がシンプル操作領域およびジェスチャ領域のいずれに属するのかは、予め決められており、各画面の表示用のデータ（以下、「画面データ５Ｗ」と記載する。）に定義されている。

図６のコピージョブ画面３Ｃは、第一の要素領域３Ｃ１、第二の要素領域３Ｃ２、および第三の要素領域３Ｃ３に分割されているが、第一の要素領域３Ｃ１はシンプル操作領域に設定され、第二の要素領域３Ｃ２および第三の要素領域３Ｃ３はジェスチャ領域に設定されている。

図２および図３に戻って、ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、上述のコピーおよびネットワークプリントなどの機能を実現するためのプログラムが記憶されている。さらに、図８に示すタッチイベント受付部１０１、操作領域判別部１０２、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、ジェスチャ応答処理決定部１０５、ハードキー操作受付部１０６、ハードキー応答処理決定部１０７、画面等制御部１０８、操作ログデータ生成部１２１、操作ログデータ記憶部１２２、操作ログ読出部１３１、初期画面表示制御部１３２、および座標補正部１３３などの機能を実現するためのプログラムが記憶されている。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、メインＣＰＵ１０ａによって実行される。

図８に示すタッチイベント受付部１０１ないし座標補正部１３３は、ユーザが操作パネルユニット１０ｋに対して行った操作に基づいて、画面を表示したりジョブを実行したりするように各ハードウェアを制御する。さらに、操作のログを記録しておき、後に、このログに基づいて操作を再現することができる。

以下、タッチイベント受付部１０１ないし座標補正部１３３の処理を、操作に基づく基本的な処理、操作を記録する処理、および記録に基づいて操作を再現する処理に大別して説明する。また、ユーザのリアルタイムの操作に応じて処理を行うモードを「通常モード」と記載し、記録に基づいて操作を再現し処理を行うモードを「再現モード」と記載する。

〔操作に基づく基本的な処理〕
図９は、タッチパネル座標Ｐと表示面座標Ｑとの関係を説明するための図である。図１０は、基本的なタッチ操作の例を示す図である。図１１は、ファックス送信ジョブ画面３Ｆの例を示す図である。

図８のタッチイベント受付部１０１ないし画面等制御部１０８は、通常モードにおいて、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対してユーザがリアルタイムに行う操作に応じて、次のように処理を行う。

タッチパネル１０ｋ３は、タッチされたことを検知すると、タッチが終了するまで（つまり、指またはペンなどがタッチパネル１０ｋ３から離れるまで）、所定の時間Ｔａごとに、タッチされているタッチパネルのタッチパネル座標Ｐを出力する。

タッチイベント受付部１０１は、タッチパネル座標Ｐを受け付けるごとに、このタッチパネル座標Ｐを補正量データ５Ｕに基づいて補正することによって、液晶ディスプレイ１０ｋ２の表示面上の座標を算出する。以下、表示面上の座標を「表示面座標Ｑ」または「表示面座標Ｑ（Ｘｑ，Ｙｑ）と記載する。例えば、画像形成装置１Ａの場合は、図９（Ａ）のタッチパネル座標Ｐ（Ｘｐ，Ｙｐ）を、図９（Ｂ）のように（Ｘｐ−Ｇａ，Ｙｐ−Ｇｂ）と補正することによって、表示面座標Ｑを算出する。

さらに、タッチパネル座標Ｐを受け付けるごとに、および、タッチの検知が途切れた場合に、タッチイベント受付部１０１は、タッチパネル１０ｋ３に対して行われたイベント（以下、「タッチイベント」と記載する。）を次のように検知する。

タッチイベント受付部１０１は、タッチパネル座標Ｐを今から所定の時間Ｔａ前に受け付けていなかったが、新たにタッチパネル座標Ｐを受け付けた場合は、タッチイベントとして、図１０（Ａ）のような「プレス」を検知する。

プレスの後、所定の時間Ｔａごとにタッチパネル座標Ｐを受け付けると、タッチイベント受付部１０１は、タッチイベントとして、図１０（Ｂ）のような「キープ」を検知する。なお、一般的に、キープを、タッチの位置が変わる「ムーヴ」、および、位置が変わらない「ステイ」の２つに区別することができる。「ムーヴ」および「ステイ」を区別して検知してもよいが、本実施形態では、両者を区別せず一律に「キープ」を検知する。

所定の時間Ｔａよりも長い時間、タッチパネル座標Ｐを受け付けなくなった場合、つまり、タッチの検知が途切れた場合は、タッチイベント受付部１０１は、タッチイベントとして、図１０（Ｃ）のような「リリース」を検知する。

操作領域判別部１０２は、タッチイベント受付部１０１によってプレスが検知された場合に、このプレスの際の表示面座標Ｑが属する領域の種類を画面データ５Ｗに基づいて判別する。具体的には、カレント画面における表示面座標Ｑの画素が属する要素領域を判別する。そして、この要素領域に設定されている領域の種類（シンプル操作領域またはジェスチャ領域）を判別する。

操作領域判別部１０２による判別の結果に応じて、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、およびジェスチャ応答処理決定部１０５は、次の処理を行う。

表示面座標Ｑの属する要素領域がシンプル操作領域であると判別された場合は、タッチ応答処理決定部１０３が、ユーザが行ったタッチイベントに対する応答として実行すべき処理を決定する。以下、この処理を「タッチ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

上述の通り、タッチパネル座標Ｐが入力されるごとに、タッチイベント受付部１０１は、タッチイベントとしてプレス、キープ、およびリリースのいずれかを検知するとともに、表示面座標Ｑを算出する。タッチ応答処理決定部１０３は、算出された表示面座標Ｑおよび検知されたタッチイベントに応じて処理を決定する。

例えば、表示面座標Ｑにあるオブジェクトが図６のコピージョブ画面３Ｃのクローズボタン４Ａであり、かつ、タッチイベントがプレスである場合は、クローズボタン４Ａの形態を変える（例えば、色をグレーに変更し、または窪んだ形状に変える）処理をタッチ応答処理に決定する。その後、クローズボタン４Ａの中の任意の位置においてリリースがなされた場合は、クローズボタン４Ａに予め対応付けられている処理、つまり、コピージョブ画面３Ｃを閉じて１つ前の画面を表示する処理をタッチ応答処理に決定する。

または、表示面座標Ｑにあるオブジェクトが右スクロールボタン４Ｂ１であり、かつ、タッチイベントがプレスまたはキープである場合は、バッジ列４Ｌを右から左へスクロールする処理をタッチ応答処理に決定する。

一方、表示面座標Ｑの属する要素領域がジェスチャ領域であると判別された場合は、ジェスチャ判別部１０４およびジェスチャ応答処理決定部１０５によって次の処理が行われる。

ジェスチャ判別部１０４は、タッチイベント受付部１０１によって連続的に検知されたタッチイベントと各タッチイベントの表示面座標Ｑとに基づいて、これらの一連のタッチイベントが表わすジェスチャを判別する。判別の方法は従来と同様であるが、ここで、判別の方法の一例を説明する。

例えば、同じ表示面座標Ｑにおいてプレス、キープ、およびリリースの組合せの操作が所定の時間Ｔｂ（例えば、０．５秒）以内に２回検知された場合は、ジェスチャ判別部１０４は、ジェスチャがダブルタップであると判別する。同じ表示面座標Ｑにおいてプレス、キープ、およびリリースの組合せの操作が１回検知されたが、次の所定の時間Ｔｂ以内に同じ表示面座標Ｑにおいてタッチイベントが検知されなかった場合は、ジェスチャ判別部１０４は、ジェスチャがタップであると判別する。

なお、操作が速い場合は、キープが検知されないことがある。そこで、プレス、キープ、およびリリースの組合せの操作の代わりにプレスおよびリリースの組合せの操作が検知された場合も、同様に判別する。キープの連続する回数が所定の回数を超える場合は、タップではなくロングタップであると判別してもよい。また、２つの表示面座標Ｑ同士の距離が所定の範囲内であれば、これらの表示面座標Ｑを同じものとみなしてもよい。

または、プレスが検知された後、一定の方向に表示面座標Ｑが所定の速さＳａ以上の速さで移動しながらキープが検知され、リリースが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをフリックであると判別する。この際に、条件値５Ｃとして、表示面座標Ｑの移動の速さおよび方向も、算出する。

または、プレスが検知された後、表示面座標Ｑが所定の速さＳａ未満の速さで変化しながらキープが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをドラッグであると判別する。この際に、条件値５Ｃとして、表示面座標Ｑの軌跡（時刻ごとの座標）も取得しておく。また、リリースの前にドラッグに関係のない操作が行われた場合は、ドラッグがキャンセルされたものとして取り扱ってもよい。例えば、リリースの前に表示面座標Ｑの軌跡から外れた位置でタッチがなされた場合に、ドラッグがキャンセルされたものとして取り扱ってもよい。

ジェスチャ応答処理決定部１０５は、ユーザが行ったジェスチャに対する応答として実行すべき処理を決定する。以下、この処理を「ジェスチャ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、図６のコピージョブ画面３Ｃの任意のオプション機能バッジ４Ｃに対してフリックが行われた場合は、ジェスチャ応答処理決定部１０５は、条件値５Ｃ（表示面座標Ｑの移動の速さおよび方向）に応じてバッジ列４Ｌをスクロールする処理をタッチ応答処理に決定する。

または、オプション機能バッジ４Ｃｓに対してダブルタップが行われた場合は、ジェスチャ応答処理決定部１０５は、オプション機能バッジ４Ｃｓの形態をオンを表わす形態に変更するとともにウォータマークの適用の有無の設定値をオンに更新する処理をタッチ応答処理に決定する。

ハードキーパネル１０ｋ１は、キー（ハードキー）が押されるごとに、そのキーを示す押下キー信号５ＤをメインＣＰＵ１０ａへ出力する。すると、ハードキー操作受付部１０６およびハードキー応答処理決定部１０７によって次の処理が行われる。

ハードキー操作受付部１０６は、押下キー信号５Ｄを受け付ける。ハードキー応答処理決定部１０７は、カレント画面および押下キー信号５Ｄに基づいて、ユーザがハードキーパネル１０ｋ１に対して行った操作に対する応答として実行すべき処理を決定する。以下、この処理を「ハードキー応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、任意の画面が表示されているときにファンクションキー１ｋｆ１（図４参照）が押された場合は、図１１（Ａ）のようなファックス送信ジョブ画面３Ｆを表示する処理をハードキー応答処理に決定する。

または、ファックス送信ジョブ画面３Ｆがカレント画面であるときにテンキー１ｋｔによってファックス番号が入力された場合は、そのファックス番号を送信先として受け付けるとともに図１１（Ｂ）のようにファックス送信ジョブ画面３Ｆに反映させる処理をハードキー応答処理に決定する。

画面等制御部１０８は、タッチ応答処理決定部１０３がタッチ応答処理を決定し、ジェスチャ応答処理決定部１０５がジェスチャ応答処理を決定し、またはハードキー応答処理決定部１０７がハードキー応答処理を決定するごとに、決定されたタッチ応答処理、ジェスチャ応答処理、またはハードキー応答処理が実行されるように、各ハードウェアを制御する。以下、タッチ応答処理、ジェスチャ応答処理、およびハードキー応答処理を「応答処理」と総称する。

応答処理は、従来通り、ＡＰＩ（Application Program Interface）を介して行うことができる。

〔操作を記録する処理〕
図１２は、操作ログデータ５Ｆの例を示す図である。

ユーザが記録の開始のコマンド（以下、「開始コマンド」と記載する。）を入力すると、図８の操作ログデータ生成部１２１および操作ログデータ記憶部１２２は、操作パネルユニット１０ｋに対する操作のログを記録する処理を次のように行う。

ユーザは、後に再現させたい一連の操作のうち最初の操作を行う際の画面を液晶ディスプレイ１０ｋ２に表示させておく。そして、開始コマンドを入力し、一連の操作を開始する。

タッチイベント受付部１０１ないし画面等制御部１０８は、通常モードの場合と同様、上述の方法によって、一連の操作に応じて処理を行う。特に、タッチイベント受付部１０１は、タッチパネル１０ｋ３によってタッチパネル座標Ｐが検知されるごとに、表示面座標Ｑを算出する。さらに、タッチパネル座標Ｐが検知されるごとに、および、タッチパネル座標Ｐの検知が途切れた場合に、タッチイベントを判別する。また、ハードキー操作受付部１０６は、ハードキーパネル１０ｋ１から押下キー信号５Ｄを受け付ける。

操作ログデータ生成部１２１は、図１２のような操作ログデータ５Ｆを生成し、操作ログデータ記憶部１２２に記憶させる。

操作ログデータ５Ｆには、開始コマンドが入力されてから記録の終了のコマンド（以下、「終了コマンド」と記載する。）が入力されるまでの間に、タッチイベント受付部１０１によって検知されたタッチイベントおよび算出された表示面座標Ｑと、ハードキー操作受付部１０６によって受け付けられた押下キー信号５Ｄとが、示される。さらに、各タッチイベントおよび押下キー信号５Ｄが検知されまたは受け付けられるまでの、直前の（１つ前の）タッチイベントまたは押下キー信号５Ｄが検知されまたは受け付けられてからの経過時間Ｔｒが示される。ただし、１番目のタッチイベントまたは押下キー信号５Ｄの経過時間Ｔｒとして、開始コマンドが入力されてから経過した時間が示される。

そして、終了コマンドが入力されると、操作ログデータ生成部１２１は、操作ログデータ５Ｆを生成する処理を終了する。操作ログデータ５Ｆには、開始コマンドが入力された際に液晶ディスプレイ１０ｋ２に表示されていた画面の識別子（以下、「開始時画面識別子」と記載する。）が付される。

〔操作を再現する処理〕
図１３は、画像形成装置１の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。図１４は、タッチパネル座標Ｐ、表示面座標Ｑ、およびタッチパネル座標ＰＢの位置関係の例を示す図である。図１５は、ハードキーパネル下方画面３ＨＫ１およびハードキーパネル右方画面３ＨＫ２の例を示す図である。

操作ログ読出部１３１、初期画面表示制御部１３２、および座標補正部１３３は、ユーザが過去に行った一連の操作を再現する処理を操作領域判別部１０２ないし画面等制御部１０８と連携して実行する。他の画像形成装置１で行ったものであっても、再現することができる。

以下、画像形成装置１Ａでユーザが行った一連の操作を画像形成装置１Ｂで再現する場合を例に、図１３を参照しながら各部の処理を説明する。

画像形成装置１Ａの操作ログデータ記憶部１２２に記載された操作ログデータ５Ｆを予め、通信回線ＮＷまたは可搬型の記録媒体を介して、画像形成装置１Ｂの操作ログデータ記憶部１２２にコピーしておく。

画像形成装置１Ｂにおいて、操作ログ読出部１３１は、ユーザによって操作の再現のコマンド（以下、「再現コマンド」と記載する。）が入力されると、画像形成装置１Ｂを通常モードから再現モードに切り替え、操作ログデータ記憶部１２２から操作ログデータ５Ｆを読み出す。そして、操作ログデータ５Ｆに付されている開始時画面識別子を初期画面表示制御部１３２に与える。

すると、初期画面表示制御部１３２は、この開始時画面識別子の画面が表示されるように液晶ディスプレイ１０ｋ２を制御する。

座標補正部１３３は、操作ログデータ５Ｆの各レコードに示される表示面座標Ｑを、画像形成装置１Ｂの位置対応データ５Ｕに基づいて、画像形成装置１Ｂにおけるタッチパネル１０ｋ３に対応する座標（以下、「タッチパネル座標ＰＢ」または「タッチパネル座標ＰＢ（Ｘｐｂ，Ｙｐｂと記載する。）に変換する。つまり、次の（１）式によってタッチパネル座標ＰＢを算出する。

タッチパネル座標ＰＢ（Ｘｐｂ，Ｙｐｂ）
＝表示面座標Ｑ（Ｘｑ，Ｙｑ）＋（Ｇｃ，Ｇｄ） …… （１）

タッチパネル座標ＰＢを、画像形成装置１Ａにおけるタッチパネル座標Ｐを用いて表わすと、図１４の通り（Ｘｐ−Ｇａ＋Ｇｃ，Ｙｐ−Ｇｂ＋Ｇｄ）、となる。

そして、座標補正部１３３は、タッチパネル１０ｋ３によって検知されたタッチパネル座標Ｐの代わりにタッチパネル座標ＰＢを、タッチイベント受付部１０１に対して与える。タッチパネル座標ＰＢを与えるタイミングは、各レコードの経過時間Ｔｒに従う。すなわち、１番目のレコードから算出されたタッチパネル座標ＰＢは、再現コマンドが入力されてから、このレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。Ｎ番目（Ｎ≧２）のレコードから算出されたタッチパネル座標ＰＢは、（Ｎ−１）番目のレコードから算出されたタッチパネル座標ＰＢが与えられてからＮ番目のレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。

タッチパネル座標ＰＢが座標補正部１３３からタッチイベント受付部１０１へ与えられると、タッチイベント受付部１０１、操作領域判別部１０２、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、ジェスチャ応答処理決定部１０５、および画面等制御部１０８は、タッチパネル座標ＰＢをタッチパネル座標Ｐの代わりに用いて、通常モードと同様に処理を行う。

また、レコードに押下キー信号５Ｄが示される場合は、座標補正部１３３を介すことなく、押下キー信号５Ｄがハードキー操作受付部１０６に与えられる。

すると、ハードキー操作受付部１０６およびハードキー応答処理決定部１０７は、この押下キー信号５Ｄに基づいて、通常モードと同様に処理を行う。

このように操作ログデータ５Ｆに基づいて操作を再現すると、画面が遷移する。ユーザは、これを見ることによって、どのような操作が行われたのかを推定することができる。

ユーザがさらに容易に推定できるようにするために、画面等制御部１０８は、画面に表示面座標Ｑを表わすマークを重ねて表示させてもよい。例えば、フリックの際の全部または一部の表示面座標Ｑを表わすマークを軌跡として表示させてもよい。これにより、ユーザは、フリックの強さを容易に推定することができる。

また、ジェスチャ判別部１０４によって判別されたジェスチャに応じて表示面座標Ｑを表わすマークの形態を変えてもよい。例えば、フリックの場合は、画面等制御部１０８は、表示面座標Ｑを表わすマークとして太線の真円を表示させる。ドラッグの場合は、点線の三角形を表示させる。

ハードキーパネル１０ｋ１に対する操作を再現しても、どのキーが押されたのかをユーザが推定することができない場合がある。そこで、画面等制御部１０８は、ハードキーパネル１０ｋ１の画像を画面の上に重ねて表示させ、押されたキーの上にマークを表示させてもよい。ハードキーパネル１０ｋ１の全部分の画像を表示するのではなく、一部分の画像を表示してもよい。また、常時表示しておくのではなく、ハードキーパネル１０ｋ１に対する操作があった際に表示し、その後、閉じてもよい。

例えば、ファンクションキー１ｋｆ１がタッチされた時点を含む所定の期間において、画面等制御部１０８は、図１５（Ａ）のように、ハードキーパネル１０ｋ１の下方を表わすハードキーパネル下方画面３ＨＫ１を表示させる。そして、ファンクションキー１ｋｆ１の画像の上に、所定のマーク（例えば、星形のマーク）を表示させる。同様に、ファンクションキー１ｋｆ４が操作ログデータ５Ｆに示される場合は、図１５（Ｂ）のようなハードキーパネル右方画面３ＨＫ２を表示させる。そして、ファンクションキー１ｋｆ４の画像の上に、所定のマークを表示させる。

図１６は、画像形成装置１の全体的な処理の流れの例を説明するフローチャートである。図１７は、記録処理の流れの例を説明するフローチャートである。図１８および図１９は、再生処理の流れの例を説明するフローチャートである。

次に、画像形成装置１における表示に関する全体的な処理の流れを、図１６〜図１９などのフローチャートを参照しながら説明する。

画像形成装置１は、電源がオンである間、操作パネルユニット１０ｋに対するユーザの操作に応じて、図１６に示すように処理を実行する。

すなわち、画像形成装置１は、開始コマンドが入力されると（＃１１でＹｅｓ）、操作のログを記録する処理を、図１７に示す手順で実行する（＃１２）。

図１７において、画像形成装置１は、空の操作ログデータ５Ｆを生成し、カレント画面の開始時画面識別子を対応付ける（＃７０１）。

画像形成装置１は、タッチパネル１０ｋ３によってタッチパネル座標Ｐを検知した場合は（＃７０２でＹｅｓ）、タッチパネル座標Ｐを補正することによって表示面座標Ｑを算出するとともにタッチイベントを判別し（＃７０３）、これらの情報を経過時間Ｔｒとともに１つのレコードとして操作ログデータ５Ｆに追記する（＃７０４）。さらに、表示面座標Ｑが属する領域の種類（シンプル操作領域またはジェスチャ領域）を判別する（＃７０５）。

この領域の種類がジェスチャ領域であれば（＃７０６でＹｅｓ）、画像形成装置１は、ユーザが行ったジェスチャの判別を試みる（＃７０７）。ただし、ジェスチャは複数のタッチの組合せによって表現されるので、未だジェスチャを判別できないことがある。画像形成装置１は、ジェスチャを判別できたら（＃７０８でＹｅｓ）、このジェスチャに応じて実行すべき処理の決定を試みる（＃７０９）。そして、処理を決定できたら（＃７１０でＹｅｓ）、この処理を実行する（＃７１１）。

一方、この領域の種類がシンプル操作領域であれば（＃７０６でＮｏ）、画像形成装置１は、今回のタッチイベントに応じて実行すべき処理の決定を試みる（＃７１２）。そして、処理を決定できたら（＃７１３でＹｅｓ）、この処理を実行する（＃７１４）。

または、画像形成装置１は、押下キー信号５Ｄをハードキーパネル１０ｋ１によって受け付けた場合は（＃７０２でＮｏ、＃７１５でＹｅｓ）、この押下キー信号５Ｄに開始終了コマンドキー１ｋｆ２が示されていなければ（＃７１６でＮｏ）、押下キー信号５Ｄおよび経過時間Ｔｒを１つのレコードとして操作ログデータ５Ｆに追記する（＃７１７）。このキーの押下に応じて実行すべき処理の決定を試みる（＃７１８）。そして、処理を決定できたら（＃７１９でＹｅｓ）、この処理を実行する（＃７２０）。

開始終了コマンドキー１ｋｆ２が押されるまで、画像形成装置１は、適宜、ステップ＃７０２〜＃７２０の処理を実行する。

そして、画像形成装置１は、開始終了コマンドキー１ｋｆ２を示す押下キー信号５Ｄを受け付けたら（＃７１６でＹｅｓ）、操作のログを記録する処理を終了する。

図１６に戻って、画像形成装置１は、再現コマンドが入力されると（＃１３でＹｅｓ）、操作ログデータ５Ｆに基づいて、ユーザの操作を再現する処理を、図１８および図１９に示す手順で実行する（＃１４）。

画像形成装置１は、操作ログデータ５Ｆを読み出し、操作ログデータ５Ｆに対応付けられている開始時画面識別子の画面を表示させる（図１８の＃７３１）。なお、操作ログデータ５Ｆは、画像形成装置１自身が生成したものであってもよいし、他の画像形成装置１から取得したものであってもよい。

画像形成装置１は、操作ログデータ５Ｆの上から１番目のレコードに注目する（＃７３２、＃７３３）。

注目したレコードに押下キー信号５Ｄが示される場合は（＃７３４でＹｅｓ）、画像形成装置１は、図１５に例示したように、ハードキーパネル１０ｋ１の画像をカレント画面に重ねて表示するとともに、この押下キー信号５Ｄに示されるキーにマークを表示する（＃７３５）。そして、このキーの押下に応じて実行すべき処理の決定を試みる（＃７３６）。処理を決定できたら（＃７３７でＹｅｓ）、この処理を実行する（＃７３８）。

一方、注目したレコードに表示面座標Ｑ、タッチイベント、および経過時間Ｔｒが示される場合は（＃７３４でＮｏ）、画像形成装置１は、表示面座標Ｑを位置対応データ５Ｕによって補正することによって、自らのタッチパネル１０ｋ３におけるタッチパネル座標Ｐを算出する（＃７３９）。そして、このタッチパネル座標Ｐに基づいて、通常モードの場合と同様に処理を行う。

すなわち、画像形成装置１は、算出したタッチパネル座標Ｐを表示面座標Ｑに変換し（＃７４０）、表示面座標Ｑが属する領域の種類を判別する（＃７４１）。

この領域の種類がジェスチャ領域であれば（＃７４２でＹｅｓ）、画像形成装置１は、ジェスチャの判別を試みる（＃７４３）。ジェスチャを判別できたら（＃７４４でＹｅｓ）、このジェスチャに応じて実行すべき処理の決定を試みる（＃７４５）。処理を決定できたら（＃７４６でＹｅｓ）、この処理を、実行する（＃７４７）。

この領域の種類がシンプル操作領域であれば（＃７４２でＮｏ）、画像形成装置１は、このタッチイベントに応じて実行すべき処理の決定を試みる（＃７４８）。処理を決定できたら（＃７４９でＹｅｓ）、この処理を実行する（＃７５０）。

未だ注目していないレコードが操作ログデータ５Ｆに残っている場合は（＃７５１でＹｅｓ）、画像形成装置１は、ステップ＃７３３に戻って、これらのレコードのうちの一番上のレコードに注目し、ステップ＃７３４〜＃７５０の処理を適宜、実行する。

図１６に戻って、操作の記録および再現以外に関するコマンドなどが入力された場合は（＃１３でＮｏ）、画像形成装置１は、従来通り、このコマンドなどに基づいて処理を実行する（＃１５）。
次に、操作ログデータ５Ｆを画像形成装置１Ａで生成し画像形成装置１Ｂで使用する場合の操作、処理、および画面の遷移を、複写物の綴じ代を「左綴じ」に設定する場合を例に説明する。

〔生成時〕
図２０〜図２２は、操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。

操作用のマニュアルの作成者は、図２０（Ａ）のホーム画面３Ｔが表示されているときに、画像形成装置１Ａの開始終了コマンドキー１ｋｆ２（図４参照）を押すことによって、開始コマンドを入力する。なお、ホーム画面３Ｔは、全体がシンプル操作領域である。

すると、画像形成装置１Ａは、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対する操作の記録を開始する。なお、記録の手順は、前に図１７で説明した通りである。本例においては、画像形成装置１Ａは、まず、空の操作ログデータ５Ｆを用意し、その後、これに操作の内容を順次書き込む。

作成者は、ホーム画面３Ｔの中からコピーボタン４ＴＪ１をタップする。すると、画像形成装置１Ａは、作成者がコピーボタン４ＴＪ１をタップ（タッチ）している間の各時刻におけるレコードを操作ログデータ５Ｆに追記する。さらに、ホーム画面３Ｔに代えて図２０（Ｂ）のようなコピージョブ画面３Ｃを表示する。

作成者は、バッジ列４Ｌを左から右へフリックする。画像形成装置１Ａは、作成者がフリックしている間の各時刻におけるレコードを操作ログデータ５Ｆに追記する。さらに、バッジ列４Ｌをスクロールさせる。これにより、バッジ列４Ｌが図２０（Ｃ）のように遷移する。

作成者は、オプション機能バッジ４Ｃａをダブルタップする。すると、画像形成装置１Ａは、このダブルタップのレコードとしてレコード５Ｆｃを操作ログデータ５Ｆに追記する。さらに、図２１（Ａ）のようにコピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

ダイアログボックス３ＤＢ１を見やすくするために、作成者は、ダイアログボックス３ＤＢ１の任意の位置でピンチする。すると、画像形成装置１Ａは、作成者がピンチしている間の各時刻におけるレコードを操作ログデータ５Ｆに追記する。さらに、図２１（Ｂ）のように、ダイアログボックス３ＤＢ１を拡大する。なお、ダイアログボックス３ＤＢ１は、全体がジェスチャ領域である。

作成者は、プルダウンボタン４ＰＢをタップする。すると、画像形成装置１は、作成者がタップしている間の各時刻におけるレコードを操作ログデータ５Ｆに追記する。さらに、図２１（Ｃ）のようにダイアログボックス３ＤＢ１の上にプルダウンメニュー３ＰＭ１を表示する。

作成者は、プルダウンメニュー３ＰＭ１の中から「左綴じ」に対応する選択肢４ＳＴ１をタップする。すると、画像形成装置１は、作成者がタップしている間の各時刻におけるレコードを操作ログデータ５Ｆに追記する。さらに、図２２（Ａ）のように、選択肢４ＳＴ１を、選択されたことを表わす形態（本例では、文字の色と背景の色とを反転させた形態）に変更する。そして、タップが終わった後、所定の時間（例えば、０．５秒）が経過したら、図２２（Ｂ）のようにプルダウンメニュー３ＰＭ１を閉じるとともに、複写物の綴じ代を「左綴じ」に設定する。

作成者は、ハードキーパネル１０ｋ１のファンクションキー１ｋｆ４を押す。なお、ファンクションキー１ｋｆ４は、ホーム画面３Ｔに戻るためのキーである。すると、画像形成装置１は、このキーの押下のレコードを操作ログデータ５Ｆに追記する。さらに、コピージョブ画面３Ｃを閉じ、図２２（Ｃ）のように再びホーム画面３Ｔを表示する。

そして、作成者は、開始終了コマンドキー１ｋｆ２を押すことによって終了コマンドを入力する。すると、画像形成装置１は、記録の処理を終了する。また、画像形成装置１は、操作ログデータ５Ｆに、開始コマンドの入力時のカレント画面つまりホーム画面３Ｔの識別子を開始時画面識別子として対応付けておく。

以上説明した操作および処理によって、記録すなわち操作ログデータ５Ｆの生成が完了する。

そして、作成者は、操作ログデータ５Ｆを可搬型の記録媒体にコピーし、サービスエンジニアに渡す。

〔再現時〕
図２３〜図２６は、操作の再現時における画面の遷移の例を示す図である。

サービスエンジニアは、画像形成装置１Ｂに可搬型の記録媒体をセットし、操作ログデータ５Ｆを操作ログデータ記憶部１２２にコピーする。そして、再現コマンドを入力する。すると、画像形成装置１Ｂは、操作ログデータ５Ｆの各レコードに基づいて次の通り処理を行う。

画像形成装置１Ｂは、操作ログデータ５Ｆに対応付けられている開始時画面識別子に従って、図２３（Ａ）のようなホーム画面３Ｔを表示する。図２３（Ｂ）のようにタップを表わすマーク４ＭＡをコピーボタン４ＴＪ１の上に表示し、図２３（Ｃ）のようにホーム画面３Ｔに代えてコピージョブ画面３Ｃを表示する。

画像形成装置１Ｂは、図２４（Ａ）のように、フリックされた位置に対応するマーク４ＭＢ１〜４ＭＢ６を表示しながら、バッジ列４Ｌをスクロールする。

図２４（Ｂ）のようにスクロールが終わったら、画像形成装置１Ｂは、図２４（Ｃ）のように、ダブルタップに対応するマーク４ＭＣをオプション機能バッジ４Ｃａの上に表示し、コピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

画像形成装置１Ｂは、図２５（Ａ）のようにピンチの開始位置および方向に対応するマーク４ＭＤ１を表示し、ダイアログボックス３ＤＢ１を拡大し始める。

図２５（Ｂ）のようにダイアログボックス３ＤＢ１の拡大が終わったら、画像形成装置１Ｂは、タップを表わすマーク４ＭＥをプルダウンボタン４ＰＢの上に表示し、図２５（Ｃ）のようにプルダウンメニュー３ＰＭ１を表示する。

画像形成装置１Ｂは、タップに対応するマーク４ＭＦを選択肢４ＳＴ１の上に表示する。そして、選択肢４ＳＴ１の形態を図２６（Ａ）のように変更した後、図２６（Ｂ）のように、プルダウンメニュー３ＰＭ１を閉じる。

画像形成装置１Ｂは、図２６（Ｃ）のように、コピージョブ画面３Ｃの上にハードキーパネル右方画面３ＨＫ２を表示し、押下を示すマーク４ＭＧをファンクションキー１ｋｆ４の画像の上に表示する。そして、ハードキーパネル右方画面３ＨＫ２を閉じ、コピージョブ画面３Ｃに代えてホーム画面３Ｔ（図２３（Ａ）参照）を再び表示する。
本実施形態によると、ディスプレイの表示面とタッチパネルとの重なり具合がタッチパネルディスプレイごとに異なる場合であっても、従来よりも正確にユーザによる操作を再現することができる。
図２７は、タッチパネル座標Ｐ、表示面座標Ｑ、およびタッチパネル座標ＰＣの位置関係の例を示す図である。図２８は、表示面座標Ｑとオブジェクトとの位置関係の例を示す図である。

本実施形態では、画像形成装置１Ａの液晶ディスプレイ１０ｋ２の解像度およびタッチパネル１０ｋ３の読取分解能は、それぞれ、画像形成装置１Ｂの液晶ディスプレイ１０ｋ２の解像度およびタッチパネル１０ｋ３の読取分解能と同一に設定されていたが、異なるように設定されている画像形成装置１もある。

例えば、画像形成装置１Ａの液晶ディスプレイ１０ｋ２の解像度およびタッチパネル１０ｋ３の読取分解能が８００×４８０ｄｐｉであり、画像形成装置１Ｃの液晶ディスプレイ１０ｋ２の解像度およびタッチパネル１０ｋ３の読取分解能が６００×３６０ｄｐｉである場合が、ある。このような場合は、画像形成装置１Ａ、１Ｃは、次のように処理を行えばよい。

画像形成装置１Ａは、操作ログデータ５Ｆとともに、画像形成装置１Ａ自身の解像度および読取分解能を示す解像度データを出力する。

画像形成装置１Ｃは、画像形成装置１ＡからＵＳＢメモリまたは通信回線ＮＷを介して操作ログデータ５Ｆおよび解像度データを取得すると、ステップ＃７３９において座標補正部１３３によって、（１）式の代わりに次の（２）式によってタッチパネル座標ＰＣを算出する。

タッチパネル座標ＰＣ（Ｘｐｃ，Ｙｐｃ）
＝表示面座標Ｑ（Ｒｘ・Ｘｑ，Ｒｙ・Ｙｑ）＋（Ｇｅ，Ｇｆ） …… （２）

ただし、Ｒｘ＝Ｋｘｃ／Ｋｘａ、Ｒｙ＝Ｋｙｃ／Ｋｙａ、である。ＫｘａおよびＫｙａは、それぞれ、画像形成装置１Ａの横および縦の解像度（または読取分解能）であって、本例では、「８００」および「６００」である。ＫｘｃおよびＫｙｃは、それぞれ、画像形成装置１Ｂの横および縦の解像度（または読取分解能）であって、本例では、「４８０」および「３６０」である。

これにより、タッチパネル座標ＰＣを、画像形成装置１Ａにおけるタッチパネル座標Ｐを用いて表わすと、図２７の通り（Ｒｘ（Ｘｐ−Ｇａ）＋Ｇｃ，Ｒｙ（Ｙｐ−Ｇｂ）＋Ｇｄ）＝（０．６（Ｘｐ−Ｇａ）＋Ｇｅ，０．６（Ｙｐ−Ｇｂ）＋Ｇｆ）、となる。そして、画像形成装置１Ｃは、ステップ＃７４０以降の処理を実行する。

座標補正部１３３による表示面座標Ｑからタッチパネル座標Ｐへの変換に誤差が生じることがある。このようなタッチパネル座標Ｐに基づいて処理を行うと、ユーザ（例えば、マニュアルの作成者）の操作を上手く再現できないおそれがある。特に、通常モードにおいてユーザが画面中のオブジェクトの端部を操作した場合に、このような現象が生じるおそれがある。

そこで、画像形成装置１の各部は、再現モードにおいて次のように処理を行ってもよい。

図２８（Ａ）のようにタッチパネル座標Ｐに対応する表示面座標Ｑがいずれのオブジェクト（例えば、ボタン）にも属しないがこの表示面座標Ｑから所定の範囲内にオブジェクトの少なくとも一部分がある場合は、操作領域判別部１０２は、このオブジェクトの任意の位置がプレスされたものとして、領域の種類を判別すればよい。

そして、シンプル操作領域である場合は、タッチ応答処理決定部１０３は、このオブジェクトがタップされたものとして、タッチ応答処理を決定すればよい。

または、ジェスチャ領域である場合は、ジェスチャ応答処理決定部１０５は、このオブジェクトに対してジェスチャが行われたものとして、ジェスチャ応答処理を決定すればよい。

図２８（Ｂ）のように所定の範囲内にオブジェクトが複数ある場合は、操作領域判別部１０２は、表示面座標Ｑから最も近いオブジェクトがプレスされたものとして、領域の種類を判別すればよい。同様に、タッチ応答処理決定部１０３は、最も近いオブジェクトがタップされたものとして、タッチ応答処理を決定すればよい。ジェスチャ応答処理決定部１０５は、最も近いオブジェクトに対してジェスチャが行われたものとして、ジェスチャ応答処理を決定すればよい。

図２８（Ｃ）のように所定の範囲内にオブジェクトが１つもない場合も、操作領域判別部１０２は、表示面座標Ｑから最も近いオブジェクトがプレスされたものとして、領域の種類を判別すればよい。タッチ応答処理決定部１０３およびジェスチャ応答処理決定部１０５も同様に、タッチ応答処理またはジェスチャ応答処理を決定すればよい。

本実施形態では、操作を再現する側の画像形成装置１Ｂが、自らの位置対応データ５Ｕに基づいて表示面座標Ｑを補正しタッチパネル座標Ｐを算出したが、操作を記録する側の画像形成装置１Ａが、画像形成装置１Ｂの位置対応データ５Ｕに基づいてタッチパネル座標Ｐを算出してもよい。または、画像形成装置１Ｂは、１つのレコードを読み出すごとに表示面座標Ｑを補正しタッチパネル座標Ｐを算出したが、再現のコマンドが入力される前に予め纏めて算出しておいてもよい。

記録する側または再現する側の画像形成装置１が、端末装置２Ａ〜２Ｃのいずれかによってリモートコントロールされる場合は、その端末装置２Ａ〜２Ｃのタッチパネルディスプレイの仕様または設定値に応じて、上述の処理を行えばよい。

本実施形態では、タッチパネル１０ｋ３として、指またはペンなどが直接触れたことを検知する方式のタッチパネルを用いたが、非接触式のタッチパネルを用いる場合にも、本発明を適用することができる。液晶ディスプレイ１０ｋ２の代わりに、プラズマディスプレイなど他の方式のディスプレイを用いることもできる。

複数の画像形成装置１が異なる機種であっても操作ログデータ５Ｆを共用できるように、操作ログデータ５ＦのフォーマットとしてＣＳＶ（Comma Separated Value）などの一般的なフォーマットを用いるのが望ましい。

本実施形態で例示した種類以外のジェスチャ（例えば、ローテーション、４本の指によるスワイプなど）が用いられる場合にも、本発明を適用することができる。

その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 画像形成装置
１Ａ 画像形成装置（第一の画像形成装置）
１Ｂ 画像形成装置（第二の画像形成装置）
１Ｃ 画像形成装置（第二の画像形成装置）
１０１ タッチイベント受付部（表示面上位置算出手段）
１０３ タッチ応答処理決定部（処理決定手段）
１０５ ジェスチャ応答処理決定部（処理決定手段）
１０８ 画面等制御部（表示制御手段）
１２１ 操作ログデータ生成部（操作ログデータ生成手段）
１３３ 座標補正部（対応位置算出手段）
１０ｈ 接続インタフェースボード（操作ログデータ取得手段）
１０ｆ ＮＩＣ（操作ログデータ取得手段）
１０ｋ２ 液晶ディスプレイ
１０ｋ３ タッチパネル
５Ｆ 操作ログデータ
５Ｕ 位置対応データ（位置関係データ、第一の位置関係データ、第二の位置関係データ）

Claims (10)

1. 第一のディスプレイおよび前記第一のディスプレイの表示面に重ねられた第一のタッチパネルが設けられた第一の画像形成装置と、第二のディスプレイおよび前記第二のディスプレイの表示面に重ねられた第二のタッチパネルが設けられた第二の画像形成装置と、を有する画像処理システムであって、
   前記第一の画像形成装置に、
   前記第一のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記第一のディスプレイの表示面における表示面上位置を、前記第一のディスプレイの表示面と前記第一のタッチパネルとの位置関係を示す第一の位置関係データに基づいて算出する、表示面上位置算出手段と、
   前記表示面上位置算出手段によって算出された、時刻ごとの前記表示面上位置を示す操作ログデータを生成する、操作ログデータ生成手段と、
   が備えられ、
   前記第二の画像形成装置に、
   前記操作ログデータに示される前記表示面上位置に対応する、前記第二のタッチパネルにおける対応位置を、前記第二のディスプレイの表示面と前記第二のタッチパネルとの位置関係を示す第二の位置関係データに基づいて算出する、対応位置算出手段と、
   前記対応位置算出手段によって算出された前記対応位置を前記第二のタッチパネルにおけるタッチされた第二のタッチ位置として用いて、操作画面を前記第二のディスプレイに表示させる表示制御処理を決定する、処理決定手段と、
   前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、
   が備えられる、
   ことを特徴とする画像処理システム。
2. 前記対応位置算出手段は、前記対応位置を、前記第一のディスプレイに対する前記第二のディスプレイのサイズの割合に基づいて算出する、
   請求項１に記載の画像処理システム。
3. 前記処理決定手段は、前記第二のディスプレイに表示している画面の中のいずれのオブジェクトにも前記対応位置が属しない場合に、前記対応位置に最も近いオブジェクトがタッチされたものとして、前記表示制御処理を決定する、
   請求項１または請求項２に記載の画像処理システム。
4. 前記処理決定手段は、前記第二のディスプレイに表示している画面の中のいずれのオブジェクトにも前記対応位置が属しないが前記対応位置から所定の範囲内に１つまたは複数のオブジェクトがある場合に、当該１つまたは複数のオブジェクトのうちの前記対応位置に最も近いオブジェクトがタッチされたものとして、前記表示制御処理を決定する、
   請求項１または請求項２に記載の画像処理システム。
5. ディスプレイと、
   前記ディスプレイの表示面に重ねられたタッチパネルと、
   他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得する、操作ログデータ取得手段と、
   前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出する、対応位置算出手段と、
   前記対応位置算出手段によって算出された前記対応位置を前記タッチパネルにおけるタッチされた第二のタッチ位置として用いて、操作画面を前記ディスプレイに表示させる表示制御処理を決定する、処理決定手段と、
   前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、
   を有することを特徴とする画像形成装置。
6. ディスプレイと、
   前記ディスプレイの表示面に重ねられたタッチパネルと、
   他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得する、操作ログデータ取得手段と、
   前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出する、対応位置算出手段と、
   前記ディスプレイに表示している画面の中のオブジェクトのうちの前記対応位置算出手段によって算出された前記対応位置に最も近いオブジェクトがタッチされたものとして、操作画面を前記ディスプレイに表示させる表示制御処理を決定する、処理決定手段と、
   前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、
   を有することを特徴とする画像形成装置。
7. ディスプレイと、前記ディスプレイの表示面に重ねられたタッチパネルと、を有する画像形成装置における操作画面表示方法であって、
   他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得させ、
   前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出させ、
   算出した前記対応位置を前記タッチパネルにおけるタッチされた第二のタッチ位置として用いて、操作画面を前記ディスプレイに表示させる表示制御処理を決定させ、
   決定した前記表示制御処理を実行させる、
   ことを特徴とする操作画面表示方法。
8. ディスプレイと、前記ディスプレイの表示面に重ねられたタッチパネルと、を有する画像形成装置における操作画面表示方法であって、
   他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得させ、
   前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出させ、
   前記ディスプレイに表示している画面の中のオブジェクトのうちの算出した前記対応位置に最も近いオブジェクトがタッチされたものとして、操作画面を前記ディスプレイに表示させる表示制御処理を決定させ、
   決定した前記表示制御処理を実行させる、
   ことを特徴とする操作画面表示方法。
9. ディスプレイと、前記ディスプレイの表示面に重ねられたタッチパネルと、を有する画像形成装置に用いられるコンピュータプログラムであって、
   前記画像形成装置に、
   他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得する処理を実行させ、
   前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出する処理を実行させ、
   算出した前記対応位置を前記タッチパネルにおけるタッチされた第二のタッチ位置として用いて、操作画面を前記ディスプレイに表示させる表示制御処理を決定する処理を実行させ、
   決定した前記表示制御処理を実行させる、
   ことを特徴とするコンピュータプログラム。
10. ディスプレイと、前記ディスプレイの表示面に重ねられたタッチパネルと、を有する画像形成装置に用いられるコンピュータプログラムであって、
    前記画像形成装置に、
    他のディスプレイおよび前記他のディスプレイの表示面に重ねられた他のタッチパネルが設けられた他の画像形成装置において生成された、時刻ごとの前記他のタッチパネルにおけるタッチされた第一のタッチ位置に対応する、前記他のディスプレイの表示面における表示面上位置を示す操作ログデータを取得する処理を実行させ、
    前記操作ログデータに示される前記表示面上位置に対応する、前記タッチパネルにおける対応位置を、前記ディスプレイの表示面と前記タッチパネルとの位置関係を示す位置関係データに基づいて算出する処理を実行させ、
    前記ディスプレイに表示している画面の中のオブジェクトのうちの算出した前記対応位置に最も近いオブジェクトがタッチされたものとして、操作画面を前記ディスプレイに表示させる表示制御処理を決定する処理を実行させ、
    決定した前記表示制御処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images