JP2015103161A - 画像形成装置、操作画面の表示方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】タッチパネルに対する操作に基づく表示の処理を従来よりも確実に再現する。【解決手段】画像形成装置１に、次の手段を設ける。通常モードにおいてタッチパネル１０ｋ３に対して一連のタッチイベントが行われるごとに、この一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別部１０４。判別されたジェスチャを示す操作ログデータ５Ｆを記憶する操作ログデータ記憶部１２２。液晶ディスプレイに操作画面を表示させる表示制御処理を、通常モードの場合はジェスチャ判別部１０４が判別したジェスチャに基づいて決定し、再現モードの場合は操作ログデータ５Ｆに基づいて決定するジェスチャ応答処理決定部１０５。決定した表示制御処理を実行する画面等制御部１０８。【選択図】図８

Description

本発明は、タッチパネルに対する操作に応じてディスプレイに画像を表示する技術に関する。

近年、コピー、スキャン、ファックス、ＰＣプリント、およびボックス（ドキュメントサーバ）など様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」と呼ばれることもある。

ＡＤＦ（Auto Document Feeder）、印刷エンジン、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および大容量記憶装置などのハードウェアの性能が向上したり、ソフトウェアの開発の環境が整備されたりするのに伴い、上述の機能とともに用いられる付随的な様々な機能が開発されている。

このように、画像形成装置は、多機能化されている。多機能化が進めば、ユーザは、様々な処理を画像形成装置に実行させることができるようになる。

しかし、実行させることができる処理のバリエーションが増えれば増えるほど、画像形成装置の操作が複雑になりやすい。管理者が行うべき設定の操作も同様に、複雑になりやすい。

そこで、手本となる操作のログを予め記録しておき、操作の仕方を知りたいユーザのために、このログに基づいて操作を再現する方法が、提案されている（特許文献１、２）。ユーザは、操作が再現されるときにディスプレイに表示される画面の遷移を見ることによって、操作の仕方を確認することができる。

特開２０００−２３５５４９号公報 特開平７−１６０１４９号公報 特開２０１３−２２２２２９号公報

また、タッチパネルディスプレイのタッチパネルとしてマルチタッチに対応したタッチパネルが採用され、様々なジェスチャを認識できるようになった（特許文献３）。これにより、画面およびそれを構成する各オブジェクトに対して様々な操作を行うことができるようになった。したがって、近年、ますます、画像形成装置の操作が複雑になっている。

そこで、特許文献１、２に記載される方法によって、手本となる操作のログを予め記録しておき操作の仕方を知りたいユーザのためにこのログに基づいて操作を再現することが、考えられる。

しかし、特許文献１に記載される方法は、入力装置としてマウスが用いられる場合の方法である。また、特許文献２に記載される方法は、入力装置としてキーが用いられる場合の方法である。よって、これらの従来の方法では、入力装置としてタッチパネルが用いられる場合に、操作に基づく表示の処理を上手く再現することができないことがある。

本発明は、このような問題点に鑑み、タッチパネルに対する操作に基づく表示の処理を従来よりも確実に再現することを、目的とする。

本発明の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、前記ジェスチャ判別手段によって判別された前記ジェスチャを示すジェスチャログデータを記憶する記憶手段と、前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記ジェスチャ判別手段によって判別された前記ジェスチャに基づいて決定し、前記再現モードの場合は前記記憶手段に記憶されている前記ジェスチャログデータに基づいて決定する処理決定手段と、前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、を有する。

前記操作画面が第一の領域および第二の領域に分かれている場合は、前記ジェスチャ判別手段は、前記タッチパネルの全範囲の中の前記第一の領域に対応する第一の範囲に対する前記一連のタッチイベントについて、前記ジェスチャを判別し、前記記憶手段は、前記通常モードにおける、前記タッチパネルの全範囲の中の前記第二の領域に対応する第二の範囲に対する前記一連のタッチイベントを示すタッチイベントログデータをさらに記憶し、前記処理決定手段は、前記表示制御処理を、前記通常モードの場合は、前記一連のタッチイベントが前記第一の範囲に対するものであれば前記ジェスチャ判別手段によって判別された前記ジェスチャに基づいて決定し前記第二の範囲に対するものであれば当該一連のタッチイベントがなされた位置にあるオブジェクトに基づいて決定し、前記再現モードの場合は、前記一連のタッチイベントが前記第一の範囲に対するものであれば前記ジェスチャログデータに基づいて決定し前記第二の範囲に対するものであれば前記タッチイベントログデータに基づいて決定する。

好ましくは、前記ジェスチャログデータには、前記ジェスチャが行われた第一の時刻がさらに示され、前記タッチイベントログデータには、前記一連のタッチイベントが行われた第二の時刻がさらに示され、前記表示制御手段は、前記再現モードの場合は、前記第一の時刻および前記第二の時刻に基づいて前記表示制御処理を実行する。

本発明の他の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有する画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、前記ジェスチャ判別手段によって判別された前記ジェスチャを示すジェスチャログデータを生成する生成手段と、前記ジェスチャログデータを出力する出力手段と、を有する。

本発明の他の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、他の画像形成装置の第二のタッチパネルに対する一連のタッチイベントが表わすジェスチャを示すジェスチャログデータを取得する取得手段と、前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記ジェスチャ判別手段によって判別されたジェスチャに基づいて決定し、前記再現モードの場合は前記取得手段によって取得された前記ジェスチャログデータに基づいて決定する処理決定手段と、前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、を有する。

本発明によると、タッチパネルに対する操作に基づく表示の処理を従来よりも確実に再現することができる。

ネットワークシステムの例を示す図である。 画像形成装置の外観および内部の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 操作パネルユニットの構成の例を示す図である。 位置対応データの例を示す図である。 コピージョブ画面の例を示す図である。 バッジ列とコピージョブ画面との関係を説明するための図である。 画像形成装置の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。 基本的なタッチ操作の例を示す図である。 ジェスチャ判別部の構成の例を示す図である。 ファックス送信ジョブ画面の例を示す図である。 操作ログデータの例を示す図である。 画像形成装置の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。 フリックの軌跡の例を示す図である。 ダブルタップの軌跡の例を示す図である。 ハードキーパネル下方画像およびハードキーパネル右方画像の例を示す図である。 画像形成装置の全体的な処理の流れの例を説明するフローチャートである。 記録処理の流れの例を説明するフローチャートである。 再生処理の流れの例を説明するフローチャートである。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作ログデータの生成時における画面の遷移およびユーザの操作の例を示す図である。 操作ログデータの例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。

図１は、ネットワークシステム１００の例を示す図である。図２は、画像形成装置１の外観および内部の例を示す図である。図３は、画像形成装置１のハードウェア構成の例を示す図である。図４は、操作パネルユニット１０ｋの構成の例を示す図である。図５は、位置対応データ５Ｕの例を示す図である。図６は、コピージョブ画面３Ｃの例を示す図である。図７は、バッジ列４Ｌとコピージョブ画面３Ｃとの関係を説明するための図である。図８は、画像形成装置１の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。

図１に示すように、ネットワークシステム１００は、複数台の画像形成装置１、端末装置２、および通信回線ＮＷなどによって構成される。各画像形成装置１と端末装置２とは、通信回線ＮＷを介して通信を行うことができる。通信回線ＮＷとして、公衆回線、専用線、インターネット、またはいわゆるＬＡＮ（Local Area Network）回線などが用いられる。以下、各画像形成装置１を「画像形成装置１Ａ」、「画像形成装置１Ｂ」、…と区別して記載することがある。

画像形成装置１は、一般にＭＦＰ（Multi Function Peripherals）または複合機と呼ばれる画像処理装置であって、コピー、ＰＣプリント（ネットワークプリンティング）、ファックス、スキャン、およびボックスなどの機能を集約した装置である。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像ファイルなどのドキュメントデータを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

図２または図３に示すように、画像形成装置１は、メインＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、スキャンユニット１０ｅ、ＮＩＣ（Network Interface Card）１０ｆ、モデム１０ｇ、接続インタフェースボード１０ｈ、プリントユニット１０ｉ、後処理装置１０ｊ、および操作パネルユニット１０ｋなどによって構成される。

スキャンユニット１０ｅは、用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する。具体的には、スキャンユニット１０ｅは、イメージセンサ１０ｅ１、ＡＤＦ（Auto Document Feeder）１０ｅ２、読取用スリット１０ｅ３、およびプラテンガラス１０ｅ４などによって構成される。

ＡＤＦ１０ｅ２は、セットされた用紙を１枚ずつ読取用スリット１０ｅ３へ搬送する。すると、イメージセンサ１０ｅ１は、用紙が読取用スリット１０ｅ３を通過する際に、用紙から画像を読み取り、画像の電子データを生成する。また、ユーザがプラテンガラス１０ｅ４に原稿をセットした場合は、イメージセンサ１０ｅ１は、プラテンガラス１０ｅ４を走査することによって、用紙から画像を読み取り、画像の電子データを生成する。

ＮＩＣ１０ｆは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２などの装置と通信を行う。

モデム１０ｇは、固定電話網を介してＧ３などのプロトコルによってファックス端末と通信を行う。

接続インタフェースボード１０ｈは、周辺機器を画像形成装置１に接続するための装置である。接続インタフェースボード１０ｈとして、例えば、ＵＳＢ（Universal Serial Bus）ボードまたはＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４ボードなどが用いられる。

プリントユニット１０ｉは、スキャンユニット１０ｅによって読み取られた画像、または、ＮＩＣ１０ｆ、モデム１０ｇ、もしくは接続インタフェースボード１０ｈを介して入力された画像を、用紙に印刷する。具体的には、プリントユニット１０ｉは、エンジン部１０ｉ１、給紙トレイ１０ｉ２、大容量給紙タンク１０ｉ３、および用紙搬送機構１０ｉ４などによって構成される。

給紙トレイ１０ｉ２は、１つまたは複数、プリントユニット１０ｉに設けられている。それぞれに、所定のサイズの用紙（白紙）が格納される。大容量給紙タンク１０ｉ３にも、所定のサイズの用紙（白紙）が格納されるが、給紙トレイ１０ｉ２よりも容量が大きい。よって、通常、最もよく使用されるサイズの用紙が格納される。

用紙搬送機構１０ｉ４は、給紙トレイ１０ｉ２または大容量給紙タンク１０ｉ３から用紙を１枚ずつエンジン部１０ｉ１へ搬送する。エンジン部１０ｉ１は、用紙に画像を印刷する。そして、用紙搬送機構１０ｉ４は、画像が印刷された用紙を排紙トレイまたはビンへ搬出する。なお、後処理（ステープルで綴じる処理またはパンチ穴を開ける処理など）が必要な場合は、画像が印刷された用紙を後処理装置１０ｊへ搬送する。

後処理装置１０ｊは、画像が印刷された１枚または複数の用紙に対して、適宜、上述の後処理を施す。

操作パネルユニット１０ｋは、ユーザインタフェースのユニットであって、図４に示すように、ハードキーパネル１０ｋ１、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）１０ｋ２、およびタッチパネル１０ｋ３などによって構成される。

ハードキーパネル１０ｋ１は、テンキー１ｋｔ、スタートキー１ｋｓ、ストップキー１ｋｐ、リセットキー１ｋｒ、電源キー１ｋｅ、およびファンクションキー１ｋｆ１〜１ｋｆ７などのキーによって構成される入力装置である。これらのキーは、液晶ディスプレイ１０ｋ２に表示されるキー（いわゆるソフトウェアキー）と区別するために、一般に、「ハードキー」または「ハードウェアキー」と呼ばれることがある。また、ファンクションキー１ｋｆ１〜１ｋｆ７のうち、ファンクションキー１ｋｆ２には、後述する操作の記録の開始および終了のコマンドが割り当てられている。ファンクションキー１ｋｆ４には、後述するホーム画面３Ｔの表示のコマンドが割り当てられている。そこで、以下、ファンクションキー１ｋｆ２を「開始終了コマンドキー１ｋｆ２」と記載し、ファンクションキー１ｋｆ４を「ホームキー１ｋｆ４」と記載する。

液晶ディスプレイ１０ｋ２には、ユーザへのメッセージを示す画面、処理の結果を示す画面、またはユーザが画像形成装置１に対して指示もしくは条件を入力するための画面などが表示される。

タッチパネル１０ｋ３は、液晶ディスプレイ１０ｋ２の表示面の全体を覆うように固定的に設けられており、タッチされた（押された）位置を検知し、メインＣＰＵ１０ａにその位置を通知する。タッチパネル１０ｋ３として、例えば、静電容量方式のタッチパネル、表面弾性波方式のタッチパネル、または電磁誘導方式のタッチパネルなどが用いられる。

図５のような、タッチパネル１０ｋ３の各位置が液晶ディスプレイ１０ｋ２のどの位置の上にあるのかを示すデータ（例えば、テーブル）が、予め用意されている。つまり、タッチパネル１０ｋ３の各位置と液晶ディスプレイ１０ｋ２の各位置との対応関係を示すデータが、予め用意されている。以下、このデータを「位置対応データ５Ｕ」と記載する。また、タッチパネル１０ｋ３における位置を「タッチパネル平面位置Ｐ」と記載し、液晶ディスプレイ１０ｋ２における位置を「ディスプレイ平面位置Ｑ」と記載する。

メインＣＰＵ１０ａは、タッチパネル１０ｋ３がタッチされた際に、タッチされたタッチパネル平面位置Ｐに対応するディスプレイ平面位置Ｑを位置対応データ５Ｕに基づいて求め、このディスプレイ平面位置Ｑがタッチされたものとして、処理を行うことができる。さらに、液晶ディスプレイ１０ｋ２に現在表示されている画面（以下、「カレント画面」と記載する。）の中の、このディスプレイ平面位置Ｑの画素がタッチされたものとして、処理を行うことができる。

このような仕組みにより、ユーザは、カレント画面を、タッチパネル１０ｋ３を介してタッチして操作することができる。

画面には、様々な種類のオブジェクトが配置されている。例えば、図６のコピージョブ画面３Ｃには、クローズボタン４Ａ、右スクロールボタン４Ｂ１、左スクロールボタン４Ｂ２、複数のオプション機能バッジ４Ｃ、複数のマーカ４Ｄ、およびスライドゲージ４Ｅなどのオブジェクトが配置されている。

クローズボタン４Ａは、コピージョブ画面３Ｃを閉じて１つ前の画面を再び表示させるためのボタンである。

オプション機能バッジ４Ｃは、オプション機能を表わすアイコンであり、画像形成装置１に備わっているオプション機能ごとに１つずつ用意されている。オプション機能バッジ４Ｃは、横一列に並んでおり、バッジ列４Ｌを形成している。しかし、すべてのオプション機能バッジ４Ｃを、同時に配置することができない。つまり、コピージョブ画面３Ｃには、図７に示すように、一部のオプション機能バッジ４Ｃのみが現われ、残りのオプション機能バッジ４Ｃが現われない。

ユーザは、バッジ列４Ｌをスクロールさせることによって、残りのオプション機能バッジ４Ｃを順次表示させることができる。以下、各オプション機能バッジ４Ｃを左から順に「オプション機能バッジ４Ｃａ」、「オプション機能バッジ４Ｃｂ」、…、「オプション機能バッジ４Ｃｚ」と区別して記載することがある。

右スクロールボタン４Ｂ１は、バッジ列４Ｌを右から左へスクロールさせるためのボタンである。左スクロールボタン４Ｂ２は、バッジ列４Ｌを左から右へスクロールさせるためのボタンである。

マーカ４Ｄも、オプション機能バッジ４Ｃと同様、横一列に並んでいる。マーカ４の個数は機能バッジ４Ｃの個数と同じである。そして、左のマーカ４から順に機能バッジ４Ｃａ、機能バッジ４Ｃｂ、…、機能バッジ４Ｃｚに対応している。ただし、すべてのマーカ４Ｄが、同時にコピージョブ画面３Ｃに現われている。以下、オプション機能バッジ４Ｃａ、オプション機能バッジ４Ｃｂ、…、オプション機能バッジ４Ｃｚに対応するマーカ４Ｄをそれぞれ「マーカ４Ｄａ」、「マーカ４Ｄｂ」、…、「マーカ４Ｄｚ」と区別して記載することがある。

スライドゲージ４Ｅは、スライドバー４Ｅ１およびウィンドウ４Ｅ２によって構成される。スライドバー４Ｅ１は、ドラッグまたはフリックに応じて左または右に移動する。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１の真上に設けられている。さらに、コピージョブ画面３Ｃに現在配置されているオプション機能バッジ４Ｃに対応する個数のマーカ４Ｄを囲っている。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１に固定されている。したがって、ウィンドウ４Ｅ２は、スライドバー４Ｅ１が移動すると、一緒に移動する。ユーザは、ウィンドウ４Ｅ２に囲われるマーカ４Ｄを、スライドバー４Ｅ１を操作することによって変えることができる。ウィンドウ４Ｅ２に囲われているマーカ４Ｄが変わると、それに伴い、バッジ列４Ｌがスクロールし、コピージョブ画面３Ｃに配置されるオプション機能バッジ４Ｃが変わる。

また、ユーザは、バッジ列４Ｌを直接ドラッグまたはフリックすることによって、スクロールさせることもできる。

右スクロールボタン４Ｂ１または左スクロールボタン４Ｂ２によってバッジ列４Ｌがスクロールした場合は、コピージョブ画面３Ｃにおけるオプション機能バッジ４Ｃの新たな配置に応じて、スライドゲージ４Ｅが移動する。

ところで、液晶ディスプレイ１０ｋ２は、全体が１つの領域である画面を表示することもあれば、複数の領域に分割されている画面を表示することもある。以下、画面を構成する領域を「要素領域」と記載する。さらに、要素領域は、シンプル操作領域およびジェスチャ領域のいずれかに分類されている。

「シンプル操作領域」は、ユーザのアクション（操作）として、タップのみを受け付ける領域である。一方、「ジェスチャ領域」は、ユーザのアクションとして、タップ、フリック、ドラッグ、およびダブルタップなど様々なジェスチャを受け付ける領域である。

各画面の各画素がどの要素領域に属するのかは、および、各要素領域がシンプル操作領域およびジェスチャ領域のいずれに属するのかは、予め決められており、各画面の表示用のデータ（以下、「画面データ５Ｗ」と記載する。）に定義されている。

図６のコピージョブ画面３Ｃは、第一の要素領域３Ｃ１、第二の要素領域３Ｃ２、および第三の要素領域３Ｃ３に分割されているが、第一の要素領域３Ｃ１はシンプル操作領域に設定され、第二の要素領域３Ｃ２および第三の要素領域３Ｃ３はジェスチャ領域に設定されている。

図２および図３に戻って、ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、上述のコピーおよびＰＣプリントなどの機能を実現するためのプログラムが記憶されている。さらに、図８に示すタッチイベント受付部１０１、操作領域判別部１０２、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、ジェスチャ応答処理決定部１０５、ハードキー操作受付部１０６、ハードキー応答処理決定部１０７、画面等制御部１０８、操作ログデータ生成部１２１、操作ログデータ記憶部１２２、操作ログ読出部１３１、および初期画面表示制御部１３２などの機能を実現するためのプログラムが記憶されている。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、メインＣＰＵ１０ａによって実行される。

図８に示すタッチイベント受付部１０１ないし条件変更部１３３は、ユーザが操作パネルユニット１０ｋに対して行った操作に基づいて、画面を表示したりジョブを実行したりするように各ハードウェアを制御する。さらに、操作のログを記録しておき、後に、このログに基づいて操作を再現することができる。

以下、タッチイベント受付部１０１ないし画面等制御部１０８の処理を、操作に基づく基本的な処理、操作を記録する処理、および記録に基づいて操作を再現する処理に大別して説明する。また、ユーザのリアルタイムの操作に応じて処理を行うモードを「通常モード」と記載し、記録に基づいて操作を再現し処理を行うモードを「再現モード」と記載する。

〔操作に基づく基本的な処理〕
図９は、基本的なタッチ操作の例を示す図である。図１０は、ジェスチャ判別部１０４の構成の例を示す図である。図１１は、ファックス送信ジョブ画面３Ｆの例を示す図である。

図８のタッチイベント受付部１０１ないし画面等制御部１０８は、通常モードにおいて、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対してユーザがリアルタイムに行う操作に応じて、次のように処理を行う。

タッチパネル１０ｋ３は、タッチされたことを検知すると、タッチが終了するまで（つまり、指またはペンなどがタッチパネル１０ｋ３から離れるまで）、所定の時間Ｔａごとに、タッチされているタッチパネル平面位置Ｐ（以下、「タッチ位置ＰＴ」と記載する。）を示すタッチ位置信号５Ａを出力する。

タッチイベント受付部１０１は、タッチ位置信号５Ａを受け付けるごとに、このタッチ位置信号５Ａに示されるタッチ位置ＰＴに対応するディスプレイ平面位置Ｑ（以下、「タッチ位置ＱＴ」と記載する。）を、位置対応データ５Ｕ（図５参照）に基づいて算出する。

さらに、タッチイベント受付部１０１は、タッチ位置信号５Ａを受け付けるごとに、および、タッチ位置信号５Ａが途切れた場合に、タッチパネル１０ｋ３に対して行われたイベント（以下、「タッチイベント」と記載する。）を次のように検知する。

タッチイベント受付部１０１は、タッチ位置信号５Ａを今から所定の時間Ｔａ前に受け付けていなかったが、新たにタッチ位置信号５Ａを受け付けた場合は、タッチイベントとして、図９（Ａ）のような「プレス」を検知する。

プレスの後、所定の時間Ｔａごとにタッチ位置信号５Ａを受け付けると、タッチイベント受付部１０１は、タッチイベントとして、図９（Ｂ）のような「キープ」を検知する。なお、一般的に、キープを、タッチの位置が変わる「ムーヴ」、および、位置が変わらない「ステイ」の２つに区別することができる。「ムーヴ」および「ステイ」を区別して検知してもよいが、本実施形態では、両者を区別せず一律に「キープ」を検知する。

所定の時間Ｔａよりも長い時間、タッチ位置信号５Ａを受け付けなくなった場合、つまり、タッチ位置信号５Ａが途切れた場合は、タッチイベント受付部１０１は、タッチイベントとして、図９（Ｃ）のような「リリース」を検知する。

操作領域判別部１０２は、プレスのタッチ位置信号５Ａ（つまり、１番目のタッチ位置信号５Ａ）がタッチイベント受付部１０１によって受け付けられた場合に、このタッチ位置信号５Ａに基づいて算出されたタッチ位置ＱＴが属する領域の種類を、カレント画面の画面データ５Ｗに基づいて判別する。具体的には、カレント画面におけるタッチ位置ＱＴの画素が属する要素領域を判別する。そして、この要素領域に設定されている領域の種類（シンプル操作領域またはジェスチャ領域）を判別する。

操作領域判別部１０２による判別の結果に応じて、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、およびジェスチャ応答処理決定部１０５は、次の処理を行う。

タッチ位置ＱＴの画素の属する要素領域がシンプル操作領域であると判別された場合は、タッチ応答処理決定部１０３が、ユーザが行ったタッチイベントに対する応答として実行すべき処理を決定する。以下、この処理を「タッチ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

上述の通り、タッチイベントとして、タッチイベント受付部１０１は、プレス、キープ、およびリリースのいずれかを検知する。タッチ応答処理決定部１０３は、タッチ位置ＱＴの画素および検知されたタッチイベントに応じて処理を決定する。

例えば、タッチ位置ＱＴの画素を含むオブジェクトが図６のコピージョブ画面３Ｃのクローズボタン４Ａであり、かつ、タッチイベントがプレスである場合は、クローズボタン４Ａの形態を変える（例えば、色をグレーに変更し、または窪んだ形状に変える）処理をタッチ応答処理に決定する。その後、クローズボタン４Ａの中の任意の位置においてリリースがなされた場合は、クローズボタン４Ａに予め対応付けられている処理、つまり、コピージョブ画面３Ｃを閉じて１つ前の画面を表示する処理をタッチ応答処理に決定する。

または、タッチ位置ＱＴの画素を含むオブジェクトが右スクロールボタン４Ｂ１であり、かつ、タッチイベントがプレスまたはキープである場合は、バッジ列４Ｌを右から左へスクロールする処理をタッチ応答処理に決定する。

一方、タッチ位置ＱＴの画素の属する要素領域がジェスチャ領域であると判別された場合は、ジェスチャ判別部１０４およびジェスチャ応答処理決定部１０５によって次の処理が行われる。

ジェスチャ判別部１０４は、タッチイベント受付部１０１によって連続的に検知されたタッチイベントと各タッチイベントのタッチ位置ＱＴとに基づいて、これらの一連のタッチイベントが表わすジェスチャを判別し、そのジェスチャのパラメータ５Ｃを決定する。判別および決定の方法は従来と同様であるが、以下、この方法の一例を説明する。

例えば、同じタッチ位置ＱＴにおいてプレス、キープ、およびリリースの組合せの操作が所定の時間Ｔｂ（例えば、０．５秒）以内に２回検知された場合は、ジェスチャ判別部１０４は、ジェスチャがダブルタップであると判別する。同じタッチ位置ＱＴにおいてプレス、キープ、およびリリースの組合せの操作が１回検知されたが、所定の時間Ｔｂ以内に同じタッチ位置ＱＴにおいてタッチイベントが検知されなかった場合は、ジェスチャ判別部１０４は、ジェスチャがタップであると判別する。

なお、操作が速い場合は、キープが検知されないことがある。そこで、プレス、キープ、およびリリースの組合せの操作の代わりにプレスおよびリリースの組合せの操作が検知された場合も、同様に判別する。キープの連続する回数が所定の回数を超える場合は、タップではなくロングタップであると判別してもよい。また、２つのタッチ位置ＱＴ同士の距離が所定の範囲内であれば、両タッチ位置ＱＴを同じものとみなしてもよい。

そして、ジェスチャ判別部１０４は、プレスの際のタッチ位置ＱＴをパラメータ５Ｃに決定する。

または、プレスが検知された後、一定の方向にタッチ位置ＱＴが所定の速さＳａ以上の速さで移動しながらキープが検知され、リリースが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをフリックであると判別する。さらに、プレスの際のタッチ位置ＱＴのほか速さ、時間、および方向をパラメータ５Ｃに決定する。なお、この速さ、時間、および方向は、画面の全部分または一部分をスクロールさせる際の速さ、時間、および方向である。方向は、プレスの位置を基準とするベクトルによって表わされる。

または、プレスが検知された後、タッチ位置ＱＴが所定の速さＳａ未満の速さで変化しながらキープが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをドラッグ（パン）であると判別する。さらに、プレスの際のタッチ位置ＱＴおよびタッチ位置ＱＴの軌跡をパラメータ５Ｃに決定する。また、リリースの前にドラッグに関係のない操作が行われた場合は、ドラッグがキャンセルされたものとして取り扱ってもよい。例えば、リリースの前にタッチ位置ＱＴの軌跡から外れた位置でタッチがなされた場合に、ドラッグがキャンセルされたものとして取り扱ってもよい。

または、２つのタッチ位置ＱＴにおいてプレスが検知された後、両タッチ位置ＱＴが離れ続けた場合は、ジェスチャ判別部１０４は、ジェスチャをピンチ（ズーム、ピンチアウト）であると判別する。さらに、プレスの際の両タッチ位置ＱＴを結ぶ線分の中点の座標のほか、ピンチの速さ、時間、および方向をパラメータ５Ｃに決定する。

ジェスチャ判別部１０４を、ジェスチャごとの認識部によって構成してもよい。例えば、図１０のように、ジェスチャマネージャ１４０、タップ認識部１４１、ダブルタップ認識部１４２、フリック認識部１４３、ドラッグ認識部１４４、およびピンチ認識部１４５によって構成する。各認識部１４１〜１４５には、タッチイベント受付部１０１によってタッチイベントが検出されタッチ位置ＱＴが算出されるごとに、これらの情報が入力される。すると、各認識部１４１〜１４５は、自らに対応するジェスチャが行われたか否かを、これらの情報に基づいて認識する。例えば、タップ認識部１４１はタップが行われたか否かを認識し、ピンチ認識部１４５はピンチが行われたか否かを認識する。そして、行われたことを認識した場合は、その旨をジェスチャマネージャ１４０に通知する。ジェスチャマネージャ１４０は、各認識部１４１〜１４５からの通知に基づいて、ジェスチャを判別する。

各認識部として、画像形成装置１のオペレーティングシステムに予め用意されているジェスチャレコグナイザ（Gesture Recognizer）を用いてもよい。この場合は、各ジェスチャのパラメータ５Ｃは、オペレーティングシステムの仕様に従って決定される。

ジェスチャ応答処理決定部１０５は、ユーザが行ったジェスチャに対する応答として実行すべき処理を決定する。以下、この処理を「ジェスチャ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、図６のコピージョブ画面３Ｃの任意のオプション機能バッジ４Ｃに対してフリックが行われた場合は、ジェスチャ応答処理決定部１０５は、パラメータ５Ｃに応じてバッジ列４Ｌをスクロールする処理をタッチ応答処理に決定する。

または、オプション機能バッジ４Ｃｓに対してダブルタップが行われた場合は、ジェスチャ応答処理決定部１０５は、オプション機能バッジ４Ｃｓの形態をオンを表わす形態に変更するとともにウォータマークの適用の有無の設定値をオンに更新する処理をタッチ応答処理に決定する。

ハードキーパネル１０ｋ１は、キー（ハードキー）が押されるごとに、そのキーを示す押下キー信号５ＤをメインＣＰＵ１０ａへ出力する。すると、ハードキー操作受付部１０６およびハードキー応答処理決定部１０７によって次の処理が行われる。

ハードキー操作受付部１０６は、押下キー信号５Ｄを受け付ける。ハードキー応答処理決定部１０７は、カレント画面および押下キー信号５Ｄに基づいて、ユーザがハードキーパネル１０ｋ１に対して行った操作に対する応答として実行すべき処理を決定する。以下、この処理を「ハードキー応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、任意の画面が表示されているときにファンクションキー１ｋｆ１（図４参照）が押された場合は、図１１（Ａ）のようなファックス送信ジョブ画面３Ｆを表示する処理をハードキー応答処理に決定する。

または、ファックス送信ジョブ画面３Ｆがカレント画面であるときにテンキー１ｋｔによってファックス番号が入力された場合は、そのファックス番号を送信先として受け付けるとともに図１１（Ｂ）のようにファックス送信ジョブ画面３Ｆに反映させる処理をハードキー応答処理に決定する。

画面等制御部１０８は、タッチ応答処理決定部１０３がタッチ応答処理を決定し、ジェスチャ応答処理決定部１０５がジェスチャ応答処理を決定し、またはハードキー応答処理決定部１０７がハードキー応答処理を決定するごとに、決定されたタッチ応答処理、ジェスチャ応答処理、またはハードキー応答処理が実行されるように、各ハードウェアを制御する。以下、タッチ応答処理、ジェスチャ応答処理、およびハードキー応答処理を「応答処理」と総称する。

応答処理は、従来通り、ＡＰＩ（Application Program Interface）を介して行うことができる。

そのほか、画面等制御部１０８は、オペレーティングシステムからの通知に応じて、メッセージウィンドウが表示されるように液晶ディスプレイ１０ｋ２を制御する。

〔操作を記録する処理〕
図１２は、操作ログデータ５Ｆの例を示す図である。

ユーザが開始終了コマンドキー１ｋｆ２を押すことによって記録の開始のコマンドを入力すると、図８の操作ログデータ生成部１２１および操作ログデータ記憶部１２２は、操作パネルユニット１０ｋに対する操作のログを記録する処理を次のように行う。

ユーザは、後に再現させたい一連の操作のうち最初の操作を行う際の画面を液晶ディスプレイ１０ｋ２に表示させておく。そして、開始終了コマンドキー１ｋｆ２を押し、一連の操作を開始する。

タッチイベント受付部１０１ないし画面等制御部１０８は、通常モードの場合と同様、上述の方法によって、一連の操作に応じて処理を行う。

さらに、操作ログデータ生成部１２１は、図１２のような操作ログデータ５Ｆを生成する処理を次のように実行する。

操作ログデータ生成部１２１は、空の操作ログデータ５Ｆを用意する。シンプル操作領域に対する操作が行われた場合は、タッチイベント受付部１０１によって検知されたタッチイベントごとのレコードを操作ログデータ５Ｆに追記する。

レコードには、「操作タイプ」として「タッチ」が示され、「操作内容」としてタッチイベント受付部１０１によって検知されたタッチイベントおよびタッチ位置ＱＴが示される。さらに、直前の（１つ前の）タッチイベント、ジェスチャ、または押下キー信号５Ｄが検知されまたは受け付けられてからこのタッチイベントを検知するまでの時間が経過時間Ｔｒとして示される。

または、ジェスチャ領域に対する操作が行われた場合は、操作ログデータ生成部１２１は、ジェスチャ判別部１０４によって判別されたジェスチャのレコードを操作ログデータ５Ｆに追記する。

このレコードには、「操作タイプ」として「ジェスチャ」が示される。「操作内容」として、ジェスチャ判別部１０４によって検知されたジェスチャの種類（タップ、ダブルタップ、フリック、ドラッグ、またはピンチなど）および算出されたパラメータ５Ｃのほか、直前の（１つ前の）ジェスチャ、押下キー信号５Ｄ、またはシンプル操作領域に対する最後のタッチイベントが検知されまたは受け付けられてからこのジェスチャに係る最初のタッチイベントが検知されるまでの時間が経過時間Ｔｒとして示される。

または、ハードキーパネル１０ｋ１のいずれかのキーに対する操作が行われた場合は、操作ログデータ生成部１２１は、このキーのレコードを操作ログデータ５Ｆに追記する。

このレコードには、「操作タイプ」として「キー押下」が示され、「操作内容」として押下キー信号５Ｄ（押されたハードキー）が示される。さらに、直前の（１つ前の）ジェスチャ、押下キー信号５Ｄ、またはシンプル操作領域に対する最後のタッチイベントが検知されまたは受け付けられてからこの押下キー信号５Ｄが受けられるまでの時間が経過時間Ｔｒとして示される。

操作ログデータ生成部１２１は、終了コマンドが入力されるまでの間、操作があるごとに、操作に応じたレコードを上述の方法で操作ログデータ５Ｆに追記する。さらに、操作ログデータ生成部１２１は、操作ログデータ５Ｆに、開始コマンドが入力された際に液晶ディスプレイ１０ｋ２に表示されていた画面の識別子（以下、「開始時画面識別子」と記載する。）を対応付ける。

なお、１番目のレコードの場合は、経過時間Ｔｒとして開始コマンドが入力されてから経過した時間が示される。

〔操作を再現する処理〕
図１３は、画像形成装置１の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。図１４は、フリックの軌跡の例を示す図である。図１５は、ダブルタップの軌跡の例を示す図である。図１６は、ハードキーパネル下方画像３ＨＫ１およびハードキーパネル右方画像３ＨＫ２の例を示す図である。

ユーザが操作の再現のコマンド（以下、「再現コマンド」と記載する。）を入力すると、図８の操作ログ読出部１３１および初期画面表示制御部１３２は、ユーザが過去に行った一連の操作を再現する処理をタッチ応答処理決定部１０３、ジェスチャ応答処理決定部１０５、ハードキー応答処理決定部１０７、および画面等制御部１０８と連携して実行する。以下、この処理を、図１３などを参照しながら説明する。

操作ログ読出部１３１は、再現コマンドが入力されると、画像形成装置１を通常モードから再現モードに切り換え、操作ログデータ記憶部１２２から操作ログデータ５Ｆを読み出す。

そして、操作ログ読出部１３１は、操作ログデータ５Ｆに付されている開始時画面識別子を初期画面表示制御部１３２に与える。

すると、初期画面表示制御部１３２は、この開始時画面識別子の画面が表示されるように液晶ディスプレイ１０ｋ２を制御する。

また、操作ログ読出部１３１は、操作ログデータ５Ｆのレコードを上から順に、タッチ応答処理決定部１０３、ジェスチャ応答処理決定部１０５、およびハードキー応答処理決定部１０７のいずれかに、次のように与える。そして、タッチ応答処理決定部１０３、ジェスチャ応答処理決定部１０５、およびハードキー応答処理決定部１０７は、次のように処理を行う。

操作タイプとして「タッチ」が示されるレコードは、タッチ応答処理決定部１０３に与えられる。すると、タッチ応答処理決定部１０３は、このレコードに示されるタッチ位置ＱＴの画素およびタッチイベントに応じてタッチ応答処理を決定する。

操作タイプとして「ジェスチャ」が示されるレコードは、ジェスチャ応答処理決定部１０５に与えられる。すると、ジェスチャ応答処理決定部１０５は、このレコードに示されるジェスチャおよびパラメータ５Ｃに応じてジェスチャ応答処理を決定する。

操作タイプとして「キー押下」が示されるレコードは、ハードキー応答処理決定部１０７に与えられる。すると、ハードキー応答処理決定部１０７は、このレコードに示される押下キー信号５Ｄに応じてハードキー応答処理を決定する。

なお、レコードを各部に与えるタイミングは、各レコードに示される経過時間Ｔｒに従う。すなわち、１番目のレコードは、再現コマンドが入力されてから、このレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。Ｎ番目（Ｎ≧２）のレコードは、（Ｎ−１）番目のレコードが与えられてからＮ番目のレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。また、各応答処理の決定の仕方は、通常モードの場合と同様であり、前に説明した通りである。

そして、画面等制御部１０８は、通常モードの場合と同様、タッチ応答処理決定部１０３、ジェスチャ応答処理決定部１０５、またはハードキー応答処理決定部１０７によって応答処理が決定されるごとに、それが実行されるように各ハードウェアを制御する。

このように操作ログデータ５Ｆに基づいて操作を再現すると、画面が遷移する。ユーザは、これを見ることによって、どのような操作が行われたのかを推定することができる。

ユーザがさらに容易に推定できるようにするために、画面等制御部１０８は、画面にタッチ位置ＱＴを表わすマークを重ねて表示させてもよい。例えば、図１４のように、フリックの際の全部または一部のタッチ位置ＱＴを表わすマークを軌跡として表示させてもよい。これにより、ユーザは、フリックの強さを容易に推定することができる。

また、ジェスチャ判別部１０４によって判別されたジェスチャに応じてタッチ位置ＱＴを表わすマークの形態を変えてもよい。例えば、フリックの場合は、画面等制御部１０８は、図１４に示したように、タッチ位置ＱＴを表わすマークとして太線の真円を表示させる。ドラッグの場合は、点線の三角形を表示させる。

または、ダブルタップの場合に、画面等制御部１０８は、図１５のように、二重丸を表示させる。１回目のタップ（プレスからリリースまでの一連のタッチ）のタイミングで内側の丸を表示させ、２回目のタップのタイミングで外側の丸を表示させてもよい。

ハードキーパネル１０ｋ１に対する操作を再現しても、どのキーが押されたのかをユーザが推定することができない場合がある。そこで、画面等制御部１０８は、ハードキーパネル１０ｋ１の画像を画面の上に重ねて表示させ、押されたキーの上にマークを表示させてもよい。ハードキーパネル１０ｋ１の全部分の画像を表示するのではなく、一部分の画像を表示してもよい。また、常時表示しておくのではなく、ハードキーパネル１０ｋ１に対する操作があった際に表示し、その後、閉じてもよい。

例えば、ファンクションキー１ｋｆ１がタッチされた時点を含む所定の期間において、画面等制御部１０８は、図１６（Ａ）のように、ハードキーパネル１０ｋ１の下方を表わすハードキーパネル下方画面３ＨＫ１を表示させる。そして、ファンクションキー１ｋｆ１の画像の上に、所定のマーク（例えば、星形のマーク）を表示させる。同様に、ファンクションキー１ｋｆ４が操作ログデータ５Ｆに示される場合は、図１６（Ｂ）のようなハードキーパネル右方画面３ＨＫ２を表示させる。そして、ファンクションキー１ｋｆ４の画像の上に、所定のマークを表示させる。

図１７は、画像形成装置１の全体的な処理の流れの例を説明するフローチャートである。図１８は、記録処理の流れの例を説明するフローチャートである。図１９は、再生処理の流れの例を説明するフローチャートである。

次に、画像形成装置１における表示に関する全体的な処理の流れを、図１７〜図１９などを参照しながら説明する。

画像形成装置１は、電源がオンである間、操作パネルユニット１０ｋに対するユーザの操作に応じて、図１７に示すように処理を実行する。

すなわち、画像形成装置１は、開始コマンドが入力されると（＃１１でＹｅｓ）、操作のログを記録する処理を、図１８に示す手順で実行する（＃１２）。

図１８において、画像形成装置１は、空の操作ログデータ５Ｆを生成し、カレント画面の開始時画面識別子を対応付ける（＃７０１）。

画像形成装置１は、タッチ位置信号５Ａをタッチパネル１０ｋ３によって受け付けた場合は（＃７０２でＹｅｓ）、タッチ位置ＱＴを算出するとともにタッチイベントを判別する（＃７０３）。さらに、タッチ位置ＱＴが属する領域の種類（シンプル操作領域またはジェスチャ領域）を判別する（＃７０４）。

この領域の種類がジェスチャ領域であれば（＃７０５でＹｅｓ）、画像形成装置１は、ユーザが行ったジェスチャの判別を試みる（＃７０６）。ただし、ジェスチャは複数のタッチの組合せによって表現されるので、未だジェスチャを判別できないことがある。画像形成装置１は、ジェスチャを判別できたら（＃７０７でＹｅｓ）、判別結果および経過時間Ｔｒを示し、操作タイプとして「ジェスチャ」を示すレコードを、操作ログデータ５Ｆに追記し（＃７０８）、このジェスチャに応じて実行すべき処理の決定を試みる（＃７０９）。そして、処理を決定できたら（＃７１０でＹｅｓ）、この処理を実行する（＃７１１）。

一方、この領域の種類がシンプル操作領域であれば（＃７０５でＮｏ）、画像形成装置１は、ステップ＃７０３で算出したタッチ位置ＱＴおよび検知したタッチイベントと経過時間Ｔｒとを示し、操作タイプとして「タッチ」を示すレコードを、操作ログデータ５Ｆに追記し（＃７１２）、このタッチイベントに応じて実行すべき処理の決定を試みる（＃７１３）。そして、処理を決定できたら（＃７１４でＹｅｓ）、この処理を実行する（＃７１５）。

または、画像形成装置１は、押下キー信号５Ｄをハードキーパネル１０ｋ１によって受け付けた場合は（＃７０２でＮｏ、＃７１６でＹｅｓ）、この押下キー信号５Ｄに開始終了コマンドキー１ｋｆ２が示されていなければ（＃７１７でＮｏ）、この押下キー信号５Ｄおよび経過時間Ｔｒを示し、操作タイプとして「キー押下」を示すレコードを、操作ログデータ５Ｆに追記する（＃７１８）。このキーの押下に応じて実行すべき処理の決定を試みる（＃７１９）。そして、処理を決定できたら（＃７２０でＹｅｓ）、この処理を実行する（＃７２１）。

開始終了コマンドキー１ｋｆ２が押されるまで、画像形成装置１は、適宜、ステップ＃７０２〜＃７２１の処理を実行する。

そして、画像形成装置１は、開始終了コマンドキー１ｋｆ２を示す押下キー信号５Ｄを受け付けたら（＃７１７でＹｅｓ）、操作のログを記録する処理を終了する。

図１７に戻って、画像形成装置１は、再現コマンドが入力されると（＃１３でＹｅｓ）、操作ログデータ５Ｆに基づいて、ユーザの操作を再現する処理を、図１９に示す手順で実行する（＃１４）。

画像形成装置１は、操作ログデータ５Ｆを読み出し、操作ログデータ５Ｆに対応付けられている開始時画面識別子の画面を表示させる（図１９の＃７３１）。

画像形成装置１は、操作ログデータ５Ｆの上から１番目のレコードに注目する（＃７３２、＃７３３）。

注目したレコードに操作タイプとして「押下キー」が示される場合は（＃７３４でＹｅｓ）、画像形成装置１は、図１６で説明したように、ハードキーパネル１０ｋ１の画像をカレント画面に重ねて表示するとともに、このレコードに示される押下キー信号５Ｄに対応するキーにマークを表示する（＃７３５）。そして、このキーの押下に応じて実行すべきハードキー応答処理の決定を試みる（＃７３６）。ハードキー応答処理を決定できたら（＃７３７でＹｅｓ）、これを実行する（＃７３８）。

または、注目したレコードに操作タイプとして「ジェスチャ」が示される場合は（＃７３４でＮｏ、＃７３９でＹｅｓ）、画像形成装置１は、このレコードに示される操作内容に応じて実行すべきジェスチャ応答処理の決定を試みる（＃７４０）。ジェスチャ応答処理を決定できたら（＃７４１でＹｅｓ）、これを実行する（＃７４２）。

または、注目したレコードに操作タイプとして「タッチ」が示される場合は（＃７３４でＮｏ、＃７３９でＮｏ）、画像形成装置１は、このレコードに示される操作内容に応じて実行すべきタッチ応答処理の決定を試みる（＃７４３）。タッチ応答処理を決定できたら（＃７４４でＹｅｓ）、これを実行する（＃７４５）。

未だ注目していないレコードが操作ログデータ５Ｆに残っている場合は（＃７４６でＹｅｓ）、画像形成装置１は、ステップ＃７３３に戻って、これらのレコードのうちの一番上のレコードに注目し、ステップ＃７３４〜＃７４５の処理を適宜、実行する。

図１７に戻って、操作の記録および再現以外に関するコマンドなどが入力された場合は（＃１３でＮｏ）、画像形成装置１は、従来通り、このコマンドなどに基づいて処理を実行する（＃１５）。

操作ログデータ５Ｆをサーバまたは可搬型の記録媒体（例えば、ＵＳＢメモリ）を介して他の画像形成装置１へコピーし、他の画像形成装置１において、これに基づいて操作を再現してもよい。例えば、メーカの事業所の画像形成装置１Ａによって作成者がマニュアルとして操作ログデータ５Ｆを生成し、研修中のサービスエンジニアへ配付する。サービスエンジニアは、画像形成装置１Ｂの操作ログデータ記憶部１２２（図８、図１３参照）に操作ログデータ５Ｆをコピーする。再現コマンドを入力することによって、操作を再現させる。そして、この際に表示される画面を見ることによって、操作の仕方を確認する。

ここで、操作ログデータ５Ｆを画像形成装置１Ａで生成し画像形成装置１Ｂで使用する場合の操作、処理、および画面の遷移を、複写物の綴じ代を「左綴じ」に設定する場合を例に説明する。

〔生成時〕
図２０〜図２２は、操作ログデータ５Ｆの生成時における画面の遷移およびユーザの操作の例を示す図である。図２３は、操作ログデータ５Ｆの例を示す図である。

操作用のマニュアルの作成者は、図２０（Ａ）のホーム画面３Ｔが表示されているときに、画像形成装置１Ａの開始終了コマンドキー１ｋｆ２（図４参照）を押すことによって）開始コマンドを入力する。なお、ホーム画面３Ｔは、全体がシンプル操作領域である。

すると、画像形成装置１Ａは、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対する操作の記録を開始する。なお、記録の手順は、前に図１８で説明した通りである。本例においては、画像形成装置１Ａは、まず、空の操作ログデータ５Ｆを用意し、その後、これに操作の内容を順次書き込む。

作成者は、ホーム画面３Ｔの中からコピーボタン４ＴＪ１をタップする。すると、画像形成装置１Ａは、作成者がコピーボタン４ＴＪ１をタップ（タッチ）している間の各時刻におけるレコードとして、図２３のようなレコード５Ｆａ１〜５Ｆａ４を操作ログデータ５Ｆに追記する。さらに、ホーム画面３Ｔに代えて図２０（Ｂ）のようなコピージョブ画面３Ｃを表示する。

作成者は、バッジ列４Ｌを左から右へフリックする。バッジ列４Ｌはジェスチャ領域に属しているので、画像形成装置１Ａは、このフリックのレコードとしてレコード５Ｆｂを操作ログデータ５Ｆに追記する。さらに、バッジ列４Ｌをスクロールさせる。これにより、バッジ列４Ｌが図２０（Ｃ）のように遷移する。

作成者は、オプション機能バッジ４Ｃａをダブルタップする。すると、画像形成装置１Ａは、このダブルタップのレコードとしてレコード５Ｆｃを操作ログデータ５Ｆに追記する。さらに、図２１（Ａ）のようにコピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

ダイアログボックス３ＤＢ１を見やすくするために、作成者は、ダイアログボックス３ＤＢ１の任意の位置でピンチする。すると、画像形成装置１Ａは、このピンチのレコードとしてレコード５Ｆｄを操作ログデータ５Ｆに追記する。さらに、図２１（Ｂ）のように、ダイアログボックス３ＤＢ１を拡大する。なお、ダイアログボックス３ＤＢ１は、全体がジェスチャ領域である。

作成者は、プルダウンボタン４ＰＢをタップする。すると、画像形成装置１は、このタップのレコードとしてレコード５Ｆｅを操作ログデータ５Ｆに追記する。さらに、図２１（Ｃ）のようにダイアログボックス３ＤＢ１の上にプルダウンメニュー３ＰＭ１を表示する。

作成者は、プルダウンメニュー３ＰＭ１の中から「左綴じ」に対応する選択肢４ＳＴ１をタップする。すると、画像形成装置１は、このタップのレコードとしてレコード５Ｆｆを操作ログデータ５Ｆに追記する。さらに、図２２（Ａ）のように、選択肢４ＳＴ１を、選択されたことを表わす形態（本例では、文字の色と背景の色とを反転させた形態）に変更する。そして、タップが終わった後、所定の時間（例えば、０．５秒）が経過したら、図２２（Ｂ）のようにプルダウンメニュー３ＰＭ１を閉じるとともに、複写物の綴じ代を「左綴じ」に設定する。

作成者は、ハードキーパネル１０ｋ１のファンクションキー１ｋｆ４を押す。なお、ファンクションキー１ｋｆ４は、ホーム画面３Ｔに戻るためのキーである。すると、画像形成装置１は、このキーの押下のレコードとしてレコード５Ｆｇを操作ログデータ５Ｆに追記する。さらに、コピージョブ画面３Ｃを閉じ、図２２（Ｃ）のように再びホーム画面３Ｔを表示する。

そして、作成者は、開始終了コマンドキー１ｋｆ２を押すことによって終了コマンドを入力する。すると、画像形成装置１は、記録の処理を終了する。また、画像形成装置１は、操作ログデータ５Ｆに、開始コマンドの入力時のカレント画面つまりホーム画面３Ｔの識別子を開始時画面識別子として対応付けておく。

以上説明した操作および処理によって、記録すなわち操作ログデータ５Ｆの生成が完了する。

そして、作成者は、操作ログデータ５Ｆを可搬型の記録媒体にコピーし、サービスエンジニアに渡す。

〔再現時〕
図２４〜図２７は、操作の再現時における画面の遷移の例を示す図である。

サービスエンジニアは、画像形成装置１Ｂに可搬型の記録媒体をセットし、操作ログデータ５Ｆを操作ログデータ記憶部１２２にコピーする。そして、再現コマンドを入力する。すると、画像形成装置１Ｂは、操作ログデータ５Ｆの各レコードに基づいて次の通り処理を行う。

画像形成装置１Ｂは、操作ログデータ５Ｆに対応付けられている開始時画面識別子に従って、図２４（Ａ）のようなホーム画面３Ｔを表示する。操作ログデータ５Ｆ（図２３参照）の中のレコード５Ｆａ１〜５Ｆａｄに基づいて、図２４（Ｂ）のようにタップを表わすマーク４ＭＡをコピーボタン４ＴＪ１の上に表示し、図２４（Ｃ）のようにホーム画面３Ｔに代えてコピージョブ画面３Ｃを表示する。

画像形成装置１Ｂは、レコード５Ｆｂに基づいて、図２５（Ａ）のように、フリックされたタッチ位置ＱＴに対応するマーク４ＭＢ１〜４ＭＢ６を表示しながら、バッジ列４Ｌをスクロールする。

図２５（Ｂ）のようにスクロールが終わったら、画像形成装置１Ｂは、レコード５Ｆｃに基づいて、図２５（Ｃ）のように、ダブルタップに対応するマーク４ＭＣをオプション機能バッジ４Ｃａの上に表示し、コピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

画像形成装置１Ｂは、レコード５Ｆｄに基づいて、図２６（Ａ）のようにピンチの開始位置および方向に対応するマーク４ＭＤ１を表示し、ダイアログボックス３ＤＢ１を拡大し始める。

図２６（Ｂ）のようにダイアログボックス３ＤＢ１の拡大が終わったら、画像形成装置１Ｂは、レコード５Ｆｅに基づいて、タップを表わすマーク４ＭＥをプルダウンボタン４ＰＢの上に表示し、図２６（Ｃ）のようにプルダウンメニュー３ＰＭ１を表示する。

画像形成装置１Ｂは、レコード５Ｆｆに基づいて、タップに対応するマーク４ＭＦを選択肢４ＳＴ１の上に表示する。そして、選択肢４ＳＴ１の形態を図２７（Ａ）のように変更した後、図２７（Ｂ）のように、プルダウンメニュー３ＰＭ１を閉じる。

画像形成装置１Ｂは、レコード５Ｆｇに基づいて、図２７（Ｃ）のように、コピージョブ画面３Ｃの上にハードキーパネル右方画面３ＨＫ２を表示し、押下を示すマーク４ＭＧをファンクションキー１ｋｆ４の画像の上に表示する。そして、ハードキーパネル右方画面３ＨＫ２を閉じ、コピージョブ画面３Ｃに代えてホーム画面３Ｔ（図２４（Ａ）参照）を再び表示する。

本実施形態によると、従来よりも確実に、タッチパネルに対する操作に基づく表示の処理を再現することができる。特に、ある画像形成装置１で生成した操作ログデータ５Ｆを、仕様または設定の内容が異なる他の画像形成装置１間で用いた場合であっても、従来よりも確実に再現することができる。よって、画像形成装置１の仕様または設定の内容を問わず、操作ログデータ５Ｆを配布しエンドユーザまたはサービスエンジニアに操作の仕方を学習してもらうことができる。

本実施形態では、タッチパネル１０ｋ３として、指またはペンなどが直接触れたことを検知する方式のタッチパネルを用いたが、非接触式のタッチパネルを用いる場合にも、本発明を適用することができる。液晶ディスプレイ１０ｋ２の代わりに、プラズマディスプレイなど他の方式のディスプレイを用いることもできる。

複数の画像形成装置１が異なる機種であっても操作ログデータ５Ｆを共用できるように、操作ログデータ５ＦのフォーマットとしてＣＳＶ（Comma Separated Value）などの一般的なフォーマットを用いるのが望ましい。

本実施形態で例示した種類以外のジェスチャ（例えば、ローテーション、４本の指によるスワイプなど）が用いられる場合にも、本発明を適用することができる。

その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 画像形成装置
１０３ タッチ応答処理決定部（処理決定手段）
１０４ ジェスチャ判別部（ジェスチャ判別手段）
１０５ ジェスチャ応答処理決定部（処理決定手段）
１０８ 画面等制御部（表示制御手段）
１２２ 操作ログデータ記憶部（記憶手段）
１０ｋ２ 液晶ディスプレイ
１０ｋ３ タッチパネル

Claims (9)

1. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、
   前記ジェスチャ判別手段によって判別された前記ジェスチャを示すジェスチャログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記ジェスチャ判別手段によって判別された前記ジェスチャに基づいて決定し、前記再現モードの場合は前記記憶手段に記憶されている前記ジェスチャログデータに基づいて決定する処理決定手段と、
   前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、
   を有することを特徴とする画像形成装置。
2. 前記操作画面は、第一の領域および第二の領域に分かれており、
   前記ジェスチャ判別手段は、前記タッチパネルの全範囲の中の前記第一の領域に対応する第一の範囲に対する前記一連のタッチイベントについて、前記ジェスチャを判別し、
   前記記憶手段は、前記通常モードにおける、前記タッチパネルの全範囲の中の前記第二の領域に対応する第二の範囲に対する前記一連のタッチイベントを示すタッチイベントログデータをさらに記憶し、
   前記処理決定手段は、前記表示制御処理を、前記通常モードの場合は、前記一連のタッチイベントが前記第一の範囲に対するものであれば前記ジェスチャ判別手段によって判別された前記ジェスチャに基づいて決定し前記第二の範囲に対するものであれば当該一連のタッチイベントがなされた位置にあるオブジェクトに基づいて決定し、前記再現モードの場合は、前記一連のタッチイベントが前記第一の範囲に対するものであれば前記ジェスチャログデータに基づいて決定し前記第二の範囲に対するものであれば前記タッチイベントログデータに基づいて決定する、
   請求項１に記載の画像形成装置。
3. 前記ジェスチャログデータには、前記ジェスチャが行われた第一の時刻がさらに示され、前記タッチイベントログデータには、前記一連のタッチイベントが行われた第二の時刻がさらに示され、
   前記表示制御手段は、前記再現モードの場合は、前記第一の時刻および前記第二の時刻に基づいて前記表示制御処理を実行する、
   請求項２に記載の画像形成装置。
4. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有する画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、
   前記ジェスチャ判別手段によって判別された前記ジェスチャを示すジェスチャログデータを生成する生成手段と、
   前記ジェスチャログデータを出力する出力手段と、
   を有することを特徴とする画像形成装置。
5. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する、ジェスチャ判別手段と、
   他の画像形成装置の第二のタッチパネルに対する一連のタッチイベントが表わすジェスチャを示すジェスチャログデータを取得する取得手段と、
   前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記ジェスチャ判別手段によって判別されたジェスチャに基づいて決定し、前記再現モードの場合は前記取得手段によって取得された前記ジェスチャログデータに基づいて決定する処理決定手段と、
   前記処理決定手段によって決定した前記表示制御処理を実行する表示制御手段と、
   を有することを特徴とする画像形成装置。
6. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置における操作画面の表示方法であって、
   前記画像形成装置が、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する判別処理を実行し、
   判別した前記ジェスチャを示すジェスチャログデータを記憶手段に記憶させる記憶処理と実行し、
   前記ディスプレイに前記操作画面を表示させる表示制御処理を、前記通常モードの場合は前記判別処理で判別した前記ジェスチャに基づいて決定し、前記再現モードの場合は前記記憶手段に記憶されている前記ジェスチャログデータに基づいて決定する、決定処理を実行し、
   前記決定処理で決定した前記表示制御処理を実行する、
   ことを特徴とする操作画面の表示方法。
7. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび操作の記録に基づいて処理を行う再現モードを備える画像形成装置における操作画面の表示方法であって、
   前記画像形成装置が、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する判別処理を実行し、
   他の画像形成装置の第二のタッチパネルに対する一連のタッチイベントが表わすジェスチャを示すジェスチャログデータを取得する取得処理を実行し、
   前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記判別処理で判別したジェスチャに基づいて決定し、前記再現モードの場合は前記取得処理で取得した前記ジェスチャログデータに基づいて決定する決定処理を実行し、
   前記決定処理で決定した前記表示制御処理を実行する、
   ことを特徴とする操作画面の表示方法。
8. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置のために用いられるコンピュータプログラムであって、
   前記画像形成装置に、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する判別処理を実行させ、
   判別した前記ジェスチャを示すジェスチャログデータを記憶手段に記憶させる記憶処理と実行させ、
   前記ディスプレイに前記操作画面を表示させる表示制御処理を、前記通常モードの場合は前記判別処理で判別した前記ジェスチャに基づいて決定し、前記再現モードの場合は前記記憶手段に記憶されている前記ジェスチャログデータに基づいて決定する、決定処理を実行させ、
   前記決定処理で決定した前記表示制御処理を実行させる、
   ことを特徴とするコンピュータプログラム。
9. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルとを有し、前記タッチパネルに対して操作が行われるごとに処理を行う通常モードおよび操作の記録に基づいて処理を行う再現モードを備える画像形成装置のために用いられるコンピュータプログラムであって、
   前記画像形成装置に、
   前記通常モードにおいて前記タッチパネルに対して一連のタッチイベントが行われるごとに、当該一連のタッチイベントが表わすジェスチャを判別する判別処理を実行させ、
   他の画像形成装置の第二のタッチパネルに対する一連のタッチイベントが表わすジェスチャを示すジェスチャログデータを取得する取得処理を実行させ、
   前記ディスプレイに操作画面を表示させる表示制御処理を、前記通常モードの場合は前記判別処理で判別したジェスチャに基づいて決定し、前記再現モードの場合は前記取得処理で取得した前記ジェスチャログデータに基づいて決定する決定処理を実行させ、
   前記決定処理で決定した前記表示制御処理を実行させる、
   ことを特徴とするコンピュータプログラム。

Images