JP2014222869A - 画像処理連携システム、携帯端末装置、画像処理連携方法及び画像処理連携プログラム - Google Patents

Abstract

【課題】画像処理装置側の操作画面をリモート画面として携帯端末装置に表示して連携操作を行う場合に、ジェスチャ操作がなされたとき、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示できる画像処理連携システム等を提供する。【解決手段】携帯端末装置２は、ジェスチャ操作によって指示される動作を、表示手段２０４ａに表示された画像処理装置１の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段２０３を備える。表示手段に画像処理装置の操作画面が表示されている状態で、ユーザーによるジェスチャ操作がなされた場合、変換ルールに従って、ジェスチャ操作によって指示される動作が操作画面の操作情報に変換され、この変換された操作画面の操作情報が画像処理装置に通知される。【選択図】 図８

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、スマートフォン、タブレット端末等の携帯端末装置を備えた画像処理連携システム、該システムに用いられる携帯端末装置、画像処理連携方法及び画像処理連携プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

一方、携帯端末装置はタッチパネルを備えており、ユーザーは表示画面に対してフリック等のジェスチャ操作を行うことにより、ページ送りやページ戻し等を行うことが可能となっている。

ところが、携帯端末装置に表示された画像処理装置側のリモート画面に対して、ページ送りやページ戻し等を指示するためのジェスチャ操作がユーザーによってなされた場合、次のような問題が発生していた。

なお、特許文献１には、操作者がタッチパネルに極僅かな時間で瞬間的に触れた場合、及び操作者がタッチパネル上に置いた指をスクロールさせた場合の何れでも入力ミスの低減を図ることができる地図表示装置が提案されている。

具体的には、画面に地図を表示可能な表示器３と、画面に対するタッチ操作を所定検出周期で検出可能なタッチパネル１０と、第１の周期でタッチパネル１０に対するタッチ操作が検出された後、第１の周期よりも長い第２の周期でタッチパネル１０に対するタッチ操作が検出されるように、タッチパネル１０の検出周期を変更するマイクロコンピュータ８と、タッチパネル１０によるタッチ操作の検出結果に応じて、表示器３の画面に表示された地図をスクロール表示する制御回路６とを備えている。

特開２００７−０１０６４５号公報

即ち、例えば図１５に示すように、文書データを画像処理装置から電子メールにて送信するために、複数の宛先選択ボタン３０１を有する宛先設定画面がリモート画面として携帯端末装置に表示されているとする。この宛先設定画面は２ページからなり、図１５（Ａ）に示す１ページ目の宛先設定画面において、ページ送りボタン３０３を押下することで、画像処理装置から同図（Ｂ）に示す２ページ目の宛先設定画面のデータが送信され、携帯端末装置に表示されることになる。

しかし、同図（Ａ）に示す１ページ目の宛先設定画面が表示されている状態で、携帯端末装置の操作に慣れているユーザーが、指マークと矢印で示すように、画面上でジェスチャ操作として下向きにフリック操作を行うことがある。この場合、ユーザーは同図（Ｂ）に示す２ページ目の宛先設定画面画に遷移することを期待するが、画像処理装置はジェスチャ操作に対応していないため、画像処理装置側では図１６に示すように、最初にタッチされた宛先ボタン３０１ａ（同図にハッチングで示す）が選択されたものと判断し、その宛先に電子メール送信がなされてしまうという問題がある。

勿論、画像処理装置側で、ジェスチャ操作に対応可能なアルゴリズムを組み込むことで、このような問題を防ぐことはできるが、画像処理装置側のソフトウェア等を変更する必要が生じたり、コストが増加する等の別の問題が発生する。

なお、上述した特許文献１に記載の技術は、このようなジェスチャ操作がなされたときの誤認識の問題に対して、有効な解決策を提供しうるものではなかった。

この発明は、このような実情に鑑みてなされたものであり、画像処理装置側の操作画面をリモート画面として携帯端末装置に表示して、携帯端末装置から画像処理装置の連携操作を行う場合において、ページ送りやページ戻り等の動作を指示するジェスチャ操作がなされた場合に、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示できる画像処理連携システム、該システムに用いられる携帯端末装置を提供し、さらには画像処理連携方法及び画像処理連携プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信する送信手段を備え、前記携帯端末装置は、前記画像処理装置から送信された前記操作画面表示用データを受信する受信手段と、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換手段と、前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知手段と、を備え、前記画像処理装置は、さらに、前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御手段を備えたことを特徴とする画像処理連携システム。
（２）前記変換ルールは、ジェスチャ操作の始点及び終了点から算出される指の移動量及び移動方向と、ページ送りまたはページ戻りの判別、及びページ送り量またはページ戻り量との関係を規定したものである前項１に記載の画像処理連携システム。
（３）前記操作画面は、基本画面データと該基本画面データに上書きされるパーツ画像データにより構成されるとともに、前記操作画面表示用データは前記基本画面データとパーツ画像データを含み、前記携帯端末装置は、前記画像処理装置から各操作画面についての前記基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、前記画像処理装置から前記パーツ画像データを受信し、該受信したパーツ画像データを前記保持している対応基本画面データに上書きして操作画面を作成する前項１または２に記載の画像処理連携システム。
（４）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、前記画像処理装置は、前記接続手段により接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信する送信ステップを実行し、前記携帯端末装置は、表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、を備えるとともに、前記画像処理装置から送信された前記操作画面表示用データを受信する受信ステップと、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を前記表示手段に表示する表示ステップと、前記表示手段に前記画像処理装置の操作画面が表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換ステップと、前記変換ステップにおける変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知ステップと、を実行し、前記画像処理装置は、さらに、前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御ステップを実行することを特徴とする画像処理連携方法。
（５）画像処理装置と接続するための接続手段と、前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信する受信手段と、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換手段と、前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知手段と、を備えたことを特徴とする携帯端末装置。
（６）表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示される画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、を備えた携帯端末装置のコンピュータに、前記画像処理装置と接続する接続ステップと、前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信する受信ステップと、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を前記表示手段に表示する表示ステップと、前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換ステップと、前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知ステップと、を実行させるための画像処理連携プログラム。
（７）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを送信する送信手段を備え、前記携帯端末装置は、前記画像処理装置から送信された前記操作画面表示用データを受信する受信手段と、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作により次に表示される操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成手段と、前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知手段と、を備え、前記画像処理装置は、さらに、前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御手段を備えたことを特徴とする画像処理連携システム。
（８）前記画像処理装置は、前記携帯端末装置から、前記ジェスチャ操作に対して操作画面のデータの作成が可能であることを示すパラメータを受信した場合にのみ、前記複数ページ分の操作画面表示用データを送信する前項７に記載の画像処理連携システム。
（９）前記操作画面は、基本画面データと該基本画面データに上書きされるパーツ画像データにより構成されるとともに、前記操作画面表示用データは前記基本画面データとパーツ画像データを含み、前記携帯端末装置は、前記画像処理装置から各操作画面についての前記基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、前記画像処理装置から前記パーツ画像データを受信し、該受信したパーツ画像データを前記保持している対応基本画面データに上書きして操作画面を作成する前項７または８に記載の画像処理連携システム。
（１０）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、前記画像処理装置は、前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを送信する送信ステップを実行し、前記携帯端末装置は、前記画像処理装置から送信された前記操作画面表示用データを受信する受信ステップと、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示手段に表示する表示ステップと、前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作により次に表示される操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成ステップと、前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知ステップと、を実行し、前記画像処理装置は、さらに、前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御ステップを実行することを特徴とする画像処理連携方法。
（１１）画像処理装置と接続するための接続手段と、前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを受信手段と、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作によって次に表示される前記操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成手段と、前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知手段と、を備えたことを特徴とする携帯端末装置。
（１２）画像処理装置と接続する接続ステップと、前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを受信する受信ステップと、前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示手段に表示する表示ステップと、前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作によって次に表示される前記操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成ステップと、前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知ステップと、を携帯端末装置のコンピュータに実行させるための画像処理連携プログラム。

前項（１）に記載の発明によれば、携帯端末装置は、画像処理装置から送信された操作画面表示用データを受信して、画像処理装置の操作画面を表示手段に表示する。また、携帯端末装置は、ジェスチャ操作によって指示される動作を、表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段を備えている。そして、表示手段に画像処理装置の操作画面が表示されている状態で、ユーザーによりジェスチャ操作がなされた場合には、前記変換ルールに従って、ジェスチャ操作によって指示される動作が操作画面の操作情報に変換され、この変換された操作画面の操作情報が画像処理装置に通知される。

つまり、携帯端末装置においてユーザーが行ったジェスチャ操作が、操作画面の操作情報に変換されて画像処理装置に通知されるから、画像処理装置は、操作画面に対して通常の操作が行われたものと判断して、その操作に対応する処理を行うことができる。例えば、ページ送りのためのフリック操作が行われた場合には、操作画面におけるページ送りボタンが押下されたことを示す操作情報が画像処理装置に送信され、画像処理装置は次ページの操作画面を表示させるための操作画面表示用データを携帯端末装置に送信する。従って、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示できる。

前項（２）に記載の発明によれば、変換ルールは、ジェスチャ操作の始点及び終了点から算出される指の移動量及び移動方向と、ページ送りまたはページ戻りの判別、及びページ送り量またはページ戻り量との関係を規定したものであるから、ページ送りまたはページ戻りのためのジェスチャ操作が行われた場合に、確実に、次ページまたは前ページの操作画面を表示させることができる。

前項（３）に記載の発明によれば、携帯端末装置は、前記画像処理装置から各操作画面についての基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、前記画像処理装置から前記パーツ画像データを受信し、該受信したパーツ画像データを前記保持している対応基本画面データに上書きして操作画面を作成するから、画像処理装置から携帯端末装置への通信量の肥大化を防止できる。

前項（４）に記載の発明によれば、携帯端末装置においてユーザーが行ったジェスチャ操作が、操作画面の操作情報に変換されて画像処理装置に通知されるから、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示できる。

前項（５）に記載の発明によれば、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示できる携帯端末装置となし得る。

前項（６）に記載の発明によれば、画像処理装置側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面を表示する処理を、携帯端末装置のコンピュータに実行させることができる。

前項（７）に記載の発明によれば、画像処理装置は、携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを送信する。携帯端末装置は、送信された操作画面表示用データを受信し、表示手段に操作画面を表示する。複数ページの操作画面のうちのいずれかのページが表示されている状態で、操作手段を介してユーザーによりジェスチャ操作がなされた場合には、ジェスチャ操作によって指示される動作により次に表示される操作画面のデータが、画像処理装置から受信した複数ページ分の操作画面表示用データに基づいて作成され、表示手段に表示される。

つまり、ジェスチャ操作によって指示される動作により次に表示される操作画面のデータが携帯端末装置側で作成されて表示され、画像処理装置には、従来と同様に、表示手段に表示された操作画面の操作ボタンが押下された場合に、押下に対応する操作情報が通知されるから、画像処理装置側がジェスチャ操作に対応していなくても、ジェスチャ操作で指示される通りの操作画面を携帯端末装置に表示させることができるとともに、画像処理装置側の誤認識も解消することができる。

前項（８）に記載の発明によれば、画像処理装置は、ジェスチャ操作に対して操作画面のデータの作成が可能な携帯端末装置であることを確認した場合にのみ、複数ページ分の操作画面表示用データを送信するから、ジェスチャ操作に対応できない携帯端末装置に無駄なデータが送信されるのを防止できる。

前項（９）に記載の発明によれば、携帯端末装置は、画像処理装置から各操作画面についての基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、画像処理装置からパーツ画像データを受信し、該受信したパーツ画像データを前記保持している基本画面データに上書きして操作画面を作成するから、画像処理装置から携帯端末装置への通信量の肥大化を防止できる。

前項（１０）に記載の発明によれば、画像処理装置側がジェスチャ操作に対応していなくても、ジェスチャ操作で指示される通りの操作画面を携帯端末装置に表示させることができるとともに、画像処理装置側の誤認識も解消することができる。

前項（１１）に記載の発明によれば、画像処理装置側がジェスチャ操作に対応していなくても、ジェスチャ操作で指示される通りの操作画面を表示させることができる携帯端末装置となし得る。

前項（１２）に記載の発明によれば、画像処理装置側がジェスチャ操作に対応していなくても、ジェスチャ操作で指示される通りの操作画面を表示する処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。 画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。 画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。 画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。 携帯端末装置の表示部に表示されたリモート画面の説明図である。 図５のリモート画面に対してジェスチャ操作を行った場合に遷移する画面を示す図である。 携帯端末装置に保持されているテーブルを示す図である。 画像処理装置と携帯端末装置との情報のやりとりを示すフローチャートである。 携帯端末装置の動作を示すフローチャートである。 この発明の他の実施形態で用いられるテーブルを示す図である。 この発明の他の実施形態における画像処理装置と携帯端末装置との情報のやりとりを示すフローチャートである。 画像処理装置の動作を示すフローチャートである。 携帯端末装置のデータ受信時の動作を示すフローチャートである。 携帯端末装置のジェスチャ操作時の動作を示すフローチャートである。 従来の問題点を説明するための画面図である。 同じく従来の問題点を説明するための画面図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。

この画像処理連携システムは、画像処理装置１と携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとして説明する。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、自装置の操作画面を携帯端末２に表示させるための操作画面表示用データを携帯端末２に送信したり、携帯端末２側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させる操作画面表示用データ等を携帯端末２に送信する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された操作画面表示用データ、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面をスクロール（ページ送りやページ戻し）をするためのフリック操作、画像の変倍（拡大または縮小）や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するための操作画面表示用データをＭＦＰ１から受信し、前記操作画面をリモート画面として表示部２０４に表示したり、リモート画面に表示されたボタンをユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

この実施形態では、ＭＦＰ１の操作パネル部１０７はマルチタッチ操作に対応していない。このため、表示部２０４ａに表示されているＭＦＰ１のリモート画面に対してジェスチャ操作がなされても、このジェスチャ操作をＭＦＰ１は認識することができない。

そこで、ジェスチャ操作によって指示される動作を、表示部２０４ａに表示されているＭＦＰ１の操作画面の操作情報に変換するための、後述する変換ルールが予め設定されている。この変換ルールは記憶部２０３に記憶されている。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行い、携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた操作画面表示用データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ２２４等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、携帯端末２の表示部２０４に表示されるリモート画面が複数ページからなる場合に、リモート画面に対してユーザーがフリック操作等のジェスチャ操作を行ったときに、記憶部２０３に記憶されている操作画面表示用データを用いて次ページあるいは前ページの操作画面を作成し、表示部２０４に表示させる。この処理については、後述する他の実施形態で説明する。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された操作画面表示用データを用いて、ＭＦＰ１の画面をリモート画面として作成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ＭＦＰ１からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末２側の操作画面表示用データの取得等を行うことができ、必要に応じて取得したデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、操作画面表示用データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。

ここで、ＭＦＰ１から携帯端末装置２に送信される操作画面表示用データについて説明する。

ＭＦＰ１の操作画面は、図５に示すように、背景データである基本画面データ３００と、該基本画面データ３００に上書きされる、宛先設定ボタン３０１、読込み設定ボタン３０２等の設定ボタンやページ送りボタン３０３、ページ戻りボタン３０４等の各パーツ画像データにより構成されている。

ＭＦＰ１は、操作画面を携帯端末２に表示させる必要がある場合は、基本画面データ３００と基本画面データ３００に配置されるパーツ画像データ、各データについての識別情報（ＩＤ）、パーツ画像データの配置位置情報等、携帯端末２の表示部２０４ａに操作画面を表示させるのに必要な情報を送信する。

これらの情報は、その都度送信しても良いが、各操作画面について基本画面データ３００とそのＩＤを、予め携帯端末２に送信しておくと共に、携帯端末２がこれを記憶部２０３に保持しておき、携帯端末２に操作画面を表示させる必要のあるときは、ＭＦＰ１は表示させる操作画面の基本画面データ３００のＩＤと、パーツ画像データと、パーツ画像データの配置情報等を携帯端末２に送信し、携帯端末２では、受信したパーツ画像データを前記保持している対応基本画面データ３００に上書きして操作画面を作成する構成とするのがよい。これにより、基本画面データ３００を逐一送信する必要がなく、ＭＦＰ１から携帯端末２への通信量の肥大化を防止できる。

次に、図１に示した画像処理連携システムの動作を説明する。

今、携帯端末２の表示部２０４ａに、図５に示すように、複数ページからなる操作画面の内のいずれか１ページがリモート画面として表示されているものとする。図５の例では、複数の宛先設定ボタン３０１を有する電子メールの宛先設定画面が表示されている。ページ送りボタン３０３を押下すると、次ページの宛先設定画面に遷移し、ページ戻りボタン３０４を押下すると、前ページの宛先設定画面に遷移する。

この状態で、ユーザーが宛先設定画面上で、図５の指マーク及び矢印で示すように、携帯端末２でサポートされているジェスチャ操作としてフリック操作を行ったとする。ＭＦＰ１はジェスチャー操作に対応していないので、そのままでは指の最初の接触部位に存在するボタンを押下したものと判断される。

そこで、この実施形態では、フリック操作を操作画面上でのボタン押下操作に変換する。変換は、前述した変換ルールに従って行われる。この変換ルールは、この実施形態では、フリック操作の始点及び終了点から算出される指の移動量及び移動方向と、ページ送りまたはページ戻りの判別、及びページ送り量またはページ戻り量との関係を規定している。

具体的には、指の移動量が５０ドット以下ではフリック操作でなく、通常のボタン押下操作と判別され、５０ドットを超えるとフリック操作（スクロール操作）と判別される。なお、５０ドット当たり１ページ分遷移するものとなされており、５０ドットを超え１００ドット以下では１ページ分の遷移と判別される。操作画面が３ページ以上ある場合、１００ドットを超え１５０ドット以下の移動量では２ページ分の遷移と判別される。また、移動方向が下向きであれば、ページ送りと判別され、上向きであればページ戻りと判別される。例えば、指が下向きに７０ドット移動した場合は、１ページ分のページ送りと判別される。

指の移動量及び向きは、操作画面のページ送りボタン３０３及びページ戻りボタン３０４と関連付けられており、ページ送りと判別されたときは、ページ送りボタン３０３が押下されたものとして、操作情報であるページ送りボタン３０３の位置情報（座標情報）に変換され、ページ戻りと判別されたときは、ページ戻りボタン３０４が押下されたものとして、操作情報であるページ戻りボタンの位置情報（座標情報）に変換され、ＭＦＰ１に送信されるものとなされている。

この操作情報を受信したＭＦＰ１は、ページ送りボタン３０３、ページ戻りボタン３０４の押下に対応して、次ページあるいは前ページの操作画面表示用データを携帯端末２に送信する。携帯端末２は、受信した操作画面表示用データを用いて、図６に示すような更新されたリモート画面を表示する。

また、この実施形態では、フリック操作をＭＦＰ２の操作情報に変換可能なエリアＲ１（図５の破線枠で囲まれたエリア）が予め設定されており、このエリア外でフリック操作が行われても、操作情報への変換は行われず、画面にタッチしたときの操作情報がそのままＭＦＰ１に送信される。

上記のようにフリック操作をＭＦＰ１の操作情報に変換するために、携帯端末２は記憶部２０３に図７に示すようなテーブル１及び２を保持している。

テーブル１は、ジェスチャを検出する範囲や携帯端末２が画像を生成、上書きする範囲を格納するためのテーブルであり、テーブル２は、テーブル１で定義したエリアで変換するジェスチャの情報を格納するためのテーブルである。

テーブル１において、「ＵＩＩＤ」とは各操作画面毎に割り当てたＩＤであり、「エリアＩＤ」とは携帯端末２で画像を生成、上書きするエリアのＩＤである。「左上座標」は、ジェスチャ操作をＭＦＰ１の操作情報に変換可能なエリアの左上の座標であり、「右下座標」は同じく右下の座標である。

テーブル２において、「ＵＩＩＤ」及び「エリアＩＤ」については、テーブル１と同じである。「ジェスチャＩＤ」は、エリアが反応するジェスチャのＩＤである。例えば、「１：フリック」、「２：同期（吸着）スクロール」、「３：ピンチアウト」、「４：ピンチイン」、「５：ドラッグ」、「６：ダブルタップ」、「０：変換しない（表示更新のみ行うことを示す」が設定されている。

「ルーチンＩＤ」は、 ジェスチャ操作をＭＦＰ１の操作情報に変換するルーチンのＩＤである。

この実施形態では、エリアの設定例として、前述したフリック操作をＭＦＰ１の操作情報に変換可能なエリアの他、表示を更新するエリアＲ２（図５に一点鎖線枠で示す）が設定されており、各エリア毎に必要な情報を前記テーブル１及び２に保存する。なお、表示を更新するエリアＲ２については、ジェスチャＩＤ＝０を登録することで、表示の更新のみ可能であることが示される。

このように、携帯端末２においてユーザーが行ったジェスチャ操作が、ＭＦＰ１側のルールに基づく操作画面の操作情報に変換されてＭＦＰ１に通知されるから、ＭＦＰ１は、操作画面に対して通常の操作が行われた場合と同じ判断により、その操作に対応する処理を行うことができる。従って、ＭＦＰ１側がジェスチャ操作に対応していなくても、誤認識をなくしてジェスチャ操作で指示される通りの操作画面をリモート画面として携帯端末２に表示できる。

図８は、ＭＦＰ１と携帯端末２との間での情報のやりとりを示すフローチャートである。

ステップＳ２１で、携帯端末２からＭＦＰ１に接続要求と携帯端末２の情報が送信されると、ＭＦＰ１はステップＳ１１で、操作画面表示用データとして、基本画面データのＩＤ、パーツ画像データとそのＩＤを携帯端末２に送信する。なお、各操作画面の基本画面データは予め別途にＭＦＰ１から携帯端末２に送信されており、携帯端末２に保持されている。

基本画面データのＩＤ、パーツ画像データとそのＩＤを受信した携帯端末２は、ステップＳ２２で、基本画面データのＩＤに対応する基本画面データを呼び出すとともに、呼び出した基本画面データにパーツ画像を上書きし、表示部２０４ａに表示する。

この状態で、ユーザーがステップＳ３１で、操作画面に対してジェスチャ操作例えばフリック操作を行うと、携帯端末２はステップＳ２３で、ジェスチャ操作に対して検出した座標情報を変換部に送信する。なお、変換部は連携アプリにより機能的に構成されたものである。

変換部はステップＳ２４で、座標情報からフリック操作の向きや指の移動量を求め、ＭＦＰ１の操作情報に変換するとともに、変換した操作情報をＭＦＰ１に送信する。

ＭＦＰ１は、操作情報を受信すると、ステップＳ１２で、受信した操作情報に対応する操作画面を表示するため、パーツ画像データを更新し、ステップＳ１３で、パーツ画像データとそのＩＤを携帯端末２に送信する。

携帯端末２は、受信したパーツ画像データを上書きして、操作画面を更新する。

図９は、携帯端末装置２がジェスチャ操作をＭＦＰ１の操作情報に変換するときの処理を示すフローチャートである。この処理は、携帯端末２のＣＰＵ２０１が連携アプリ等に基づいて動作することにより実行される。

ステップＳ４１では、フリック操作が実施された座標が操作画面の設定範囲内かどうかを、前記テーブル１を照会して判断し、設定範囲内でなければ（ステップＳ４１でＮＯ）、通常のボタン押下操作と判断してそのまま操作情報をＭＦＰ１に送信する。設定範囲内であれば（ステップＳ４１でＹＥＳ）、ステップＳ４２で、フリック操作が設定範囲内でサポートされている操作か否かを、前記テーブル２を照会して判断する。

サポートされていなければ（ステップＳ４２でＮＯ）、通常のボタン押下操作と判断してそのまま操作情報をＭＦＰ１に送信する。サポートされていれば（ステップＳ４２でＹＥＳ）、ステップＳ４３で、フリック操作時の指の移動量のｙ成分（移動方向を含む上下方向の成分）から、送るまたは戻すページ数を算出したのち、ステップＳ４４に進む。

ステップＳ４４では、ページ送りボタン３０３またはページ戻りボタン３０４の押下の操作情報に変換する。

次に、この発明の他の実施形態を説明する。この実施形態では、ＭＦＰ１の操作画面が複数ページから構成されるものである場合に、その複数ページ全ての操作画面表示用データを予め携帯端末２に送信しておき、ジェスチャ操作がなされたときは、ジェスチャ操作で指示される動作によって次に表示される操作画面のデータを、前記複数ページ分の操作画面表示用データに基づいて携帯端末２が作成し、表示するものである。そして、通常のボタン押下操作がなされたときに、対応する操作情報がＭＦＰ１に送信される。

この実施形態では、携帯端末２は、図７に示したテーブル１及びテーブル２（ただしルーチンＩＤを除く）を保持している他、図１０に示すテーブル３を保持している。

このテーブル３は、データＩＤとして、エリアで取り扱われるデータのＩＤを保持するものであり、これにより、携帯端末２内で確保されているデータ保存用の領域と、ＭＦＰ１から受信したデータ（ＩＤ付）の対応関係が保持される。

この実施形態におけるＭＦＰ１と携帯端末２の動作を、ＭＦＰ１と携帯端末２との間での情報のやりとりを示す図１１のフローチャートを参照して説明する。

ステップＳ６１で、携帯端末２からＭＦＰ１に接続要求と携帯端末２の情報が送信されると、ＭＦＰ１はステップＳ５１で、その携帯端末２が、ジェスチャ操作に対して操作画面のデータの作成が可能な携帯端末であることを示すパラメータが、携帯端末２の能力情報に含まれていることを検出する。

次いで、ステップＳ５２で、基本画面データとそのＩＤを携帯端末２に送信したのち、ステップＳ５３で、パーツ画像データとそのＩＤを含む複数ページの表示用の全データを携帯端末２に送信する。

なお、各操作画面についての基本画面データとＩＤを、予め携帯端末２に送信しておくと共に、携帯端末２がこれを記憶部２０３に保持しておき、基本画面データについては、ＭＦＰ１は基本画面データのＩＤのみを携帯端末２に送信し、パーツ画像データについてはその都度携帯端末２に送信する構成としても良い。この場合、携帯端末２は、基本画面データのＩＤとパーツ画像データを受信すると、基本画面データのＩＤから対応する基本画面データを呼び出し、パーツ画像データを前記呼び出した基本画面データに上書きして操作画面を作成する。このような構成により、基本画面データを逐一送信する必要がなく、ＭＦＰ１から携帯端末２への通信量の肥大化を防止できる。

携帯端末２は、ステップＳ６２で、これらのデータを受信して基本画面データを表示部２０４ａに表示した後、ステップＳ６３で、パーツ画像データを上書き表示する。

ステップＳ７１で、ユーザーが表示されている操作画面に対してジェスチャ操作例えばフリック操作を行うと、携帯端末２はステップＳ６４で、ジェスチャ操作に応じた画面、例えば次ページまたは前ページの画面を前記受信した複数ページ分のデータを用いて作成し、上書き表示する。

携帯端末２により作成され表示された操作画面に対して、ユーザーがステップＳ７２で、通常のボタン押下操作を行うと、携帯端末２はステップＳ６５で、連携アプリにより機能的に構成された変換部に操作変換を要求する。変換部はステップＳ６６で、ボタン押下操作をＭＦＰの操作情報に変換するとともに、変換した操作情報をＭＦＰ１に送信する。

ＭＦＰ１はステップＳ５４で、操作情報に対応した画面に遷移し、あるいは対応した処理を実行する。

図１２は、図１１に示した実施形態におけるＭＦＰ１の動作を示すフローチャートである。

ステップＳ８１で、接続要求先の携帯端末２に基本画面データ（スナップショット）をＩＤと共に送信したのち、ステップＳ８２で、接続要求に含まれている能力情報にジェスチャ操作が含まれているか、換言すればジェスチャ操作に対して操作画面のデータの作成が可能な携帯端末２であるか否かを判断する。なお、ステップＳ８１の画面データの送信を、ステップＳ８２の判断の後に行っても良い。

ステップＳ８２において、能力情報にジェスチャ操作が含まれていなければ（ステップＳ８２でＮＯ）、そのまま終了する。含まれていると（ステップＳ８２でＹＥＳ）、ステップＳ８３で、複数ページ表示用の全てのデータを携帯端末２に送信する。

図１３及び図１４は、図１１に示した実施形態における携帯端末２の動作を示すフローチャートであり、図１３はＭＦＰ１からのデータ受信時の、図１４はジェスチャ操作時のフローチャートである。これらの処理は、携帯端末２のＣＰＵ２０１が連携アプリ等に基づいて動作することにより実行される。

図１３において、ステップＳ９１では、基本画面データ、そのＩＤ、その基本画面データを用いる複数ページの設定画面の全表示用データを受信し、基本画面データを表示部２０４ａに表示する。

次いでステップＳ９２で、テーブル３を照会し、受信したデータを例えば宛先設定画面用のデータと判定し、携帯端末２で確保している保存領域に保存したのち、ステップＳ９３でパーツ画像データを上書きする。

図１４において、ステップＳ１０１で、ジェスチャ操作（例えばフリック操作）が実施された座標が操作画面の設定範囲内か否かを、テーブル１を照会して判断し、設定範囲内でなければ（ステップＳ１０１でＮＯ）、通常のボタン操作と判断してそのまま操作情報をＭＦＰ１に送信する。設定範囲内であれば（ステップＳ１０１でＹＥＳ）、ステップＳ１０２で、ジェスチャ操作が設定範囲内でサポートされている操作か否かを、前記テーブル２を照会して判断する。

サポートされていれば（ステップＳ１０２でＹＥＳ）、ステップＳ１０３で、ジェスチャ操作に応じた画面を作成し、表示部２０４ａに表示する。サポートされていなければ（ステップＳ１０２でＮＯ）、操作を無視する。つまり携帯端末２は何もしない。

このようにこの実施形態では、ジェスチャ操作によって指示される動作により次に表示される操作画面のデータが携帯端末２で作成されて表示部２０４ａに表示され、ＭＦＰ１には、従来と同様に、表示部２０４ａに表示された操作画面の操作ボタンが押下された場合に、操作情報が通知されるから、ＭＦＰ１側がジェスチャ操作に対応していなくても、ジェスチャ操作で指示される通りの操作画面を携帯端末２に表示させることができるとともに、ＭＦＰ１側の誤認識も解消することができる。

１ 画像処理装置
２ 携帯端末装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０７ｂ 表示部
１０９ ＷＩＦＩモジュール
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ 記憶部
２０４ａ 表示部
２０４ｂ 操作部
２０５ ＷＩＦＩモジュール
２０９ 連携部

Claims (12)

1. 相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、
   前記画像処理装置は、
   前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信する送信手段を備え、
   前記携帯端末装置は、
   前記画像処理装置から送信された前記操作画面表示用データを受信する受信手段と、
   前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、
   ユーザーによるジェスチャ操作が可能な操作手段と、
   前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、
   前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換手段と、
   前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知手段と、
   を備え、
   前記画像処理装置は、さらに、
   前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御手段を備えたことを特徴とする画像処理連携システム。
2. 前記変換ルールは、ジェスチャ操作の始点及び終了点から算出される指の移動量及び移動方向と、ページ送りまたはページ戻りの判別、及びページ送り量またはページ戻り量との関係を規定したものである請求項１に記載の画像処理連携システム。
3. 前記操作画面は、基本画面データと該基本画面データに上書きされるパーツ画像データにより構成されるとともに、前記操作画面表示用データは前記基本画面データとパーツ画像データを含み、
   前記携帯端末装置は、前記画像処理装置から各操作画面についての前記基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、前記画像処理装置から前記パーツ画像データを受信し、該受信したパーツ画像データを前記保持している対応基本画面データに上書きして操作画面を作成する請求項１または２に記載の画像処理連携システム。
4. 相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、
   前記画像処理装置は、
   前記接続手段により接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信する送信ステップを実行し、
   前記携帯端末装置は、表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、を備えるとともに、
   前記画像処理装置から送信された前記操作画面表示用データを受信する受信ステップと、
   前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を前記表示手段に表示する表示ステップと、
   前記表示手段に前記画像処理装置の操作画面が表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換ステップと、
   前記変換ステップにおける変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知ステップと、
   を実行し、
   前記画像処理装置は、さらに、
   前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御ステップを実行することを特徴とする画像処理連携方法。
5. 画像処理装置と接続するための接続手段と、
   前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信する受信手段と、
   前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、
   ユーザーによるジェスチャ操作が可能な操作手段と、
   前記ジェスチャ操作によって指示される動作を、前記表示手段に表示された前記画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、
   前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換手段と、
   前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知手段と、
   を備えたことを特徴とする携帯端末装置。
6. 表示手段と、ユーザーによるジェスチャ操作が可能な操作手段と、前記ジェスチャ操作によって指示される動作を、前記表示手段に表示される画像処理装置の操作画面の操作情報に変換するための予め設定された変換ルールを記憶する記憶手段と、を備えた携帯端末装置のコンピュータに、
   前記画像処理装置と接続する接続ステップと、
   前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信する受信ステップと、
   前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を前記表示手段に表示する表示ステップと、
   前記表示手段に前記画像処理装置の操作画面が表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記変換ルールに従って、前記ジェスチャ操作によって指示される動作を前記操作画面の操作情報に変換する変換ステップと、
   前記変換手段による変換結果に基づいて、前記変換された操作画面の操作情報を前記画像処理装置に通知する通知ステップと、
   を実行させるための画像処理連携プログラム。
7. 相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、
   前記画像処理装置は、
   前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを送信する送信手段を備え、
   前記携帯端末装置は、
   前記画像処理装置から送信された前記操作画面表示用データを受信する受信手段と、
   前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、
   ユーザーによるジェスチャ操作が可能な操作手段と、
   前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作により次に表示される操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成手段と、
   前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知手段と、
   を備え、
   前記画像処理装置は、さらに、
   前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御手段を備えたことを特徴とする画像処理連携システム。
8. 前記画像処理装置は、前記携帯端末装置から、前記ジェスチャ操作に対して操作画面のデータの作成が可能であることを示すパラメータを受信した場合にのみ、前記複数ページ分の操作画面表示用データを送信する請求項７に記載の画像処理連携システム。
9. 前記操作画面は、基本画面データと該基本画面データに上書きされるパーツ画像データにより構成されるとともに、前記操作画面表示用データは前記基本画面データとパーツ画像データを含み、
   前記携帯端末装置は、前記画像処理装置から各操作画面についての前記基本画面データを予め受信し保持しておくとともに、操作画面の表示に際しては、前記画像処理装置から前記パーツ画像データを受信し、該受信したパーツ画像データを前記保持している対応基本画面データに上書きして操作画面を作成する請求項７または８に記載の画像処理連携システム。
10. 相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、
    前記画像処理装置は、
    前記接続された携帯端末装置に、自装置の操作画面を携帯端末装置に表示させるための操作画面表示用データを送信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを送信する送信ステップを実行し、
    前記携帯端末装置は、
    前記画像処理装置から送信された前記操作画面表示用データを受信する受信ステップと、
    前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示手段に表示する表示ステップと、
    前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作により次に表示される操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成ステップと、
    前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知ステップと、
    を実行し、
    前記画像処理装置は、さらに、
    前記携帯端末装置から通知された操作情報に基づいて、前記操作情報に対応する処理を行う制御ステップを実行することを特徴とする画像処理連携方法。
11. 画像処理装置と接続するための接続手段と、
    前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを受信手段と、
    前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示する表示手段と、
    ユーザーによるジェスチャ操作が可能な操作手段と、
    前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、前記操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作によって次に表示される前記操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成手段と、
    前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知手段と、
    を備えたことを特徴とする携帯端末装置。
12. 画像処理装置と接続する接続ステップと、
    前記接続された画像処理装置から送信された、画像処理装置の操作画面表示用データを受信するとともに、操作画面が複数ページである場合には、複数ページ分の操作画面表示用データを受信する受信ステップと、
    前記受信した操作画面表示用データに基づいて画像処理装置の操作画面を表示手段に表示する表示ステップと、
    前記表示手段に前記画像処理装置の複数ページの操作画面のうちのいずれかのページが表示されている状態で、操作手段を介してユーザーによるジェスチャ操作がなされた場合には、前記ジェスチャ操作によって指示される動作によって次に表示される前記操作画面のデータを、前記受信した複数ページ分の操作画面表示用データに基づいて作成し、前記表示手段に表示させる画面データ作成ステップと、
    前記表示手段に表示された操作画面の操作ボタンが押下された場合には、押下に対応する操作情報を前記画像処理装置に通知する通知ステップと、
    を携帯端末装置のコンピュータに実行させるための画像処理連携プログラム。

Images