JP2014110520A

JP2014110520A - 携帯端末装置、画像処理連携システム、画面データの表示方法及び表示プログラム

Info

Publication number: JP2014110520A
Application number: JP2012263737A
Authority: JP
Inventors: Kenya Haba; 健矢羽場
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2012-11-30
Filing date: 2012-11-30
Publication date: 2014-06-12
Anticipated expiration: 2032-11-30
Also published as: US9606755B2; CN103856667B; US20140155121A1; CN103856667A; CN107071202A; CN107071202B; JP5720661B2

Abstract

【課題】携帯端末に表示された画像処理装置側のリモート画面に対して変倍・回転等の編集加工を指示するジェスチャー操作がなされたとき、編集加工された画面を応答性良く表示できる携帯端末装置等を提供する。
【解決手段】リモート画面Ｄ１に対してユーザが画面データの編集加工を指示するジェスチャー操作を行うと、この操作が、第１画面領域Ｄ１１に対してなされた操作か、第２画面領域Ｄ１２に対してなされた操作かが判断される。第１画面領域に対する操作であると判断された場合、画像処理装置１から送信済の画面データを用いて編集加工を行う。第２画面領域に対する操作であると判断されると、画像処理装置に対して編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得する。
【選択図】図５

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置に無線通信により接続可能なスマートフォン、タブレット端末等の携帯端末装置、該携帯端末装置と画像処理装置を備えた画像処理連携システム、前記携帯端末装置で実行される画面データの表示方法及び表示プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面等を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

一方、携帯端末装置はタッチパネルを備えており、ユーザは表示画面に対してピンチイン、ピンチアウト等のジェスチャー操作を行うことにより、画像を変倍したり回転することが可能となっている。

ところが、携帯端末装置に表示された画像処理装置側のリモート画面に対して、変倍や回転等を指示するためのジェスチャー操作がユーザによってなされた場合、次のような問題が発生していた。

なお、特許文献１には、送信元の装置により、外部画像表示装置で表示するレイヤーと表示しないレイヤーとを判別して、表示レイヤーのみ外部表示装置へ送信することで、伝送路のトラフィックを軽減する技術が開示されている。

特開２００６−５１９４０１号公報

即ち、ピンチイン、ピンチアウト等のジェスチャー操作は、タッチパネルにタッチした指を連続的に移動させる操作であり、これに伴って画像も連続的に変倍または回転される。

従って、携帯端末装置に表示された画像処理装置側のリモート画面に対して、変倍や回転等を指示するためのジェスチャー操作がなされた場合も、リモート画面をリアルタイムで更新する必要があるが、指の移動の都度、操作が行われたことを示す情報が携帯端末側から画像処理装置へと逐次送信され、画像処理装置から対応する画面データが携帯端末へ逐次送信されて表示されるため、操作に対する画面変更の応答性が悪く、操作性を確保できないという問題があった。

特に、携帯端末装置と画像処理装置の間の無線通信状態が悪いため、通信速度が遅かったり通信の途切れが発生するような状況下では、応答性の低下に拍車がかかり、益々操作性を確保できないという問題があった。

なお、前述した特許文献に記載の技術は、このような問題に対して解決策を提供しうるものではなかった。

この発明は、このような実情に鑑みてなされたものであり、画像処理装置側の画面データをリモート画面として携帯端末装置に表示して、携帯端末装置から画像処理装置の連携操作を行う場合において、前記リモート画面に対して変倍・回転等の編集加工を指示するジェスチャー操作がなされた場合に、編集加工された画面を応答性良く表示することができる携帯端末装置、該携帯端末装置と画像処理装置を備えた画像処理連携システムを提供し、さらには前記携帯端末装置で実行される画面データの表示方法と、該携帯端末装置のコンピュータに処理を実行させるための表示プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）画像処理装置と無線通信により接続可能な無線通信手段と、前記無線通信手段により前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信手段と、前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、前記表示手段に設けられたタッチ操作手段と、前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得する取得手段と、前記受信手段により受信した前記画面データ及び前記取得した属性情報を記憶する記憶手段と、前記表示手段に表示された前記リモート画面に対してユーザにより前記タッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断手段と、前記判断手段により、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御手段と、を備えたことを特徴とする携帯端末装置。
（２）前記画像処理装置との無線通信状態に関する情報を取得する情報取得手段を備え、前記制御手段は、前記情報取得手段により取得した情報に基づく無線通信状態が、所定レベルを超えるときは、前記第１画面領域に対してなされた画面データの編集加工を指示する操作であっても、前記第１画面領域の画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる前項１に記載の携帯端末装置。
（３）画像処理装置と無線通信により接続可能な無線通信手段と、前記無線通信手段により前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信手段と、画像処理装置との無線通信状態に関する情報を取得する情報取得手段と、前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、前記表示手段に設けられたタッチ操作手段と、前記受信手段により受信した画面データを記憶する記憶手段と、前記表示手段に表示された前記リモート画面に対して、ユーザにより前記タッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得手段により取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記通信状態取得手段により取得した通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御手段と、を備えたことを特徴とする携帯端末装置。
（４）前記制御手段は、ジェスチャー操作の連続的な指の移動に応じて、通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報の前記画像処理装置への送信、画像処理装置からの編集加工後の画面データの取得、表示手段への表示を繰り返して行い、通信状態が所定レベル以下のときは、記憶手段に記憶された画面データを用いての編集加工、編集加工後の画面データの表示手段への表示を繰り返して行う前項３に記載の携帯端末装置。
（５）前記制御手段は、前記リモート画面に対してユーザにより次画面への更新を指示するジェスチャー操作がなされた場合は、更新に関する情報を前記画像処理装置に送信するとともに、画像処理装置から更新された次画面データを取得したときは、次画面データに基づく画面を前記表示手段に表示する前項１〜４のいずれかに記載の携帯端末装置。
（６）ユーザによりなされたジェスチャー操作が１点タッチ操作である場合は、ジェスチャー操作が次画面への更新を指示する操作であると判断され、２点タッチ操作である場合は、ジェスチャー操作が画面データの編集加工を指示する操作であると判断される前項５に記載の携帯端末装置。
（７）前記２点タッチ操作によるジェスチャー操作はピンチイン操作またはピンチアウト操作である前項６に記載の携帯端末装置。
（８）前記画面データの編集加工は、画面データの変倍または回転である前項１〜７のいずれかに記載の携帯端末装置。
（９）前記画面データの編集加工を指示する情報は、前記リモート画面におけるタッチ位置の座標データである前項１〜８のいずれかに記載の携帯端末装置。
（１０）前記更新に関する情報は、前記リモート画面におけるタッチ位置の座標データである前項５〜８のいずれかに記載の携帯端末装置。
（１１）前記受信手段はさらに、前記画像処理装置の表示手段の画面サイズに関する情報を受信し、前記制御手段は、前記受信した画像処理装置の表示手段の画面サイズが自装置の表示手段の画面サイズと異なる場合は、前記タッチ位置の座標データを画像処理装置の表示手段に対応する座標データに変換して、画像処理装置に送信する前項１０または１１に記載の携帯端末装置。
（１２）画像処理装置と無線通信により接続可能な携帯端末装置で実行される画面データの表示方法であって、画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信ステップと、前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得するステップと、前記受信ステップにおいて受信した前記画面データ及び前記取得した属性情報を記憶手段に記憶するステップと、前記表示手段に表示された前記リモート画面に対してユーザにより前記表示手段に設けられたタッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断ステップと、前記判断ステップにおいて、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御ステップと、を備えたことを特徴とする画面データの表示方法。
（１３）画像処理装置と無線通信により接続可能な携帯端末装置で実行される画面データの表示方法であって、前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信ステップと、画像処理装置との無線通信状態に関する情報を取得する情報取得ステップと、前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、前記受信ステップにおいて受信した画面データを記憶手段に記憶するステップと、前記表示手段に表示された前記リモート画面に対して、ユーザによりタッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御ステップと、を備えたことを特徴とする画面データの表示方法。
（１４）画像処理装置と無線通信により接続可能な携帯端末装置のコンピュータに、画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信ステップと、前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得するステップと、前記受信ステップにおいて受信した前記画面データ及び前記取得された属性情報を記憶手段に記憶するステップと、前記表示手段に表示された前記リモート画面に対してユーザにより前記表示手段に設けられたタッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断ステップと、前記判断ステップにおいて、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御ステップと、を実行させるための画面データの表示プログラム。
（１５）画像処理装置と無線通信により接続可能な携帯端末装置のコンピュータに、画像処理装置との無線通信状態に関する情報を取得する情報取得ステップと、画像処理装置側の画面データを前記画像処理装置から受信する受信ステップと、前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、前記受信ステップにおいて受信した画面データを記憶手段に記憶するステップと、前記表示手段に表示された前記リモート画面に対して、ユーザによりタッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御ステップと、を実行させるための画面データの表示プログラム。
（１６）無線通信により相互に接続される携帯端末装置と画像処理装置とを備えた画像処理連携システムであって、前記携帯端末装置は、画像処理装置と無線通信により接続可能な無線通信手段と、前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信手段と、前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、前記表示手段に設けられたタッチ操作手段と、前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得する取得手段と、前記受信手段により受信した前記画面データ及び前記取得した属性情報を記憶する記憶手段と、前記表示手段に表示された前記リモート画面に対してユーザにより前記タッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断手段と、前記判断手段により、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御手段と、を備え、前記画像処理装置は、前記携帯端末装置からの前記第２画面領域の画面データの編集加工を指示する情報を受信する受信手段と、前記受信手段により受信した前記画面データの編集加工を指示する情報に基づいて、画面データを編集加工する編集加工手段と、画面データを前記携帯端末装置に送信するとともに、前記編集加工手段により画面データが編集加工された場合は、該編集加工された画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理連携システム。
（１７）無線通信により相互に接続される携帯端末装置と画像処理装置とを備えた画像処理連携システムであって、前記携帯端末装置は、画像処理装置と無線通信により接続可能な無線通信手段と、前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信手段と、画像処理装置との無線通信状態に関する情報を取得する情報取得手段と、前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、前記表示手段に設けられたタッチ操作手段と、前記受信手段により受信した画面データを記憶する記憶手段と、前記表示手段に表示された前記リモート画面に対して、ユーザにより前記タッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得手段により取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記通信状態取得手段により取得した通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御手段と、を備え、前記画像処理装置は、前記携帯端末装置からの前記第２画面領域の画面データの編集加工を指示する情報を受信する受信手段と、前記受信手段により受信した前記画面データの編集加工を指示する情報に基づいて、画面データを編集加工する編集加工手段と、画面データを前記携帯端末装置に送信するとともに、前記編集加工手段により画面データが編集加工された場合は、該編集加工された画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理連携システム。

前項（１）に記載の発明によれば、表示手段に表示された前記リモート画面に対して、ユーザがタッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作を行うと、このジェスチャー操作が、第１画面領域に対してなされた操作か、第２画面領域に対してなされた操作かが判断される。そして、第１画面領域に対してなされた操作であると判断された場合は、画像処理装置から送信され記憶手段に記憶された第１画面領域の画面データを用いて編集加工が行われ、編集加工後の画面データが表示される。一方、第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して第２画面領域の画面データの編集加工を指示する情報が送信され、画像処理装置から編集加工後の画面データが取得され表示手段に表示される。

つまり、ユーザが、第１画面領域に対して変倍や回転といった画面データの編集加工を指示するジェスチャー操作を行うと、既に受信済みの第１画面領域の画面データを用いて、携帯端末装置の内部で編集加工処理が行われるから、タッチしている指が連続的に移動しても、それに追従した画面データが短時間で逐次加工編集され、応答性良く表示される。従ってその分、画面表示の応答性を従来よりも向上でき、操作性を確保できないといった問題を緩和することができる。

また、第２画面領域に対して画面データの編集加工を指示するジェスチャー操作がなされた場合は、従来と同じく、画像処理装置により編集加工された画面データが表示手段に表示されるから、例えばプレビュー画像領域等については、携帯端末装置側で既に送信済みの画像を用いて編集加工した場合のような画質の劣化を防止でき、より鮮明な画像を表示することができる。

前項（２）に記載の発明によれば、画像処理装置と携帯端末装置との無線通信状態が所定レベルを超えるとき、つまり通信状態が良いときは、第１画面領域に対してなされた画面データの編集加工を指示する操作であっても、応答性の悪化は抑制されることから、画像処理装置で編集加工された画面データが表示される。

前項（３）に記載の発明によれば、画像処理装置と携帯端末装置との通信状態が所定レベルを超えるとき、つまり通信状態が良いときは、画像処理装置で編集加工された画面データが表示され、通信状態が所定レベル以下のとき、つまり通信状態が良くないときは、記憶手段に記憶された既に受信済みの画面データを編集加工した画面データが表示手段に表示されるから、通信状態が良いときも悪いときも、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に対して、応答性良くリアルタイムで画面を表示することができる。

前項（４）に記載の発明によれば、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に追従して、応答性良く連続的に画面を変化させることができる。

前項（５）に記載の発明によれば、前記リモート画面に対してユーザによりなされたジェスチャー操作が次画面への更新を指示する操作である場合は、画像処理装置から更新された次画面データが取得され、表示手段に表示される。

前項（６）に記載の発明によれば、１点タッチ操作か２点タッチ操作かによって、ジェスチャー操作が次画面への更新を指示する操作であるか、画面データの編集加工を指示する操作であるかを、判断できる。

前項（７）に記載の発明によれば、ピンチイン操作またはピンチアウト操作の場合は、画面データの編集加工を指示する操作であると判断される。

前項（８）に記載の発明によれば、画面データの変倍または回転を指示するジェスチャー操作が行われた場合に、本発明が適用される。

前項（９）に記載の発明によれば、画像処理装置は、リモート画面におけるタッチ位置の座標データに基づいて、画面データの編集加工を行うことができる。

前項（１０）に記載の発明によれば、画像処理装置は、リモート画面におけるタッチ位置の座標データに基づいて、更新された次画面データを携帯端末装置に送信できる。

前項（１１）に記載の発明によれば、画像処理装置の表示手段の画面サイズが自装置の表示手段の画面サイズと異なる場合は、タッチ位置の座標データは画像処理装置の表示手段に対応する座標データに変換されて、画像処理装置に送信されるから、画像処理装置はユーザのタッチ操作に的確に対応する画面データを作成することができる。

前項（１２）に記載の発明によれば、ユーザが、第１画面領域に対して変倍や回転といった画面データの編集加工を指示するジェスチャー操作を行うと、既に受信済みの第１画面領域の画面データを用いて、携帯端末装置の内部で編集加工処理が行われるから、タッチしている指が連続的に移動しても、それに追従した画面データが短時間で逐次加工編集され、応答性良く表示される。従ってその分、画面表示の応答性を従来よりも向上でき、操作性を確保できないといった問題を緩和することができる。

前項（１３）に記載の発明によれば、画像処理装置と携帯端末装置との通信状態が良いときも悪いときも、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に対して、応答性良くリアルタイムで画面を表示することができる。

前項（１４）に記載の発明によれば、ユーザが、第１画面領域に対して変倍や回転といった画面データの編集加工を指示するジェスチャー操作を行った場合に、タッチしている指が連続的に移動しても、それに追従した画面データが短時間で逐次加工編集し表示する処理を、携帯端末装置のコンピュータに実行させることができる。

前項（１５）に記載の発明によれば、画像処理装置と携帯端末装置との通信状態が良いときも悪いときも、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に対して、応答性良くリアルタイムで画面を表示する処理を、携帯端末装置のコンピュータに実行させることができる。

前項（１６）に記載の発明によれば、タッチしている指が連続的に移動しても、それに追従した画面データが短時間で逐次加工編集され、応答性良く表示され、従ってその分、画面表示の応答性を従来よりも向上でき、操作性を確保できないといった問題を緩和することができるシステムとなる。

前項（１７）に記載の発明によれば、画像処理装置と携帯端末装置との通信状態が良いときも悪いときも、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に対して、応答性良くリアルタイムで画面を表示することができるシステムとなる。

この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。携帯端末装置の表示部に表示されたリモート画面に対して操作を行った場合に表示される画面の説明図である。連携操作時における携帯端末装置の動作を示すフローチャートである。連携操作時における画像処理装置の動作を示すフローチャートである。この発明の他の実施形態を説明するための図であり、画像処理装置及び携帯端末装置の処理を図示化したものである。図８に示した実施形態を実行する場合の携帯端末装置の動作を示すフローチャートである。この発明の更に他の実施形態を示すもので、携帯端末装置の動作を示すフローチャートである。携帯端末装置の画面サイズと画像処理装置の画面サイズが異なる場合の座標変換方法を説明するための図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。

この画像処理連携システムは、画像処理装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、携帯端末２に表示するＭＦＰ１の操作画面の画面データを作成して携帯端末２に送信したり、画面データの領域が、第１の画面領域であるか第２の画面領域であるかを示す属性情報（後述する）を作成して携帯端末２に送信したり、携帯端末側で行われたユーザ操作に基づいて編集加工した画面データや、携帯端末側で行われたユーザ操作に応じて、次に表示させる画面データ等を携帯端末２に送信する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルが保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された、画面データや該画面データにおける第１画面領域及び第２画面領域を示す属性情報、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、前記属性情報はＭＦＰ１から送信される場合に限らず、予め携帯端末２が保持していても良い。また、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４は、タッチ操作入力が可能なタッチパネルを備えた液晶等のデバイスからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面に表示された画像に対して、変倍（拡大または縮小）や回転等の編集加工を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される画面と同じ画面を再生するための画面データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４に表示したり、表示されたリモート画面をユーザが操作したときに、画面上の操作位置の座標を検出してＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザの操作指示を特定し、操作指示に応じた動作を実行する。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、連携操作時に携帯端末２に表示されたリモート画面の画面内の領域が、前述した第１画面領域であるか第２画面領域であるかを示す属性情報を作成する。なお、作成した属性情報は画面データと共に携帯端末装置２に送信される。

ここで、第１画面領域は、ユーザがリモート画面において画面データの編集加工指示操作行ったときに、携帯端末装置２で編集加工を行うことが設定された画面領域であり、第２画面領域は、ＭＦＰ１で編集加工を行うことが設定された画面領域である。画面データの領域のうちどの領域を第１画面領域とするか第２画面領域とするかは、予め設定されている。

例えばファイルのプレビュー画像の表示領域と、操作ボタンの表示領域が１つの画面データに存在する場合、プレビュー画像の表示領域は編集加工後も鮮明な画像が要求されるため、編集加工を元の画像データを保有するＭＦＰ１で行う第２画面領域と設定され、例えば操作ボタンの表示領域は鮮明な画像はさほど必要ないから、携帯端末２で編集加工を行う第１画面領域と設定される。

属性情報は、第１画面領域と第２画面領域のそれぞれを直接的に示さなければならないものではなく、第１画面領域のみを示すことによって、第１画面領域を除く領域が第２画面領域であることを間接的に示しても良く、第２画面領域のみを示すことによって、第２画面領域を除く領域が第１画面領域であることを間接的に示しても良い。

携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた画面データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、携帯端末２の表示部２０４に表示されたリモート画面の第１画面領域に対して、ユーザが画面データの編集加工指示操作を行ったときに、現在表示され記憶部２０３に記憶されている第１画面領域の画面データを用いて、自装置で編集加工を行い、表示部２０４に表示させるものである。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された画面データを用いて、ＭＦＰ１の画面をリモート画面として作成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザの操作情報、携帯端末２との送受信データ、携帯端末２側の画面データを取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザ操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザが携帯端末２の表示部２０４に表示された操作画面中の連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、画面データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。

ユーザが携帯端末２に表示されているＭＦＰ１側の画面であるリモート画面をタッチ操作すると、タッチ操作が画面データの編集加工を指示するジェスチャー操作であるか、次画面への更新指示操作であるかが判断される。そして、タッチ操作が画面データの編集加工を指示するジェスチャー操作であると判断されると、リモート画面の領域のうち、第１画面領域において操作がなされたか、第２画面領域において操作がなされたかが判断される。

図５（Ａ）に携帯端末２の表示部２０４に、リモート画面Ｄ１が表示されている状態を示す。

このリモート画面Ｄは、第１画面領域Ｄ１１と第２画面領域Ｄ１２を備えている。第１画面領域Ｄ１１及び第２画面領域Ｄ１２の範囲は、前述したように、属性情報として画面データと共にＭＦＰ１から送信され、記憶部２０３に記憶されている。

図５（Ａ）の例では、第１画面領域Ｄ１１は複数の操作ボタンが表示された領域であり、第２画面領域Ｄ１２はファイル等のプレビュー画像が表示された領域である。

ここで、ユーザがリモート画面Ｄ１の第１画面領域Ｄ１１に対し、編集加工を指示する操作として画像拡大のためジェスチャー操作であるピンチアウト操作を行ったとする。

すると、携帯端末２は、第１画面領域Ｄ１１に対するピンチアウト操作であると判断し、記憶部２０３に記憶されている画面データのうち、第１画面領域のデータを用いてこれを拡大加工し、図５（Ｂ）に示すように、拡大された画面Ｄ３が表示部２０４に表示される。

ピンチアウト操作において、指がタッチパネル上を移動する都度、画面データが拡大加工されて表示部２０４に表示される。拡大加工は携帯端末２に記憶されているデータを用いて携帯端末自身が行うから、処理速度が極めて速く、従ってパネル上を移動する指の動きに応答性良く追従して、拡大画像が連続的に表示される。

次に、ユーザがリモート画面Ｄ１の第２画面領域Ｄ１２に対し、編集加工を指示する操作として画像拡大のためジェスチャー操作であるピンチアウト操作を行ったとする。

すると、携帯端末２は、第２画面領域Ｄ１２に対するピンチアウト操作であると判断し、ＭＦＰ１に対して第２画面領域Ｄ１２の画面データの拡大を指示する情報を送信する。第２画面領域Ｄ１２の画面データの拡大を指示する情報は、具体的には、リモート画面Ｄ１におけるタッチ装置の位置情報（座標データ）である。

ＭＦＰ１は、この位置情報を受信すると、これを解析し、第２画面領域Ｄ１２の画面データを拡大処理し、処理後の画面データを携帯端末２に送信する。

携帯端末２はこれを受信して、図５（Ｂ）に示すように、拡大された第２画面領域Ｄ２２を有する画面Ｄ２を表示部２０４に表示する。この実施形態では、第２画面領域はプレビュー領域であるから、拡大後もより鮮明な画像が要求される。このため、第２画面領域の拡大処理は、既に受信済みの画面データを用いて行うのではなく、オリジナルの画面データを有するＭＦＰ１に拡大処理を実行させ、拡大処理後の画面データを受信して表示するものとする。携帯端末２が受信済みの画面データは、圧縮して送信されているから、これを伸張し更に拡大すると、画質が劣化する。

図６は、連携操作時における携帯端末２の動作を示すフローチャートである。

なお、この動作は携帯端末２のＣＰＵ２０１が、記憶部２０３等に格納されている動作プログラムに従って動作することにより実行される。

連携アプリの起動後、ステップＳ０１で、画面データの取得要求をＭＦＰ１に送信し、ステップＳ０２では、ＭＦＰ１から画面データの取得要求を待つ（ステップＳ０２でＮＯ）。画面データを取得すると（ステップＳ０２でＹＥＳ）、ステップＳ０３で表示部２０４に表示したのち、ステップＳ０４で、取得した画面データと、該画面データと共に送信されてきた第１画面領域、第２画面領域を示す属性情報とを、記憶部２０３に記憶する。

次に、ステップＳ０５で、タッチ操作がなされたかどうかを判断する。タッチ操作がなされた場合（ステップＳ０５でＹＥＳ）、ステップＳ０６で、タッチ操作は画面データの編集加工を指示するジェスチャー操作であるかどうかを判断する。この実施形態では、ピンチイン操作、ピンチアウト操作による表示画面の拡大または縮小操作や回転操作を、編集加工を指示するジェスチャー操作として例示するが、これらに限定されることはない。

編集加工を指示するジェスチャー操作であるかどうかは、１点タッチ操作か２点タッチ操作かによって容易に判断できる。例えばピンチイン操作、ピンチアウト操作の場合は２点タッチ操作であるから、画面データの編集加工を指示するジェスチャー操作であると判断される。１点タッチ操作の場合は、リモート画面に表示された操作ボタン等の押下操作と考えられるため、次画面への更新指示操作であると判断される。

ステップＳ０６において、タッチ操作が表示画面の変倍・回転操作と判断されると（ステップＳ０６でＹＥＳ）、ステップＳ０７で、タッチ操作は第１画面領域における操作であるかどうかを判断する。タッチ操作が第１画面領域における操作であると判断されると（ステップＳ０７でＹＥＳ）、ステップＳ０８で、記憶部２０３に記憶されている画面データを用いて、操作に応じた変倍処理または回転処理を行ったのち、ステップＳ０９で、処理後の画面データを表示部２０４に表示する。表示後、ステップＳ０５に戻る。なお、変倍処理または回転処理後の画面データは記憶部２０３に記憶され、次の変倍処理または回転処理に供される。

一方、ステップＳ０６において、タッチ操作が表示画面の変倍・回転操作でない、つまり次画面への更新指示操作であると判断された場合（ステップＳ０６でＮＯ）、ステップＳ１０に進み、更新に関する情報として、リモート画面におけるタッチ位置の座標データを送信する。ＭＦＰ１は、タッチ位置の座標データから１点タッチであることを認識し、それに応じた次画面データ（更新画面のデータ）を携帯端末２に送信する。

一方、ステップＳ０７で、タッチ操作が第２画面領域における操作であると判断された場合も（ステップＳ０７でＮＯ）、ステップＳ１０に進み、第２画面領域の画面データの編集加工を指示する情報として、タッチ位置の座標データをＭＦＰ１へ送信する。

ＭＦＰ１は、タッチ位置の座標データから２点タッチであることを認識し、それに応じた編集加工を行い、編集加工後の画面データを携帯端末２に送信する。

携帯端末２はステップＳ１１で、ＭＧＰ１からの画面データを受信したのち、ステップＳ０９に進み、表示部２０４に表示する。

ピンチイン操作、ピンチアウト操作等は、タッチパネルにタッチした指を連続的に移動させるから、移動状態が継続する限り、ステップＳ０５〜Ｓ１１の動作が繰り返される。

ステップＳ０５〜０９の動作の繰り返しにより、第１画面領域におけるピンチイン操作、ピンチアウト操作の指の連続的な移動に応じて、表示部２０４には変倍または回転が進行する画像データが応答良く連続的に表示される。

所定時間タッチ操作がないと（ステップＳ０５でＮＯ）、タッチ操作の終了とみなして処理を終了する。

第２画面領域におけるピンチイン操作、ピンチアウト操作の指の連続的な移動によっても、ＭＦＰ１から変倍または回転が進行する画面データが送信される。この場合、応答性は良くないが、鮮明な画像が得られる。

図７は、連携処理時のＭＦＰ１の動作を示すフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０２等に格納されている動作プログラムに従って動作することにより実行される。

ステップＳ２１で、携帯端末２から操作画面の取得要求があったかどうかを判断し、なければそのまま処理を終了する。取得要求があれば（ステップＳ２１でＹＥＳ）、ステップＳ２２で、要求された画面データと前述した属性情報を携帯端末２に送信する。

次いでステップＳ０３で、携帯端末２から座標データを受信したかどうかを判断する。受信しなければ（ステップＳ２３でＮＯ）、処理を終了する。受信した場合（ステップＳ２３でＹＥＳ）、ステップＳ２４で座標データを解析し、タッチ操作が表示画面の変倍・回転操作かどうかを判断する。

変倍・回転操作と判断されると（ステップＳ２４でＹＥＳ）、ステップＳ２５で、操作に応じた変倍処理または回転処理を行ったのち、ステップＳ２６で、処理後の画面データを携帯端末２に送信する。送信後、ステップＳ２３に戻る。

ステップＳ２４で、タッチ操作が表示画面の変倍・回転操作でない、つまり次画面への更新指示操作であると判断された場合（ステップＳ２４でＮＯ）、ステップＳ２７に進み、対応する次画面データを携帯端末２に送信した後、ステップＳ２３に戻る。

ピンチイン操作、ピンチアウト操作等は、タッチパネルにタッチした指を連続的に移動させるから、移動状態が継続する限り、ステップＳ２３〜Ｓ２７の動作が繰り返される。

所定時間タッチ操作がないと（ステップＳ２３でＮＯ）、タッチ操作の終了とみなして処理を終了する。

図８はこの発明の他の実施形態を説明するための図であり、ＭＦＰ１及び携帯端末２の処理を図示化したものである。

この実施形態では、携帯端末２のＣＰＵ２０１は、ＭＦＰ１と無線通信接続された状態で無線通信状態に関する情報を取得し、無線通信状態の良否を判断する機能を有している。なお、通信状態の良否は、通信速度や通信帯域等について取得した情報から判断することができる。なお、ＭＦＰ１が無線通信状態の良否を判断し、その情報を受信することで携帯端末２が無線通信状態の良否を判断する構成であっても良い。

リモート画面に対して変倍、回転等の編集加工を指示するジェスチャー操作がなされたときに、ＭＦＰ１と携帯端末２との間の無線通信状態の良否に応じて、編集加工処理を携帯端末２で実行するかＭＦＰ１で実行するかを、決定するものである。

ＭＦＰ１がスマートフォン、タブレット端末等の他の携帯端末１０１〜１０４と無線通信により接続されている状態では、ＭＦＰ１と携帯端末２との間の無線通信状態が悪化してしまい、リモート画面の操作に対するＭＦＰ１の応答性が低下する。そこで、無線通信状態が悪化している場合は、ＭＦＰ１との間での画面データの送受信は行わず、携帯端末２により画面データの編集加工を行うことで応答性を確保し、悪化していない場合は、ＭＦＰ１の応答性低下のリスクが少ないことから、ＭＦＰ１で編集加工を行う構成となされている。

携帯端末２は、ステップＳ３１で、ＪＰＥＧ画像からリモート画面を生成し表示部２０４に表示する。リモート画面に対して、例えばピンチイン操作、ピンチアウト操作があると、ステップＳ３２でタッチ位置の座標が検知され、ステップＳ３３でジェスチャー操作の内容を判断し、変倍、回転等の編集加工指示か次画面への更新指示かを判断する。

ＭＦＰ１との通信状態はステップＳ３５でモニターされており、ジェスチャー操作が編集加工の指示の場合、通信状態に応じて、ステップＳ３４でセレクトする。つまり、通信状態が良くない場合は、矢印Ａで示すように、ステップＳ３７で、記憶部２０３に記憶している画面データの受信データ（ＪＰＥＧデータ）を変倍処理等し、ステップＳ３８で処理後のデータを表示部３０４に表示する。

一方、通信状態が良い場合は、矢印Ｂで示すように、ステップＳ３１で、画面データの編集加工を指示する情報として、タッチ操作位置の座標データをＭＦＰ１に送信する。ＭＦＰ１は、ステップＳ４１で操作内容を識別し、ステップＳ４２で操作に応じた画面データを作成し、携帯端末２に送信する。携帯端末２は、このデータを受信して、ステップＳ３８で表示する。

図９は、図８に示した実施形態を実行する場合の携帯端末２の動作を示すフローチャートである。

連携アプリの起動後、ステップＳ５１で、画面データの取得要求をＭＦＰ１に送信し、ステップＳ５２では、ＭＦＰ１から画面データの取得要求を待つ（ステップＳ５２でＮＯ）。画面データを取得すると（ステップＳ５２でＹＥＳ）、ステップＳ５３で表示部２０４に表示したのち、ステップＳ５４で、取得した画面データを記憶部２０３に記憶する。

次に、ステップＳ５５で、タッチ操作がなされたかどうかを判断する。タッチ操作がなされた場合（ステップＳ５５でＹＥＳ）、ステップＳ５６で、タッチ操作は、ジェスチャー操作による変倍・回転操作であるかどうかを判断する。

ステップＳ５６において、タッチ操作が表示画面の変倍・回転操作と判断されると（ステップＳ０６でＹＥＳ）、ステップＳ５７で、ＭＦＰ１との無線通信状態は所定レベルを超えているか（通信状態が良いかどうか）を判断する。

通信状態が所定レベル以下と判断されると（ステップＳ５７でＮＯ）、無線通信状態が良くないから、ステップＳ５８で、記憶部２０３に記憶されている画面データを用いて、操作に応じた変倍処理または回転処理を行ったのち、ステップＳ５９で、処理後の画面データを表示部２０４に表示する。表示後、ステップＳ５５に戻る。なお、変倍処理または回転処理後の画面データは記憶部２０３に記憶され、次の変倍処理または回転処理に供される。

一方、ステップＳ５６において、タッチ操作が表示画面の変倍・回転操作でない、つまり次画面への更新指示操作であると判断された場合（ステップＳ５６でＮＯ）、ステップＳ６０に進み、更新に関する情報として、リモート画面におけるタッチ位置の座標データを送信する。ＭＦＰ１は、タッチ位置の座標データから１点タッチであることを認識し、それに応じた次画面データ（更新画面のデータ）を携帯端末２に送信する。

また、ステップＳ５７で、ＭＦＰ１との無線通信状態が所定レベルを超えていると判断された場合、つまり無線通信状態が良い場合も（ステップＳ５７でＹＥＳ）、ステップＳ６０に進み、画面データの編集加工を指示する情報として、タッチ位置の座標データをＭＦＰ１へ送信する。

携帯端末２はステップＳ６１で、ＭＦＰ１からの画面データを受信したのち、ステップＳ５９に進み、受信した画面データを表示部２０４に表示する。

ピンチイン操作、ピンチアウト操作等は、タッチパネルにタッチした指を連続的に移動させるから、移動状態が継続する限り、ステップＳ５５〜Ｓ６１の動作が繰り返される。

ステップＳ５５〜５９の動作の繰り返しにより、第１画面領域におけるピンチイン操作、ピンチアウト操作の指の連続的な移動に応じて、表示部２０４には変倍または回転が進行する画像データが応答良く連続的に表示される。

所定時間タッチ操作がないと（ステップＳ５５でＮＯ）、タッチ操作の終了とみなして処理を終了する。

このように、この実施形態では、ＭＦＰ１と携帯端末２との通信状態が所定レベルを超えるとき、つまり通信状態が良いときは、ＭＦＰ１で編集加工された画面データが表示され、通信状態が所定レベル以下のとき、つまり通信状態が良くないときは、記憶部２０３に記憶された既に受信済みの画面データを編集加工した画面データが表示部２０４に表示されるから、通信状態が良いときも悪いときも、変倍や回転といった画面データの編集加工を指示するジェスチャー操作に対して、応答性良くリアルタイムで画面を表示することができる。

図１０はこの発明の更に他の実施形態を示すもので、携帯端末２の動作を示すフローチャートである。

この実施形態は、図６に示した実施形態と同様に、リモート画面の第１画面領域に対して編集加工を指示するジェスチャー操作が行われた場合には、携帯端末２で編集加工処理を行うが、ＭＦＰ１との無線通信状態が良い場合は、リモート画面の第１画面領域に対して編集加工を指示するジェスチャー操作が行われた場合であっても、第１画面領域の画面データの編集加工を指示する情報をＭＦＰ１に送信し、ＭＦＰ１で編集加工処理を実行するものである。

連携アプリの起動後、ステップＳ７１で、画面データの取得要求をＭＦＰ１に送信し、ステップＳ７２では、ＭＦＰ１から画面データの取得要求を待つ（ステップＳ７２でＮＯ）。画面データを取得すると（ステップＳ７２でＹＥＳ）、ステップＳ７３で表示部２０４に表示したのち、ステップＳ７４で、取得した画面データと、該画面データと共に送信されてきた第１画面領域、第２画面領域を示す属性情報とを、記憶部２０３に記憶する。

次に、ステップＳ７５で、タッチ操作がなされたかどうかを判断する。タッチ操作がなされた場合（ステップＳ７５でＹＥＳ）、ステップＳ７６で、タッチ操作は、ジェスチャー操作による変倍・回転操作であるかどうかを判断する。

ステップＳ７６において、タッチ操作が表示画面の変倍・回転操作と判断されると（ステップＳ７６でＹＥＳ）、ステップＳ７７で、タッチ操作は第１画面領域における操作であるかどうかを判断する。タッチ操作が第１画面領域における操作であると判断されると（ステップＳ７７でＹＥＳ）、ステップＳ７８で、ＭＦＰ１との無線通信状態は所定レベルを超えているか（通信状態がよいかどうか）を判断する。

通信状態は所定レベル以下であると判断されると（ステップＳ７８でＮＯ）、無線通信状態が良くないから、ステップＳ７９で、記憶部２０３に記憶されている画面データを用いて、操作に応じた変倍処理または回転処理を行ったのち、ステップＳ８０で、処理後の画面データを表示部２０４に表示する。表示後、ステップＳ７５に戻る。なお、変倍処理または回転処理後の画面データは記憶部２０３に記憶され、次の変倍処理または回転処理に供される。

一方、ステップＳ７６において、タッチ操作が表示画面の変倍・回転操作でない、つまり次画面への更新指示操作であると判断された場合（ステップＳ７６でＮＯ）、ステップＳ８１に進み、更新に関する情報として、リモート画面におけるタッチ位置の座標データを送信する。ＭＦＰ１は、タッチ位置の座標データから１点タッチであることを認識し、それに応じた次画面データ（更新画面のデータ）を携帯端末２に送信する。

また、ステップＳ７７で、タッチ操作が第２画面領域における操作であると判断された場合も（ステップＳ７７でＮＯ）、ステップＳ８１に進み、第２画面領域の画面データの編集加工を指示する情報として、タッチ位置の座標データをＭＦＰ１へ送信する。

また、ステップＳ７８で、ＭＦＰ１との無線通信状態が所定レベルを超えていると判断された場合、つまり無線通信状態が良い場合も（ステップＳ７８でＹＥＳ）、ステップＳ８１に進み、画面データの編集加工を指示する情報として、タッチ位置の座標データをＭＦＰ１へ送信する。

携帯端末２はステップＳ８２で、ＭＦＰ１からの画面データを受信したのち、ステップＳ８０に進み、受信した画面データを表示部２０４に表示する。

ピンチイン操作、ピンチアウト操作等は、タッチパネルにタッチした指を連続的に移動させるから、移動状態が継続する限り、ステップＳ７５〜Ｓ８２の動作が繰り返される。

所定時間タッチ操作がないと（ステップＳ７５でＮＯ）、タッチ操作の終了とみなして処理を終了する。

このように、この実施形態では、ＭＦＰ１との無線通信状態が所定レベルを超えるとき、つまり通信状態が良いときは、第１画面領域に対してなされた画面データの編集加工を指示するジェスチャー操作であっても、応答性の悪化は抑制されることから、ＭＦＰ１で編集加工が行われる。

ところで、携帯端末２からＭＦＰ１へ、画面データの編集加工を指示する情報あるいは更新に関する情報として、リモート画面におけるタッチ位置の座標データを送信する場合、携帯端末２の表示部２０４の画面サイズが、ＭＦＰ１の表示部１０７ｂの画面サイズと異なる場合、携帯端末２の表示部２０４における座標データとＭＦＰ１の表示部１０７ｂの座標データが１対１で対応しない。このため、携帯端末２の表示部２０４における座標データをそのままＭＦＰ１に送信しても、ＭＦＰ１は携帯端末１の操作に対応する画面データを的確に作成することはできない。

そこで、この実施形態では、携帯端末２はＭＦＰから表示部１０７ｂの画面サイズに関する情報を予め受信すると共に、受信したＭＦＰ１の画面サイズが携帯端末２の画面サイズと異なる場合は、前記タッチ位置の座標データをＭＦＰ１の画面サイズに対応する座標データに変換して、ＭＦＰ１に送信する
具体的には、図１１（Ａ）（Ｂ）に示すように、ＭＦＰ１の表示部１０７ａの画面サイズがα２×β２であり、携帯端末２の表示部２０４の画面サイズがα１×β１であり、携帯端末２の表示部２０４のタッチ位置の座標を（Ｘ１，Ｙ１）とすると、携帯端末２はＭＦＰ１へ送信する座標データ（Ｘ２，Ｙ２）を、以下の式で変換して送信する。

Ｘ２＝（α２／α１）×Ｘ１，Ｙ２＝（β２／β１）×Ｙ１
このような座標変換により、ＭＦＰ１はユーザのタッチ操作に的確に対応する画面データを作成することができ、ひいてはユーザ操作に対応したリモート画面を携帯端末２に表示させることができる。

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０７ｂ表示部
１０９ＷＩＦＩモジュール
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４表示部
２０５ＷＩＦＩモジュール
２０９連携部

Claims

画像処理装置と無線通信により接続可能な無線通信手段と、
前記無線通信手段により前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信手段と、
前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、
前記表示手段に設けられたタッチ操作手段と、
前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得する取得手段と、
前記受信手段により受信した前記画面データ及び前記取得した属性情報を記憶する記憶手段と、
前記表示手段に表示された前記リモート画面に対してユーザにより前記タッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断手段と、
前記判断手段により、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御手段と、
を備えたことを特徴とする携帯端末装置。
前記画像処理装置との無線通信状態に関する情報を取得する情報取得手段を備え、
前記制御手段は、前記情報取得手段により取得した情報に基づく無線通信状態が、所定レベルを超えるときは、前記第１画面領域に対してなされた画面データの編集加工を指示する操作であっても、前記第１画面領域の画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる請求項１に記載の携帯端末装置。
画像処理装置と無線通信により接続可能な無線通信手段と、
前記無線通信手段により前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信手段と、
画像処理装置との無線通信状態に関する情報を取得する情報取得手段と、
前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、
前記表示手段に設けられたタッチ操作手段と、
前記受信手段により受信した画面データを記憶する記憶手段と、
前記表示手段に表示された前記リモート画面に対して、ユーザにより前記タッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得手段により取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記通信状態取得手段により取得した通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御手段と、
を備えたことを特徴とする携帯端末装置。
前記制御手段は、ジェスチャー操作の連続的な指の移動に応じて、通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報の前記画像処理装置への送信、画像処理装置からの編集加工後の画面データの取得、表示手段への表示を繰り返して行い、通信状態が所定レベル以下のときは、記憶手段に記憶された画面データを用いての編集加工、編集加工後の画面データの表示手段への表示を繰り返して行う請求項３に記載の携帯端末装置。
前記制御手段は、前記リモート画面に対してユーザにより次画面への更新を指示するジェスチャー操作がなされた場合は、更新に関する情報を前記画像処理装置に送信するとともに、画像処理装置から更新された次画面データを取得したときは、次画面データに基づく画面を前記表示手段に表示する請求項１〜４のいずれかに記載の携帯端末装置。
ユーザによりなされたジェスチャー操作が１点タッチ操作である場合は、ジェスチャー操作が次画面への更新を指示する操作であると判断され、２点タッチ操作である場合は、ジェスチャー操作が画面データの編集加工を指示する操作であると判断される請求項５に記載の携帯端末装置。
前記２点タッチ操作によるジェスチャー操作はピンチイン操作またはピンチアウト操作である請求項６に記載の携帯端末装置。
前記画面データの編集加工は、画面データの変倍または回転である請求項１〜７のいずれかに記載の携帯端末装置。
前記画面データの編集加工を指示する情報は、前記リモート画面におけるタッチ位置の座標データである請求項１〜８のいずれかに記載の携帯端末装置。
前記更新に関する情報は、前記リモート画面におけるタッチ位置の座標データである請求項５〜８のいずれかに記載の携帯端末装置。
前記受信手段はさらに、前記画像処理装置の表示手段の画面サイズに関する情報を受信し、
前記制御手段は、前記受信した画像処理装置の表示手段の画面サイズが自装置の表示手段の画面サイズと異なる場合は、前記タッチ位置の座標データを画像処理装置の表示手段に対応する座標データに変換して、画像処理装置に送信する請求項１０または１１に記載の携帯端末装置。
画像処理装置と無線通信により接続可能な携帯端末装置で実行される画面データの表示方法であって、
画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信ステップと、
前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、
前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得するステップと、
前記受信ステップにおいて受信した前記画面データ及び前記取得した属性情報を記憶手段に記憶するステップと、
前記表示手段に表示された前記リモート画面に対してユーザにより前記表示手段に設けられたタッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断ステップと、
前記判断ステップにおいて、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御ステップと、
を備えたことを特徴とする画面データの表示方法。
画像処理装置と無線通信により接続可能な携帯端末装置で実行される画面データの表示方法であって、
前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信ステップと、
画像処理装置との無線通信状態に関する情報を取得する情報取得ステップと、
前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、
前記受信ステップにおいて受信した画面データを記憶手段に記憶するステップと、
前記表示手段に表示された前記リモート画面に対して、ユーザによりタッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御ステップと、
を備えたことを特徴とする画面データの表示方法。
画像処理装置と無線通信により接続可能な携帯端末装置のコンピュータに、
画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信ステップと、
前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、
前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得するステップと、
前記受信ステップにおいて受信した前記画面データ及び前記取得された属性情報を記憶手段に記憶するステップと、
前記表示手段に表示された前記リモート画面に対してユーザにより前記表示手段に設けられたタッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断ステップと、
前記判断ステップにおいて、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御ステップと、
を実行させるための画面データの表示プログラム。
画像処理装置と無線通信により接続可能な携帯端末装置のコンピュータに、
画像処理装置との無線通信状態に関する情報を取得する情報取得ステップと、
画像処理装置側の画面データを前記画像処理装置から受信する受信ステップと、
前記受信ステップにおいて受信した画面データに基づくリモート画面を表示手段に表示するステップと、
前記受信ステップにおいて受信した画面データを記憶手段に記憶するステップと、
前記表示手段に表示された前記リモート画面に対して、ユーザによりタッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記情報取得ステップにおいて取得した情報に基づく無線通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御ステップと、
を実行させるための画面データの表示プログラム。
無線通信により相互に接続される携帯端末装置と画像処理装置とを備えた画像処理連携システムであって、
前記携帯端末装置は、
画像処理装置と無線通信により接続可能な無線通信手段と、
前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを受信する受信手段と、
前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、
前記表示手段に設けられたタッチ操作手段と、
前記画面データに基づいて前記表示手段に表示されたリモート画面内の領域が、該リモート画面に対して画面データの編集加工を指示するジェスチャー操作がなされたときに、自装置で編集加工を行うことが設定された第１画面領域であるか、画像処理装置で編集加工を行うことが設定された第２画面領域であるかを示す属性情報を取得する取得手段と、
前記受信手段により受信した前記画面データ及び前記取得した属性情報を記憶する記憶手段と、
前記表示手段に表示された前記リモート画面に対してユーザにより前記タッチ操作手段を介してなされた画面データの編集加工を指示するジェスチャー操作が、前記第１画面領域に対してなされた操作か、前記第２画面領域に対してなされた操作かを判断する判断手段と、
前記判断手段により、前記第１画面領域に対してなされた操作であると判断された場合は、前記記憶手段に記憶された前記第１画面領域の画面データを用いて編集加工を行い、編集加工後の画面データを前記表示手段に表示させ、前記第２画面領域に対してなされた操作であると判断された場合は、画像処理装置に対して前記第２画面領域の画面データの編集加工を指示する情報を送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させる制御手段と、
を備え、
前記画像処理装置は、
前記携帯端末装置からの前記第２画面領域の画面データの編集加工を指示する情報を受信する受信手段と、
前記受信手段により受信した前記画面データの編集加工を指示する情報に基づいて、画面データを編集加工する編集加工手段と、
画面データを前記携帯端末装置に送信するとともに、前記編集加工手段により画面データが編集加工された場合は、該編集加工された画面データを前記携帯端末装置に送信する送信手段と、
を備えたことを特徴とする画像処理連携システム。
無線通信により相互に接続される携帯端末装置と画像処理装置とを備えた画像処理連携システムであって、
前記携帯端末装置は、
画像処理装置と無線通信により接続可能な無線通信手段と、
前記画像処理装置と無線接続された状態で、画像処理装置側の画面データを前記画像処理装置から受信する受信手段と、
画像処理装置との無線通信状態に関する情報を取得する情報取得手段と、
前記受信手段により受信した画面データに基づくリモート画面を表示する表示手段と、
前記表示手段に設けられたタッチ操作手段と、
前記受信手段により受信した画面データを記憶する記憶手段と、
前記表示手段に表示された前記リモート画面に対して、ユーザにより前記タッチ操作手段を介して画面データの編集加工を指示するジェスチャー操作がなされたときに、前記情報取得手段により取得した情報に基づく無線通信状態が所定レベルを超えるときは、画面データの編集加工を指示する情報を前記画像処理装置に送信し、画像処理装置から編集加工後の画面データを取得して前記表示手段に表示させ、前記通信状態取得手段により取得した通信状態が所定レベル以下のときは、前記記憶手段に記憶された画面データを用いて編集加工し、編集加工後の画面データを前記表示手段に表示させる制御手段と、
を備え、
前記画像処理装置は、
前記携帯端末装置からの前記第２画面領域の画面データの編集加工を指示する情報を受信する受信手段と、
前記受信手段により受信した前記画面データの編集加工を指示する情報に基づいて、画面データを編集加工する編集加工手段と、
画面データを前記携帯端末装置に送信するとともに、前記編集加工手段により画面データが編集加工された場合は、該編集加工された画面データを前記携帯端末装置に送信する送信手段と、
を備えたことを特徴とする画像処理連携システム。