CN104158996B - 图像处理协作系统、便携终端装置、图像处理协作方法 - Google Patents

图像处理协作系统、便携终端装置、图像处理协作方法 Download PDF

Info

Publication number
CN104158996B
CN104158996B CN201410203180.3A CN201410203180A CN104158996B CN 104158996 B CN104158996 B CN 104158996B CN 201410203180 A CN201410203180 A CN 201410203180A CN 104158996 B CN104158996 B CN 104158996B
Authority
CN
China
Prior art keywords
operation screen
image processing
data
received
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410203180.3A
Other languages
English (en)
Other versions
CN104158996A (zh
Inventor
近藤敦士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN104158996A publication Critical patent/CN104158996A/zh
Application granted granted Critical
Publication of CN104158996B publication Critical patent/CN104158996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00501—Tailoring a user interface [UI] to specific requirements
    • H04N1/00509—Personalising for a particular user or group of users, e.g. a workgroup or company
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00938—Software related arrangements, e.g. loading applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Facsimiles In General (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及图像处理协作系统、便携终端装置、图像处理协作方法。提供图像处理协作系统等，在将图像处理装置侧的操作画面作为远程画面显示在便携终端装置上进行协作操作的情况下，进行了手势操作时，即使图像处理装置侧没有与手势操作对应，也能消除错误识别而显示通过手势操作指示那样的操作画面。便携终端装置具有存储用于将通过手势操作指示的动作变换为在显示部件显示的图像处理装置的操作画面的操作信息的预先设定的变换规则的存储部件。在显示部件显示有图像处理装置的操作画面的状态下，进行了用户的手势操作的情况下，按照变换规则，由手势操作指示的动作被变换为操作画面的操作信息，该变换后的操作画面的操作信息被通知到图像处理装置。

Description

图像处理协作系统、便携终端装置、图像处理协作方法
技术领域
本发明涉及具有作为多功能数字复合机的MFP(多功能外围设备)等图像处理装置、和智能电话、平板终端等便携终端装置的图像处理协作系统、用于该系统的便携终端装置以及图像处理协作方法。
背景技术
近年来，智能电话、平板终端等便携终端装置能够存储电子化的文本，能够不分时间地点地阅览或编辑文本。此外，能够将在便携终端装置中进行编辑等后的文件发送给所述MFP等的图像处理装置，并在图像处理装置执行印刷或者保存等处理。进而，还能够将由在图像处理装置的扫描仪部中读取到的原稿的图像数据等构成的文件发送给便携终端装置，在便携终端装置中进行编辑等。
但是，存在如下问题：需要分别单独操作便携终端装置和图像处理装置，操作变得麻烦。
因此，最近提出了如下的图像处理装置和便携终端装置的协作系统：将用于使用图像处理装置的功能的图像处理装置侧的操作画面作为远程画面而显示于便携终端装置的显示部，能够从便携终端装置协作操作图像处理装置。在该协作系统中，要显示于便携终端装置的显示部的图像处理装置侧的远程画面基于从图像处理装置发送的画面数据而被显示。
即，表示进行了操作的信息从便携终端装置发送至图像处理装置，图像处理装置基于该信息生成下一个画面数据，并将该画面数据发送给便携终端装置，便携终端装置基于该画面数据更新显示远程画面。
另一方面，便携终端装置具有触摸面板，用户通过对显示画面进行轻拂等手势操作，能够进行向后翻页或向前翻页等。
然而，当由用户对显示在便携终端装置的图像处理装置侧的远程画面进行了用于指示向前翻页或向后翻页等的手势操作的情况下，发生如下的问题。
另外，在专利文献1中提出了如下的地图显示装置：当操作者在非常少的时间瞬间接触了触摸面板的情况、以及操作者滑动了在触摸面板上放置的手指的情况的任一个情况下均能够实现输入错误的降低。
具体来说，具有：能够在画面上显示地图的显示器3；能够以规定检测周期检测对于画面的触摸操作的触摸面板10；变更触摸面板10的检测周期，以便在以第1周期检测到对于触摸面板10的触摸操作后，以比第1周期长的第2周期检测对于触摸面板10的触摸操作的微型计算机8；以及根据触摸面板10的触摸操作的检测结果，滚动显示在显示器3的画面上显示的地图的控制电路6。
[专利文献1]：(日本)特开2007-010645号公报
即，例如图15所示，为了将文本数据从图像处理装置通过电子邮件发送，假设具有多个地址选择按钮301的地址设定画面作为远程画面而显示在便携终端装置。该地址设定画面由两页构成，在图15(A)所示的第一页的地址设定画面中，通过按下向后翻页按钮303，从图像处理装置发送如图15(B)所示的第二页的地址设定画面的数据，且显示于便携终端装置。
但是，有时在显示了如图15(A)所示的第一页的地址设定画面的状态下，习惯操作便携终端装置的用户在画面上如手指标记和箭头所示那样作为手势操作向下方向进行轻拂操作。此时，存在如下问题：虽然用户期待转移到图15(B)所示的第二页的地址设定画面，但由于图像处理装置没有与手势操作对应，因此在图像处理装置侧如图16所示那样，判断为选择了最初触摸的地址按钮301a(在图15中由阴影表示)，导致对该地址发送电子邮件。
当然，通过在图像处理装置侧安装能够与手势操作对应的算法，能够防止这样的问题，但需要变更图像处理装置侧的软件等，产生如成本增加等其他的问题。
另外，上述的专利文献1记载的技术对进行了这样的手势操作时的错误识别的问题并不能提供有效的解决方案。
发明内容
本发明鉴于这样的实情而完成，其目的在于提供在将图像处理装置侧的操作画面作为远程画面而显示于便携终端装置，从而从便携终端装置进行图像处理装置的协作操作的情况下，进行了用于指示向前翻页或向后翻页等动作的手势操作时，即使图像处理装置侧没有与手势操作对应，也能够消除错误识别而显示如手势操作所指示那样的操作画面的图像处理协作系统、用于该系统的便携终端装置以及图像处理协作方法。
上述课题可通过以下的手段来解决。
(1)一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，所述图像处理装置具有：发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，所述便携终端装置具有：接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；存储部件，存储用于将由所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；判定部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；变换部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将由所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置，所述图像处理装置进一步具有：控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
(2)一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，所述图像处理装置具有：发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，所述便携终端装置具有：接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；存储部件，存储用于将由所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；变换部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将由所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知部件，基于所述变换部件的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，所述图像处理装置进一步具有：控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
(3)如前项(1)或(2)所述的图像处理协作系统，其中，所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
(4)一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，所述图像处理装置执行：发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则，并且，所述便携终端装置执行：接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；判定步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；变换步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置，所述图像处理装置还执行：控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
(5)一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，所述图像处理装置执行：发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则，并且，所述便携终端装置执行：接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；变换步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知步骤，基于所述变换步骤中的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，所述图像处理装置还执行：控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
(6)如前项(4)或(5)所述的图像处理协作方法，其中，所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
(7)一种便携终端装置，其特征在于，包括：连接部件，用于与图像处理装置连接；接收部件，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；判定部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；变换部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置。
(8)一种便携终端装置，其特征在于，包括：连接部件，用于与图像处理装置连接；接收部件，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；变换部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知部件，基于所述变换部件的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在所述显示部件中显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面后进行显示。
(9)如前项(7)或(8)所述的便携终端装置，其中，所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
(10)一种图像处理协作方法，在便携终端装置中执行，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为要在所述显示部件中显示的图像处理装置的操作画面的操作信息的预先设定的变换规则，其特征在于，所述图像处理协作方法具有：连接步骤，与所述图像处理装置连接；接收步骤，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；判定步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；变换步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置。
(11)一种图像处理协作方法，在便携终端装置中执行，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为要在所述显示部件中显示的图像处理装置的操作画面的操作信息的预先设定的变换规则，其特征在于，所述图像处理协作方法具有：连接步骤，与所述图像处理装置连接；接收步骤，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；变换步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知步骤，基于所述变换步骤中的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在向所述显示部件显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面后进行显示。
(12)如前项(10)或(11)所述的图像处理协作方法，其中，所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
(13)一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，所述图像处理装置具有：发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置具有：接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；判定部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；画面数据生成部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知部件，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置，所述图像处理装置进一步具有：控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
(14)一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，所述图像处理装置具有：发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置具有：接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知部件，当在所述显示部件中显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，所述图像处理装置进一步具有：控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述图像处理装置仅在从所述便携终端装置接收了表示对所述手势操作能够生成操作画面的数据的参数的情况下，才发送所述多页量的操作画面显示用数据。
(15)一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，所述图像处理装置具有：发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置具有：接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知部件，当在所述显示部件中显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，所述图像处理装置进一步具有：控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
(16)一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，所述图像处理装置执行：发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置执行：接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；判定步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；画面数据生成步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知步骤，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置，所述图像处理装置还执行：控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
(17)一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，所述图像处理装置执行：发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置执行：接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件上；画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，所述图像处理装置还执行：控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述图像处理装置仅在从所述便携终端装置接收了表示对所述手势操作能够生成操作画面的数据的参数的情况下，才发送所述多页量的操作画面显示用数据。
(18)一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，所述图像处理装置执行：发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，所述便携终端装置执行：接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件上；画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，所述图像处理装置还执行：控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
(19)一种便携终端装置，其特征在于，具有：连接部件，用于与图像处理装置连接；接收部件，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；判定部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；画面数据生成部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及通知部件，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置。
(20)一种便携终端装置，其特征在于，具有：连接部件，用于与图像处理装置连接；接收部件，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；操作部件，能够进行用户的手势操作；画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及通知部件，当在所述显示部件上显示的操作画面的操作按钮被按下的情况下，将与按下对应的操作信息通知给所述图像处理装置，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，画面数据生成部件从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
(21)一种图像处理协作方法，在便携终端装置中被执行，其特征在于，所述图像处理协作方法具有：连接步骤，与图像处理装置连接；接收步骤，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在显示部件；判定步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；画面数据生成步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及通知步骤，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置。
(22)一种图像处理协作方法，在便携终端装置中被执行，其特征在于，所述图像处理协作方法具有：连接步骤，与图像处理装置连接；接收步骤，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在显示部件；画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下的情况下，将与按下对应的操作信息通知给所述图像处理装置，所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，在画面数据生成步骤中，从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
根据所述(1)记载的方案，便携终端装置接收从图像处理装置发送的操作画面显示用数据而将图像处理装置的操作画面显示在显示部件上。此外，便携终端装置具有存储部件，所述存储部件存储用于将通过手势操作而指示的动作变换为在显示部件上显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则。然后，在显示部件中显示有图像处理装置的操作画面的状态下，由用户进行了手势操作的情况下，按照所述变换规则，通过手势操作所指示的动作被变换为操作画面的操作信息，该变换后的操作画面的操作信息被通知给图像处理装置。
即，由于在便携终端装置中由用户进行的手势操作被变换为操作画面的操作信息而通知到图像处理装置，因此图像处理装置判断为对操作画面进行了通常的操作，从而能够进行与该操作对应的处理。例如，在进行了用于向后翻页的轻拂操作的情况下，表示操作画面中的向后翻页按钮被按下的操作信息被发送到图像处理装置，图像处理装置将用于显示下一页的操作画面的操作画面显示用数据发送给便携终端装置。从而，即便图像处理装置侧没有与手势操作对应，也能够消除错误识别而显示如通过手势操作指示那样的操作画面。
根据所述(2)记载的方案，变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则，因此在进行了用于向后翻页或向前翻页的手势操作时，能够可靠地显示下一页或前一页的操作画面。
根据所述(3)记载的方案，便携终端装置从所述图像处理装置预先接收并保持有关各操作画面的基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面，因此能够防止从图像处理装置到便携终端装置的通信量臃肿。
根据所述(4)记载的方案，在便携终端装置中由用户进行的手势操作被变换为操作画面的操作信息而通知到图像处理装置，因此即使图像处理装置侧没有与手势操作对应，也能够消除错误识别而显示如通过手势操作指示那样的操作画面。
根据所述(7)记载的方案，可构成即使图像处理装置侧没有与手势操作对应，也能够消除错误识别而显示如通过手势操作指示那样的操作画面的便携终端装置。
根据所述(10)记载的方案，即使图像处理装置侧没有与手势操作对应，也能够消除错误识别而显示如通过手势操作指示那样的操作画面。
根据所述(13)记载的方案，图像处理装置对便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据。便携终端装置接收发送来的操作画面显示用数据，并在显示部件中显示操作画面。在显示有多页的操作画面中的任一页的状态下，由用户经由操作部件进行了手势操作的情况下，基于从图像处理装置接收到的多页量的操作画面显示用的数据，生成根据通过手势操作指示的动作而接下来要显示的操作画面的数据，并将其显示在显示部件。
即，在便携终端装置侧生成并显示根据通过手势操作指示的动作而接下来要显示的操作画面的数据，在图像处理装置中与以往一样，在显示部件中显示的操作画面的操作按钮被按下时通知与按下对应的操作信息，因此即使图像处理装置侧没有与手势操作对应，也能够使便携终端装置显示如通过手势操作指示那样的操作画面，且还能够消除图像处理装置侧的错误识别。
根据所述(14)记载的方案，图像处理装置仅在确认了是能够对手势操作生成操作画面的数据的便携终端装置的情况下，发送多页量的操作画面显示用数据，因此能够防止对不能应对手势操作的便携终端装置发送无用的数据。
根据所述(15)记载的方案，便携终端装置预先从图像处理装置接收并保持有关各操作画面的基本画面数据，且在显示操作画面时，从图像处理装置接收部分图像数据，并将该接收到的部分图像数据覆写在所述保持的基本画面数据上而生成操作画面，因此能够防止从图像处理装置到便携终端装置的通信量臃肿。
根据所述(16)记载的方案，即使图像处理装置侧没有与手势操作对应，也能够使便携终端装置显示如通过手势操作指示那样的操作画面，且还能够消除图像处理装置侧的错误识别。
根据所述(19)记载的方案，可构成即使图像处理装置侧没有与手势操作对应，也能够显示如通过手势操作指示那样的操作画面的便携终端装置。
根据所述(21)记载的方案，即使图像处理装置侧没有与手势操作对应，也能够使便携终端装置的计算机执行显示如通过手势操作指示那样的操作画面的处理。
附图说明
图1是使用本发明的一实施方式的便携终端装置的图像处理协作系统的结构图。
图2是表示图像处理装置以及便携终端装置的电结构的模块图。
图3是表示图像处理装置以及便携终端装置的固件结构的模块图。
图4是表示图像处理装置以及便携终端装置的各软件的关系的图。
图5是在便携终端装置的显示部显示的远程画面的说明图。
图6是表示对图5的远程画面进行了手势操作时转移的画面的图。
图7是表示在便携终端装置保持的表格的图。
图8是表示图像处理装置和便携终端装置的信息交换的流程图。
图9是表示便携终端装置的动作的流程图。
图10是表示在本发明的其他实施方式中使用的表格的图。
图11是表示本发明的其他实施方式中的图像处理装置和便携终端装置的信息交换的流程图。
图12是表示图像处理装置的动作的流程图。
图13是表示便携终端装置的数据接收时的动作的流程图。
图14是表示便携终端装置的手势操作时的动作的流程图。
图15的(A)～(B)是用于说明以往的问题的画面图。
图16同样是用于说明以往的问题的画面图。
标号说明
1 图像处理装置
2 便携终端装置
101 CPU
102 ROM
107b 显示部
109 WIFI模块
201 CPU
202 RAM
203 存储部
204a 显示部
204b 操作部
205 WIFI模块
209 协作部
具体实施方式
以下，基于附图说明本发明的实施方式。
图1是利用本发明的一实施方式的便携终端装置的图像处理协作系统的结构图。
该图像处理协作系统具有图像处理装置1以及便携终端装置2等，这些图像处理装置1与便携终端装置2经由无线LAN路由器3、网络4可相互连接。另外，图像处理装置1与便携终端装置2也可以通过USB接口等有线连接，但在本实施方式中，设为通过无线通信相互连接而进行说明。
在本实施方式中，作为图像处理装置1而使用具有复印功能、打印功能、扫描功能、传真功能等的前述的MFP。以下，还将图像处理装置记为MFP。此外，还将便携终端装置记为便携终端。
图2是表示所述MFP1与便携终端2的电结构的模块图。
MFP1具有CPU101、ROM102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部107、WIFI(无线保真)模块109、LAN(局域网)控制器110、USB接口(USB I/F)111等。
所述CPU101通过按照在ROM102等中存储的动作程序进行动作，统一控制MFP1整体。例如，以可使用MFP1的各种功能的方式进行控制之外，在本实施方式中，基于来自便携终端2的请求，对便携终端2发送用于使便携终端2显示本装置的操作画面的操作画面显示用数据，或者根据在便携终端2侧进行的用户操作，执行作业或者对便携终端2发送用于接下来要显示的操作画面显示用数据等。
所述ROM102是存储CPU101的动作程序等的存储器，RAM103是提供在CPU101根据动作程序进行动作时的作业区域的存储器。
所述扫描仪部104读取在未图示的稿台玻璃上放置的原稿或者在同样未图示的自动原稿传送装置中放置的原稿的图像，输出作为电子数据的图像数据。
所述打印部105将通过扫描仪部104读取的原稿的图像数据、或者从便携终端2等发送的打印数据印刷在用纸上。
所述存储部106是存储各种数据和应用等的部件，使用硬盘装置等。尤其在本实施方式中，存储要在操作面板部107中显示的各种操作画面的显示用数据，与用户的操作对应的操作画面的显示用数据被CPU101从存储部106调出，并显示于操作面板部107，或者发送到便携终端2。此外，还保存由通过扫描仪部104读取的图像数据构成的文本文件、或者从外部装置发送的文本文件等多个文件。
操作面板部107操作MFP1或向用户显示消息等，包括具有开始键、数字键等的键部107a、以及由液晶等触摸面板构成的显示部107b。
所述WIFI模块109是用于与便携终端2进行无线连接的接口，所述LAN控制器110控制与个人计算机或其他MFP等外部装置之间的通信。
所述USB接口111是用于与便携终端2有线连接的接口。
另一方面，便携终端2利用智能电话、平板终端、电子纸等。便携终端2具有CPU201、RAM202、存储部203、显示部204a、操作部204b、WIFI模块205、LAN控制器206、USB接口207、文件处理部208a、208b、协作部209等。
所述CPU201统一控制便携终端2的整体，根据作为基本软件的OS(操作系统)、后述的协作应用或者通用应用而进行动作。
所述RAM202是成为在CPU201按照动作程序进行动作时的作业区域的存储器。
所述存储部203是存储各种数据和应用等的部件，使用硬盘装置等。在本实施方式中，存储从MFP1发送的操作画面显示用数据、基本OS、协作应用、通用应用等程序。另外，在以下的说明中还将应用(application)简称为应用(apply)。
所述显示部204a由液晶等显示器构成，操作部204b设置在显示部204a，由可进行触摸输入操作的触摸面板构成。触摸操作通常通过根据触摸到的手指的数量或手指的移动而规定操作内容的手势操作而进行。作为手势操作的一例，可例示用于滚动画面(向前翻页或向后翻页)的轻拂操作、用于指示图像的变倍(放大或缩小)或旋转等的捏小(pinch in)操作、捏大(pinch out)操作等。
所述WIFI模块205是用于将便携终端2与MFP1无线连接的接口，所述LAN控制器206控制与用户终端等外部装置之间的通信。此外，所述USB接口207是用于将便携终端装置2与MFP1有线连接的接口。
所述文件处理部208a、208b实施文件的编辑、转发或邮件递送等处理。以下，将文件处理部208a、208b均记为文件处理部208。
所述协作部209是用于为了顺利进行MFP1与便携终端2之间的功能协作而使得能够使用MFP1的功能的部件。具体来说，为了使用MFP1的复印功能、打印功能、扫描功能、传真功能等，从MFP1接收用于再现与MFP1的操作面板部107中显示的操作画面相同的操作画面的操作画面显示用数据，并将所述操作画面作为远程画面而显示于显示部204，或者在用户按下了在远程画面中显示的按钮时，检测画面上的操作位置的坐标而作为操作信息发送给MFP1。MFP1通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示对应的动作。
在本实施方式中，MFP1的操作面板部107没有与多触摸操作对应。因此，即使对在显示部204a中显示的MFP1的远程画面进行手势操作，MFP1也不能识别该手势操作。
因此，预先设定了后述的变换规则，其用于将通过手势操作而指示的动作变换为在显示部204a显示的MFP1的操作画面的操作信息。该变换规则存储在存储部203。
所述文件处理部208通过由CPU201执行通用应用而实现其功能。即，通用应用是用于实现处理各种文件的文件处理部208的软件，例如能够使用文件编辑用应用、具有通过电子邮件递送文件的功能的应用、具有在网络上存储文件的功能的应用等各种应用。
此外，所述协作部209通过由CPU201执行所述的协作应用而实现这些功能。即，协作应用是用于实现MFP1与便携终端2的流畅的功能协作的软件。此外，在协作应用与通用应用之间，能够进行文件的转发和下载。
图3是表示MFP1与便携终端2的固件结构的模块图。
MFP1在应用层具有操作面板(应用)121和开放API(开放的应用程序接口：OpenApplication Program Interface)122等，在公共API层具有公共API(Common API)125和面板显示图像生成部126等，在硬件依赖层具有面板画面生成部123、面板控制部124、便携终端用控制部127等。
进而，在内核(Kernel)层具有面板输入控制部129、面板LCD控制部130、JPEG编码器驱动器131等，在设备层具有操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109等。
面板画面生成部123在从便携终端2进行了协作操作的情况下，生成要在操作面板部107显示的MFP1侧的画面数据。
面板控制部124进行与操作面板部107的通信状态的控制等，便携终端用控制部127在与便携终端2之间的协作处理时，控制用于与便携终端2进行通信的接口等。
面板输入控制部129进行与操作面板部107的操作输入有关的控制，面板LCD控制部130进行操作面板部107的显示部107b的显示控制。JPEG压缩部133对从便携终端用控制部127经由JPEG编码器驱动器133发送来的操作画面显示用数据等进行JPEG压缩，被压缩的数据经由USB接口111和WIFI模块109发送到便携终端2。
另一方面，便携终端2由应用层、平台层、OS层、硬件229构成，应用层具有图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器224等各种应用，平台层具有各种管理器225、226等，OS层具有各种库227以及内核228。
所述JPEG展开应用223用于展开从MFP1送来的压缩数据。
当要在便携终端2的显示部204显示的远程画面由多页构成的情况下，在由用户对远程画面进行了轻拂操作等手势操作时，显示图像生成应用222利用在存储部203中存储的操作画面显示用数据生成下一页或前一页的操作画面，并使其显示于显示部204。关于该处理，将在后述的其他实施方式中说明。
所述图像显示应用221利用从MFP1发送且被JPEG展开应用223展开的操作画面显示用数据，生成MFP1的画面作为远程画面，并使其显示于显示部204。
另外，在本实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223构成为通过协作应用实现的功能的一部分。
接着，说明协作操作MFP1与便携终端2的情况下的处理。
用户将便携终端2经由网络无线连接到MFP1，要将便携终端2与MFP1协作操作。便携终端2和MFP1的协作操作通过由用户启动在便携终端2中安装的协作应用而开始。
图4是表示MFP1以及便携终端2的各软件的关系的图，左侧表示MFP1侧的软件，右侧表示便携终端2的软件。
便携终端2的协作应用位于便携终端2的OS与作为通用的软件的应用软件之间，能够进行来自MFP1的数据的接收以及接收到的数据的处理、用户的操作信息和便携终端2侧的操作画面显示用数据的获取等，根据需要还能将获取的数据发送给MFP1。即，便携终端2的协作软件执行应用的调用等便携终端2侧的用户操作接受处理、MFP1的操作画面显示用数据的接收/显示处理(便携终端侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出表示操作内容的操作信息与MFP1之间的通信等。
另一方面，在MFP1侧的OS和MFP1用的应用软件全部是本公司设计/本公司定制软件且可获得所有必要的信息的情况下，MFP1的协作应用也可以不位于OS-应用软件之间，可以与OS和应用软件分开，且与OS和应用软件进行通信，从而获得必要的信息。MFP1的协作应用执行应用的调用等MFP1侧的用户操作接受处理、向便携终端2的MFP侧画面数据的发送处理(MFP侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出来自便携终端2的操作信息等的接收/执行处理等。
如果用户选择在便携终端2的显示部204显示的便携操作图标并指示MFP协作，则便携终端2的协作软件进行向已注册的MFP1的通信，调用MFP1的协作软件，请求取得操作画面显示用数据。由此，协作操作模式开始，在MFP1的显示部105a和便携终端2的显示部204显示MFP侧的操作画面。另外，也可以不进行MFP1侧的显示部105a中的画面显示。
这里，说明从MFP1向便携终端装置2发送的操作画面显示用数据。
如图5所示，MFP1的操作画面由作为背景数据的基本画面数据300、要覆写在该基本画面数据300上的、地址设定按钮301、读入设定按钮302等设定按钮和向后翻页按钮303、向前翻页304等各部分图像数据构成。
当需要将操作画面显示于便携终端2的情况下，MFP1发送基本画面数据300、配置于基本画面数据300上的部分图像数据、关于各数据的识别信息(ID)、部分图像数据的配置位置信息等将操作画面显示于便携终端2的显示部204a所需的信息。
这些信息可以每次都发送，但也可以设为如下结构：针对各操作画面将基本画面数据300与其ID预先发送给便携终端2，并由便携终端2将其保持于存储部203，当需要在便携终端2显示操作画面时，MFP1将要显示的操作画面的基本画面数据300的ID、部分图像数据、部分图像数据的配置信息等发送给便携终端2，在便携终端2中，将接收到的部分图像数据覆写在所述保持着的对应基本画面数据300上从而生成操作画面。由此，无需一一发送基本画面数据300，能够防止从MFP1向便携终端2的通信量臃肿。
接着，说明图1所示的图像处理协作系统的动作。
如今，设在便携终端2的显示部204a上如图5所示那样显示有由多页构成的操作画面内的一页作为远程画面。在图5的例子中，显示具有多个地址设定按钮301的电子邮件的地址设定画面。如果按下向后翻页按钮303，则转移到下一页的地址设定画面，如果按下向前翻页按钮304，则转移到前一页的地址设定画面。
在该状态下，设用户在地址设定画面上如图5的手指标记以及箭头所示，作为在便携终端2中支持的手势操作而进行了轻拂操作。由于MFP1没有与手势操作对应，因此照此下去则会判断为按下了在手指的最初的接触部位存在的按钮。
因此，在本实施方式中，将轻拂操作变换为在操作画面上的按钮按下操作。变换按照前述的变换规则而进行。在本实施方式中，该变换规则规定了根据轻拂操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系。
具体来说，若手指的移动量是50点以下则判别为是通常的按钮按下操作而不是轻拂操作，若超过50点则判别为轻拂操作(滚动操作)。另外，设为每50点转移一页量，如果超过50点且100点以下则判别为一页量的转移。当操作画面有3页以上的情况下，如果是超过100点且150点以下的移动量，则判别为两页量的转移。此外，如果移动方向是向下，则判别为向后翻页，如果是向上则判别为向前翻页。例如，当手指向下移动了70点的情况下，判别为一页量的向后翻页。
手指的移动量以及方向与操作画面的向后翻页按钮303以及向前翻页按钮304相关联，在判别为向后翻页时，作为向后翻页按钮303被按下，从而变换为作为操作信息的向后翻页按钮303的位置信息(坐标信息)，在判别为向前翻页时，作为向前翻页按钮304被按下，从而变换为作为操作信息的向前翻页按钮的位置信息(坐标信息)，并发送至MFP1。
接收了该操作信息的MFP1与向后翻页按钮303、向前翻页按钮304的按下对应地，将下一页或前一页的操作画面显示用数据发送给便携终端2。便携终端2利用接收到的操作画面显示用数据，显示如图6所示那样的更新后的远程画面。
此外，在本实施方式中，预先设定了能够将轻拂操作变换为MFP1的操作信息的区域R1(图5的虚线框所围的区域)，在该区域外即便进行了轻拂操作，也不变换为操作信息，触摸到画面时的操作信息直接被发送给MFP1。
如上所述，为了将轻拂操作变换为MFP1的操作信息，便携终端2在存储部203中保持如图7所示的表格1以及表格2。
表格1是用于存储检测手势的范围、便携终端2要生成、覆写图像的范围的表格，表格2是用于存储在表格1中定义的区域中变换的手势的信息的表格。
在表格1中，“UIID”是对每个操作画面分别分配的ID，“区域ID”是要在便携终端2中生成、覆写图像的区域的ID。“左上坐标”是能够将手势操作变换为MFP1的操作信息的区域的左上的坐标，“右下坐标”是相同的区域的右下的坐标。
在表格2中，关于“UIID”以及“区域ID”，与表格1相同。“手势ID”是区域发生反应的手势的ID。例如，设定了“1：轻拂”、“2：同步(吸附)滚动”、“3：捏大”、“4：捏小”、“5：拖动”、“6：双击”、“0：不变换(表示仅进行显示更新)”。
“例程ID”是将手势操作变换为MFP1的操作信息的例程的ID。
在本实施方式中，作为区域的设定例，除了所述的能够将轻拂操作变换为MFP1的操作信息的区域之外，设定了用于更新显示的区域R2(在图5中用点划线框表示)，将各区域所需的信息保存于所述表格1以及2。另外，关于更新显示的区域R2，通过注册手势ID＝0，表示只能更新显示。
如此，在便携终端2中用户进行的手势操作变换为基于MFP1侧的规则的操作画面的操作信息而通知到MFP1，因此MFP1能够通过与对操作画面进行了通常的操作的情况相同的判断，进行与该操作对应的处理。从而，即使MFP1侧没有与手势操作对应，也能够消除错误识别而在便携终端2中显示如通过手势操作指示那样的操作画面作为远程画面。
图8是表示MFP1与便携终端2之间的信息的交换的流程图。
在步骤S21中，如果从便携终端2向MFP1发送连接请求和便携终端2的信息，则MFP1在步骤S11中，作为操作画面显示用数据而将基本画面数据的ID、部分图像数据及其ID发送给便携终端2。另外，预先单独从MFP1向便携终端2发送各操作画面的基本画面数据，并将其保持在便携终端2。
接收了基本画面数据的ID、部分图像数据及其ID的便携终端2在步骤S22中调用对应于基本画面数据的ID的基本画面数据，并在调用的基本画面数据上覆写部分图像，并将其显示在显示部204a。
在该状态下，若用户在步骤S31中对操作画面进行手势操作例如轻拂操作，则便携终端2在步骤S23中将对手势操作检测到的坐标信息发送给变换部。另外，变换部是通过协作应用功能性地构成的单元。
变换部在步骤S24中根据坐标信息求出轻拂操作的方向和手指的移动量，将其变换为MFP1的操作信息，并将变换后的操作信息发送给MFP1。
MFP1若接收到操作信息，则在步骤S12中，为了显示与接收到的操作信息对应的操作画面，更新部分图像数据，在步骤S13中，将部分图像数据及其ID发送给便携终端2。
便携终端2覆写接收到的部分图像数据而更新操作画面。
图9是表示便携终端装置2将手势操作变换为MFP1的操作信息时的处理的流程图。该处理通过由便携终端2的CPU201基于协作应用等进行动作而被执行。
在步骤S41中，对照所述表格1而判断被实施了轻拂操作的坐标是否在操作画面的设定范围内，如果不在设定范围内(步骤S41：否)，则判断为通常的按钮按下操作而直接将操作信息发送给MFP1。如果在设定范围内(步骤S41：是)，则在步骤S42中，对照所述表格2判断轻拂操作是否是在设定范围内被支持的操作。
如果不被支持(步骤S42：否)，则判断为通常的按钮按下操作而直接将操作信息发送给MFP1。如果被支持(步骤S42：是)，则在步骤S43中，根据轻拂操作时的手指的移动量的y分量(包含移动方向的上下方向的分量)，算出向后或向前翻的页数后，进入步骤S44。
在步骤S44中，变换为向后翻页按钮303或向前翻页按钮304的按下的操作信息。
接着，说明本发明的其他实施方式。在该实施方式中，当MFP1的操作画面由多页构成的情况下，预先对便携终端2发送该多页的所有操作画面显示用数据，进行了手势操作时，由便携终端2基于所述多页量的操作画面显示用数据生成要通过手势操作指示的动作而接着显示的操作画面的数据，并将其显示。然后，在进行了通常的按钮按下操作时，对应的操作信息被发送给MFP1。
在本实施方式中，便携终端2除了保持图7所示的表格1以及表格2(但排除例程ID)之外，保持图10所示的表格3。
该表格3保持在区域中被处理的数据的ID作为数据ID，由此，保持在便携终端2内确保的数据保存用的区域与从MFP1接收的数据(附加ID)的对应关系。
参照表示MFP1与便携终端2之间的信息交换的图11的流程图，说明本实施方式中的MFP1与便携终端2的动作。
在步骤S61中，如果从便携终端2向MFP1发送连接请求与便携终端2的信息，则MFP1在步骤S51中，检测在便携终端2的能力信息中包含有表示该便携终端2是能够对手势操作生成操作画面的数据的便携终端的参数。
接着，在步骤S52中对便携终端2发送了基本画面数据及其ID后，在步骤S53中对便携终端2发送包含部分图像数据及其ID的多页的显示用的所有数据。
另外，也可以设为如下结构：预先将针对各操作画面的基本画面数据及其ID发送给便携终端2，且便携终端2将其保持在存储部203中，针对基本画面数据，MFP1仅将基本画面数据的ID发送给便携终端2，针对部分图像数据，每次发送给便携终端2。此时，便携终端2若接收到基本画面数据的ID与部分图像数据，则根据基本画面数据的ID调用对应的基本画面数据，将部分图像数据覆写在所述调用的基本画面数据而生成操作画面。通过这样的结构，无需逐一发送基本画面数据，能够防止从MFP1至便携终端2的通信量臃肿。
便携终端2在步骤S62中接收这些数据而将基本画面数据显示在显示部204a后，在步骤S63中，覆写显示部分图像数据。
在步骤S71中，如果用户对显示着的操作画面进行手势操作例如轻拂操作，则便携终端2在步骤S64中利用所述接收到的多页量的数据而生成与手势操作相应的画面、例如下一页或前一页的画面，并将其覆写显示。
若用户在步骤S72中对由便携终端2生成并显示的操作画面进行通常的按钮按下操作，则便携终端2在步骤S65中向由协作应用功能性地构成的变换部请求操作变换。变换部在步骤S66中，将按钮按下操作变换为MFP的操作信息，并将变换后的操作信息发送给MFP1。
MFP1在步骤S54中，转移到与操作信息对应的画面，或者执行对应的处理。
图12是表示图11所示的实施方式中的MFP1的动作的流程图。
在步骤S81中，将基本画面数据(快照)与ID一并发送给连接请求目的地的便携终端2后，在步骤S82中，判断在连接请求中包含的能力信息中是否包含手势操作，换言之判断是否为能够对手势操作生成操作画面的数据的便携终端2。另外，也可以在步骤S82的判断后进行步骤S81的画面数据的发送。
在步骤S82中，如果在能力信息中未包含手势操作(步骤S82：否)，则直接结束。如果包含(步骤S82：是)，则在步骤S83中将多页显示用的所有的数据发送给便携终端2。
图13以及图14是表示图11所示的实施方式中的便携终端2的动作的流程图，图13是接收来自MFP1的数据时的流程图，图14是手势操作时的流程图。这些处理通过由便携终端2的CPU201基于协作应用等进行动作而被执行。
在图13中，在步骤S91中接收基本画面数据、其ID、利用该基本画面数据的多页的设定画面的所有显示用数据，并将基本画面数据显示于显示部204a。
接着，在步骤S92中，对照表格3，将接收到的数据例如判定为地址设定画面用的数据，并将其保存在便携终端2中确保的保存区域后，在步骤S93中覆写部分图像数据。
在图14中，在步骤S101中，对照表格1判断被实施了手势操作(例如轻拂操作)的坐标是否在操作画面的设定范围内，如果不在设定范围内(步骤S101：否)，判断为通常的按钮操作从而直接将操作信息发送给MFP1。如果是在设定范围内(步骤S101：是)，则在步骤S102中，对照所述表格2而判断手势操作是否为在设定范围内被支持的操作。
如果被支持(步骤S102：是)，则在步骤S103中，生成与手势操作相应的画面，并将其显示于显示部204a。如果未被支持(步骤S102：否)，则忽略操作。即，便携终端2不做任何动作。
如此，在本实施方式中，在便携终端2中生成通过由手势操作指示的动作而接下来要显示的操作画面的数据并显示于显示部204a，在MFP1中与以往一样，当在显示部204a中显示的操作画面的操作按钮被按下时，操作信息会被通知，因此即使MFP1侧没有与手势操作对应，也能够在便携终端2中显示由手势操作指示那样的操作画面，且还能够消除MFP1侧的错误识别。

Claims (22)

1.一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，
所述图像处理装置具有：
发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，
所述便携终端装置具有：
接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
存储部件，存储用于将由所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；
判定部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
变换部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将由所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置进一步具有：
控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
2.一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，
所述图像处理装置具有：
发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，
所述便携终端装置具有：
接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
存储部件，存储用于将由所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；
变换部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将由所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知部件，基于所述变换部件的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置进一步具有：
控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
3.如权利要求1或2所述的图像处理协作系统，其中，
所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
4.一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，
所述图像处理装置执行：
发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，
所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则，
并且，所述便携终端装置执行：
接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；
判定步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
变换步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置还执行：
控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
5.一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，
所述图像处理装置执行：
发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，
所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则，
并且，所述便携终端装置执行：
接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；
变换步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知步骤，基于所述变换步骤中的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置还执行：
控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
6.如权利要求4或5所述的图像处理协作方法，其中，
所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
7.一种便携终端装置，其特征在于，包括：
连接部件，用于与图像处理装置连接；
接收部件，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；
判定部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
变换部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置。
8.一种便携终端装置，其特征在于，包括：
连接部件，用于与图像处理装置连接；
接收部件，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
存储部件，存储用于将通过所述手势操作指示的动作变换为在所述显示部件中显示的所述图像处理装置的操作画面的操作信息的预先设定的变换规则；
变换部件，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及通知部件，基于所述变换部件的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在所述显示部件中显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面后进行显示。
9.如权利要求7或8所述的便携终端装置，其中，
所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
10.一种图像处理协作方法，在便携终端装置中执行，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为要在所述显示部件中显示的图像处理装置的操作画面的操作信息的预先设定的变换规则，其特征在于，所述图像处理协作方法具有：
连接步骤，与所述图像处理装置连接；
接收步骤，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；
判定步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
变换步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，将所述变换后的操作画面的操作信息通知给所述图像处理装置，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，不进行所述变换部件的变换，将对于所述操作画面的操作信息通知给所述图像处理装置。
11.一种图像处理协作方法，在便携终端装置中执行，所述便携终端装置具有：显示部件；操作部件，能够进行用户的手势操作；以及存储部件，存储用于将通过所述手势操作指示的动作变换为要在所述显示部件中显示的图像处理装置的操作画面的操作信息的预先设定的变换规则，其特征在于，所述图像处理协作方法具有：
连接步骤，与所述图像处理装置连接；
接收步骤，接收从所述连接的图像处理装置发送的、图像处理装置的操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件；
变换步骤，在所述显示部件上显示有所述图像处理装置的操作画面的状态下，经由所述操作部件进行了用户的手势操作的情况下，按照所述变换规则，将通过所述手势操作指示的动作变换为所述操作画面的操作信息；以及
通知步骤，基于所述变换步骤中的变换结果，将所述变换后的操作画面的操作信息通知给所述图像处理装置，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在向所述显示部件显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面后进行显示。
12.如权利要求10或11所述的图像处理协作方法，其中，
所述变换规则是规定了根据手势操作的起点和终点算出的手指的移动量以及移动方向、与向后翻页或向前翻页的判别、以及向后翻页量或向前翻页量的关系的规则。
13.一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，
所述图像处理装置具有：
发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置具有：
接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
判定部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
画面数据生成部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知部件，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置进一步具有：
控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
14.一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，
所述图像处理装置具有：
发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置具有：
接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知部件，当在所述显示部件中显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，
所述图像处理装置进一步具有：
控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述图像处理装置仅在从所述便携终端装置接收了表示对所述手势操作能够生成操作画面的数据的参数的情况下，才发送所述多页量的操作画面显示用数据。
15.一种图像处理协作系统，具有能够相互连接的图像处理装置和便携终端装置，其特征在于，
所述图像处理装置具有：
发送部件，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置具有：
接收部件，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，在经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知部件，当在所述显示部件中显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，
所述图像处理装置进一步具有：
控制部件，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
16.一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，
所述图像处理装置执行：
发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置执行：
接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件上；
判定步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
画面数据生成步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知步骤，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置，
所述图像处理装置还执行：
控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理。
17.一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，
所述图像处理装置执行：
发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置执行：
接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件上；
画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，
所述图像处理装置还执行：
控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述图像处理装置仅在从所述便携终端装置接收了表示对所述手势操作能够生成操作画面的数据的参数的情况下，才发送所述多页量的操作画面显示用数据。
18.一种图像处理协作方法，在具有能够相互连接的图像处理装置和便携终端装置的图像处理协作系统中执行，其特征在于，
所述图像处理装置执行：
发送步骤，对所述连接的便携终端装置发送用于使该图像处理装置的操作画面显示在便携终端装置的操作画面显示用数据，且当操作画面为多页时，发送多页量的操作画面显示用数据，
所述便携终端装置执行：
接收步骤，接收从所述图像处理装置发送的所述操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在所述显示部件上；
画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的操作画面的数据，并使所述显示部件将其显示；以及
通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下时，将与按下对应的操作信息通知给所述图像处理装置，
所述图像处理装置还执行：
控制步骤，基于从所述便携终端装置通知的操作信息，进行与所述操作信息对应的处理，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
所述便携终端装置从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
19.一种便携终端装置，其特征在于，具有：
连接部件，用于与图像处理装置连接；
接收部件，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
判定部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由所述操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
画面数据生成部件，在通过所述判定部件判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及
通知部件，在通过所述判定部件判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置。
20.一种便携终端装置，其特征在于，具有：
连接部件，用于与图像处理装置连接；
接收部件，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；
显示部件，基于所述接收到的操作画面显示用数据，显示图像处理装置的操作画面；
操作部件，能够进行用户的手势操作；
画面数据生成部件，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由所述操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及
通知部件，当在所述显示部件上显示的操作画面的操作按钮被按下的情况下，将与按下对应的操作信息通知给所述图像处理装置，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
画面数据生成部件从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
21.一种图像处理协作方法，在便携终端装置中被执行，其特征在于，所述图像处理协作方法具有：
连接步骤，与图像处理装置连接；
接收步骤，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在显示部件；
判定步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件接受了用户的手势操作的情况下，判定接受了手势操作的区域是否已作为能够接受所接受的该手势操作的区域而设定；
画面数据生成步骤，在通过所述判定步骤判定为已作为能够接受所接受的所述手势操作的区域而设定的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过接受的所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及
通知步骤，在通过所述判定步骤判定为没有作为能够接受所接受的所述手势操作的区域而设定的情况下，将对于所述操作画面的操作信息通知给所述图像处理装置。
22.一种图像处理协作方法，在便携终端装置中被执行，其特征在于，所述图像处理协作方法具有：
连接步骤，与图像处理装置连接；
接收步骤，接收从所述连接到的图像处理装置发送的、图像处理装置的操作画面显示用数据，且当操作画面为多页的情况下，接收多页量的操作画面显示用数据；
显示步骤，基于所述接收到的操作画面显示用数据，将图像处理装置的操作画面显示在显示部件；
画面数据生成步骤，在所述显示部件中显示有所述图像处理装置的多页的操作画面中的任一页的状态下，经由操作部件进行了用户的手势操作的情况下，基于所述接收到的多页量的操作画面显示用数据，生成根据通过所述手势操作指示的动作而接下来要显示的所述操作画面的数据，并使所述显示部件将其显示；以及
通知步骤，当在所述显示部件上显示的操作画面的操作按钮被按下的情况下，将与按下对应的操作信息通知给所述图像处理装置，
所述操作画面由基本画面数据和要在该基本画面数据上覆写的部分图像数据构成，且所述操作画面显示用数据包含所述基本画面数据和部分图像数据，
在画面数据生成步骤中，从所述图像处理装置预先接收并保持关于各操作画面的所述基本画面数据，且在显示操作画面时，从所述图像处理装置接收所述部分图像数据，并将该接收到的部分图像数据覆写在所述保持的对应基本画面数据上而生成操作画面。
CN201410203180.3A 2013-05-14 2014-05-14 图像处理协作系统、便携终端装置、图像处理协作方法 Active CN104158996B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013102631A JP5776725B2 (ja) 2013-05-14 2013-05-14 画像処理連携システム、携帯端末装置、画像処理連携方法及び画像処理連携プログラム
JP2013-102631 2013-05-14

Publications (2)

Publication Number Publication Date
CN104158996A CN104158996A (zh) 2014-11-19
CN104158996B true CN104158996B (zh) 2018-01-02

Family

ID=51884397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410203180.3A Active CN104158996B (zh) 2013-05-14 2014-05-14 图像处理协作系统、便携终端装置、图像处理协作方法

Country Status (3)

Country Link
US (1) US20140340706A1 (zh)
JP (1) JP5776725B2 (zh)
CN (1) CN104158996B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6180994B2 (ja) * 2014-05-20 2017-08-16 京セラドキュメントソリューションズ株式会社 画像形成装置
KR20160026574A (ko) * 2014-09-01 2016-03-09 삼성전자주식회사 웨어러블 디바이스를 이용하여 화상 형성 장치의 동작을 제어하는 방법 및 시스템.
JP6679937B2 (ja) * 2016-01-08 2020-04-15 コニカミノルタ株式会社 画像形成装置およびプログラム
JP2017167700A (ja) * 2016-03-15 2017-09-21 株式会社リコー 情報処理システム、機器、情報処理端末、情報処理方法、及びプログラム
JP6922200B2 (ja) * 2016-12-02 2021-08-18 コニカミノルタ株式会社 複合装置
JP2018139401A (ja) * 2017-02-24 2018-09-06 コニカミノルタ株式会社 画像処理装置およびプログラム
JP6935673B2 (ja) * 2017-03-22 2021-09-15 コニカミノルタ株式会社 情報処理機器
JP6930278B2 (ja) * 2017-08-09 2021-09-01 コニカミノルタ株式会社 複合機、リブート方法、およびコンピュータプログラム
JP6724259B2 (ja) * 2017-10-31 2020-07-15 富士フイルム株式会社 操作装置、その作動方法および作動プログラム
JP2019102985A (ja) * 2017-12-01 2019-06-24 コニカミノルタ株式会社 画像形成装置、プログラム及び情報処理装置
CN113590248B (zh) * 2021-07-22 2024-07-23 上汽通用五菱汽车股份有限公司 车载终端的投屏方法、装置和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059083A (ja) * 2004-08-19 2006-03-02 Ricoh Co Ltd 画像処理装置、遠隔操作方法および遠隔操作プログラム
CN103067637A (zh) * 2011-10-20 2013-04-24 柯尼卡美能达商用科技株式会社 具备第一及第二显示装置的显示系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6938220B1 (en) * 1992-10-21 2005-08-30 Sharp Kabushiki Kaisha Information processing apparatus
JP2007043515A (ja) * 2005-08-04 2007-02-15 Ricoh Co Ltd 画像形成装置、情報処理方法、情報処理プログラム、及び記録媒体
JP4257347B2 (ja) * 2006-07-11 2009-04-22 株式会社東芝 通信装置、表示端末および通信プログラム
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
JP4605279B2 (ja) * 2008-09-12 2011-01-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
KR20110040188A (ko) * 2009-10-13 2011-04-20 삼성전자주식회사 기능에 대한 아이콘을 표시하는 화상형성장치 및 그 아이콘 표시 방법
US20110175827A1 (en) * 2009-12-04 2011-07-21 Adam Bogue Filtering Input Streams in a Multi-Touch System
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
US20130120280A1 (en) * 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Interoperability of Gesture Recognizers
JP5587058B2 (ja) * 2010-06-29 2014-09-10 キヤノン株式会社 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム
EP2437151B1 (en) * 2010-10-01 2020-07-08 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
JP5126334B2 (ja) * 2010-10-13 2013-01-23 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置の制御方法、画像処理装置、携帯端末、情報処理装置、および制御プログラム
JP5212448B2 (ja) * 2010-11-15 2013-06-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置の制御方法、携帯端末、および制御プログラム
JP2012114694A (ja) * 2010-11-25 2012-06-14 Ricoh Co Ltd 画像形成装置
JP5429198B2 (ja) * 2011-01-12 2014-02-26 コニカミノルタ株式会社 画像処理装置、画像形成システム、および制御プログラム
JP2012147387A (ja) * 2011-01-14 2012-08-02 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
JP2012155600A (ja) * 2011-01-27 2012-08-16 Fujitsu Ltd 情報処理装置、制御方法、および制御プログラム
JP2012236327A (ja) * 2011-05-11 2012-12-06 Canon Inc 印刷装置、印刷装置の制御方法、及びプログラム
US9785343B2 (en) * 2011-12-01 2017-10-10 Sony Mobile Communications Inc. Terminal device, image display method, and storage medium
KR20130100580A (ko) * 2012-03-02 2013-09-11 삼성전자주식회사 단말기에서 페이지 넘김 방법 및 장치
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
JP5987366B2 (ja) * 2012-03-07 2016-09-07 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR20140025213A (ko) * 2012-08-22 2014-03-04 삼성전자주식회사 휴대 단말기에서 전자책을 제어하는 장치 및 방법
JP5720661B2 (ja) * 2012-11-30 2015-05-20 コニカミノルタ株式会社 携帯端末装置、画像処理連携システム、画面データの表示方法及び表示プログラム
JP6214177B2 (ja) * 2013-03-14 2017-10-18 キヤノン株式会社 通信装置、通信装置の制御方法、及びプログラム
EP2996016B1 (en) * 2013-05-09 2020-02-12 Sony Interactive Entertainment Inc. Information processing device and application execution method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059083A (ja) * 2004-08-19 2006-03-02 Ricoh Co Ltd 画像処理装置、遠隔操作方法および遠隔操作プログラム
CN103067637A (zh) * 2011-10-20 2013-04-24 柯尼卡美能达商用科技株式会社 具备第一及第二显示装置的显示系统

Also Published As

Publication number Publication date
US20140340706A1 (en) 2014-11-20
JP2014222869A (ja) 2014-11-27
CN104158996A (zh) 2014-11-19
JP5776725B2 (ja) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104158996B (zh) 图像处理协作系统、便携终端装置、图像处理协作方法
CN107071202B (zh) 便携终端装置、图像处理联合系统及画面数据的显示方法
JP5765366B2 (ja) 画像処理装置、携帯端末装置、リモート画面データの作成プログラム及び表示制御プログラム
EP2562637B1 (en) Information processing apparatus that carries out remote operation, control method therefor, and storage medium
JP2011008768A (ja) 指示入力装置、指示入力方法、プログラムおよびその記録媒体
JP6035985B2 (ja) 画像処理装置、画像処理装置の制御プログラム、および画像処理システム
US9001368B2 (en) Image processing apparatus, operation standardization method, and non-transitory computer-readable recording medium encoded with operation standardization program with an application program that supports both a touch panel capable of detecting only one position and a touch panel capable of detecting a plurality of positions simultaneously
EP2750029B1 (en) Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method
US9875433B2 (en) Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program
CN105700793A (zh) 图像形成设备、用户接口设备及其控制方法
JP2015172875A (ja) 画像処理装置及びそれを含むシステム
JP2016157156A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP6252028B2 (ja) 画像処理システム、画像処理装置及びリモート画面の表示制御プログラム
KR20220061024A (ko) 정보 처리 장치, 정보 처리의 제어 방법, 및 저장 매체
JP6418258B2 (ja) 画像処理装置及びリモート画面制御プログラム
US9715205B2 (en) Image forming apparatus remotely operated by external terminal and method of generating, transmitting and displaying composite images
JP7350670B2 (ja) 装置、その制御方法、及びプログラム
JP5692541B2 (ja) 画像処理連携システム、連携方法、携帯端末装置及び連携プログラム
JP5907002B2 (ja) 画像処理連携システム、画像処理装置及び携帯端末装置
JP6089702B2 (ja) 画像処理装置、画面データの生成方法、及びプログラム
JP2014206923A (ja) 画像形成システム、外部端末およびプログラム
JP2022138660A (ja) 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム
CN105391892A (zh) 文字输入系统、文字输入方法、信息处理装置以及便携终端装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant