CN104717386A - 图像处理系统、图像形成装置以及操作画面显示方法 - Google Patents

图像处理系统、图像形成装置以及操作画面显示方法 Download PDF

Info

Publication number
CN104717386A
CN104717386A CN201410769082.6A CN201410769082A CN104717386A CN 104717386 A CN104717386 A CN 104717386A CN 201410769082 A CN201410769082 A CN 201410769082A CN 104717386 A CN104717386 A CN 104717386A
Authority
CN
China
Prior art keywords
display
touch panel
processing system
image processing
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410769082.6A
Other languages
English (en)
Other versions
CN104717386B (zh
Inventor
本杉敏久
杉本洋彰
市山征平
川端美绘
来正洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN104717386A publication Critical patent/CN104717386A/zh
Application granted granted Critical
Publication of CN104717386B publication Critical patent/CN104717386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H04N1/00419—Arrangements for navigating between pages or parts of the menu
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00501—Tailoring a user interface [UI] to specific requirements
    • H04N1/00506—Customising to the data to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Facsimiles In General (AREA)

Abstract

本发明提供一种图像处理系统、图像形成装置以及操作画面显示方法。即使在按每个触摸面板显示器而其特性不同的情况下也比以往更正确地再现用户的操作。图像形成装置(1A)通过按每个时刻记录自身的显示器的显示面中的与自身的触摸面板被触摸的第一触摸位置对应的显示面上位置，来生成日志数据。图像形成装置(1B)基于自身的触摸面板与自身的显示器的位置关系，计算自身的触摸面板中的与日志数据所示出的显示面上位置对应的对应位置。然后，视为在自身的触摸面板中计算出的对应位置被触摸来执行操作画面的显示等处理。

Description

图像处理系统、图像形成装置以及操作画面显示方法
技术领域
本发明涉及一种根据对触摸面板的操作来在显示器上显示图像的技术。
背景技术
近年来，正在普及一种具备复印、扫描、传真、网络打印以及box(文档服务器)等各种功能的图像形成装置。这种图像形成装置还有时被称为“复合机”或“MFP(Multi Function Peripherals：多功能外围设备)”。
随着ADF(Auto Document Feeder：自动进纸器)、印刷引擎、CPU(Central Processing Unit：中央处理单元)、RAM(Random AccessMemory：随机存取存储器)以及大容量存储装置等硬件的性能提高或配备软件开发的环境，开发出与上述的功能一起使用的附带的各种功能。
这样，图像形成装置被多功能化。如果多功能化被推进，则用户能够使图像形成装置执行各种处理。
但是，能够执行的处理的变化越增加，则图像形成装置的操作越容易变复杂。要由管理者进行的设定的操作也同样地容易变复杂。
因此，提出了如下方法：预先记录作为范本的操作的日志，为想要知道操作的方法的用户，基于该日志再现操作(专利文献1)。用户通过观察在操作被再现时显示在显示器上的画面的转移，能够确认操作的方法。
也能够对多个用户分发日志，在各用户的图像形成装置中再现操作。
有时针对每个图像形成装置关于各种事项设定有不同的条件值。因此，为了更可靠地进行再现，提出了如下方法。
在自动再现功能中的操作记录时，将在规定的记录期间通过操作面板进行了操作的操作内容按时间序列作为特定操作次序而记录在操作记录用存储器中，而在该记录前将对实际设备设定的各种设定值(设定数据)与其记录对象的特定操作次序相对应地进行记录。然后，在自动再现功能中的操作再现时，首先，将对实际设备设定的各种设定值设定变更为与其再现对象的特定操作次序相对应地记录的设定值，之后对再现对象的特定操作次序进行再现(专利文献2)。
专利文献1：日本特开2000-235549号公报
专利文献2：日本特开2012-75014号公报
发明内容
发明要解决的问题
另外，触摸面板显示器是使触摸面板叠合在显示器的显示面上的装置，但是存在重叠的位置按每个触摸面板显示器而稍微不同的情况。因此，在触摸面板显示器中准备有表示显示器的显示面的位置与触摸面板的位置的对应关系的数据。然后，按每个触摸面板显示器，基于自身的数据计算显示面中的与触摸面板的被触摸的位置对应的位置。
但是，根据专利文献2所记载的方法，在显示器的显示面与触摸面板重叠的位置按每个触摸面板显示器而不同的情况下，有时无法基于某图像形成装置中记录的日志而在其它图像形成装置中很好地再现操作。
本发明鉴于这种问题，其目的在于即使在显示器的显示面与触摸面板的重叠状况按每个触摸面板显示器而不同的情况下也比以往更正确地再现用户的操作。
用于解决问题的方案
本发明的一个方式所涉及的图像处理系统具有：第一图像形成装置，设置有第一显示器以及在所述第一显示器的显示面上重叠的第一触摸面板；以及第二图像形成装置，设置有第二显示器以及在所述第二显示器的显示面上重叠的第二触摸面板，该图像处理系统的特征在于，在所述第一图像形成装置中具备：显示面上位置计算单元，基于表示所述第一显示器的显示面与所述第一触摸面板的位置关系的第一位置关系数据，计算所述第一显示器的显示面中的与所述第一触摸面板中的被触摸的第一触摸位置对应的显示面上位置；以及操作日志数据生成单元，生成表示由所述显示面上位置计算单元计算出的每个时刻的所述显示面上位置的操作日志数据，在所述第二图像形成装置中具备：对应位置计算单元，基于表示所述第二显示器的显示面与所述第二触摸面板的位置关系的第二位置关系数据，计算所述第二触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置；处理决定单元，将由所述对应位置计算单元计算出的所述对应位置用作所述第二触摸面板中的被触摸的第二触摸位置来决定使操作画面显示在所述第二显示器上的显示控制处理；以及显示控制单元，执行由所述处理决定单元决定的所述显示控制处理。
优选的是，所述对应位置计算单元基于所述第二显示器相对于所述第一显示器的尺寸的比例计算所述对应位置。
或者，所述处理决定单元在所述对应位置不属于所述第二显示器上显示的画面中的任一个对象的情况下，视为与所述对应位置最近的对象被触摸而决定所述显示控制处理。或者，所述处理决定单元在所述对应位置不属于所述第二显示器上显示的画面中的任一个对象、但从所述对应位置起的规定的范围内存在一个或多个对象的情况下，视为该一个或多个对象中的与所述对应位置最近的对象被触摸而决定所述显示控制处理。
发明的效果
根据本发明，其目的在于即使在按每个触摸面板显示器而其特性不同的情况下也比以往更正确地再现用户的操作。
附图说明
图1是表示网络系统的例子的图。
图2是表示图像形成装置的外观和内部的例子的图。
图3是表示图像形成装置的硬件结构的例子的图。
图4是表示操作面板单元的结构的例子的图。
图5是表示液晶显示器与触摸面板的重叠状况的例子的图。
图6是表示复印作业画面的例子的图。
图7是用于说明徽章(badge)列与复印作业画面的关系的图。
图8是表示图像形成装置的功能结构的例子以及操作的记录时的数据的流动的例子的图。
图9是用于说明触摸面板坐标与显示面坐标的关系的图。
图10是表示基本的触摸操作的例子的图。
图11是表示传真发送作业画面的例子的图。
图12是表示操作日志数据的例子的图。
图13是表示图像形成装置的功能结构的例子以及操作的再现时的数据的流动的例子的图。
图14是表示一方的图像形成装置的触摸面板坐标和显示面坐标以及另一方的图像形成装置的触摸面板坐标的位置关系的例子的图。
图15是表示硬键面板下方画面和硬键面板右方画面的例子的图。
图16是说明图像形成装置的整体处理的流程的例子的流程图。
图17是说明记录处理的流程的例子的流程图。
图18是说明再现处理的流程的例子的流程图。
图19是说明再现处理的流程的例子的流程图。
图20是表示生成操作日志数据时的画面的转移和用户的操作的例子的图。
图21是表示生成操作日志数据时的画面的转移和用户的操作的例子的图。
图22是表示生成操作日志数据时的画面的转移和用户的操作的例子的图。
图23是表示操作的再现时的画面的转移的例子的图。
图24是表示操作的再现时的画面的转移的例子的图。
图25是表示操作的再现时的画面的转移的例子的图。
图26是表示操作的再现时的画面的转移的例子的图。
图27是表示一方的图像形成装置的触摸面板坐标和显示面坐标以及另一方的图像形成装置的触摸面板坐标的位置关系的例子的图。
图28是表示显示面坐标与对象(object)的位置关系的例子的图。
(附图标记说明)
1：图像形成装置；1A：图像形成装置(第一图像形成装置)；1B：图像形成装置(第二图像形成装置)；1C：图像形成装置(第二图像形成装置)；101：触摸事件受理部(显示面上位置计算单元)；103：触摸应答处理决定部(处理决定单元)；105：手势应答处理决定部(处理决定单元)；108：画面等控制部(显示控制单元)；121：操作日志数据生成部(操作日志数据生成单元)；133：坐标校正部(对应位置计算单元)；10h：连接接口板(操作日志数据获取单元)；10f：NIC(操作日志数据获取单元)；10k2：液晶显示器；10k3：触摸面板；5F：操作日志数据；5U：校正量数据(位置关系数据、第一位置关系数据、第二位置关系数据)。
具体实施方式
图1是表示网络系统100的例子的图。图2是表示图像形成装置1的外观和内部的例子的图。图3是表示图像形成装置1的硬件结构的例子的图。图4是表示操作面板单元10k的结构的例子的图。图5是表示液晶显示器10k2与触摸面板10k3的重叠状况的例子的图。图6是表示复印作业画面3C的例子的图。图7是用于说明徽章列4L与复印作业画面3C的关系的图。图8是表示图像形成装置1的功能结构的例子以及操作的记录时的数据的流动的例子的图。
如图1所示，网络系统100由多台图像形成装置1、终端装置2A～2C以及通信线路NW等构成。图像形成装置1与终端装置2A～2C能够经由通信线路NW进行通信。作为通信线路NW，使用公共线路、专用线、因特网或所谓的LAN(Local Area Network：局域网)线路等。下面，有时将各图像形成装置1区分为“图像形成装置1A”、“图像形成装置1B”、…来进行记载。
图像形成装置1是一般被称为MFP(Multi Function Peripherals)或复合机的图像处理装置，是汇集了复印、网络打印、传真、扫描以及box(盒)等功能的装置。
box功能是对每个用户赋予被称为“box”或“个人box”等的存储区域而各用户通过自己的存储区域来保存并管理图像文件等文档数据的功能。box相当于个人计算机中的“文件夹”或“目录”。
作为终端装置2A～2C，使用个人计算机、智能手机或平板计算机等。
如图2或图3所示，图像形成装置1由主CPU(Central ProcessingUnit)10a、RAM(Random Access Memory)10b、ROM(Read OnlyMemory：只读存储器)10c、大容量存储装置10d、扫描单元10e、NIC(Network Interface Card：网络接口卡)10f、调制解调器10g、连接接口板10h、打印单元10i、后处理装置10j以及操作面板单元10k等构成。
扫描单元10e读取在纸上记载的照片、文字、画、图表等图像来生成图像数据。具体地说，扫描单元10e由成像传感器10e1、ADF(AutoDocument Feeder)10e2、读取用狭缝10e3以及压印玻璃(platen glass)10e4等构成。
ADF 10e2将放置的纸逐张输送至读取用狭缝10e3。于是，在纸通过读取用狭缝10e3时，成像传感器10e1从纸读取图像，生成图像的电子数据。另外，当用户在压印玻璃10e4上放置了原稿的情况下，成像传感器10e1通过扫描压印玻璃10e4来从纸读取图像，生成图像的电子数据。
NIC 10f通过TCP/IP(Transmission Control Protocol/InternetProtocol：传输控制协议/互联网协议)等协议来与终端装置2A～2C等装置进行通信。
调制解调器10g经由固定电话网通过G3等协议来与传真终端进行通信。
连接接口板10h是用于将外围设备连接到图像形成装置1的装置。作为连接接口板10h，例如使用USB(Universal Serial Bus：通用串行总线)板或IEEE(Institute of Electrical and Electronics Engineers：电气与电子工程师协会)1394板等。
打印单元10i将通过扫描单元10e读取的图像、或者经由NIC 10f、调制解调器10g或连接接口板10h输入的图像印刷在纸上。具体地说，打印单元10i由引擎部10i1、供纸盘10i2、大容量供纸箱10i3以及纸输送机构10i4等构成。
供纸盘10i2在打印单元10i中设置有一个或多个。分别保存规定的尺寸的纸(白纸)。在大容量供纸箱10i3中也保存规定的尺寸的纸(白纸)，但容量比供纸盘10i2大。因此，通常保存最常用的尺寸的纸。
纸输送机构10i4从供纸盘10i2或大容量供纸箱10i3将纸逐张输送至引擎部10i1。引擎部10i1在纸上印刷图像。然后，纸输送机构10i4将印刷了图像的纸送出至排纸盘或库(bin)。此外，在需要后处理(用订书钉进行装订的处理或形成穿孔的处理等)的情况下，将印刷了图像的纸输送至后处理装置10j。
后处理装置10j对印刷了图像的1张或多个纸适当实施上述的后处理。
操作面板单元10k是用户接口的单元，如图4所示那样由硬键面板10k1、液晶显示器(LCD：Liquid Crystal Display)10k2以及触摸面板10k3等构成。
硬键面板10k1是由数字键1kt、启动键1ks、停止键1kp、复位键1kr、电源键1ke以及功能键1kf1～1kf7等键构成的输入装置。为了与显示在液晶显示器10k2上的键(所谓的软件键)进行区分，这些键一般有被称为“硬键”或“硬件键”的情况。另外，对功能键1kf1～1kf7中的功能键1kf2分配有后述的操作的记录的开始和结束的命令。对功能键1kf4分配有后述的首页(home)画面3T的显示的命令。因此，下面，将功能键1kf2记载为“开始结束命令键1kf2”，将功能键1kf4记载为“首页键1kf4”。
在液晶显示器10k2上显示表示针对用户的消息的画面、表示处理的结果的画面或用于用户对图像形成装置1输入指示或条件的画面等。
触摸面板10k3以覆盖液晶显示器10k2的整个显示面的方式被固定地设置，检测被触摸的(被按下的)位置，并向主CPU 10a通知该位置。作为触摸面板10k3，例如使用静电电容方式的触摸面板、表面弹性波方式的触摸面板或电磁感应方式的触摸面板等。此外，下面，以液晶显示器10k2的像素的间距与触摸面板10k3的读取分辨率被设定为相同的情况为例进行说明。另外，以各图像形成装置1的液晶显示器10k2的性能相同、且各图像形成装置1的触摸面板10k3的性能相同的情况为例进行说明。
另外，液晶显示器10k2与触摸面板10k3的位置关系按每个图像形成装置1而不同。在图像形成装置1A中，如图5的(A)所示，液晶显示器10k2的左上端相对于触摸面板10k3的左上端向右方向(X轴方向)偏移了“Ga”，向下方向(Y轴方向)偏移了“Gb”。另一方面，在图像形成装置1B中，液晶显示器10k2的左上端相对于触摸面板10k3的左上端向X轴方向偏移了“Gc”，向Y轴方向偏移了“Gd”。
在不存在偏移的情况下，不进行与偏移有关的校正而能够将触摸面板10k3的被触摸的位置的坐标作为液晶显示器10k2的被触摸的位置的坐标来处理。下面，将触摸面板10k3上的坐标记载为“触摸面板坐标P”或“触摸面板坐标P(Xp,Yp)”。
但是，在存在偏移的情况下，需要进行与偏移有关的校正。在图像形成装置1A中，需要将触摸面板坐标P校正为(Xp-Ga,Yp-Gb)。在图像形成装置1B中，需要将触摸面板坐标P校正为(Xp-Gc,Yp-Gd)。
这样，触摸面板10k3相对于液晶显示器10k2的偏移的量被用作校正的量。因此，下面将偏移的量记载为“校正量”。
在各图像形成装置1中，预先存储有表示自身的校正量的校正量数据5U。也就是说，在图像形成装置1A中，预先存储有表示(Ga,Gb)的数据作为校正量数据5U，在图像形成装置1B中，预先存储有表示(Gc,Gd)的数据作为校正量数据5U。
在液晶显示器10k2上显示各种画面。在各画面上配置有各种种类的对象。例如在图6的复印作业画面3C上，配置有关闭按钮4A、右滚动按钮4B1、左滚动按钮4B2、多个选项(option)功能徽章4C、多个标识器(marker)4D以及滑尺(slide gauge)4E等的对象。
关闭按钮4A是用于关闭复印作业画面3C来再次显示前一个画面的按钮。
选项功能徽章4C是表示选项功能的图标，针对图像形成装置1所具备的每个选项功能各准备有一个。选项功能徽章4C排成横向一列，形成徽章列4L。但是，无法同时配置所有选项功能徽章4C。也就是说，在复印作业画面3C中，如图7所示那样只有一部分选项功能徽章4C出现，剩余的选项功能徽章4C不出现。
用户通过使徽章列4L滚动来能够使剩余的选项功能徽章4C依次显示。下面，有时将各选项功能徽章4C从左起按顺序区分为“选项功能徽章4Ca”、“选项功能徽章4Cb”、…、“选项功能徽章4Cz”来进行记载。
右滚动按钮4B1是用于使徽章列4L从右向左滚动的按钮。左滚动按钮4B2是用于使徽章列4L从左向右滚动的按钮。
标识器4D也与选项功能徽章4C同样地排成横向一列。标识器4D的个数与选项功能徽章4C的个数相同。而且，从左边的标识器4D起按顺序与选项功能徽章4Ca、选项功能徽章4Cb、…、选项功能徽章4Cz对应。但是，所有标识器4D同时出现在复印作业画面3C上。下面，有时将与选项功能徽章4Ca、选项功能徽章4Cb、…、选项功能徽章4Cz对应的标识器4D分别区分为“标识器4Da”、“标识器4Db”、…、“标识器4Dz”来进行记载。
滑尺4E由滑动条4E1和窗口4E2构成。滑动条4E1根据拖拽或轻拂(flick)而向左或右移动。
窗口4E2设置于滑动条4E1的正上方。并且，包围与当前配置在复印作业画面3C上的选项功能徽章4C对应的个数的标识器4D。
窗口4E2固定于滑动条4E1。因而，当滑动条4E1移动时，窗口4E2一起移动。用户通过对滑动条4E1进行操作来能够改变被窗口4E2包围的标识器4D。当被窗口4E2包围的标识器4D变化时，与其相伴地，徽章列4L滚动，配置于复印作业画面3C的选项功能徽章4C变化。
另外，用户还能够通过直接对徽章列4L进行拖拽或轻拂来使其进行滚动。
在通过右滚动按钮4B1或左滚动按钮4B2而徽章列4L滚动的情况下，根据复印作业画面3C中的选项功能徽章4C的新的配置而滑尺4E移动。
另外，液晶显示器10k2既有时显示整体为一个区域的画面，也有时显示被分割为多个区域的画面。下面，将构成画面的区域记载为“要素区域”。并且，要素区域被分类为简单操作区域和手势区域中的某一个。
“简单操作区域”是仅受理单击(tap)作为用户的动作(操作)的区域。另一方面，“手势区域”是受理单击、轻拂、拖拽以及双击(double tap)等各种手势作为用户的动作的区域。
各画面的各像素属于哪个要素区域、以及各要素区域属于简单操作区域和手势区域中的哪一个是预先决定的，在各画面的显示用的数据(下面，记载为“画面数据5W”。)中被定义。
图6的复印作业画面3C被分割为第一要素区域3C1、第二要素区域3C2以及第三要素区域3C3，第一要素区域3C1被设定为简单操作区域，第二要素区域3C2和第三要素区域3C3被设定为手势区域。
返回到图2和图3，在ROM 10c或大容量存储装置10d中存储有用于实现上述的复印和网络打印等功能的程序。并且，存储有用于实现图8所示的触摸事件受理部101、操作区域判别部102、触摸应答处理决定部103、手势判别部104、手势应答处理决定部105、硬键操作受理部106、硬键应答处理决定部107、画面等控制部108、操作日志数据生成部121、操作日志数据存储部122、操作日志读出部131、初始画面显示控制部132以及坐标校正部133等的功能的程序。
这些程序根据需要而被加载到RAM 10b，并由主CPU 10a执行。
图8所示的触摸事件受理部101至坐标校正部133基于用户对操作面板单元10k进行的操作，控制各硬件使得显示画面或执行作业。并且，记录有操作的日志，之后能够基于该日志再现操作。
下面，将触摸事件受理部101至坐标校正部133的处理大致分为基于操作的基本处理、记录操作的处理以及基于记录再现操作的处理来进行说明。另外，将根据用户的实时的操作进行处理的模式记载为“通常模式”，将基于记录再现操作并进行处理的模式记载为“再现模式”。
〔基于操作的基本处理〕
图9是用于说明触摸面板坐标P与显示面坐标Q的关系的图。图10是表示基本的触摸操作的例子的图。图11是表示传真发送作业画面3F的例子的图。
图8的触摸事件受理部101至画面等控制部108在通常模式下根据用户对硬键面板10k1或触摸面板10k3实时地进行的操作来如下进行处理。
触摸面板10k3当检测出被触摸时，直到触摸结束为止(也就是说，直到手指或笔等远离触摸面板10k3为止)，每隔规定的时间Ta输出被触摸的触摸面板的触摸面板坐标P。
触摸事件受理部101每当受理了触摸面板坐标P时，通过基于校正量数据5U对该触摸面板坐标P进行校正来计算液晶显示器10k2的显示面上的坐标。下面，将显示面上的坐标记载为“显示面坐标Q”或“显示面坐标Q(Xq,Yq)。例如在图像形成装置1A的情况下，通过将图9的(A)的触摸面板坐标P(Xp,Yp)如图9的(B)那样校正为(Xp-Ga,Yp-Gb)，来计算显示面坐标Q。
并且，每当受理了触摸面板坐标P时、以及触摸的检测被中断的情况下，触摸事件受理部101如下那样检测对触摸面板10k3进行的事件(下面，记载为“触摸事件”。)。
触摸事件受理部101在从当前起规定的时间Ta之前未受理到触摸面板坐标P、但是新受理到触摸面板坐标P的情况下，检测如图10的(A)那样的“按压(press)”作为触摸事件。
当在按压之后每隔规定的时间Ta受理到触摸面板坐标P时，触摸事件受理部101检测如图10的(B)那样的“保持(keep)”作为触摸事件。此外，一般能够将“保持”区分为触摸的位置变化的“移动(move)”以及位置不变的“停留(stay)”这两个。虽然也可以将“移动”和“停留”区分来进行检测，但是在本实施方式中，不区分两者而一样地检测为“保持”。
在比规定的时间Ta长的时间内未受理到触摸面板坐标P的情况下，也就是说在触摸的检测被中断的情况下，触摸事件受理部101检测如图10的(C)那样的“释放(release)”作为触摸事件。
操作区域判别部102在由触摸事件受理部101检测出按压的情况下，基于画面数据5W判别该按压时的显示面坐标Q所属的区域的种类。具体地说，判别当前画面中的显示面坐标Q的像素所属的要素区域。然后，判别对该要素区域设定的区域的种类(简单操作区域或手势区域)。
根据操作区域判别部102的判别的结果，触摸应答处理决定部103、手势判别部104以及手势应答处理决定部105进行如下处理。
在判别为显示面坐标Q所属的要素区域是简单操作区域的情况下，触摸应答处理决定部103决定作为对用户所进行的触摸事件的应答而应该执行的处理。下面，将该处理记载为“触摸应答处理”。决定的方法与以往同样，在此说明决定的方法的一例。
如上所述，每当被输入触摸面板坐标P时，触摸事件受理部101检测按压、保持以及释放中的某一个来作为触摸事件，并且计算显示面坐标Q。触摸应答处理决定部103根据计算出的显示面坐标Q和检测出的触摸事件来决定处理。
例如在位于显示面坐标Q的对象是图6的复印作业画面3C的关闭按钮4A、且触摸事件是按压的情况下，将改变关闭按钮4A的形态(例如将颜色变更为灰色或者改变为凹下的形状)的处理决定为触摸应答处理。之后，在关闭按钮4A中的任意的位置处进行了释放的情况下，将与关闭按钮4A预先相对应的处理、即关闭复印作业画面3C来显示前一个画面的处理决定为触摸应答处理。
或者，在位于显示面坐标Q的对象是右滚动按钮4B1、且触摸事件是按压或保持的情况下，将使徽章列4L从右向左滚动的处理决定为触摸应答处理。
另一方面，在判别为显示面坐标Q所属的要素区域是手势区域的情况下，通过手势判别部104和手势应答处理决定部105进行如下处理。
手势判别部104基于由触摸事件受理部101连续地检测的触摸事件和各触摸事件的显示面坐标Q，判别这些一系列触摸事件所表示的手势。判别的方法与以往同样，在此说明判别的方法的一例。
例如在相同的显示面坐标Q处在规定的时间Tb(例如0.5秒)以内将按压、保持以及释放的组合的操作检测出2次的情况下，手势判别部104判别为手势是双击。在相同的显示面坐标Q处将按压、保持以及释放的组合的操作检测出1次、但是在接下来的规定的时间Tb以内在相同的显示面坐标Q处未检测出触摸事件的情况下，手势判别部104判别为手势是单击。
此外，在操作快的情况下，有时保持不被检测。因此，在代替按压、保持以及释放的组合的操作而检测出按压和释放的组合的操作的情况下，也同样地进行判别。在保持所连续的次数超过规定的次数的情况下，也可以判别为不是单击而是长击(long tap)。另外，如果两个显示面坐标Q彼此的距离在规定的范围内，则也可以将这些显示面坐标Q视为相同。
或者，在检测出按压之后在显示面坐标Q向固定的方向以规定的速度Sa以上的速度移动的同时检测出保持并检测出释放的情况下，手势判别部104将手势判别为是轻拂。此时，作为条件值5C，还计算显示面坐标Q的移动的速度和方向。
或者，在检测出按压之后在显示面坐标Q以小于规定的速度Sa的速度变化的同时检测出保持的情况下，手势判别部104将手势判别为是拖拽。此时，作为条件值5C，还获取显示面坐标Q的轨迹(每个时刻的坐标)。另外，在释放之前进行了与拖拽无关的操作的情况下，也可以作为拖拽被取消来处理。例如在释放之前在脱离显示面坐标Q的轨迹的位置处进行了触摸的情况下，也可以作为拖拽被取消来处理。
手势应答处理决定部105决定作为对用户所进行的手势的应答而应该执行的处理。下面，将该处理记载为“手势应答处理”。决定的方法与以往同样，在此说明决定的方法的一例。
例如在对图6的复印作业画面3C的任意的选项功能徽章4C进行了轻拂的情况下，手势应答处理决定部105将根据条件值5C(显示面坐标Q的移动的速度和方向)使徽章列4L滚动的处理决定为手势应答处理。
或者，在对选项功能徽章4Cs进行了双击的情况下，手势应答处理决定部105将使选项功能徽章4Cs的形态变更为表示开启(ON)的形态、并且将关于是否应用水印的设定值更新为开启(ON)的处理决定为手势应答处理。
硬键面板10k1每当键(硬键)被按下时，将表示该键的按下键信号5D输出到主CPU 10a。于是，由硬键操作受理部106和硬键应答处理决定部107进行如下处理。
硬键操作受理部106受理按下键信号5D。硬键应答处理决定部107基于当前画面和按下键信号5D决定作为针对用户对硬键面板10k1进行的操作的应答而应该执行的处理。下面，将该处理记载为“硬键应答处理”。决定的方法与以往同样，在此说明决定的方法的一例。
例如在显示了任意的画面时功能键1kf1(参照图4)被按下的情况下，将显示如图11的(A)那样的传真发送作业画面3F的处理决定为硬键应答处理。
或者，在传真发送作业画面3F是当前画面时通过数字键1kt输入了传真号的情况下，将受理该传真号作为发送目的地、并且如图11的(B)那样反映到传真发送作业画面3F的处理决定为硬键应答处理。
画面等控制部108控制各硬件，使得每当触摸应答处理决定部103决定了触摸应答处理、手势应答处理决定部105决定了手势应答处理、或硬键应答处理决定部107决定了硬键应答处理时，执行所决定的触摸应答处理、手势应答处理或硬键应答处理。下面，将触摸应答处理、手势应答处理以及硬键应答处理统称为“应答处理”。
应答处理如以往那样能够经由API(Application ProgramInterface：应用程序接口)进行。
〔记录操作的处理〕
图12是表示操作日志数据5F的例子的图。
当用户输入了记录的开始的命令(下面，记载为“开始命令”。)时，图8的操作日志数据生成部121和操作日志数据存储部122如下那样进行记录对操作面板单元10k的操作的日志的处理。
用户使进行想要之后再现的一系列操作中的最初的操作时的画面显示在液晶显示器10k2上。然后，输入开始命令，开始一系列操作。
触摸事件受理部101至画面等控制部108与通常模式的情况同样地，通过上述的方法根据一系列操作进行处理。特别是，触摸事件受理部101每当通过触摸面板10k3检测出触摸面板坐标P时，计算显示面坐标Q。并且，每当检测出触摸面板坐标P时、以及触摸面板坐标P的检测被中断的情况下，判别触摸事件。另外，硬键操作受理部106从硬键面板10k1受理按下键信号5D。
操作日志数据生成部121生成如图12那样的操作日志数据5F，并存储到操作日志数据存储部122。
在操作日志数据5F中示出，在从输入开始命令之后起到输入记录的结束的命令(下面，记载为“结束命令”。)为止的期间，由触摸事件受理部101检测出的触摸事件和计算出的显示面坐标Q以及由硬键操作受理部106受理的按下键信号5D。并且，示出直到各触摸事件和按下键信号5D被检测或受理为止的、从紧接之前的(前一个)触摸事件或按下键信号5D被检测或受理起的经过时间Tr。其中，作为第一个触摸事件或按下键信号5D的经过时间Tr，示出从输入开始命令之后起经过的时间。
然后，当被输入了结束命令时，操作日志数据生成部121结束生成操作日志数据5F的处理。操作日志数据5F被附加在输入了开始命令时在液晶显示器10k2上显示的画面的标识符(下面，记载为“开始时画面标识符”。)。
〔再现操作的处理〕
图13是表示图像形成装置1的功能结构的例子以及操作的再现时的数据的流动的例子的图。图14是表示触摸面板坐标P、显示面坐标Q以及触摸面板坐标PB的位置关系的例子的图。图15是表示硬键面板下方画面3HK1和硬键面板右方画面3HK2的例子的图。
操作日志读出部131、初始画面显示控制部132以及坐标校正部133与操作区域判别部102至画面等控制部108相协作地执行再现用户过去进行的一系列操作的处理。即使是通过其它图像形成装置1进行的操作，也能够进行再现。
下面，以由图像形成装置1B再现用户通过图像形成装置1A进行的一系列操作的情况为例，参照图13说明各部分的处理。
预先经由通信线路NW或可移动型记录介质将图像形成装置1A的操作日志数据存储部122中记载的操作日志数据5F复制到图像形成装置1B的操作日志数据存储部122。
在图像形成装置1B中，操作日志读出部131当由用户输入了操作的再现的命令(下面，记载为“再现命令”。)时，使图像形成装置1B从通常模式切换为再现模式，从操作日志数据存储部122读出操作日志数据5F。然后，将操作日志数据5F中附加的开始时画面标识符提供给初始画面显示控制部132。
于是，初始画面显示控制部132控制液晶显示器10k2使得显示该开始时画面标识符的画面。
坐标校正部133基于图像形成装置1B的校正量数据5U将操作日志数据5F的各记录所示出的显示面坐标Q变换为与图像形成装置1B中的触摸面板10k3对应的坐标(下面，记载为“触摸面板坐标PB”或“触摸面板坐标PB(Xpb,Ypb)”。)。也就是说，利用以下(1)式计算触摸面板坐标PB。
触摸面板坐标PB(Xpb,Ypb)
＝显示面坐标Q(Xq,Yq)+(Gc,Gd)  ……(1)
当使用图像形成装置1A中的触摸面板坐标P表示触摸面板坐标PB时，如图14那样成为(Xp-Ga+Gc,Yp-Gb+Gd)。
然后，坐标校正部133对触摸事件受理部101提供触摸面板坐标PB以代替由触摸面板10k3检测出的触摸面板坐标P。提供触摸面板坐标PB的定时按照各记录的经过时间Tr。即，根据第一个记录计算出的触摸面板坐标PB是在从输入再现命令之后起经过该记录所示出的经过时间Tr的定时被提供。根据第N个(N≥2)记录计算出的触摸面板坐标PB是在提供了根据第(N-1)个记录计算出的触摸面板坐标PB之后起经过第N个记录所示出的经过时间Tr的定时被提供。
当触摸面板坐标PB从坐标校正部133被提供至触摸事件受理部101时，触摸事件受理部101、操作区域判别部102、触摸应答处理决定部103、手势判别部104、手势应答处理决定部105以及画面等控制部108使用触摸面板坐标PB来代替触摸面板坐标P，与通常模式同样地进行处理。
另外，在记录中示出按下键信号5D的情况下，不经由坐标校正部133而将按下键信号5D提供至硬键操作受理部106。
于是，硬键操作受理部106和硬键应答处理决定部107基于该按下键信号5D与通常模式同样地进行处理。
当这样基于操作日志数据5F再现操作时，画面转移。用户通过观察它，能够估计进行了何种操作。
为了使用户能够更容易地进行估计，画面等控制部108也可以在画面上重叠地显示表示显示面坐标Q的标记(mark)。例如也可以将表示轻拂时的全部或一部分显示面坐标Q的标记作为轨迹来进行显示。由此，用户能够容易地估计轻拂的强度。
另外，也可以根据由手势判别部104判别出的手势来改变表示显示面坐标Q的标记的形态。例如在轻拂的情况下，画面等控制部108显示粗线的正圆作为表示显示面坐标Q的标记。在拖拽的情况下，显示虚线的三角形。
有时即使再现对硬键面板10k1的操作，用户也无法估计哪个键被按下。因此，画面等控制部108也可以在画面上重叠地显示硬键面板10k1的图像，在被按下的键上显示标记。也可以不显示硬键面板10k1的全部图像，而显示一部分图像。另外，也可以不是始终显示，而是在对硬键面板10k1的操作的再现时进行显示，之后关闭。
例如在包括功能键1kf1被触摸的时间点的规定的期间，画面等控制部108如图15的(A)那样显示表示硬键面板10k1的下方的硬键面板下方画面3HK1。然后，在功能键1kf1的图像上显示规定的标记(例如星形的标记)。同样地，在操作日志数据5F中示出功能键1kf4的情况下，显示如图15的(B)那样的硬键面板右方画面3HK2。然后，在功能键1kf4的图像上显示规定的标记。
图16是说明图像形成装置1的整体处理的流程的例子的流程图。图17是说明记录处理的流程的例子的流程图。图18和图19是说明再现处理的流程的例子的流程图。
接着，参照图16～图19等流程图说明图像形成装置1中的与显示有关的整体处理的流程。
图像形成装置1在电源接通的期间，根据用户对操作面板单元10k的操作来如图16所示那样执行处理。
即，图像形成装置1当被输入了开始命令时(#11中“是”)，以图17所示的次序来执行记录操作的日志的处理(#12)。
在图17中，图像形成装置1生成空的操作日志数据5F，并使其与当前画面的开始时画面标识符相对应起来(#701)。
图像形成装置1在由触摸面板10k3检测出触摸面板坐标P的情况下(#702中“是”)，通过对触摸面板坐标P进行校正来计算显示面坐标Q，并且判别触摸事件(#703)，将这些信息与经过时间Tr一起作为一个记录追加记录到操作日志数据5F(#704)。并且，判别显示面坐标Q所属的区域的种类(简单操作区域或手势区域)(#705)。
如果该区域的种类是手势区域(#706中“是”)，则图像形成装置1尝试判别用户所进行的手势(#707)。但是，由于手势是由多个触摸的组合来表现的，因此有时尚无法判别手势。图像形成装置1如果能够判别出手势(#708中“是”)，则尝试根据该手势决定应该执行的处理(#709)。然后，如果能够决定处理(#710中“是”)，则执行该处理(#711)。
另一方面，如果该区域的种类是简单操作区域(#706中“否”)，则图像形成装置1尝试根据本次的触摸事件决定应该执行的处理(#712)。然后，如果能够决定处理(#713中“是”)，则执行该处理(#714)。
或者，图像形成装置1在通过硬键面板10k1受理到按下键信号5D的情况下(#702中“否”、#715中“是”)，如果该按下键信号5D中未示出开始结束命令键1kf2(#716中“否”)，则将按下键信号5D和经过时间Tr作为一个记录追加记录到操作日志数据5F(#717)。尝试根据该键的按下来决定应该执行的处理(#718)。然后，如果能够决定处理(#719中“是”)，则执行该处理(#720)。
直到开始结束命令键1kf2被按下为止，图像形成装置1适当执行步骤#702～#720的处理。
然后，图像形成装置1如果受理了表示开始结束命令键1kf2的按下键信号5D(#716中“是”)，则结束记录操作的日志的处理。
返回到图16，图像形成装置1当被输入了再现命令时(#13中“是”)，基于操作日志数据5F，以图18和图19所示的次序来执行再现用户的操作的处理(#14)。
图像形成装置1读出操作日志数据5F，显示与操作日志数据5F相对应的开始时画面标识符的画面(图18的#731)。此外，操作日志数据5F既可以由图像形成装置1自身生成，也可以从其它图像形成装置1获取。
图像形成装置1关注操作日志数据5F的从上方起的第一个记录(#732、#733)。
在关注的记录中示出按下键信号5D的情况下(#734中“是”)，图像形成装置1如图15所例示的那样在当前画面上重叠地显示硬键面板10k1的图像，并且在该按下键信号5D所示出的键上显示标记(#735)。然后，尝试根据该键的按下而决定应该执行的处理(#736)。如果能够决定处理(#737中“是”)，则执行该处理(#738)。
另一方面，在关注的记录中示出显示面坐标Q、触摸事件以及经过时间Tr的情况下(#734中“否”)，图像形成装置1通过根据校正量数据5U对显示面坐标Q进行校正来计算自身的触摸面板10k3中的触摸面板坐标P(#739)。然后，基于该触摸面板坐标P，与通常模式的情况同样地进行处理。
即，图像形成装置1将计算出的触摸面板坐标P变换为显示面坐标Q(#740)，判别显示面坐标Q所属的区域的种类(#741)。
如果该区域的种类是手势区域(#742中“是”)，则图像形成装置1尝试判别手势(#743)。如果能够判别手势(#744中“是”)，则尝试根据该手势决定应该执行的处理(#745)。如果能够决定处理(#746中“是”)，则执行该处理(#747)。
如果该区域的种类是简单操作区域(#742中“否”)，则图像形成装置1尝试根据该触摸事件决定应该执行的处理(#748)。如果能够决定处理(#749中“是”)，则执行该处理(#750)。
在操作日志数据5F中剩有尚未关注的记录的情况下(#751中“是”)，图像形成装置1返回到步骤#733，关注这些记录中的最上方的记录，适当执行步骤#734～#750的处理。
返回到图16，在输入了与操作的记录和再现以外有关的命令等的情况下(#13中“否”)，图像形成装置1如以往那样基于该命令等执行处理(#15)。
接着，以将复印物的装订边设定为“左侧装订”的情况为例，说明由图像形成装置1A生成操作日志数据5F并由图像形成装置1B使用该操作日志数据5F的情况下的操作、处理以及画面的转移。
〔生成时〕
图20～图22是表示生成操作日志数据时的画面的转移和用户的操作的例子的图。
操作用手册的制作者在显示有图20的(A)的首页画面3T时，通过按下图像形成装置1A的开始结束命令键1kf2(参照图4)来输入开始命令。此外，首页画面3T是整体为简单操作区域。
于是，图像形成装置1A开始记录对硬键面板10k1或触摸面板10k3的操作。此外，记录的次序与之前使用图17说明的那样。在本例中，图像形成装置1A首先准备空的操作日志数据5F，之后对其依次写入操作的内容。
制作者从首页画面3T中对复印按钮4TJ1进行单击。于是，图像形成装置1A将制作者对复印按钮4TJ1进行单击(触摸)的期间的各时刻的记录追加记录到操作日志数据5F。并且，代替首页画面3T而显示如图20的(B)那样的复印作业画面3C。
制作者将徽章列4L从左向右进行轻拂。图像形成装置1A将制作者进行轻拂的期间的各时刻的记录追加记录到操作日志数据5F。并且，使徽章列4L滚动。由此，徽章列4L如图20的(C)那样转移。
制作者双击选项功能徽章4Ca。于是，图像形成装置1A将记录5Fc作为该双击的记录而追加记录到操作日志数据5F。并且，如图21的(A)那样在复印作业画面3C上显示对话框3DB1。
为了使对话框3DB1容易观察，制作者在对话框3DB1的任意的位置处进行撑开(pinch)。于是，图像形成装置1A将制作者进行撑开的期间的各时刻的记录追加记录到操作日志数据5F。并且，如图21的(B)那样放大对话框3DB1。此外，对话框3DB1是整体为手势区域。
制作者对下拉按钮4PB进行单击。于是，图像形成装置1将制作者进行单击的期间的各时刻的记录追加记录到操作日志数据5F。并且，如图21的(C)那样在对话框3DB1上显示下拉菜单3PM1。
制作者从下拉菜单3PM1中对与“左侧装订”对应的选项4ST1进行单击。于是，图像形成装置1将制作者进行单击的期间的各时刻的记录追加记录到操作日志数据5F。并且，如图22的(A)那样将选项4ST1变更为表示被选择的形态(在本例中是使字符的颜色和背景的颜色反转的形态)。然后，在单击结束之后，如果经过了规定的时间(例如0.5秒)，则如图22的(B)那样关闭下拉菜单3PM1，并且将复印物的装订边设定为“左侧装订”。
制作者按下硬键面板10k1的功能键1kf4。此外，功能键1kf4是用于返回到首页画面3T的键。于是，图像形成装置1将该键的按下的记录追加记录到操作日志数据5F。并且，关闭复印作业画面3C，如图22的(C)那样再次显示首页画面3T。
然后，制作者通过按下开始结束命令键1kf2来输入结束命令。于是，图像形成装置1结束记录的处理。另外，图像形成装置1使输入开始命令时的当前画面即首页画面3T的标识符作为开始时画面标识符而与操作日志数据5F相对应起来。
通过以上说明的操作和处理，记录即操作日志数据5F的生成完成。
然后，制作者将操作日志数据5F复制到可移动型记录介质，并交给维护工程师。
〔再现时〕
图23～图26是表示操作的再现时的画面的转移的例子的图。
维护工程师在图像形成装置1B上安装可移动型记录介质，将操作日志数据5F复制到操作日志数据存储部122。然后，输入再现命令。于是，图像形成装置1B基于操作日志数据5F的各记录如下进行处理。
图像形成装置1B按照与操作日志数据5F相对应的开始时画面标识符，显示如图23的(A)那样的首页画面3T。如图23的(B)那样将表示单击的标记4MA显示在复印按钮4TJ1上，如图23的(C)那样代替首页画面3T而显示复印作业画面3C。
图像形成装置1B如图24的(A)那样一边显示与被轻拂的位置对应的标记4MB1～4MB6、一边使徽章列4L滚动。
如果如图24的(B)那样滚动结束，则图像形成装置1B如图24的(C)那样将与双击对应的标记4MC显示在选项功能徽章4Ca上，在复印作业画面3C上显示对话框3DB1。
图像形成装置1B如图25的(A)那样显示与撑开的开始位置及方向对应的标记4MD，开始放大对话框3DB1。
如果如图25的(B)那样对话框3DB1的放大结束，则图像形成装置1B将表示单击的标记4ME显示在下拉按钮4PB上，如图25的(C)那样显示下拉菜单3PM1。
图像形成装置1B将与单击对应的标记4MF显示在选项4ST1上。然后，在将选项4ST1的形态如图26的(A)那样变更之后，如图26的(B)那样关闭下拉菜单3PM1。
图像形成装置1B如图26的(C)那样在复印作业画面3C上显示硬键面板右方画面3HK2，将表示按下的标记4MG显示在功能键1kf4的图像上。然后，关闭硬键面板右方画面3HK2，代替复印作业画面3C而再次显示首页画面3T(参照图23的(A))。
根据本实施方式，即使在显示器的显示面与触摸面板的重叠状况按每个触摸面板显示器而不同的情况下，也能够比以往更正确地再现用户的操作。
图27是表示触摸面板坐标P、显示面坐标Q以及触摸面板坐标PC的位置关系的例子的图。图28是表示显示面坐标Q与对象的位置关系的例子的图。
在本实施方式中，图像形成装置1A的液晶显示器10k2的析像度和触摸面板10k3的读取分辨率被设定成分别与图像形成装置1B的液晶显示器10k2的析像度和触摸面板10k3的读取分辨率相同，但是也存在不同地设定的图像形成装置1。
例如，存在如下情况：图像形成装置1A的液晶显示器10k2的析像度和触摸面板10k3的读取分辨率是800×480dpi，图像形成装置1C的液晶显示器10k2的析像度和触摸面板10k3的读取分辨率是600×360dpi。在这种情况下，图像形成装置1A、1C如下进行处理即可。
图像形成装置1A将表示图像形成装置1A自身的析像度和读取分辨率的析像度数据与操作日志数据5F一起输出。
图像形成装置1C当从图像形成装置1A经由USB存储器或通信线路NW获取到操作日志数据5F和析像度数据时，在步骤#739中由坐标校正部133利用以下(2)式以代替(1)式来计算触摸面板坐标PC。
触摸面板坐标PC(Xpc,Ypc)
＝显示面坐标Q(Rx·Xq,Ry·Yq)+(Ge,Gf)  ……(2)
其中，Rx＝Kxc/Kxa、Ry＝Kyc/Kya。Kxa和Kya分别是图像形成装置1A的横向和纵向的析像度(或读取分辨率)，在本例中是“800”和“600”。Kxc和Kyc分别是图像形成装置1B的横向和纵向的析像度(或读取分辨率)，在本例中是“480”和“360”。
由此，当使用图像形成装置1A中的触摸面板坐标P表示触摸面板坐标PC时，如图27那样成为(Rx(Xp-Ga)+Gc,Ry(Yp-Gb)+Gd)＝(0.6(Xp-Ga)+Ge,0.6(Yp-Gb)+Gf)。然后，图像形成装置1C执行步骤#740以后的处理。
在由坐标校正部133进行的从显示面坐标Q向触摸面板坐标P的变换上有时产生误差。当基于这种触摸面板坐标P进行处理时，有可能无法很好地再现用户(例如手册的制作者)的操作。特别是在通常模式下用户对画面中的对象的端部进行了操作的情况下，有可能产生这种现象。
因此，图像形成装置1的各部分在再现模式下也可以如下进行处理。
在如图28的(A)那样与触摸面板坐标P对应的显示面坐标Q不属于任一个对象(例如按钮)、但在从该显示面坐标Q起的规定的范围内存在对象的至少一部分的情况下，操作区域判别部102视为该对象的任意的位置被按压来判别区域的种类即可。
而且，在是简单操作区域的情况下，触摸应答处理决定部103视为该对象被单击来决定触摸应答处理即可。
或者，在是手势区域的情况下，手势应答处理决定部105视为对该对象进行了手势来决定手势应答处理即可。
在如图28的(B)那样在规定的范围内存在多个对象的情况下，操作区域判别部102视为与显示面坐标Q最近的对象被按压来判别区域的种类即可。同样地，触摸应答处理决定部103视为最近的对象被单击来决定触摸应答处理即可。手势应答处理决定部105视为对最近的对象进行了手势来决定手势应答处理即可。
在如图28的(C)那样在规定的范围内一个对象也不存在的情况下，操作区域判别部102视为从显示面坐标Q最近的对象被按压来判别区域的种类即可。触摸应答处理决定部103和手势应答处理决定部105也同样地决定触摸应答处理或手势应答处理即可。
在本实施方式中，再现操作的一侧的图像形成装置1B基于自身的校正量数据5U对显示面坐标Q进行校正来计算触摸面板坐标P，但是也可以由记录操作的一侧的图像形成装置1A基于图像形成装置1B的校正量数据5U计算触摸面板坐标P。或者，图像形成装置1B每当读出一个记录时对显示面坐标Q进行校正来计算触摸面板坐标P，但是也可以在被输入再现的命令之前预先汇总进行计算。
在记录的一侧或再现的一侧的图像形成装置1被终端装置2A～2C中的某一个远程控制的情况下，根据该终端装置2A～2C的触摸面板显示器的规格或设定值进行上述的处理即可。
在本实施方式中，作为触摸面板10k3使用了检测由手指或笔等直接接触的情况的方式的触摸面板，但是在使用非接触式的触摸面板的情况下也能够应用本发明。也能够代替液晶显示器10k2而使用等离子体显示器等其它方式的显示器。
期望的是作为操作日志数据5F的格式使用CSV(CommaSeparated Value：逗号分隔值)等一般格式，使得即使多个图像形成装置1是不同的机型也能够共用操作日志数据5F。
在使用本实施方式中例示的种类以外的手势(例如旋转(rotation)、利用4根手指的挥击(swipe)等)的情况下，也能够应用本发明。
此外，图像形成装置1的整体或各部分的结构、处理内容、处理顺序、数据的结构、画面的结构等能够按照本发明的宗旨适当变更。

Claims (8)

1.一种图像处理系统，具有：第一图像形成装置，设置有第一显示器以及在所述第一显示器的显示面上重叠的第一触摸面板；以及第二图像形成装置，设置有第二显示器以及在所述第二显示器的显示面上重叠的第二触摸面板，该图像处理系统的特征在于，
在所述第一图像形成装置中具备：
显示面上位置计算单元，基于表示所述第一显示器的显示面与所述第一触摸面板的位置关系的第一位置关系数据，计算所述第一显示器的显示面中的与所述第一触摸面板中的被触摸的第一触摸位置对应的显示面上位置；以及
操作日志数据生成单元，生成表示由所述显示面上位置计算单元计算出的每个时刻的所述显示面上位置的操作日志数据，
在所述第二图像形成装置中具备：
对应位置计算单元，基于表示所述第二显示器的显示面与所述第二触摸面板的位置关系的第二位置关系数据，计算所述第二触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置；
处理决定单元，将由所述对应位置计算单元计算出的所述对应位置用作所述第二触摸面板中的被触摸的第二触摸位置来决定使操作画面显示在所述第二显示器上的显示控制处理；以及
显示控制单元，执行由所述处理决定单元决定的所述显示控制处理。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述对应位置计算单元基于所述第二显示器相对于所述第一显示器的尺寸的比例计算所述对应位置。
3.根据权利要求1或2所述的图像处理系统，其特征在于，
所述处理决定单元在所述对应位置不属于所述第二显示器上显示着的画面中的任一个对象的情况下，视为与所述对应位置最近的对象被触摸而决定所述显示控制处理。
4.根据权利要求1或2所述的图像处理系统，其特征在于，
所述处理决定单元在所述对应位置不属于所述第二显示器上显示着的画面中的任一个对象、但从所述对应位置起的规定的范围内存在一个或多个对象的情况下，视为该一个或多个对象中的与所述对应位置最近的对象被触摸而决定所述显示控制处理。
5.一种图像形成装置，其特征在于，具有：
显示器；
在所述显示器的显示面上重叠的触摸面板；
操作日志数据获取单元，获取在设置有其它显示器以及在所述其它显示器的显示面上重叠的其它触摸面板的其它图像形成装置中生成的、表示每个时刻的所述其它显示器的显示面中的与所述其它触摸面板中的被触摸的第一触摸位置对应的显示面上位置的操作日志数据；
对应位置计算单元，基于表示所述显示器的显示面与所述触摸面板的位置关系的位置关系数据，计算所述触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置；
处理决定单元，将由所述对应位置计算单元计算出的所述对应位置用作所述触摸面板中的被触摸的第二触摸位置来决定使操作画面显示在所述显示器上的显示控制处理；以及
显示控制单元，执行由所述处理决定单元决定的所述显示控制处理。
6.一种图像形成装置，其特征在于，具有：
显示器；
在所述显示器的显示面上重叠的触摸面板；
操作日志数据获取单元，获取在设置有其它显示器以及在所述其它显示器的显示面上重叠的其它触摸面板的其它图像形成装置中生成的、表示每个时刻的所述其它显示器的显示面中的与所述其它触摸面板中的被触摸的触摸位置对应的显示面上位置的操作日志数据；
对应位置计算单元，基于表示所述显示器的显示面与所述触摸面板的位置关系的位置关系数据，计算所述触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置；
处理决定单元，视为所述显示器所显示的画面中的对象中的与由所述对应位置计算单元计算出的所述对应位置最近的对象被触摸来决定使操作画面显示在所述显示器上的显示控制处理；以及
显示控制单元，执行由所述处理决定单元决定的所述显示控制处理。
7.一种操作画面显示方法，是具有显示器以及在所述显示器的显示面上重叠的触摸面板的图像形成装置中的操作画面显示方法，其特征在于，
获取在设置有其它显示器以及在所述其它显示器的显示面上重叠的其它触摸面板的其它图像形成装置中生成的、表示每个时刻的所述其它显示器的显示面中的与所述其它触摸面板中的被触摸的第一触摸位置对应的显示面上位置的操作日志数据，
基于表示所述显示器的显示面与所述触摸面板的位置关系的位置关系数据，计算所述触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置，
将计算出的所述对应位置用作所述触摸面板中的被触摸的第二触摸位置来决定使操作画面显示在所述显示器上的显示控制处理，
执行所决定的所述显示控制处理。
8.一种操作画面显示方法，是具有显示器以及在所述显示器的显示面上重叠的触摸面板的图像形成装置中的操作画面显示方法，其特征在于，
获取在设置有其它显示器以及在所述其它显示器的显示面上重叠的其它触摸面板的其它图像形成装置中生成的、表示每个时刻的所述其它显示器的显示面中的与所述其它触摸面板中的被触摸的触摸位置对应的显示面上位置的操作日志数据，
基于表示所述显示器的显示面与所述触摸面板的位置关系的位置关系数据，计算所述触摸面板中的与所述操作日志数据所示出的所述显示面上位置对应的对应位置，
视为所述显示器所显示的画面中的对象中的与计算出的所述对应位置最近的对象被触摸来决定使操作画面显示在所述显示器上的显示控制处理，
执行所决定的所述显示控制处理。
CN201410769082.6A 2013-12-13 2014-12-12 图像处理系统、图像形成装置以及操作画面显示方法 Active CN104717386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-257602 2013-12-13
JP2013257602A JP5942970B2 (ja) 2013-12-13 2013-12-13 画像処理システム、画像形成装置、操作画面表示方法、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN104717386A true CN104717386A (zh) 2015-06-17
CN104717386B CN104717386B (zh) 2018-04-03

Family

ID=53369988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410769082.6A Active CN104717386B (zh) 2013-12-13 2014-12-12 图像处理系统、图像形成装置以及操作画面显示方法

Country Status (3)

Country Link
US (1) US20150172486A1 (zh)
JP (1) JP5942970B2 (zh)
CN (1) CN104717386B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294173A (zh) * 2016-08-18 2017-01-04 北京创锐文化传媒有限公司 数据处理方法、装置及服务器
CN106550166A (zh) * 2015-09-17 2017-03-29 柯尼卡美能达株式会社 远程控制系统、图像处理装置、远程控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021555A (ja) * 2015-07-10 2017-01-26 コニカミノルタ株式会社 ディスプレイ制御装置、画面表示方法、およびコンピュータプログラム
JP6776835B2 (ja) * 2016-11-16 2020-10-28 コニカミノルタ株式会社 複合装置、表示切換方法および表示切換プログラム
WO2019049317A1 (ja) * 2017-09-08 2019-03-14 三菱電機株式会社 位置補正装置および位置補正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235549A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 操作履歴の時系列記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP2000242408A (ja) * 1998-12-04 2000-09-08 Canon Inc 座標補正装置、座標補正用パラメータ算出装置、座標補正方法、座標補正用パラメータ算出方法、及び座標補正制御プログラムを格納した記憶媒体、及び座標補正用パラメータ算出プログラムを格納した記憶媒体
JP2012075014A (ja) * 2010-09-29 2012-04-12 Brother Ind Ltd 電子機器
CN103037127A (zh) * 2011-10-06 2013-04-10 柯尼卡美能达商用科技株式会社 图像处理装置以及图像处理装置的控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067135A (ja) * 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
AUPR963001A0 (en) * 2001-12-19 2002-01-24 Canon Kabushiki Kaisha Selecting moving objects on a system
JP2012146233A (ja) * 2011-01-14 2012-08-02 Nec Casio Mobile Communications Ltd ネットサーフィン手本データ提示システム、ネットサーフィン手本データ提示装置、制御方法、及びプログラム
TWI456478B (zh) * 2011-05-31 2014-10-11 Acer Inc 觸碰控制方法及電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242408A (ja) * 1998-12-04 2000-09-08 Canon Inc 座標補正装置、座標補正用パラメータ算出装置、座標補正方法、座標補正用パラメータ算出方法、及び座標補正制御プログラムを格納した記憶媒体、及び座標補正用パラメータ算出プログラムを格納した記憶媒体
JP2000235549A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 操作履歴の時系列記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP2012075014A (ja) * 2010-09-29 2012-04-12 Brother Ind Ltd 電子機器
CN103037127A (zh) * 2011-10-06 2013-04-10 柯尼卡美能达商用科技株式会社 图像处理装置以及图像处理装置的控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550166A (zh) * 2015-09-17 2017-03-29 柯尼卡美能达株式会社 远程控制系统、图像处理装置、远程控制方法
CN106550166B (zh) * 2015-09-17 2020-01-10 柯尼卡美能达株式会社 远程控制系统、图像处理装置、远程控制方法
US10728418B2 (en) 2015-09-17 2020-07-28 Konica Minolta, Inc. Remote control system method, and program for image processing apparatus
CN106294173A (zh) * 2016-08-18 2017-01-04 北京创锐文化传媒有限公司 数据处理方法、装置及服务器

Also Published As

Publication number Publication date
JP2015114928A (ja) 2015-06-22
US20150172486A1 (en) 2015-06-18
JP5942970B2 (ja) 2016-06-29
CN104717386B (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN104717385B (zh) 图像形成装置以及操作画面显示方法
CN104717386A (zh) 图像处理系统、图像形成装置以及操作画面显示方法
JP5402650B2 (ja) 表示制御装置、情報処理システム、及び表示制御方法
US10013408B2 (en) Information processing apparatus, information processing method, and computer readable medium
US10180771B2 (en) User interface provided with display unit for displaying screen
JP5862587B2 (ja) ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US9661165B2 (en) Image forming apparatus with playback mode, display method for an operation screen, and computer program
CN103853492A (zh) 搭载触摸面板作为用户界面的信息处理装置
CN104915093A (zh) 图像显示装置、图像显示系统以及图像显示方法
CN102572169A (zh) 印刷设定装置、图像形成装置以及印刷预览显示方法
CN105262922B (zh) 信息处理装置及其控制方法和存储介质
CN101382753A (zh) 图像形成设备
CN109257516A (zh) 图像处理装置、图像显示方法以及记录介质
US20170277504A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP5821930B2 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
JP6217356B2 (ja) 表示制御装置、表示制御方法、およびコンピュータプログラム
JP6766658B2 (ja) 画像処理装置、入力パターン確認方法、およびコンピュータプログラム
JP2012081757A (ja) 印刷設定装置、画像形成装置、印刷プレビュー表示方法
JP5561031B2 (ja) 表示処理装置、スクロール表示方法、およびコンピュータプログラム
JP6992303B2 (ja) 操作装置、被操作装置および操作システム
CN106406722A (zh) 显示装置及图像处理装置
JP6926781B2 (ja) 情報処理装置及び情報処理プログラム
JP6954045B2 (ja) 画像処理システム、ユーザインタフェースの提供方法、およびコンピュータプログラム
JP6131982B2 (ja) ジェスチャ判別装置
CN104619509A (zh) 图像形成装置以及显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant