CN103677402B - 图像处理装置和操作标准化方法 - Google Patents

Abstract

本发明涉及图像处理装置、操作标准化方法以及操作标准化程序。使应用程序的开发变得容易。MFP包括：触摸事件生成部（75），其输出包括表示通过触摸面板检测的1个以上的位置的每一个位置的位置信息的触摸事件；手势事件决定部（77），其基于多个触摸事件的组来决定手势事件；应用部（51），其执行由应用程序决定的多个种类的处理；关联建立部（71），其在安装应用程序的阶段，将多个种类的处理的每一个与多个手势事件的任意一个建立关联；处理确定部（79），其确定与通过手势事件决定部（77）决定的手势事件相关联的处理；以及操作通知部（81），其将确定出的处理的处理识别信息输出至应用部（51）。

Description

图像处理装置和操作标准化方法

技术领域

本发明涉及图像处理装置、操作标准化方法以及操作标准化程序，尤其涉及安装有应用程序的图像处理装置、由该图像处理装置执行的操作标准化方法以及操作标准化程序。

背景技术

近年来，能够在以复合机(MFP)为代表的图像处理装置中安装应用程序，用户通过安装与使用方式对应的应用程序，能够定制MFP。对于该应用程序而言，存在显示尺寸较大的画面的情况，在MFP具有的显示面板上只能显示该画面的一部分，所以需要使画面滚动。

另一方面，作为受理使画面滚动的操作的技术，有使用触摸面板的技术。例如，在日本特开2011-170603号公报中记载有一种如下的便携式终端，该便携式终端构成为具有：显示数据信息的显示部、通过与上述显示部接触而进行输入的接触输入部、对上述接触输入部的输入中的至少一个以上的同时输入的接触点进行检测的接触检测部、获取通过上述接触检测部检测出的同时输入的接触点的数量的获取部、以及至少根据接触点的数量来进行不同的处理的处理部，在上述接触检测部检测出上述至少一个以上的同时输入的接触点被单向地移动的情况下，上述处理部以与通过上述获取部获取的上述同时输入的接触点的数量对应的移动量使显示在上述显示部的数据信息显示移动。

然而，存在仅能够检测一个位置的种类的触摸面板、和能够同时检测多个位置的种类的触摸面板，MFP所具备的触摸面板的种类不同。因此，存在较难开发出与全部种类的触摸面板对应的应用程序的问题。

专利文献1：日本特开2011-170603号公报

发明内容

本发明是为了解决上述问题点而完成的，该发明的目的之一在于提供一种使应用程序的开发变得容易的图像处理装置。

本发明的其他目的在于提供一种使应用程序的开发变得容易的操作标准化方法。

本发明的其他目的在于提供一种使应用程序的开发变得容易的操作标准化程序。

为了实现上述的目的，根据该发明的某个方面，图像处理装置是具备显示图像的显示单元、能够在显示单元的显示面中检测由用户指示的1个以上的位置的触摸面板、和对显示单元以及触摸面板进行控制的控制单元的图像处理装置，控制单元具备：触摸事件生成单元，其根据通过触摸面板检测1个以上的位置，输出触摸事件，所述触摸事件包括表示1个以上的位置的位置信息的每一个位置的位置信息；手势事件决定单元，其基于触摸事件生成单元连续输出的多个触摸事件的组来决定多个手势事件的任意一个；应用单元，其根据多个处理识别信息的任意一个被输入，执行多个种类的处理之中与输入的处理识别信息对应的种类的处理，所述多个处理识别信息输入用于分别识别由应用程序规定的多个种类的处理；建立关联单元，在安装应用程序的阶段，该建立关联单元对应于所述应用程序来将应用程序决定的多个种类的处理的每一个处理与多个手势事件的任意一个建立关联；处理确定单元，其从多个种类的处理之中确定对应于上述应用程序而被所述建立关联单元与通过手势事件决定单元所决定的手势事件建立建立关联的处理；以及操作通知单元，其将确定出的处理的处理识别信息输出至应用单元。

根据该方面，在安装应用程序的阶段，将应用程序决定的多个种类的处理的每一个与多个手势事件的任意一个建立关联，根据通过触摸面板检测1个以上的位置，输出包括表示1个以上的位置的每一个位置的位置信息的触摸事件，并基于多个触摸事件的组，决定手势事件，并执行与所决定的手势事件相关联的处理的处理识别信息所对应的种类的处理。因此，能够将输入至触摸面板的操作与由应用程序决定的处理建立关联。另外，也能够与触摸面板能够受理的操作无关系地开发应用程序。其结果，能够提供一种使应用程序的开发变得容易的图像处理装置。

优选，在通过处理确定单元未确定出与通过手势事件决定单元决定 的手势事件对应的处理的情况下，操作通知单元将成为手势事件的基础的1个以上的位置信息输出给应用单元。

根据该方面，能够安装与触摸面板受理的操作对应的应用程序。

优选地，触摸事件生成单元包括状态决定单元，该状态决定单元基于通过触摸面板检测出的1个以上的位置的每一个位置的时间性变化来决定表示触摸事件的状态的检测状态，触摸事件包括检测出的位置和检测状态

根据该方面，能够受理使接触触摸面板的位置移动的操作。

优选地，手势事件决定单元基于由触摸事件生成单元同时输出的触摸事件的数量、以及由触摸事件生成单元连续输出的多个触摸事件的每一个中包含的检测状态的变化来决定手势事件。

根据该方面，能够受理指示触摸面板的多个位置的操作。

根据该发明的另一方面，操作标准化方法是由控制图像处理装置的计算机执行的操作标准化方法，图像处理装置具备：显示图像的显示单元，；触摸面板，能够在显示单元的显示面中检测被用户指示的1个以上的位置；以及应用单元，通过执行应用程序，根据多个处理识别信息的任意一个被输入，执行多个种类的处理之中与输入的处理识别信息对应的种类的处理，上述多个处理识别信息用于分别识别由应用程序规定的多个种类的处理，该操作标准化方法包括：触摸事件生成步骤，在该触摸事件生成步骤中，根据通过触摸面板检测1个以上的位置，输出触摸事件，上述触摸事件包括表示1个以上的位置的每一个文字的位置信息；手势事件决定步骤，在该手势事件决定步骤中，在触摸事件生成步骤中连续输出多个触摸事件的情况下，基于被连续输出的多个触摸事件的组，来决定多个手势事件的任意一个；建立关联步骤，在该建立关联步骤中，在安装应用程序的阶段，对应于应用程序来将应用程序决定的多个种类的处理的每一个与多个手势事件的任意一个建立关联；处理确定步骤，在该处理确定步骤中，从多个种类的处理之中确定在建立关联步骤中对应于应用程序与在手势事件决定步骤中所决定的手势事件建立关联的处理；以及操作通知步骤，在该操作通知步骤中，将确定出的 处理的处理识别信息输出至应用单元。

根据该方面，能够提供一种使应用程序的开发变得容易的操作标准化方法。

优选地，操作通知步骤包括：在处理确定步骤中未确定与在手势事件决定步骤中决定的手势事件对应的处理的情况下，将成为手势事件的基础的1个以上的位置信息输出至应用单元的步骤。

优选地，触摸事件生成步骤包括：基于通过触摸面板检测出的1个以上的位置的每一个位置的时间性变化来决定表示触摸事件的状态的检测状态的状态决定步骤，触摸事件包括检测出的位置和检测状态。

优选地，手势事件决定步骤包括：基于在触摸事件生成步骤中同时输出的触摸事件的数量、以及通过触摸事件生成步骤而连续输出的多个触摸事件的每一个触摸事件所包含的检测状态的变化来决定手势事件的步骤。

根据本发明的另一方面，操作标准化程序是由控制图像处理装置的计算机执行的操作标准化程序，图像处理装置：显示单元，其显示图像；触摸面板，其能够在显示单元的显示面中检测由用户指示的1个以上的位置；应用单元，其通过执行应用程序，根据多个处理识别信息的任意一个被输入，执行多个种类的处理之中与被输入的处理识别信息对应的种类的处理，上述多个处理识别信息用于分别识别由应用程序决定的多个种类的处理，并使计算机执行如下的步骤：触摸事件生成步骤，在该触摸事件生成步骤中，根据通过触摸面板检测1个以上的位置，输出触摸事件，该触摸事件包括表示1个以上的位置的每一个位置的位置信息；手势事件决定步骤，在该手势事件决定步骤中，在触摸事件生成步骤中连续输出多个触摸事件的情况下，基于被连续输出的多个触摸事件的组，来决定多个手势事件的任意一个；建立关联步骤，在该建立关联步骤中，在安装应用程序的阶段，对应于应用程序来将应用程序规定的多个种类的处理的每一个与多个手势事件的任意一个建立关联；处理确定步骤，在该处理确定步骤中，从多个种类的处理之中确定在建立关联步骤中对应于应用程序被与在手势事件决定步骤中所决定的手势事件建立关联的处理；以及、操作通知步骤，在该操作通知步骤中，将确定出 的处理的处理识别信息输出至应用单元。

根据该方面，能够提供一种使应用程序的开发变得容易的操作标准化程序。

优选地，操作通知步骤包括将在处理确定步骤中未确定与在手势事件决定步骤中所决定的手势事件对应的处理的情况下，将成为手势事件的基础的1个以上的位置信息输出至应用单元的步骤。

优选地，触摸事件生成步骤包括：基于通过触摸面板检测出的1个以上的位置的每一个位置的时间性变化来决定表示触摸事件的状态的检测状态的状态决定步骤，触摸事件包括检测出的位置和检测状态。

优选地，手势事件决定步骤包括：基于在触摸事件生成步骤中同时输出的触摸事件的数量、以及通过触摸事件生成步骤而连续输出的多个触摸事件的每一个所包含的检测状态的变化，来决定手势事件的步骤。

附图说明

图1是表示本实施方式之一的MFP的外观的立体图

图2是表示操作面板的一个例子的俯视图。

图3是表示MFP的硬件构成的概要的一个例子的框图。

图4是表示MFP所具备的CPU的软件构架的一个例子的图。

图5是与存储在HDD中的信息一起表示MFP具备的CPU所具有的功能的一个例子的框图。

图6是表示主表格的一个例子的图。

图7是表示第1变换表格的一个例子的图。

图8是表示第2变换表格的一个例子的图。

图9是表示手势事件决定处理的流程的一个例子的流程图。

图10是表示操作通知处理的流程的一个例子的流程图。

符号说明

100MFP，51应用部，53调节部，55操作变换部，57操作部，61第1应用执行部，63第2应用执行部，71关联建立部，73显示控制部，75触摸事件生成部，76状态检测部，77手势事件决定部，79处理确定部，81操作通知部，91变换表格，93变换表格，95主格，110主电路，111CPU，112通信I/F部，113ROM，114RAM，115HDD，116传真部，117外部存储装置，120自动原稿输送装置，130原稿读取部，140图像形成部，150供纸部，160操作面板，161显示部，163操作部，165触摸面板，167硬键部

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。在以下的说明中，对同一部件标注同一符号。它们的名称以及功能相同。因此，不重复它们的详细说明。

图1是表示本实施方式之一的MFP的外观的立体图。图2是表示操作面板的一个例子的俯视图。参照图1以及图2，MFP100包括用于读取原稿的原稿读取部130、用于将原稿输送至原稿读取部130的自动原稿输送装置120、用于基于原稿读取部130读取原稿并输出的图像数据在纸张等上形成图像的图像形成部140、用于向图像形成部140供给纸张的供纸部150、以及作为用户界面的操作面板160。

操作面板160被设置在MFP100的上面。操作面板160包括显示部161、触摸面板165、和硬键部167。显示部161例如是液晶显示装置（LCD），显示针对用户的指示菜单、与获取的图像数据有关的信息等。硬键部167包括分别表示“BOX”、“FAX”、“COPY”、“ECO”的文字的四个硬键167A～167D。触摸面板165以在显示部161的上面或者下面与显示部161重叠的方式被设置，并对显示部161的显示面中的位置进行检测。

自动原稿输送装置120将放置在原稿供纸托盘上的多张原稿一张一张自动地输出至设定在原稿读取部130的稿台玻璃上的规定原稿读取位置，并将被原稿读取部130读取原稿图像后的原稿排出至原稿排纸托盘 上。原稿读取部130包括向输出至原稿读取位置的原稿照射光的光源、和接受被原稿反射的光的光电变换元件，对与原稿的尺寸对应的原稿图像进行扫描。光电变换元件将接受的光变换为电信号亦即图像数据，并输出给图像形成部140。供纸部150将收纳在供纸托盘中的纸张输送至图像形成部140。

图像形成部140利用公知的电子照片方式形成图像，其基于对从原稿读取部130输入的图像数据实施黑点校正等各种数据处理而得的数据处理后的图像数据，或者从外部接收的图像数据，来在由供纸部150输送的纸张上形成图像。

图3是表示MFP的硬件构成的概要的一个例子的框图。参照图3，MFP100包括主电路110。主电路110包括CPU111、通信接口（I/F）部112、ROM（Read Only Memory）113、RAM（Random Access Memory）114、作为大容量存储装置的硬盘驱动器（HDD）115、传真部116、以及外部存储装置117。CPU111与自动原稿输送装置120、原稿读取部130、图像形成部140、供纸部150以及操作面板160连接，并控制MFP100整体。

ROM113存储CPU111执行的程序，或者执行该程序所需的数据。RAMI114作为CPU111执行程序时的作业区域而被使用。另外，RAM114暂时存储从原稿读取部130连续发送来的读取图像。

传真部116与公共交换电话网络（PSTN）连接，向PSTN发送传真数据，或者从PSTN接收传真数据。传真部116将接收的传真数据存储于HDD115，或者变换成图像形成部140可打印的打印数据，并输出给图像形成部140。由此，图像形成部140将通过传真部116接收的传真数据在纸张上形成为图像。另外，传真部116将通过原稿读取部130读取的数据，或者存储在HDD115中的数据变换为传真数据，并发送给与PSTN连接的传真装置。

通信I/F部112是用于使MFP100与网络连接的接口。通信I/F部112利用TCP（Transmission Control Protocol）或者FTP（File Transfer Protocol）等通信协议同与网络连接的其他计算机进行通信。此外，用于通信的协议并未特别限定，能够使用任意的协议。另外，连接有通信 I/F部112的网络例如是局域网（LAN），连接方式不论有线或者无线都可以。另外，网络并不局限于LAN，也可以是广域网（WAN）、使用了公共交换电话网络（PublicSwitched Telephone Network）的网络等。并且，网络与因特网连接。因此，MFP100能够同与因特网连接的服务器等计算机进行通信。

外部存储装置117被CPU111控制，并安装有CD-ROM（Compact Disk Read OnlyMemory:只读光盘）118或者半导体存储器。CPU111经由外部存储装置117能够访问CD-ROM118或者半导体存储器。CPU111将在被安装在外部存储装置117的CD-ROM118或者半导体存储器中记录的程序加载到RAM114来执行。此外，CPU111执行的程序并不限于记录在CD-ROM118或者半导体存储器中的程序，也可以将存储在HDD115中的程序加载到RAM114来执行。该情况下，与网络连接的其他计算机经由与通信I/FP部112连接的网络来改写存储在MFP100的HDD115中的程序，或者还可以追加并改写新的程序。并且，MFP100还可以从与网络连接的其他计算机下载程序，并将该程序存储于HDD115。此处所谓的程序不光是CPU111能够直接执行的程序，还包括源程序、被压缩处理的程序、被加密的程序等。

此外，作为存储CPU111执行的程序的介质并不限于CD-ROM118，也可以是光磁盘（MO（Magnetic Optical Disc）/MD（Mini Disc）/DVD（Digital Versatile Disc））、IC卡、光存储卡、掩模只读存储器、EPROM（Erasable Programmable ROM）、EEPROM（ElectricallyEPROM）等半导体存储器。

操作面板160包括显示部161和操作部163。显示部161是液晶显示装置（LCD）、有机ELD（Electro-luminesce Display：电致发光显示器）等显示器，显示针对用户的指示菜单、与获取的图像数据有关的信息等。操作部163包括触摸面板165、和由多个按键构成的硬键部167。硬键部167所包含的多个按键分别包括接触开关，并与CPU111连接。硬键若被操作用户按下，则将接点闭合，使与CPU111连接的电路闭合。在硬键被操作MFP100的操作用户按下的期间将电路闭合，在未被操作用户按下的期间将电路断开。

若硬键部167所具有的多个按键被按下，则操作部163受理与被按 下的按键对应的指示、文字、数字等的数据的输入。触摸面板165被设置在显示部161的上面或者下面，并将由操作用户指示出的位置的坐标输出给CPU111。触摸面板165对操作用户用手指或者记录笔指示的位置进行检测，并将检测出的位置的坐标输出给CPU111。触摸面板165是多触摸屏幕面板，在同时被用户指示多个位置的情况下，将分别与被用户指示出的多个位置对应的多个坐标输出给CPU111。

触摸面板165优选为与显示部161的显示面相同的或者其以上的尺寸。触摸面板165以与显示部161重叠地方式设置，因此如果操作用户指示显示部161的显示面，则触摸面板165将操作用户在显示部161的显示面中所指示的位置的坐标输出给CPU111。触摸面板165例如能够使用电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式，并不限定其方式。

操作部163能够受理的操作包括按下硬键部167所具有的多个按键的操作、以及指示触摸面板165的操作。并且，硬键部167包括分别表示“BOX”、“FAX”、“COPY”、“ECO”的文字的四个硬键167A～167D。分别表示“BOX”、“FAX”、“COPY”、的文字的3个硬键167A、167B、167C是被分配了用于指示使MFP100执行的处理的切换的处理切换操作的处理切换按键。表示“ECO”的文字的硬键167D是被分配了用于指示将MFP100从通常模式向消耗电力比通常模式低的省电模式的切换的模式切换操作的模式切换按键。在硬键167A、167B、167C的任意一个被按下的情况下，操作部163受理处理切换操作，在硬键167D被按下的情况下，操作部163受理模式切换操作。

图4是表示MFP所具备的CPU的软件构架的一个例子的图。参照图4，在CPU111形成操作系统（OS）层，在其上层形成MFP进程层。在MFP进程层的上层依次形成应用（PF）层、应用层。

CPU111执行OS程序的任务属于OS层。属于OS层的任务执行控制MFP100的硬件资源的处理。此处，硬件资源包括通信I/F部112、ROM113、RAM114、HDD115、传真部116、外部存储装置117、自动原稿输送装置120、原稿读取部130、图像形成部140、供纸部150、以及操作面板160。属于OS层的任务按照从MFP进程层被输入的操作命令来控制硬件资源。另外，OS层与MFP进程层之间共享用于识别操作 部163能够受理的多个种类的操作的每一种操作的操作识别信息，属于OS层的任务根据通过操作部163检测出操作用户的操作，而将用于识别检测出的操作的操作识别信息输出给MFP进程层。

CPU111执行应用程序的任务属于应用层。在多个种类的应用程序被安装于MFP100的情况下，存在分别执行多个种类的应用程序的多个任务属于应用层的情况。应用程序包括使MFP100执行从与因特网连接的服务器下载网页并显示的浏览处理的程序。此外，应用程序并不限定于此，也可以是为了使MFP100执行复印处理、扫描处理、打印处理、传真收发处理、数据收发处理等，而用于定制用户界面等的程序。应用程序并未特别限定，例如，可以用Python等编程语言描述。

执行应用程序的任务执行由应用程序规定的多个种类的处理。多个种类的处理包括使属于MFP进程层的任务执行在MFP进程层中所执行的处理的处理。执行应用程序的任务在使属于MFP进程层的任务执行处理的情况下，输出应用命令。应用命令作为API（Application Program Interface：应用程序编程接口），是公开的命令。因此，能够容易地建立使MFP100执行处理的应用程序。所谓公开是指制造MFP100的厂商以外的第三者可使用的状态。因此，第三者能够使用应用命令来开发出可安装于MFP100的应用程序。

并且，执行应用程序的任务基于操作MFP100的操作用户的指示，从由应用程序决定的多个种类的处理中确定要执行的处理，并执行处理。操作MFP100的操作用户的指示通过操作用户操作操作部163而输入，从而在OS层中被受理。在本实施方式中，应用PF层担当基于操作用户的指示，从多个种类的处理中确定执行应用程序的任务要执行的处理的处理。因此，应用层与应用PF层之间共享用于识别由应用程序决定的多个种类的处理的每一种处理的处理识别信息，属于应用层的执行应用程序的任务根据从属于应用PF层的任务输入处理识别信息，而执行多个种类的处理中与处理识别信息对应的处理。

应用PF层被配置在应用层与MFP进程层之间，调节属于应用层的多个任务，并且控制属于应用层的多个任务所输出的应用命令的任务属于应用PF层。具体而言，应用PF层将属于应用层的多个任务中的任意一个被决定为能够进行数据的输入输出的当前状态。应用PF层受理 属于应用层的多个任务中决定为当前状态的任务所输出的应用命令，另外，将从属于MFP进程层的任务被输入的处理识别信息输出给决定为当前状态的任务。另外，属于应用PF层的任务通过按照预先决定的规则将属于应用层的多个任务分别输出的应用命令变换为内部命令来进行标准化，并将内部命令输出给MFP进程层。因此，能够在多个应用程序之间对应版本不同的情况等。

预先将应用命令与内部命令被预先建立对应。例如，事先存储命令对应表格即可。应用命令与内部命令可以是1对1对应，两个以上的内部命令组与一个应用命令对应也可以。并且，对于版本不同的多个应用命令，对应一个内部命令，或者由多个内部命令构成的1组也可以。因此，能够在多个应用程序之间中对应于版本不同的情况等。内部35命令是取决于MFP100的硬件资源的命令。通常不公开内部命令，但也可以公开。

MFP进程层被配置于应用PF层与OS层之间，且CPU111执行MFP控制程序的任务属于MFP进程层。MFP进程层将属于应用PF层的任务所输出的内部命令变换为属于OS层的任务能够解释的操作命令，且为了控制资源而将操作命令输出给属于OS层的任务属于MFP进程层。此外，实际上，存在将内部命令变换为属于OS层的任务可执行的1个以上的操作命令的情况，但此处为了说明，内部命令与属于OS层的任务能够执行的1个以上的操作命令的关系为1对1地来进行说明。另外，若从属于OS层的任务被输入了操作识别信息，则MFP进程层将该操作识别信息输出给应用PF层。

如上述，应用程序是用于使MFP100执行浏览处理、复印处理、扫描处理、打印处理、传真收发处理、数据收发处理等的应用程序，在以下的说明中，主要说明与应用程序使CPU111执行的处理中的控制操作面板160的处理相关的部分。

图5是与存储在HDD中的信息一起表示MFP所具备的CPU具有的功能的一个例子的框图。图5所示的功能是MFP100所具备的CPU111通过执行存储在ROM113、HDD115或CD-ROM118中的程序，而由CPU111实现的功能。具体而言，CPU111通过执行OS程序、操作标准化程序、以及应用程序，而由CPU111实现。此处示出，在MFP100 中，作为应用程序，安装有第1应用程序以及第2应用程序的情况下的CPU111的功能。

参照图5，CPU111包括应用部51、调节部53、操作变换部55、和操作部57。应用部51在图4所示的软件构架中，属于应用层。应用部51包括第1应用执行部61和第2应用执行部63。第1应用执行部61是通过CPU111执行第1应用程序的任务实现的功能。第2应用执行部63是通过CPU111执行第2应用程序的任务实现的功能。第1应用执行部61以及第2应用执行部63分别将应用命令输出给调节部53。

第1应用执行部61基于操作MFP100的操作用户的指示，从由第1应用程序决定的多个种类的处理中确定要执行的处理，并执行处理。第2应用执行部63基于操作MFP100的操作用户的指示，从由第2应用程序决定的多个种类的处理中确定要执行的处理，并执行处理。由第1应用程序决定的多个种类的处理以及由第2应用程序决定的多个种类的处理包括使显示于显示部161的画面变化的处理。使画面变化的处理例如，包括在显示部161显示画面的一部分的情况下，变更显示于显示部161的部分的滚动处理、跳页处理、放大显示画面的放大处理、缩小显示画面的缩小处理、以及变更画面的方向的旋转处理。

调节部53以及操作变换部55是通过CPU111执行操作标准化程序的任务而实现的功能。调节部53在图4所示的软件构架中，属于应用PF层。操作变换部55在图4所示的软件构架中，属于应用PF层。此外，将操作变换部55具有的全部功能作为应用PF层的功能，但也可以将操作变换部55具有的功能的至少一部分作为应用PF的功能，而将其他部分作为MFP进程层的功能。

调节部53将第1应用执行部61以及第2应用执行部63中的任意一个决定为能够进行数据的输入输出的当前状态。以下，将调节部53在第1以及第2应用执行部61、63中决定为当前状态的执行部称为当前任务。调节部53被输入第1应用执行部61以及第2应用执行部63中当前任务输出的应用命令，并将用于识别当前任务的应用识别信息和应用命令输出给操作变换部55。在第1应用执行部61为当前状态的情况下，由于第1应用执行部61为当前任务，所以调节部53将用于识别第1应用执行部61的应用识别信息和第1应用执行部61输出的应用命 令输出给操作变换部55。在第2应用执行部63为当前状态的情况下，由于第2应用执行部63为当前任务，所以调节部53将用于识别第2应用执行部63的应用识别信息和第2应用执行部63所输出的应用命令输出给操作变换部55。

调节部53在分别从第1以及第2应用执行部61、63分别输出多个应用命令的情况下，决定它们的顺序，并按顺序输出给操作变换部55。例如，在不能够同时执行多个应用命令的情况下，等待操作变换部55执行一个应用命令结束而将另一个应用命令输出给操作变换部55。另外，在如果在执行一个应用命令后则不能够执行另一个应用命令的情况下，即使在另一个应用命令比一个应用命令先被输入的情况下，也先输出一个应用命令。

操作变换部55通过从调节部53被输入应用命令，并按照命令对应表格将应用命令变化为内部命令来进行标准化。在命令对应表格中，将1个以上的内部命令与一个应用命令对应。存在命令对应表格所包含的应用命令包含版本不同的同种类的应用命令的情况，该情况下，分别将不同版本的应用命令分别与1个以上的内部命令建立对应。因此，能够安装描述不同版本的应用命令的应用程序。新的应用命令出现的情况下，用将1个以上的内部命令与新出现的应用命令建立了对应的命令对应表格更新命令对应表格。因此，能够安装描述新的应用命令的应用程序。

并且，操作变换部55将被标准化的内部命令变换为操作命令，并将操作命令输出给操作部57。操作命令是在操作变换部55与操作部57之间被预先决定的、操作部57能够解释的命令。

操作部57是通过CPU111执行OS程序的任务而实现的功能。操作部57在图4所示的软件构架中，属于OS层。

操作部57被输入操作变换部55输出的操作命令，并按照操作命令来控制硬件资源。作为硬件资源，此处，以显示部161以及操作部163的触摸面板165为例进行说明。操作部57对显示部161进行控制，以使显示部161显示图像。

并且，操作部57受理触摸面板165输出的、显示部161的显示面的位置。操作部57在从触摸面板165受理位置信息的情况下，将包括位置信息的鼠标事件作为操作识别信息输出给操作变换部55。此外，操作部57在对硬键部167进行控制的情况下，受理硬键部167输出的硬键的识别信息，并将包括受理的硬键的识别信息的操作识别信息输出给操作变换部55。

操作部57有从触摸面板165同时受理两个以上的位置信息的情况。例如，操作用户用两个手指同时指示显示部161的显示面不同的两个部分的情况下，受理表示所指示的显示面的两个位置的每个位置的位置信息。操作部57在从触摸面板165同时受理两个以上的位置信息的情况下，将包括两个以上的位置信息的鼠标事件作为操作识别信息输出给操作变换部55。此外，在操作用户一边按下硬键部167具有的多个硬键中的一个，一边用手指指示显示部161的显示面的情况下，受理被按下的硬键的识别信息、和表示被指示的显示面的位置的位置信息，并将包括受理的按键的识别信息和位置信息的操作识别信息输出给操作变换部55。

操作变换部55包括关联建立部71、显示控制部73、触摸事件生成部75、手势事件决定部77、处理确定部79、以及操作通知部81。

显示控制部73在从调节部53被输入了当前任务的应用识别信息、和表示显示操作画面的应用命令的组的情况下，向操作部57输出对表示显示操作面面的图像的应用命令进行变换而得的操作命令。操作部57对显示部161进行控制，以使显示部161显示操作画面的图像。

操作部57以规定时间间隔对触摸面板165上由用户指示出的位置进行检测，并以规定时间间隔从触摸面板165获取位置信息。在触摸面板165被用户指示的情况下，操作部57将表示被用户指示的位置的位置信息和表示指示的状态的鼠标事件输出给触摸事件生成部75。鼠标事件是操作识别信息之一。用户指示触摸面板165的操作包括用户指示触摸面板165的任意位置的指示开始操作;以及用户一边指示触摸面板165，换言之，一边接触触摸面板165一边移动所指示的位置的移动操作;用户结束触摸面板165的指示的结束操作。在用户输入了指示开始操作的时刻，操作部57输出的鼠标事件所包含的指示的状态是“Press”， 在用户输入移动操作的时刻，操作部57输出的鼠标事件所包含的指示的状态为“Move”，在用户输入结束操作的时刻，操作部57输出的鼠标事件所包含的指示的状态为“Release”。

在从操作部57被输入鼠标事件的情况下，触摸事件生成部75将鼠标事件变换为触摸事件。触摸事件包括表示被用户指示出的位置的位置信息、和触摸事件的状态。触摸事件的状态与鼠标事件的指示的状态对应。鼠标事件所包含的指示的状态“Press”对应的触摸事件的状态为“开始”，鼠标事件所包含的指示的状态“Move”对应的触摸事件的状态为“更新”，鼠标事件所包含的指示的状态“Release”对应的触摸事件的状态为“结束”。触摸事件生成部75通过将鼠标事件所包含的指示的状态变更为对应的触摸事件的状态，从而生成触摸事件，并将生成的触摸事件输出给手势事件决定部77以及处理确定部79。

在从操作部57被输入多个鼠标事件的情况下，触摸事件生成部75生成与多个鼠标事件分别对应的多个触摸事件。触摸事件生成部75在生成1个以上的触摸事件的情况下，将生成的1个以上的触摸事件输出给手势事件决定部77以及处理确定部79。

手势事件决定部77基于从触摸事件生成部75被连续输入的多个触摸事件来决定手势事件。在从触摸事件生成部75被同时输入第1触摸事件和第2触摸事件这两个的情况下，手势事件决定部77基于对第1触摸事件连续输入的多个触摸事件的第1组、对第2触摸事件连续输入的多个触摸事件的第2组来决定手势事件。手势事件决定部77将所决定的手势事件输出给处理确定部79。第1组所包含的多个触摸事件是位置信息相同，或者是位置信息连续。第2组所包含的多个触摸事件是位置信息相同的，或者是位置信息连续。因此，手势事件决定部77用杯同时输入的多个触摸事件所包含的位置信息判断被同时输入的多个触摸事件是属于第1组和第2组的哪一个。

在手势事件决定部77中，从触摸事件生成部75被连续第输入触摸事件的情况下，最初输入的触摸事件的状态为“开始”。而且，若被输入状态为“更新”的触摸事件，则手势事件决定部77根据状态为“开始”的触摸事件的位置信息、和状态为“更新”的触摸事件的位置信息来计算2点间的距离，如果距离为规定阈值T以上，则检测用户的敲击 操作，如果距离比规定阈值T短，则检测用户的滑动操作。另外，在被输入多个触摸事件的情况下，存在根据最初的多个触摸事件检测用户的滑动操作，根据之后的多个触摸事件检测用户的敲击操作的情况。在检测敲击操作或者滑动操作的情况下，手势事件决定部77计算从以最初的位置信息确定的位置朝向以之后的位置信息确定的位置的方向，以显示部161的显示面为基准，将上下左右4个方向中最接近计算出的方向的方向作为参数，并将手势识别信息和参数输出给处理确定部79。在检测敲击操作的情况下，将手势识别信息“滑动”和参数输出给处理确定部79，在检测滑动操作的情况下，将手势识别信息“滑动”和参数输出给处理确定部79。

在手势事件决定部77中，从触摸事件生成部75被同时输入两个触摸事件的情况下，最初被输入的两个触摸事件各自的状态为“开始”。在该情况下，基于两个触摸事件各自所包含的位置信息，来计算两点间的距离L1以及连接两点间的直线的角度R1。连接两点间的直线的角度为以显示部161的横向为基准线，连接两点间的直线与基准线成的角度即可。连接两点间的直线与基准线成的角度为从基准线顺时针旋转所成的角度。而且，手势事件决定部77基于之后被连续输入的两个触摸事件的位置信息来计算两点间的距离L2以及连接两点间的直线的角度R2。

如果角度R1和角度R2相同、且距离L2与距离L1不同，则手势事件决定部77检测用户的双指拉伸放大操作或者双指挤捏缩小操作。所谓角度R1与角度R2相同包括角度R1与角度R2之差在规定的范围内的情况。在检测用户手指的动作时，包含误差。如果距离L2比距离L1大，则检测双指拉伸放大操作，如果距离L2比距离L1小，则检测双指挤捏缩小操作。在检测双指拉伸放大操作或者双指挤捏缩小操作的情况下，手势事件决定部77通过距离L2除以距离L1来计算倍率，并将计算出的倍率作为参数，并将手势识别信息和参数输出给处理确定部79。在检测双指拉伸放大操作的情况下，将手势识别信息“双指拉伸放大”和参数输出给处理确定部79，在检测双指挤捏缩小操作的情况下，将手势别信息“双指挤捏缩小”和参数输出给处理确定部79。

在角度R1与角度R2不同的情况下，手势事件决定部77检测用户 的旋转操作。所谓角度R1与角度R2不同包括角度R1与角度R2之差在规定的范围外的情况。在检测用户手指的动作时，包含误差。在检测旋转操作的情况下，手势事件决定部77通过从角度R2减去角度R1来决定旋转方向，将所决定的旋转方向作为参数，并将手势识别信息“旋转”和参数输出给处理确定部79。如果从角度R2减去角度R1后的值为正，则旋转方向为顺时针方向，如果从角度R2减去角度R1后的值为负，则旋转方向为逆时针方向。

〈触摸事件生成部的变形例〉

此外，存在操作部57不输出鼠标事件，而只输出位置信息的情况。在从操作部57不输出鼠标事件的情况下，触摸事件生成部75基于操作部57输出的位置信息来生成触摸事件。触摸事件生成部75以规定时间间隔对操作部57输出位置信息的输出请求，并以规定时间间隔从操作部57获取位置信息。若从触摸事件生成部75被输入输出请求，则在触摸面板165被用户指示的情况下，操作部57输出表示被用户指示出的位置的位置信息，但在触摸面板165未被用户指示的情况下，不输出位置信息。

触摸事件生成部75包括状态检测部76。状态检测部76对从操作部57被以规定时间间隔输入的位置信息的状态进行检测。具体而言，状态检测部76基于第1时间从操作部57输入的位置信息、和比第1时间迟规定时间的第2时间输入的位置信息来决定位置信息的状态。在距离以第2时间输入的位置信息确定的位置为规定距离的范围内不存在以在第1时间输入的位置信息确定的位置的情况下，状态检测部76将在第2时间输入的位置信息的状态决定为“开始”。另外，在距离以第2时间输入的位置信息确定的位置为规定距离的范围内存在以第1时输入的位置信息确定的位置的情况下，状态检测部76将在第2时间输入的位置信息的状态决定为“更新”。并且，在第2时间未输入距离以第1时间输入的位置信息确定的位置为规定距离的范围内的位置信息的情况下，状态检测部76在第2时间将第1时间被输入的位置信息的状态决定为“结束”。在从操作部57被输入多个位置信息的情况下，状态检测部76分别针对多个位置信息来决定状态。

在从操作部57被输入位置信息的情况下，触摸事件生成部75针对 该位置信息生成由通过状态检测部76检测出的状态与位置信息的组构成的触摸事件。具体而言，在通过状态检测部76在第2时间将第2时间输入的位置信息的状态决定为“开始”的情况下，生成包括在第2时间输入的位置信息和状态“开始”的触摸事件。在通过状态检测部76在第2时间将第2时间输入的位置信息的状态决定为“更新”的情况下，生成包括在第2时间输入的位置信息和状态“更新”的触摸事件。在通过状态检测部76在第2时间将在第1时间输入的位置信息的状态决定为“结束”的情况下，生成包括在第1时间输入的位置信息和状态“结束”的触摸事件。

在从操作部57被输入多个位置信息的情况下，触摸事件生成部75生成分别与多个位置信息的每一个位置信息对应的多个触摸事件。在触摸事件生成部75生成1个以上的触摸事件的情况下，将生成的1个以上的触摸事件输出给手势事件决定部77以及处理确定部79。

用户指示触摸面板165的操作包括用户指示触摸面板165的任意位置的指示开始操作；用户一边指示触摸面板165，换言之，一边接触触摸面板一边移动位置的移动操作；以及用户结束触摸面板165的指示的结束操作。包括位置信息的状态“开始”的触摸事件表示指示开始操作。包括位置信息的状态“更新”的触摸事件表示移动操作。包括位置信息的状态“结束”的触摸事件表示结束操作。

关联建立部71在安装有应用程序的阶段将应用程序决定的多个种类的处理分别与多个手势事件的任意一个建立关联。在HDD115中预先存储有主表格95。主表格95预先将多个处理识别信息分别与多个手势事件建立关联。

图6是表示主表格的一个例子的图。参照图6，主表格95按多个处理识别信息为单位包括主记录。主记录包括处理项目和手势项目。在处理项目中设定有处理识别信息，在手势项目中设定有用于识别手势事件的手势识别信息。因此，在开发新的应用程序，且该应用程序包含与主表格95所包含的多个处理识别信息不同的其它新的处理识别信息的情况下，主表格95被更新为包含新的处理识别信息的主记录。

例如，对于在处理项目中设定有处理识别信息“滚动”的主记录而 言，在手势项目中设定势识别信息“滑动”。以处理识别信息“滚动”确定的处理是使画面上下左右滚动的处理。以手势识别信息“滑动”确定的手势事件对应于一边指示触摸面板165，一边在上下左右任意方向上以比规定速度慢的速度移动手指的用户的操作。以比规定速度慢的速度移动手指的操作决定了移动手指的方向，因此以手势识别信息“滑动”确定的手势事件在参数中包含移动手指的方向。

对于在处理项目中设定有处理识别信息“放大”的主记录而言，在手势项目中设定有手势识别信息“双指拉伸放大”。以处理识别信息“放大”确定的处理是放大显示画面的处理。以手势识别信息“双指拉伸放大”确定的手势事件对应于一边指示触摸面板165的两个位置，一边以两个位置的间隔变长的方式移动所指示的两个位置的至少一个位置的操作。以两个位置的间隔变长的方式移动的操作因两个位置的间隔变化，所以以手势识别信息“双指拉伸放大”确定的手势事件在参数中包含以两个位置的间隔变化的比例作为倍率。

对于在处理项目中设定有处理识别信息“缩小”的主记录而言，在手势项目中设定有手势识别信息“双指挤捏缩小”。以处理识别信息“缩小”确定的处理是缩小显示画面的处理。以手势识别信息“双指挤捏缩小”确定的手势事件对应于一边指示触摸面板165的两个位置，一边以两个位置的间隔变短的方式移动指示的两个位置的至少一个位置的操作。以两个位置的间隔变短的方式移动的操作因两个位置的间隔变化，所以以手势识别信息“双指挤捏缩小”确定的手势事件在参数中包含以两个位置的间隔变化的比例作为倍率。

对于在处理项目中设定有处理识别信息“旋转”的主记录而言，在手势的项目中设定有手势识别信息“旋转”。以处理识别信息“旋转”确定的处理是旋转画面来变更面面的方向的处理。在一边指示触摸面板165的两个位置，一边以变更连结两个位置的直线的朝向的方式移动指示的两个位置的至少一个位置的操作被输入的情况下检测以手势识别信息“旋转”确定的手势事件。例如是以两个位置的一个位置为中心而以另一位置描绘圆弧的操作。描绘圆弧的方向有顺时针方向和逆时针方向，因此以手势识别信息“旋转”确定的手势事件在参数中包含顺时针方向和逆时针方向的任意一个方向作为方向。

对于在处理项目中设定有处理识别信息“跳页”主记录而言，在手势项目中设定手势识别信息“敲击”。以处理识别信息“跳页”确定的处理是将画面变更为下一页的画面来进行显示的处理。以手势识别信息“敲击”确定的手势事件对应于一边指示触摸面板165，一边在上下左右任意的方向上以滑动的手势事件的操作中的阈值以上的速度移动手指的操作。以阈值以上的速度移动手指的操作因决定移动手指的方向，所以以手势识别信息“敲击”确定的手势事件在参数中包含移动手指的方向。

返回到图5，关联建立部71包括选择部83。选择部83读出存储在HDD115中的主表格95。具体而言，将用于读出主表格95的操作命令输出给操作部57，操作部57对HDD115进行控制以获取要读出的主表格95。选择部83在安装应用程序的阶段，参照主表格95，从应用程序决定的多个种类的处理中确定标准化对象处理，并针对确定出的标准化对象处理的每一个的处理识别信息，选择通过主表格95建立有关联的手势事件。标准化对象处理是应用程序决定的多个种类的处理中，成为使该处理起动的触发的事件作为与决定在主表格95中定义的手势事件的多个鼠标事件的组的产生不同的事件而由应用程序决定的处理。例如，以在应用程序不与多触摸的触摸面板165对应，而与单触摸的触摸面板对应的情况下，决定放大处理、缩小处理以及旋转处理情况为例进行说明。该情况下，成为使放大处理、缩小处理以及旋转处理起动的触发的事件存在受理分别与放大处理、缩小处理以及旋转处理对应的设定画面中的操作或者指示预先决定的操作按钮的操作的事件的情况。因此，成为分别使放大处理、缩小处理以及旋转处理起动的触发的事件作为与规定在主表格95中所定义的手势识别信息“双指拉伸放大”、“双指挤捏缩小”以及“旋转”的手势事件的多个鼠标事件的组的产生不同的事件而由应用程序决定。

另外，通过应用程序规定滚动处理，但成为使该滚动处理起动的触发的事件存在使滚动条移动的触摸事件的情况。因此，成为使滚动处理起动的触发的事件作为与决定在主表格95中所定义的手势识别信息“滑动”的手势事件的多个鼠标事件的组的产生不同的事件而由应用程序规定。

关联建立部71生成将通过选择部83确定出的标准化对象处理的每一个的处理识别信息、针对该处理识别信息而通过选择部83选择的手势事件建立关联的变换记录，并追加至变换表格。

关联建立部71将针对应用程序生成的变换表格与应用程序建立关联地存储于HDD115。具体而言，关联建立部71在安装第1应用程序的阶段，生成与第1应用程序对应的第1变换表格91，并存储于HDD115。另外，关联建立部71在安装第2应用程序的阶段，生成与第2应用程序对应的第2变换表格93，并存储于HDD115。具体而言，向操作部57输出用于存储第1变换表格91或者第2变换表格93的操作命令，操作部57对HDD115进行控制，以存储第1变换表格91或者第2变换表格93。

图7是表示第1变换表格的一个例子的图。参照图7，第1变换表格91在MFP100安装第1应用程序的阶段被生成，包含分别与由第1应用程序决定的多个种类的标准化对象处理对应的变换记录。变换记录包括处理项目和手势项目。在处理项目中设定有用于识别由第1应用程序决定的多个种类的标准化对象处理的处理识别信息。在手势项目设定有用于识别手势事件的手势识别信息。

此处，将由第1应用程序决定的多个种类的标准化对象处理的处理识别信息设为“滚动”、“放大”、“缩小”、“旋转”、“跳页”。在图6所示的主表格95中，针对一个处理识别信息关联一个手势识别信息，所以针对处理识别信息“滚动”关联手势识别信息“滑动”，针对处理识别信息“放大”关联手势识别信息“双指拉伸放大”，针对处理识别信息“缩小”关联手势识别信息“双指挤捏缩小”，针对处理识别信息“旋转”关联手势识别信息“旋转”，针对处理识别信息“跳页”关联手势识别信息“敲击”

图8是表示第2变换表格的一个例子的图。参照图8，第2变换表格93在MFP100安装第2应用程序的阶段被生成，包括分别与由第2应用程序决定的多个种类的标准化对象处理对应的变换记录。变换记录包括处理项目和手势项目。在处理项目中设定有用于识别由第2应用程序规定的多个种类的标准化对象处理的处理识别信息。在手势项目中设定有用于识别手势事件的手势识别信息。

此处，将由第2应用程序决定的多个种类的标准化对象处理的处理识别信息设为“滚动”、“跳页”。在图6所示的主表格95中，针对一个处理识别信息关联一个手势识别信息，所以针对处理识别信息“滚动”关联手势识别信息“滑动”，针对处理识别信息“跳页”关联手势识别信息“敲击”。

因此，在第1应用程序不与多触摸的触摸面板对应的情况下，或者，由第1应用程序决定的多个种类的标准化对象处理，或者由第2应用程序决定的多个种类的标准化对象处理，例如通过指示画面中的滚动条的操作，或者按下硬键部167所具备的多个硬键的操作而被执行的情况下，能够针对由第1应用程序规定的多个种类的标准化对象处理，或者由第2应用程序决定的多个种类的标准化对象处理，将输入至触摸面板165的操作建立关联。

返回到图5，在处理确定部79中，存在从触摸事件生成部75输入触摸事件、从手势事件决定部77输入手势事件的情况。处理确定部79读出存储在HDD115中的第1变换表格91以及第2变换表格93中的、与通过调节部53设定的当前任务的应用识别信息对应的变换表格。处理确定部79在通过调节部53将当前任务设定为第1应用执行部61的情况下，读出第1变换表格91，在将当前任务设定为第2应用执行部63的情况下，读出第2变换表格93。具体而言，向操作部57输出用于读出第1变换表格91或者第2变换表格93的操作命令，获取操作部57控制HDD115而读出的第1变换表格91或者第2变换表格93。以下，对第1应用执行部61为当前任务的情况进行说明。

处理确定部79根据从手势事件决定部77输入手势事件，而基于手势事件，从多个种类的处理中确定与通过调节部53被设定为当前状态的任务执行的应用程序对应地建立关联的处理。此处，通过调节部53将执行第1应用程序的第1应用执行部61设定为当前状态，因此处理确定部79确定通过第1变换表格91与从手势事件决定部77输入的手势事件建立关联的处理。更具体而言，处理确定部79从第1变换表格91提取从手势事件决定部77输入的手势事件的手势识别信息被设定为手势项目的变换记录，并提取在抽出的变换记录的处理项目中设定的处理识别信息。处理确定部79将获取的处理识别信息输出给操作通知部 81。此外，手势事件包括位置信息和参数，所以与处理识别信息一起输出位置信息和参数。

在未从手势事件决定部77被输入手势事件的情况下，处理确定部79将从触摸事件生成部75输入的多个触摸事件输出给操作通知部81。

操作通知部81从处理确定部79被输入处理识别信息或者多个触摸事件。操作通知部81在从手势事件决定部77被输入手势事件的情况下，将从处理确定部79输入的处理识别信息输出给当前任务。具体而言，生成用于使以处理识别信息确定的处理执行的应用命令，请求调节部53将应用命令输出给当前任务，此处，输出给第1应用执行部61。由此，第1应用执行部61执行由处理识别信息确定的处理。因此，能够使执行第1应用程序的第1应用执行部61执行与输入至触摸面板165的操作、且是以多个触摸事件的组确定的操作（手势事件）对应的处理。换言之，在开发应用程序的阶段，能够不特意地卡发MFP100中触摸面板165能够受理的操作（以多个触摸事件的组确定的手势事件）。例如，不必考虑触摸面板165是否能够同时检测多个位置，也能够开发应用程序。并且，触摸面板165是能够同时检测多个位置的多触摸型，但即使在安装与多触摸型的触摸面板165不对应的应用程序的情况下，对触摸面板165同时输入多个位置的操作，例如，输入双指拉伸放大、双指挤捏缩小、旋转的操作的情况下，能够使执行应用程序的任务执行与该操作对应的处理。

操作通知部81在未从手势事件决定部77被输入手势事件的情况下，将从处理确定部79输入的多个触摸事件作为操作识别信息输出给当前任务。这是因为第1应用程序或者第2应用程序与以多个触摸事件决定的操作对应。因此，即使在第2应用程序与由多触摸型的触摸面板165受理的操作对应的情况下，也能够安装第2应用程序。

图9是表示手势事件决定处理的流程的一个例子的流程图。手势事件决定处理是通过MFP100具的CPU111执行存储在ROM113、HDD115或者CD-ROM118中的操作标准化程序，从而由CPU111执行的处理。参照图9，CPU111判断是否被输入触摸事件（步骤S01）。如果用户指示触摸面板165，则基于通过触摸面板165检测出的位置来输入触摸事件。至触摸事件被输入为止为待机状态（步骤S01：否），如果触摸 事件已被输入（步骤S01：是），则将处理移至步骤S02。

在步骤S02中，判断被输入的触摸事件是否是单数。如果单数的触摸事件被输入，则将处理移至步骤S03，如果多个触摸事件被输入，则将处理移至步骤S13。

在步骤S03中，根据触摸事件的状态而分开处理。如果触摸事件的状态为开始，则将处理返回到步骤S01，如果为更新，则将处理移至步骤S04，如果为结束，则将处理移至步骤S09。在处理移至步骤S04的情况下，触摸事件的状态为更新的情况下，在该触摸事件之前被输入其它的触摸事件。其它的触摸事件的状态存在开始的情况、和更新的情况。在步骤S04中，决定指示方向。决定从以之前输入的其它触摸事件所包含的位置信息确定的位置朝向以在步骤S01中检测出的触摸事件所包含的位置信息确定的位置的方向。此处决定的方向是以显示部161的显示面为基准的上下左右的4个方向中最接近计算出的方向的方向。

在下一个步骤S05中，计算指示距离。计算以之前输入的其它触摸事件所包含的位置信息确定的位置与以在步骤S01中检测出的触摸事件所包含的位置信息确定的位置之间的距离作为指示距离L。而且，判断指示距离是否是阈值TH以上（步骤S06）。如果指示距离L在阈值TH以上，则将处理移至步骤S07，但如果不是，则将处理移至步骤S08。

在步骤S07中，将手势事件决定为敲击，并使处理返回到步骤S01。在步骤S08中，将手势事件决定为滑动，并使处理返回到步骤S01。

在处理移至S09的情况下，步骤S01中输入的触摸事件的状态为结束。在触摸事件的状态为结束的情况下，在该触摸事件之前被输入其它触摸事件。其它触摸事件的状态存在开始的情况和更新的情况。在步骤S09中，根据之前输入的其它触摸事件的状态而分开处理。如果之前输入的其它触摸事件的状态为开始，则将处理移至步骤S10，但如果不是，则使处理返回到步骤S01。

在步骤S10中，判断是否在RAM114中存储有与在步骤S01中被输入的触摸事件所包含的位置信息相同的位置信息。如果存储在 RAM114中，则将处理移至步骤S11，但如果不是，则将处理移至步骤S12。此外，此处所谓的相同的位置信息包括以两个置信息分别确定的两个位置之间的距离在规定的长度以内的情况。检测用户指示相同的位置的操作时，包含误差。

在步骤S12中，将步骤S01中被输入的触摸事件所包含的位置信息暂时存储于RAM114，并使处理返回到步骤S01。处理移至步骤S12的情况是，之前被输入的触摸事件的状态为开始、接下来被输入的触摸事件的状态为结束的情况、且在RAM114中未存储有相同的位置信息的情况。换言之，是用户输入最初的点击操作的情况。

在步骤S11中，将手势事件决定为双击，并使处理返回到步骤S01。处理移至步骤S11的情况是，之前被输入的触摸事件的状态为开始、在步骤S01中被输入的触摸事件的状态为结束的情况、且在RAM114中存储有相同的位置信息的情况。换言之，是在用户输入最初的点击操作后，对与最初的点击操作相同的位置进行点击操作的情况。

处理移至步骤S13的情况是输入了两个触摸事件的情况。在步骤S13中，判断是否两个触摸事件中的至少一个的状态为更新。如果两个触摸事件中的至少一个的状态为更新，则将处理移至步骤S14，但如果不是，则使处理返回到步骤S01。

在步骤S14中，计算角度。以显示部161的显示面的规定基准边为基准，计算连接以两个触摸事件的每一个所包含的位置信息确定的两个位置的直线与基准边成的角度。在下一个步骤S15中，判断在步骤S14中计算出的角度是否有变化。如果在步骤S14中所计算出的角度与基于之前输入的其它两个触摸事件计算出的角度之差是规定的角度以上，则判断为角度发生变化。如果角度发生变化，则将处理移至步骤S16，但如果不是，则将处理移至步骤S17。在步骤S16中，将手势事件决定为旋转，并使处理返回到步骤S01。

在步骤S17中，计算距离。计算以两个触摸事件的每一个所包含的位置信息确定的两个位置之间的距离。在下一个步骤S18中，判断在步骤S17中计算出的距离是否有变化。如果在步骤S17中计算出的距离与基于之前被输入的其它两个触摸事件所计算出的距离之差是规定的 长度以上，则判断为距离发生变化。如果距离发生变化，则将处理移至步骤S19，但如果不是，则使处理返回到步骤S01。

在步骤S19中，决定倍率。将在步骤S17中计算出的距离除以基于之前被输入的其它两个触摸事件计算出的距离而得到的值决定为倍率。而且，判断倍率是否大于1（步骤S20）。如果倍率大于1，则将处理移至步骤S21，如果不是，则将处理移至步骤S22。

在步骤S21中，将手势事件决定为双指拉伸放大，并使处理返回到步骤S01。在步骤S22中，将手势事件决定为双指挤捏缩小，并使处理返回到步骤S01。

图10是表示操作通知处理的流程的一个例子的流程图。操作通知处理通过MFP100所具的CPU111执行存储在ROM113、HDD115或者CD-ROM118中的操作标准化程序，而由CPU111执行的处理。参照图10，CPU111确定当前任务（步骤S31）。确定执行第1应用程序的任务、和执行第2应用程序的任务中的哪一个是当前任务。在以下的说明中，对执行第1应用程序的任务被确定为当前任务的情况进行说明。

在步骤S32中，读出变换表格。读出与在步骤S31中被确定为当前任务的任务执行的应用程序相关联的变换表格。此处，将执行第1应用程序的任务作为当前任务，所以从HDD115读出与第1应用程序相关联的第1变换表格91。

在下一个步骤S33中，判断是否检测出手势事件。存在CPU111通过执行图9所示的手势事件决定处理，而检测手势事件的情况。如果检测出手势事件，则将处理移至步骤S34，但如果不是，则将处理移至步骤S36。

在步骤S34中，判断是否存在与手势事件对应的标准化对象处理。提取在步骤S32中读出的第1变换表格91所包含的变换记录中，在步骤S33中检测出的手势事件的手势识别信息被设定为手势的项目的变换记录。如果提取这样的变换记录，则判断为存在与手势事件对应的标准化对象处理。如果存在标准化对象处理，则将处理移至步骤S35，但如果不是，则将处理移至步骤S37。

在下一个步骤S35中，将标准化对象处理的处理识别信息输出给在步骤S31中确定的当前任务，并将处理移至步骤S38。具体而言，将在步骤S34中提取的变换记录的处理的项目中设定的处理识别信息作为标准化对象处理的处理识别信息，生成包括标准化对象处理的处理识别信息的应用命令，并将生成的应用命令输出给执行第1应用程序的当前任务。

处理移至步骤S36的情况是未检测出手势事件的情况。在步骤S36中，判断是否检测出触摸事件。此处被检测的触摸事件是在未检测出手势事件的情况下检测出的触摸事件。例如，在输入用户点击的操作的情况下，检测通过点击的操作所检测出的状态为开始的触摸事件、和状态为结束的触摸事件。如果检测出触摸事件，则将处理移至步骤S37，但如果不是，则将处理移至步骤S38。

在步骤S37中，将在步骤S36中检测出的触摸事件，或者构成在步骤S33中检测出的手势事件的多个触摸事件输出给在步骤S31中确定的当前任务，此处，输出给执行第1应用程序的任务，并将处理移至步骤S38。

在步骤S38中，判断当前任务是否结束。如果在步骤S31中确定的当前任务结束，则结束处理，但如果不是，则使处理返回到步骤S33。

如以上说明，本实施方式中的MFP100存储在安装第1应用程序的阶段，第1应用程序决定的多个种类的处理的每一种处理与多个手势事件的任意一个相关联的第1变换表格9、和在安装第2应用程序的阶段，第2应用程序决定的多个种类的处理的每一种处理与多个手势事件的任意一个相关联的第2变换表格93。根据通过触摸面板165检测1个以上的位置，生成包括表示1个以上的位置的每一个位置的位置信息的触摸事件，并基于多个触摸事件的组来决定手势事件，当前任务为执行第1应用程序的第1应用执行部61的情况下，参照第1变换表格91，执行以与所决定的手势事件相关联的处理识别信息识别的处理，在当前任务为执行第2应用程序的第2应用执行部63的情况下，参照第2变换表格93，执行以与所决定的手势事件相关联的处理识别信息识别的处理。因此，能够将输入至触摸面板165的操作与由第1或者第2应用程序决定的处理建立关联。因此，能够与触摸面板165能够受理的操作无关系地开发第1以及第2应用程序，因而能够使应用程序的开发变得容易。

另外，不存在基于多个触摸事件的组所决定的手势事件与通过第1变换表格91建立关联的处理的情况下，对第1应用执行部61输出多个触摸事件，在不存在基于多个触摸事件的组所决定的手势事件与通过第2变换表格93建立关联的处理的情况下，对第2应用执行部63输出多个触摸事件。因此，即使在第1应用程序以及第2应用程序与触摸面板165受理的操作对应的情况下，也能够安装第1应用程序以及第2应用程序。

此外，在上述的实施方式中，作为图像处理装置的一个例子，对MFP100进行了说明，作为使控制MFP100的CPU111执行图9以及图10所示的处理的操作标准化方法，另外，用于使CPU111执行该操作标准化方法的操作标准化程序，当然也能够掌握发明。

应该认为这次公开的实施方式以全部的点例示，并未限制。意图本发明的范围不是上述的说明而包括被权利要求书所示、与权利要求书等同的意味以及范围内的全部的变更。

Claims (8)

1.一种图像处理装置，具备：

显示图像的显示单元；

能够在所述显示单元的显示面中检测出由用户指示的1个以上的位置的触摸面板；以及

控制单元，(a)对所述显示单元和所述触摸面板进行控制，(b)根据通过所述触摸面板检测出1个以上的位置而输出触摸事件，所述触摸事件包括表示所述1个以上的位置的每一个位置的位置信息，(c)基于被连续输出的多个触摸事件的组来决定基于用户的指示受理的手势事件，(d)在受理了所述手势事件的情况下执行处理，

所述图像处理装置的特征在于，

所述控制单元执行如下控制：

在受理了手势事件的情况下，基于手势事件与处理之间预先确定的对应关系，执行与所述受理的手势事件对应的处理；

受理与手势事件不同的操作并执行处理的应用程序的安装；

在所述应用程序中执行的处理与在所述对应关系中确定的处理为相同种类的处理的情况下，使在所述对应关系中确定的处理与所述应用程序中执行的处理建立关联；以及

在所述应用程序的执行时受理了手势事件的情况下，确定与该受理的手势事件建立关联的处理并执行。

2.根据权利要求1所述的图像处理装置，其特征在于，

在不能确定与所述受理的手势事件建立关联的处理的情况下，所述控制单元输出构成所述手势事件的1个以上的手势事件的位置信息。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述控制单元基于通过所述触摸面板检测出的1个以上的位置的每一个位置的时间性变化来决定所述触摸事件的状态，所述触摸事件包括所述检测出的位置和所述决定的状态。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述控制单元基于同时输出的触摸事件的数量、以及被连续输出的多个触摸事件的每一个触摸事件中所包含的状态的变化来决定所述手势事件。

5.一种操作标准化方法，是由控制图像处理装置的计算机执行的操作标准化方法，其特征在于，

所述图像处理装置具备：

显示图像的显示单元；和

能够在所述显示单元的显示面中检测出由用户指示的1个以上的位置的触摸面板，

操作标准化方法使所述计算机执行以下步骤：

根据通过所述触摸面板检测出1个以上的位置而输出触摸事件，所述触摸事件包括表示所述1个以上的位置的每一个位置的位置信息；

基于被连续输出的多个触摸事件的组，来决定基于用户的指示受理的手势事件；

在受理了手势事件的情况下，基于手势事件与处理之间预先确定的对应关系，执行与所述受理的手势事件对应的处理；

受理与手势事件不同的操作并执行处理的应用程序的安装；

在所述应用程序中执行的处理与在所述对应关系中确定的处理为相同种类的处理的情况下，使在所述对应关系中确定的处理与在所述应用程序中执行的处理建立关联；以及

在所述应用程序的执行时受理了手势事件的情况下，确定与该受理的手势事件建立关联的处理并执行。

6.根据权利要求5所述的操作标准化方法，其特征在于，

还使所述计算机执行在不能确定与所述受理的手势事件建立关联的处理的情况下，输出构成所述手势事件的1个以上的手势事件的位置信息的步骤。

7.根据权利要求5或者6所述的操作标准化方法，其特征在于，

还使所述计算机执行通过所述触摸面板检测出的1个以上的位置的每一个位置的时间性变化来决定所述触摸事件的状态的步骤，所述触摸事件包括所述检测出的位置和所述决定的状态。

8.根据权利要求7所述的操作标准化方法，其特征在于，

还使所述计算机执行基于同时输出的触摸事件的数量、以及被连续输出的多个触摸事件的每一个触摸事件所包含的状态的变化来决定所述手势事件的步骤。