CN103853449B - 数据处理装置及内容显示方法 - Google Patents

Abstract

一种数据处理装置及内容显示方法缩短直到显示内容的图像为止的响应时间。数据处理装置包含：使显示部显示在外部存储的内容的显示部分的浏览部（61）；决定手势事件的手势事件决定部（83），浏览部（61）包含：根据手势事件决定显示部分的显示部分决定部（72）；决定包含有显示部分的捕获部分的捕获部分决定部（75）；根据内容生成与捕获部分对应的捕获图像的捕获图像生成部（76）；暂时存储捕获图像的暂时存储控制部（77）；根据暂时存储的捕获图像生成与显示部分对应的显示用图像的显示用图像生成部（78）；以及使显示用图像在显示部显示的显示控制部（79）。

Description

数据处理装置及内容显示方法

技术领域

本发明涉及数据处理装置及内容显示方法，特别地，涉及具备触摸面板的数据处理装置、通过该数据处理装置执行的内容显示方法。

背景技术

近年来，在以复合机（MFP）为代表的数据处理装置中，作为用户接口，有具备触摸面板的装置。通过触摸面板，可以检测用户使所指示的位置移动的操作。但是，用户使所指示的位置移动的操作在用户使所指示的位置移动的期间，指示的内容变化。例如，作为放大图像的指示，有用2根手指同时指示，2根手指的间隔随着时间的经过而变长的捏放（pinchout）操作。在根据基于该捏放操作的间隔来决定倍率时，在输入捏放操作的期间，倍率变动。因而，在放大图像的处理中，每次倍率变动时必须显示新的图像。

美国专利第7009626号记载了以下技术：在对显示的源数据的图像的尺寸进行变更时，用变更了显示的图像的尺寸的图像进行置换，从源数据生成变更后的尺寸的图像，用从源数据生成的图像置换所显示的图像。

但是，在以往的技术中，可以应对显示图像的整体的情况，但是无法应对仅仅显示图像的一部分的情况。具体地，在缩小所显示的部分的图像的尺寸时，未显示的部分成为显示对象，而为了显示未显示的部分，必须从源数据生成与变更后的尺寸对应的尺寸的图像，因此，存在到显示变更了尺寸后的图像为止需要时间这样的问题。

发明内容

本发明为了解决上述问题而提出，本发明的目的之一是提供一种数据处理装置，该数据处理装置能够缩短用户输入操作后到显示内容的图像为止的响应时间。

本发明的另一个目的是提供一种内容显示方法，该内容显示方法能够缩短用户输入操作后到显示内容图像为止的响应时间。

本发明的另一个目的是提供一种浏览程序，该浏览程序能够缩短用户输入操作后到显示内容的图像为止的响应时间。

为了实现上述目的，根据本发明一个方面的数据处理装置，具备：显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及控制单元，控制单元具备：浏览单元，执行浏览程序，使显示单元显示作为在外部存储的内容的至少一部分的显示部分；和手势事件决定单元，响应由位置检测单元检测到一个以上的位置的情况，根据一个以上的位置，决定多个手势事件中的某一个，浏览单元具备：显示部分决定单元，根据手势事件决定单元决定的手势事件，决定显示部分；捕获部分决定单元，决定包含有由显示部分决定单元决定的显示部分的捕获部分；捕获图像生成单元，响应决定捕获部分的情况，根据在外部存储的内容，生成与所决定的捕获部分对应的捕获图像；暂时存储控制单元，暂时存储所生成的捕获图像；显示用图像生成单元，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像；以及显示控制单元，在显示单元显示所生成的显示用图像。

根据该方面，在决定手势事件时，根据所决定的手势事件决定显示部分，决定包含有显示部分的捕获部分，根据在外部存储的内容，生成并暂时存储与捕获部分对应的捕获图像。然后，根据暂时存储的捕获图像，生成并显示与显示部分对应的显示用图像。根据手势事件，决定显示部分，生成显示用图像，而根据捕获图像生成显示用图像，因此可以减少根据内容生成显示用图像的次数。因而，可以减少生成显示用图像的处理的负荷，因此可以提供能够缩短从用户输入操作起到显示内容图像为止的响应时间的数据处理装置。

优选的是，捕获部分决定单元在由手势事件决定单元连续决定手势事件的手势期间开始的时刻，决定包含有由显示部分决定单元决定的显示部分的捕获部分，显示用图像生成单元在手势期间的期间，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像，由手势事件决定单元决定手势事件前的时间点或手势期间结束的时间点，根据在外部存储的内容，生成显示用图像。

根据该方面，决定包含有在手势期间开始的时刻所决定的显示部分的捕获部分，在手势期间的期间，根据暂时存储的捕获图像，生成与显示部分对应的显示用图像，在决定手势事件前的时间点或手势期间结束的时间点，根据在外部存储的内容，生成显示用图像。因而，在手势期间开始时刻，暂时存储捕获图像，在手势期间的期间根据暂时存储的捕获图像，生成与显示部分对应的显示用图像。从而，在手势期间，根据手势期间开始时所生成的捕获图像，生成显示用图像，因此可以减少根据内容生成显示用图像的次数。

优选的是，捕获部分决定单元在取得内容的时刻或由手势事件决定单元连续决定手势事件的手势期间结束的时刻，决定包含有由显示部分决定单元所决定的显示部分的捕获部分。

根据该方面，决定包含有在取得外部存储的内容的时刻所决定的显示部分或在手势期间结束的时刻所决定的显示部分的捕获部分。因而，在取得内容的时刻或手势期间结束的时刻，暂时存储捕获图像，在手势期间的期间根据暂时存储的捕获图像生成与显示部分对应的显示用图像。因而，在手势期间，根据该手势期间开始前生成并暂时存储的捕获图像来生成显示用图像，因此不必在手势期间根据内容生成显示用图像。

根据本发明其他方面的数据处理装置，具备：显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及控制单元，控制单元具备：浏览单元，执行浏览程序，使显示单元显示作为在外部存储的内容的至少一部分的显示部分；和手势事件决定单元，响应由位置检测单元检测到一个以上的位置的情况，根据一个以上的位置，确定多个手势事件中的某一个，浏览单元具备：显示部分决定单元，根据手势事件决定单元决定的手势事件，决定显示部分；捕获部分决定单元，在取得外部存储的内容的一部分前的时刻，决定包含有由显示部分决定单元所决定的显示部分的捕获部分；捕获图像取得单元，响应决定捕获部分的情况，从取得外部存储的内容中的与所决定的捕获部分对应的捕获图像；暂时存储控制单元，暂时存储所取得的捕获图像；显示用图像生成单元，在由手势事件决定单元连续决定手势事件的手势期间的期间，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像；以及显示控制单元，在显示单元显示所生成的显示用图像。

根据该方面，在取得外部存储的内容的一部分前的时刻，决定包含有显示部分的捕获部分，取得在外部存储的内容中的与捕获部分对应的捕获图像并暂时存储。然后，在决定手势事件后，根据所决定的手势事件，决定显示部分，在手势期间的期间，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像并显示。根据手势事件，决定显示部分，生成显示用图像，而在手势期间的期间，根据捕获图像生成显示用图像，因此在手势期间的期间，不必为了生成显示用图像从服务器取得内容的一部分。因而，可以提供在手势期间的期间不必从服务器取得内容，从而可缩短从用户输入操作起到显示内容图像为止的响应时间的数据处理装置。

优选的是，捕获部分决定单元响应手势期间结束的情况，决定捕获部分。

根据该方面，决定包含有在手势期间结束的时刻所决定的显示部分的捕获部分。因而，在手势期间结束的时刻暂时存储捕获图像，因此在下一手势期间的期间，可以根据暂时存储的捕获图像，生成与显示部分对应的显示用图像。

优选的是，显示部分决定单元在由手势事件决定单元决定手势事件前，决定默认的显示部分。

根据该方面，可以在决定手势事件前，生成并显示显示用图像。另外，可以在决定手势事件前的时刻决定捕获部分，因此可以在手势期间开始前生成并存储捕获图像。

优选的是，暂时存储控制单元还具备用于暂时存储捕获图像的存储器，捕获部分决定单元包含根据显示单元的尺寸、显示用图像的倍率、存储器的空闲容量来决定捕获部分的尺寸的尺寸决定单元。

根据该方面，可以根据显示单元的尺寸、显示用图像的倍率、存储器的空闲容量来决定捕获部分的尺寸。因而，可以有效利用存储器的空闲区域。

优选的是，显示部分决定单元响应由手势事件决定单元决定手势事件的情况，通过执行由浏览程序所确定的多种处理中的与输入的手势事件对应的种类的处理，来决定显示部分。

根据本发明其他方面的内容显示方法，是由数据处理装置执行的内容显示方法，其中，数据处理装置具备：显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及手势事件决定单元，响应由位置检测单元检测到一个以上的位置的情况，根据一个以上的位置，决定多个手势事件中的某一个，使数据处理装置执行浏览步骤，该浏览步骤执行浏览程序，从外部取得内容，使显示单元显示作为所取得的内容的至少一部分的显示部分的图像，浏览步骤包含：显示部分决定步骤，根据手势事件决定单元所决定的手势事件，决定显示部分；捕获部分决定步骤，确定包含有在显示部分决定步骤中所决定的显示部分的捕获部分；捕获图像生成步骤，响应决定捕获部分的情况，根据所取得的内容，生成与所决定的捕获部分对应的捕获图像；暂时存储控制步骤，暂时存储所生成的捕获图像；显示用图像生成步骤，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像；以及显示控制步骤，在显示单元显示所生成的显示用图像。

根据该方面，可以提供能够缩短从用户输入操作起到显示内容图像为止的响应时间的内容显示方法。

优选的是，捕获部分决定步骤包含：在由手势事件决定单元连续决定手势事件的手势期间开始的时刻，决定包含有在显示部分决定步骤中所决定的显示部分的捕获部分的步骤，显示用图像生成步骤包含：在手势期间的期间，根据暂时存储的捕获图像生成与所决定的显示部分对应的显示用图像的步骤；在由手势事件决定单元决定手势事件前的时间点或手势期间结束的时间点，根据在外部存储的内容生成显示用图像的步骤。

优选的是，捕获部分决定步骤包含：在取得内容的时刻或由手势事件决定单元连续决定手势事件的手势期间结束的时刻，决定包含有在显示部分决定步骤中所决定的显示部分的捕获部分的步骤。

根据本发明的又一方面的内容显示方法，是由数据处理装置执行的内容显示方法，其中，数据处理装置具备：显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及手势事件决定单元，响应由位置检测单元检测到一个以上的位置的情况，根据一个以上的位置，决定多个手势事件中的某一个，使数据处理装置执行浏览步骤，在该浏览步骤中执行浏览程序，使显示单元显示在外部存储的内容的至少一部分，浏览步骤包含：显示部分决定步骤，根据由手势事件决定单元所决定的手势事件，将在外部存储的内容的一部分决定为显示部分；捕获部分决定步骤，在取得在外部存储的内容的一部分前的时刻，决定包含有在显示部分决定步骤中所决定的显示部分的捕获部分；捕获图像取得步骤，响应决定捕获部分的情况，取得外部存储的内容中的与所决定的捕获部分对应的捕获图像；暂时存储控制步骤，暂时存储所取得的捕获图像；显示用图像生成步骤，在由手势事件决定单元连续决定手势事件的手势期间的期间，根据暂时存储的捕获图像，生成与所决定的显示部分对应的显示用图像；以及显示控制步骤，在显示单元显示所生成的显示用图像。

根据该方面，可以提供能够缩短从用户输入操作起到显示内容图像为止的响应时间的内容显示方法。

优选的是，捕获部分决定步骤包含：响应手势期间结束的情况，决定捕获部分的步骤。

优选的是，显示部分决定步骤包含：由手势事件决定单元决定手势事件前，决定默认的显示部分的步骤。

优选的是，数据处理装置还具备在暂时存储控制步骤中用于暂时存储捕获图像的存储器，捕获部分决定步骤包含根据显示单元的尺寸、显示用图像的倍率、存储器的空闲容量来决定捕获部分的尺寸的尺寸决定步骤。

优选的是，显示部分决定步骤包含：响应在手势事件决定步骤中决定手势事件的情况，通过执行由浏览程序所确定的多种处理中的与输入的手势事件对应的种类的处理，来决定显示部分的步骤。

附图说明

图1是表示本实施方式之一中的MFP的外观的立体图。

图2是表示操作面板的一个例子的平面图。

图3是表示MFP的硬件结构的概要的一个例子的方框图。

图4是表示MFP所具备的CPU的软件架构的一个例子的图。

图5是表示第1实施方式中的MFP具备的CPU所具有的功能的一个例子以及在HDD中存储的信息的方框图。

图6是表示主表的一个例子的图。

图7是表示手势事件决定处理的流程的一个例子的流程图。

图8是表示第1实施方式中的浏览处理的流程的一个例子的流程图。

图9是表示Web页面整体的图像的一个例子的图。

图10是表示显示用图像的一个例子的第1图。

图11是表示显示用图像的一个例子的第2图。

图12是表示第1实施方式的变形例中的MFP具备的CPU所具有的功能的一个例子以及在HDD中存储的信息的方框图。

图13是表示第1实施方式的变形例中的浏览处理的流程的一个例子的流程图。

图14是表示第2实施方式中的MFP具备的CPU所具有的功能的一个例子以及在HDD中存储的信息的方框图。

图15是表示第2实施方式中的浏览处理的流程的一个例子的流程图。

图16是表示在服务器中存储的地图的图像数据的一个例子的图。

图17是表示以默认方式显示的显示用图像的一个例子的图。

图18是表示捏缩（pinch in）操作后的显示用图像的一个例子的图。

图19是表示在没有生成捕获图像时的捏缩操作后的显示用图像的一个例子的图。

具体实施方式

以下，参照附图说明本发明的实施方式。以下的说明中，对同一部件附加同一符号。它们的名称及功能都相同。因此，不重复与它们相关的详细的说明。

<第1实施方式>

图1是表示本实施方式之一中的MFP的外观的立体图。图2是表示操作面板的一个例子的平面图。参照图1及图2，MFP100包括：用于读取原稿的原稿读取部130；用于向原稿读取部130搬送原稿的自动原稿搬送装置120；根据原稿读取部130读取原稿而输出的图像数据，在纸张等上形成图像的图像形成部140；用于向图像形成部140供给纸张的进纸部150；作为用户接口的操作面板160。

操作面板160设置于MFP100的上表面。操作面板160包括显示部161、触摸面板165、硬键部167。显示部161是例如液晶显示装置（LCD），显示面向用户的指示菜单、与取得的图像数据有关的信息等。硬键部167包括分别呈现“BOX”、“FAX”、“COPY”、“ECO”的文字的4个硬键167A～167D。触摸面板165是在显示部161的上表面或下表面与显示部161重叠设置的多触摸对应的触摸面板，在显示部161的显示面中，检测由用户指示的位置。用户指示触摸面板165的操作包括：同时在多处用手指指示触摸面板165的多触摸操作、以及一次在一处用手指指示触摸面板165的单触摸操作。

自动原稿搬送装置120将原稿进纸托盘上放置的多张原稿逐张自动地搬送到在原稿读取部130的稿台玻璃上设定的规定的原稿读取位置为止，由原稿读取部130将读取了原稿图像的原稿排出到原稿排纸托盘上。原稿读取部130包含向搬送到原稿读取位置的原稿照射光的光源和接受由原稿反射的光的光电变换元件，对与原稿的尺寸相应的原稿图像进行扫描。光电变换元件将所接受的光变换为作为电信号的图像数据，向图像形成部140输出。进纸部150将在进纸托盘中收纳的纸张向图像形成部140搬送。

图像形成部140通过周知的电子相片方式形成图像，根据对从原稿读取部130输入的图像数据实施了阴影校正等各种数据处理的数据处理后的图像数据或从外部接收的图像数据，在由进纸部150搬送的纸张上形成图像。

图3是表示MFP的硬件结构的概要的一个例子的方框图。参照图3，MFP100包含主电路110。主电路110包含CPU111、通信接口（I/F）部112、ROM（Read Only Memory，只读存储器）113、RAM（Random Access Memory，随机访问存储器）114、作为大容量存储装置的硬盘驱动器（HDD）115、传真部116、外部存储装置117。CPU111与自动原稿搬送装置120、原稿读取部130、图像形成部140、进纸部150及操作面板160连接，控制MFP100的整体。

ROM113存储CPU111执行的程序或用于执行该程序所需的数据。RAM114用作CPU111执行程序时的工作区域。另外，RAM114暂时地存储从原稿读取部130连续地送来的读取图像。

传真部116与公众交换电话网（PSTN）连接，向PSTN发送传真数据，或从PSTN接收传真数据。传真部116将接收的传真数据存储于HDD115，或变换为可由图像形成部140打印的打印数据，向图像形成部140输出。由此，图像形成部140针对由传真部116接收的传真数据，在纸张上形成图像。另外，传真部116将由原稿读取部130读取的数据或在HDD115中存储的数据变换为传真数据，向与PSTN连接的传真装置发送。

通信I/F部112是用于将MFP100连接到网络的接口。通信I/F部112通过TCP（Transmission Control Protocol，传输控制协议）或FTP（File Transfer Protocol，文件传输协议）等通信协议与连接到网络的其他计算机通信。另外，用于通信的协议没有特别限定，可以采用任意的协议。另外，通信I/F部112连接的网络例如是局域网（LAN），连接方式可以是有线或无线。此外，网络不限于LAN，也可以是采用了广域网（WAN）、公众交换电话网（Public Switched Telephone Networks）的网络等。而且，网络与因特网连接。因而，MFP100可以与连接到因特网的服务器等的计算机进行通信。

外部存储装置117由CPU111控制，安装了CD-ROM（Compact Disk Read OnlyMemory，光盘只读存储器）118或半导体存储器。CPU111经由外部存储装置117可访问CD-ROM118或半导体存储器。CPU111将安装于外部存储装置117的CD-ROM118或半导体存储器所记录的程序加载到RAM114并执行。另外，CPU111执行的程序不限于在CD-ROM118或半导体存储器中记录的程序，也可以将在HDD115中存储的程序加载到RAM114并执行。在该情况下，也可以经由与通信I/F部112连接的网络，由连接到网络的其他计算机改写在MFP100的HDD115中存储的程序，或追加写入新的程序。而且，MFP100也可以从连接到网络的其他计算机下载程序，将该程序存储在HDD115中。这里所说的程序不仅包括CPU111直接可执行的程序，还包括源程序、压缩处理后的程序、加密后的程序等。

另外，作为存储CPU111执行的程序的介质，不限于CD-ROM118，也可以是光盘（MO（Magnetic Optical Disc，磁光盘）/MD（Mini Disc，迷你光盘）/DVD（Digital VersatileDisc，数字多功能光盘））、IC卡、光卡、掩模ROM、EPROM（Erasable Programable ROM，可擦写编程只读存储器）、EEPROM（Electrically EPROM，电可擦写编程只读存储器）等半导体存储器。

操作面板160包含显示部161和操作部163。显示部161是液晶显示装置（LCD）、有机ELD（Electro-Luminescence Display，电致发光显示器）等显示器，显示面向用户的指示菜单、与取得的图像数据有关的信息等。操作部163包含触摸面板165和由多个键组成的硬键部167。硬键部167包含的多个键分别包含接点开关，并与CPU111连接。硬键在操作用户按下时使接点闭合，使与CPU111连接的电路闭合。硬键在操作MFP100的操作用户按下的期间使电路闭合，在操作用户未按下的期间使电路开路。

在硬键部167所具有的多个键被按下时，操作部163接受与按下的键对应的指示、文字、数字等数据的输入。触摸面板165设置在显示部161的上表面或下表面，向CPU111输出由操作用户指示的位置的坐标。触摸面板165检测操作用户用手指或手写笔（stylus pen）指示的位置，向CPU111输出检测到的位置的坐标。触摸面板165是多触摸对应的触摸面板，在用户输入多触摸操作的情况下，向CPU111输出与由用户同时指示的多个位置分别对应的多个坐标。另外，触摸面板165在用户输入单触摸操作的情况下，向CPU111输出与由用户指示的单一位置对应的坐标。

触摸面板165优选为与显示部161的显示面相同或其以上的尺寸。触摸面板165与显示部161重叠设置，因此，在操作用户对显示部161的显示面进行指示时，触摸面板165向CPU111输出在显示部161的显示面中操作用户指示的位置的坐标。触摸面板165可以采用例如电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式，其方式并不被限定。

操作部163可接受的操作包含按下硬键部167所具有的多个键的操作、指示触摸面板165的单触摸操作及多触摸操作。而且，硬键部167包含分别呈现“BOX”、“FAX”、“COPY”、“ECO”文字的4个硬键167A～167D。分别呈现“BOX”、“FAX”、“COPY”文字的3个硬键167A、167B、167C是分配处理切换操作的处理切换键，该处理切换操作用于指示使MFP100执行的处理的切换。呈现“ECO”文字的硬键167D是分配模式切换操作的模式切换键，该模式切换操作用于指示使MFP100从通常模式向比通常模式功耗低的省电模式切换。操作部163在硬键167A、167B、167C中的某一个被按下的情况下，接受处理切换操作，在硬键167D被按下的情况下，接受模式切换操作。

图4是表示MFP具备的CPU的软件架构的一个例子的图。参照图4，在CPU111形成操作系统（OS）层，在其上的阶层形成MFP处理层。在MFP处理层的上层，顺序形成应用平台（PF）层、应用层。

CPU111执行OS程序的任务属于OS层。属于OS层的任务执行控制MFP100的硬件资源的处理。这里，硬件资源包含通信I/F部112、ROM113、RAM114、HDD115、传真部116、外部存储装置117、自动原稿搬送装置120、原稿读取部130、图像形成部140、进纸部150、操作面板160。属于OS层的任务按照从MFP处理层输入的操作指令，控制硬件资源。另外，OS层在与MFP处理层之间，共享用于识别作为硬件资源之一的操作部163可接受的多种操作的每一个的操作识别信息，属于OS层的任务响应于检测到操作用户通过操作部163所进行的操作的情况，向MFP处理层输出表示检测到的操作的操作识别信息。

CPU111执行应用程序的任务属于应用层。在多种应用程序被安装于MFP100的情况下，有时分别执行多种应用程序的多个任务属于应用层。

执行应用程序的任务执行由应用程序确定的多种处理。多种处理包含：使属于MFP处理层的任务执行在MFP处理层中执行的处理的处理。执行应用程序的任务在使属于MFP处理层的任务执行处理的情况下，输出应用指令。应用指令是作为API（Application ProgramInterface，应用程序接口）公开的指令。因而，可以容易地作成使MFP100执行处理的应用程序。公开是指制造MFP100的制造商以外的第三方可使用的状态。因而，第三方可以用应用指令开发可安装于MFP100的应用程序。

而且，执行应用程序的任务根据操作MFP100的操作用户所输入的操作，从由应用程序确定的多种处理之中确定要执行的处理并执行处理。通过由操作用户操作操作部163而进行输入，在OS层中接受操作MFP100的操作用户所输入的操作。

应用PF层被配置在应用层和MFP处理层之间，仲裁属于应用层的多个任务并且控制属于应用层的多个任务输出的应用指令的任务属于应用PF层。具体地，应用PF层接受属于应用层的多个任务分别输出的应用指令，通过将所接受的应用指令按照预定的规则变换为内部指令进行标准化，将内部指令向MFP处理层输出。因而，可以在多个应用程序间应对版本不同的情况等。另外，应用PF层将属于应用层的多个任务中的某一个决定为当前状态。然后，将OS层中接受的从属于MFP处理层的任务输入的操作向属于应用层的多个任务中决定为当前状态的当前任务输出。

在OS层中被接受的用户输入的操作包含用1根手指指示触摸面板165的单触摸操作和用2根以上的手指同时指示触摸面板165的多触摸操作。单触摸操作及多触摸操作分别由操作系统检测为鼠标事件，从应用PF层向属于应用层的多个任务中的当前任务输入。另外，一个以上的鼠标事件在MFP处理层中变换为手势事件，从应用PF层向属于应用层的多个任务中的当前任务输入。因而，应用层在与MFP处理层之间，共享通过应用程序可接受的一个以上的手势事件，执行应用程序的任务从属于应用PF层的任务输入通过应用程序可接受的一个以上的手势事件。执行应用程序的任务执行与多种处理中手势事件对应的处理。

应用指令和内部指令预先进行对应。例如，也可以存储使应用指令和内部指令对应起来的指令对应表。应用指令和内部指令可以一一对应，也可以一个应用指令与2个以上的内部指令的组对应。而且，版本不同的多个应用指令也可以与一个内部指令或由多个内部指令组成的1组对应。因而，可以在多个应用程序间与版本不同的情况等对应。内部指令是依赖于MFP100的硬件资源的指令。内部指令通常不公开，但是也可以公开。

MFP处理层在应用PF层和OS层之间配置，CPU111执行MFP处理程序的任务属于MFP处理层。MFP处理层将属于应用PF层的任务输出的内部指令变换为属于OS层的任务可解释的操作指令，为了控制硬件资源，将操作指令向属于OS层的任务输出。另外，实际上，也有将内部指令变换为属于OS层的任务可执行的一个以上的操作指令的情况，但是这里为了说明，内部指令和属于OS层的任务可执行的一个以上的操作指令的关系说明为一一对应的情况。

应用程序是用于使MFP100执行浏览处理、拷贝处理、扫描处理、打印处理、传真收发处理、数据发送处理等的应用程序，但是在以下的说明中，主要说明应用程序使CPU111执行的处理中与控制操作面板160的处理关联的部分。

图5是说明第1实施方式中的MFP具备的CPU所具有的功能的一个例子以及HDD存储的信息的方框图。图5所示的功能是通过由MFP100所具备的CPU111执行在ROM113、HDD115或CD-ROM118存储的程序而由CPU111实现的功能。具体地说，通过CPU111执行OS程序、MFP处理程序、操作受理程序及应用程序，由CPU111实现。这里，示出了向MFP100安装了浏览程序作为应用程序时的CPU111的功能。

参照图5，CPU111包含应用部51、仲裁部53、操作变换部55、操作部57。应用部51在图4所示的软件架构中属于应用层。应用部51包含执行浏览程序的浏览部61。

仲裁部53及操作变换部55是通过CPU111执行操作受理程序的任务而实现的功能。仲裁部53在图4所示的软件架构中属于应用PF层。操作变换部55在图4所示的软件架构中属于应用PF层。另外，操作变换部55具有的全部功能设为应用PF层的功能，但是也可以将操作变换部55具有的功能的至少一部分设为应用PF层的功能，其他部分设为MFP处理层的功能。

仲裁部53在应用部51中执行应用程序的任务为多个时，将多个任务中的某一个决定为当前状态。以下，将仲裁部53决定为当前状态的任务称为当前任务。在本实施方式中，应用部51仅仅包含浏览部61，因此将浏览部61确定为当前任务状态。

仲裁部53输入由浏览部61输出的应用指令，向操作变换部55输出用于识别输出应用指令的任务的应用识别信息和应用指令。

仲裁部53在从浏览部61输出多个应用指令的情况下，决定它们的顺序，按照顺序向操作变换部55输出。例如，在无法同时执行多个应用指令的情况下，等待操作变换部55对一方的应用指令的执行结束后，将另一方的应用指令向操作变换部55输出。另外，在如果不是执行了一方的应用指令之后就无法执行另一方的应用指令的情况下，即使另一方的应用指令比一方的应用指令先输入的情况下，也先输出一方的应用指令。

操作变换部55从仲裁部53输入应用指令，将应用指令按照指令对应表变换为内部指令，从而进行标准化。指令对应表将一个以上的内部指令与一个应用指令对应起来。指令对应表所包含的应用指令有时候包含版本不同的同种类的应用指令，在该情况下，将不同版本的应用指令分别与一个以上的内部指令对应起来。因而，可以安装记述了不同版本的应用指令的应用程序。指令对应表在出现新应用指令的情况下，用使新出现的应用指令与一个以上的内部指令对应起来的指令对应表进行更新。因而，可以安装记述了新应用指令的应用程序。

而且，操作变换部55将进行了标准化的内部指令变换为操作指令，将操作指令向操作部57输出。操作指令是在操作变换部55和操作部57之间预定的可由操作部57解释的指令。

操作部57是通过由CPU111执行OS程序的任务而执行的功能。操作部57在图4所示的软件架构中属于OS层。

操作部57被输入由操作变换部55输出的操作指令，按照操作指令，控制硬件资源。这里，作为硬件资源，以显示部161、操作部163的触摸面板165及HDD115为例进行说明。操作部57控制显示部161，在显示部161显示图像。另外，操作部57控制HDD115，在HDD115中存储数据，另外，读出在HDD115中存储的数据。而且，操作部57以规定时间间隔检测用户对触摸面板165指示的位置，以规定时间间隔从触摸面板165取得位置信息。

如果操作用户指示显示部161的显示面，则触摸面板165检测操作用户所指示的位置，将表示显示部161的显示面的位置的位置信息向CPU111输出。操作部57在从触摸面板165输入位置信息的情况下，将位置信息向操作变换部55输出。有时操作部57从触摸面板165同时被输入2个以上的位置信息。例如，操作用户用2个手指同时指示显示部161的显示面的不同的2个部分的情况下，接受分别表示所指示的显示面的2个位置的2个位置信息。操作部57从触摸面板165同时接受2个以上的位置信息的情况下，将2个以上的位置信息向操作变换部55输出。

操作变换部55包含关联部81、手势事件决定部83、鼠标事件生成部85、显示部控制部87。关联部81在浏览程序被安装的阶段，将浏览程序确定的多种处理分别与多个手势事件的某一个关联起来。具体地说，关联部81生成使浏览程序确定的多种处理的处理识别信息分别与浏览程序可接受的手势事件关联起来的主表，并存储在HDD115中。

图6是表示主表的一个例子的图。参照图6，主表91针对多个处理识别信息的每一个包含主记录。主记录包含处理的项目和手势的项目。在处理的项目中设定处理识别信息，在手势的项目中设定用于识别手势事件的手势识别信息。

例如，在处理的项目中设定了处理识别信息“翻页”的主记录中，在手势的项目中设定手势识别信息“扫”（swipe）。由处理识别信息“翻页”所确定的处理是将画面变更为下一页面的画面而进行显示的处理。由手势识别信息“扫”所确定的手势事件对应于一边指示触摸面板165，一边使手指以比规定的速度更快的速度向上下左右的某一个方向移动的用户的操作。使手指以比规定的速度更快的速度移动的操作确定了手指移动的方向，因此，由手势识别信息“扫”所确定的手势事件在参数中包含使手指移动的方向。

在处理的项目中设定了处理识别信息“放大”的主记录中，在手势的项目中设定手势识别信息“捏放”（pinch out）。由处理识别信息“放大”所确定的处理是使画面放大而进行显示的处理。由手势识别信息“捏放”所确定的手势事件对应于一边指示触摸面板165的2处，一边使所指示的2处的至少一方以2处的间隔变长的方式移动的操作。在以2处的间隔变长的方式移动的操作中，2处的间隔变化，因此，由手势识别信息“捏放”所确定的手势事件在参数中包含表示2处间隔的变化的比例的倍率。

在处理的项目中设定了处理识别信息“缩小”的主记录中，在手势的项目中设定手势识别信息“捏缩”（pinch in）。由处理识别信息“缩小”所确定的处理是使画面缩小而进行显示的处理。由手势识别信息“捏缩”所确定的手势事件对应于一边指示触摸面板165的2处，一边使所指示的2处的至少一方以2处的间隔变短的方式移动的操作。以2处的间隔变短的方式移动的操作中，2处的间隔变化，因此，由手势识别信息“捏缩”所确定的手势事件在参数中包含表示2处间隔的变化的比例的倍率。

在处理的项目中设定了处理识别信息“旋转”的主记录中，在手势的项目中设定手势识别信息“转动”（rotation）。由处理识别信息“旋转”所确定的处理是使画面旋转而变更画面的方向的处理。由手势识别信息“转动”所确定的手势事件在一边指示触摸面板165的2处一边输入了使所指示的2处的至少一方以使连接2处的直线的方向变更的方式移动的操作时被检测。例如，是以2处的一方为中心而在另一方描绘圆弧的操作。描绘圆弧的方向有顺时针和逆时针，因此由手势识别信息“转动”所确定的手势事件在参数中包含顺时针和逆时针中的某一个方向。

在处理的项目中设定了处理识别信息“滚动”的主记录中，在手势的项目中设定手势识别信息“拂”（flick）。由处理识别信息“滚动”所确定的处理是使画面向上下左右滚动的处理。由手势识别信息“拂”所确定的手势事件对应于一边指示触摸面板165，一边使手指以比扫的手势事件的操作中的阈值慢的速度在上下左右的某一个方向上移动的操作。使手指以比阈值慢的速度移动的操作确定使手指移动的方向，因此，由手势识别信息“拂”所确定的手势事件在参数中包含使手指移动的方向。

在处理的项目中设定了处理识别信息“内容选择”的主记录中，在手势的项目中设定手势识别信息“双击”。由处理识别信息“内容选择”所确定的处理是选择内容的处理。

返回图5，显示部控制部87将从浏览部61输入的应用指令变换为用于在显示部161中显示图像的操作指令，向操作部57输出。由此，由浏览部61生成的显示用图像被存储在显示部161所具备的VRAM（Video RAM，视频随机访问存储器）中，在显示部161中对显示用图像的至少一部分进行显示。

鼠标事件生成部85响应从操作部57输入位置信息的情况，生成鼠标事件。而且，鼠标事件生成部85在每次生成鼠标事件时，将所生成的鼠标事件向手势事件决定部83输出。鼠标事件生成部85从操作部57同时输入多个位置信息的情况下，生成与多个位置信息分别对应的多个鼠标事件。鼠标事件生成部85在生成一个以上的鼠标事件时，将所生成的一个以上的鼠标事件向手势事件决定部83输出。位置信息表示操作用户所指示的显示部161的显示面中的位置。

操作用户指示显示部161的显示面的操作包含：用户指示显示部161的显示面的任意位置的指示开始操作；用户指示显示部161的显示面的同时即触摸显示部161的显示面的同时，使所指示的位置移动的移动操作；用户结束显示部161的显示面的指示的结束操作。鼠标事件生成部85在从操作部57输入位置信息时，判断操作用户的操作是指示开始操作、移动操作和结束操作中的哪一个。如上所述，操作部57在每次从触摸面板165输出位置信息时输出该位置信息，因此，根据随着时间的经过而连续输入的位置信息的连续性，判断操作用户的操作是指示开始操作、移动操作和结束操作的哪一个。

鼠标事件生成部85对于从操作部57未输入位置信息的状态经过规定时间后输入的位置信息，判断为操作用户的操作是指示开始操作，生成包含位置信息和用于识别指示开始操作的状态识别信息“按压”（press）的鼠标事件。

鼠标事件生成部85在检测到状态识别信息“按压”的鼠标事件后，从操作部57连续地输入一个以上位置信息的情况下，对于一个以上的位置信息的每一个，判断为操作用户的操作是移动操作。鼠标事件生成部85对于从操作部57连续地输入的一个以上的位置信息的每一个，生成包含该位置信息和用于识别移动操作的状态识别信息“移动”的鼠标事件。

鼠标事件生成部85在检测到状态识别信息“移动”（move）的鼠标事件后，从操作部57不再输入位置信息的情况下，对于最后输入的位置信息，判断为操作用户的操作是结束操作，生成包含最后输入的位置信息和用于识别结束操作的状态识别信息“释放”（release）的鼠标事件。

更具体地说，鼠标事件生成部85根据从操作部57在第1时间点输入的位置信息和在第1时间点的规定时间后的第2时间点输入的位置信息，决定鼠标事件的状态。对于在第1时间点输入的位置信息，在第1时间点的规定时间前，未输入表示从由第1时间点输入的位置信息所确定的位置起规定的距离的范围内的位置的位置信息时，鼠标事件生成部85将第1时间点输入的位置信息对应的鼠标事件的状态决定为“按压”。由第1时间点输入的位置信息所确定的位置不存在于从由第2时间点输入的位置信息所确定的位置起规定的距离的范围内时，鼠标事件生成部85将第2时间点输入的位置信息对应的鼠标事件的状态决定为“按压”。

另外，由第1时间点输入的位置信息所确定的位置存在于从由第2时间点输入的位置信息所确定的位置起规定的距离的范围内时，鼠标事件生成部85将第2时间点输入的位置信息对应的鼠标事件的状态决定为“移动”。而且，在第2时间点未输入从由第1时间点输入的位置信息所确定的位置起规定的距离的范围内的位置信息时，鼠标事件生成部85在第2时间点将第1时间点输入的位置信息对应的鼠标事件的状态决定为“释放”。

手势事件决定部83根据从鼠标事件生成部85连续地输入的多个鼠标事件决定手势事件。手势事件决定部83在从鼠标事件生成部85连续地每次输入一个鼠标事件的情况下，确定在输入最初的第1鼠标事件起经过规定时间后输入的第2鼠标事件，由第1鼠标事件所确定的位置和由第2鼠标事件所确定的位置之间的距离为规定的距离以上时，决定为手势事件，而2个位置间的距离比规定的距离小时，不决定为手势事件。规定的时间可以任意确定。规定的时间例如可以设为触摸面板165检测位置的间隔的数倍。另外，规定的距离虽然可以任意确定，但是例如优选设为40像素。

手势事件决定部83在从鼠标事件生成部85同时输入2个以上的鼠标事件的情况下，根据2个以上的鼠标事件决定手势事件。从而，在用户输入多触摸操作的情况下，手势事件决定部83决定手势事件。具体地说，手势事件决定部83在从鼠标事件生成部85同时输入第1鼠标事件和第2鼠标事件这两个鼠标事件的情况下，根据对第1鼠标事件连续地输入的多个鼠标事件的第1组和对第2鼠标事件连续地输入的多个鼠标事件的第2组，决定手势事件。第1组所包含的多个鼠标事件的位置信息相同或位置信息连续。连续是指2个位置信息表示邻接的位置。第2组所包含的多个鼠标事件的位置信息相同或位置信息连续。因而，手势事件决定部83用它们所包含的位置信息判断同时输入的多个鼠标事件属于第1组和第2组中的哪一个。

在手势事件决定部83从鼠标事件生成部85连续地输入鼠标事件的情况下，最初输入的鼠标事件的状态识别信息为“按压”。然后，手势事件决定部83在输入状态识别信息为“移动”的鼠标事件时，根据状态识别信息为“按压”的鼠标事件的位置信息和状态识别信息为“移动”的鼠标事件的位置信息算出2点间的距离，如果距离为规定的阈值TH以上，则检测为用户的扫操作，如果距离比规定的阈值TH短，则检测为用户的拂操作。另外，在输入多个鼠标事件的情况下，有时通过最初的多个鼠标事件检测为用户的扫操作，通过之后的多个鼠标事件检测为用户的拂操作。手势事件决定部83在检测扫操作或拂操作的情况下，算出从由最初的位置信息所确定的位置朝向由之后的位置信息所确定的位置的方向，以显示部161的显示面为基准，将与上下左右的4个方向中的算出的方向最接近的方向决定为参数，决定包含参数的手势事件。手势事件决定部83在检测到扫操作的情况下，决定包含用于识别手势事件的手势识别信息“扫”和表示方向的参数的手势事件。在检测到拂操作的情况下，手势识别信息“拂”的手势事件包含表示方向的参数。

在手势事件决定部83在从鼠标事件生成部85同时输入2个鼠标事件的情况下，最初输入的2个鼠标事件各自的状态为“按压”。在该情况下，根据2个鼠标事件各自所包含的位置信息，算出2点间的距离L1及连接2点间的直线的角度R1。连接2点间的直线的角度设为以显示部161的横向作为基准线而由连接2点间的直线与基准线所形成的角度即可。连接2点间的直线和基准线所形成的角度是从基准线顺时针旋转所形成的角度。然后，手势事件决定部83根据之后连续输入的2个鼠标事件的位置信息，算出2点间的距离L2及连接2点间的直线的角度R2。

如果角度R1和角度R2相同且距离L2和距离L1不同，则手势事件决定部83检测为用户的捏放操作或捏缩操作。所谓角度R1和角度R2相同包含角度R1和角度R2的差在规定的范围内的情况。为了检测用户手指的动作，包含误差。如果距离L2比距离L1大，则检测为捏放操作，如果距离L2比距离L1小，则检测为捏缩操作。在检测为捏放操作或捏缩操作的情况下，手势事件决定部83通过将距离L2除以距离L1来算出倍率，将算出的倍率决定为参数，决定包含参数的手势事件。手势事件决定部83在检测为捏放操作的情况下，决定包含手势识别信息“捏放”和表示倍率的参数的手势事件，在检测为捏缩操作的情况下，决定包含手势识别信息“捏缩”和表示倍率的参数的手势事件。

手势事件决定部83在角度R1和角度R2不同的情况下，检测为用户的转动操作。所谓角度R1和角度R2不同是角度R1和角度R2的差在规定的范围外的情况。为了检测用户的手指的动作，包含误差。手势事件决定部83在检测为转动操作的情况下，通过从角度R2减去角度R1，决定旋转方向，将所决定的旋转方向决定为参数，决定包含参数的手势识别信息。如果从角度R2减去角度R1的值为正，则旋转方向为顺时针，如果从角度R2减去角度R1的值为负，则旋转方向为逆时针。手势识别信息“转动”的手势事件包含表示旋转方向的参数。

手势事件决定部83在决定手势事件的情况下，从HDD115读出与由仲裁部53设定的当前任务的应用识别信息对应的主表91。具体地说，向操作部57输出用于读出主表91的操作指令，操作部57控制HDD115，取得读出的主表91。以下，说明浏览部61为当前任务的情况。

手势事件决定部83响应决定手势事件的情况，根据手势事件，从在主表91中确定的多种处理中确定与由仲裁部53设定成当前状态的应用程序对应而关联起来的处理。这里，由仲裁部53将浏览部61设定成当前任务，因此，手势事件决定部83确定手势事件和由主表91关联起来的处理。更具体地说，手势事件决定部83从图6所示的与浏览程序对应的主表91提取在手势的项目中设定了所决定的手势事件的手势识别信息的主记录，取得在所提取的主记录的处理的项目中设定的处理识别信息。手势事件决定部83在取得处理识别信息的情况下，向仲裁部53输出所决定的手势事件，而在未取得处理识别信息的情况下，不向仲裁部53输出所决定的手势事件。另外，手势事件决定部83在从鼠标事件生成部85连续地每次输入一个鼠标事件、且未决定手势事件的情况下，向仲裁部53输出表示未决定手势事件的未决定信号。

手势事件决定部83向仲裁部53仅仅输出与由仲裁部53设定成当前状态的浏览部61可执行的处理对应的手势事件，仲裁部53将手势事件向作为当前任务的浏览部61输出。因而，可以使执行浏览程序的浏览部61执行由向触摸面板165输入的操作即多个鼠标事件的组所确定的手势事件所对应的处理。换言之，在开发浏览程序的阶段，可以不用在意在MFP100中用触摸面板165可接受的手势事件而进行开发。例如，可以开发不接受转动操作的浏览程序。

仲裁部53从手势事件决定部83输入手势事件，将手势事件包含在应用部51，向CPU111执行应用程序的多个任务中的当前任务输出。这里，应用部51仅仅包含浏览部61，因此仲裁部53将浏览部61设定成当前状态。因而，浏览部61是当前任务。仲裁部53响应从手势事件决定部83输入手势事件的情况，向浏览部61输出手势事件。

浏览部61包含内容取得部71、显示部分决定部72、手势期间检测部73、捕获部分决定部75、捕获图像生成部76、暂时存储控制部77、显示用图像生成部78、显示控制部79。

内容取得部71从与因特网连接的服务器取得内容，将所取得的内容向显示部分决定部72、捕获图像生成部76及显示用图像生成部78输出。内容是例如用HTML（Hyper TextMarkup Language，超文本标记语言）等标记言语记述的Web页面。内容取得部71取得Web页面，不取得与Web页面链接的其他Web页面、图像数据等其他的内容。另外，内容取得部71也可以取得与Web页面链接的其他的内容。内容取得部71所取得的内容可以是由操作MFP100的操作用户指定的URL（Uniform Resource Locator，统一资源定位符）识别的Web页面，也可以是由在浏览部61中预定的URL识别的Web页面。

显示部分决定部72将从内容取得部71输入的Web页面的至少一部分决定为显示部分。显示部分决定部72解释Web页面，将与Web页面对应的显示用图像的至少一部分决定为显示部分。显示部分决定部72在由内容取得部71取得内容时、以及从手势事件决定部83输入手势事件时，决定显示部分。显示部分决定部72在由内容取得部71取得内容的时刻，换言之，在内容取得部71下载Web页面的时刻，将默认确定的部分决定为显示部分。默认确定的显示部分可以由Web页面确定，也可以根据与Web页面对应的显示用图像的尺寸和显示部161的尺寸来确定。

在从手势事件决定部83输入手势事件的情况下，显示部分决定部72在每次手势事件输入时决定显示部分。显示部分决定部72将所决定的显示部分向捕获部分决定部75及显示用图像生成部78输出。显示部分是矩形的区域，由2个对角点确定。因而显示部分在内容的图像中包含2个对角点的坐标。

关于从手势事件决定部83输入的手势事件，手势识别信息为“扫”、“拂”、“捏放”、“捏缩”、“转动”及“双击”中的某一个。显示部分决定部72在输入手势识别信息“拂”的手势事件的情况下，将该时刻有效的显示部分（即，在其以前所决定的显示部分）在由参数所确定的方向上移动了规定的距离的部分决定为新的显示部分。显示部分决定部72在输入手势识别信息“扫”的手势事件的情况下，将其以前所决定的显示部分在由参数所确定的方向上翻页后的部分决定为新的显示部分。显示部分决定部72在输入手势识别信息“捏放”的手势事件的情况下，将其以前所决定的显示部分以由参数所确定的倍率缩小后的部分决定为新的显示部分。显示部分决定部72在输入手势识别信息“捏缩”的手势事件的情况下，将其以前所决定的显示部分以由参数所确定的倍率放大后的部分决定为新的显示部分。显示部分决定部72在输入手势识别信息“转动”的手势事件的情况下，将其以前所决定的显示部分在由参数所确定的旋转方向上旋转后的部分决定为新的显示部分。显示部分决定部72在输入手势识别信息“双击”的手势事件的情况下，将其以前所决定的显示部分原样决定为显示部分。

手势期间检测部73根据从手势事件决定部83输入的手势事件，检测手势期间，在检测手势期间的期间，将表示为手势期间的手势期间信号向捕获部分决定部75及显示用图像生成部78输出。手势期间是通过手势事件决定部83连续决定手势事件的期间。

具体地说，手势事件决定部83根据一个以上的鼠标事件决定手势事件，但是，由手势事件决定部83决定手势事件后，有时由鼠标事件生成部85连续生成鼠标事件。例如，在用户输入扫操作的情况下，在用户使手指移动的途中，有时由手势事件决定部83决定手势事件。在该情况下，到用户使手指从触摸面板165离开为止，由鼠标事件生成部85生成状态识别信息“移动”的鼠标事件，用户使手指从触摸面板165离开时，由鼠标事件生成部85生成状态识别信息“释放”的鼠标事件。手势事件决定部83决定手势识别信息“扫”的手势事件后，到从鼠标事件生成部85输入状态识别信息“释放”的鼠标事件为止，每次输入状态识别信息“移动”的鼠标事件时，输出手势识别信息“扫”的手势事件。手势期间检测部73在从手势事件决定部83连续输入相同的手势事件的期间，检测手势期间。手势期间检测部73在从手势事件决定部83输入手势事件时，检测为手势期间的开始，在不再从手势事件决定部83输入手势事件时或输入不同的手势事件时，检测为手势期间的结束。

在捕获部分决定部75中，从显示部分决定部72输入显示部分，从手势期间检测部73输入手势期间信号。捕获部分决定部75在手势期间开始的时刻，决定包含从显示部分决定部72输入的显示部分的捕获部分。捕获部分决定部75将从在规定期间未从手势期间检测部73输入手势期间信号的状态而输入手势期间信号的时间点判断为手势期间开始了的时刻。捕获部分是内容的图像中的至少一部分，包含显示部分。捕获部分比显示部分面积大。捕获部分的决定方法没有特别限定，可以任意确定捕获部分的位置及尺寸。这里，说明其一个例子。捕获部分决定部75根据显示部161的尺寸、内容的图像的倍率及RAM114的空闲容量，决定捕获部分的尺寸。这里，图像的尺寸用纵向以及横向的像素数表示。另外，显示部161的尺寸用显示部161的纵向以及横向的像素数表示。内容的图像的倍率由内容的图像的显示部分的尺寸和显示部161的尺寸确定，设为将内容的图像的显示部分的横向的像素数除以显示部161的横向的像素数所得的值。在本实施方式中，在取得了内容的阶段，内容的图像的倍率设为“1”，内容的图像的倍率是在输入了用户所进行的捏放操作或捏缩操作时发生变动的值。

捕获部分决定部75在将显示部161的尺寸设为S（单位:像素数）、内容的图像的倍率设为b、RAM114的空闲容量设为m（单位:像素数）时，求出小于等于m/（b*S）的最大的整数n，将显示部161的尺寸S乘以n所得的值决定为捕获部分的尺寸。另外，这里，将RAM114的空闲容量的单位设为像素数，这是因为每个像素的字节数因内容的图像而发生变动。在存储容量用字节表示的情况下，采用将存储容量M（字节，bytes）除以每个像素的字节数而得到的值即可。

捕获部分决定部75决定捕获部分的尺寸时，将在中心包含显示部分的所决定的尺寸的区域决定为捕获部分。另外，显示部分位于内容的图像的端部的情况下，以捕获部分的全部包含内容的图像的至少一部分、且成为包含全部显示部分的位置的方式，决定捕获部分。捕获部分决定部75向捕获图像生成部76输出所决定的捕获部分。捕获部分是矩形的区域，用2个对角点确定。因而捕获部分在内容的图像中包含2个对角点的坐标。

在捕获图像生成部76中，从内容取得部71输入作为内容的Web页面，从捕获部分决定部75输入捕获部分，根据Web页面，生成捕获图像。具体地说，捕获图像生成部76响应从捕获部分决定部75输入捕获部分的情况，解析Web页面，生成与Web页面的捕获部分对应的图像。捕获图像生成部76将所生成的图像作为捕获图像向暂时存储控制部77输出。捕获部分决定部75在手势期间的开始时决定捕获部分，因此，捕获图像生成部76在手势期间的开始时生成捕获图像。

暂时存储控制部77在从捕获图像生成部76输入捕获图像时，将捕获图像存储在RAM114中，并且向显示用图像生成部78通知存储了捕获图像的情况。例如，通知在RAM114中存储的捕获图像的地址或文件名。这里，以通知捕获图像的文件名的情况为例进行说明。

在显示用图像生成部78中，从内容取得部71输入作为内容的Web页面，从显示部分决定部72输入显示部分，从手势期间检测部73输入手势期间信号，从暂时存储控制部77输入捕获图像的文件名。显示用图像生成部78在通过内容取得部71取得内容时、在手势期间的期间决定手势事件时、以及手势期间结束时，生成显示用图像。显示用图像生成部78将所生成的显示用图像向显示控制部79输出。

具体地说，显示用图像生成部78在手势期间的期间，根据在RAM114中存储的捕获图像，生成与显示部分对应的显示用图像。从RAM114读出从暂时存储控制部77输入的文件名的捕获图像，提取所读出的捕获图像中的、在手势期间由从显示部分决定部72输入的显示部分所确定的区域作为显示用图像。另外，显示用图像生成部78在通过内容取得部71取得Web页面时或手势期间结束时，根据从内容取得部71输入的Web页面，生成显示用图像。解析Web页面，将与Web页面的显示部分对应的图像生成为显示用图像。显示用图像生成部78将从由手势期间检测部73输入手势期间信号的状态变成不再输入手势期间信号的时间点判断为手势期间结束的时刻。

显示控制部79响应从显示用图像生成部78输入显示用图像的情况，在显示部161显示显示用图像。具体地说，显示控制部79为了在显示部161显示显示用图像，向仲裁部53输出应用指令。从而，通过操作部57，在显示部161所具备的VRAM（Video RAM）中存储显示用图像，在显示部161显示显示用图像。

图7是表示手势事件决定处理的流程的一个例子的流程图。手势事件决定处理是通过MFP100所具备的CPU111执行在ROM113、HDD115或CD-ROM118中存储的操作受理程序而由CPU111执行的处理。参照图7，CPU111判断是否检测到鼠标事件（步骤S01）。如果用户指示触摸面板165，则根据由触摸面板165检测的位置，检测鼠标事件。直到检测到鼠标事件为止，成为待机状态（步骤S01否），如果检测到鼠标事件（步骤S01是），使处理进入步骤S02。换言之，手势事件决定处理是以用户指示触摸面板165而检测到鼠标事件为条件执行的处理。

在步骤S02中，判断检测到的鼠标事件是否为一个。如果检测到一个鼠标事件，则使处理进入步骤S03，如果检测到多个鼠标事件，则使处理进入步骤S17。

在步骤S03中，根据鼠标事件的状态使处理分支。如果鼠标事件的状态为“按压”，则使处理进入步骤S04，如果为“移动”，则使处理进入步骤S09，如果为“释放”，则使处理进入步骤S05。在步骤S04中，启动定时器T1，使处理返回步骤S01。定时器T1对检测到状态为“按压”的鼠标事件起的经过时间进行计时。

在步骤S09中，判断定时器T1的值是否为阈值TT1以下。如果定时器T1的值为阈值TT1以下，则使处理进入步骤S10，否则使处理进入步骤S11。在步骤S10中，判断间隔是否为阈值TL以上。如果间隔为阈值TL以上，则使处理进入步骤S12，否则使处理进入步骤S11。间隔是由最初检测到的鼠标事件、换言之状态为“按压”的鼠标事件所包含的位置信息所确定的位置和由最接近的步骤S01中检测到的鼠标事件所包含的位置信息所确定的位置之间的距离。在步骤S11中，输出表示未决定鼠标事件的未决定信号，结束处理。在检测到状态为“按压”的鼠标事件起的经过时间为阈值TT1以内，未检测到表示从由“按压”的鼠标事件所表示的位置离开阈值TL以上的位置的手势事件的情况下，不决定手势事件，结束处理。这是因为，用户指示后即使经过阈值TT1的时间，指示的位置也不移动的情况下，不决定手势事件。另外，也可以决定以规定时间指示相同位置的手势事件。

处理进入步骤S12的情况是鼠标事件的状态为“移动”的情况，该鼠标事件的之前刚输入其他鼠标事件。其他鼠标事件的状态有“按压”的情况和“移动”的情况。在步骤S12中，决定指示方向。决定从由之前刚输入的其他鼠标事件所包含的位置信息所确定的位置朝向由步骤S01中检测到的鼠标事件所包含的位置信息所确定的位置的方向。这里决定的方向是与以显示部161的显示面为基准的上下左右的4个方向中所算出的方向最接近的方向。

在下一步骤S13中，算出指示距离L。将由之前刚输入的其他鼠标事件所包含的位置信息所确定的位置和由步骤S01中检测到的鼠标事件所包含的位置信息所确定的位置之间的距离作为指示距离L而算出。然后，判断指示距离L是否在阈值TH以上（步骤S14）。如果指示距离L在阈值TH以上，则使处理进入步骤S15，否则使处理进入步骤S16。

在步骤S15中，将手势事件决定为扫，使处理进入步骤S27。在步骤S16中，将手势事件决定为拂，使处理进入步骤S27。

在处理进入步骤S05的情况下，在步骤S01中检测到的鼠标事件的状态为“释放”。在鼠标事件的状态为“释放”的情况下，在该鼠标事件之前刚输入其他鼠标事件。其他鼠标事件的状态有“按压”的情况和“移动”的情况。在步骤S05中，根据之前刚输入的其他鼠标事件的状态使处理分支。如果之前刚输入的其他鼠标事件的状态为“按压”，则使处理进入步骤S06，否则使处理返回步骤S01。

在步骤S06中，判断与步骤S01中检测到的鼠标事件所包含的位置信息相同的位置信息是否被存储在RAM114中。如果被存储在RAM114中，则使处理进入步骤S07，否则使处理进入步骤S08。另外，这里所说的相同位置信息包含由2个位置信息分别确定的2个位置间的距离在规定的长度以内的情况。为了检测用户指示相同位置的操作，包含误差。

在步骤S08中，在RAM114中暂时存储步骤S01中检测到的鼠标事件所包含的位置信息，使处理进入步骤S32。在处理进入步骤S08的情况是之前刚输入的鼠标事件的状态为“按压”且接着输入的鼠标事件的状态为“释放”的情况，且是在RAM114中未存储相同位置信息的情况。换言之，是用户输入最初的敲击操作的情况。

在步骤S07中，将手势事件确定为双击，使处理进入步骤S27。处理进入步骤S07的情况是之前刚输入的鼠标事件的状态为“按压”、且在步骤S01中检测到的鼠标事件的状态为“释放”的情况，且是在RAM114中存储了相同位置信息的情况。换言之，是用户输入最初的敲击操作后，对与最初的敲击操作相同的位置进行敲击操作的情况。

处理进入步骤S17的情况是检测到2个鼠标事件的情况。在步骤S17中，判断2个鼠标事件的至少一方的状态是否为“移动”。如果2个鼠标事件的至少一方的状态为“移动”，则使处理进入步骤S18，否则使处理返回步骤S01。

在步骤S18中，算出角度。以显示部161的显示面的规定基准边为基准，算出连接由2个鼠标事件分别所包含的位置信息所确定的2个位置的直线与基准边所形成的角度。在下一步骤S19中，判断在步骤S18中算出的角度是否存在变化。如果在步骤S18中算出的角度与根据之前刚输入的其他2个鼠标事件算出的角度之差为规定的角度以上，则判断为角度发生变化。如果角度发生变化，则使处理进入步骤S20，否则使处理进入步骤S21。在步骤S20中，将手势事件决定为转动，使处理进入步骤S27。

在步骤S21中，算出距离。算出由2个鼠标事件分别所包含的位置信息所确定的2个位置间的距离。在下一步骤S22中，判断在步骤S21中所算出的距离是否存在变化。如果在步骤S21中算出的距离和根据之前刚输入的其他2个鼠标事件算出的距离之差为规定的长度以上，则判断为距离发生变化。如果距离变化，则使处理进入步骤S23，否则使处理返回步骤S01。

在步骤S23中，确定倍率。将步骤S21中算出的距离除以根据之前刚输入的其他2个鼠标事件所算出的距离所得到的值决定为倍率。在下一步骤S24中，判断倍率是否大于1。如果倍率大于1，则使处理进入步骤S25，否则使处理进入步骤S26。

在步骤S25中，将手势事件决定为捏放，使处理进入步骤S27。在步骤S26中，将手势事件决定为捏缩，使处理进入步骤S27。

在步骤S27中，判断是否定义了与所决定的手势事件对应的处理。判断在HDD115中存储的主表91中所确定的多种处理中，是否存在与设定成当前状态的应用程序对应而与手势事件相关联的处理。如果在主表91中所决定的手势事件与处理相关联，则判断为与设定成当前状态的应用程序对应而定义了与所决定的手势事件对应的处理。如果定义了与所决定的手势事件对应的处理，则使处理进入步骤S28，否则使处理进入步骤S32。在步骤S32中，输出未决定信号，结束处理。

在步骤S28中，输出所决定的手势事件，使处理进入步骤S29。在步骤S29中，启动定时器T2。定时器T2对输出手势事件后的经过时间进行计时。在步骤S30中，判断定时器T2的值是否为阈值TT2以上。如果定时器T2的值为阈值TT2以上，则结束处理，否则使处理进入步骤S31。在步骤S31中，判断是否检测到鼠标事件。如果检测到鼠标事件，则使处理返回步骤S28，否则使处理返回步骤S30。换言之，在输出手势事件后经过规定时间TT2前检测到鼠标事件的情况下，判断为用户继续输入与所决定的手势事件对应的操作。另外，也可以取代鼠标事件是否在规定时间TT2以内输入的判断，而根据鼠标事件的状态进行判断。在检测到状态为“移动”的鼠标事件的情况下，使处理返回步骤S28，在检测到状态为“释放”的鼠标事件的情况下，结束处理。

另外，在步骤S28中，处理从步骤S31进入的情况下，根据步骤S31中检测到的鼠标事件来决定参数，输出包含所决定的参数的手势事件。例如，在手势识别信息“扫”的手势事件及手势识别信息“拂”的手势事件中，在参数中包含使手指移动的距离。例如，手势识别信息“捏放”的手势事件及手势识别信息“捏缩”的手势事件在参数中包含2点间之间的距离。手势识别信息“转动”的手势事件在参数中包含角度。

图8是表示第1实施方式中的浏览处理的流程的一个例子的流程图。第1实施方式中的浏览处理是通过由MFP100具备的CPU111执行在ROM113、HDD115或CD-ROM118中存储的浏览程序而由CPU111执行的处理。参照图8，CPU111取得内容（步骤S51）。具体地说，从与因特网连接的服务器下载Web页面作为内容。Web页面是由操作MFP100的操作用户指定的URL所识别的Web页面。另外，也可以是由预定的URL识别的Web页面。另外，内容不限于Web页面，也可以是图像数据。

在步骤S52中，决定所取得的内容即Web页面中默认确定的显示部分。在步骤S53中，根据步骤S51中取得的内容即Web页面，生成与显示部分对应的显示用图像。然后，在显示部161显示所生成的显示用图像（步骤S54），使处理进入步骤S55。通过在显示部161的VRAM中存储显示用图像，在显示部161中显示显示用图像。

在步骤S55中，判断是否决定了手势事件。上述手势事件决定处理中，在输出手势事件时判断为决定了手势事件。如果决定了手势事件，则使处理进入步骤S56，否则使处理进入步骤S63。

在步骤S56中，判断手势期间是否开始。如果在步骤S55中决定手势事件的时刻前的规定时间期间未决定手势事件，则判断为手势期间开始。如果是手势期间开始，则使处理进入步骤S57，否则使处理进入步骤S60。

在步骤S57中，决定捕获部分。在执行步骤S57前的步骤S52或后述的步骤S60中决定显示部分。在步骤S57中，将包含显示部分的区域决定为捕获部分。在下一步骤S58中，生成与在步骤S57中所决定的捕获部分对应的捕获图像。生成在步骤S51中取得的Web页面中的、与步骤S57中所决定的捕获部分对应的部分的图像作为捕获图像。然后，将生成的捕获图像在RAM114中暂时地存储（步骤S59），使处理进入步骤S60。

在步骤S60中，根据步骤S55中所决定的手势事件，决定显示部分。在执行步骤S60前的步骤S52中决定显示部分，而且，在执行步骤S60前，已经执行了步骤S60的情况下，在已经执行的步骤S60中决定显示部分。因而，在步骤S60中，将已经决定的显示部分用根据手势事件变更后的显示部分更新。例如，在步骤S55中所决定的手势事件为手势识别信息“扫”的手势事件或手势识别信息“拂”的手势事件的情况下，使显示部分在上下左右的某一个方向平行移动。在为手势识别信息“捏放”的手势事件或手势识别信息“捏缩”的手势事件的情况下，缩小或放大显示部分。在为手势识别信息“转动”的手势事件的情况下，使显示部分旋转。

在下一步骤S61中，根据在RAM114中存储的捕获图像，生成显示用图像。提取捕获图像中的显示部分的图像，将所提取的图像、或放大或缩小所提取的图像后的图像、或使所提取的图像旋转后的图像设定成显示用图像。然后，在显示部161显示所生成的显示用图像（步骤S62），使处理进入步骤S64。

另一方面，在步骤S63中，判断手势期间是否结束。在规定期间未决定手势事件的情况下，判断为手势期间结束。如果手势期间结束，则使处理返回步骤S53，否则使处理进入步骤S64。

在步骤S64中，判断是否接受结束内容的显示的指示。例如，如果指示了硬键部167所包含的多个键中的、分配了结束浏览程序的指示的键，则接受结束内容的显示的指示。如果接受了结束内容的显示的指示，则结束处理，否则使处理返回步骤S55。

因而，在手势期间中，根据在RAM114中存储的捕获图像，生成并显示显示用图像。另外，在手势期间开始时，执行步骤S57～S59，在RAM114中存储捕获图像。从而，显示用图像生成前，在RAM114存储了捕获图像，因此，在手势期间中，不必解析Web页面而从Web页面生成显示用图像。

本实施方式中的MFP100在一次的手势期间中，解析Web页面，生成一次捕获图像即可，在生成捕获图像后，每次决定手势事件时，从捕获图像生成显示用图像即可。从捕获图像生成显示用图像的处理的负荷比解析Web页面而从Web页面生成显示用图像的处理的负荷小。因而，可以缩短生成显示用图像的时间，缩短用户输入操作起到显示用图像显示为止的响应时间。特别地，在手势期间中，每次生成鼠标事件时，决定手势事件，因此，生成显示用图像的次数多，从而可以缩短手势期间中的上述响应时间。

图9是表示Web页面整体的图像的一个例子的图。图9所示的Web页面整体的图像与从因特网连接的服务器下载的Web页面对应。这里，以记述了介绍销售商品的店铺的内容的情况为例来说明Web页面。

参照图9，Web页面整体的图像300在Web页面中，包含2个嵌入区域310、311。嵌入区域310、311是与下载的Web页面链接的数据的图像。

在嵌入区域310配置了表示该店的场所的地图的图像，在嵌入区域311配置了显示该店销售的商品的清单的图像。虚线表示的区域301表示Web页面整体的图像300中默认确定的显示部分，虚线表示的区域303及区域301合起来的区域305表示捕获部分的捕获图像。另外，表示区域301、303的虚线为了说明而附加，在显示用图像300中实际不存在。

在该例中，在下载Web页面的阶段，作为捕获部分的区域301及区域303合起来的捕获部分305的捕获图像被存储在RAM114中。因而，也下载嵌入区域310及嵌入区域311的图像的元数据。

图10是表示显示用图像的一个例子的第1图。参照图10，显示用图像331是将图9所示的Web页面整体的图像300中的区域301设为显示部分的情况。显示用图像331包含在Web页面整体的图像300中配置的嵌入区域310。

图11是表示显示用图像的一个例子的第2图。显示用图像341是将图9所示的Web页面整体的图像300中的区域303设为显示部分的情况。显示用图像341包含在Web页面整体的图像300所配置的嵌入区域311。在显示部161显示图10所示的显示用图像331的阶段，输入扫操作后，在显示部161显示图11所示显示用图像341。从图9所示的Web页面整体的图像300中的捕获部分305生成图11所示显示用图像。捕获部分305的捕获图像被存储在RAM114中，因此不必下载嵌入区域311的元数据。因而，与解析Web页面而生成的情况比较，可以短时间内生成显示用图像341。

如以上说明的那样，第1实施方式中的MFP100决定手势事件时，根据所决定的手势事件来决定显示部分，而且，决定包含有显示部分的捕获部分，解析在服务器中存储的Web页面，生成与捕获部分对应的捕获图像，暂时存储在RAM114中。然后，根据手势事件决定显示部分时，根据在RAM114中暂时存储的捕获图像，生成与显示部分对应的显示用图像，在显示部161显示。根据手势事件来决定显示部分，生成显示用图像，但是，根据捕获图像来生成显示用图像，因此可以减少解析Web页面而生成显示用图像的次数。因而，执行生成显示用图像的处理的CPU111的负荷变小，因此，可以缩短用户输入操作后到显示内容的图像为止的响应时间。

另外，在手势期间开始的时刻，决定包含有所决定的显示部分的捕获部分，暂时存储在RAM114中。然后，在手势期间的期间，每次决定显示部分时，根据在RAM114中暂时存储的捕获图像，生成与显示部分对应的显示用图像。另一方面，从服务器取得决定手势事件前的Web页面时或手势期间结束时，解析从服务器取得的Web页面，生成显示用图像。因而，在手势期间开始的时刻，在RAM114中暂时存储捕获图像，在手势期间的期间，根据在RAM114中暂时存储的捕获图像，生成与显示部分对应的显示用图像。因此，在手势期间，根据手势期间开始时生成的捕获图像来生成显示用图像，因此，可以减少根据Web页面生成显示用图像的次数。

另外，根据显示部161的尺寸、显示用图像的倍率、RAM114的空闲容量，决定捕获部分的尺寸，因此，可以有效利用RAM114的空闲区域。

而且，通过执行由浏览程序确定的多种处理中与用户输入的手势事件对应的种类的处理，决定显示部分，因此，可以用由浏览程序确定的方法，来决定显示部分。

<变形例>

在上述第1实施方式中，MFP100在手势期间的开始时刻生成捕获图像，在手势期间的期间，根据捕获图像生成显示用图像，在显示部161进行显示。不同点在于，变形例中的MFP100A将生成捕获图像的定时设为取得内容时或手势期间结束时。其他功能与上述第1实施方式中的MFP100相同，因此这里主要说明不同的部分。

图12是表示第1实施方式的变形例中的MFP具备的CPU所具有的功能的一个例子以及HDD存储的信息的方框图。参照图12，与图5所示的功能不同点在于，捕获部分决定部75及显示用图像生成部78变更为捕获部分决定部75A及显示用图像生成部78A。其他功能与图5所示的功能相同，因此这里不再重复说明。

捕获部分决定部75A从显示部分决定部72输入显示部分，从手势期间检测部73输入手势期间信号。捕获部分决定部75A在由内容取得部71取得内容时及手势期间结束时，决定包含有从显示部分决定部72输入的显示部分的捕获部分。显示部分决定部72在由内容取得部71取得内容时及从手势事件决定部83输入手势事件时，输出显示部分。捕获部分决定部75A在未从手势期间检测部73输入手势期间信号的期间，从显示部分决定部72输入了显示部分的情况下，决定包含有该显示部分的捕获部分。捕获部分决定部75A从由手势期间检测部73输入手势期间信号的状态变为不再输入手势期间信号的情况下，将最后输入手势期间信号的时间点判断为手势期间结束的时刻。捕获部分决定部75A在手势期间结束的时刻，决定包含有从显示部分决定部72输入的显示部分的捕获部分。

捕获部分是内容的图像中的至少一部分，包含显示部分，面积比显示部分大。捕获部分的决定方法没有特别限定，可以任意确定捕获部分的位置及尺寸。捕获部分决定部75A决定捕获部分的方法与上述捕获部分决定部75决定捕获部分的方法相同。因此，这里不重复说明。

在显示用图像生成部78A中，从显示部分决定部72输入显示部分，从手势期间检测部73输入手势期间信号，从暂时存储控制部77输入捕获图像的文件名。显示用图像生成部78A根据在RAM114中存储的捕获图像，生成与显示部分对应的显示用图像。将从暂时存储控制部77输入的文件名的捕获图像从RAM114中读出，将在读出的捕获图像中的、在手势期间由从显示部分决定部72输入的显示部分所确定的区域作为显示用图像提取。

显示用图像生成部78A在由内容取得部71取得内容时、在手势期间的期间决定手势事件时、以及手势期间结束时，生成显示用图像。显示用图像生成部78A将所生成的显示用图像向显示控制部79输出。在由内容取得部71取得内容时，在RAM114中存储的捕获图像是通过捕获部分决定部75A在由内容取得部71取得内容时所决定的捕获部分所对应的图像。手势期间的期间在RAM114中存储的捕获图像是通过捕获部分决定部75A在该手势期间前的手势期间结束时所决定的捕获部分所对应的图像。手势期间结束时在RAM114中存储的捕获图像是通过捕获部分决定部75A在该手势期间结束时所决定的捕获部分所对应的图像。

在变形例中的MFP100A中，在取得Web页面的时刻及手势期间结束的时刻，由捕获图像生成部76生成的捕获图像通过暂时存储控制部77存储在RAM114中。由此，显示用图像生成部78A在取得Web页面的时刻，根据由捕获图像生成部76在取得Web页面的时刻所生成的捕获图像，生成显示用图像。显示用图像生成部78A在每次决定手势事件时，根据在该手势事件所属的手势期间前的手势期间结束的时刻由捕获图像生成部76生成的捕获图像，生成显示用图像。而且，显示用图像生成部78A在手势期间结束时，根据由捕获图像生成部76在该手势期间结束的时刻生成的捕获图像，生成显示用图像。因此，显示用图像生成部78A生成显示用图像前，在RAM114中存储了捕获图像，因此不需要决定捕获部分并生成捕获图像的时间。

图13是表示第1实施方式的变形例中的浏览处理的流程的一个例子的流程图。参照图13，变形例中的浏览处理与图8所示的第1实施方式中的浏览处理的不同点在于：步骤S53变更为步骤S53A；在步骤S52和步骤S53A之间追加步骤S71～S73；删除步骤S56～步骤S59。其他处理与图8所示的处理相同，因此这里不再重复说明。

在步骤S52中决定了显示部分后，在步骤S71中，决定捕获部分。将包含有在步骤S52中所决定的显示部分的区域决定为捕获部分，在执行后述步骤S60时，将包含有在步骤S60中所决定的显示部分的区域决定为捕获部分。

在下一步骤S72中，生成与在步骤S71中所决定的捕获部分对应的捕获图像。生成在步骤S51中取得的Web页面中的、在步骤S71中确定的捕获部分所对应的部分的图像作为捕获图像。然后，将所生成的捕获图像暂时地存储在RAM114中（步骤S73），使处理进入步骤S53A。

在步骤S53A中，根据在步骤S73中在RAM114中存储的捕获图像，生成显示用图像。从捕获图像中提取显示部分的图像，将所提取的图像、或将所提取的图像放大或缩小后的图像、或将所提取的图像旋转后的图像设定成显示用图像。然后，在显示部161显示所生成的显示用图像（步骤S54），使处理进入步骤S55。

在步骤S55中，判断是否决定了手势事件。如果决定了手势事件，则使处理进入步骤S60，否则使处理进入步骤S63。

在步骤S60中，根据在步骤S55中所决定的手势事件，决定显示部分。在下一步骤S61中，根据在RAM114中存储的捕获图像，生成显示用图像。然后，在显示部161中显示所生成的显示用图像（步骤S62），使处理进入步骤S64。

因而，在手势期间中，根据在RAM114中存储的捕获图像，生成显示用图像并显示。

另外，在使处理从步骤S52进入步骤S71的情况下，在取得Web页面时，在RAM114中存储捕获图像，在使处理从步骤S63进入步骤S71的情况下，在手势期间结束时，在RAM114中存储捕获图像。因而，在取得Web页面时，在该时刻，根据从Web页面所生成的捕获图像，生成显示用图像，在手势期间，在其之前的手势期间结束的时刻，根据从Web页面所生成的捕获图像，生成显示用图像。因此，在生成显示用图像前，在RAM114中存储了捕获图像，因此，不必在手势期间中决定捕获部分来生成捕获图像。因而，可以缩短生成显示用图像的时间，缩短从用户输入操作起到显示显示用图像为止的响应时间。

如上所述，第1实施方式的变形例中的MFP100A中，在取得在服务器中存储的Web页面的时刻，决定包含有此时所决定的显示部分的捕获部分。另外，在手势期间结束的时刻，决定包含有此时所决定的显示部分的捕获部分。因而，在取得Web页面的时刻或手势期间结束的时刻，在RAM114中暂时存储捕获图像，在手势期间的期间，根据暂时存储的捕获图像，生成与显示部分对应的显示用图像。因此，在手势期间，根据在手势期间开始前生成的捕获图像来生成显示用图像，因此，不必在手势期间根据内容来生成显示用图像。

<第2实施方式>

上述第1实施方式中，以MFP100取得Web页面作为内容的情况为例进行了说明。第2实施方式中的MFP100B以地图等的图像作为内容，取得内容的一部分，这一点不同于取得Web页面的整体的第1实施方式中的MFP100及变形例中的MFP100A。以下，主要说明与第1实施方式的变形例中的MFP100A的不同点。

图14是表示第2实施方式中的MFP具备的CPU所具有的功能的一个例子以及在HDD中存储的信息的方框图。参照图14，与图12所示的功能的不同点在于，内容取得部71、显示部分决定部72、捕获部分决定部75A、捕获图像生成部76及显示用图像生成部78A变更为内容取得部71B、显示部分决定部72B、捕获部分决定部75B、捕获图像取得部76B及显示用图像生成部78B。其他功能与图12所示的功能相同，因此这里不再重复说明。

内容取得部71B取得在与因特网连接的服务器中存储的内容的一部分。内容取得部71B向服务器发送包含确定内容的一部分的位置信息的发送请求，从服务器取得内容中由位置信息所确定的部分。这里，为了说明，以服务器存储地图的图像作为内容的情况为例进行说明。

显示部分决定部72B将在服务器中存储的内容的至少一部分决定为显示部分。显示部分决定部72B在浏览程序刚刚启动后，将在服务器中存储的内容中默认确定的部分决定为显示部分。另外，默认确定的显示部分可以由服务器确定，也可以由在服务器中所存储的内容确定。

显示部分决定部72B在从手势事件决定部83输入手势事件的情况下，在每次输入手势事件时，决定显示部分。显示部分决定部72B将所决定的显示部分向捕获部分决定部75B输出。显示部分是矩形的区域，用2个对角点确定。因而显示部分在内容的图像中包含2个对角点的坐标。

在捕获部分决定部75B中，从显示部分决定部72B输入显示部分，从手势期间检测部73输入手势期间信号。捕获部分决定部75B在浏览程序启动时及手势期间结束时，决定包含有从显示部分决定部72B输入的显示部分的捕获部分。显示部分决定部72B在浏览程序刚刚启动后及从手势事件决定部83输入手势事件时，输出显示部分。捕获部分决定部75B在从手势期间检测部73未输入手势期间信号的期间，从显示部分决定部72B输入显示部分的情况下，决定包含有该显示部分的捕获部分。捕获部分决定部75B在从由手势期间检测部73输入手势期间信号的状态变为不再输入手势期间信号的情况下，将最后输入手势期间信号的时间点判断为手势期间结束的时刻。捕获部分决定部75B在手势期间结束的时刻，决定包含有从显示部分决定部72B输入的显示部分的捕获部分。

捕获部分是内容的图像中的至少一部分，包含显示部分，面积比显示部分大。捕获部分的决定方法可以任意确定捕获部分。捕获部分决定部75B决定捕获部分的方法与第1实施方式中的捕获部分决定部75决定捕获部分的方法相同。因此，这里不再重复说明。

捕获图像取得部76B从捕获部分决定部75B输入捕获部分，将捕获部分向内容取得部71B输出，由内容取得部71B取得内容的捕获部分的图像即捕获图像。内容取得部71B从捕获图像取得部76B输入捕获部分时，向服务器发送包含确定捕获部分的位置信息的发送请求，从服务器取得内容的捕获部分的图像即捕获图像。内容取得部71B将所取得的内容的捕获图像向捕获图像取得部76B输出。捕获图像取得部76B向暂时存储控制部77输出所取得的捕获图像。捕获部分决定部75B在启动浏览程序时及手势期间结束时决定捕获部分，因此，捕获图像取得部76B在启动浏览程序时及手势期间结束时取得捕获图像。

在显示用图像生成部78B中，从显示部分决定部72B输入显示部分，从手势期间检测部73输入手势期间信号，从暂时存储控制部77输入捕获图像的文件名。显示用图像生成部78B根据在RAM114中存储的捕获图像，生成与显示部分对应的显示用图像。将从暂时存储控制部77输入的文件名的捕获图像从RAM114中读出，将所读出的捕获图像中的、由在手势期间从显示部分决定部72B输入的显示部分所确定的区域作为显示用图像提取。

显示用图像生成部78B在启动浏览程序时、在手势期间的期间决定手势事件时、以及手势期间结束时，生成显示用图像。显示用图像生成部78B将所生成的显示用图像向显示控制部79输出。在启动浏览程序时，在RAM114中存储的捕获图像是与通过捕获部分决定部75B在启动浏览程序时所决定的捕获部分对应的图像。在手势期间的期间，在RAM114中存储的捕获图像是与通过捕获部分决定部75B在该手势期间前的手势期间结束时所决定的捕获部分对应的图像。手势期间结束时在RAM114中存储的捕获图像是与通过捕获部分决定部75B在该手势期间结束时所决定的捕获部分对应的图像。

在第2实施方式中的MFP100B中，在启动浏览程序的时刻及手势期间结束的时刻，由捕获图像取得部76B从服务器取得的捕获图像通过暂时存储控制部77被存储在RAM114中。因而，显示用图像生成部78B在启动浏览程序的时刻，根据由捕获图像取得部76B从服务器接收的捕获图像，生成显示用图像。显示用图像生成部78B在每次决定手势事件时，根据在该手势事件所属的手势期间前的手势期间结束的时刻由捕获图像取得部76B从服务器接收的捕获图像，生成显示用图像。而且，显示用图像生成部78B在手势期间结束时，根据由捕获图像取得部76B在该手势期间结束的时刻从服务器接收的捕获图像，生成显示用图像。从而，在显示用图像生成部78B生成显示用图像的阶段，不必从服务器取得捕获图像。

图15是表示第2实施方式中的浏览处理的流程的一个例子的流程图。参照图15，第2实施方式中的浏览处理与图13所示的第1实施方式的变形例中的浏览处理的不同点在于：删除了步骤S51；步骤S52及步骤S72分别变更为步骤S52B及步骤S72B。其他处理与图13所示的处理相同，因此这里不再重复说明。

在步骤S52B中，决定默认的显示部分。将根据浏览程序或在服务器中存储的内容而预先确定的部分决定为显示部分。

步骤S52B中决定显示部分后，在步骤S71中，决定捕获部分。将包含有在步骤S52B中所决定的显示部分的区域决定为捕获部分，在执行步骤S60时，将包含有在步骤S60中所决定的显示部分的区域决定为捕获部分。

在下一步骤S72B中，从服务器取得与在步骤S71中所决定的捕获部分对应的捕获图像。向服务器发送包含用于确定捕获部分的位置信息的发送请求，取得服务器发送的内容的一部分作为捕获图像。然后，将在步骤S72B中取得的捕获图像暂时地存储在RAM114中（步骤S73），使处理进入步骤S53A。

在第2实施方式中的MFP100B与第1实施方式的变形例中的MFP100A同样地，在手势期间中，根据在RAM114中存储的捕获图像，生成显示用图像并进行显示。

另外，在处理从步骤S52B进入步骤S71的情况下，在启动浏览程序时在RAM114中存储捕获图像，在处理从步骤S63进入步骤S71的情况下，在手势期间结束时在RAM114中存储捕获图像。因而，在启动浏览程序时在该时刻，根据从服务器接收的捕获图像，生成显示用图像，在手势期间，在其之前的手势期间结束的时刻，根据从服务器接收的捕获图像，生成显示用图像。因此，在生成显示用图像前，在RAM114中存储捕获图像，因此，不必在手势期间中决定捕获部分而生成捕获图像。因而，可以缩短生成显示用图像的时间，缩短用户输入操作起到显示显示用图像为止的响应时间。

图16是表示在服务器中存储的地图的图像数据的一个例子的图。参照图16，地图的图像401包含用虚线表示的区域403及区域405。区域403是地图中默认确定的显示部分。区域405是与作为显示部分的区域403对应的捕获部分。在该例中，在由MFP100B从服务器下载地图的时刻，下载捕获部分的区域405并存储在RAM114中，并且在显示部161显示区域403。

图17是表示默认显示的显示用图像的一个例子的图。参照图17，显示用图像413与图16所示的地图的图像401中的默认的显示部分403对应。在显示部161显示显示用图像413的状态下，如果用户输入捏缩操作，则在显示部161显示将显示用图像413缩小后的图像。

图18是表示捏缩操作后的显示用图像的一个例子的图。在该情况下，本实施方式中的MFP100B生成新的显示用图像时，图16所示的捕获图像405被存储在RAM114中，根据该捕获图像405生成显示用图像，因此不必从服务器下载此前显示的显示部分403以外的部分。因而，可以缩短从输入捏缩操作起到显示新的显示用图像为止的响应时间。

图19是表示在不生成捕获图像时的捏缩操作后的显示用图像的一个例子的图。参照图19，将捏缩操作前在显示部161显示的显示用图像413缩小后的图像413A显示在显示部161，直到从服务器下载显示部分403的周边的部分的图像为止，图像413A的周边什么都不显示。

如上所述，第2实施方式中的MFP100B在取得在服务器中存储的地图的一部分前的时刻，决定包含有显示部分的捕获部分，取得在服务器中存储的地图中与捕获部分对应的捕获图像，在RAM114中暂时存储。然后，在决定手势事件时，根据所决定的手势事件，决定显示部分，在手势期间的期间，根据在RAM114中暂时存储的捕获图像，生成与显示部分对应的显示用图像，在显示部161显示。根据手势事件决定显示部分，生成显示用图像，而在手势期间的期间，根据捕获图像生成显示用图像。因此，在手势期间的期间生成显示用图像，因此不必从服务器取得地图的一部分。因而，在手势期间的期间，不从服务器取得内容，因此可以缩短从用户输入操作起到显示内容的图像为止的响应时间。

另外，在上述实施方式中，作为数据处理装置的一个例子，说明了MFP100、100A、100B，但是，当然也可以将发明理解为使控制MFP100、100A、100B的CPU111执行图8、图13或图15所示的处理的内容显示方法、以及使CPU111执行该内容显示方法的浏览程序，。

应该认为本次公开的实施方式在所有点只是例示而不是限制性。本发明的范围不是上述的说明，而是由权利要求书表示，意图包含与权利要求书等同的意思及范围内的全部变更。

<附记>

（1）优选的是，上述尺寸决定单元在上述显示单元的尺寸设为S、上述显示用图像的倍率设为b、上述存储器的空闲容量设为m的情况下，将小于等于m/（b*S）的最大的整数n乘以S后所得的值决定为上述捕获部分的尺寸。

（2）优选的是，上述捕获部分决定单元具备：第1形状决定单元，在上述显示部分的纵向为上述内容的图像的纵向以上的情况下，将上述捕获部分决定为使上述显示部分横向放大后的形状。

（3）优选的是，上述捕获部分决定单元具备：第2形状决定单元，在上述显示部分的横向为上述内容的图像的横向以上的情况下，将上述捕获部分决定为使上述显示部分纵向放大后的形状。

（4）优选的是，上述控制单元还具备：

关联单元，在安装上述浏览程序的阶段，与上述浏览程序对应地，将上述浏览程序确定的上述多种处理与对应的多个手势事件关联起来；以及

鼠标事件生成单元，响应上述位置检测单元检测到一个以上的位置的情况，生成包含表示上述一个以上的位置的每个位置的位置信息的鼠标事件，

上述手势事件决定单元以由上述鼠标事件生成单元生成的一个以上的鼠标事件的组对应的手势事件通过上述关联单元而与上述浏览程序对应地与上述多种处理中的某一个关联起来作为条件，决定上述手势事件。

Claims (22)

1.一种数据处理装置，具备：

显示单元，能够显示图像；

位置检测单元，在上述显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及

控制单元，

上述控制单元包括：

浏览单元，执行浏览程序，使上述显示单元显示作为在外部存储的内容的至少一部分的显示部分；和

手势事件决定单元，响应由上述位置检测单元检测到一个以上的位置的情况，根据上述一个以上的位置，决定多个手势事件中的某一个，

上述浏览单元包括：

显示部分决定单元，根据由上述手势事件决定单元决定的手势事件，决定上述显示部分；

捕获部分决定单元，决定包含有由上述显示部分决定单元决定的显示部分的捕获部分；

捕获图像生成单元，响应决定上述捕获部分的情况，根据在外部存储的上述内容，生成与所决定的上述捕获部分对应的捕获图像；

暂时存储控制单元，暂时存储所生成的上述捕获图像；

显示用图像生成单元，根据暂时存储的上述捕获图像，生成与所决定的上述显示部分对应的显示用图像；以及

显示控制单元，在上述显示单元中显示所生成的上述显示用图像。

2.根据权利要求1所述的数据处理装置，其特征在于，

上述捕获部分决定单元在由上述手势事件决定单元连续决定手势事件的手势期间开始的时刻，决定包含有由上述显示部分决定单元决定的显示部分的捕获部分，

上述显示用图像生成单元在上述手势期间的期间，根据暂时存储的上述捕获图像，生成与所决定的上述显示部分对应的显示用图像，在由上述手势事件决定单元决定手势事件前的时间点或上述手势期间结束的时间点，根据在外部存储的上述内容，生成上述显示用图像。

3.根据权利要求1所述的数据处理装置，其特征在于，

上述捕获部分决定单元在取得上述内容的时刻或由上述手势事件决定单元连续决定手势事件的手势期间结束的时刻，决定包含有由上述显示部分决定单元决定的显示部分的捕获部分。

4.一种数据处理装置，具备：

显示单元，能够显示图像；

位置检测单元，在上述显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及

控制单元，

上述控制单元包括：

浏览单元，执行浏览程序，使上述显示单元显示作为在外部存储的内容的至少一部分的显示部分；和

手势事件决定单元，响应由上述位置检测单元检测到一个以上的位置的情况，根据上述一个以上的位置，决定多个手势事件中的某一个，

上述浏览单元包括：

显示部分决定单元，根据由上述手势事件决定单元决定的手势事件，决定上述显示部分；

捕获部分决定单元，在取得在外部存储的上述内容的一部分前的时刻，决定包含有由上述显示部分决定单元决定的显示部分的捕获部分；

捕获图像取得单元，响应决定上述捕获部分的情况，取得在外部存储的上述内容中的与所决定的上述捕获部分对应的捕获图像；

暂时存储控制单元，暂时存储所取得的上述捕获图像；

显示用图像生成单元，在由上述手势事件决定单元连续决定手势事件的手势期间的期间，根据暂时存储的上述捕获图像，生成与所决定的上述显示部分对应的显示用图像；以及

显示控制单元，在上述显示单元中显示所生成的上述显示用图像。

5.根据权利要求4所述的数据处理装置，其特征在于，

上述捕获部分决定单元响应上述手势期间结束的情况，决定上述捕获部分。

6.根据权利要求1～5的任一项所述的数据处理装置，其特征在于，

上述显示部分决定单元在由上述手势事件决定单元决定手势事件前，决定默认的显示部分。

7.根据权利要求1～5的任一项所述的数据处理装置，其特征在于，

上述暂时存储控制单元还具备用于暂时存储上述捕获图像的存储器，

上述捕获部分决定单元包含根据上述显示单元的尺寸、上述显示用图像的倍率、上述存储器的空闲容量来决定上述捕获部分的尺寸的尺寸决定单元。

8.根据权利要求6所述的数据处理装置，其特征在于，

上述暂时存储控制单元还具备用于暂时存储上述捕获图像的存储器，

上述捕获部分决定单元包含根据上述显示单元的尺寸、上述显示用图像的倍率、上述存储器的空闲容量来决定上述捕获部分的尺寸的尺寸决定单元。

9.根据权利要求1～5的任一项所述的数据处理装置，其特征在于，

上述显示部分决定单元响应由上述手势事件决定单元决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分。

10.根据权利要求6所述的数据处理装置，其特征在于，

上述显示部分决定单元响应由上述手势事件决定单元决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分。

11.根据权利要求7所述的数据处理装置，其特征在于，

上述显示部分决定单元响应由上述手势事件决定单元决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分。

12.一种由数据处理装置执行的内容显示方法，其中，

上述数据处理装置具备：显示单元，能够显示图像；位置检测单元，在上述显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及手势事件决定单元，响应由上述位置检测单元检测到一个以上的位置的情况，根据上述一个以上的位置，决定多个手势事件中的某一个，

使上述数据处理装置执行浏览步骤，在该浏览步骤中执行浏览程序，从外部取得内容，使上述显示单元显示作为所取得的上述内容的至少一部分的显示部分的图像，

上述浏览步骤包括：

显示部分决定步骤，根据由上述手势事件决定单元决定的手势事件，决定上述显示部分；

捕获部分决定步骤，决定包含有在上述显示部分决定步骤中决定的显示部分的捕获部分；

捕获图像生成步骤，响应决定上述捕获部分的情况，根据所取得的上述内容，生成与所决定的上述捕获部分对应的捕获图像；

暂时存储控制步骤，暂时存储所生成的上述捕获图像；

显示用图像生成步骤，根据暂时存储的上述捕获图像，生成与所决定的上述显示部分对应的显示用图像；以及

显示控制步骤，在上述显示单元中显示所生成的上述显示用图像。

13.根据权利要求12所述的内容显示方法，其特征在于，

上述捕获部分决定步骤包括：在由上述手势事件决定单元连续决定手势事件的手势期间开始的时刻，决定包含有在上述显示部分决定步骤中所决定的显示部分的捕获部分的步骤，

上述显示用图像生成步骤包含：在上述手势期间的期间，根据暂时存储的上述捕获图像生成与所决定的上述显示部分对应的显示用图像的步骤；在由上述手势事件决定单元决定手势事件前的时间点或上述手势期间结束的时间点，根据在外部存储的上述内容生成上述显示用图像的步骤。

14.根据权利要求12所述的内容显示方法，其特征在于，

上述捕获部分决定步骤包含：在取得上述内容的时刻或由上述手势事件决定单元连续决定手势事件的手势期间结束的时刻，决定包含有在上述显示部分决定步骤中所决定的显示部分的捕获部分的步骤。

15.一种由数据处理装置执行的内容显示方法，其中，

上述数据处理装置具备：显示单元，能够显示图像；位置检测单元，在上述显示单元的显示面中，能够检测由用户指示的一个以上的位置；以及手势事件决定单元，响应由上述位置检测单元检测到一个以上的位置的情况，根据上述一个以上的位置，决定多个手势事件中的某一个，

使上述数据处理装置执行浏览步骤，在该浏览步骤中执行浏览程序，使上述显示单元显示在外部存储的内容的至少一部分，

上述浏览步骤包括：

显示部分决定步骤，根据由上述手势事件决定单元决定的手势事件，将在外部存储的上述内容的一部分决定为显示部分；

捕获部分决定步骤，在取得在外部存储的上述内容的一部分前的时刻，决定包含有在上述显示部分决定步骤中决定的显示部分的捕获部分；

捕获图像取得步骤，响应决定上述捕获部分的情况，取得在外部存储的上述内容中的与所决定的上述捕获部分对应的捕获图像；

暂时存储控制步骤，暂时存储所取得的上述捕获图像；

显示用图像生成步骤，在由上述手势事件决定单元连续决定手势事件的手势期间的期间，根据暂时存储的上述捕获图像，生成与所决定的上述显示部分对应的显示用图像；以及

显示控制步骤，在上述显示单元中显示所生成的上述显示用图像。

16.根据权利要求15所述的内容显示方法，其特征在于，

上述捕获部分决定步骤包括：响应上述手势期间结束的情况，决定上述捕获部分的步骤。

17.根据权利要求12～16的任一项所述的内容显示方法，其特征在于，

上述显示部分决定步骤包括：由上述手势事件决定单元决定手势事件前，决定默认的显示部分的步骤。

18.根据权利要求12～16的任一项所述的内容显示方法，其特征在于，

上述数据处理装置还具备在上述暂时存储控制步骤中用于暂时存储上述捕获图像的存储器，

上述捕获部分决定步骤包含根据上述显示单元的尺寸、上述显示用图像的倍率、上述存储器的空闲容量来决定上述捕获部分的尺寸的尺寸决定步骤。

19.根据权利要求17所述的内容显示方法，其特征在于，

上述数据处理装置还具备在上述暂时存储控制步骤中用于暂时存储上述捕获图像的存储器，

上述捕获部分决定步骤包含根据上述显示单元的尺寸、上述显示用图像的倍率、上述存储器的空闲容量来决定上述捕获部分的尺寸的尺寸决定步骤。

20.根据权利要求12～16的任一项所述的内容显示方法，其特征在于，

上述显示部分决定步骤包含：响应在上述手势事件决定步骤中决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分的步骤。

21.根据权利要求17所述的内容显示方法，其特征在于，

上述显示部分决定步骤包含：响应在上述手势事件决定步骤中决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分的步骤。

22.根据权利要求18所述的内容显示方法，其特征在于，

上述显示部分决定步骤包含：响应在上述手势事件决定步骤中决定手势事件的情况，通过执行由上述浏览程序确定的多种处理中的与所输入的上述手势事件对应的种类的处理，来决定上述显示部分的步骤。