CN103577096B - 移动终端装置、操作方法、程序和存储介质 - Google Patents

Abstract

本发明涉及移动终端装置、操作方法、程序和存储介质。该移动终端装置包括：触摸面板，在触摸面板上用指示物执行特定的输入操作；输入检测单元；和操作确定单元。输入检测单元基于指示物在触摸面板上的位置检测输入操作的模式，并且当在特定时间段未检测到在触摸面板上执行的输入操作时，降低布置用于检测在触摸面板上执行的输入操作的处理的执行频率。当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的模式时，操作确定单元使被确定成与输入操作的该模式相关的操作目标的受控单元执行特定操作。

Description

移动终端装置、操作方法、程序和存储介质

技术领域

本公开涉及应用于用户对触摸面板执行输入操作以执行特定功能的情况的移动终端装置、操作方法、程序和存储介质。

背景技术

近年来，包括移动电话终端、具有通话功能的高性能型信息终端（被称作智能电话）、平板型终端等的终端装置已经越来越多地采用触摸面板作为用户执行操作输入的输入装置。触摸面板是包括集成为一体的显示图像等的显示单元和诸如触摸传感器的位置输入装置的装置。

在包括触摸面板的终端装置中，例如，特定操作被用户输入到显示在显示单元的屏幕上的各种图标，从而应用软件（在下文中经常简写为“应用”）运行。应用与图标相关联，并根据操作输入的细节执行操作。作为操作输入方法，通过轻敲屏幕实现的轻敲（tap）操作、通过将包括触摸手指、触笔等的指示物从特定位置移动到不同位置实现的拖拽操作、通过将屏幕上的手指或指示物按照快速扫划（sweep stroke）的方式移动而实现的轻拂（flick）操作、通过轻敲屏幕实现的轻敲操作等已经是可行的。

基于例如关于在用户的手指或指示物触摸或靠近的屏幕上定义的坐标位置的信息确定各种操作，其中所述信息是在从手指或指示物触摸屏幕时到手指或指示物离开屏幕时执行的一系列操作过程中获得的。具体地，关于例如每单位时间的坐标位置的变化量、坐标位置的移动速度、屏幕上检测到触摸的区域等的信息被用作说明操作输入的细节的信息。

然后，在移动终端装置中，当在固定时间段内没有来自用户的操作输入时，切换到作为节电模式的挂起状态，从而降低功耗。在挂起状态下，减少了显示单元的背光的光量，或者停止各种功能以降低功耗。然而，由于在切换到挂起状态之前执行的操作输入的细节等存储在存储器中，所以通过在从挂起状态唤醒（称为“唤醒”）之后从存储器读取操作输入的细节等，可再次开始处理。在下面的描述中，从挂起状态唤醒要执行的处理被称作“恢复（resume）”。

图17是示出公知的移动终端装置100的示例性外部构造的示意图。图17A示出了从挂起状态唤醒移动终端装置100要执行的示例性操作，图17B示出了通过恢复而启动应用并在显示单元102上显示图标等的示例。

移动终端装置100包括触摸面板101、叠加在触摸面板101上的显示单元102和设置用来显示主屏幕图像的主按钮103。当移动终端装置100处于挂起状态时，用户通过用手指按压主按钮103执行操作（见图17A）。当移动终端装置100通过恢复而唤醒时，主屏幕图像显示在显示单元102上（见图17B）。在主屏幕图像上，显示各种类型的视频、功能图标的列表。

此外，通过检测在触摸面板上执行的操作开始装置的操作的方法也已经变得可行。例如，在专利文献1中，公开了这样一种方法：当与触摸敏感显示器的接触对应于指定手势时，装置被切换到用户接口解锁状态。

[引用列表]

[专利文献1]美国专利No.8,046,721的说明书

发明内容

如上所述，在公知的移动终端装置100中，在用户按压主按钮103之后，或者在用户输入特定的手势操作之后，恢复每个单元。然后，执行包括在显示主屏幕图像之后选择与要重新启动的应用对应的功能图标和启动该应用的操作。然而，每次执行恢复都在搜查主屏幕图像之后执行包括选择功能图标的操作是很麻烦的，这使得无法立即使用目标功能。此外，当执行恢复时，每个目标功能需要初始化处理等，这成为拖延应用的启动的原因。

因此，发明人认识到在挂起状态下时立即执行特定功能的必要性。

一种根据本公开的实施例的移动终端装置，包括：触摸面板，在触摸面板上用指示物执行特定输入操作；输入检测单元，被构造成基于指示物在触摸面板上的位置检测输入操作的模式，并且当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率；和操作确定单元，被构造成当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的所述模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

此外，一种根据本公开的实施例的操作方法，包括以下步骤：基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式；基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率；以及当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的所述模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

此外，一种根据本公开的实施例的程序使计算机执行以下过程：基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式；基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率；以及当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的所述模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

此外，一种根据本公开的实施例的计算机可读存储介质存储使计算机运行下述过程的程序：基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式；基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率；以及当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的所述模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

根据本公开，当在特定时间段未检测到在触摸面板上执行的输入操作时，通过降低布置用于检测触摸面板上执行的输入操作的处理的执行频率来降低功耗。然后，当该处理的执行频率降低时检测到输入操作的模式时，使确定为与输入操作的所述模式相关的操作目标的受控单元执行特定操作。因此，当没执行输入操作并切换到挂起状态时能够立即执行特定功能。

附图说明

图1是示出根据本公开第一实施例的移动终端装置的示例性外部构造的示意图。

图2是示出根据本公开第一实施例的移动终端装置的示例性内部构造的示意图。

图3是示出根据本公开第一实施例的在移动终端装置中工作的软件和硬件的示例性层构造的说明图。

图4是示出根据本公开第一实施例执行的常规扫描和间歇扫描的示例的说明图。

图5是示出根据本公开第一实施例的在常规状态下执行的触摸操作期间在操作表面上用触摸传感器检测的示例性电容值的说明图。

图6是示出在根据本公开的第一实施例的移动终端装置放在用户的口袋等中的状态下用触摸传感器在操作表面上检测的示例性电容值的说明图。

图7是示出通过根据本公开第一实施例执行的第一手势操作从挂起状态显示主屏幕图像的示例的说明图。

图8是示出通过根据本公开第一实施例执行的第二手势操作从挂起状态启动成像功能并拍摄照片的示例的说明图。

图9是示出通过公知操作启动照相机应用并进行拍摄所执行的示例性处理的序列图。

图10是示出通过根据本公开第一实施例执行的操作启动照相机应用并进行拍摄所执行的示例性处理的序列图。

图11是示出通过根据本公开第一实施例执行的第三手势操作从挂起状态启动音乐再现功能并再现音乐文件的示例的说明图。

图12是示出通过根据本公开第一实施例执行的操作启动音乐再现应用23并再现音乐所执行的示例性处理的序列图。

图13是示出通过将根据本公开第二实施例执行的手势操作与用加速度传感器检测的加速度值组合执行各种功能所执行的示例性处理的流程图。

图14是示出布置成通过根据本公开第三实施例执行的两步手势操作启动应用的示例性操作的说明图。

图15是示出根据本公开第四实施例的当手势操作以失败结束时执行的示例性辅助处理的说明图。

图16是示出根据本公开第四实施例的执行辅助功能所执行的示例性处理的序列图。

图17是示出公知移动终端装置的示例性外部构造的示意图。

图18是示出根据本公开第五实施例的移动终端装置的示例性外部构造的示意图。

图19A和图19B是示出根据本公开第五实施例的移动终端装置被一只手在两侧面握住的示例以及侧面板的示例性对象检测区域的说明图。

图20是示出根据本公开第五实施例的通过用侧面板检测移动终端装置的握持以唤醒移动终端装置所执行的示例性处理的序列图。

图21A和图21B是示出根据本公开第五实施例的用两只手在两侧面握住移动终端装置以捕捉（拍摄）图像的示例以及侧面板的示例性对象检测区域的说明图。

图22是示出根据本公开第五实施例的通过侧面板检测的操作启动照相机应用并执行拍摄所执行的示例性处理的序列图。

图23A和图23B是示出根据本公开第五实施例的用一只手握住移动终端装置以避免触摸侧面板的示例以及侧面板的示例性对象检测区域的说明图。

图24A和图24B是示出根据本公开第五实施例的用一只手握住移动终端装置的示例以及前面板的示例性对象检测区域的说明图。

图25是示出根据本公开第五实施例的通过用前面板检测移动终端装置的握持以唤醒移动终端装置所执行的示例性处理的序列图。

图26A和图26B是示出根据本公开第五实施例的用两只手握住移动终端装置进行拍摄的示例以及前面板的示例性对象检测区域的说明图。

图27是示出根据本公开第五实施例的通过前面板检测的操作启动照相机应用并执行拍摄所进行的示例性处理的序列图。

图28A和图28B是示出根据本公开第五实施例的用一只手握住移动终端装置以避免触摸前面板的示例以及前面板的示例性对象检测区域的说明图。

具体实施方式

在下文中，将描述本公开的实施例。另外，描述将按照下面的顺序给出。

<第一实施例>

1．移动终端装置的示例性外部构造

2．移动终端装置的示例性内部构造

3．示例性软件构造

4．针对触摸传感器执行的示例性扫描

5．示例性手势操作

5-1.开始主屏幕图像要执行的示例性手势操作

5-2.进行截屏（shooting）要执行的示例性手势操作

5-3.进行音乐再现要执行的示例性手势操作

<第二实施例>

6.与另一装置合作地执行操作的示例

<第三实施例>

7.通过两步手势操作启动应用的示例

<第四实施例>

8.手势操作失败地结束时启动的示例性辅助功能

在下文中，将参照图1至图12描述本公开的第一实施例。在本实施例中，将描述被构造成响应于对触摸面板17执行的操作而立即启动特定功能的移动终端装置10的示例性应用。移动终端装置10通过执行程序的计算机，实现由相互协作地工作的内部块执行的操作方法，这将在后面描述。另外，图中所示出的共通的组件用相同的符号表示。

<第一实施例>

[1.移动终端装置的示例性外部构造]

图1是示出移动终端装置10的示例性外部构造的示意图。

移动终端装置10包括：壳体19；触摸面板7，在触摸面板上用指示物执行特定的输入操作，触摸面板7容纳在壳体19的前部中；操作键8，设置在例如壳体19的前面的端部上。

采用触摸面板7作为用户对包括移动电话终端、具有通话功能的高性能型移动信息终端（称为智能电话）、平板型终端等的终端装置执行输入操作的输入装置。触摸面板7被构造成例如在电容方式下实现的传感器。然后，触摸面板7包括：触摸传感器7（见图2），用作包括手指、触笔等的指示物指定的位置被输入到的位置输入装置；和显示单元12，显示图像等，触摸传感器7和显示单元12被集成为一体。显示单元12包括例如液晶面板或有机EL（电致发光）面板等。

作为允许触摸面板7检测指示物实现的输入操作的感测系统，可使用下面的系统。例如，可使用电阻膜系统（检测指示物触摸的部分的电阻值的变化）、电磁感应系统（检测专门被设计成产生磁场的指示物的电磁能）、电容系统（检测被触摸部分的电容值的变化）等。

在下文中，将描述使用手指作为在触摸面板7上执行输入操作的指示物的示例。

对于终端装置10，例如，用户对显示单元12的屏幕上显示的各种图标输入特定操作，从而与图标相关的各种应用基于操作输入的细节执行操作。输入操作的细节包括通过轻敲触摸面板7的表面实现的轻敲操作、通过将导致触摸触摸面板7的手指从特定位置移动到不同位置实现的拖拽操作、通过以快速扫划方式使手指在屏幕上移动实现的轻拂操作等。

例如，基于关于从用户的手指或指示物触摸屏幕时到用户的手指或指示物离开屏幕时所执行的一系列操作过程中手指触摸或接近的屏幕上的坐标的信息确定各种操作。具体地，使用关于例如每单位时间坐标的变化量、坐标的移动速度、屏幕上检测到触摸的区域等的信息作为指定操作输入的细节的信息。

操作键8包括主按钮、电源按钮、音量按钮等。用户可通过按压主按钮在显示单元12上显示主屏幕图像。此外，移动终端装置10的电源可通过按钮电源按钮被打开/关闭。此外，可在通话过程中或在音乐再现过程中通过按压音量按钮改变音量的大小。

[2.移动终端装置的示例性内部构造]

图2是示出移动终端装置10的示例性内部构造的框图。

移动终端装置10包括天线1、通信处理单元2和控制单元3，天线1执行与无线电电话基站之间的电波的发射和接收，并且天线1连接到通信处理单元2。此外，移动终端装置10包括声音处理单元4、扬声器5和麦克风6。

通信处理单元2在控制单元3的控制下执行与无线电电话基站的无线电通信。在声音通话过程中，包括在用通信处理单元2接收的数据中的声音数据被提供给声音处理单元4，声音处理单元4执行针对声音数据的声音处理并使扬声器5发出声音。然后，声音处理单元4执行针对声音数据的解码处理，从而获得模拟声音信号。用声音处理单元4获得的模拟声音信号被提供给作为示例性发声单元的扬声器5并输出为声音。用麦克风6收集并获取的声音信号也被提供给声音处理单元4，并用声音处理单元4按照特定的编码格式（例如，PWM（脉宽调制））被编码成声音数据。然后，获取的声音数据被提供到通信处理单元2，并作为无线电波通过天线1发射。

包括通信处理单元2、声音处理单元4等的处理单元经由控制线CL与控制单元3交换控制数据，并经由数据线DL传输数据。控制单元3包括CPU（中央处理单元）、GPU（图形处理单元）等，并控制构成移动终端装置10的各单元。例如，控制单元3基于用触摸传感器驱动单元72（将在后面描述）执行的操作确定的结果，执行改变针对存储在存储单元3（将在后面描述）中的应用软件发出的命令。

此外，移动终端装置10包括触摸面板7和操作键8。在触摸面板7中，包括触摸传感器71、触摸传感器驱动单元72和显示单元12。触摸传感器71被构造为例如在投影电容方式的互电容方式下实现的传感器，并包括未示出的以矩阵形式在X方向和Y方向上排列的发射电极（TX）和接收电极（RX）。

通过使接收电极接地并将驱动脉冲输入到发射电极，在发射电极和接收电极之间产生电场。当包括作为一种电导体的用户的手指、触笔等的指示物接近触摸面板7的表面（在下文中被称作“操作表面”）时，电场的一部分被吸收到电导体中，从而发射电极和接收电极之间产生的电场减小。因此，在接收电极中出现的电荷（电容值）也降低。因此，电荷减少的测量（这种减少与发射电极和接收电极之间产生的电场的减小相关）允许检测触摸面板7的操作表面被触摸/未触摸。

触摸传感器驱动单元72将驱动脉冲输入到每个发射电极，并检测接收电极的电荷。使用触摸传感器71作为输入检测单元，该输入检测单元通过测量用触摸传感器驱动单元72检测的电容值的变化来检测执行输入操作的指示物触摸还是未触摸触摸面板7的操作表面。

触摸传感器71检测在触摸面板7的操作表面上定义的检测到指示物的触摸或靠近的位置，并检测指示物在触摸面板7上的位置。然后，触摸传感器71还输出关于与该位置对应的XY坐标的信息。至于用户执行的输入操作的细节，除了上述的轻敲操作、拖拽操作和轻击操作，还执行通过减小和增大两个手指之间的空间实现的捏拉（pinch）（内捏/外拉）操作。此外，基于在从指示物触摸操作表面时到指示物离开操作表面时执行的一系列操作过程中屏幕上定义的指示物触摸或靠近的位置（坐标信息等），触摸传感器71检测指示物在触摸面板7上执行的输入操作的模式。

使用触摸传感器驱动单元72作为操作确定单元，该操作确定单元基于用触摸传感器71检测的电容值确定触摸或靠近触摸面板7的操作表面的指示物的类型（是否是手指等）。电容值包括例如关于在触摸面板7的操作表面上获得的分布、电容值的大小等的信息。

控制单元3控制显示处理单元9执行控制以使得显示单元12显示特定的屏幕图像。

显示处理单元9使显示单元12显示与用控制单元3执行的应用对应的屏幕图像。例如，使显示单元12显示照相机应用拍摄的视频。此外，基于在触摸面板7的操作表面上执行的操作的细节，经常上下滚动浏览器等来显示，经常基于轻拂操作移动屏幕图像，并经常基于捏拉操作缩小或放大选择的部位来显示。为了在显示单元12上显示图像，显示处理单元9在帧缓冲器11中存储了若干帧的视频数据。帧缓冲器11是以FIFO（先入先出）为基础存储视频数据的存储器。显示单元12基于从帧缓冲器11读取的每帧的视频数据显示视频。

此外，移动终端装置10包括成像驱动单元13、成像单元14、存储单元15、天线16、无线电通信处理单元17和传感器单元18。

成像单元14包括成像元件14a，成像元件14a具有包括例如CCD（电荷耦合器件）、CMOS（互补金属氧化物半导体）等的图像传感器。此外，成像单元14具有包括未示出的提供用来拍摄被摄体的透镜、快门等的光学系统。然后，成像单元14通过对经由未示出的透镜在其光接收表面上形成的被摄体光执行光电转换来产生图像信号。用成像驱动单元13控制成像单元14的成像操作。

声音处理单元4和扬声器5、显示处理单元9、帧缓冲器11和显示单元12以及成像驱动单元13和成像单元14被用作受控单元。在启动应用软件的状态下，当对触摸面板7执行输入操作时，经由中间件控制受控单元的操作，并在挂起状态下经由中间件控制这些操作。

然后，当布置用来检测输入操作的处理的执行频率低时检测到输入操作的模式时，触摸传感器驱动单元72指示基于输入操作的模式被确定为操作目标的受控单元执行特定操作。此外，当在至少应用软件和中间件未启动的挂起状态下检测到输入操作的模式时，触摸传感器驱动单元72启动中间件（将在后面描述）。然后，从中间件执行对被确定为与输入操作的模式相关的操作目标的受控单元的特定操作。

存储单元15包括ROM（只读存储器）或RAM（随机存取存储器），并存储各种类型的应用软件、执行这些应用软件的必要数据等。无线电通信处理单元17经由连接的天线16基于符合特定通信标准的过程通过无线电与外围装置进行通信。

传感器单元18包括加速度传感器、磁场传感器等，并输出特定的传感器值。由于加速度传感器的传感器输出，控制单元3可确定通过提升或摇动移动终端装置10实现的操作以及使用移动终端装置10的朝向。

[3.示例性层构造]

图3是示出在移动终端装置10中进行操作的软件和硬件的示例性层构造的说明图。

在移动终端装置10中，设置了HMI（人机接口）层、中间件层和硬件层，并且各种模块在每个层中相互关联地操作。与硬件相对，包括在HMI层和中间层中的模块组被称作软件。

在下面的描述中，管理包括在每层中的应用和中间件的操作的软件和包括在移动终端装置10中的单元，以及这些单元在控制单元3的控制下的通电等被称作“系统”。系统包括例如OS（操作系统）等。例如，系统执行包括中断控制、超时管理等的处理，输出各种指令等，共同管理移动终端装置10的操作，并执行控制以在每个单元中执行恢复处理和挂起处理。

在硬件层中，包括在图2中示出的设置在移动终端装置10中的单元。在HMI层和中间件层之间，数据经由公共API（应用编程接口）被相互传输，公共API协调各种类型的应用软件的处理。在中间件层和硬件层之间，数据经由驱动程序API相互传输，驱动程序API协调针对包括在移动终端装置10中的各单元执行的处理。

在HMI层中，设置了包括主屏幕图像应用21、照相机应用22、音乐再现应用23等的各种模块。主屏幕图像应用21执行在显示单元12上显示主屏幕图像的控制。照相机应用22执行显示设置用来通过成像单元14进行成像的各种菜单等的控制。例如，音乐再现应用23执行使声音处理单元4执行声音数据的编解码的控制。

在中间件层中，设置了快速启动31、照相机中间件32和多媒体中间件33。快速启动31执行恢复处于挂起状态的移动终端装置10的系统的控制。此外，快速启动31被用作在恢复处理过程中通过执行顺序控制快速启动硬件层的每个单元的接口。作为允许快速启动31执行顺序控制的功能，例如，有这样一个功能：在存储器中不存档再现被中断的音乐文件并提高读取操作的速度以控制执行成像功能和执行音乐再现功能所需的一系列操作。

照相机中间件32转换照相机应用22发出的指令并将该指令传输到成像驱动单元13，并通知照相机应用22从成像驱动单元13接收的成像单元14的操作状态等。多媒体中间件33积累在帧缓冲器11中的视频数据等，并将从帧缓冲器11读取的视频数据输出到显示单元12以显示视频。此外，多媒体中间件33使声音处理单元4对声音数据等执行编解码处理等，并将处理的声音数据输出到扬声器5以发出声音。

另外，在过去，在通过恢复唤醒处于挂起状态的系统而要的处理期间，在主屏幕图像应用21的控制下执行在显示单元12上显示主屏幕图像的处理。通过恢复已被启动的主屏幕图像处于用户可执行操作输入的解锁状态。

另一方面，当在根据本实施例的移动终端装置10中系统从挂起状态被唤醒时，从中间件层直接控制硬件层的单元的操作，而无需经过HMI层。例如，在移动终端装置10中，用快速启动31直接控制照相机中间件32，而无需通过照相机应用22的操作，这实现了立即成像处理。同样地，在移动终端装置10中，用快速启动31直接控制多媒体中间件33，而无需通过音乐再现应用23的操作，这实现了立即音乐再现处理。因此，在移动终端装置10中，实现了立即执行各种功能的快捷功能，而无需通过在公共API中执行的控制。

[4.针对触摸传感器执行的示例性扫描]

这里，将参照图4至图6描述针对触摸传感器71执行的示例性扫描，用于检测通过手指触摸触摸面板7的操作表面执行了操作输入。

图4是示出了常规扫描和间歇扫描的示例的说明图。图4A示出了示例性常规扫描，图4B示出了示例性间歇扫描。在图4中，水平轴表示时间（t），垂直轴表示扫描电流的大小。

当移动终端装置10不处于挂起状态时执行图4A中示出的常规扫描。在常规扫描过程中，例如，以60Hz的扫描速率扫描触摸传感器71的表面，并且针对来自用户的操作输入的响应增大以将结果发回。然而，由于在常规扫描过程中用增大的频率执行扫描，所以触摸面板的功耗也增大。

当移动终端装置10处于挂起状态时执行图4B中示出的间歇扫描。这时，当经过指定的时间段没有检测到对触摸面板执行的输入操作时，用作输入检测单元的触摸传感器71降低布置用来检测对触摸面板执行的输入操作的处理的执行频率。

在间歇扫描过程中，例如，以10Hz的扫描速率扫描触摸传感器71的表面，并在每次扫描之间设置移动终端装置10的各种功能被停止的休眠时间段。因此，间歇扫描的功耗低于常规扫描的功耗。此外，在挂起状态下，用降低的频率执行来自用户的操作输入。因此，当用最小频率执行轻敲或拖拽操作时检测这些操作是明智的。只要布置成在检测到来自用户的操作输入并执行恢复处理之后执行常规扫描，间歇扫描就不会引起操作不适性。

图5是示出在常规状态下执行的触摸操作过程中在操作表面上用触摸传感器71检测到的示例性电容值的说明图。图5A示出了在常规状态下执行的触摸操作过程中获得的示例性电容值，图5B示出了显示在三维曲线图上的示例性电容值。另外，在假设触摸面板7的短边被确定为X，长边被确定为Y，且触摸面板7的坐标等同于图5和图6中的触摸传感器71的坐标的情况下提供下面的描述。

如图5A所示，手指触摸触摸面板7的坐标（X,Y）=（3,14）的位置。这时，在坐标（3,14）的位置附近的电容值（90至100）高于在其它位置检测的电容值（7至10）。因此，触摸传感器71检测到对触摸面板7执行了操作输入。根据图5B示出的电容值的立体曲线图，明显的是，在坐标（3,14）的位置获得的电容值是显著的。针对电容值提供指定阈值（例如，50）并当电容值超过该阈值时检测触摸操作是可取的。

图6是示出了在移动终端装置10处于用户的口袋等中的状态下在操作表面上用触摸传感器71检测的示例性电容值的说明图。图6A示出了当移动终端装置10被放入用户的口袋等中时获得的示例性电容值，图6B示出了在三维曲线图上显示电容值的示例。

如图6A所示，由于人体通过衣服等触摸触摸面板7的整个面，所以当移动终端装置10被放入到用户的口袋等中时，触摸传感器71对整个面输出高电容值（40至80）。这时，由于在触摸面板7的整个面上检测到高电容值，所以即使出于某原因，物体触摸了触摸面板7，触摸传感器驱动单元72也确定用户执行了无意的操作输入。根据图6B示出的电容值的立体曲线图，明显的是，在触摸传感器71的整个面上检测到高电容值。

因此，当在触摸传感器71的整个面上检测到电容值时，触摸传感器驱动单元72不把任何事物检测为触摸操作，从而不会使移动终端装置10在挂起状态下进行误操作。然后，通过执行控制避免误操作，从而当触摸传感器71检测到以特定模式（将在后面描述）执行的手势操作的电容值时执行特定处理。

[5.示例性手势操作]

接下来，将参照图7和图8描述根据本实施例执行的示例性手势操作。

[5-1.启动主屏幕图像要执行的示例性手势操作]

图7是示出通过第一手势操作从挂起状态显示主屏幕图像的示例的说明图。图7A示出了用户在触摸面板7上执行的第一手势操作的示例，图7B示出了示例性主屏幕图像。

在图7中，示出如下示例：代替了过去执行的通过按压移动终端装置100的电源键从挂起状态启动主屏幕图像的处理，通过用户触摸触摸面板7的操作表面来启动主屏幕图像。

另外，即使移动终端装置10处于挂起状态，如图4B所示的间歇地扫描触摸面板7的表面允许连续地执行触摸检测处理。

作为示例性特定输入操作的第一手势操作是当移动终端装置10处于挂起状态时通过以Z形（见图7A）扫划触摸面板7而实现的操作。当触摸传感器71检测到在挂起状态下对触摸面板7执行了第一手势操作时，触摸传感器驱动单元72在显示单元12上显示特定的屏幕图像。

这时，移动终端装置10从挂起状态开始恢复，并启动主屏幕图像（见图7B）。由于在不输入密码的情况下从挂起状态直接启动主屏幕图像，所以用户可通过容易的操作从主屏幕图像立即选择菜单。

[5-2.进行拍摄要执行的示例性手势操作]

图8是示出执行第二手势操作以从挂起状态启动成像功能并拍摄照片的示例的说明图。图8A示出了用户在触摸面板7上执行第二手势操作的示例，图8B示出了在显示单元12上显示通过照片拍摄获得的图像的示例。

由于触摸传感器驱动单元72可检测在触摸面板7的操作表面上做出的特定模式，所以除了如图7所示的从挂起状态启动主屏幕图像的功能之外，各种应用的操作可与在操作表面上做出的特定模式进行组合。图8中示出的功能通过当移动终端装置10处于挂起状态时执行通过用手指在触摸面板7的操作表面上画圆实现的拖拽操作，实现了捕捉由成像单元14拍摄的相机直通图像。

作为示例性特定输入操作的第二手势操作是通过当移动终端装置10处于挂起状态时以圆形（见图8A）扫划触摸面板7实现的操作。当触摸传感器71检测到在挂起状态下对触摸面板7执行了与第一手势操作不同的第二手势操作时，触摸传感器驱动单元72使成像驱动单元13启动成像单元14的操作。然后，触摸传感器驱动单元72使显示单元12显示通过用成像单元14进行成像获得的图像。

这时，移动终端装置10从挂起状态开始恢复，启动成像驱动单元13，并通过成像单元14拍摄被摄体，而无需启动照相机应用22（见图8B）。通过成像获得的被摄体的图像显示在显示单元12上。由于不是在从主屏幕图像搜寻成像菜单之后才执行成像单元14的操作，所以用户可以在期望的时间立即执行成像，以拍摄被摄体的图像。

接下来，将参照图9和图10来描述通过公知的操作启动照相机应用22执行拍摄的示例的序列与通过根据本实施例的功能执行高速拍摄的示例的序列之间的示例性比较。另外，根据本实施例的移动终端装置10既可执行公知的操作也可以执行根据本实施例的功能。

图9是示出通过公知操作启动照相机应用22并进行拍摄要执行的处理的序列图。

公知的方法允许在用户在挂起状态下按压电源键后，移动终端装置10的系统被唤醒之后启动照相机应用22。然后，在照相机应用22启动之后执行拍摄处理。

在下面的描述中，用控制单元3表示处于挂起状态或切换到各种模式的移动终端装置10，其中，控制单元3用作在序列图中示出的系统。

首先，假设系统处于挂起状态（步骤S1）。当系统处于挂起状态时按压包括在操作键8中的电源键时，开始恢复系统所执行的处理（步骤S2）。

这时，控制单元3将恢复指令输出到触摸传感器驱动单元72（步骤S3），触摸传感器驱动单元72对触摸传感器71执行恢复处理，并且触摸传感器71等待检测输入操作要执行的操作（步骤S4）。然后，在图9中未显示的显示单元12上显示为启动照相机应用22而设置的未示出的照相机图标。

此外，控制单元3将恢复指令输出到成像驱动单元13（步骤S5），并且成像驱动单元13对成像元件14a执行恢复处理，并等待成像操作的输入（步骤S6）。在完成对每个单元执行的恢复处理之后，系统进入针对来自用户的操作输入发回响应的唤醒状态（步骤S10）。

在检测到在显示照相机图标的位置执行了用触摸实现的输入操作时（步骤S7），触摸传感器71通知触摸传感器驱动单元72检测到触摸的坐标（步骤S8）。此外，触摸传感器驱动单元72通知控制单元3该坐标（步骤S9）。

在通过来自触摸传感器驱动单元72的通知被通知对照相机图标执行了输入操作时，控制单元3将启动照相机应用22的指令输出到照相机应用22（步骤S11）。在接收到启动指令时，照相机应用22初始化照相机中间件32（步骤S12）。然后，照相机中间件32将执行通电处理和初始化处理的指令输出到成像驱动单元13（步骤S13）。因此，成像驱动单元13被通电并且初始化处理被执行。

此外，成像驱动单元13将执行通电处理和初始化处理的指令输出到成像元件14a（步骤S14）。因此，成像元件14a被通电并且初始化处理被执行。然后，在显示单元12上显示为指定拍摄操作而设置的拍摄图标。

当检测到在显示拍摄图标的位置执行了用触摸实现的输入操作时（步骤S15），触摸传感器71通知触摸传感器驱动单元72检测到触摸的坐标（步骤S16）。此外，触摸传感器驱动单元72通知控制单元3该坐标（步骤S17）。

在通过来自触摸传感器驱动单元72的通知被通知对拍摄图标执行了输入操作时，控制单元3通知照相机应用22触摸坐标（步骤S18）。当接收到触摸坐标时，照相机应用22将启动拍摄处理的指令输出到照相机中间件32（步骤S19）。

照相机中间件32指示成像驱动单元13执行捕捉拍摄图像的处理（步骤S20），并且成像驱动单元13基于从成像元件14a输出的图像信号执行捕捉拍摄图像的处理（步骤S21）。在显示单元12上显示经过捕捉处理的图像。

因此，根据已知处理，用户首先按压电源按钮来取消挂起状态，在通过恢复处理显示的主屏幕图像上搜索并选择照相机图标，并利用拍摄图标执行拍摄。因此，从挂起状态开始直到开始拍摄要执行很多程序，这导致了复杂的操作。

图10是示出了通过根据本实施例执行的操作启动照相机应用22并执行拍摄要执行的示例性处理的序列图。

首先，假设系统处于挂起状态（步骤S31）。当移动终端装置10处于挂起状态时，对触摸传感器71执行间歇扫描以在保持低功耗的低功耗模式下等待触摸操作的检测（步骤S32）。

当通过指示开始执行拍摄的第二手势操作对触摸面板7执行操作输入时，触摸传感器71检测到执行了操作输入（步骤S33）。这时，触摸传感器71将为唤醒系统而发出的特定中断指令输出到触摸传感器驱动单元72（步骤S34）。

另外，当控制单元3处于挂起状态时，当接收到常规中断指令时不执行处理。然而，该特定中断处理指示控制单元3开始执行恢复处理。因此，当接收到该特定中断指令时，控制单元3开始执行恢复处理并执行从挂起状态转变成唤醒状态的处理。

触摸传感器驱动单元72将开始系统的恢复处理的指令输出到控制单元3作为特定中断指令（步骤S35）。因此，控制单元3开始执行系统的恢复处理（步骤S36）。

此外，触摸传感器驱动单元72将对照相机中间件32执行唤醒处理的指令和指定捕捉处理的开始的指令输出到快速启动31（步骤S37）。当从触摸传感器驱动单元72接收到指令时，快速启动31将对照相机中间件32执行唤醒处理的指令输出到照相机中间件32，并输出指定捕捉处理的开始的指令（步骤S38）。

在执行唤醒处理之后，照相机中间件32将执行通电处理和初始化处理的指令输出到成像驱动单元13（步骤S39）。因此，成像驱动单元13被通电并且初始化处理被执行。

此外，成像驱动单元13将执行通电处理和初始化处理的指令输出到成像元件14a（步骤S40）。因此，成像元件14a被通电并且初始化处理被执行。然后，在显示单元12上显示为指定拍摄操作而设置的拍摄图标。

对系统执行的恢复处理完成，并且控制单元3进入唤醒状态（步骤S41）。接下来，照相机中间件32指示成像驱动单元13执行捕捉拍摄图像的处理（步骤S42）。这时，照相机中间件32输出启动照相机应用22的指令（步骤S43）。

然后，成像驱动单元13基于从成像元件14a输出的图像信号执行捕捉拍摄图像的处理（步骤S44）。在显示单元12上显示经过捕捉处理的图像。然后，对于显示在显示单元12上的图像，在显示单元12上显示由于照相机应用22的启动而提供的操作菜单等。

因此，通过第二手势操作执行的处理或软件有限。然后，在检测到该手势操作后立即捕捉图像之后启动照相机应用22，这使得在开始拍摄之前流逝的时间最少。因此，能够在用户希望拍摄的时刻拍摄被摄体，并消除了由于通过处于挂起状态的移动终端装置10执行拍摄在启动上花费太多时间而导致的用户关于错失时机的抱怨。

[5-3.进行音乐再现要执行的示例性手势操作]

接下来，将参照图11和图12描述进行音乐再现要执行的示例性手势操作。

图11是示出通过第三手势操作从挂起状态启动音乐再现功能并再现音乐文件的示例的说明图。图11A示出了用户在触摸面板7上执行的第三手势操作的示例，图11B示出了通过再现音乐文件发出音乐的示例。

这里描述的音乐再现功能减少了当通过特定手势在触摸面板7上执行操作时在开始音乐再现之前流逝的时间。另外，当以低功耗进行操作时，移动终端装置10处于显示单元12处于挂起状态并且不显示图像的初期挂起状态。

作为示例性特定输入操作的第三手势操作是当移动终端装置10处于挂起状态时通过以N形（见图11A）扫划触摸面板7而实现的操作。当触摸传感器71检测到在挂起状态下在触摸面板7上执行了第三手势操作时，触摸传感器驱动单元72使得声音处理开始执行声音处理并使发声单元发出声音。

这时，移动终端装置10从挂起状态开始执行恢复，启动声音处理单元4并通过扬声器5发出再现的音乐（见图11B）。当显示单元12在初期挂起状态下被启动时，在显示单元12上不显示与正被再现的音乐相关的各种信息（例如，曲目名称、歌手姓名等）。然而，可以安排显示单元12被启动并在显示单元12上显示与正被再现的音乐相关的各种信息。

图12是示出通过根据本实施例的操作启动音乐再现应用23并再现音乐要执行的示例性处理的序列图。

首先，假定系统处于挂起状态（步骤S51）。当移动终端装置10处于挂起状态时，对触摸传感器71执行间歇扫描，从而以低功耗模式等待触摸操作的检测（步骤S52）。

当通过重新启动音乐再现要执行的手势（第三手势操作）在触摸面板7上执行操作输入时，触摸传感器71检测到执行了操作输入（步骤S53）。这时，触摸传感器71将特定中断指令输出到触摸传感器驱动单元72（步骤S54）。

触摸传感器驱动单元72将开始系统的恢复处理并开始初期挂起状态的指令输出到控制单元3，作为特定中断指令（步骤S55）。因此，控制单元3开始执行系统的恢复处理（步骤S56）。

此外，触摸传感器驱动单元72将执行重新启动多媒体中间件33的音乐再现的处理的指令输出到快速启动31（步骤S57）。在从触摸传感器驱动单元72接收到该指令时，快速启动31将执行重新启动多媒体中间件33的音乐再现的处理的指令输出到多媒体中间件33（步骤S58）。

之后，多媒体中间件33将执行通电处理和初始化处理的指令输出到声音处理单元4（步骤S59）。因此，声音处理单元4被通电并且初始化处理被执行。

此外，声音处理单元4将执行通电处理和初始化处理的指令输出到扬声器5（步骤S60）。因此，扬声器5被通电，初始化处理被执行，并且再现的音乐被发出。

之后，当对系统执行的恢复处理完成时，系统进入初期挂起状态（步骤S61）。这时，实现了关闭状态，从而在显示单元12上不显示图像。然后，当系统进入初期挂起状态时，多媒体中间件33将指示音乐再现被重新启动的启动通知传输到音乐再现应用23（步骤S62）。在接收该通知后，启动音乐再现应用23。

当通过特定手势操作在触摸面板7上执行了操作输入时，上述根据第一实施例的移动终端装置10允许在挂起状态下立即执行特定功能。这里，设置在中间件层中的模块直接输出指令并指示包括在硬件层中的单元开始执行操作，而无需通过设置在HMI层（见图3）中的各种应用。因此，允许用户执行分配给特定手势操作的各种功能，而无需等待设置在HMI层中的各种应用的耗时的启动，这导致提高的可操作性。

此外，当在处于挂起状态的移动终端装置10的触摸面板7上执行了第一手势操作时，无需操作操作键8就启动了主屏幕图像。当每个用户可单独地设置启动主屏幕图像的第一手势操作时，通过使用仅用户知道的第一手势操作来代替密码输入，可以省略密码输入。

此外，当在触摸面板7上执行第二手势操作时，可通过立即启动成像驱动单元13和成像单元14来开始拍摄。在这种情况下，无需等待照相机应用22的启动（在启动前会花费很多时间），也可以执行拍摄，这避免了错失成像时机。

此外，当在触摸面板7上执行第三手势操作时，可通过立即启动音乐再现单元4来开始音乐再现。通过从曲目的音乐再现被停止的某中间点重新开始再现，允许用户再现并立即享受他已经收听直到移动终端装置10的使用被停止的音乐。

此外，当移动终端装置10处于挂起状态时，可通过执行间歇扫描降低功耗。此外，当触摸传感器71检测到操作输入的区域是触摸传感器71的部分或整个面时，得到电容值的分布，这允许单独地确定用户是否有意地执行了该操作输入。因此，对于人体间接触摸被用户放入口袋中的移动终端装置10的触摸面板7时执行的无意操作输入，能够避免错误地确定做出了操作输入。

另外，对于根据第一实施例的移动终端装置10，已经描述了关于主屏幕图像、拍摄和音乐再现的启动的示例性应用。然而，另外，只要期望立即启动以进行使用，可使用任何应用。例如，可使用示出当前值等的地图应用或登录到SNS（社交联网服务）或访问博客网站或新闻网站的应用。

<第二实施例>

[6.与另一装置想合作地执行操作的示例]

接下来，将参照图13描述根据本公开的第二实施例的移动终端装置10。

根据第二实施例的移动终端装置10不仅通过作为对触摸面板7的操作输入的各种手势操作，而且还通过组合从传感器单元18输出的传感器值，来立即实现用户使用的功能。

当触摸传感器71检测到在处于挂起状态的触摸面板7上执行了特定输入操作时，触摸传感器驱动单元72基于传感器值从多种类型的受控单元中选择单个受控单元，并使选择的受控单元执行特定操作。

图13是示出通过将手势操作与用加速度传感器检测的加速度值相结合执行各种功能所要执行的示例性处理的流程图。

假设移动终端装置10处于挂起状态。然后，还假设触摸传感器71执行间歇扫描（见图4B），并且对于来自包括在传感器单元18中的加速度传感器的传感器值（加速度值），以与间歇扫描相同的扫描速率输出传感器值。

首先，触摸传感器驱动单元72确定在触摸面板7上是否执行了被实现用于无需通过应用就启动执行各种功能的快捷功能的第四手势操作（步骤S71）。这里，由于没使用作为示例性特定输入操作的第四手势操作选择要执行的期望功能，所以第四手势操作可与上述第一至第三手势操作中的任何一个相同或不同。当没检测到第四手势操作时，重复步骤S71的确定处理。

接下来，确定触摸传感器71是否检测到被实现用于执行快速操作的第五手势操作（例如，双击）（步骤S72）。例如，第五手势操作包括通过轻敲触摸面板7两次实现的操作。

当未执行第五手势操作时，对系统开始恢复处理（步骤S73）。例如，这里描述的恢复处理是通过按压电源键启动主屏幕图像所执行的处理的替换。然后，使显示单元12显示解锁的主屏幕图像，并在系统唤醒的状态下继续操作。

当在步骤S72执行了第四手势操作时，快速启动31基于从加速度传感器接收的传感器值检测移动终端装置10的朝向（步骤S74）。然后，确定该朝向是否是移动终端装置10的横向方向（步骤S75）。这里，移动终端装置10沿横向方向定向表示处于移动终端装置10的壳体19的长边与水平方向几乎平行的状态。此外，移动终端装置10沿垂直方向定向表示处于移动终端装置10的壳体19的长边与垂直线几乎平行的状态。

当确定移动终端装置10沿横向方向定向时，快速启动31指示每个单元开始图10中示出的上述处理。然后，成像单元14执行通过成像获得的被摄体的图像的捕捉处理，以显示在显示单元12上（步骤S76）。之后，启动照相机应用22（步骤S77），并且在系统唤醒的状态下继续成像单元14的操作。

在确定移动终端装置10沿垂直方向定向时，快速启动31指示每个单元开始图12中示出的上述处理。然后，声音处理单元4使扬声器5发出从音乐再现被停止的点重新开始再现的音乐（步骤S78）。之后，启动音乐再现应用23，并在系统唤醒的状态下继续声音处理单元4的操作。

除了在触摸面板7上执行的手势操作，上述根据第二实施例的移动终端装置10还基于来自包括在传感器单元18中的加速度传感器的传感器值（加速度值）来确定针对移动终端装置10执行的操作输入的类型。这时，实现了根据在移动终端装置10被保持在垂直方向的状态下执行的手势操作启动音乐再现并根据在移动终端装置10被保持在横向方向的状态下执行的手势操作立即开始使用成像单元14执行成像。

此外，当传感器单元18包括陀螺仪传感器时，可基于从陀螺仪传感器传输的传感器值，确定放置移动终端装置10的方向。同样地，可通过使用磁场传感器确定移动终端装置10的朝向。此外，在步骤S72，当执行轻敲操作时，使得转变到解锁屏幕图像。然而，可省略步骤S72的处理。在这种情况下，可在启动快捷功能之后立即检测移动终端装置10的朝向。

此外，在图13的步骤S72的分支处理期间，可布置成在检测到双击之后显示解锁屏幕图像，并在用户输入密码之后启动指定应用。

<第三实施例>

[7.通过两步手势操作启动应用的示例]

接下来，将参照图14描述根据本公开的第三实施例的移动终端装置10。

根据第三实施例的移动终端装置10在分两步在触摸面板7上执行操作输入时立即实现特定功能。

图14是示出通过两步手势操作启动应用所执行的示例性操作的说明图。图14A示出了示例性第一步手势操作，图14B和图14C示出了示例性第二步手势操作，图14D和图14E示出了示例性的启动的应用。

在根据第三实施例的移动终端装置10中，不是仅通过在第一步执行的手势操作来立即执行应用。在第一步执行的手势操作仅是初步操作，并且通过在第二步执行的手势操作执行应用。

然后，当触摸传感器71检测到在挂起状态下的触摸面板7上按预定顺序多次执行不同的手势时，触摸传感器驱动单元72使与不同输入操作相关的受控单元执行特定操作。

首先，假设在移动终端装置10的壳体19的长边几乎平行于水平方向的状态下用户执行输入操作。例如，第一步的手势操作是移动终端装置10处于挂起状态时用户以Z形扫划触摸面板7所实现的操作（见图14A）。

为了启动Web浏览器，用户执行通过使手指以直线从触摸面板7的中心附近向左方扫划（见图14B）的操作，作为第二步的手势操作。在该操作之后，移动终端装置10连接到互联网并启动Web浏览器，从而可在显示单元12上显示访问的网站（见图14D）。

另一方面，为了启动照片的相册应用，用户执行通过使手指从触摸面板7的中心附近向右方扫划（见图14C）的操作，作为第二步的手势。在该操作之后，移动终端装置10可启动相册应用并在显示单元12上作为缩略图显示从存储单元15读取的拍摄图像或视频（见图14E）。

上述根据第三实施例的移动终端装置10允许通过组合两步的不同手势来启动多种类型的应用。如上所述，启动的应用包括Web浏览器、相册应用等。当启动相册应用时，在开始可显示特定的页。此外，当启动Web浏览器时，可显示被布置用于进行词搜索的搜索页，从而用户可立即进行词搜索。此外，特定的URL可被指定为在启动时传递给应用的参数。

此外，示例性地包括通过扫划手指以按照Z形触摸触摸面板7实现的操作和通过沿水平方向扫划实现的操作的手势操作可与包括例如通过轻敲触摸面板7或以圆形扫划触摸面板7实现的操作的不同手势操作组合。此外，在使移动终端装置10保持在垂直方向上的同时可通过执行两步手势操作启动应用。此外，手势操作可按照三步或更多步进行组合，即使这种组合导致复杂的操作。

<第四实施例>

[8.当手势操作以失败结束时启动的示例性辅助功能]

接下来，将参照图15和图16描述根据本公开的第四实施例的移动终端装置10。

根据第四实施例的移动终端装置10显示布置用于当手势操作以失败结束（这使得无法启动应用）时辅助手势操作的向导。

图15是示出手势操作以失败结束时执行的示例性辅助处理的说明图。图15A示出了手势操作以失败结束的示例，图15B示出了在显示单元12上显示向导的示例。此外，图15C示出了沿着向导再次执行手势操作的示例，图15D示出了成功启动应用的示例。

对处于挂起状态的移动终端装置10执行根据第一实施例至第三实施例执行的上述手势操作。然而，由于当移动终端装置10处于挂起状态时在显示单元12上什么也不显示，所以经常在错误的位置执行手势操作，这使得无法启动应用（见图15A）。

这时，当触摸传感器71检测到指定的输入操作与规定的输入操作相似时，触摸传感器驱动单元72使显示单元12显示代表规定输入操作的向导。然后，当触摸传感器71检测到根据该向导在触摸面板7上再次执行的输入操作是规定输入操作时，指示与规定输入操作相关的受控单元执行特定操作。

具体地讲，根据第四实施例的移动终端装置10在显示单元12上显示向导75作为补充手势操作的功能（见图15B）。例如，当可用触摸传感器71检测的手势操作是通过在触摸面板7的中心附近按照Z形扫划触摸面板7实现的操作时，向导75在显示单元12上显示Z形的有效区域。

这时，用户通过参照显示单元12上显示的向导75执行手势操作（见图15C）。当通过在向导75的有效区域中与触摸面板7保持接触的手指执行扫划操作时，触摸传感器71识别出以提高的可靠性执行了手势操作。此外，显示的向导75的宽度宽于手指的宽度。因此，用户可在防止手指偏离向导75的同时执行手势操作。当识别了手势操作时，应用被成功开始，并执行应用启动（见图15D）。

此外，为了显示向导75，针对移动终端装置10执行的恢复处理进行操作。然而，该操作仅使向导75被显示，而不显示锁定的屏幕图像。此外，为了确定手势操作以失败结束，当在移动终端装置10被放入口袋中或者手指触摸了触摸面板7一点点的情况下执行触摸操作时，需要确保不会按照处理以失败结束的手势操作的方式进行反应。这是因为显示向导75消耗过多的电力。因此，期望在规定的手势操作和用触摸传感器71检测到的操作之间进行比较，并且当这些操作之间的相似性被确认时显示向导75。

图16是示出运行辅助功能所执行的示例性处理的序列图。

首先，假定系统处于挂起状态（步骤S81）。当移动终端装置10处于挂起状态时，对触摸传感器71执行间歇扫描，以低功耗模式等待触摸操作的检测（步骤S82）。

触摸传感器71检测到在触摸面板7上执行了与唤醒系统的手势操作（在图中称作“唤醒手势”）相似的操作（步骤S83）。这时，触摸传感器71将特定中断指令输出到触摸传感器驱动单元72（步骤S84）。

触摸传感器驱动单元72将开始对系统执行的恢复处理并开始执行该恢复处理的指令输出到控制单元3作为特定中断指令（步骤S85）。因此，控制单元3开始执行系统的恢复处理（步骤S86）。

当控制单元3开始执行恢复处理时，触摸传感器驱动单元72将为显示向导75而发出的向导显示请求输出到快速启动31（步骤S87）。当从触摸传感器驱动单元72接收到向导显示请求时，快速启动31将向导显示请求输出到多媒体中间件33（步骤S88）。这里，多媒体中间件33具有向导显示功能，该向导显示功能设置成找出与当在触摸面板7上执行操作时的难确定操作相似的手势操作并使显示单元12显示向导75。

在从触摸传感器驱动单元72接收到向导显示请求时，多媒体中间件33将执行向导显示的指令输出到显示处理单元9（步骤S89）。然后，显示处理单元9将向导75的图像存储在帧缓冲器11中。显示单元12基于从帧缓冲器11读取的图像显示向导75（步骤S90）。之后，控制单元3使系统进入唤醒状态（步骤S91），并等待直到再次输入手势操作。这时，系统处于向导75显示在显示单元12上的向导显示模式。

当触摸传感器71在向导显示模式下检测到唤醒系统的手势操作时（步骤S92），触摸传感器71将请求唤醒系统的指令输出到触摸传感器驱动单元72（步骤S93）。开始对系统执行的恢复处理并开始执行该恢复处理的指令被输出到控制单元3（步骤S94）。因此，控制单元3使系统进入唤醒状态（步骤S95）。

之后，触摸传感器驱动单元72将显示向导75的向导显示请求输出到多媒体中间件33（步骤S96）。此外，在显示单元12上更新并显示在常规状态下获得的菜单图像的指令从已经进入唤醒状态的系统输出到帧缓冲器11（步骤S97）。帧缓冲器11执行更新显示在显示单元12上的菜单图像的处理（步骤S98）。

当由于拖拽位置偏移等而不能识别唤醒系统的手势操作时，上述根据第四实施例的移动终端装置10是有效的。在这种情况下，当执行与规定手势操作相似的操作时，向导75显示在显示单元12上，从而再次执行操作。然后，基于沿向导75执行的手势操作执行特定功能。因此，由于在处于挂起状态的移动终端装置10上不显示图像，所以允许进行手势操作失败的用户在再次操作时沿向导75执行手势操作，从而可以可靠地执行输入操作。

此外，当手势操作以失败结束时，系统未被充分唤醒。然而，系统改变到向导显示模式并继续等待直到执行手势操作。然后，在检测到再次执行的适当的手势操作之后，系统唤醒进入常规状态。从这时起，在常规状态下执行屏幕图像更新、操作等。

此外，可布置成在触摸面板7的操作表面上显示手势操作的轨迹（locus）。显示的轨迹使用户可以容易地识别输入操作是如何以失败结束的。

<第五实施例>

接下来，将参照图18至图28B描述根据本公开的第五实施例的移动终端装置。

图18是示出根据本公开的第五实施例的移动终端装置的示例性外部构造的示意图。在该实施例中，触摸面板7包括多个面板，诸如位于移动终端装置10的正面的前面板、位于移动终端装置10的侧面的侧面板和/或位于移动终端装置10的背面的背面板（未示出）。例如，当在指定时间段（例如，15秒）前面板未检测到输入操作时，前面板的检测频率（扫描速率）可在任何地方从60Hz降低到5Hz或甚至0Hz（例如，深睡眠模式或电源关闭模式），并且侧面板的检测频率（扫描速率）可从60Hz降低至10Hz（低功率扫描模式）。因此，在该实施例中，前面板的检测频率可低于侧面板的检测频率，从而可降低功耗。

图19A是示出移动终端装置被一只手握住两个侧面的示例以及根据本公开第五实施例的侧面板的示例性对象检测区域的说明图。图19B是示出检测到对象的位置点的示意图。在该示例中，当输入检测器检测到与特定操作对应的侧面板上的输入操作的预定接触（例如，通过用一只手握住移动终端装置同时触摸侧面板的预定多个位置）时，处理电路（诸如CPU、ASCI、PLA等）可执行特定操作（例如，唤醒移动终端装置）。在这个示例中，位于移动终端装置的正面的前面板被设定成深睡眠模式或电源关闭模式，从而没检测到前面板上的输入操作。另一方面，位于移动终端装置的右侧的右侧面板和位于移动终端装置的左侧的左侧面板被设定成低功率扫描模式，从而右侧面板和左侧面板可检测输入操作。

图20是示出根据本公开第五实施例的通过用侧面板检测移动终端装置的握持以唤醒移动终端装置所执行的示例性处理流程的序列图。除了触摸传感器位于移动终端装置的右侧和左侧并用右侧面板和左侧面板检测移动终端装置的握持，很多步骤执行与图16中描述的功能相似的功能。

图21A是示出用两只手在侧面握住移动终端装置以进行拍摄的示例的说明图。图21B是示出根据本公开第五实施例的侧面板的示例性对象检测区域的示意图。在该示例中，当输入检测器检测到与特定操作对应的侧面板上的输入操作的预定接触（例如，通过用两只手握住移动终端装置来拍摄照片，同时触摸侧面板的预定多个位置）时，处理电路可执行特定操作（例如，启动照相机应用和捕捉图像）。

图22是示出根据本公开第五实施例的通过侧面板检测的操作启动照相机应用并执行拍摄所执行的示例性处理流程的序列图。除了触摸传感器位于移动终端装置的右侧和左侧以及用右侧面板和左侧面板检测为进行拍摄而握住移动终端装置，很多步骤执行与图10中描述的功能相似的功能。

图23A是示出用一只手握住移动终端装置以避免触摸侧面板的示例的说明图，图23B是示出根据本公开第五实施例的侧面板的示例性对象检测区域的示意图。在这个示例中，通过仅触摸设置成深睡眠模式或电源关闭模式的前面板来握住移动终端装置，避免了触摸被设置成低功率扫描模式的侧面板。因此，前面板未检测到输入操作，并可避免移动终端装置的非预期操作。

图24A是示出用一只手握住移动终端装置的示例的说明图，图24B是示出根据本公开第五实施例的示例性对象检测区域的示意图。在这个示例中，当输入检测器检测到与特定操作对应的前面板上的输入操作的预定接触（例如，通过用一只手握住移动终端装置同时触摸前面板的预定多个位置）时，处理电路可执行特定操作（例如，唤醒移动终端装置）。

图25是示出根据本公开第五实施例的通过用前面板检测移动终端装置的握持以唤醒移动终端装置所执行的示例性处理流程的序列图。除了不是通过手势而是通过检测前面板的预定多个位置的同时触摸来检测移动终端装置的握持，很多步骤执行与图16中描述的功能相似的功能。

图26A是示出用两只手握住移动终端装置进行拍摄的示例的说明图，图26B是示出根据本公开第五实施例的前面板的示例性对象检测区域的示意图。在这个示例中，当通过输入检测器检测到与特定操作对应的前面板上的输入操作的预定接触（例如，通过用两只手握住移动终端装置拍摄照片，同时触摸前面板的预定多个位置）时，处理电路可执行特定操作（例如，启动照相机应用和捕捉图像）。

图27是示出根据本公开第五实施例的通过前面板检测的操作启动照相机应用并执行拍摄所进行的示例性处理流程的序列图。除了不是用过手势而是通过检测为了拍摄在前面板的预定多个位置的同时触摸来检测移动终端装置的握持，许多步骤执行与图10中描述的功能相似的功能。

图28A是示出用一只手握住移动终端装置以避免触摸前面板的示例的说明图，图28B是示出根据本公开第五实施例的前面板的示例性对象检测区域的示意图。在这个示例中，当通过避免触摸被设置成低功率扫描模式的前面板握住移动终端装置时，前面板未检测到输入操作，并可避免移动终端装置的非预期操作。

在每个描述的实施例中，用户可从触摸面板改变输入操作的预定接触。例如，用户可通过从触摸面板改变设置，将启动照相机应用的预定手势或将同时被触摸的预定多个位置改变成新接触。基于用户的设置的改变，处理电路把执行特定操作所需的输入操作的预定接触改变成新的预定接触。

另外，可单独使用或彼此任意组合地使用根据第一至第四实施例的上述功能。此外，手势操作的类型不限于上述的实施例，从而可提供捏拉操作和轻敲操作的组合。因此，可基于移动终端装置10的规格适当地改变手势操作、功能等的组合。

此外，经常由软件执行根据上述实施例的一系列处理。在这种情况下，具有安装有构成软件的程序的专门设计的硬件的计算机或安装有被实现为执行各种功能的程序的计算机能够实现这种执行。例如，构成期望软件的程序可安装在通用计算机等中以运行。

此外，存储用于实现上述实施例的功能的软件的程序代码的存储介质可被提供到系统或设备。此外，无需指出的是，系统或设备的计算机（或诸如CPU的控制装置）可读取并执行存储在存储介质中的程序代码，从而实现上述功能。

例如，为提供程序代码所提供的存储介质可包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

此外，由读取并执行程序代码的计算机实现上述实施例的功能。另外，在计算机上运行的OS等根据来自程序代码的指令执行实际处理的部分或整个实际处理。可由构成另一实施例的处理实现上述实施例的功能。此外，可由硬件构成根据本实施例的处理，代替由如上所述的软件执行。

此外，理所当然的是，本公开不限于上述实施例，而是在不脱离在权利要求中记载的本公开的精神的情况下，可以以不同且多种方式被应用和修改。为此，本领域技术人员应该理解，可根据设计和/或其它因素等想到各种变型、组合和其它示例性实施例，只要它们在权利要求或权利要求的等同物的范围内即可。

另外，本公开可如下构造。

（1）

一种移动终端装置，包括：

触摸面板，在触摸面板上用指示物执行特定输入操作，

输入检测单元，被构造成基于指示物在触摸面板上的位置检测输入操作的模式，并且当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率，和

操作确定单元，被构造成当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

（2）

根据所述（1）的移动终端装置，包括：

显示单元，被构造成显示图像，

作为受控单元，

其中，当输入检测单元检测到在挂起状态下在触摸面板上执行了特定输入操作时，

操作确定单元使显示单元显示特定屏幕图像。

（3）

根据所述（1）或（2）的移动终端装置，包括：

成像单元，具有拍摄被摄体的光学系统，和

成像驱动单元，被构造成控制成像单元的操作，

其中，当输入检测单元检测到在挂起状态下在触摸面板上执行了与特定输入操作不同的输入操作时，

操作确定单元通过成像驱动单元启动成像单元的操作，并使显示单元显示通过用成像单元执行成像获得的图像。

（4）

根据所述（1）至（3）中的任何一项的移动终端装置，包括：

发声单元，被构造成发出声音，

作为受控单元，和

声音处理单元，被构造成对声音数据执行声音处理并使发声单元发出声音，

其中，当输入检测单元检测到在挂起状态下下触摸面板上执行了特定输入操作时，

操作确定单元使声音处理开始执行声音处理并使发声单元发出声音。

（5）

根据所述（1）至（4）中的任何一项的移动终端装置，还包括：

传感器单元，被构造成输出特定传感器值，

其中，当输入检测单元检测到在挂起状态下在触摸面板上执行了特定输入操作时，

操作确定单元基于传感器值从多种类型的受控单元中选择单个受控单元，并使选择的受控单元执行特定操作。

（6）

根据所述（1）至（5）中的任何一项的移动终端装置，

其中，当输入检测单元检测到在挂起状态下以预定顺序在触摸面板上多次执行不同的输入操作时，

操作确定单元使与不同的输入操作相关联的受控单元执行特定操作。

（7）

根据所述（1）至（6）中的任何一项的移动终端装置，

其中，当输入检测单元检测到特定输入操作与规定的输入操作相似时，操作确定单元使显示单元显示表示规定输入操作的向导，并且当输入检测单元检测到根据向导在触摸面板上再次执行的输入操作是规定输入操作时，指示与规定输入操作相关的受控单元执行特定操作。

（8）

根据所述（1）至（7）中的任何一项的移动终端装置，

其中，当在挂起状态下检测到输入操作的模式时，操作确定单元启动中间件，并使得从被确定为与输入操作的模式相关的操作目标的受控单元的中间件执行特定操作。

（9）

根据所述（1）至（8）中的任何一项的移动终端装置，

其中，挂起状态是至少应用软件和中间件未启动的状态，和

其中，在受控单元中，当在应用软件被启动的状态下实现在触摸面板上执行的输入操作时，经由应用软件和中间件控制操作，并且在挂起状态下经由中间件控制操作。

（10）

一种操作方法，包括以下步骤：

基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式，

基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率，和

当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

（11）

一种使计算机执行以下过程的程序：

基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式，

基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率，和

当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

（12）

一种存储使计算机执行以下过程的程序的计算机可读存储介质：

基于在触摸面板上执行输入操作的指示物的位置检测输入操作的模式，

基于指示物在触摸面板上的位置检测输入操作的模式，当在指定时间段没检测到在触摸面板上执行的输入操作时降低被布置用于检测在触摸面板上执行的输入操作的处理的执行频率，和

当在布置用于检测输入操作的处理的执行频率低的情况下检测到输入操作的模式时，指示基于输入操作的所述模式被确定为操作目标的受控单元执行特定操作。

[标号列表]

7：触摸面板，10：移动终端装置，39：显示面板，71：触摸传感器，72：触摸传感器驱动单元，73：显示单元。

Claims (15)

1.一种移动终端装置，包括：

触摸面板，使用触摸传感器检测输入操作；

输入检测器，当移动终端装置处于挂起状态时基于触摸面板的输出检测触摸面板上的多个触摸输入；

处理电路，当在特定时间段内触摸面板未检测到输入操作时，处理电路控制输入检测器转变到挂起状态，并且当移动终端装置处于挂起状态时输入检测器检测到与特定应用对应的触摸面板上的所述多个触摸输入时，处理电路执行所述特定应用；和

所述触摸传感器以外的传感器单元，输出传感器值，并且当移动终端装置处于挂起状态时输入检测器检测到触摸面板上的所述多个触摸输入时，处理电路基于所述传感器值确定从多个应用中要执行哪个特定应用。

2.根据权利要求1所述的移动终端装置，其中，所述多个触摸输入包括触摸面板上的预定位置的顺序接触。

3.根据权利要求2所述的移动终端装置，其中，所述多个触摸输入对应于在触摸面板上的预定位置连续执行的拖拽或扫划操作。

4.根据权利要求1所述的移动终端装置，其中，所述多个触摸输入是由用户的手指在触摸面板上执行的双击操作。

5.根据权利要求1所述的移动终端装置，其中，当移动终端装置处于挂起状态时输入检测器检测到与特定应用对应的触摸面板上的所述多个触摸输入时，处理电路启动照相机应用或音乐再现应用。

6.根据权利要求1所述的移动终端装置，其中，传感器单元包括加速度传感器，并且处理电路根据传感器值执行特定操作。

7.根据权利要求1所述的移动终端装置，其中，当移动终端装置处于挂起状态时输入检测器检测到与特定应用对应的触摸面板上的多个触摸输入的预定组合时，处理电路执行所述特定应用。

8.根据权利要求1所述的移动终端装置，还包括：

显示单元，其中当移动终端装置处于挂起状态时处理电路控制显示单元以停止至少一个功能。

9.根据权利要求1所述的移动终端装置，其中，触摸面板包括多个面板，并且当在特定时间段特定的一个或多个面板未检测到输入操作时，处理电路控制输入检测器以将一个或多个面板的检测频率降低到一定水平并将其它面板的检测频率降低到低于所述一定水平的另一水平。

10.根据权利要求9所述的移动终端装置，其中，面板中的一个为位于移动终端装置的正面的前面板，并且面板中的另外两个为位于移动终端装置的两个侧面的侧面板。

11.根据权利要求10所述的移动终端装置，其中，处理电路控制输入检测器将前面板的检测频率减小到低于侧面板的检测频率的深睡眠模式或电源关闭模式。

12.根据权利要求8所述的移动终端装置，其中，当检测到与特定应用对应的触摸面板上的所述多个触摸输入时，处理电路控制显示单元显示所述特定应用的主屏幕。

13.一种用于控制移动终端装置的方法，该方法包括：

通过具有触摸传感器的触摸面板检测输入操作；

当在特定时间段通过触摸面板未检测到输入操作时，将移动终端装置转变到挂起状态；

当移动终端装置处于挂起状态时，基于触摸面板的输出检测触摸面板上的多个触摸输入；

从所述触摸传感器以外的传感器单元接收传感器值；

基于所述传感器值确定从多个应用中要执行哪个特定应用；以及

当移动终端装置处于挂起状态时检测到与特定应用对应的触摸面板上的所述多个触摸输入时，执行所确定的特定应用。

14.根据权利要求13所述的控制移动终端装置的方法，其中，所述多个触摸输入是由用户的手指在触摸面板上执行的双击操作。

15.根据权利要求13所述的控制移动终端装置的方法，其中，触摸面板包括多个面板，并且所述方法还包括以下步骤：当在特定时间段特定的一个或多个面板未检测到输入操作时，将一个或多个面板的检测频率降低到一定水平并将其它面板的检测频率降低到低于所述一定水平的另一水平。