CN102144206A - 姿势输入操作设备、方法、程序和便携式设备 - Google Patents

姿势输入操作设备、方法、程序和便携式设备 Download PDF

Info

Publication number
CN102144206A
CN102144206A CN2009801344969A CN200980134496A CN102144206A CN 102144206 A CN102144206 A CN 102144206A CN 2009801344969 A CN2009801344969 A CN 2009801344969A CN 200980134496 A CN200980134496 A CN 200980134496A CN 102144206 A CN102144206 A CN 102144206A
Authority
CN
China
Prior art keywords
posture
route
display frame
input operation
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801344969A
Other languages
English (en)
Other versions
CN102144206B (zh
Inventor
三浦成晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Innovations Co ltd Hong Kong
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102144206A publication Critical patent/CN102144206A/zh
Application granted granted Critical
Publication of CN102144206B publication Critical patent/CN102144206B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Abstract

通过向画面上的整个触摸面板进行输入，辅助了操作并且抑制了处理负担的增长。一种用于经由点选设备在显示画面上执行信息的输入操作的姿势操作输入设备设有：区域设定单元(102B)，用于在显示画面上设定多个区域并对每一个区域进行编号；姿势路线规则存储单元(103A)，用于存储针对包括图形和符号的姿势的、通过在显示画面上按预定路线描画过的区域的编号形成的姿势路线规则；操作路线信息存储单元(103B)，用于在显示画面上绘制姿势并且由点选设备指定显示画面上设定的多个区域时，临时存储所指定区域的编号作为输入操作的路线信息；和姿势判断单元(102A)，用于在所存储的姿势路线规则和所存储的输入操作的路线信息被比较且一致时，将输入操作的路线信息判定为在显示画面上绘制的姿势。

Description

姿势输入操作设备、方法、程序和便携式设备
技术领域
本发明涉及配备有点选设备的便携式设备。特别地，本发明涉及能有助于小型化并且能使输入操作容易的姿势输入操作设备、方法、程序和便携式设备。
背景技术
现今，对于包括PDA(个人数字助理)、蜂窝电话和便携式播放器在内的便携式设备，正在采用触摸面板。
图19是示出相关便携式设备和用户之间的对话的概要的示图。如图所示，对于该便携式设备，在删除画面上的图像的情况下，通过触摸针对消息“删除图像？”被在画面上指示出的按钮“是”或“否”来执行选择操作。
但是，因为画面尺寸有限使得不能放大便携式设备对这些按钮的指示，所以需要触摸较小区域并且存在易于导致操作错误的问题。另外，在放大按钮的显示区域的情况下，存在使能选择的项目减少的问题。
为了克服这些问题，可获得如下与触摸面板相关的技术。
例如，专利文件1公开了一种车载信息终端，其旨在根据用户的指令来进行校正操作，即使用户难以实现对触摸面板的准确操作也是如此。具体而言，为了实现该目的，专利文献1公开了一种检测触摸面板操作的触摸位置的改变的技术。对于使用此技术的终端，当触摸位置没有改变时，其执行与在触摸面板操作的触摸位置处的显示内容相对应的处理内容。另一方面，当触摸位置改变时，终端从轨迹辨认出操作姿势，并执行与操作姿势相对应的处理内容。
另外，专利文献2公开了一种在作为示例的车辆导航设备的触摸面板显示器中的命令输入方法。对于该命令输入方法，即使滚动按钮、命令按钮等被交叠显示在地图等上，也不存在诸如遮掩显示在下层的地图等的损害。这是因为当向命令指派诸如线段和三角形之类的多个线条画，并且用户使用手指在触摸面板显示器上绘制与一命令相对应的线条画时，该线条画被辨认出，并且相应命令被执行。
[专利文献1]日本专利申请早期公布No.2007-145106
[专利文献2]日本专利申请早期公布No.1999-085398
发明内容
[本发明试图解决的问题]
但是，在上述专利文献1中，操作姿势是根据触摸位置的轨迹来辨认的，并且当应用现有技术的字符辨认和图形模式辨认来辨认操作姿势时，存在处理负担变得巨大的问题。
另外，在上述专利文献2中，对像线条画或三角形那样的符号进行辨认，并且当使用相关技术的图形模式辨认时，存在处理负担也变得巨大的问题。
因此，因为这些技术使得处理能力、存储容量和电源容量的资源有限的便携式设备承受很重的负担，所以很难应用这些技术。
鉴于上述问题，本发明的一个目的是提供一种姿势输入操作设备、方法、程序和便携式设备，它们能够经由点选设备、使用整个显示画面来容易地输入操作，能够抑制处理负担的过度增长，并且能够有助于小型化。
[技术方案]
为了实现该目的，本发明将具有如下特征。
本发明的一种姿势操作输入设备是经由点选设备在显示画面上执行信息的输入操作的设备，其中，在所述显示画面上设定了分别附接有识别信息的至少两个区域，所述姿势操作输入设备包括：姿势路线规则存储单元，其存储针对包括图形和符号的姿势的、通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则；操作路线信息存储单元，其在根据所述显示画面上的姿势的输入而由所述点选设备相继选择所述显示画面中的所述区域时，临时存储每一个所指定区域的所述识别信息作为输入操作的路线信息；和姿势判断单元，其在所述姿势路线规则和所述输入操作的路线信息被比较且一致的情况下，判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势。
此外，本发明的一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入方法包括：在所述显示画面上设定分别被指派了识别信息的至少两个区域的步骤；当根据所述显示画面上的姿势的输入而由所述点选设备相继指定所述显示画面中的所述区域时，临时存储关于每一个所指定区域的所述识别信息作为输入操作的路线信息的步骤；和针对包括图形和符号的姿势，对通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则与所述输入操作的路线信息进行比较，并且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的步骤。
此外，本发明的一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入程序包括：在所述显示画面上设定分别被指派了识别信息的至少两个区域的过程；当根据所述显示画面上的姿势的输入而由所述点选设备相继指定所述显示画面中的所述区域时，临时存储关于每一个所指定区域的所述识别信息作为输入操作的路线信息的过程；和针对包括图形和符号的姿势，对通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则与所述输入操作的路线信息进行比较，并且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的过程。
此外，本发明的一种便携式设备是经由点选设备在显示画面上执行信息的输入操作的设备，其中，在所述显示画面上设定了分别附接有识别信息的至少两个区域，所述便携式设备包括：姿势路线规则存储单元，其存储针对包括图形和符号的姿势的、通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则；操作路线信息存储单元，其在根据所述显示画面上的姿势的输入而由所述点选设备相继选择所述显示画面中的所述区域时，临时存储每一个所指定区域的所述识别信息作为输入操作的路线信息；和姿势判断单元，其在所述姿势路线规则和所述输入操作的路线信息被比较且一致的情况下，判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势。
[发明的效果]
如上所述，根据本发明，可以提供一种姿势输入操作设备、方法、程序和便携式设备，它们能够经由点选设备使用整个显示画面来容易地输入操作，能够抑制处理负担的过度增长，并能够有助于小型化。
附图说明
图1是示出根据本发明实施例的姿势操作输入设备的示意性配置的框图。
图2是示出图1中的显示画面104的区域划分示例的示图。
图3是示出当手指在显示画面104的画面上从右上位置向中心位置描画时判断姿势的示例的示图。
图4是示出图1中的姿势操作输入设备100的一系列操作的示例的流程图。
图5是示出存储在姿势路线规则存储单元103A中的“圆圈符号”的姿势路线规则的具体示例的示图。
图6是示出存储在姿势路线规则存储单元103A中的“渐强符号”的姿势路线规则的具体示例的示图。
图7是示出存储在姿势路线规则存储单元103A中的“渐弱符号”的姿势路线规则的具体示例的示图。
图8是示出存储在姿势路线规则存储单元103A中的“逻辑求和符号”和“逻辑乘积符号”的姿势路线规则的具体示例的示图。
图9是示出存储在姿势路线规则存储单元103A中的“Z符号”和“N符号”的姿势路线规则的具体示例的示图。
图10是示出存储在姿势路线规则存储单元103A中的“e符号”的姿势路线规则的具体示例的示图。
图11是示出图5中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图12是示出图6中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图13是示出图7中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图14是示出图8中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图15是示出图9中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图16是示出图10中的存储在姿势路线规则存储单元103A中的姿势路线规则的姿势的示图，该姿势被可视地绘制在三行三列的矩阵类型区域上。
图17是示出将姿势输入操作设备应用于便携式设备并执行用户与便携式设备之间的对话的示例的示图。
图18是示出将姿势输入操作设备应用于便携式设备并在便携式设备上由用户执行菜单操作的示例的示图。
图19是示出传统便携式设备与用户之间的对话的概要的示图。
图20是示出根据本发明第三实施例的姿势操作输入设备的示意性配置的框图。
标号说明
100  姿势操作输入设备
101  点选设备
102   控制单元
102A  姿势判断单元
102B  区域设定单元
103   存储器单元
103A  姿势路线规则存储单元
103B  操作路线信息存储单元
104  显示画面
0101、0102、0103、...、0301、0302和0303    区域的矩阵编号
具体实施方式
下文将参考附图描述本发明的实施例。
图1是示出根据本发明一个实施例的姿势操作输入设备的示意性配置的框图。
如图所示，姿势操作输入设备100包括点选设备101、控制单元102、存储器单元103和显示画面104。控制单元102包括姿势判断单元102A，并且存储器单元103包括姿势路线规则存储单元103A和操作路线信息存储单元103B 。
向显示画面104设置了分别附接识别信息的至少两个区域(cell)。用户通过经由点选设备101在显示画面104上绘制各种图形和符号来输入姿势。在姿势输入操作时，点选设备在描画(trace)显示画面的同时相继指定所述区域。每一个所指定区域上的识别信息被临时存储在操作路线信息存储单元103B中作为输入操作的路线信息。
另外，关于将被输入的各种姿势，在输入姿势时在所述显示画面上描画出的区域路线被预先定义为每一个区域的所述识别信息，并被存储在姿势路线存储单元103A中作为姿势路线规则。
当有来自点选设备的输入操作时，姿势判断单元102B对输入操作的路线信息与姿势路线规则进行比较，并且在输入操作的路线信息与所定义的姿势路线之一一致时，判定姿势被输入。
如上述配置所示，根据该实施例，可通过经由点选设备使用整个显示画面104进行的操作来容易地进行输入，并且与辨认所输入姿势的轨迹本身和图形本身相比，还可极大地降低处理负担。
接下来，描述本发明另一实施例的操作示例和详尽的构成。图1所示的姿势操作输入设备将被应用于便携式设备，并且点选设备101包括触摸面板。控制单元102包括CPU(中央处理单元)，并且姿势判断单元102A的处理由软件来执行。存储器单元103包括RAM(随机访问存储器)和ROM(只读存储器)。由姿势判断单元102A执行的软件存储在ROM中，并且姿势路线规则存储单元103A也包括ROM。另外，显示画面104的区域划分的设定和关于各个区域的识别信息也存储在ROM中。此外，可将可重写ROM用于ROM来存储上述数据，以便按需进行重新配置。另一方面，操作路线信息存储单元103B包括RAM。显示画面104包括LCD(液晶显示器)，并且作为点选设备101的触摸面板被安装在显示画面104上。
图2是示出图1中的显示画面104的区域划分示例的示图。如图所示，作为示例，显示画面104被划分成三行三列的矩阵类型的区域，并且作为示例，向每一个区域指派了4个数字的矩阵编号0101、0102、0103、...、0301、0302和0303作为识别信息。首先，下面作为一个简单示例来描述姿势判断的概要。
图3的示图示出了判断在安装了触摸面板的显示画面104的画面上通过手指从右上方向中心描画的姿势的示例。作为示例，描述了如下情况：将利用手指在显示画面104上描画的姿势判断为从右上区域0301向中心区域0202描画的姿势。
作为与该姿势相对应的最简单的姿势路线规则，矩阵编号0301和0202被预先存储在姿势路线规则存储单元103A中。但是，因为当手指在区域0301和0202之间描画时，用户在触摸面板上的输入操作有较小波动，所以还应当考虑到描画了相邻区域0201或0302。例如，在图3中，描画了区域0201。因此，0201和0302被添加到与该姿势相对应的姿势路线规则，并被存储在姿势路线规则存储单元103A中作为数据(0301、x0302、x0201、0202)。这里，以“x”开头的矩阵编号x0302和x0201是由姿势的输入操作波动引起的旁路路线的矩阵编号，用于确定在描画区域0301和0202时可能描画到相邻区域0302或0201。
当用户的手指在显示画面104上描画时，作为点选设备101的触摸面板指定手指所触摸的区域。所指定区域的矩阵编号的路线被存储在操作路线信息存储单元103B中。在用户输入描画区域0301和0202的具有较小波动的姿势时，如下指示出将要被存储在操作路线信息存储单元103B中的、区域矩阵编号的路线的几个典型示例：
示例1：0301、0202                判定一致
示例2：0301、0302、0202          判定一致
示例3：0301、0201、0202          判定一致
示例4：0301、0201、0302、0202    判定一致
示例5：0301、0302、0201、0202    判定一致
示例6：0301、0202、0102          判定不一致
示例7：0301、0202、0203          判定不一致
示例8：0301、0202、0103          判定不一致
示例9：0202、0301                判定不一致
示例10：0201、0202               判定不一致
示例11：0302、0202               判定不一致
示例12：0301、0202、0201         判定不一致
示例13：0301、0202、0302         判定不一致
示例14：0201、0301、0202         判定不一致
示例15：0302、0301、0202         判定不一致
示例16：0301、0302、0202、0201   判定不一致
示例17：0301、0201、0202、0302   判定不一致
在操作路线信息存储单元103B中，上述示例的路线之一被生成并被存储作为描画区域0301和0202的姿势的操作路线信息。
控制单元102的姿势判断单元102A对存储在姿势路线规则存储单元103A中的姿势路线规则(0301、x0302、x0201、0202)与存储在操作路线信息存储单元103B中的操作路线信息进行比较。当它们两者被比较时，对于与具有“x”的矩阵编号x0302和x0201一致的操作路线信息的那些编号，它们被设定为旁路路线。姿势判断单元102A对包括关于旁路路线的操作路线信息的矩阵编号的、矩阵编号0301和0202的姿势路线规则的矩阵编号进行比较，并判断它们是否一致。姿势判断单元102A基于该判断的结果，来判断存储在操作路线信息存储单元103B中的操作路线信息与所述姿势是否一致。
对于上述示例1-17，姿势判断单元102A判定上述示例1-5“一致”，并判定示例1-5与存储在姿势路线规则存储单元103A中的姿势一致。另一方面，姿势判断单元102A判定上述示例6-17“不一致”，并判定示例6-17与存储在姿势路线规则存储单元103A中的姿势不一致。
这里，对于上述示例11-17，虽然在存储在姿势路线规则存储单元103A中的姿势路线规则中存在具有“x”的矩阵编号，但是因为具有“x”的矩阵编号不在不具有“x”的矩阵编号之间，所以示例11-17没有被判定为旁路路线。为此，这些路线被判定为不一致。
类似地，在上述示例10中，虽然在存储在姿势路线规则存储单元103A中的姿势路线规则中存在具有“x”的矩阵编号，但是因为该具有“x”的矩阵编号不是在不具有“x”的矩阵编号之间，所以0201未被判定为旁路路线。为此，该路线被判定为不一致。
这样，虽然许可输入操作的波动，但是排除了与波动无关的那些许可。
图4是示出图1中的姿势操作输入设备100的一系列操作的示例的流程图。
如该流程图所示，在步骤S201，认为手指应当触摸由矩阵设定单元102A设定了矩阵上的区域的显示画面104。
在步骤S202，控制单元102指定在显示画面104上被使用点选设备101的触摸面板触摸的区域，并将所指定区域的矩阵编号存储在操作路线信息存储单元103B中。
在步骤S203，控制单元102通过由点选设备101的触摸面板指定的区域的矩阵编号的变化来判断手指是否移动到了另一区域。当手指没有移动到另一区域时，步骤前进到步骤S205。
当手指已经移动到另一区域时，在步骤S204，控制单元102将所触摸的区域的矩阵编号的路线存储在操作路线信息存储单元103B中。
在步骤S205，控制单元102判断触摸手指是否从显示画面104释放了。如果手指没有释放，则步骤返回到步骤S203。
在步骤S206，姿势判断单元102B对存储在操作路线信息存储单元103B中的区域的矩阵编号的路线与存储在姿势路线规则存储单元103A中的姿势路线规则进行比较。
在步骤S207，当在上述比较中，在姿势路线规则存储单元103A中不存在一致的姿势路线规则时，姿势判断单元102B判定存储在操作路线信息存储单元103B中的区域的矩阵编号的路线并非姿势，并且步骤前进到步骤S209。
在步骤S208，当在上述比较中，在姿势路线规则存储单元103A中存在一致的姿势路线规则时，姿势判断单元102B判定存储在操作路线信息存储单元103B中的区域的矩阵编号的路线是姿势，将其处理为预定姿势输入，并且处理结束。
在步骤S209，认为所指定的触摸是正常触摸操作或者拖拉操作，并且处理结束。
接下来，举例详细描述存储在姿势路线规则存储单元103A中的姿势路线规则的、本发明的一个实施例。
首先，假设由姿势判断单元102A在显示画面104上设定了三行三列的矩阵类型的区域，如图2所示，并且向相应区域指派了矩阵编号。
对于如图5-10所示的“圆圈符号”、“渐强符号”(crescendo-sign)、“渐弱符号”(decrescendo-sign)、“逻辑求和符号”、“逻辑乘积符号”、“Z符号”、“N符号”和“e符号”，每一个姿势路线规则的各种变体分别被存储在姿势路线规则存储单元103A中。
设定每一姿势的路线规则的各种变体是因为很难无论何时用户利用手指在显示画面104上描画姿势时都以相同形状来描画姿势，并且可能以少许不同的形状来描画姿势。
图11-16的示图以可视形式在三行三列的矩阵类型区域上绘制了分别存储在姿势路线规则存储单元103A中的、图5-10的姿势路线规则的姿势。
下面描述包括姿势操作输入设备100的便携式设备的一个实施例，该姿势操作输入设备100具有存储着图5-10所示的姿势路线规则的姿势路线规则存储单元103A。
图17的示图示出了将姿势输入操作设备应用于便携式设备并执行用户和便携式设备之间的对话的示例。这里，指示出了在该便携式设备的显示画面104上执行在用户和便携式设备之间的、有关图像删除的确认的对话的示例。当针对“删除Image.001gif？”而请求用户的答复“是”或“否”时，便携式设备针对“是”请求姿势“圆圈符号”的输入操作，并针对“否”请求姿势“逻辑求和符号”的输入操作。用户针对选择“是”而绘制姿势“圆圈符号”，并针对选择“否”而绘制姿势“逻辑求和符号”。在姿势输入操作之后，基于图4所示的流程图来判断该姿势。
以这种方式，当设计了示出用于所选图标的姿势的符号时，通过传统键操作和触摸操作进行的选择可以同时存在，并且该设计也很容易为用户所理解。此外，因为可以采用触摸面板而无需彻底改变现有布局，所以可以抑制软件开发成本。
图18的示图示出了用户在应用了姿势输入操作设备的便携式设备上进行的菜单操作的执行示例。如图所示，在便携式设备的显示画面104上指示出了诸如邮件、电话号码簿、浏览器、电视、Java(注册商标)和相机之类的用于请求姿势的输入操作的多个菜单，以供选择菜单。例如，分别地，对于发起邮件功能绘制了“N符号”，对于发起电话号码簿功能绘制了“逻辑乘积符号”，对于发起浏览器功能绘制了“e符号”，对于发起电视功能绘制了“渐弱符号”，对于发起Java(注册商标)功能绘制了“圆圈符号”，并且对于发起相机功能绘制了“Z符号”。在姿势输入操作之后，根据图4的流程图来判断姿势。
以这种方式，当设计了示出用于菜单图标的姿势的符号时，通过传统键操作和触摸操作进行的选择可以同时存在。此外，用户可以容易地理解该设计。而且，因为使用了触摸面板而无需彻底地修改现有布局，所以可以抑制软件开发成本。因此，根据本实施例，因为显示画面104的整个触摸面板都可用于操作，所以可以设定很大的触摸面板范围，并且这向便携式设备等带来了如下优点：不用请求精细操作，并且无需困难的小按钮选择。
另外，因为点选设备101操作期间的处理内容(即，图4中的步骤S203和204)非常简单，所以带来了如下优点：快速操作响应对于CPU资源有限的便携式设备等是可能的。
此外，因为姿势路线规则存储单元103A所需的存储器大小非常小，所以即使对于在显示画面104上进行两次的姿势操作，存储器大小也可保持在一百字节以内。因此，即使姿势路线规则存储单元103A具有100种姿势路线规则，计算也表明总数据大小在10k字节以内，并且该姿势路线规则存储单元103A也可用于具有有限的ROM和RAM容量的便携式设备。
另外，根据该实施例，因为整个触摸面板都可用于操作，所以不需要诸如触笔等的用于精细操作的外部组件，并且得到了可以省略触笔及其保持空间的效果，而且大小和成本两者都可降低。
而且，根据该实施例，因为仅应当绘制姿势，所以不用请求在显示画面104上指示出供选择的按钮或列表，并且这通过省略按钮的图形而可应用于另一显示。例如，首先在发起多任务等时指示出发起菜单，然后选择并发起一功能，这是普通终端的标准方法。但是，通过使用姿势操作，例如，为了通过姿势“N符号”发起邮件功能，可以在操作其它功能的同时通过在显示画面104上绘制姿势“N符号”来直接发起邮件功能。对于支持多任务功能或协作功能的便携式设备，目前开放的数据和功能的内容可被传递到通过姿势操作发起的功能。例如，当通过姿势“N符号”发起邮件功能时，可以通过利用姿势“逻辑乘积符号”发起电话号码簿功能并通过在邮件地址字段中指定预先操作过的电话号码簿中的地址来提供平滑的用户接口。
此外，在可以进行触摸操作和拖拉操作的画面上同时可以有姿势功能。
而且，仅通过修改姿势路线规则存储单元103A的内容，就可以添加、删除和修改姿势。
此外，根据上述实施例，即使使用触摸面板作为点选设备101的示例，也可使用鼠标作为可用来进行所谓的拖拉操作(即，在选择的同时移动)的其它点选设备。即，从鼠标点击按钮的推动到释放的过程可被判定为姿势。
另外，存储在姿势路线规则存储单元103A中的姿势路线规则的数据可被从因特网等下载，并且还可被记录、添加和修改。因为存储在姿势路线规则存储单元103A中的内容约为每一姿势100字节数据大小，并且具有非常简单的结构，所以很容易记录、添加和修改它们。
此外，可从姿势操作输入设备100省略显示画面104，并且可将姿势操作输入设备100封装成将姿势操作作为信号从具有姿势判断单元102A的控制单元102发送到终端侧的设备。该封装配置可以作为支持姿势操作判断的独立触摸设备来售卖。
另外，已经描述了将显示画面104划分成图2中的三行三列的矩阵区域。关于设定画面的区域划分，当区域数目太小时，可以输入的符号模式较有限，而当区域数目太大时，应当考虑的变体和旁路路线增加，并且不能那么高效地利用硬件资源。在三行三列的矩阵的情况下，其与两行两列的矩阵相比可以卓越地应对各种图形和变体，并且可以说它是足以用于绘制上述简单的二维图形的区域设定模式。
但是，对于范围划分的数目并没有限制，并且根据各种应用，其可以是两行两列、四行四列和十行十列。另外，行的划分数目和列的划分数目不必相同，并且作为示例，取代三行三列可以是两行三列。此外，虽然在图2中显示了在显示画面104上的三行三列矩阵的区域划分线，但是不必显示这些划分线，并且也不必物理地将触摸面板分割成各个区域。
[第3实施例]
图20是示出根据本发明第三实施例的姿势操作输入设备的示意性配置的框图。如图所示，姿势操作输入设备100包括点选设备101、具有姿势判断单元102A和区域设定单元102B的控制单元102、具有姿势路线规则存储单元103A和操作路线信息存储单元103B的存储器单元103、以及显示画面104，并被应用于便携式设备。
[第4实施例]
一种用于经由点选设备在显示画面上执行信息的输入操作的姿势操作输入设备设有：用于在所述显示画面上设定多个区域并对每一个区域编号的区域设定单元，用于存储针对包括图形和符号的姿势的、通过在所述显示画面上按预定路线描画过的区域的编号形成的姿势路线规则的姿势路线规则存储单元，用于在所述显示画面上绘制姿势并由点选设备指定设定在所述显示画面上的多个区域时将所指定的区域的编号临时存储为输入操作的路线信息的操作路线信息存储单元，以及用于在存储在所述姿势路线规则存储单元中的姿势路线规则与存储在所述操作路线信息存储单元中的输入操作的路线信息被比较且两者一致时将输入操作的路线信息判定为在所述显示画面上绘制的姿势的姿势判断单元。
[第5实施例]
当由于针对存储在所述姿势路线规则存储单元中的姿势路线规则的输入操作波动而使得在所描画的区域之间可能存在相邻区域时，将由输入操作波动引起的区域的编号登记在姿势路线规则中的描画区域的编号之间，当存储在所述操作路线信息存储单元中的输入操作的路线信息与存储在所述姿势路线规则存储单元中的姿势路线规则的输入操作波动区域的编号一致时，所述姿势判断单元忽略一致的输入操作的路线信息的区域编号，并将排除了所忽略的编号的输入操作路线信息的区域编号与排除了所忽略的输入操作波动区域的编号的姿势路线规则的区域编号相比较。
[第6实施例]
所述点选设备包括触摸面板或鼠标。
[第7实施例]
所述区域设定单元所设定的区域包括三行三列的矩阵上的区域。
[第8实施例]
存储在所述姿势路线规则存储单元中的姿势路线规则包括圆圈符号、渐强符号、渐弱符号、逻辑求和符号、逻辑乘积符号、Z符号、N符号和e符号的姿势路线规则。
[第9实施例]
存储在所述姿势路线规则存储单元中的姿势路线规则可经由因特网而被记录、添加和修改。
[第10实施例]
一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入方法设有：在所述显示画面上设定多个区域并对每一个区域指派编号的步骤，当通过在所述显示画面上绘制姿势而使用所述点选设备在所述显示画面上指定多个区域时将所指定的区域编号临时存储为输入操作的路线信息的步骤，以及对存储着针对包括图形和符号的姿势的、在所述显示画面上按预定区域路线描画过的区域的编号的姿势路线规则与所保存的输入操作的路线信息进行比较，且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的步骤。
[第11实施例]
一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入程序设有：在所述显示画面上设定多个区域并对每一个区域指派编号的过程，当通过在所述显示画面上绘制姿势而使用所述点选设备在所述显示画面上指定多个区域时将所指定的区域编号临时存储为输入操作的路线信息的过程，以及对存储着针对包括图形和符号的姿势的、在所述显示画面上描画了预定的区域路线的区域编号的姿势路线规则与所保存的输入操作的路线信息进行比较，且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的过程。
[第12实施例]
一种用于经由点选设备在显示画面上执行信息的输入操作的便携式设备设有：区域设定单元，其在所述显示画面上设定多个区域并对每一个区域指派编号；姿势路线规则存储单元，其存储针对包括图形和符号的姿势的、通过在所述显示画面上按预定路线描画过的区域的编号形成的姿势路线规则；操作路线信息存储单元，其在所述点选设备通过在所述显示画面上绘制姿势而选择设定在所述显示画面上的多个区域时，将所指定的区域的编号临时存储为输入操作的路线信息；以及姿势判断单元，其在存储在所述操作路线信息存储单元中的姿势路线规则与存储在所述操作路线信息存储单元中的所述输入操作的路线信息被比较且两者一致的情况下，判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势。
[第13实施例]
在确认“是”或“否”的对话被显示在所述显示画面上，并且在所述显示画面上绘制了圆圈符号的情况下，判定绘制了圆圈符号并且确认“是”。并且在绘制了逻辑求和符号时，判定绘制了逻辑求和符号并确认“否”。
[第14实施例]
当在所述显示画面上显示了包括“邮件”、“电话号码簿”、“浏览器”、“单频段”(One seg)、“Java(注册商标)”和“相机”的菜单并且N符号被绘制在所述显示画面上时，判定N符号被绘制并且确认邮件功能被发起。当逻辑乘积符号被绘制在所述显示画面上时，判定逻辑乘积符号被绘制并且确认电话号码簿功能被发起。当e符号被绘制在所述显示画面上时，判定e符号被绘制并且确认浏览器功能被发起。当渐弱符号被绘制在所述显示画面上时，判定渐弱符号被绘制并且确认单频段功能被发起。当圆圈符号被绘制在所述显示画面上时，判定圆圈符号被绘制并且确认Java(注册商标)功能被发起。并且当Z符号被绘制在所述显示画面上时，判定Z符号被绘制并且确认相机功能被发起。
虽然已经参考本发明的示例性实施例具体示出并描述了本发明，但是本发明不限于这些实施例。本领域普通技术人员将了解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对这些实施例做出形式和细节上的各种改变。
本申请基于2008年9月3日提交的日本专利申请No.2008-226492，并要求该申请的优先权，该申请的公开内容通过引用而全部结合于此。
[工业上的可用性]
虽然已经描述了对便携式设备的应用，但是本发明也可应用于诸如移动电话、PDA(个人数字助理)、PHS(个人手机系统)、DECT(数字增强无绳电信)、便携式音乐播放器、便携式视频播放器、手持式游戏机和电子字典等的便携式设备。

Claims (11)

1.一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入设备，其中，在所述显示画面上设定了分别附接有识别信息的至少两个区域，所述姿势操作输入设备的特征在于包括：
姿势路线规则存储单元，存储针对包括图形和符号的姿势的、通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则；
操作路线信息存储单元，在根据所述显示画面上的姿势的输入而由所述点选设备相继选择所述显示画面中的所述区域时，临时存储每一个所指定区域的所述识别信息作为输入操作的路线信息；和
姿势判断单元，在所述姿势路线规则和所述输入操作的路线信息被比较且一致的情况下，判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势。
2.根据权利要求1所述的姿势操作输入设备，其特征在于：
在描画时将进一步由输入操作波动引起的区域的识别信息添加到所述姿势路线规则，并且
在对所述显示画面的姿势输入之后，在存储在所述操作路线信息存储单元中的输入操作的路线信息包括所述输入操作波动所描画过的区域的识别信息的情况下，所述姿势判断单元忽略输入操作波动区域的识别信息，并将所述姿势路线规则与所述输入操作的路线信息进行比较。
3.根据权利要求1所述的姿势操作输入设备，其特征在于所述点选设备包括触摸面板或鼠标。
4.根据权利要求1所述的姿势操作输入设备，还包括：所述区域设定单元，将所述显示画面设定为三行三列的矩阵上的区域。
5.根据权利要求1所述的姿势操作输入设备，其特征在于：存储在所述姿势路线规则存储单元中的姿势路线规则包括圆圈符号、渐强符号、渐弱符号、逻辑求和符号、逻辑乘积符号、Z符号、N符号和e符号的姿势路线规则。
6.根据权利要求2所述的姿势操作输入设备，其特征在于：存储在所述姿势路线规则存储单元中的姿势路线规则被经由因特网来记录、添加和修改。
7.一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入方法，其特征在于包括：
在所述显示画面上设定分别被指派了识别信息的至少两个区域的步骤；
当根据所述显示画面上的姿势的输入而由所述点选设备相继指定所述显示画面中的所述区域时，临时存储关于每一个所指定区域的所述识别信息作为输入操作的路线信息的步骤；和
针对包括图形和符号的姿势，对通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则与所述输入操作的路线信息进行比较，并且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的步骤。
8.一种经由点选设备在显示画面上执行信息的输入操作的姿势操作输入程序，其特征在于包括：
在所述显示画面上设定分别被指派了识别信息的至少两个区域的过程；
当根据所述显示画面上的姿势的输入而由所述点选设备相继指定所述显示画面中的所述区域时，临时存储关于每一个所指定区域的所述识别信息作为输入操作的路线信息的过程；和
针对包括图形和符号的姿势，对通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则与所述输入操作的路线信息进行比较，并且在两者一致时判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势的过程。
9.一种经由点选设备在显示画面上执行信息的输入操作的便携式设备，其中，在所述显示画面上设定了分别附接有识别信息的至少两个区域，所述便携式设备的特征在于包括：
姿势路线规则存储单元，存储针对包括图形和符号的姿势的、通过关于每一个区域的所述识别信息来定义在输入操作时在所述显示画面上描画过的所述区域的路线的姿势路线规则；
操作路线信息存储单元，在根据所述显示画面上的姿势的输入而由所述点选设备相继选择所述显示画面中的所述区域时，临时存储每一个所指定区域的所述识别信息作为输入操作的路线信息；和
姿势判断单元，在所述姿势路线规则和所述输入操作的路线信息被比较且一致的情况下，判定在所述显示画面上绘制的姿势是由所述姿势路线规则定义的姿势。
10.根据权利要求9所述的便携式设备，其特征在于：
在所述显示画面上显示了至少两个对话框，
分别向所述对话框指派了特定图形，
当特定图形被绘制在所述显示画面上时，确定图形被绘制，并且
相应的所述对话框被辨认出已被选择。
11.根据权利要求9所述的便携式设备，其特征在于：
在所述显示画面上显示了至少两个菜单图标，
分别向所述菜单图标指派了特定图形，
当特定图形被绘制在所述显示画面上时，确定图形被绘制，并且
相应的所述菜单图标被辨认出已被选择。
CN2009801344969A 2008-09-03 2009-08-27 姿势输入操作设备、方法、程序和便携式设备 Expired - Fee Related CN102144206B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-226492 2008-09-03
JP2008226492 2008-09-03
PCT/JP2009/065378 WO2010027006A1 (ja) 2008-09-03 2009-08-27 ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス

Publications (2)

Publication Number Publication Date
CN102144206A true CN102144206A (zh) 2011-08-03
CN102144206B CN102144206B (zh) 2013-12-04

Family

ID=41797172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801344969A Expired - Fee Related CN102144206B (zh) 2008-09-03 2009-08-27 姿势输入操作设备、方法、程序和便携式设备

Country Status (5)

Country Link
US (2) US20110141050A1 (zh)
EP (1) EP2323019A4 (zh)
JP (1) JP5494483B2 (zh)
CN (1) CN102144206B (zh)
WO (1) WO2010027006A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335038A (zh) * 2014-07-30 2016-02-17 国际商业机器公司 一种提示触摸输入操作的方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236440B (zh) * 2010-04-22 2013-12-18 联芯科技有限公司 密码输入方法以及使用该方法的移动终端
US8635555B2 (en) * 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
US20130088437A1 (en) * 2010-06-14 2013-04-11 Sony Computer Entertainment Inc. Terminal device
JP5570881B2 (ja) * 2010-06-14 2014-08-13 株式会社ソニー・コンピュータエンタテインメント 端末装置
JP5460890B2 (ja) * 2011-01-25 2014-04-02 三菱電機株式会社 入力操作装置
JP5756730B2 (ja) * 2011-10-05 2015-07-29 日本電信電話株式会社 情報入力装置及びそのプログラム
KR102101818B1 (ko) * 2012-07-30 2020-04-17 삼성전자주식회사 단말기의 데이터전송 제어장치 및 방법
KR102084041B1 (ko) 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
JP2014088730A (ja) * 2012-10-31 2014-05-15 Mitsubishi Electric Corp 携帯通信機およびドア制御装置
CN103076976A (zh) 2013-01-07 2013-05-01 华为终端有限公司 添加应用图标的方法、移除应用图标的方法和装置
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
KR102169521B1 (ko) * 2013-05-14 2020-10-23 삼성전자 주식회사 입력장치, 디스플레이장치 및 그 제어방법
DE102014013763A1 (de) 2014-09-05 2016-03-10 Daimler Ag Bedienvorrichtung und Verfahren zum Bedienen von Funktionen eines Fahrzeugs, insbesondere eines Kraftwagens

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184816A (ja) * 1997-12-22 1999-07-09 Casio Comput Co Ltd 端末装置及び記憶媒体
JP2002082734A (ja) * 2000-09-06 2002-03-22 Sony Corp 情報処理装置、情報処理方法、並びにプログラム格納媒体
US20050237308A1 (en) * 2004-04-21 2005-10-27 Nokia Corporation Graphical functions by gestures
US20080074384A1 (en) * 2006-09-22 2008-03-27 Research In Motion Limited System and method for adjusting icons, text and images on an electronic device
CN101231567A (zh) * 2007-01-24 2008-07-30 北京三星通信技术研究有限公司 基于手写识别的人机交互方法和系统及运行该系统的设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
JPH1185398A (ja) * 1997-09-11 1999-03-30 Kenwood Corp タッチパネルディスプレー用コマンド入力装置
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
GB2431500B (en) * 2004-06-18 2009-03-25 Microth Inc Stroke-based data entry device, system, and method
JP2006172006A (ja) * 2004-12-14 2006-06-29 Sanyo Electric Co Ltd 電子機器
JP2007145106A (ja) 2005-11-25 2007-06-14 Xanavi Informatics Corp 車載情報端末
JP2008226492A (ja) 2007-03-08 2008-09-25 Hitachi Displays Ltd 蛍光ランプ及びそれを用いた画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184816A (ja) * 1997-12-22 1999-07-09 Casio Comput Co Ltd 端末装置及び記憶媒体
JP2002082734A (ja) * 2000-09-06 2002-03-22 Sony Corp 情報処理装置、情報処理方法、並びにプログラム格納媒体
US20050237308A1 (en) * 2004-04-21 2005-10-27 Nokia Corporation Graphical functions by gestures
US20080074384A1 (en) * 2006-09-22 2008-03-27 Research In Motion Limited System and method for adjusting icons, text and images on an electronic device
CN101231567A (zh) * 2007-01-24 2008-07-30 北京三星通信技术研究有限公司 基于手写识别的人机交互方法和系统及运行该系统的设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335038A (zh) * 2014-07-30 2016-02-17 国际商业机器公司 一种提示触摸输入操作的方法和系统
CN105335038B (zh) * 2014-07-30 2019-05-07 联想企业解决方案(新加坡)有限公司 一种提示触摸输入操作的方法和系统

Also Published As

Publication number Publication date
US20140285459A1 (en) 2014-09-25
WO2010027006A1 (ja) 2010-03-11
CN102144206B (zh) 2013-12-04
JP5494483B2 (ja) 2014-05-14
EP2323019A1 (en) 2011-05-18
JPWO2010027006A1 (ja) 2012-02-02
US20110141050A1 (en) 2011-06-16
EP2323019A4 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
CN102144206B (zh) 姿势输入操作设备、方法、程序和便携式设备
US10534754B2 (en) Method and apparatus for providing search function in touch-sensitive device
JP5522167B2 (ja) 電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラム
KR101495132B1 (ko) 휴대 단말기 및 그 휴대 단말기에서 데이터 표시 방법
CN108595100B (zh) 分屏显示方法、装置、存储介质及电子设备
CN109388310B (zh) 用于在移动终端中显示文本信息的方法和设备
US8966387B2 (en) Method and apparatus for managing icon in portable terminal
CN105630327B (zh) 便携式电子设备和控制可选元素的显示的方法
CN103370684A (zh) 电子设备、显示方法以及程序
US20120030628A1 (en) Touch-sensitive device and touch-based folder control method thereof
US10877624B2 (en) Method for displaying and electronic device thereof
KR20140042270A (ko) 애플리케이션을 실행하기 위한 방법 및 그 전자 장치
EP2770422A2 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
CN101627360A (zh) 用于展示多个应用程序窗口的方法、系统和图形用户界面
KR20140112296A (ko) 다중 터치에 대응하는 기능을 처리하기 위한 방법 및 그 전자 장치
US11079930B2 (en) Method and terminal for displaying a plurality of content cards
US8869056B2 (en) Information-processing device and program
JP5119763B2 (ja) タッチパネルを備えた情報機器、それに使用されるアイコン選択方法及びプログラム
CN110347459B (zh) 一种窗口最小化方法、装置、存储介质及交互智能平板
JP5136292B2 (ja) 情報処理端末のアプリケーション起動方法、情報処理端末及びプログラム
JPH11143673A (ja) 入力装置および入力方法
CN115357156A (zh) 显示方法、装置、电子设备及可读存储介质
KR101434495B1 (ko) 터치스크린을 구비한 단말기 및 그 문자 입력 방법
CN105637504A (zh) 用于促进浏览器导航的装置和方法
EP2477094A1 (en) Selective resizing of data input cells

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: LENOVO INNOVATION CO., LTD. (HONGKONG)

Free format text: FORMER OWNER: NEC CORP.

Effective date: 20141125

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: HONG KONG, CHINA

TR01 Transfer of patent right

Effective date of registration: 20141125

Address after: Hongkong, China

Patentee after: LENOVO INNOVATIONS Co.,Ltd.(HONG KONG)

Address before: Tokyo, Japan

Patentee before: NEC Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131204

Termination date: 20170827

CF01 Termination of patent right due to non-payment of annual fee