CN102160025A - 通过操作多点触摸屏幕上的图形对象来控制电子设备的装置 - Google Patents

通过操作多点触摸屏幕上的图形对象来控制电子设备的装置 Download PDF

Info

Publication number
CN102160025A
CN102160025A CN2009801370554A CN200980137055A CN102160025A CN 102160025 A CN102160025 A CN 102160025A CN 2009801370554 A CN2009801370554 A CN 2009801370554A CN 200980137055 A CN200980137055 A CN 200980137055A CN 102160025 A CN102160025 A CN 102160025A
Authority
CN
China
Prior art keywords
group
auxilliary
drawing object
main graphic
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801370554A
Other languages
English (en)
Inventor
纪尧姆·拉吉利埃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stantum SAS
Original Assignee
Stantum SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stantum SAS filed Critical Stantum SAS
Publication of CN102160025A publication Critical patent/CN102160025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

本发明涉及一种通过操作图形对象(2、3a、3b、3c、3d)来控制电子设备(1)的装置。该装置包括显示屏(4)、用于采集由多个点按装置(5、6)产生的多点触摸信息的透明多点触摸传感器以及电子控制电路，该电子控制电路适合根据所述触摸信息生成控制信号，和在所述显示屏(4)上生成图形对象(2、3a、3b、3c、3d)。这些图形对象中的每一个都与至少一个具体处理规则相关联。所述触摸信息中的每一个是由其相对于所述图形对象(2、3a、3b、3c、3d)位置的定位确定的具体处理的对象。所述装置的特征在于，其包括第一组主图形图像(2)和第二组辅图形对象(3a、3b、3c、3d)，它们分别具有互补的主功能和辅功能，并分别关联到至少一个具体的主处理规则和至少一个具体的辅处理规则。所有图形对象(2、3a、3b、3c、3d)被安排为使得所述第一组由第一组点按装置(5)操作，所述第二组由不同于第一组点按装置(5)的第二组点按装置(6)操作，对辅图形对象(3a、3b、3c、3d)中的至少一个的操作引起主图形对象(2)中的至少一个的性质的改变。

Description

通过操作多点触摸屏幕上的图形对象来控制电子设备的装置
技术领域
本发明涉及人机接口领域，该领域涉及所有允许用户控制电子或者信息设备的装置。例如，可涉及机械接口，比如按钮、键盘或者滚轮。还可以涉及点按接口，比如鼠标、触控板(英文称为“trackpad(轨迹板))、游戏手柄或者图形面板。
更具体地，涉及一种通过操作图形对象来控制电子设备的装置。该装置包括显示屏、用于采集由多个点按装置产生的多点触摸信息的透明多点触摸传感器以及电子控制电路，该电子控制电路适合根据所述触摸信息生成控制信号，并在所述显示屏上生成图形对象。这些图形对象中的每一个都与至少一个具体处理规则相关联。所述触摸信息中的每一个是由其相对于所述图形对象位置的定位确定的具体处理的对象。
现有技术
对电子设备(便携式电话、计算机等)的控制至少需要人机接口装置以能够通过适当的操作来访问所提供的各种功能。
由于配合使用至少两个装置，大大方便和改善了这种操作。事实上，某些装置更适合于特定类型的任务，而另外一些装置更适合于另一种类型的任务。这还允许利用用户的双手以更快地实施更大数量的任务。
在例如个人计算机的情况下，用户拥有两个装置：键盘和鼠标。因而分配给每只手一组任务：正手(为主的手)使用鼠标(或者其他任何外围点按设备)进行点击，以及可能的其他操作(右击、滚动)，而另一只手执行辅助任务(键盘快捷键、功能键)。两只手的组合允许比单独使用正手快速得多、有效得多地访问复杂软件的所有功能。
还可以用反手(不为主的手)的手指按压按键，以显示在与鼠标位置相应的光标所在位置展开的菜单。这样，正手可以借助于鼠标在展开的菜单内移动鼠标，从而在列表中选择某个操作。同样，某些软件提供对文档的高级编辑手段，这些高级编辑手段需要双手的同时参与。例如，为了复制图形对象、文件或者文本块，用户用反手的手指按压键盘上的按键，同时用正手的手指按住鼠标的按键。然后在保持键盘按键和鼠标按键被按住的情况下移动所选的对象，以进行复制。
然而，这种用来快速操作图形对象的交互方案不能用便携式电子设备，尤其是用第三代移动电话、超级便携计算机或者是便携式游戏机来实现。事实上，尽管提出了越来越先进的功能，但这些设备的小型化和体量的约束不允许组合多个人机接口装置。
为了回应上述体量约束问题，越来越多的便携式电子设备制造商使用触摸屏作为主要的人机接口装置。
在专利文献FR2751442中描述了一种方便人机接口装置的操作的方案。该文献提出一种包括缩小规格的键盘和与键盘相关联的触摸屏的装置。该键盘一方面包括数量少于传统键盘按键数量的按键，另一方面允许在所述屏幕上定位光标和选择对象。触摸屏允许输入不是在键盘上书写的字符和激活上下文命令。可以用键盘按键和/或触摸屏的触摸激活一些导向装置，同时允许在触摸屏上显示不是在键盘上书写的字母数字字符，并在显示屏上显示在键盘上输入的字母数字字符。显示屏控制装置也可以由键盘按键和/或触摸屏触摸激活，从而允许启动在显示屏上显示在键盘上或者触摸屏上输入的字母数字字符。
然而，这种组合键盘和触摸屏的方案的缺点是没有考虑用户的一只手对另一只手所施加的相应的支配。事实上，因为另一只手没有使用，对触摸屏的操作就凸显了正手。在便携式设备(电话、MP3播放器、GPS等)的具体情况下，该另一只手唯一的功能是拿着设备。然而，由于缺乏两只手发挥作用，放慢了对屏幕的使用，妨碍了用户进行复杂操作(例如文档编辑等)。另外，键盘必须具有小型化的按键，从而难以迅速操作。
在只有多点触摸屏，因此能够用多个点按装置同时操作的便携式设备的情况下，也没有充分地考虑发挥两只手的作用以改善对图形对象的操作。在专利文献US2003/098858中，触摸屏显示包括一组虚拟按键的虚拟标准键盘。用户可以用点按装置(手指、触控笔等)点按按键来进行按键输入。在专利文献US2006/097991中，具有触摸屏的人机接口允许用户移动点按装置以容易选择图形对象。在专利文献FR2866726中，触摸屏包括屏幕、用以采集触摸信息的透明多点触摸传感器以及根据触摸信息生成命令信号的计算装置。在触摸屏上生成一些图形对象，每一个图形对象与至少一个具体处理规则相关联。传感器每次采集发送多个触摸信息。这些触摸信息中的每一个作为由其相对于图形对象之一的位置的定位来确定的具体处理的对象。
然而，这些方案都不是设计为双手工作，这些接口系统事实上没有设计成管理任务在双手之间的分配。同时，用来托承便携式多点触摸屏的手只有该托承功能，从而人机接口没有被安排成允许实现目的在于缓解正手的工作负荷并方便对图形对象的操作的辅助任务。
发明目的
本发明的目的是弥补上述技术问题，即在两手之间分配任务，以进行快速和复杂的操作。本发明为此提出，定义第一组主图形对象和第二组辅图形对象，它们分别关联到具体处理规则和主功能及辅功能。这两种类型的图形对象能够以互补的方式相互作用，以实现预定的复杂任务。所述图形对象被安排在显示屏上，以便能够用第一组点按装置操作第一组对象，用第二组点按装置操作第二组对象。
该方案的实现在于寻找使得各种级别的图形对象根据各自的操作难度相互作用的方案。因此，显然这种根据图形对象的功能的互补性来将任务分配给每一组点按装置的分配允许将所有图形对象与更多的点按装置(例如同一用户的两只不同的手的手指)结合起来。
为此，本发明旨在提出一种通过操作图形对象控制电子设备的装置。该装置包括显示屏、用于采集由多个点按装置产生的多点触摸信息的透明多点触摸传感器以及电子控制电路，该电子控制电路适合根据所述触摸信息生成控制信号并在所述显示屏上生成图形对象。这些图形对象中的每一个都与至少一个具体处理规则相关联。所述触摸信息中的每一个是由其相对于所述图形对象位置的定位确定的具体处理的对象。所述装置的特征在于，其包括第一组主图形图像和第二组辅图形对象，所述主图形对象中的每一个具有主功能并被关联到至少一个具体主处理规则，所述辅图形对象中的每一个具有辅功能并被关联到至少一个具体辅处理规则。所述辅图形对象的功能与所述主图形对象的功能互补。所述辅图形对象被安排在显示屏上与所述主图形对象不同的位置。所述图形对象被安排成由第一组点按装置操作第一组对象，由不同于第一组点按装置的第二组点按装置操作第二组对象。对所述辅图形对象中的至少一个的操作引起所述主图形对象中的至少一个的性质的改变。
对这些图形对象按照其具体处理规则及其相关联的功能进行的划分与对这些图形对象相对于点按装置的安排之间的这种结合，允许用不同的点按装置操作装有触摸屏的电子设备，既不浪费时间，也不需要费力进行复杂的、令人厌烦的操作。
按照一种具体实施方式，被对所述辅图形对象中的至少一个的操作改变的所述主图形对象中的至少一个的性质之一是显示。
按照一种对前述方案进行补充的实施方式，被对所述辅图形对象中的至少一个的操作改变的所述主图形对象中的至少一个的性质之一是相关联的具体处理规则。
按照一种对前述方案进行补充的实施方式，被对所述辅图形对象中的至少一个的操作改变的所述主图形对象中的至少一个的性质之一是在显示屏上的位置。
优选地，第一组点按装置由手操作。
在这种情况下，按照一种具体实施方式，第一组点按装置包括由手操作的触控笔，这尤其允许在电子设备所装的触摸屏上实现精细的书写功能。
按照另一种实施方式，第一组点按装置包括一只手的至少一根手指。
优选地，第二组指点装置由手操作。
在这种情况下，按照一种具体实施方式，第二组点按装置包括一只手的至少一根手指。该手还可以做的例如有根据应用的需要来托承电子设备的功能。
优选地，第一组点按装置和第二组点按装置各自的手是用户的两只不同的手。这样，通过利用用户双手的互补性，优化了对图形对象的操作。
在第一组点按装置和第二组点按装置各自的手包括正手和反手的情况下，正手优选地操作主图形对象，反手优选地操作辅图形对象。这样，可在各种适当的复杂程度下分配由每个手完成的任务，从而提供对图形对象的更为精细的操作。
按照一种具体的实施方式，至少一个主图形对象的主功能是书写功能。
按照一种具体的实施方式，至少一个主图形对象的主功能是点按功能。
按照一种具体的实施方式，至少一个辅图形对象的辅功能是选择功能，即选择分配给由正手操作的至少一个主图形对象的功能。
无论如何，在第一组点按装置和第二组点按装置各自的手包括正手和反手的情况下，主图形对象和辅图形对象优选地分别定位成靠近正手和反手。这样，缩小了点按装置经过的距离，从而优化了操作速度。
在电子设备为便携式设备的情况下，反手优选地实现对电子设备的托承，这就在实施辅助任务之外，对其赋予了双重功能。
优选地，至少一个辅图形对象的位置由用户修改。该操作可以借助于另外的图形对象实现，或者在保持相应的检测区域被点按着的同时借助于相应的点按装置的滑动操作来实现。
优选地，根据第一组和第二组点按装置以及主图形对象和辅图形对象来修改采集性能。因此，例如可以根据所考虑的图形对象的需要来调整扫描的分辨率和频率。在例如主图形对象的功能是书写的情况下，可以对该图形对象进行非常高精度的采集，以获得对用户所书写内容的更为精细的触摸信息。
附图说明
下面参照附图描述本发明的实施方式。在附图中：
-图1是根据本发明的包括多点触摸屏的电子设备的控制装置的示意图；
-图2是根据本发明的包括多点触摸屏的装置的结构示意图；
-图3A到图3C是描述主图形对象可以具有的各种不同的功能的示意图；以及
-图4、5A、5B、6、7、8A和8B是图解主图形对象和辅图形对象之间的交互作用和互补性的实例的示意图。
在上述附图中，相同的附图标记表示类似的技术特征，除非另有说明。
具体实施方式
如图1所示，所述装置包括电子设备1，比如公知类型的显示器。该显示器可以是例如液晶显示器。该显示器允许显示多个图形对象2和3。透明多点触摸传感器4被布置在该显示器上。其允许采集一组同时触摸点，每个触摸对应于在传感器4表面上存在物体5b或者手指5c、5d，以操作主图形对象2和辅图形对象3a、3b、3c和3d的组。
在所使用的触摸手段(触摸装置)中，第一组5由拿触控笔5b的正手5a构成。拇指5c和食指5d也可以用作点按手段(点按装置)。第二组6由反手6a构成，其在电子设备为便携式设备的情况下也用作电子设备的托承。在这种情况下，用唯一可活动的手指也就是拇指6b进行点按。
第一主图形对象2可以由正手5a操作，而辅图形对象3a、3b、3c和3d的组可以由反手6a操作。这些图形对象被布置在屏幕4上，使得拇指6b位于辅图形对象3a、3b、3c和3d附近，而由正手5a操作的触控笔5b位于主图形对象2附近。点按装置经过的距离因此被显著缩短了。另外，辅图形对象3a、3b、3c和3d被布置为相互沿竖轴线挨着，以便于拇指6b从一个对象移动到另一个对象。
图1图示了正手5a是用户右手，而反手6a是左手的情况。在用户的正反手的布置互换的情况下，可以提出由用户调整屏幕，以根据新的布置来定位图形对象，即，将辅图形对象3a、3b、3c和3d布置在屏幕右侧而将主图形对象2布置在左侧。
辅图形对象3a、3b、3c和3d的多样性及其小尺度允许其尤其用作展开菜单，每一个辅图形对象构成能够对所显示的主图形对象中的至少一个施加影响的选项。通过触摸激活辅图形对象3a、3b、3c和3d因此可以引起主图形对象2或者到此时为止未显示的另一主图形对象的性质的改变，所述性质例如是显示、相关联的具体处理规则或者在显示屏4上的位置。
主图形对象和辅图形对象之间的这种交互作用以一种优化的方式利用了可以使用的各种不同点按装置的能力。事实上，反手的拇指6b移动性和可控性非常不强，但是足以进行展开菜单(包括辅图形对象3a、3b、3c和3d)中的辅助选择任务(这些辅助选择任务是正手也能完成的任务)，但是对于复杂性超过拇指的移动性和可操作性的任务，在所用的时间方面不利。由正手5a操作的触控笔5b或者拇指5a和食指5c只被分配给充分利用其能力的复杂任务(书写、绘图等)。
下面参照图2描述该装置的结构示意图。图2图示了根据一种实施方式的装置的横剖面。该装置包括透明多点触摸传感器7、显示屏4、采集接口9、主处理器10和图形处理器11。
该触摸装置的第一基本要素是触摸传感器7，其是借助于采集接口9来进行采集(多点触摸操作)所必需的。该采集接口9包括采集和分析电路。触摸传感器7是矩阵式的。其可能被分成多个部分以加速采集，每一个部分被同时扫描。
来自采集接口9的数据在滤波之后被发送给主处理器10。后者执行允许将信号发送器(dalle)的数据与显示在屏幕4上以被操作的图形对象关联起来的本地程序。主处理器10还向图形处理器11发送要在显示器4上显示的数据。该图形处理器11实现对图形接口的控制。
矩阵传感器1例如是电阻性传感器或者投射电容式传感器。其由两个叠加的透明层组成，在层上面布置有与导线对应的行和列。因此所述两层形成导线的矩阵网。触摸传感器7因此由叠置的两层组成，每一层具有透明电极网。透明电极例如由氧化铟锡(ITO)制成。第一层的电极被配置为垂直于第二层的电极，以便形成矩阵。优选地，所述两层由间隔物隔离开。构成所述两层的所有电极连接到控制电路，控制电路允许对触摸传感器供电和顺序扫描触摸传感器，以在每个采集相位获得每个矩阵节点的状态。
当想知道是否进行了触摸时，在每个矩阵节点的端子处测量电特性：电压、电容或者电感。通过利用传感器7和集成在主处理器10中的控制电路，所述装置允许用大约100Hz的采样频率对整个传感器7上的数据进行采集。
在无源矩阵触摸传感器的情况下，采集是按如下方式进行的：对列供电，检测传感器每一行上的响应。根据这些响应确定触摸区，触摸区对应于状态相对于待机状态改变了的节点。确定一组或者多组状态改变了的相邻节点。一组这样的相邻节点形成一个触摸区。根据该组节点计算在本申请的意义上被称作“光标”的位置信息。在有被非激励区隔开的多组节点的情况下，在同一个扫描相位中确定多个独立的光标。
该信息在新的扫描相位中被定期更新。根据在相继的扫描过程中获得的信息，建立、跟随和取消光标。光标例如是通过触摸区的重心函数来计算的。一般原则是，建立的光标数量与在触摸传感器上所确定的触摸区的数量一样多，并跟踪它们随时间的变化。当用户从传感器缩回手指时，取消相关联的光标。这样，可以同时采集多个手指在触摸传感器上的位置及变化。
主处理器10执行允许将传感器数据与在显示屏8上显示以被操作的图形对象相关联的程序。
根据一种优选实施方式，在每一个采集相位、在每一个矩阵节点上测量的电性质是电压。这样，可以无区别地检测手指或者例如触控笔的动作。还可以与电压的测量同时或者顺序地测量电极之间的极间电容(intercap acité)。
所述控制电路可以集成在集成电路10中。后者可以是公知类型的微控制器。或者，集成电路可以是FPGA(现场可编程门阵列)或者微处理器。这样的微处理器可以是电子设备1的主处理器。为了限制集成电路上的输入输出数量，可以添加多路复用器。
图3图示了根据本发明的一种实施方式，用正手在图形对象上的各种不同的点按模式。如果在主图形对象2a上检测到单个触摸点12也就是光标，则激活第一点按模式(图3A)。如果检测到两个手指，则控制电路计算所建立的两个光标13a和13b之间的轨迹、方向和距离。如果这些光标同时在相同方向移动，而两者之间的距离在一帧与另一帧之间没有实质性的增加，则激活第二点按模式(图3B)。如果所述两个光标13a和13b在两个方向移动，或者二者之间的距离在一个与另一个采集相位之间有实质性的增大或者减小，则激活第三点按模式(图3C)。
图9图示了允许根据在主对象上检测到的每一个光标的数量和位移来选择合适的控制规则的步骤的功能示意图。
这样，根据所述点按模式来应用与所显示的图形对象相关联的具体处理规则。例如，如果图形对象2a是照片或者图片，第一模式例如允许根据光标12的位置来移动图形对象2a。第二模式例如允许根据两个光标13a和13b的轨迹来加速移动，而第三模式例如允许根据两个光标13a和13b之间的距离来放大对象。
图3所图解的点按模式可以应用于其他类型的图形对象。例如，如果图形对象是允许用户借助于手指或者触控笔来输入手稿的文本区，则根据该点按模式应用特定于该对象的处理规则。例如，在第一点按模式中，从一个采集相位到另一个采集相位跟踪光标的轨迹，这样会从一个点到另一个点绘出插值的直线或者曲线。这允许通过应用字符识别处理来重建书写手稿。在所述第二点按模式中，用户可以使文本区滚动(défiler)。在所述第三点按模式中，用户张开或者收窄两个手指，以放大文本区。
图4图示了使用反手6a的点按模式。一般，对于便携式设备，反手6a托承设备。只有拇指6b可用于进行操作。但是，拇指可以操作布置在屏幕边缘的图形对象，比如按钮。
这种布置的缺点是增加了这些图形对象被误操作的风险。为了减少这种风险，一种优先点按模式允许激活定位在屏幕4左下角的第一按钮14，这是为了沿着屏幕展开包括数量定义好的按钮3a到3d的菜单。为了访问不同的按钮，反手6a的拇指6b纵向滑动。
优选地，当激活下部按钮14时，激活一个倒计数(TTL(time to live)，存活期)。这样，如果在该倒计数期间没有激活菜单的任何图形对象3a到3d，则停止显示展开的菜单。TTL的延迟可以是例如两秒。这种配置提供的好处是快速可靠地访问多种附加功能。
优选地，所述展开菜单推出垂直于第一展开菜单的子菜单。
为了使操作更有效，前述各点按模式可以相互组合。
图5A和5B图示了图3和图4所描述的点按模式的组合模式。在允许操作照片或者任何其他图像的应用的前述例子中，用反手6a的拇指6b激活展开菜单的按钮会改变应用于由正手5a操作的图形对象2a的具体处理规则。这样，当“选择”按钮3d被选择时，正手5a的第一点按模式(图5A)的作用是圈住图像的一部分以选择该部分，而第三点按模式(图5B)允许放大所选部分。
在允许输入手写文本的应用的前述另一个例子中，激活同一按钮3d允许用第一点按模式(图5A)逐个字符选择文本，以及用第三点按模式(图5B)选择文本块或者取消选择。
图10图示了允许借助于辅对象(3a到3d)确定具体控制规则集，然后根据点按模式从控制规则集中选择合适的控制规则的步骤的示意图。
同样，图6和图7图解了前述点按模式的另一种组合模式。这里，不是改变由正手5a操作的主图形对象2a的具体处理规则，由反手6a的拇指6b进行的对展开菜单的按钮3c的激励的效果是临时显示叠加在第一主对象2a上的另一个主对象15。该对象可以是例如以列举表或者图标列表的形式提供不同的功能的展开菜单。这样正手5a可以选择这些功能之一。这样，如果反手6a的拇指选择了“编辑”按钮3c，如图6所示，则出现展开菜单15，允许用正手5a进行多种操作：复制15a、粘贴15b、删除15c。如果反手6a的拇指6b选择了“导出”按钮3a，如图7所示，则出现菜单16，允许选择例如希望导出文件的格式和目标。
图11图示了允许显示上下文对象的步骤的示意图。注意，上下文对象被显示在屏幕的任意位置，例如中央。
图12图示了图11所描述的方法的一种变型。在此实施方式中，上下文对象不是显示在任意确定的坐标处，而是显示在根据最后检测到的点按的最新位置确定的坐标处。该实施方式对于大尺寸屏幕尤其有利。这样，上下文对象显示在用户的正手所在的最新位置处，这避免了为了使用上下文对象要把正手移动到屏幕任意位置处的情况。
在图8所示的情况下，激活了书写功能。正手5a操作触控笔5b，以在显示屏4(图8A)上的图形对象2a上书写。优选地，可以规定在通过触摸区17(图8B)的存在检测到的书写区域处用高分辨率实现对多点触摸传感器矩阵的采集。这样，在围绕检测到的最新触摸点17的小尺度的区域内，提高了分辨率，这允许在下一次采集时预测触控笔5b的移动。这样，在触摸区附近获得了更加精细的触摸信息。
本发明的前述各种实施方式只是作为例子给出的，绝无限制含义。应当理解，本领域普通技术人员同样能够实施本发明的各种不同的变形而不超出本发明的范围。

Claims (18)

1.一种通过操作图形对象(2、3a、3b、3c、3d)控制电子设备(1)的装置，所述装置包括显示屏(4)、用于采集由多个点按装置(5、6)产生的多点触摸信息的透明多点触摸传感器以及电子控制电路，所述电子控制电路适合根据所述触摸信息生成控制信号，和在所述显示屏(4)上生成图形对象(2、3a、3b、3c、3d)，所述图形对象中的每一个都与至少一个具体处理规则相关联，所述触摸信息中的每一个是由其相对于所述图形对象(2、3a、3b、3c、3d)位置的定位确定的具体处理的对象，所述装置的特征在于，其包括第一组主图形图像(2)和第二组辅图形对象(3a、3b、3c、3d)，所述主图形对象(2)中的每一个具有主功能并被关联到至少一个具体主处理规则，所述辅图形对象(3a、3b、3c、3d)中的每一个具有辅功能并被关联到至少一个具体辅处理规则，所述辅图形对象(3a、3b、3c、3d)的功能与所述主图形对象(2)的功能互补，所述辅图形对象(3a、3b、3c、3d)被安排在显示屏(4)上与所述主图形对象(2)不同的位置，所述图形对象(2、3a、3b、3c、3d)被安排成由第一组点按装置(5)操作所述第一组主图形对象，由不同于第一组点按装置(5)的第二组点按装置(6)操作所述第二组辅图形对象，对所述辅图形对象(3a、3b、3c、3d)中的至少一个的操作引起所述主图形对象(2)中的至少一个的性质的改变。
2.如权利要求1所述的装置，其中，被对所述辅图形对象(3a、3b、3c、3d)中的至少一个的操作改变的所述主图形对象(2)中的至少一个的性质之一是显示。
3.如权利要求1或2所述的装置，其中，被对所述辅图形对象(3a、3b、3c、3d)中的至少一个的操作改变的所述主图形对象(2)中的至少一个的性质之一是相关联的所述具体处理规则。
4.如权利要求1到3之一所述的装置，其中，被对所述辅图形对象(3a、3b、3c、3d)中的至少一个的操作改变的所述主图形对象中的至少一个的性质之一是在所述显示屏(4)上的位置。
5.如前述权利要求之一所述的装置，其中，所述第一组点按装置(5)由手(5a)操作。
6.如权利要求5所述的装置，其中，所述第一组点按装置(5)包括由手(5a)操作的触控笔(5b)。
7.如权利要求5或6所述的装置，其中，所述第一组点按装置(5)包括手(5a)的至少一根手指(5c、5d)。
8.如前述权利要求之一所述的装置，其中，所述第二组指点装置(6)由手(6a)操作。
9.如权利要求8所述的装置，其中，所述第二组点按装置(6)包括手(6a)的至少一根手指(6b)。
10.如从属于权利要求5的权利要求8所述的装置，其中，所述第一组点按装置和所述第二组点按装置(5、6)各自的手(5a、5b)是用户的两只不同的手。
11.如权利要求10所述的装置，对于所述第一组点按装置和所述第二组点按装置(5、6)各自的手(5a、5b)包括正手(5a)和反手(6a)的情况，所述正手(5a)操作所述主图形对象(2)，所述反手(6a)操作所述辅图形对象(3a、3b、3c、3d)。
12.如权利要求11所述的装置，其中，至少一个主图形对象(2)的主功能是书写功能。
13.如权利要求11或12所述的装置，其中，至少一个主图形对象(2)的主功能是指点功能。
14.如权利要求11到13之一所述的装置，其中，至少一个辅图形对象(3a、3b、3c、3d)的辅功能是选择功能，即选择分配给由所述正手(5a)操作的至少一个主图形对象(2)的功能。
15.如权利要求11到14之一所述的装置，其中，所述主图形对象(2)和所述辅图形对象(3a、3b、3c、3d)分别定位成靠近所述正手(5a)和所述反手(6a)。
16.如权利要求11到15之一所述的装置，其中，所述电子设备(1)为便携式设备，所述反手(6a)实现对所述电子设备(1)的支承
17.如前述权利要求之一所述的装置，其中，至少一个辅图形对象(3a、3b、3c、3d)的位置由所述用户修改。
18.如前述权利要求之一所述的装置，其中，根据所述第一组点按装置(5)和所述第二组点按装置(6)以及所述主图形对象(2)和所述辅图形对象(3a、3b、3c、3d)来修改采集性能。
CN2009801370554A 2008-09-22 2009-09-22 通过操作多点触摸屏幕上的图形对象来控制电子设备的装置 Pending CN102160025A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0805183A FR2936326B1 (fr) 2008-09-22 2008-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
FR08/05183 2008-09-22
PCT/FR2009/001121 WO2010103195A2 (fr) 2008-09-22 2009-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Publications (1)

Publication Number Publication Date
CN102160025A true CN102160025A (zh) 2011-08-17

Family

ID=40578023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801370554A Pending CN102160025A (zh) 2008-09-22 2009-09-22 通过操作多点触摸屏幕上的图形对象来控制电子设备的装置

Country Status (7)

Country Link
US (1) US20110169760A1 (zh)
EP (1) EP2332035A2 (zh)
JP (1) JP2012503241A (zh)
KR (1) KR20110063561A (zh)
CN (1) CN102160025A (zh)
FR (1) FR2936326B1 (zh)
WO (1) WO2010103195A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176645A (zh) * 2011-12-23 2013-06-26 纬创资通股份有限公司 触摸按键模块及其模式切换方法
CN104076986A (zh) * 2014-07-25 2014-10-01 上海逗屋网络科技有限公司 一种用于多点触摸终端的触摸控制方法与设备
CN105474161A (zh) * 2013-05-28 2016-04-06 谷歌技术控股有限责任公司 基于触摸位置认证的自适应感测组件分辨率
CN107315528A (zh) * 2016-04-27 2017-11-03 京瓷办公信息系统株式会社 手写文字输入装置和手写文字输入方法
CN108694012A (zh) * 2011-11-28 2018-10-23 联想(北京)有限公司 在屏幕上显示对象的方法和系统
CN111045627A (zh) * 2013-07-25 2020-04-21 交互数字Ce专利控股公司 用于显示对象的方法和设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
US9018030B2 (en) 2008-03-20 2015-04-28 Symbol Technologies, Inc. Transparent force sensor and method of fabrication
US8988191B2 (en) 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
EP3882750A1 (en) 2010-01-20 2021-09-22 Nokia Technologies Oy User input
US8963874B2 (en) 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
JP5640680B2 (ja) * 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
US8553001B2 (en) 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
US8593421B2 (en) 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
CN102819380A (zh) * 2011-06-09 2012-12-12 英业达股份有限公司 电子装置及其操控方法
CN102855076B (zh) * 2011-07-01 2016-06-15 上海博泰悦臻电子设备制造有限公司 触摸屏的控制方法及装置、移动终端设备
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
US9684398B1 (en) 2012-08-06 2017-06-20 Google Inc. Executing a default action on a touchscreen device
JP6016555B2 (ja) * 2012-09-25 2016-10-26 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラムと記憶媒体
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
EP2816460A1 (en) * 2013-06-21 2014-12-24 BlackBerry Limited Keyboard and touch screen gesture system
US9841821B2 (en) * 2013-11-06 2017-12-12 Zspace, Inc. Methods for automatically assessing user handedness in computer systems and the utilization of such information
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
JP2016095716A (ja) * 2014-11-14 2016-05-26 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法、ならびに、プログラム
JP6757140B2 (ja) * 2016-01-08 2020-09-16 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
CN1947087A (zh) * 2004-02-23 2007-04-11 贾兹穆坦特公司 在多触点触摸屏上操作虚拟对象的控制器
EP1881398A1 (de) * 2006-06-30 2008-01-23 Hochschule für Gestaltung und Kunst (HGKZ) Verfahren zur Positionierung eines Cursors auf einem berührungsempfindlichen Bildschirm
CN101133385A (zh) * 2005-03-04 2008-02-27 苹果公司 带有多个触感器件的手持电子设备
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US20060022953A1 (en) * 2004-07-30 2006-02-02 Nokia Corporation Left-hand originated user interface control for a device
EP2000894B1 (en) * 2004-07-30 2016-10-19 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
WO2007079425A2 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
DE102006051967A1 (de) * 2006-11-03 2008-05-08 Ludwig-Maximilians-Universität Digitales Informationsverarbeitungssystem mit Benutzerinteraktionselement
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
KR101377949B1 (ko) * 2007-04-13 2014-04-01 엘지전자 주식회사 오브젝트 검색 방법 및 오브젝트 검색 기능을 갖는 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
CN1947087A (zh) * 2004-02-23 2007-04-11 贾兹穆坦特公司 在多触点触摸屏上操作虚拟对象的控制器
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势
CN101133385A (zh) * 2005-03-04 2008-02-27 苹果公司 带有多个触感器件的手持电子设备
EP1881398A1 (de) * 2006-06-30 2008-01-23 Hochschule für Gestaltung und Kunst (HGKZ) Verfahren zur Positionierung eines Cursors auf einem berührungsempfindlichen Bildschirm

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694012A (zh) * 2011-11-28 2018-10-23 联想(北京)有限公司 在屏幕上显示对象的方法和系统
CN108694012B (zh) * 2011-11-28 2022-04-22 联想(北京)有限公司 在屏幕上显示对象的方法和系统
CN103176645A (zh) * 2011-12-23 2013-06-26 纬创资通股份有限公司 触摸按键模块及其模式切换方法
CN105474161A (zh) * 2013-05-28 2016-04-06 谷歌技术控股有限责任公司 基于触摸位置认证的自适应感测组件分辨率
CN111045627A (zh) * 2013-07-25 2020-04-21 交互数字Ce专利控股公司 用于显示对象的方法和设备
CN111045627B (zh) * 2013-07-25 2024-05-03 交互数字Ce专利控股公司 用于显示对象的方法和设备
CN104076986A (zh) * 2014-07-25 2014-10-01 上海逗屋网络科技有限公司 一种用于多点触摸终端的触摸控制方法与设备
CN107315528A (zh) * 2016-04-27 2017-11-03 京瓷办公信息系统株式会社 手写文字输入装置和手写文字输入方法

Also Published As

Publication number Publication date
US20110169760A1 (en) 2011-07-14
KR20110063561A (ko) 2011-06-10
FR2936326A1 (fr) 2010-03-26
FR2936326B1 (fr) 2011-04-29
JP2012503241A (ja) 2012-02-02
EP2332035A2 (fr) 2011-06-15
WO2010103195A2 (fr) 2010-09-16
WO2010103195A3 (fr) 2011-04-07

Similar Documents

Publication Publication Date Title
CN102160025A (zh) 通过操作多点触摸屏幕上的图形对象来控制电子设备的装置
CN101198925B (zh) 用于触敏输入设备的手势
CN101923388B (zh) 输入设备及包含该输入设备的计算机
CN201156246Y (zh) 多事件输入系统
US9703435B2 (en) Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed
Yee Two-handed interaction on a tablet display
CN102439656B (zh) 基于使用历史的gui布局的定制
Buxton 31.1: Invited paper: A touching story: A personal perspective on the history of touch interfaces past and future
US20130335358A1 (en) Gesture Recognition
CN103218044B (zh) 一种基于物理回馈的触摸装置及其触摸处理方法
CN103365595A (zh) 用于触敏输入设备的手势
CN104641324A (zh) 姿势发起的键盘功能
EP2065794A1 (en) Touch sensor for a display screen of an electronic device
CN102870079A (zh) 具有集成电极布置的计算机键盘
US20140282279A1 (en) Input interaction on a touch sensor combining touch and hover actions
US20140347276A1 (en) Electronic apparatus including touch panel, position designation method, and storage medium
CN105955544A (zh) 一种触摸操作的处理方法及移动终端
JPH10228350A (ja) 入力装置
CN102955668A (zh) 选择对象的方法及电子设备
US20110216014A1 (en) Multimedia wireless touch control device
CN104714643B (zh) 一种利用传感器实现模拟触摸屏的方法、系统及移动终端
CN103069367A (zh) 用于实现双重触摸体验领域的单点触摸处理
EP1973029B1 (en) Input device for continuous gesturing within a user interface
US20080158187A1 (en) Touch control input system for use in electronic apparatuses and signal generation method thereof
CN101598970A (zh) 输入装置及输入装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110817