CN102707878A - 一种用户界面的操作控制方法及装置 - Google Patents

一种用户界面的操作控制方法及装置 Download PDF

Info

Publication number
CN102707878A
CN102707878A CN201210098933XA CN201210098933A CN102707878A CN 102707878 A CN102707878 A CN 102707878A CN 201210098933X A CN201210098933X A CN 201210098933XA CN 201210098933 A CN201210098933 A CN 201210098933A CN 102707878 A CN102707878 A CN 102707878A
Authority
CN
China
Prior art keywords
user interface
user
hand
dimensional
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210098933XA
Other languages
English (en)
Inventor
赵健章
蔡越
宋本民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth Digital Technology Co Ltd
Shenzhen Skyworth Software Co Ltd
Original Assignee
Shenzhen Skyworth Digital Technology Co Ltd
Shenzhen Skyworth Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth Digital Technology Co Ltd, Shenzhen Skyworth Software Co Ltd filed Critical Shenzhen Skyworth Digital Technology Co Ltd
Priority to CN201210098933XA priority Critical patent/CN102707878A/zh
Publication of CN102707878A publication Critical patent/CN102707878A/zh
Priority to PCT/CN2012/086002 priority patent/WO2013149476A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种用户界面的操作控制方法，包括：采集由用户手部动作的变化而产生的电容变化信号；根据采集的电容变化信号，控制用户界面的三维虚拟手，使三维虚拟手的动作与用户手部动作一致；根据三维虚拟手对用户界面的操作，执行相应的操作。本发明实施例还公开了一种用户界面的操作控制装置。采用本发明，可以让用户灵活和方便的控制用户界面，提高用户体验。

Description

一种用户界面的操作控制方法及装置
技术领域
本发明涉及触摸控制领域，尤其涉及一种用户界面的操作控制方法及装置。
背景技术
目前，触摸式的用户界面控制方法大致分为两类：一是用户通过手指直接在用户界面显示屏上进行触摸点选，二是用户通过在触摸感应装置上进行触摸操作来远程遥控用户界面，这两类方法都只能让用户通过一两个手指作出点击、滑动等简单的触摸操作、操作方法过于单一，缺乏用户和用户界面的之间互动，用户体验不佳。
发明内容
本发明实施例所要解决的技术问题在于，提供一种用户界面的操作控制方法及装置，可以让用户灵活和方便的控制用户界面，提高用户体验。
为了解决上述技术问题，本发明实施例提供了一种用户界面的操作控制方法，包括：
采集由用户手部动作的变化而产生的电容变化信号；
根据所述采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与所述用户手部动作一致；
根据所述三维虚拟手对所述用户界面的操作，执行相应的操作。
其中，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。
其中，所述用户界面还包括：至少一个三维式的功能选项；
所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。
其中，所述三维虚拟手与所述用户手部的大小、形状一致或者等比例缩放。
其中，所述采集由用户手部动作的变化而产生的电容变化信号之前，还包括：
采集当所述用户手部静止时的电容信号；
根据所述电容信号，在所述用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
相应地，本发明实施例还提供了一种用户界面的操作控制装置，包括：
采集模块，用于采集由用户手部动作的变化而产生的电容变化信号；
三维虚拟手控制模块，用于根据所述采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与所述用户手部动作一致；
处理模块，用于根据所述三维虚拟手对所述用户界面的操作，执行相应的操作。 
其中，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。
其中，所述用户界面还包括：至少一个三维式的功能选项；
所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。
其中，所述三维虚拟手与所述用户手部的大小、形状一致或者等比例缩放。
其中，所述采集模块还用于采集当所述用户手部静止时的电容信号，所述装置还包括：构造模块，所述构造模块用于根据所述采集模块采集的电容信号，在所述用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
实施本发明实施例，具有如下有益效果：
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的用户界面的操作控制方法的第一实施例的流程示意图；
图2是本发明的用户界面的操作控制方法的第二实施例的流程示意图；
图3是本发明的用户界面的操作控制方法的第三实施例的流程示意图；
图4是本发明的用户界面的操作控制装置的第一实施例的结构示意图；
图5是本发明的用户界面的操作控制装置的第二实施例的结构示意图；
图6是图4中的处理模块的实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，是本发明的用户界面的操作控制方法的第一实施例的流程示意图。所述方法包括：
步骤S11，采集由用户手部动作的变化而产生的电容变化信号。
其中，步骤S11中用户手部动作的采集可以由电容式的触摸感应器实现，例如：由具有较大采集面积的电容式触摸板实现，通常电容式触摸板的面积大于普通人手部的面积，并且可以在电容式触摸板上设置供用户手部休息的休息区。
具体地，当用户的手部在电容式触摸板中动作时，将引起电容式触摸板表面电容的变化。由用户手部动作的变化而产生的电容变化信号，可以反映用户的手部动作的变化。
通常情况下，电容式触摸板的灵敏度越高、用户手部与电容式触摸板接触起紧凑时，采集效果越好。
步骤S12，根据采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与用户手部动作一致。
为了更好的提高用户的视觉体验，用户界面可以设计成为虚拟三维式的。应该注意的是，三维虚拟手在虚拟三维式的用户界面中动作幅度与用户手部动作幅度一致或是等比例缩放。
其中，由于步骤S11中采集的电容变化信号能够反映用户手部动作的变化情况，因此步骤S12通过分析采集的电容变化信号，可以得到用户手部动作的变化，进而将用户手部动作的变化通过用户界面中的三维虚拟手表示出来。
具体地，当用户的手部在垂直于触摸板的方向上发生位置改变时，由于用户手部越靠近触摸板，相应地触摸板上的电容信号变化越大，用户手部越发远离触摸板，相应地触摸板上的电容信号变化越小，那么就可以根据电容信号的变化程度和变化趋势（变大或变小）来确定用户手部在垂直方向上发生的位移及方向（向下或向上），然后便可以控制三维虚拟手在虚拟三维式的用户界面中做出相同的运动。
当用户的手部在平行于触摸板的某一平面上发生位置改变时，触摸板上用户手部移动时所经过的区域的电容状态均会发生改变，通过确认这些电容状态发生改变的区域上的点在触摸板上的位置坐标，便可以得知用户手部在平行于触摸板的平面上的运动轨迹，然后就可以控制三维虚拟手在虚拟三维式的用户界面中做出具有相同运动轨迹的运动。
步骤S13，根据三维虚拟手对用户界面的操作，执行相应的操作。
通过步骤S11－步骤S12实现了用户通过三维虚拟手对用户界面的操作，通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作中的至少一项。
其中，三维虚拟手旋转用户界面的操作可以是五指绕着手掌心转动一个角度，执行相应的操作可以是根据五指的旋转方向及旋转弧度，旋转整个用户界面；拖拽用户界面的操作可以是五指按住或捏住或抓住用户界面朝某个方向移动，执行相应的操作可以是根据三维虚拟手的拖拽方向及拖拽位移，移动整个用户界面；缩小用户界面操作可以是五指收拢，执行相应的操作可以是根据三维虚拟手五指收拢的幅度，缩小整个用户界面；放大用户界面的操作可以是五指张开，执行相应的操作可以是根据三维虚拟手五指张开的幅度，放大整个用户界面。
此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：拖拽、点击、按等。
三维虚拟手旋转三维式功能选项的操作可以是五指绕着该三维式功能选项转动一个角度，执行相应的操作可以是根据五指的旋转方向及旋转弧度，旋转整个三维式功能选项；拖拽三维式功能选项的操作可以是五指按住或捏住或抓住三维式功能选项朝某个方向移动，执行相应的操作可以是根据三维虚拟手的拖拽方向及拖拽位移，移动该三维式功能选项；缩小三维式功能选项操作可以是五指以该三维式功能选项为中心朝里收拢，执行相应的操作可以是根据三维虚拟手五指收拢的幅度，缩小整个三维式功能选项；放大三维式功能选项的操作可以是五指以该三维式功能选项为中心向外张开，执行相应的操作可以是根据三维虚拟手五指张开的幅度，放大整个三维式功能选项。
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。
请参照图2，是本发明的用户界面的操作控制方法的第二实施例的流程示意图。所述方法包括：
步骤S21，采集当用户手部静止时的电容信号。
为了更好的获取用户的手部的大小、及形状信息，需要用户将手五指张开平放在触摸板上。
步骤S22，根据电容信号，在用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
当用户将手五指张开平放在触摸板上时，触摸板上用户手部所覆盖区域的电容状态会发生改变，根据该区域的形状，便能得到用户手部的整体轮廓信息，从而构造出与用户手部形状一致的三维虚拟手。
进一步地，为了提高三维虚拟手的逼真度，还可以获取用户手部的关节位置信息及掌心凹陷处的位置信息。具体地，通常当用户将手五指分开平放在触摸板时掌心凹陷处和手指关节处与触摸板则会贴得较为疏远，而手掌其它部位则会与触摸板贴得较为紧密，这就会导致触摸板上手指关节处和掌心凹陷处所覆盖区域相应地电容要比触摸板上手指、手掌所覆盖区域的电容要小，以此来确认手指关节处和掌心凹陷处所对应的区域在用户手部所覆盖区域的位置，便能得知用户手部的关节位置及掌心凹陷处位置。利用以上获取的掌心凹陷处位置和各手指关节位置，便可以构建出与用户手部形状、大小完全一致的三维虚拟手，或者构建出根据用户界面的大小适当比例缩放的三维虚拟手。
步骤S23，采集由用户手部动作的变化而产生的电容变化信号。
步骤S24，根据采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与用户手部动作一致。
步骤S25，根据三维虚拟手对用户界面的操作，执行相应的操作。
步骤S23至步骤S25与本发明用户界面的操作控制方法的第一实施例中的步骤S11至步骤S13相同，故在些不做赘述。
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。
请参照图3，是本发明的用户界面的操作控制方法的第三实施例的流程示意图。所述方法包括：
步骤S31，采集由用户手部动作的变化而产生的电容变化信号。
步骤S32，根据采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与用户手部动作一致。
步骤S31至步骤S32与本发明用户界面的操作控制方法的第一实施例中的步骤S11至步骤S12相同，故在此不做赘述。
步骤S33，通过检测用户通过三维虚拟手对用户界面的操作，确定用户对用户界面下达的控制命令。
通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作中的至少一项。
此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。
其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：点击、按等。
通常情况下，用户通过三维虚拟手对用户界面的各种操作都会有其特有的动作特征，通过提取三维虚拟手的当前操作的动作特征信息，并将其与数据库中预存的动作特征（数据库中每一动作特征都会对应一控制命令）进行匹配，从而确定用户对用户界面下达的控制命令。
例如 ，用户手部在触摸板上做旋转操作时，其特有的动作特征通常会是：手掌心抬起，五指指尖在触摸板上(或贴近触摸板)绕着手掌心转动。可以根据触摸板上电容的变化，获取五指指尖在触摸板上的运动轨迹信息。通过分析某一指尖（或者综合分析多根指尖）在触摸板上的运动轨迹便可以获取该指尖的旋转方向及旋转弧度，进而便能确定用户期望旋转用户界面的方向及弧度。
用户手部在触摸板上做拖拽操作时，其特有的动作特征通常会是：一根或几根手指指尖按在触摸板上朝某一方向直线移动。同样的根据触摸板上电容的变化，获取指尖在触摸板上的运动轨迹信息（通常该运动轨迹趋向于直线），通过分析直线运动轨迹的长度及方向，便能确定用户期望用户界面移动的方向及距离。
用户手部在触摸板上做缩小操作时，其特有的动作特征通常会是：掌心抬起，五指指尖在触摸板上(或贴近触摸板)收拢，相应地五指指尖在触摸板上的运动轨迹则是五条直线段，且五条线段所在的直线均交于一点，通过获取其中任一条线段的长度，便能确定用户期望缩小用户界面的辐度。
用户手部在触摸板上做放大操作时，其特有的动作特征通常会是：掌心抬起，五指指尖在触摸板上(或贴近触摸板)向外张开，相应地五指指尖在触摸板上的运动轨迹则是五条直线段，且五条线段所在的直线均交于一点，通过获取其中任一条线段的长度，便能确定用户期望放大用户界面的辐度。
当用户需要对用户界面中的某一三维式功能选项做出操作时，通常情况下，用户会通过手部动作将用户界面中的三维虚拟手放在该三维式功能选项所在的位置，如此便能确定用户期望操作的三维式功能选项具体是哪一个。
通常用户在请求执行三维式功能选项所对应的功能的操作包括：点击、按等。当用户在触摸板上做出点击动作时，其特有的动作特征是：食指或中指抬起再放下，相应地会导致触摸板上用户手指所点击的区域的电容会先变小后变大。由此根据触摸板上电容的变化，确定用户期望执行的三维式功能选项所对应的功能，再结合三维虚拟手在用户界面中所点击的位置，便能确定用户期望执行的是哪一个功能选项。当用户在触摸板上做出按动作时，相应地触摸板上用户手指所按的区域的电容会大于触摸板上其它区域的电容，由此通过根据触摸板上电容的状态，确定用户期望执行的三维式功能选项所对应的功能，再结合三维虚拟手在用户界面中所按的位置，便能确定用户期望执行的是哪一个功能选项。
用户旋转、拖拽、放大、缩小三维式功能选项的操作与用户旋转、拖拽、放大、缩小用户界面的操作大致相同，不同之处只在于动作幅度的大小，可以根据动作幅度的大小来区分是对整个用户界面或只是某一三维式功能选项的操作。例如，用户在旋转用户界面时，通常五指张开的幅度较大，而用户在旋转用户界面中的某一三维式功能选项时，通常五指张开的幅度较小，同样的通过分析五指指尖在触摸板上的运动轨迹便能准确获取用户五指张开的幅度，如此可以将该幅度值与预设的幅度值进行比较，大于预设幅度值时，则认为用户期望的是旋转整个用户界面；小于预设幅度值时，则认为用户期望的是旋转三维式功能选项。
步骤S34，根据确定的用户对用户界面下达的控制命令，执行相应的操作。
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。
请参照图4，是本发明的用户界面的操作控制装置的第一实施例的结构示意图。所述装置包括：
采集模块110，用于采集由用户手部动作的变化而产生的电容变化信号。
其中，采集模块的功能可以由电容式的触摸感应器实现，例如：由具有较大采集面积的电容式触摸板实现，通常电容式触摸板的面积大于普通人手部的面积，并且可以在电容式触摸板上设置供用户手部休息的休息区。
具体地，当用户的手部在电容式触摸板中动作时，将引起电容式触摸板表面电容的变化。由用户手部动作的变化而产生的电容变化信号，可以反映用户的手部动作的变化。
通常情况下，电容式触摸板的灵敏度越高、用户手部与电容式触摸板接触起紧凑时，采集效果越好。
三维虚拟手控制模块120，根据采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与用户手部动作一致。
为了更好的提高用户的视觉体验，用户界面可以设计成为虚拟三维式的。应该注意的是，三维虚拟手在虚拟三维式的用户界面中动作幅度与用户手部动作幅度一致或是等比例缩放。
其中，由采集模块110中采集的电容变化信号能够反映用户手部动作的变化情况，因此三维虚拟手控制模块120通过分析采集的电容变化信号，可以得到用户手部动作的变化，进而将用户手部动作的变化通过用户界面中的三维虚拟手表示出来。
具体地，当用户的手部在垂直于触摸板的方向上发生位置改变时，由于用户手部越靠近触摸板，相应地触摸板上的电容信号变化越大，用户手部越发远离触摸板，相应地触摸板上的电容信号变化越小，那么就可以根据电容信号的变化程度和变化趋势（变大或变小）来确定用户手部在垂直方向上发生的位移及方向（向下或向上），然后便可以控制三维虚拟手在虚拟三维式的用户界面中做出相同的运动。
当用户的手部在平行于触摸板的某一平面上发生位置改变时，触摸板上用户手部移动时所经过的区域的电容状态均会发生改变，通过确认这些电容状态发生改变的区域上的点在触摸板上的位置坐标，便可以得知用户手部在平行于触摸板的平面上的运动轨迹，然后就可以控制三维虚拟手在虚拟三维式的用户界面中做出具有相同运动轨迹的运动。
处理模块130，用于根据三维虚拟手对用户界面的操作，执行相应的操作。
通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作中的至少一项。
其中，三维虚拟手旋转用户界面的操作可以是五指绕着手掌心转动一个角度，执行相应的操作可以是根据五指的旋转方向及旋转弧度，旋转整个用户界面；拖拽用户界面的操作可以是五指按住或捏住或抓住用户界面朝某个方向移动，执行相应的操作可以是根据三维虚拟手的拖拽方向及拖拽位移，移动整个用户界面；缩小用户界面操作可以是五指收拢，执行相应的操作可以是根据三维虚拟手五指收拢的幅度，缩小整个用户界面；放大用户界面的操作可以是五指张开，执行相应的操作可以是根据三维虚拟手五指张开的幅度，放大整个用户界面。
此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：拖拽、点击、按等。
三维虚拟手旋转三维式功能选项的操作可以是五指绕着该三维式功能选项转动一个角度，执行相应的操作可以是根据五指的旋转方向及旋转弧度，旋转整个三维式功能选项；拖拽三维式功能选项的操作可以是五指按住或捏住或抓住三维式功能选项朝某个方向移动，执行相应的操作可以是根据三维虚拟手的拖拽方向及拖拽位移，移动该三维式功能选项；缩小三维式功能选项操作可以是五指以该三维式功能选项为中心朝里收拢，执行相应的操作可以是根据三维虚拟手五指收拢的幅度，缩小整个三维式功能选项；放大三维式功能选项的操作可以是五指以该三维式功能选项为中心向外张开，执行相应的操作可以是根据三维虚拟手五指张开的幅度，放大整个三维式功能选项。
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。
请参照图5，是本发明的用户界面的操作控制装置的第二实施例的结构示意图。所述装置100包括：
采集模块110，用于采集当用户手部静止时的电容信号，以及用于采集由用户手部动作的变化而产生的电容变化信号。
为了更好的获取用户的手部的大小、及形状信息，采集模块110在采集电容信号时需要用户将手五指张开平放在触摸板上。
三维虚拟手构造模块140，用于根据电容信号，在用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
当用户将手五指张开平放在触摸板上时，触摸板上用户手部所覆盖区域的电容状态会发生改变，根据该区域的形状，便能得到用户手部的整体轮廓信息，从而构造出与用户手部形状一致的三维虚拟手。
进一步地，为了提高三维虚拟手的逼真度，还可以获取用户手部的关节位置信息及掌心凹陷处的位置信息。具体地，通常当用户将手五指分开平放在触摸板时掌心凹陷处和手指关节处与触摸板则会贴得较为疏远，而手掌其它部位则会与触摸板贴得较为紧密，这就会导致触摸板上手指关节处和掌心凹陷处所覆盖区域相应地电容要比触摸板上手指、手掌所覆盖区域的电容要小，以此来确认手指关节处和掌心凹陷处所对应的区域在用户手部所覆盖区域的位置，便能得知用户手部的关节位置及掌心凹陷处位置。利用以上获取的掌心凹陷处位置和各手指关节位置，便可以构建出与用户手部形状、大小完全一致的三维虚拟手，或者构建出根据用户界面的大小适当比例缩放的三维虚拟手。
三维虚拟手控制模块120，根据采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与用户手部动作一致。
处理模块130，根据三维虚拟手对用户界面的操作，执行相应的操作。
三维虚拟手控制模块120和处理模块130已在本发明用户界面的操作控制装置的第一实施例作了详细的介绍，故在此不作赘述。
本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面；由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。
请参照图6，是图4中处理模块的实施例的结构示意图。所述处理模块130包括：
控制命令检测单元131，用于通过检测用户通过三维虚拟手对用户界面的操作，确定用户对用户界面下达的控制命令。
通常情况下，用户通过三维虚拟手对用户界面的各种操作都会有其特有的动作特征，通过提取三维虚拟手的当前操作的动作特征信息，并将其与数据库中预存的动作特征（数据库中每一动作特征都会对应一控制命令）进行匹配，从而确定用户对用户界面下达的控制命令。
例如 ，用户手部在触摸板上做旋转操作时，其特有的动作特征通常会是：手掌心抬起，五指指尖在触摸板上(或贴近触摸板)绕着手掌心转动。 可以根据触摸板上电容的变化，获取五指指尖在触摸板上的运动轨迹信息。通过分析某一指尖（或者综合分析多根指尖）在触摸板上的运动轨迹便可以获取该指尖的旋转方向及旋转弧度，进而便能确定用户期望旋转用户界面的方向及弧度。
用户手部在触摸板上做拖拽操作时，其特有的动作特征通常会是：一根或几根手指指尖按在触摸板上朝某一方向直线移动。同样的根据触摸板上电容的变化，获取指尖在触摸板上的运动轨迹信息（通常该运动轨迹趋向于直线），通过分析直线运动轨迹的长度及方向，便能确定用户期望用户界面移动的方向及距离。
用户手部在触摸板上做缩小操作时，其特有的动作特征通常会是：掌心抬起，五指指尖在触摸板上(或贴近触摸板)收拢，相应地五指指尖在触摸板上的运动轨迹则是五条直线段，且五条线段所在的直线均交于一点，通过获取其中任一条线段的长度，便能确定用户期望缩小用户界面的辐度。
用户手部在触摸板上做放大操作时，其特有的动作特征通常会是：掌心抬起，五指指尖在触摸板上(或贴近触摸板)向外张开，相应地五指指尖在触摸板上的运动轨迹则是五条直线段，且五条线段所在的直线均交于一点，通过获取其中任一条线段的长度，便能确定用户期望放大用户界面的辐度。
当用户需要对用户界面中的某一三维式功能选项做出操作时，通常情况下，用户会通过手部动作将用户界面中的三维虚拟手放在该三维式功能选项所在的位置，如此便能确定用户期望操作的三维式功能选项具体是哪一个。
通常用户在请求执行三维式功能选项所对应的功能的操作包括：点击、按等。当用户在触摸板上做出点击动作时，其特有的动作特征是：食指或中指抬起再放下，相应地会导致触摸板上用户手指所点击的区域的电容会先变小后变大。由此根据触摸板上电容的变化，确定用户期望执行的三维式功能选项所对应的功能，再结合三维虚拟手在用户界面中所点击的位置，便能确定用户期望执行的是哪一个功能选项。当用户在触摸板上做出按动作时，相应地触摸板上用户手指所按的区域的电容会大于触摸板上其它区域的电容，由此通过根据触摸板上电容的状态，确定用户期望执行的三维式功能选项所对应的功能，再结合三维虚拟手在用户界面中所按的位置，便能确定用户期望执行的是哪一个功能选项。
用户旋转、拖拽、放大、缩小三维式功能选项的操作与用户旋转、拖拽、放大、缩小用户界面的操作大致相同，不同之处只在于动作幅度的大小，可以根据动作幅度的大小来区分是对整个用户界面或只是某一三维式功能选项的操作。例如，用户在旋转用户界面时，通常五指张开的幅度较大，而用户在旋转用户界面中的某一三维式功能选项时，通常五指张开的幅度较小，同样的通过分析五指指尖在触摸板上的运动轨迹便能准确获取用户五指张开的幅度，如此可以将该幅度值与预设的幅度值进行比较，大于预设幅度值时，则认为用户期望的是旋转整个用户界面；小于预设幅度值时，则认为用户期望的是旋转三维式功能选项。
执行单元132，用于根据确定的用户对用户界面下达的控制命令，执行相应的操作。
本发明在上述实施例中所提及的旋转、拖拽、缩小、放大、点击等操作都只是作为举例说明，在本发明的实施例中，还可以包括其它界面操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种用户界面的操作控制方法，其特征在于，包括：
采集由用户手部动作的变化而产生的电容变化信号；
根据所述采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与所述用户手部动作一致；
根据所述三维虚拟手对所述用户界面的操作，执行相应的操作。
2.如权利要求1所述的方法，其特征在于，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。
3.如权利要求2所述的方法，其特征在于，所述用户界面还包括：至少一个三维式的功能选项；
所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。
4.如权利要求1-3中任一项所述的方法，其特征在于，所述三维虚拟手与所述用户手部的大小、形状一致或者等比例缩放。
5.如权利要求4所述的方法，其特征在于，所述采集由用户手部动作的变化而产生的电容变化信号之前，还包括：
采集当所述用户手部静止时的电容信号；
根据所述电容信号，在所述用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
6.一种用户界面的操作控制装置，其特征在于，包括：
采集模块，用于采集由用户手部动作的变化而产生的电容变化信号；
三维虚拟手控制模块，用于根据所述采集的电容变化信号，控制用户界面的三维虚拟手，使所述三维虚拟手的动作与所述用户手部动作一致；
处理模块，用于根据所述三维虚拟手对所述用户界面的操作，执行相应的操作。
7.如权利要求6所述的装置，其特征在于，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。
8.如权利要求6所述的装置，其特征在于，所述用户界面还包括：至少一个三维式的功能选项；
所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。
9.如权利要求6-8中任一项所述的装置，其特征在于，所述三维虚拟手与所述用户手部的大小、形状一致或者等比例缩放。
10.如权利要求9所述的装置，其特征在于，所述采集模块还用于采集当所述用户手部静止时的电容信号，所述装置还包括：构造模块，所述构造模块用于根据所述采集模块采集的电容信号，在所述用户界面上构造与所述用户手部的大小、形状一致或者等比例缩放的三维虚拟手。
CN201210098933XA 2012-04-06 2012-04-06 一种用户界面的操作控制方法及装置 Pending CN102707878A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210098933XA CN102707878A (zh) 2012-04-06 2012-04-06 一种用户界面的操作控制方法及装置
PCT/CN2012/086002 WO2013149476A1 (zh) 2012-04-06 2012-12-06 一种用户界面的操作控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210098933XA CN102707878A (zh) 2012-04-06 2012-04-06 一种用户界面的操作控制方法及装置

Publications (1)

Publication Number Publication Date
CN102707878A true CN102707878A (zh) 2012-10-03

Family

ID=46900723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210098933XA Pending CN102707878A (zh) 2012-04-06 2012-04-06 一种用户界面的操作控制方法及装置

Country Status (2)

Country Link
CN (1) CN102707878A (zh)
WO (1) WO2013149476A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013149476A1 (zh) * 2012-04-06 2013-10-10 深圳创维数字技术股份有限公司 一种用户界面的操作控制方法及装置
CN104298438A (zh) * 2013-07-17 2015-01-21 宏碁股份有限公司 电子装置及其触控操作方法
CN106293293A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种物体距离状态的检测方法及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866243A (zh) * 2010-07-09 2010-10-20 苏州瀚瑞微电子有限公司 三维空间触控操作的方法及其手势
US20110119579A1 (en) * 2009-11-16 2011-05-19 Quanta Computer, Inc. Method of turning over three-dimensional graphic object by use of touch sensitive input device
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN102362243A (zh) * 2009-03-23 2012-02-22 三星电子株式会社 多远程指向器、虚拟对象显示装置和虚拟对象控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462929A (zh) * 2002-05-20 2003-12-24 许旻 一种计算机输入系统
KR20100059698A (ko) * 2008-11-25 2010-06-04 삼성전자주식회사 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
CN102707878A (zh) * 2012-04-06 2012-10-03 深圳创维数字技术股份有限公司 一种用户界面的操作控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102362243A (zh) * 2009-03-23 2012-02-22 三星电子株式会社 多远程指向器、虚拟对象显示装置和虚拟对象控制方法
US20110119579A1 (en) * 2009-11-16 2011-05-19 Quanta Computer, Inc. Method of turning over three-dimensional graphic object by use of touch sensitive input device
CN101866243A (zh) * 2010-07-09 2010-10-20 苏州瀚瑞微电子有限公司 三维空间触控操作的方法及其手势
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱虹: "《数字图像技术与应用》", 31 May 2011, article "图像的三维重建", pages: 154-163 *
王毅敏: "《计算机动画制作与技术》", 30 November 2010, article "基于图像的三维重构技术", pages: 229-234 *
韩九强: "《机器视觉技术及应用》", 31 December 2009, article "三维重构技术", pages: 322-326 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013149476A1 (zh) * 2012-04-06 2013-10-10 深圳创维数字技术股份有限公司 一种用户界面的操作控制方法及装置
CN104298438A (zh) * 2013-07-17 2015-01-21 宏碁股份有限公司 电子装置及其触控操作方法
CN104298438B (zh) * 2013-07-17 2017-11-21 宏碁股份有限公司 电子装置及其触控操作方法
CN106293293A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种物体距离状态的检测方法及移动终端

Also Published As

Publication number Publication date
WO2013149476A1 (zh) 2013-10-10

Similar Documents

Publication Publication Date Title
CN103164098B (zh) 触摸屏的侦测装置与方法
CN103218090B (zh) 识别输入到具有触摸面板的移动装置的输入的系统和方法
CN103324348B (zh) 一种基于智能移动终端的Windows桌面控制方法
CN102135830A (zh) 触摸屏触发方法及触摸装置
CN101963863A (zh) 用户触摸操作模式自适应的方法和装置
US20160266720A1 (en) Touch method and touch processor
WO2019062243A1 (zh) 触摸操作的识别方法、装置及电子设备
WO2010049877A1 (en) Methods and apparatuses for facilitating interaction with touch screen apparatuses
CN103218044B (zh) 一种基于物理回馈的触摸装置及其触摸处理方法
US20160266719A1 (en) Touch method and touch processor
CN102184077A (zh) 计算设备放大手势
CN107229395A (zh) 应用图标的整理方法和终端
CN107787477A (zh) 输入设备、用于接收来自输入设备的信号的电子设备及其控制方法
CN107656633A (zh) 一种智能笔、智能笔的控制方法、装置、设备及存储介质
CN102467237A (zh) 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN104750273A (zh) 一种电子设备
US20160162036A1 (en) System and accompanying method for interacting with a card on an interactive surface
CN102707878A (zh) 一种用户界面的操作控制方法及装置
CN105278734B (zh) 触摸传感器面板的控制方法和控制设备
CN103164160A (zh) 一种左右手交互装置及方法
CN103268198A (zh) 手势输入方法及装置
CN102207782A (zh) 触控装置及其触控方法
US20150138123A1 (en) Touch pen, method and apparatus for providing touch function
CN201903856U (zh) 一种触控手写笔
CN204203932U (zh) 一种基于射频识别的人机交互设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20121003