CN111190532B - 一种基于手势识别的交互方法、装置和电子设备 - Google Patents
一种基于手势识别的交互方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111190532B CN111190532B CN201911403403.XA CN201911403403A CN111190532B CN 111190532 B CN111190532 B CN 111190532B CN 201911403403 A CN201911403403 A CN 201911403403A CN 111190532 B CN111190532 B CN 111190532B
- Authority
- CN
- China
- Prior art keywords
- display area
- gesture
- display
- information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 19
- 238000009877 rendering Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Abstract
本发明公开了一种基于手势识别的交互方法，包括：获取页面展示内容信息，页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则；获取用户的手势信息；基于用户的手势信息及触摸交互规则，第一或第二展示区域内展示内容进行移动展示；触摸规则包括：将第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。本发明更为精准的判断用户操作使用应用时的操作意图，基于操作意图准确进行展示反馈，进一步降低用户的操作难度，提高操作精度和准确率，从而满足用户的使用需求，增强用户体验。
Description
技术领域
本发明涉及信息处理领域，具体而言，涉及一种基于手势识别的交互方法、装置、电子设备及计算机可读介质。
背景技术
随着智能移动终端的普及，人们工作、消费、学习、娱乐等日常活动已经和智能移动终端密不可分。据统计，中国消费者每天在移动设备上花费的时间超过4个小时，并且应用程序使用率占用了90％。长时间的使用率促使各应用程序开发者越来越重视用户体验，功能的开发、界面的设计、策略的制定很大程度上是为了提高用户的使用体验，增强用户的使用粘滞度，进而提高拉新、转化及使用率。触摸交互方式的移动终端作为当前移动终端设备的主流，应用程序的交互开发通常也基于手势识别技术，通过触摸滑动操控应用，实现人机交互也已经是最常规的交互方法。
在现有技术中，应用中资源位的布局往往使用相互嵌套、纵横相间的方式，即同一页面中横向移动展示的资源位与纵向移动的资源位相互嵌套，并可通过手势的滑动对相应的资源位进行横向或纵向展示。但这也存在误触摸问题，当手势的滑动轨迹横跨两个资源位区域时，两个资源位展示内容均进行相应的移动展示，导致用户的操作不够精准，页面展示不能满足用户实际需求，增加了部分用户的操作难度，降低了用户体验。
发明内容
本发明的目的在于，提供一种基于手势识别的交互方法、装置和电子设备，旨在更为精准的判断用户操作使用应用时的操作意图，基于操作意图准确进行展示反馈，进一步降低用户的操作难度，提高操作精度和准确率，从而满足用户的使用需求，增强用户体验。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
为实现上述目的，本发明一方面提供一种基于手势识别的交互方法，包括：
获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则；
根据所述页面展示内容信息生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠；
获取用户的手势信息；
基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示；
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
根据本发明的一种优选实施方式，所述获取用户的手势信息步骤进一步包括：获取所述用户手势轨迹的起点坐标及终点坐标；根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
根据本发明的一种优选实施方式，所述触摸交互规则进一步包括：当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
根据本发明的一种优选实施方式，将第一展示区域、和第二展示区域中的面积小的展示区域作为上方展示区域。
根据本发明的一种优选实施方式，所述触摸交互规则进一步包括：当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
根据本发明的一种优选实施方式，所述触摸交互规则进一步包括：设置触摸位移阈值；当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
根据本发明的一种优选实施方式，所述上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
本发明的第二方面提供了一种基于手势识别的交互装置，包括：
信息获取模块，用于获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则；
页面生成模块，用于根据所述页面展示内容信息生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠；
手势信息获取模块，用于获取用户的手势信息；
展示模块，用于基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示；
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
根据本发明的一种优选实施方式，所述手势信息获取模块进一步包括：坐标获取单元，用于获取所述用户手势轨迹的起点坐标及终点坐标；计算单元，用于根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
根据本发明的一种优选实施方式，所述触摸交互规则进一步包括：当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
根据本发明的一种优选实施方式，页面生成模块将第一展示区域、和第二展示区域中的面积小的展示区域作为上方展示区域。
根据本发明的一种优选实施方式，所述触摸交互规则进一步包括：当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
根据本发明的一种优选实施方式，进一步包括：有效性判断模块，用于判断获取的手势信息的有效性。
根据本发明的一种优选实施方式，所述有效性判断模块进一步包括：阈值设置单元，用于设置触摸位移阈值；判断单元，当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
根据本发明的一种优选实施方式，所述上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
本发明的第三方面提供一种电子设备，其中，该电子设备包括：
处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述的基于手势识别的交互方法。
本发明的第四方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的基于手势识别的交互方法。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明本发明示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是根据一示例性实施例示出的一种基于手势识别的交互方法的主要流程示意图。
图2是根据一示例性实施例示出的有第一、第二展示区域的展示页面框图。
图3是根据一示例性实施例示出的一种基于手势识别的交互方法的实际使用示例图。
图4是根据一示例性实施例示出的一种基于手势识别的交互方法的另一实际使用示例图。
图5是根据另一示例性实施例示出的一种基于手势识别的交互方法的主要流程示意图。
图6是根据另一示例性实施例示出的一种基于手势识别的交互方法的实际使用示例图。
图7是根据一示例性实施例示出的一种基于手势识别的交互装置的框图。
图8是根据一示例性实施例示出的手势信息获取模块的框图。
图9是根据一示例性实施例示出的有效性判断模块的框图。
图10是根据本发明的一种电子设备的示例性实施例的结构框图。
图11是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本发明实质的技术方案。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
图1是根据一示例性实施例示出的一种基于手势识别的交互方法的主要流程示意图。基于手势识别的交互方法至少包括步骤S101至步骤S104。
步骤S101 获取页面展示内容信息
在步骤S101中，获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则。
响应于用户的访问请求信息，服务器解析请求，定位请求资源将资源复本写到TCP套接字，生成用于页面展示的页面展示内容信息。
从构成部分而言，所述页面展示内容信息可包括三部分：状态行、响应头和响应正文。其中，状态行用于显示协议版本号、 状态码、状态消息；响应头用来说明客户端要使用的一些附加信息，例如，生成响应的日期和时间、指定了MIME类型的HTML、编码类型等；响应正文为服务器返回给客户端的文本信息，包含着一些具体信息，比如cookie，html,image，后端返回的请求数据等等。
从具体内容而言。页面展示内容信息至少包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则。
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
步骤S102 生成展示页面
在步骤S102中，用户的客户端应用根据页面展示内容信息渲染生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠。
更具体的，从生成方法而言，用户客户端应用接收到步骤S101获取的页面展示内容信息，使用浏览器进行解析渲染。
客户端浏览器还原得到html文档后，首先遍历文档节点生成DOM树，DOM树结构和html标签一一对应；
其次，浏览器解析CSS文件并生成CSS规则树，在这个过程中，每个CSS文件文件都会被分析成StyleSheet对象，每个对象都包括CSS规则，所述CSS规则对象包括对应的选择器和声明对象以及其他对象；
第三，浏览器通过DOM树和CSS规则树构建渲染树，先从DOM树的根节点开始遍历每个可见节点，然后对每个可见节点找到适配的CSS样式规则并应用；
第四浏览器进行渲染树布局，布局阶段从渲染树的更高节点开始遍历，通过样式信息确定每个节点对象在页面上的确切大小和位置；最后，浏览器进行渲染树绘制，在本阶段，浏览器遍历渲染树，调用渲染器的paint（）方法在显示设备上显示其内容，本阶段是由浏览器的UI后端组件完成的。
图2是根据一示例性实施例示出的有第一、第二展示区域的展示页面框图。
如图2所示，从生成内容而言，展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠。
基于触摸交互规则，第一展示区域与第二展示区域其中一个为上方展示区域，另一个为下方展示区域，两者部分重叠的方式包括但不限于上方展示区域的一部分与下方展示区域的一部分重叠、上方展示区域的全体与下方展示区域的一部分重叠。更具体而言，将第一展示区域和第二展示区域中的面积小的展示区域作为上方展示区域。
步骤S103 获取用户手势信息
在步骤S103中，基于用户的触摸操作，获取用户的手势信息。
更具体而言，获取所述用户手势轨迹的起点坐标及终点坐标，根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
图3、图4是根据一示例性实施例示出的一种基于手势识别的交互方法的两种实际使用示例图。
如图3所示，用户触摸操作形成的手势轨迹如点A到点B，若点A的坐标为（25、35），点B的坐标为（75，85），可判断起始点即点A位于下方展示区域，其滑动手势方向在X轴方向为由左到由，在Y轴方向为由下到上。
如图4所示，用户触摸操作形成的手势轨迹如点C到点D，若点C的坐标为（15、20），点D的坐标为（75、50），可判断起始点即点C位于上方展示区域，其滑动手势方向在X轴方向为由左到右，在Y轴方向为由上到下。
步骤S104 进行移动展示
在步骤S104中，基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示。
具体而言，当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
更进一步的，当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
如图3所示，当用户手势轨迹的起始点即点A的位置位于下方展示区域时，仅依据手势信息进行下方展示区域的移动展示，即横向和/或纵向移动展示，虽然手势结束点即点B位于上方展示区域，但上方展示区域并不响应于本次触摸操作进行移动展示。
如图4所示，当用户手势轨迹的起始点即点C的位置位于上方展示区域时，仅依据手势信息进行上方展示区域的移动展示，即横向和/或纵向移动展示，虽然手势结束点即点D位于下方展示区域，但下方展示区域并不响应于本次触摸操作进行移动展示。
更进一步的，在上述移动展示中，上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
图5是根据另一示例性实施例示出的一种基于手势识别的交互方法的主要流程示意图。基于手势识别的交互方法至少包括步骤S501至步骤S506。
步骤S501 获取页面展示内容信息
在步骤S501中，获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则。
响应于用户的访问请求信息，服务器解析请求，定位请求资源将资源复本写到TCP套接字，生成用于页面展示的页面展示内容信息。
从构成部分而言，所述页面展示内容信息可包括三部分：状态行、响应头和响应正文。其中，状态行用于显示协议版本号、 状态码、状态消息；响应头用来说明客户端要使用的一些附加信息，例如，生成响应的日期和时间、指定了MIME类型的HTML、编码类型等；响应正文为服务器返回给客户端的文本信息，包含着一些具体信息，比如cookie，html,image，后端返回的请求数据等等。
从具体内容而言。页面展示内容信息至少包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则。
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
更进一步的，所述触摸交互规则进一步包括：设置触摸位移阈值；当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
步骤S502 生成展示页面
在步骤S502中，用户的客户端应用根据页面展示内容信息渲染生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠。
更具体的，从生成方法而言，用户客户端应用接收到步骤S501获取的页面展示内容信息，使用浏览器进行解析渲染。
客户端浏览器还原得到html文档后，首先遍历文档节点生成DOM树，DOM树结构和html标签一一对应；
其次，浏览器解析CSS文件并生成CSS规则树，在这个过程中，每个CSS文件文件都会被分析成StyleSheet对象，每个对象都包括CSS规则，所述CSS规则对象包括对应的选择器和声明对象以及其他对象；
第三，浏览器通过DOM树和CSS规则树构建渲染树，先从DOM树的根节点开始遍历每个可见节点，然后对每个可见节点找到适配的CSS样式规则并应用；
第四浏览器进行渲染树布局，布局阶段从渲染树的更高节点开始遍历，通过样式信息确定每个节点对象在页面上的确切大小和位置；最后，浏览器进行渲染树绘制，在本阶段，浏览器遍历渲染树，调用渲染器的paint（）方法在显示设备上显示其内容，本阶段是由浏览器的UI后端组件完成的。
从生成内容而言，展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠。
基于触摸交互规则，第一展示区域与第二展示区域其中一个为上方展示区域，另一个为下方展示区域，两者部分重叠的方式包括但不限于上方展示区域的一部分与下方展示区域的一部分重叠、上方展示区域的全体与下方展示区域的一部分重叠。更具体而言，将第一展示区域和第二展示区域中的面积小的展示区域作为上方展示区域。
步骤S503 获取用户手势信息
在步骤S503中，基于用户的触摸操作，获取用户的手势信息。
更具体而言，获取所述用户手势轨迹的起点坐标及终点坐标，根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
步骤S504 判断手势信息有效性
根据步骤S503中获取的用户手势起始点、终点位置坐标，得到用户本次操作轨迹的位移值。
设置触摸位移阈值；当用户手势轨迹的起始点位置与结束点位置横向位移小于所述触摸位移阈值时，所述手势信息识别为无效信息；当用户手势轨迹的起始点位置与结束点位置纵向位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
若手势信息识别为无效信息，则执行步骤S506，流程终止。
图6是根据另一示例性实施例示出的一种基于手势识别的交互方法的实际使用示例图。
如图6所示，用户本次触摸操作的起始点为点E，终点为点F，点E、F之间的位移为5，若触摸位移阈值为10，则可判断本次触摸为用户的无意触碰，为无效信息，整个操作流程终止。
步骤S505 进行移动展示
若经步骤S504判断用户手势信息为有效信息，则在步骤S505中，基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示。
具体而言，当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
更进一步的，当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
更进一步的，在上述移动展示中，上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
在本发明中，所述触摸识别、轨迹计算、页面生成均可采用本领域常用手段以实现，本发明所述的方法并不依赖于特殊的触摸识别及页面构建方法，在此不一一赘述。
更进一步，本发明中提到的用户手势识别亦可是不依赖于与屏幕的实际触摸，通过动作识别装置，如摄像头等，识别用户手指操作的运动轨迹，并将识别信息实时转化为指令信息，基于所述指令信息也可实现本发明所述之方法。
本领域技术人员可以理解，实现上述实施例的全部或部分步骤被实现为由计算机数据处理设备执行的程序（计算机程序）。在该计算机程序被执行时，可以实现本发明提供的上述方法。而且，所述的计算机程序可以存储于计算机可读存储介质中，该存储介质可以是磁盘、光盘、ROM、RAM等可读存储介质，也可以是多个存储介质组成的存储阵列，例如磁盘或磁带存储阵列。所述的存储介质不限于集中式存储，其也可以是分布式存储，例如基于云计算的云存储。
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
图7是根据一示例性实施例示出的一种基于手势识别的交互装置的框图。
如图7所示，基于手势识别的交互装置700包括信息获取模块701、页面生成模块702、手势信息获取模块703、有效性判断模块704和展示模块705。
信息获取模块701，用于获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则。
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
更进一步的，所述触摸规则可进一步包括当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
页面生成模块702，用于根据所述页面展示内容信息生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠。
基于触摸交互规则，第一展示区域与第二展示区域其中一个为上方展示区域，另一个为下方展示区域，两者部分重叠的方式包括但不限于上方展示区域的一部分与下方展示区域的一部分重叠、上方展示区域的全体与下方展示区域的一部分重叠。更具体而言，将第一展示区域和第二展示区域中的面积小的展示区域作为上方展示区域。
如图8所示，手势信息获取模块703，用于获取用户的手势信息。具体可包括坐标获取单元801和计算单元802。
坐标获取单元801，用于获取所述用户手势轨迹的起点坐标及终点坐标；
计算单元802，用于根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
如图9所示，有效性判断模块704，用于判断获取的手势信息的有效性，进一步包括阈值设置单元901和判断单元902。
阈值设置单元901，用于设置触摸位移阈值；
判断单元902，当用户手势轨迹的起始点位置与结束点位置横向位移小于所述触摸位移阈值时，所述手势信息识别为无效信息，当用户手势轨迹的起始点位置与结束点位置纵向位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
展示模块705，用于基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示。
具体而言，当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
更进一步的，当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
更进一步的，在上述移动展示中，上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图10是根据本发明的一种电子设备的示例性实施例的结构框图。下面参照图10来描述根据本发明该实施例的的电子设备200。图10显示的电子设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件（包括存储单元220和处理单元210）的总线230、显示单元240等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1、5所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元（ROM）2203。
所述存储单元220还可以包括具有一组（至少一个）程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的基于手势识别的交互方法。
所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种基于手势识别的交互方法，其特征在于，包括：
获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则；
根据所述页面展示内容信息生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠；
获取用户的手势信息；
基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示；
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
2.根据权利要求1所述的方法，其特征在于，所述获取用户的手势信息步骤进一步包括：
获取所述用户手势轨迹的起点坐标及终点坐标；
根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
3.根据权利要求2所述的方法，其特征在于，所述触摸交互规则进一步包括：
当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
4.根据权利要求3所述的方法，其特征在于：
将第一展示区域和第二展示区域中的面积小的展示区域作为上方展示区域。
5.根据权利要求2所述的方法，其特征在于，所述触摸交互规则进一步包括：
当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
6.根据权利要求2所述的方法，其特征在于，所述触摸交互规则进一步包括：
设置触摸位移阈值；
当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
8.一种基于手势识别的交互装置，其特征在于，包括：
信息获取模块，用于获取页面展示内容信息，所述页面展示内容信息包括用于构成第一展示区域、第二展示区域的内容信息以及触摸交互规则；
页面生成模块，用于根据所述页面展示内容信息生成展示页面，所述展示页面包括第一展示区域及第二展示区域且所述第一展示区域和第二展示区域部分重叠；
手势信息获取模块，用于获取用户的手势信息；
展示模块，用于基于所述用户的手势信息及所述触摸交互规则，所述第一或第二展示区域内展示内容进行移动展示；
所述触摸规则包括：将所述第一展示区域和第二展示区域中的一个指定为上方展示区域，另一个为下方展示区域；当所述手势信息显示手势位于上方展示区域内时，仅上方展示区域响应所述手势，否则仅下方展示区域响应所述手势。
9.根据权利要求8所述的装置，其特征在于，所述手势信息获取模块进一步包括：
坐标获取单元，用于获取所述用户手势轨迹的起点坐标及终点坐标；
计算单元，用于根据所述起点坐标及终点坐标判断并获取用户手势起始点位置、手势方向信息。
10.根据权利要求9所述的装置，其特征在于，所述触摸交互规则进一步包括：
当用户手势轨迹的起始点位置位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点位置位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
11.根据权利要求10所述的装置，其特征在于：
页面生成模块将第一展示区域、和第二展示区域中的面积小的展示区域作为上方展示区域。
12.根据权利要求9所述的装置，其特征在于，所述触摸交互规则进一步包括：
当用户手势轨迹的起始点和结束点位置均位于上方展示区域内时，仅依据手势信息进行所述上方展示区域内展示内容移动展示；
以及，当用户手势轨迹的起始点和结束点位置均位于下方展示区域内时，仅依据手势信息进行所述下方展示区域内展示内容移动展示。
13.根据权利要求8所述的装置，其特征在于，进一步包括：
有效性判断模块，用于判断获取的手势信息的有效性。
14.根据权利要求13所述的装置，其特征在于，所述有效性判断模块进一步包括：
阈值设置单元，用于设置触摸位移阈值；
判断单元，当用户手势轨迹的起始点位置与结束点位置位移小于所述触摸位移阈值时，所述手势信息识别为无效信息。
15.根据权利要求8至14中任一项所述的装置，其特征在于，所述上方展示区域随下方展示区域移动，所述下方展示区域不随上方展示区域移动。
16.一种电子设备，其中，该电子设备包括：
处理器；以及，
存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。
17.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403403.XA CN111190532B (zh) | 2019-12-31 | 2019-12-31 | 一种基于手势识别的交互方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403403.XA CN111190532B (zh) | 2019-12-31 | 2019-12-31 | 一种基于手势识别的交互方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111190532A CN111190532A (zh) | 2020-05-22 |
| CN111190532B true CN111190532B (zh) | 2021-01-08 |
Family
ID=70707933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911403403.XA Expired - Fee Related CN111190532B (zh) | 2019-12-31 | 2019-12-31 | 一种基于手势识别的交互方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111190532B (zh) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593132A (zh) * | 2012-08-16 | 2014-02-19 | 腾讯科技（深圳）有限公司 | 触控装置及手势识别方法 |
| US10120540B2 (en) * | 2013-03-14 | 2018-11-06 | Samsung Electronics Co., Ltd. | Visual feedback for user interface navigation on television system |
| CN104571904B (zh) * | 2013-10-28 | 2018-08-10 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN103870118B (zh) * | 2014-02-18 | 2017-11-07 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN105988662B (zh) * | 2015-03-06 | 2020-06-23 | 阿里巴巴集团控股有限公司 | 移动终端上多应用窗口的显示方法及其系统 |
| CN105677229B (zh) * | 2015-03-26 | 2019-08-30 | 努比亚技术有限公司 | 移动终端及其触控操作方法 |
| US10209851B2 (en) * | 2015-09-18 | 2019-02-19 | Google Llc | Management of inactive windows |
| CN105867722A (zh) * | 2015-12-15 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 一种列表项操作的处理方法和装置 |
| US20180284956A1 (en) * | 2017-04-03 | 2018-10-04 | Sap Se | Fragmentation and messaging across web applications |
| CN108228052B (zh) * | 2017-12-29 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 触发界面组件运行的方法、装置、存储介质及终端 |
| CN108363525B (zh) * | 2018-02-01 | 2020-12-11 | 阿里巴巴（中国）有限公司 | 一种响应网页中用户手势操作的方法、装置和终端设备 |
| CN108984095A (zh) * | 2018-07-04 | 2018-12-11 | Oppo广东移动通信有限公司 | 手势交互方法、装置、存储介质和电子设备 |
| CN110262736B (zh) * | 2019-06-20 | 2021-09-17 | 北京字节跳动网络技术有限公司 | 数据表格创建方法及装置 |
| CN110618769B (zh) * | 2019-08-22 | 2021-11-19 | 华为技术有限公司 | 一种应用窗口处理方法及装置 |
-
2019
- 2019-12-31 CN CN201911403403.XA patent/CN111190532B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN111190532A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542399B (zh) | 软件开发方法、装置、终端设备及计算机可读存储介质 | |
| US10643023B2 (en) | Programmatic native rendering of structured content | |
| WO2021017735A1 (zh) | 一种智能合约的形式化验证方法、电子装置及存储介质 | |
| US9224219B2 (en) | Systems and methods for presenting a free-form drawing | |
| CN107807814B (zh) | 应用组件的构建方法、装置、设备及计算机可读存储介质 | |
| CN101763234B (zh) | 一种模拟各种屏幕分辨率的方法及其装置 | |
| US20150212586A1 (en) | Chinese character entry via a pinyin input method | |
| US20130073945A1 (en) | Dynamic reorganization of page elements of a web application | |
| US20210333302A1 (en) | Method and apparatus for processing trajectory, roadside device and cloud control platform | |
| CN104303145A (zh) | 根据应用的转化配置文件将触摸输入转化成本地输入 | |
| CN111324715A (zh) | 问答机器人的生成方法和装置 | |
| CN104094199A (zh) | 输入映射区域 | |
| CN111858880A (zh) | 获取查询结果的方法、装置、电子设备和可读存储介质 | |
| US9996511B2 (en) | Free form website structure design | |
| CN111190532B (zh) | 一种基于手势识别的交互方法、装置和电子设备 | |
| KR20090069110A (ko) | 이미지 정보에 기초하여 연산을 처리하기 위한 방법, 장치,시스템 및 컴퓨터 판독 가능한 기록 매체 | |
| CN115017922A (zh) | 图片翻译的方法、装置、电子设备及可读存储介质 | |
| US20210210070A1 (en) | Skill service updating method, electronic device and readable storage medium | |
| CN114222317A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
| CN113849164A (zh) | 数据处理方法、装置、电子设备和存储器 | |
| CN114415892A (zh) | 界面控件生成方法、装置、可读介质及电子设备 | |
| CN114237398A (zh) | 基于虚幻引擎生成房间小地图的方法及装置、存储介质 | |
| CN113391737A (zh) | 界面的显示控制方法及装置、存储介质及电子设备 | |
| CN112861504A (zh) | 文本交互方法、装置、设备、存储介质及程序产品 | |
| CN110187881A (zh) | 一种异形窗口创建方法、系统、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210108 |