CN107315473A - 一种体感手势选择安卓游戏目标ui控件的方法 - Google Patents

一种体感手势选择安卓游戏目标ui控件的方法 Download PDF

Info

Publication number
CN107315473A
CN107315473A CN201710464891.XA CN201710464891A CN107315473A CN 107315473 A CN107315473 A CN 107315473A CN 201710464891 A CN201710464891 A CN 201710464891A CN 107315473 A CN107315473 A CN 107315473A
Authority
CN
China
Prior art keywords
controls
target
user
coordinate
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710464891.XA
Other languages
English (en)
Inventor
周晓军
王行
盛赞
李朔
李骊
杨高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201710464891.XA priority Critical patent/CN107315473A/zh
Publication of CN107315473A publication Critical patent/CN107315473A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种体感手势选择安卓游戏目标UI控件的方法。首先查找目标UI控件，确定目标UI控件在终端显示屏上的覆盖区域和位置信息；然后获取体感设备产生的用户手的坐标信息；最后根据目标UI控件的覆盖区域和位置信息以及用户手的坐标信息，确定目标UI控件的选择框。本发明克服了现有技术由于用户手存在自然抖动而导致无法快速选中目标UI控件的难题，改善用户体验。

Description

一种体感手势选择安卓游戏目标UI控件的方法
技术领域
本发明属于体感技术领域，特别涉及了一种体感手势选择安卓游戏目标UI控件的方法。
背景技术
目前，体感技术在游戏领域的应用已非常成熟，但在安卓系统上大多数原生游戏还只能是用于支持触摸屏等传统输入设备的操控。到目前为止，还没有一套完整的让安卓原生游戏支持体感操控的方法。
一方面，在现有技术中，通常采用模拟鼠标方式实现隔空选择安卓原生游戏的控件，特别是按钮控件。先获取操控空间的图像数据，追踪用户手的空间位置，然后将手在这个操控空间中的空间坐标边换成鼠标在操控界面上的像素坐标，最后以鼠标操控的方式来执行对目标元素的操作。然而，由于用户的手存在自然抖动，无法实现在计算机鼠标那样精细的选取和移动，导致无法快速准确定选中目标元素，降低了用户体验度。
另一方面，由于游戏的特殊性，很多游戏无法获取到控件、资源ID等内部资源(非原生安卓代码或使用OpenGL,Unity)，这种情况下，只能通过点击坐标代替控件操作，而如何获取控件的坐标就成了能否实现隔空选择安卓游戏控件的关键。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种体感手势选择安卓游戏目标UI控件的方法，克服现有技术由于用户手存在自然抖动而导致无法快速选中目标UI控件的难题。
为了实现上述技术目的，本发明的技术方案为：
一种体感手势选择安卓游戏目标UI控件的方法，包括以下步骤：
(1)查找目标UI控件，确定目标UI控件在终端显示屏上的覆盖区域和位置信息；
(2)获取体感设备产生的用户手的坐标信息；
(3)根据步骤(1)确定的目标UI控件的覆盖区域和位置信息以及步骤(2)获取的用户手的坐标信息，确定目标UI控件的选择框。
进一步地，步骤(1)的过程如下：
(11)查找目标UI控件所在的游戏当前画面的用户界面的ID；
(12)查找目标UI控件在步骤(11)所述用户界面的UI控件树上对应的节点；
(13)根据目标UI空间对应的节点，确定目标UI控件在终端显示屏上的覆盖区域和位置信息。
进一步地，步骤(11)的过程如下：
收集目标UI控件的截图；获取游戏当前界面的截图，将目标UI控件的截图和游戏当前界面的截图作为输入，使用OpenCV集成的图像识别算法进行特征识别，输出目标UI控件所在的游戏当前画面的用户界面的ID。
进一步地，步骤(2)的过程如下；
(21)通过摄像头实时获取并解析空间内场景的图像数据，得到场景中用户的体型信息，该体型信息包括臂长、肩宽以及左、右肩膀位置；
(22)根据操控显示界面的尺寸以及用户的体型信息确定操控空间的尺寸，该尺寸包括操作空间的宽度、纵深以及高度；
(23)判断用户是否抬起左手，如果是，则建立以用户左肩为原点的操控空间的坐标系；如果否，则建立以用户右肩为原点的操控空间的坐标系；
(24)获取用户的手在步骤(23)所建立的操控空间坐标系中的坐标，将用户的手在操控空间坐标系的坐标映射到操控显示界面的坐标。
进一步地，在步骤(22)中，根据用户的肩宽和臂长确定操控空间的宽度，根据用户的臂长确定操控空间的纵深，根据操作显示界面的宽高比确定操控空间的高度。
进一步地，步骤(3)的过程如下：
若用户的手在操控显示界面的坐标落在目标UI控件的覆盖区域，则根据目标UI控件的位置信息画出相应的矩形选择框，该矩形选择框的位置由目标UI控件的左上角坐标和右下角坐标决定。
采用上述技术方案带来的有益效果：
本发明不需要像传统体感技术那样采用鼠标来执行对目标元素的操作，从而避免了因用户手存在自然抖动而影像鼠标的选择或移动的精度，大大提升了用户体验度。
附图说明
图1是本发明的基本流程图。
图2是本发明步骤1的具体流程图。
图3是本发明步骤2的具体流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
先介绍安卓游戏中的xml文件。xml文件记录了安卓原生游戏的所要适配的界面UI控件的覆盖区域和位置信息。所述UI控件主要特指游戏界面中的按钮。将游戏界面抽象成有限个界面，每个界面由有限个按钮组成，每个按钮都有自己覆盖范围，比如，一个界面只有并排的两个按钮，那么两个按钮覆盖范围为显示界面的各一半区域。
一种体感手势选择安卓游戏目标UI控件的方法，如图1所示，具体步骤如下。
步骤1：查找目标UI控件，确定目标UI控件在终端显示屏上的覆盖区域和位置信息，如图2所示，具体过程如下：
步骤11：查找目标UI控件所在的游戏当前画面的用户界面的ID，具体过程如下：
收集目标UI控件的截图；通过/dev/graphics/fb0设备获取游戏当前界面的截图，将目标UI控件的截图和游戏当前界面的截图作为输入，使用OpenCV集成的图像识别算法进行特征识别，输出目标UI控件所在的游戏当前画面的用户界面的ID。
图像识别算法将事先收集的小图与实时截取的整幅当前界面做相似度计算，求出实时截取的整幅当前界面中与事先截取的小图相似度最大的那个部分，并记录那个部分相似度，判断最高相似度是否能达到相似度经验阀值，如果高于经验阀值，则认为当前界面为该小图对应的界面，如果低于经验阀值，则认为当前界面不是与事先截取小图对应的界面中的一个。
步骤12：查找目标UI控件在步骤11所述用户界面的UI控件树上对应的节点，该节点信息记录在预先编写的xml文件中。
步骤13：根据目标UI空间对应的节点，确定目标UI控件在终端显示屏上的覆盖区域和位置信息。
步骤2：获取体感设备产生的用户手的坐标信息，如图3所示，具体过程如下：
步骤21：通过摄像头实时获取并解析空间内场景的图像数据，得到场景中用户的体型信息，该体型信息包括臂长、肩宽以及左、右肩膀位置。
步骤22：根据操控显示界面的尺寸以及用户的体型信息确定操控空间的尺寸，该尺寸包括操作空间的宽度、纵深以及高度，具体如下：
根据用户的肩宽和臂长确定操控空间的宽度；
根据用户的臂长确定操控空间的纵；
根据操作显示界面的宽高比确定操控空间的高度。
步骤23：判断用户是否抬起左手，如果是，则建立以用户左肩为原点的操控空间的坐标系；如果否，则建立以用户右肩为原点的操控空间的坐标系。
步骤24：获取用户的手在步骤23所建立的操控空间坐标系中的坐标，将用户的手在操控空间坐标系的坐标映射到操控显示界面的坐标。
步骤3：根据步骤1确定的目标UI控件的覆盖区域和位置信息以及步骤2获取的用户手的坐标信息，确定目标UI控件的选择框。
若用户的手在操控显示界面的坐标落在目标UI控件的覆盖区域，则根据目标UI控件的位置信息画出相应的矩形选择框，该矩形选择框的位置由目标UI控件的左上角坐标和右下角坐标决定。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种体感手势选择安卓游戏目标UI控件的方法，其特征在于，包括以下步骤：
(1)查找目标UI控件，确定目标UI控件在终端显示屏上的覆盖区域和位置信息；
(2)获取体感设备产生的用户手的坐标信息；
(3)根据步骤(1)确定的目标UI控件的覆盖区域和位置信息以及步骤(2)获取的用户手的坐标信息，确定目标UI控件的选择框。
2.根据权利要求1所述体感手势选择安卓游戏目标UI控件的方法，其特征在于，步骤(1)的过程如下：
(11)查找目标UI控件所在的游戏当前画面的用户界面的ID；
(12)查找目标UI控件在步骤(11)所述用户界面的UI控件树上对应的节点；
(13)根据目标UI控件对应的节点，确定目标UI控件在终端显示屏上的覆盖区域和位置信息。
3.根据权利要求2所述体感手势选择安卓游戏目标UI控件的方法，其特征在于，步骤(11)的过程如下：
收集目标UI控件的截图；获取游戏当前界面的截图，将目标UI控件的截图和游戏当前界面的截图作为输入，使用OpenCV集成的图像识别算法进行特征识别，输出目标UI控件所在的游戏当前画面的用户界面的ID。
4.根据权利要求1所述体感手势选择安卓游戏目标UI控件的方法，其特征在于，步骤(2)的过程如下
(21)通过摄像头实时获取并解析空间内场景的图像数据，得到场景中用户的体型信息，该体型信息包括臂长、肩宽以及左、右肩膀位置；
(22)根据操控显示界面的尺寸以及用户的体型信息确定操控空间的尺寸，该尺寸包括操作空间的宽度、纵深以及高度；
(23)判断用户是否抬起左手，如果是，则建立以用户左肩为原点的操控空间的坐标系；如果否，则建立以用户右肩为原点的操控空间的坐标系；
(24)获取用户的手在步骤(23)所建立的操控空间坐标系中的坐标，将用户的手在操控空间坐标系的坐标映射到操控显示界面的坐标。
5.根据权利要求4所述体感手势选择安卓游戏目标UI控件的方法，其特征在于，在步骤(22)中，根据用户的肩宽和臂长确定操控空间的宽度，根据用户的臂长确定操控空间的纵深，根据操作显示界面的宽高比确定操控空间的高度。
6.根据权利要求1所述体感手势选择安卓游戏目标UI控件的方法，其特征在于，步骤(3)的过程如下：
若用户的手在操控显示界面的坐标落在目标UI控件的覆盖区域，则根据目标UI控件的位置信息画出相应的矩形选择框，该矩形选择框的位置由目标UI控件的左上角坐标和右下角坐标决定。
CN201710464891.XA 2017-06-19 2017-06-19 一种体感手势选择安卓游戏目标ui控件的方法 Pending CN107315473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710464891.XA CN107315473A (zh) 2017-06-19 2017-06-19 一种体感手势选择安卓游戏目标ui控件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464891.XA CN107315473A (zh) 2017-06-19 2017-06-19 一种体感手势选择安卓游戏目标ui控件的方法

Publications (1)

Publication Number Publication Date
CN107315473A true CN107315473A (zh) 2017-11-03

Family

ID=60184197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464891.XA Pending CN107315473A (zh) 2017-06-19 2017-06-19 一种体感手势选择安卓游戏目标ui控件的方法

Country Status (1)

Country Link
CN (1) CN107315473A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108635840A (zh) * 2018-05-17 2018-10-12 南京华捷艾米软件科技有限公司 一种基于Sikuli图像识别的手机游戏体感操控系统及方法
CN111228792A (zh) * 2020-01-14 2020-06-05 深圳十米网络科技有限公司 体感游戏动作识别方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995595A (zh) * 2014-05-28 2014-08-20 重庆大学 一种基于手势的游戏体感控制方法
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
CN106095666A (zh) * 2016-06-02 2016-11-09 腾讯科技（深圳）有限公司 游戏自动化测试方法及相关装置
CN106249901A (zh) * 2016-08-16 2016-12-21 南京华捷艾米软件科技有限公司 一种以Android原生游戏支持体感设备操控的适配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995595A (zh) * 2014-05-28 2014-08-20 重庆大学 一种基于手势的游戏体感控制方法
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
CN106095666A (zh) * 2016-06-02 2016-11-09 腾讯科技（深圳）有限公司 游戏自动化测试方法及相关装置
CN106249901A (zh) * 2016-08-16 2016-12-21 南京华捷艾米软件科技有限公司 一种以Android原生游戏支持体感设备操控的适配方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108635840A (zh) * 2018-05-17 2018-10-12 南京华捷艾米软件科技有限公司 一种基于Sikuli图像识别的手机游戏体感操控系统及方法
CN111228792A (zh) * 2020-01-14 2020-06-05 深圳十米网络科技有限公司 体感游戏动作识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11003253B2 (en) Gesture control of gaming applications
KR101526644B1 (ko) 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어
CN106598227B (zh) 基于Leap Motion和Kinect的手势识别方法
US10600169B2 (en) Image processing system and image processing method
CN103154858B (zh) 操作输入装置与方法及程序
CN103530613B (zh) 一种基于单目视频序列的目标人手势交互方法
US9081419B2 (en) Natural gesture based user interface methods and systems
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN103176690B (zh) 显示控制设备、显示控制方法和程序
CN109271983B (zh) 屏幕画面截图中识别物体的显示方法及显示终端
CN103425964B (zh) 图像处理设备和图像处理方法
CN103218506A (zh) 信息处理装置、显示控制方法和程序
CN102541256A (zh) 具有视觉反馈的位置知晓姿势作为输入方法
CN106599853B (zh) 远程教学过程中进行形体姿态纠正的方法及其设备
US10401947B2 (en) Method for simulating and controlling virtual sphere in a mobile device
CN102402382A (zh) 信息处理设备和信息处理方法
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
CN101872244A (zh) 一种基于用户手部运动与颜色信息的人机交互方法
US20180268585A1 (en) Character input method, character input device, and wearable device
EP3172721B1 (en) Method and system for augmenting television watching experience
CN107315473A (zh) 一种体感手势选择安卓游戏目标ui控件的方法
CN103201706A (zh) 虚拟鼠标的驱动方法
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
JPS61199178A (ja) 情報入力装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171103

RJ01 Rejection of invention patent application after publication