CN113610939A - Ui对象的定位方法、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种UI对象的定位方法、终端设备及计算机可读存储介质，该方法包括：首先截取向图形处理器发送的绘制指令，并获取绘制指令对应的第一纹理标识，然后在第一纹理标识为目标UI对象的纹理标识的情况下，获取该绘制指令对应的顶点的位置坐标信息，最后再根据该位置坐标信息，确定出目标UI对象对应的区域。通过实施该方法，可以达到高效定位目标UI对象对应的区域，降低计算量的目的。

Description

UI对象的定位方法、终端设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种UI对象的定位方法、终端设备及计算机可读存储介质。

背景技术

目前，终端设备(如手机、电脑)大都支持在UI(User Interface，用户界面)元素的显示区域添加自定义效果，现有的添加自定义效果的过程大都包括：终端设备先利用图像识别AI(Artificial Intelligence，人工智能)算法定位出待添加自定义效果的UI元素的位置，然后在识别出的位置处添加自定义效果。

实践中发现，在利用图像识别AI算法定位待添加自定义效果的UI元素的位置时，通常耗费时间较久，所以，如何对待添加自定义效果的UI元素的位置进行高效定位就成为了一个亟需解决的问题。

发明内容

本申请实施例提供了一种UI对象的定位方法、终端设备及计算机可读存储介质，用于高效定位目标UI对象对应的区域，降低计算量。

本申请实施例第一方面提供了一种UI对象的定位方法，包括：

截取向图形处理器发送的绘制指令；

确定所述绘制指令对应的纹理数据，所述纹理数据包括第一纹理标识；

若所述第一纹理标识为目标UI对象的纹理标识，则获取所述绘制指令对应的顶点数据，所述顶点数据包括顶点的位置坐标信息；

根据所述位置坐标信息，确定所述目标UI对象对应的区域。

本申请实施例第二方面提供了一种终端设备，包括：

截取单元，用于截取向图形处理器发送的绘制指令；

确定单元，用于确定所述绘制指令对应的纹理数据，所述纹理数据包括第一纹理标识；

获取单元，用于在所述第一纹理标识为目标UI对象的纹理标识时，获取所述绘制指令对应的顶点数据，所述顶点数据包括顶点的位置坐标信息；

所述确定单元，还用于根据所述位置坐标信息，确定所述目标UI对象对应的区域。

本申请实施例第三方面提供了一种终端设备，可以包括：

存储有可执行程序代码的存储器；

以及所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例第一方面所述的方法。

本申请实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行本申请实施例第一方面公开的任意一种所述的方法。

本申请实施例第六方面公开一种应用发布平台，该应用发布平台用于发布计算机程序产品，其中，当该计算机程序产品在计算机上运行时，使得该计算机执行本申请实施例第一方面公开的任意一种所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

在本申请实施例中，首先截取向图形处理器发送的绘制指令，并获取绘制指令对应的第一纹理标识，然后在第一纹理标识为目标UI对象的纹理标识，获取绘制指令对应的顶点的位置坐标信息，最后再根据该位置坐标信息，确定出目标UI对象对应的区域。通过实施该方法，对向图形处理器发送的每一绘制指令都进行截取，再基于所截取的绘制指令对应的纹理标识来判断该绘制指令是否针对目标UI对象，若是，则获取该绘制指令对应的顶点的位置坐标信息进行解析，从而得到目标UI对象对应的区域。可见，相较于通过图像识别AI算法定位目标UI对象而言，本申请实施例公开的针对目标UI对象的定位方法通过简单的顶点位置坐标解析实现，达到了高效定位目标UI对象对应的区域，降低计算量的目的。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，还可以根据这些附图获得其它的附图。

图1A是本申请实施例公开的一种UI对象的定位方法的流程示意图；

图1B是本申请实施例公开的确定矩形目标区域的一种流程示意图；

图1C是本申请实施例公开的确定圆形目标区域的一种流程示意图；

图2是本申请实施例公开的另一种UI对象的定位方法的流程示意图；

图3是本申请实施例公开的游戏界面的一种示意图；

图4是本申请实施例公开的游戏界面的另一种示意图；

图5是本申请实施例公开的游戏界面的又一种示意图；

图6是本申请实施例公开的一种终端设备的结构示意图；

图7是本申请实施例公开的终端设备的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种UI对象的定位方法、终端设备及计算机可读存储介质，可以高效定位目标UI对象对应的区域，降低计算量。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，都应当属于本申请保护的范围。

其中，本申请实施例的执行主体可以为终端设备，也可以为终端设备中的功能单元或模块，例如终端设备中的中央处理器(Central Processing Unit，CPU)。以下方法实施例以执行主体可以为中央处理器为例进行说明。需要说明的是，中央处理器上运行有上层应用程序，若上层应用程序需要进行UI界面渲染时，可以通过中央处理器调用图形处理器(Graphics Processing Unit，GPU)，以使图形处理器对UI界面执行渲染操作。其中，上层应用程序可以包括一系列应用程序包，上层应用程序可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序，但不限于此。

需要说明的是，在本申请实施例中，该终端设备可以包括一般的手持有屏电子终端设备，诸如手机、智能电话、便携式终端、终端、个人数字助理(Personal DigitalAssistant，PDA)、便携式多媒体播放器(Personal Media Player，PMP)装置、笔记本电脑、笔记本(Note Pad)、无线宽带(Wireless Broadband，Wibro)终端、平板电脑(PersonalComputer，PC)、智能PC、销售终端(Point of Sales，POS)和车载电脑等。

终端设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在用户身上，或是整合到用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云端交互来实现强大的智能功能，比如：计算功能、定位功能、报警功能，同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品)，以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品)，以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装，书包、拐杖、配饰等各类非主流产品形态。

下面以实施例的方式，对本申请技术方案做进一步的说明：

请参阅图1A，图1A是本申请实施例公开的一种UI对象的定位方法的流程示意图。可以包括以下步骤：

101、截取向图形处理器发送的绘制指令。

在本申请实施例中，绘制指令对应的是UI界面上的一个UI对象，UI对象指示的可以是UI界面上的条、按钮、开关、图标、动效或引导页等。需要说明的是，图形处理器可以通过执行绘制指令来实现对该绘制指令对应的UI对象的渲染。

在一些实施例中，终端设备中的中央处理器可以截取向图形处理器发送的绘制指令，可以包括：中央处理器对需要向图形处理器发送的指令的类型进行识别，在识别出需要向图形处理器发送的指令为绘制指令时，则截取该绘制指令。

需要说明的是，在通过图形处理器进行帧画面(一个帧画面可以包括多个UI对象)渲染时，中央处理器除了向图形处理器发送绘制指令之外，还可以向图形处理器发送用于渲染状态的指令、用于设置渲染数据流的指令等，所以，中央处理器需要对发送的指令的类型进行识别，并在识别出需要发送的指令为绘制指令时才进行截取。可以理解的是，用于渲染状态的指令对应的函数、用于设置渲染数据流对应函数，以及绘制指令对应函数的函数名均不一样，中央处理器可以通过识别指令所对应的函数的函数名来判断该指令是否为绘制指令。具体的，若中央处理器识别出需要发送的指令对应函数的函数名为绘制指令对应的函数名，则中央处理器确定该需要发送的指令为绘制指令。

102、确定绘制指令对应的纹理数据，该纹理数据包括第一纹理标识。

在本申请实施例中，需要说明的是，图形处理器在执行绘制指令，以对该绘制指令对应的UI对象进行渲染时，还需要得到该绘制指令对应的UI对象的纹理。所以，中央处理器在向图形处理器发送绘制指令时，还需要从内存中读取出该绘制指令对应的UI对象的纹理，再将读取的该绘制指令对应的UI对象的纹理写入显存，以供图形处理器在对绘制指令对应的UI对象进行渲染时，从显存中进行读取。基于此，绘制指令和该绘制指令对应的纹理需要预先绑定。

在一些实施例中，绘制指令和该绘制指令对应的纹理进行绑定的方式可以包括但不限于以下方式：

(1)绘制指令携带有该绘制指令对应的纹理的纹理标识；

(2)绘制指令携带有该绘制指令对应的纹理在内存中的存储地址。

进一步的，在一些实施例中，中央处理器确定绘制指令对应的第一纹理标识，可以包括但不限于以下方式：

方式1、上述绘制指令可以携带有第一纹理标识，中央处理器可以通过解析该绘制指令得到第一纹理标识。

方式2、上述绘制指令可以携带有上述绘制指令对应的纹理的存储地址，中央处理器可以通过解析该绘制指令，得到上述绘制指令对应的纹理的存储地址，进而从该绘制指令对应的纹理的存储地址中，读取第一纹理标识。

在本申请实施例中，第一纹理标识用于唯一识别上述绘制指令对应的纹理。在一些实施例中，第一纹理标识可以包括数字、字母以及特殊字符等中一种或几种的组合，本申请实施例不做限定。示例性的，第一纹理标识可以是数字1、字母N或特殊字符#。

103、若第一纹理标识为目标UI对象的纹理标识，则获取绘制指令对应的顶点数据，该顶点数据包括顶点的位置坐标信息。

在本申请实施例中，不同的UI对象可分别对应不同的纹理标识，纹理标识(如上述第一纹理标识、目标UI对象的纹理标识)可以确定出一个唯一的UI对象。其中，目标UI对象可以为一个预先标记的UI对象，若第一纹理标识为目标UI对象的纹理标识，则说明上述绘制指令用于触发图形处理器对该预先标记的UI对象进行渲染，此时，绘制指令对应的顶点数据，也即该预先标记的UI对象的顶点数据。顶点数据可以包括顶点的位置坐标信息、透明度信息、索引数据以及纹理坐标信息，顶点的位置坐标信息可以包括各个顶点的位置坐标。

需要说明的是，在图形处理器执行绘制指令，以对该绘制指令对应的UI对象进行渲染时，还需要得到该绘制指令对应的UI对象的顶点数据。所以，中央处理器在向图形处理器发送绘制指令时，还需要从内存中读取出该绘制指令对应的UI对象的顶点数据，再将读取的该绘制指令对应的UI对象的顶点数据写入显存，以供图形处理器在对绘制指令对应的UI对象进行渲染时，从显存中进行读取。基于此，绘制指令和该绘制指令对应的UI对象的顶点数据需要预先绑定。

在一些实施例中，绘制指令和该绘制指令对应的顶点数据进行绑定的方式可以包括但不限于：绘制指令可携带有绘制指令对应的顶点数据在内存中的缓存地址。

进一步的，中央处理器可以通过解析上述绘制指令，得到该绘制指令对应的顶点数据在内存中的缓存地址，进而从该缓存地址中读取上述绘制指令对应的顶点数据。

104、根据上述位置坐标信息，确定目标UI对象对应的区域。

在一些实施例中，中央处理器根据上述位置坐标信息，确定目标UI对象对应的区域，可以包括：中央处理器从上述位置坐标信息中，获取第一顶点的位置坐标，第一顶点可包括顶点数据对应的所有顶点中横坐标最大的顶点、横坐标最小的顶点，纵坐标最大的顶点以及纵坐标最小的顶点；根据第一顶点的位置坐标，确定预设形状的目标区域，该目标区域可以覆盖顶点数据对应的所有顶点；将目标区域作为目标UI对象对应的区域。目标UI对象对应的区域可指的是目标UI对象在UI界面上的显示位置。

在一些实施例中，预设形状可以包括圆形、矩形以及椭圆等中的任一种，本申请实施例不做限定。

在一个实施例中，中央处理器根据第一顶点的位置坐标，确定预设形状的目标区域，可以包括但不限于以下方式：

方式1、示例性的，预设形状为矩形，中央处理器在横坐标最大的顶点处与横坐标最小的顶点处分别做出平行于纵轴的直线，在纵坐标最大的顶点处以及纵坐标最小的顶点处分别做出平行于横轴的直线，将这4条直线围城的矩形区域作为目标区域。需要说明的是，该矩形区域一条边是横坐标最大的顶点与横坐标最小的顶点的横坐标差值，另一条边是纵坐标最大的顶点与纵坐标最小的顶点的纵坐标差值。请参阅图1B，图1B是本申请实施例公开的确定矩形目标区域的一种流程示意图。如图1B所示，横坐标最大的顶点A、横坐标最小的顶点B，纵坐标最大的顶点C以及纵坐标最小的顶点D。

方式2、示例性的，若预设形状为圆形，中央处理器连接横坐标最大的顶点与横坐标最小的顶点，得到第一直线，并连接纵坐标最大的顶点与纵坐标最小的顶点，得到第二直线，以及获取第一直线和第二直线的交点的位置坐标，以及从横坐标最大的顶点、横坐标最小的顶点，纵坐标最大的顶点以及纵坐标最小的顶点中，确定出距离该交点最远的第二顶点，以及获取第二顶点和该交点的距离值，以及以该交点为圆心以该距离值为半径确定出圆形区域，以及将该圆形区域确定为目标区域。请参阅图1C，图1C是本申请实施例公开的确定圆形目标区域的一种流程示意图。如图1C所示，横坐标最大的顶点A、横坐标最小的顶点B，纵坐标最大的顶点C以及纵坐标最小的顶点D。第一直线过顶点A和顶点B，第二直线过顶点C和顶点D，第一直线和第二直线的交点为O，距离O最远的顶点为顶点A，所以，图1C所指示的目标区域是以O为圆心，线段OA(线段OA的一端为交点O，另一端为顶点A)的长度的半径的圆形区域。

通过实施上述方法，对向图形处理器发送的每一绘制指令都进行截取，再基于所截取的绘制指令对应的纹理标识来判断该绘制指令是否针对目标UI对象，若是，则获取该绘制指令对应的顶点的位置坐标信息进行解析，从而得到目标UI对象对应的区域。可见，相较于通过图像识别AI算法定位目标UI对象而言，本申请实施例公开的针对目标UI对象的定位方法通过简单的顶点位置坐标解析实现，达到了高效定位目标UI对象对应的区域，降低计算量的目的。

请参阅图2，图2是本申请实施例公开的另一种UI对象的定位方法的流程示意图，可以包括以下步骤：

201、截取当前向图形处理器发送的绘制指令。

在一些实施例中，中央处理器可以包括图形绘制指令处理模块，中央处理器可以通过该图形绘制指令处理模块，生成绘制指令，并通过该图形绘制指令处理模块，将该绘制指令向图形处理器发送。基于此，中央处理器截取向图形处理器发送的绘制指令可以包括：中央处理器截取通过图形绘制指令处理模块产生的绘制指令。可以理解的是，用于渲染状态的指令以及用于设置渲染数据流的指令等均可通过图形绘制指令处理模块产生，并通过图形绘制指令处理模块向图形处理器发送。

在一些实施例中，中央处理器截取向图形处理器发送的绘制指令可以包括：中央处理器通过第一函数，对向图形处理器提供的绘制函数进行监听，并截取调用该绘制函数的绘制指令。

基于上述描述，绘制指令由图形绘制指令处理模块产生，因此，在一些实施例中，第一函数可以设置在该图形绘制指令处理模块上，第一函数可以用于对该图形绘制指令处理模块调用的绘制函数进行监听，并截取调用该绘制函数的绘制指令。

在一些实施例中，第一函数可以包括第一HOOK函数，该第一HOOK函数可以包括两部分程序代码，一部分程序代码用于对图形绘制指令处理模块调用的绘制函数进行监听，另一部分程序代码用于截取调用该绘制函数的绘制指令。

202、确定绘制指令对应的纹理数据，该纹理数据包括第一纹理标识。

在一些实施例中，中央处理器确定绘制指令对应的第一纹理标识，可以包括：中央处理器获取绘制指令相关的纹理存储指令，该纹理存储指令用于指示向显存发送该绘制指令对应的纹理；根据该纹理存储指令，确定第一纹理标识。

在本申请实施例中，纹理存储指令可以由中央处理器生成，中央处理器可以通过执行该纹理存储指令，从内存中读取绘制指令对应的纹理，并载入显存。

在一些实施例中，上述纹理存储指令中可以包括第一纹理标识，中央处理器可以通过解析该纹理存储指令，得到第一纹理标识。

在一些实施例中，中央处理器可以包括纹理处理模块，中央处理器可以通过纹理处理模块，生成纹理存储指令，并通过该纹理处理模块执行该纹理存储指令，以将上述绘制指令对应的纹理从内存读取，并写入显存。基于此，中央处理器获取绘制指令相关的纹理存储指令，可以包括：中央处理器截取通过纹理处理模块产生，且与上述绘制指令相关的纹理存储指令。

在一些实施例中，中央处理器可以通过第二函数，对纹理载入函数进行监听，并截取调用纹理载入函数的与上述绘制指令相关的纹理存储指令。

基于上述描述，由于纹理存储指令可以由纹理处理模块产生，因此，在一些实施例中，第二函数可以设置在纹理处理模块上，第二函数可用于对该纹理处理模块调用的纹理载入函数进行监听，并截取调用纹理载入函数的与上述绘制指令相关的纹理存储指令。示例性的，纹理载入函数可以包括glBindTexture函数，glBindTexture函数用于调用一个已命名的纹理。

在一些实施例中，第二函数可以包括第二HOOK函数，该第二HOOK函数可以包括两部分程序代码，一部分程序代码用于对纹理处理模块调用的纹理载入函数进行监听，另一部分程序代码用于截取调用该纹理载入函数中与上述绘制指令相关的纹理存储指令。

在一些实施例中，纹理载入函数可以由纹理处理模块调用图形应用程序接口(Application Program Interface，API)得到。需要说明的是，本申请实施例公开的图形API可以包括但不限于开放图形库(Open Graphics Library，OpenGL)、多媒体编程接口(Direct eXtension，DX)、三维图形的开放图形库(OpenGL for Embedded Systems，OpenGLES)以及低层次的渲染应用程序编程接口Metal中的任一种。

203、若第一纹理标识为目标UI对象的纹理标识，则获取绘制指令对应的顶点数据，该顶点数据包括顶点的位置坐标信息和透明度信息。

在一些实施例中，中央处理器获取绘制指令对应的顶点数据可以包括：

中央处理器获取绘制指令相关的顶点存储指令，该顶点存储指令用于指示向显存发送该顶点数据；根据该顶点存储指令，确定该顶点数据在内存中的缓存地址。

在本申请实施例中，顶点存储指令可以由中央处理器生成，中央处理器通过执行该顶点存储指令，从内存中读取该绘制指令对应的顶点数据，并载入显存。

在一些实施例中，顶点存储指令中可包括内存中存储上述绘制指令对应的顶点数据的缓存地址，中央处理器可以通过解析该顶点存储指令，得到该缓存地址，进而从该缓存地址中读取上述绘制指令对应的顶点数据。

在一些实施例中，中央处理器可以包括顶点处理模块，中央处理器可以通过顶点处理模块，生成顶点存储指令，并通过该顶点处理模块执行该顶点存储指令，以从内存中读取上述绘制指令对应的顶点数据，并写入显存。基于此，中央处理器截取绘制指令相关的顶点存储指令，可以包括：中央处理器截取通过顶点处理模块产生的顶点存储指令。

在一些实施例中，中央处理器可以通过第三函数，对图形存储函数进行监听，并截取调用图形存储函数的与上述绘制指令相关的顶点存储指令。

基于上述描述，由于顶点存储指令可以由顶点处理模块产生，因此，在一些实施例中，第三函数可以设置在顶点处理模块上，第三函数可用于对该顶点处理模块调用的图形存储函数进行监听，并截取调用图形存储函数的与上述绘制指令相关的顶点存储指令。

在一些实施例中，图形存储函数可以由顶点处理模块调用图形API得到。示例性的，图形存储函数可以包括glMapBufferRange函数和glUnmapBufferr函数，其中，glMapBufferRange函数用于获取指向目标UI对象的全部顶点数据，glUnmapBufferr函数用于获取指向目标UI对象的部分顶点数据。

在一些实施例中，第三函数可包括第三HOOK函数，该第三HOOK函数可以包括两部分程序代码，一部分程序代码用于对顶点处理模块调用的图形存储函数进行监听，另一部分程序代码用于截取调用该图形存储函数中与上述绘制指令相关的顶点存储指令。

204、根据上述位置坐标信息，确定目标UI对象对应的区域。

需要说明的是，在本申请实施例中，关于步骤204的详细描述，请参阅图1A中步骤104的描述，此处不再赘述。

在一些实施例中，中央处理器可以在目标UI对象对应的区域添加自定义的图像显示效果。

在一些实施例中，图像显示效果的内容可以包括但不限于文字、图像以及视频中一种或几种的组合。

在本申请实施例中，目标UI对象可以为任一应用程序对应的UI界面上的任一UI对象，本申请实施例不做限定。下述实施例以游戏界面为例进行说明，则目标UI对象为游戏界面中的UI对象。

请参阅图3，图3是本申请实施例公开的游戏界面的一种示意图。图3所示的游戏界面包括枪310，枪320以及图像显示效果330，且图像显示效果330的内容为文字“第一当之无愧”。其中，枪310为目标UI对象，图像显示效果330为枪310对应的图像显示效果。可以理解的是，中央处理器可以基于枪310对应的位置坐标信息解析出枪310对应的区域，也即枪310在游戏界面上的显示区域，进一步的，在枪310的显示区域的对应位置处上添加图像显示效果330“第一当之无愧”。

205、根据顶点数据，确定目标UI对象对应的触发状态，该触发状态包括使用状态或非使用状态。

在本申请实施例中，触发状态指示的可以是目标UI对象是否处于被选择的状态。

在一些实施例中，中央处理器根据顶点数据，确定目标UI对象对应的触发状态的方式可以包括但不限于以下方式：

方式1、顶点数据还包括顶点对应的透明度信息，在绘制指令对应的顶点的透明度信息与第一透明度信息匹配时，中央处理器确定目标UI对象处于使用状态；在绘制指令对应的顶点的透明度信息与第二透明度信息匹配时，中央处理器确定目标UI对象处于非使用状态。可选的，顶点对应的透明度信息可以包括每一顶点对应的透明度。通过实施该方法，中央处理器可以根据顶点的透明度信息，对目标UI对象的状态进行精准识别。

方式2、若绘制指令对应的第二纹理标识为选取组件的纹理标识，则根据绘制指令对应的顶点数据，确定选取组件对应的区域；若选取组件对应的区域与目标UI对象对应的区域匹配，则确定目标UI对象处于使用状态；若选取组件对应的区域与目标UI对象对应的区域不匹配，则确定目标UI对象处于非使用状态。

可选的，选取组件对应的区域与目标UI对象对应的区域匹配可以包括但不限于以下情况：

(1)选取组件对应的区域与目标UI对象对应的区域存在重叠区域；

(2)选取组件对应的区域与目标UI对象对应的区域不重叠，但间隔小于预设阈值。

示例性的，目标UI对象可以为当前游戏角色正在使用的武器设备。实践中发现，为了方便用户知晓当前角色正在使用的武器设备是哪一个，游戏界面上往往会利用一个选取组件对当前角色正在使用的武器设备进行标识。可选的，选取组件可以包括但不限于矩形框图案、椭圆图案以及圆形图案中的任一种。基于此，本申请可以通过匹配选取组件对应的区域和待判断武器设备对应的区域，实现对对当前角色正在使用的武器设备的确定。需要说明的是，选取组件对应的区域的获取方式如步骤201-步骤204，也即以选取组件作为目标UI对象执行步骤201-步骤204，得到选取组件对应的区域，以待判断的武器设备作为目标UI对象执行步骤201-步骤204，得到判断的武器设备对应的区域，进而通过匹配二者对应的区域，确定出待判断武器设备是否处于使用状态。具体的：若选取组件对应的区域与待判断武器设备对应的区域匹配，则待判断武器设备处于使用状态，若选取组件对应的区域与待判断武器设备对应的区域不匹配，则该待判断武器设备不处于使用状态。

请参阅图4，图4是本申请实施例公开的游戏界面的另一种示意图。图4所示的游戏界面包括枪410和枪420，其中，枪410处于使用状态。可以理解的是，在图4所示的游戏界面中，枪410对应的顶点的透明度信息与第一透明度信息匹配。图3所示的游戏界面中，枪310处于非使用状态，枪310对应的顶点的透明度信息与第二透明度信息匹配。

请参阅图5，图5是本申请实施例公开的游戏界面的又一种示意图。图5所示的游戏界面包括枪510、枪520以及选取组件530，其中，枪510处于使用状态，枪520处于非使用状态。可以理解的是，中央处理器分别通过步骤201-步骤205获取枪510对应的区域以及选取组件530对应的区域，并判断出枪510对应的区域与选取组件530对应的区域匹配，则确定枪510处于使用状态。

206、若触发状态为使用状态，则生成与目标UI对象对应的提示信息。

在一些实施例中，提示信息的输出方式可以包括但不限于音频、视频、文本、图像以及震动等一种或几种的组合。本申请实施例以震动输出方式的提示信息进行说明：

实践中发现，在对抗类网络游戏时，用户当前使用的游戏角色通常会有用枪的情况，本申请实施例为了给用户提供沉浸式的游戏体验，可以针对不同的枪预先设置不同的震动强度。可以理解的是，终端设备可以利用其内置的震动器进行震动，也即针对不同的枪，控制振动器震动的强度不一样，示例性的，以手枪和冲锋枪为例，终端设备针对手枪所预先设置的震动强度小于针对冲锋枪预先设置的震动强度。

下面结合图5所示的游戏界面进行说明：预先设置的震动强度可以包括枪510对应的第一震动强度和枪520对应的第二震动强度，在图5所示的游戏界面中，枪510处于使用状态，枪520处于非使用状态，中央处理器在识别出枪510处于使用状态时，则控制终端设备的震动器以第一震动强度进行震动。

通过实施上述方法，对向图形处理器发送的每一绘制指令都进行截取，再基于所截取的绘制指令对应的纹理标识来判断该绘制指令是否针对目标UI对象，若是，则获取该绘制指令对应的顶点的位置坐标信息进行解析，从而得到目标UI对象对应的区域。相较于通过图像识别AI算法定位目标UI对象而言，通过简单的顶点位置坐标解析实现，达到了高效定位目标UI对象对应的区域，降低计算量的目的。此外，在目标UI对象为游戏界面中的游戏对象的情况下，还可基于顶点数据对该游戏对象的状态进行识别，进而根据识别结果向用户提供更加沉浸式的游戏体验，进一步提高了用户的粘稠度。

请参阅图6，图6是本申请实施例公开的一种终端设备的结构示意图。如图6所示的终端设备可以包括：截取单元601、确定单元602以及获取单元603，其中：

截取单元601，用于截取向图形处理器发送的绘制指令；

确定单元602，用于确定绘制指令对应的纹理数据，该纹理数据包括第一纹理标识；

获取单元603，用于在第一纹理标识为目标UI对象的纹理标识时，获取绘制指令对应的顶点数据，该顶点数据包括顶点的位置坐标信息；

确定单元602，还用于根据上述位置坐标信息，确定目标UI对象对应的区域。

在一些实施例中，截取单元601用于截取向图形处理器发送的绘制指令的方式具体可以包括：截取单元601，用于第一函数对向图形处理器提供的绘制函数进行监听，并截取调用绘制函数的绘制指令。

在一些实施例中，确定单元602用于确定绘制指令对应的第一纹理标识的方式具体可以包括：确定单元602，用于获取绘制指令相关的纹理存储指令，该纹理存储指令用于指示向显存发送该绘制指令对应的纹理；根据纹理存储指令，确定第一纹理标识。

在一些实施例中，确定单元602用于获取绘制指令对应的纹理存储指令的方式具体可以包括：确定单元602，用于通过第二函数对纹理载入函数进行监听，并截取调用纹理载入函数的与绘制指令相关的纹理存储指令。

在一些实施例中，获取单元603用于获取绘制指令对应的顶点数据的方式具体可以包括：获取单元603，用于获取绘制指令相关的顶点存储指令，该顶点存储指令用于指示向显存发送该绘制指令对应的顶点数据；根据该顶点存储指令，确定该绘制指令对应的顶点数据在内存中的缓存地址，并从该缓存地址中拷贝该绘制指令对应的顶点数据。

在一些实施例中，获取单元603用于获取绘制指令相关的顶点存储指令的方式具体可以包括：获取单元603，用于通过第三函数对图形存储函数进行监听，并截取调用图形存储函数的与上述绘制指令相关的顶点存储指令。

在一些实施例中，确定单元602，还用于在获取单元603获取绘制指令对应的顶点数据之后，根据顶点数据，确定目标UI对象对应的触发状态，该触发状态包括使用状态或非使用状态；若该触发状态为使用状态，生成与目标UI对象对应的提示信息。

在一些实施例中，确定单元602用于根据顶点数据，确定目标UI对象对应的触发状态的方式具体可以包括但不限于以下方式：

方式1、确定单元602，用于在绘制指令对应的顶点的透明度信息与第一透明度信息匹配时，则确定目标UI对象处于使用状态；在绘制指令对应的顶点的透明度信息与第二透明度信息匹配时，则确定目标UI对象处于非使用状态。

方式2、上述纹理数据还可以包括第二纹理标识，确定单元602，用于第二纹理标识为选取组件的纹理标识时，则根据绘制指令对应的顶点数据，确定选取组件对应的区域；在选取组件对应的区域与目标UI对象对应的区域匹配时，则确定目标UI对象处于使用状态；在选取组件对应的区域与目标UI对象对应的区域不匹配时，则确定目标UI对象处于非使用状态。

在一些实施例中，确定单元602，还用于根据上述位置坐标信息，确定目标UI对象对应的区域之后，在目标UI对象对应的区域添加自定义的图像显示效果。

请参阅图7，图7是本申请实施例公开的终端设备的另一个实施例示意图，图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7，手机包括：存储器710、显示单元720以及处理器730。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图7对手机的各个构成部件进行具体的介绍：

存储器710可用于存储软件程序以及模块，处理器730通过运行存储在存储器710的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

显示单元720可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元720可包括显示面板721、显存722以及图形处理器723。可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置显示面板721。显存722显存，也被叫做帧缓存，它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。图形处理器723用于是将手机系统所需要的显示信息进行转换驱动，并向显示面板721提供行扫描信号，控制显示面板721的正确显示。

处理器730是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器710内的软件程序和/或模块，以及调用存储在存储器710内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器730可包括一个或多个处理单元；优选的，处理器730可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器730中。

尽管未示出，手机还可以包括射频(Radio Frequency，RF)电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，WiFi)模块、电源、摄像头、蓝牙模块等部件，在此不再赘述。

在本申请实施例中，该终端设备所包括的处理器730还具有以下功能：

可选的，处理器730还具有以下功能：

截取向图形处理器发送的绘制指令；

确定上述绘制指令对应的纹理数据，该纹理数据包括第一纹理标识；

若第一纹理标识为目标UI对象的纹理标识，则获取上述绘制指令对应的顶点数据，该顶点数据包括顶点的位置坐标信息；

根据位置坐标信息，确定目标UI对象对应的区域。

可选的，处理器730还具有以下功能：

通过第一函数对向图形处理器提供的绘制函数进行监听，并截取调用绘制函数的绘制指令。

可选的，处理器730还具有以下功能：

获取绘制指令相关的纹理存储指令，纹理存储指令用于指示向显存发送该绘制指令对应的纹理；

根据纹理存储指令，确定第一纹理标识。

可选的，处理器730还具有以下功能：

通过第二函数对纹理载入函数进行监听，并截取调用该纹理载入函数的与绘制指令相关的纹理存储指令。

可选的，处理器730还具有以下功能：

获取绘制指令相关的顶点存储指令，顶点存储指令用于指示向显存发送该顶点数据；

根据顶点存储指令，确定绘制指令对应的顶点数据在内存中的缓存地址；

从顶点数据在内存中的缓存地址中，拷贝绘制指令对应的顶点数据。

可选的，处理器730还具有以下功能：

通过第三函数对图形存储函数进行监听，并截取调用该图形存储函数的与绘制指令相关的顶点存储指令。

可选的，处理器730还具有以下功能：

根据顶点数据，确定目标UI对象对应的触发状态，该触发状态包括使用状态或非使用状态；

若触发状态为使用状态，生成与目标UI对象对应的提示信息。

可选的，顶点数据还包括顶点对应的透明度信息，处理器730还具有以下功能：

若绘制指令对应的顶点的透明度信息与第一透明度信息匹配，则确定目标UI对象处于使用状态；

若绘制指令对应的顶点的透明度信息与第二透明度信息匹配，则确定目标UI对象处于非使用状态。

上述纹理数据还可以包括第二纹理标识，可选的，处理器730还具有以下功能：

若第二纹理标识为选取组件的纹理标识，则根据绘制指令对应的顶点数据，确定选取组件对应的区域；

若选取组件对应的区域与目标UI对象对应的区域匹配，则确定目标UI对象处于使用状态；

若选取组件对应的区域与目标UI对象对应的区域不匹配，则确定目标UI对象处于非使用状态。

可选的，处理器730还具有以下功能：

在目标UI对象对应的区域添加自定义的图像显示效果。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种UI对象的定位方法，其特征在于，包括：

截取向图形处理器发送的绘制指令；

确定所述绘制指令对应的纹理数据，所述纹理数据包括第一纹理标识；

若所述第一纹理标识为目标UI对象的纹理标识，则获取所述绘制指令对应的顶点数据，所述顶点数据包括顶点的位置坐标信息；

根据所述位置坐标信息，确定所述目标UI对象对应的区域。

2.根据权利要求1所述的方法，其特征在于，所述截取向图形处理器发送的绘制指令，包括：

通过第一函数对向图形处理器提供的绘制函数进行监听，并截取调用所述绘制函数的绘制指令。

3.根据权利要求1或2所述的方法，其特征在于，确定所述绘制指令对应的第一纹理标识，包括：

获取所述绘制指令相关的纹理存储指令，所述纹理存储指令用于指示向显存发送所述绘制指令对应的纹理；

根据所述纹理存储指令，确定第一纹理标识。

4.根据权利要求3所述的方法，其特征在于，所述获取所述绘制指令相关的纹理存储指令，包括：

通过第二函数对纹理载入函数进行监听，并截取调用所述纹理载入函数的与所述绘制指令相关的纹理存储指令。

5.根据权利要求1或2所述的方法，其特征在于，所述获取所述绘制指令对应的顶点数据，包括：

获取所述绘制指令相关的顶点存储指令，所述顶点存储指令用于指示向显存发送所述顶点数据；

根据所述顶点存储指令，确定所述顶点数据在所述内存中的缓存地址；

从所述缓存地址中拷贝所述顶点数据。

6.根据权利要求5所述的方法，其特征在于，所述获取所述绘制指令相关的顶点存储指令，包括：

通过第三函数对图形存储函数进行监听，并截取调用所述图形存储函数的与所述绘制指令相关的顶点存储指令。

7.根据权利要求1所述的方法，其特征在于，所述获取所述绘制指令对应的顶点数据之后，所述方法还包括：

根据所述顶点数据，确定所述目标UI对象对应的触发状态，所述触发状态包括使用状态或非使用状态；

若所述触发状态为所述使用状态，生成与所述目标UI对象对应的提示信息。

8.根据权利要求7所述的方法，其特征在于，所述顶点数据还包括顶点对应的透明度信息，所述根据所述顶点数据，确定所述目标UI对象对应的触发状态，包括：

若所述绘制指令对应的顶点的透明度信息与第一透明度信息匹配，则确定所述目标UI对象处于所述使用状态；

若所述绘制指令对应的顶点的透明度信息与第二透明度信息匹配，则确定所述目标UI对象处于所述非使用状态。

9.根据权利要求7所述的方法，其特征在于，所述纹理数据还包括第二纹理标识，所述根据所述顶点数据，确定所述目标UI对象对应的触发状态，包括：

若所述第二纹理标识为选取组件的纹理标识，则根据所述绘制指令对应的顶点数据，确定所述选取组件对应的区域；

若所述选取组件对应的区域与所述目标UI对象对应的区域匹配，则确定所述目标UI对象处于所述使用状态；

若所述选取组件对应的区域与所述目标UI对象对应的区域不匹配，则确定所述目标UI对象处于所述非使用状态。

10.根据权利要求1所述的方法，其特征在于，所述根据所述位置坐标信息，确定所述目标UI对象对应的区域之后，所述方法还包括：

在所述目标UI对象对应的区域添加自定义的图像显示效果。

11.一种终端设备，其特征在于，包括：

截取单元，用于截取向图形处理器发送的绘制指令；

确定单元，用于确定所述绘制指令对应的纹理数据，所述纹理数据包括第一纹理标识；

获取单元，用于在所述第一纹理标识为目标UI对象的纹理标识时，获取所述绘制指令对应的顶点数据，所述顶点数据包括顶点的位置坐标信息；

所述确定单元，还用于根据所述位置坐标信息，确定所述目标UI对象对应的区域。

12.一种终端设备，其特征在于，包括：

存储有可执行程序代码的存储器；

以及所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如权利要求1-10中任一所述的方法。

13.一种计算机可读存储介质，其上存储有可执行程序代码，其特征在于，所述可执行程序代码被处理器执行时，实现如权利要求1-10中任一所述的方法。

Images