CN111913775A - 一种用于手机屏幕的自动点击方法、装置及其存储介质 - Google Patents

Abstract

本发明公开了一种用于手机屏幕的自动点击方法、装置及其存储介质，涉及手机自动操作技术领域，获取实时的屏幕画面信息；在屏幕画面信息上设置矩阵框；在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；控制点击器朝生成的控件点击位置运动并进行点击；控制完成点击后的点击器复位。本发明具有节省用户操作时间、提高用户体验和可靠性高的优点。

Description

一种用于手机屏幕的自动点击方法、装置及其存储介质

技术领域

本发明涉及手机自动操作技术领域，具体涉及一种用于手机屏幕的自动点击方法、装置及其存储介质。

背景技术

随着电子信息技术的发展，移动设备(例如手机，平板电脑等)在现代社会中发挥着越来越重要的作用，被广泛的应用在人们的生活中，这些移动设备具备的游戏等功能，丰富着人们的生活，但是当用户点击移动设备屏幕进行操作时，可能出现大量的繁琐操作，用户进行重复机械操作的过程费时费力，也可能会降低用户体验，因此，如何省去用户重复繁琐操作并提高用户娱乐时的体验感成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供一种用于手机屏幕的自动点击方法、装置及其存储介质，利用对图形的识别、判定和智能驱动，来实现自动点击手机屏幕，从而节省用户操作时间，提高用户体验。

一种用于手机屏幕的自动点击方法，包括以下步骤：获取实时的屏幕画面信息；在屏幕画面信息上设置矩阵框；在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；控制点击器朝生成的控件点击位置运动并进行点击；控制完成点击后的点击器复位。

优选地，生成控件点击位置，其包括：获取实时的屏幕相对位置，并载入目标图像上的控件相对位置；将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；将控件相对位置转化为能够被点击器识别的控件点击位置。将屏幕相对位置与控件相对位置进行增量叠加计算并得到实时的控件相对位置，以此实现控制点击器的点击操作，其中，需要先获取屏幕相对位置，从而使得用户不需要对屏幕进行精确放置，只需要任意放置在能够被获取屏幕画面信息的地方即可，进一步提高了用户体验。

优选地，获取实时的屏幕画面信息之前还包括以下步骤：获取预设的屏幕画面信息；在预设的屏幕画面信息上设置矩阵框；将带有矩阵框的预设的屏幕画面信息转化为目标图像。在对手机屏幕进行自动点击时，由于手机型号各式各样，需要操作的界面也不一样，需要先对待点击的手机的画面进行预存操作，从而能够有效保证点击的精确度，具体如下：先将待点击的手机的屏幕画面调至需要点击时的画面，再接收这一画面信息，再在画面信息上设置矩阵框进行划区分元，最后将划区分元后的画面信息存储并记录为目标图像。

优选地，将带有矩阵框的预设屏幕画面信息转化为目标图像之后还包括以下步骤：获取矩阵框中的控件位置；将矩阵框中的控件位置转化为目标图像上的控件相对位置。与上面画面预存相同，手机型号各式各样，需要操作的界面也不一样，需要先对待点击的手机的画面上的控件相对位置进行预存操作，从而能够进一步保证点击的精确度。

优选地，矩阵框、目标图像、屏幕画面信息三者尺寸相同，所述矩阵框包括若干呈矩阵均匀分布的图元框。矩阵框、目标图像、屏幕画面信息三者尺寸相同，能够保证充分对目标图像、屏幕画面信息进行划区分元，每个图元框对应一个或多个像素点。

还提供一种用于手机屏幕的自动点击装置，包括：第一接收模块，用于获取实时的屏幕画面信息；第一处理模块，用于在屏幕画面信息上设置矩阵框；第一载入模块，用于在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；第一判断模块，用于判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；第一控制模块，用于控制点击器朝生成的控件点击位置运动并进行点击，还用于控制完成点击后的点击器复位。

优选地，第一判断模块包括：第二接收模块，用于获取实时的屏幕相对位置；第二载入模块，用于载入目标图像上的控件相对位置；第一计算模块，用于将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；第一转化模块，用于将控件相对位置转化为能够被点击器识别的控件点击位置。

优选地，还包括：第三接收模块，用于获取预设的屏幕画面信息；第二处理模块，用于在预设的屏幕画面信息上设置矩阵框；第二转化模块，用于将带有矩阵框的预设的屏幕画面信息转化为目标图像。第四接收模块，用于获取矩阵框中的控件位置；第三转化模块，用于将矩阵框中的控件位置转化为目标图像上的控件相对位置。

优选地，第一接收模块正对手机屏幕，所述点击器位于所述第一接收模块和手机屏幕之间。第一接收模块正对手机屏幕能够保证第一接收模块获取到足够可靠的屏幕画面信息。

还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施方式中的方法。

本发明提供一种用于手机屏幕的自动点击方法、装置及其存储介质，利用对图形的识别、判定和智能驱动，来实现自动点击手机屏幕，从而节省用户操作时间，提高用户体验；其中，矩阵框就是将屏幕画面信息进行划区分元，从而进行后续像素大小的重叠对比操作，而目标图像就是需要点击器点击时手机屏幕的屏幕画面信息，点击器最后的复位，是为了保证持续获取可靠的屏幕画面信息；整个方法通过不断对手机屏幕内容进行实时获取、实时划分和实时对比，保证当手机屏幕上出现与目标图像重叠的情况时，能够生成控件点击位置，从而实现让点击器代替人手来进行点击操作，实现智能自动点击，进行重复屏幕点击，在机械点击的作用下，有效节省用户操作时间，提高用户体验；将屏幕相对位置与控件相对位置进行增量叠加计算并得到实时的控件相对位置，以此实现控制点击器的点击操作，其中，需要先获取屏幕相对位置，从而使得用户不需要对屏幕进行精确放置，只需要任意放置在能够被获取屏幕画面信息的地方即可，进一步提高了用户体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明提供的用于手机屏幕的自动点击方法的流程示意图；

图2为本发明提供的用于手机屏幕的自动点击方法的生成控件点击位置的流程示意图；

图3为本发明提供的用于手机屏幕的自动点击方法的获取实时的屏幕画面信息之前的一种流程示意图；

图4为本发明提供的用于手机屏幕的自动点击方法的获取实时的屏幕画面信息之前的另一种的流程示意图；

图5为本发明提供的用于手机屏幕的自动点击装置的结构示意图；

图6为本发明提供的用于手机屏幕的自动点击装置第一转化模块的结构示意图。

附图标记：

100-第一接收模块，200-第一处理模块，300-第一载入模块，400-第一判断模块，401-第二接收模块，402-第二载入模块，403-第一计算模块，404-第一转化模块，500-第一控制模块，600-第三接收模块，700-第二处理模块，800-第二转化模块，900-第四接收模块，1000-第三转化模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明实施方式的描述中，需要说明的是，术语“内”、“外”、“上”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1至图4所示，一种用于手机屏幕的自动点击方法，包括以下步骤：获取实时的屏幕画面信息；在屏幕画面信息上设置矩阵框；在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；控制点击器朝生成的控件点击位置运动并进行点击；控制完成点击后的点击器复位。

在本实施方式中，需要说明的是，点击器可以进行长时间点击、短触点击和按压拖动等操作；矩阵框就是将屏幕画面信息进行划区分元，从而进行后续像素大小的重叠对比操作，而目标图像就是需要点击器点击时手机屏幕的屏幕画面信息，点击器最后的复位，是为了保证持续获取可靠的屏幕画面信息；整个方法通过不断对手机屏幕内容进行实时获取、实时划分和实时对比，保证当手机屏幕上出现与目标图像重叠的情况时，能够生成控件点击位置，从而实现让点击器代替人手来进行点击操作，实现智能自动点击，进行重复屏幕点击，在机械点击的作用下，有效节省用户操作时间，提高用户体验。

具体地，生成控件点击位置，其包括：获取实时的屏幕相对位置，并载入目标图像上的控件相对位置；将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；将控件相对位置转化为能够被点击器识别的控件点击位置。

在本实施方式中，需要说明的是，将屏幕相对位置与控件相对位置进行增量叠加计算并得到实时的控件相对位置，以此实现控制点击器的点击操作，其中，需要先获取屏幕相对位置，从而使得用户不需要对屏幕进行精确放置，只需要任意放置在能够被获取屏幕画面信息的地方即可，进一步提高了用户体验。

具体地，获取实时的屏幕画面信息之前还包括以下步骤：获取预设的屏幕画面信息；在预设的屏幕画面信息上设置矩阵框；将带有矩阵框的预设的屏幕画面信息转化为目标图像。

在本实施方式中，需要说明的是，在对手机屏幕进行自动点击时，由于手机型号各式各样，需要操作的界面也不一样，需要先对待点击的手机的画面进行预存操作，从而能够有效保证点击的精确度，具体如下：先将待点击的手机的屏幕画面调至需要点击时的画面，再接收这一画面信息，再在画面信息上设置矩阵框进行划区分元，最后将划区分元后的画面信息存储并记录为目标图像。

具体地，将带有矩阵框的预设屏幕画面信息转化为目标图像之后还包括以下步骤：获取矩阵框中的控件位置；将矩阵框中的控件位置转化为目标图像上的控件相对位置。

在本实施方式中，需要说明的是，与上面画面预存相同，手机型号各式各样，需要操作的界面也不一样，需要先对待点击的手机的画面上的控件相对位置进行预存操作，从而能够进一步保证点击的精确度。

具体地，矩阵框、目标图像、屏幕画面信息三者尺寸相同，所述矩阵框包括若干呈矩阵均匀分布的图元框。

在本实施方式中，需要说明的是，矩阵框、目标图像、屏幕画面信息三者尺寸相同，能够保证充分对目标图像、屏幕画面信息进行划区分元，每个图元框对应一个或多个像素点。

如图1至图6所述，具体地，本发明还提供一种用于手机屏幕的自动点击装置，包括：第一接收模块100，用于获取实时的屏幕画面信息；第一处理模块200，用于在屏幕画面信息上设置矩阵框；第一载入模块300，用于在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；第一判断模块400，用于判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；第一控制模块500，用于控制点击器朝生成的控件点击位置运动并进行点击，还用于控制完成点击后的点击器复位。

在本实施方式中，需要说明的是，装置实施方式涉及到的原理与上述方法实施方式的相同，在此不再赘述。

具体地，第一判断模块400包括：第二接收模块401，用于获取实时的屏幕相对位置；第二载入模块402，用于载入目标图像上的控件相对位置；第一计算模块403，用于将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；第一转化模块404，用于将控件相对位置转化为能够被点击器识别的控件点击位置。

在本实施方式中，需要说明的是，装置实施方式涉及到的原理与上述方法实施方式的相同，在此不再赘述。

具体地，还包括：第三接收模块600，用于获取预设的屏幕画面信息；第二处理模块700，用于在预设的屏幕画面信息上设置矩阵框；第二转化模块800，用于将带有矩阵框的预设的屏幕画面信息转化为目标图像。第四接收模块900，用于获取矩阵框中的控件位置；第三转化模块1000，用于将矩阵框中的控件位置转化为目标图像上的控件相对位置。

在本实施方式中，需要说明的是，装置实施方式涉及到的原理与上述方法实施方式的相同，在此不再赘述。

具体地，第一接收模块100正对手机屏幕，点击器位于第一接收模块100和手机屏幕之间。

在本实施方式中，需要说明的是，第一接收模块100正对手机屏幕能够保证第一接收模块100获取到足够可靠的屏幕画面信息。

具体地，本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施方式中的方法。

在本实施方式中，需要说明的是，处理器可以是专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital SignalProcessor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施方式中的方法。

存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

具体地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施方式中的方法。

在本实施方案中，需要说明的是，上述计算机可读存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种用于手机屏幕的自动点击方法，其特征在于，包括以下步骤：

获取实时的屏幕画面信息；

在屏幕画面信息上设置矩阵框；

在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；

判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；

控制点击器朝生成的控件点击位置运动并进行点击；

控制完成点击后的点击器复位。

2.根据权利要求1所述的用于手机屏幕的自动点击方法，其特征在于，所述生成控件点击位置，其包括：

获取实时的屏幕相对位置，并载入目标图像上的控件相对位置；

将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；

将控件相对位置转化为能够被点击器识别的控件点击位置。

3.根据权利要求2所述的用于手机屏幕的自动点击方法，其特征在于，所述获取实时的屏幕画面信息之前还包括以下步骤：

获取预设的屏幕画面信息；

在预设的屏幕画面信息上设置矩阵框；

将带有矩阵框的预设的屏幕画面信息转化为目标图像。

4.根据权利要求3所述的用于手机屏幕的自动点击方法，其特征在于，所述将带有矩阵框的预设屏幕画面信息转化为目标图像之后还包括以下步骤：

获取矩阵框中的控件位置；

将矩阵框中的控件位置转化为目标图像上的控件相对位置。

5.根据权利要求1所述的用于手机屏幕的自动点击方法，其特征在于，所述矩阵框、目标图像、屏幕画面信息三者尺寸相同，所述矩阵框包括若干呈矩阵均匀分布的图元框。

6.一种用于手机屏幕的自动点击装置，其特征在于，包括：

第一接收模块，用于获取实时的屏幕画面信息；

第一处理模块，用于在屏幕画面信息上设置矩阵框；

第一载入模块，用于在矩阵框内载入目标图像，令载入的目标图像与矩阵框重叠；

第一判断模块，用于判断目标图像在矩阵框上是否与屏幕画面信息重叠，若是，则生成控件点击位置，反之，则重新开始获取实时的屏幕画面信息；

第一控制模块，用于控制点击器朝生成的控件点击位置运动并进行点击，还用于控制完成点击后的点击器复位。

7.根据权利要求6所述的用于手机屏幕的自动点击装置，其特征在于，第一判断模块包括：

第二接收模块，用于获取实时的屏幕相对位置；

第二载入模块，用于载入目标图像上的控件相对位置；

第一计算模块，用于将屏幕相对位置与目标图像上的控件相对位置进行增量计算，得到实时的控件相对位置；

第一转化模块，用于将控件相对位置转化为能够被点击器识别的控件点击位置。

8.根据权利要求7所述的用于手机屏幕的自动点击装置，其特征在于，还包括：

第三接收模块，用于获取预设的屏幕画面信息；

第二处理模块，用于在预设的屏幕画面信息上设置矩阵框；

第二转化模块，用于将带有矩阵框的预设的屏幕画面信息转化为目标图像；

第四接收模块，用于获取矩阵框中的控件位置；

第三转化模块，用于将矩阵框中的控件位置转化为目标图像上的控件相对位置。

9.根据权利要求6至8中任意一项所述的用于手机屏幕的自动点击装置，其特征在于，所述第一接收模块正对手机屏幕，所述点击器位于所述第一接收模块和手机屏幕之间。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的方法。

Images