CN109948606B - 基于图像识别自动获取焦点的方法和相关装置 - Google Patents

Abstract

本发明公开了一种基于图像识别自动获取焦点的方法，通过抓取当前桌面屏幕，然后在桌面屏幕上匹配焦点图样集，获取焦点图样集中每个预置焦点图样的匹配度，然后比较每个预置焦点图样的匹配度和相关匹配门限的大小，判断当前屏幕上是否存在焦点图样，如果存在焦点图样，则返回焦点图样的中心点坐标。克服了现有技术中使用手柄摇杆进行焦点图样选择过程中，由于手柄操作不稳定导致的选择耗时、焦点定位不准确等问题，实现了通过图像识别，自动获取屏幕焦点，用户只需在获取焦点之后按下选择按钮即可实现点击，提高了手柄通用性，节省了用户的操作时间，提升了用户体验。

Description

基于图像识别自动获取焦点的方法和相关装置

技术领域

本发明涉及计算机软件领域，尤其是一种基于图像识别自动获取焦点的方法和相关装置。

背景技术

现在游戏中一般使用游戏手柄作为输入设备，而大部分的游戏都将鼠标作为缺省输入设备，因此当出现一些需要确认点击的事件时，需要将手柄事件转换为鼠标事件，例如一些交互事件，如需要用户将鼠标移动到“开始游戏”按钮并选中，如需要用户将鼠标移动到“确定”按钮并选中等，但是实际操作过程中，由于游戏手柄的硬件稳定性不如鼠标，在游戏中例如菜单选择过程中手柄的操控性不好，很影响用户游戏体验，因此需要提出一种能够自动获取屏幕焦点，方便用户进行选择的方法是很有必要的。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种基于图像识别的自动获取屏幕焦点，以方便用户进行选择的方法和相关装置。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于图像识别自动获取焦点的方法，包括：

抓取当前桌面屏幕；

在所述桌面屏幕上匹配焦点图样集，获取所述焦点图样集中每个预置焦点图样的匹配度，所述焦点图样集包括多个预置焦点图样；

比较所述匹配度和对应的匹配门限大小，若大于所述匹配门限，则选定对应的预置焦点图样，返回所述预置焦点图样的中心点坐标，否则返回空值。

进一步地，所述焦点图样集中预置焦点图样按照预设顺序进行匹配。

进一步地，当在所述桌面屏幕上匹配焦点图样集时，还包括根据所述预置焦点图样的属性对应截取所述桌面屏幕上的感兴趣区域，在所述感兴趣区域上匹配所述预置焦点图样。

进一步地，当所述桌面屏幕的分辨率与待匹配的预置焦点图样的分辨率不同时，进行匹配之前，首先通过采样的方式，使屏幕桌面的分辨率与所述待匹配的预置焦点图样的分辨率一致。

进一步地，所述预置焦点图样为根据使用场景定制的图样。

第二方面，本发明还提供一种基于图像识别自动获取焦点的装置，包括：

抓取屏幕模块，用于抓取当前桌面屏幕；

匹配焦点图样模块，用于在所述桌面屏幕上匹配焦点图样集，获取所述焦点图样集中每个预置焦点图样的匹配度，所述焦点图样集包括多个预置焦点图样；

返回焦点匹配结果模块，用于比较所述匹配度和对应的匹配门限大小，若大于所述匹配门限，则选定对应的预置焦点图样，返回所述预置焦点图样的中心点坐标，否则返回空值

第三方面，本发明提供一种基于图像识别自动获取焦点的设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过抓取当前桌面屏幕，然后在桌面屏幕上匹配焦点图样集，获取焦点图样集中每个预置焦点图样的匹配度，然后比较每个预置焦点图样的匹配度和相关匹配门限的大小，判断当前屏幕上是否存在焦点图样，如果存在焦点图样，则返回焦点图样的中心点坐标。克服了现有技术中使用手柄摇杆进行焦点图样选择过程中，由于手柄操作不稳定导致的选择耗时、焦点定位不准确等问题，实现了通过图像识别，自动获取屏幕焦点，用户只需在获取焦点之后按下选择按钮即可实现点击，提高了手柄是通用性，节省了用户的操作时间，提升了用户体验。

附图说明

图1是本发明中基于图像识别自动获取焦点的方法的一具体实施例的实现流程图；

图2是本发明中基于图像识别自动获取焦点的方法的一具体实施例的具体流程图；

图3是本发明中基于图像识别自动获取焦点的方法的一具体实施例的预置焦点图样示意图；

图4是本发明中基于图像识别自动获取焦点的方法的一具体实施例的使用场景示意图；

图5是本发明中基于图像识别自动获取焦点装置的一具体实施例的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明通过图像识别，自动获取屏幕焦点，用户只需在获取焦点之后按下选择按钮即可实现点击，提高了手柄通用性，增强了用户体验，通过实施例一提供一种基于图像识别自动获取焦点的方法，图1为本发明实施例提供的一种基于图像识别自动获取焦点的方法实现流程图，如图1所示，该方法可以包括以下步骤：

S1：抓取当前桌面屏幕，使用抓屏技术按照预设的周期进行不间断的屏幕抓取，以便不漏掉每一次屏幕上出现的焦点图样。

S2：匹配预置焦点图样，指在抓取的桌面屏幕上匹配焦点图样集，获取焦点图样集中每个预置焦点图样的匹配度，其中焦点图样集包括多个预置焦点图样。

S3：返回焦点匹配结果，具体是：比较每一个预置焦点图样的匹配度和对应的匹配门限，若大于匹配门限，则说明屏幕中出现了焦点图样，选定对应的预置焦点图样，返回该预置焦点图样的中心点坐标，否则返回空值。

如图2所示，为本实施例的一种基于图像识别自动获取焦点方法的一具体流程图，图中可见步骤，首先抓取当前桌面屏幕的图像数据，然后按照顺序，匹配焦点图样集中每一个预置焦点图样，对每一个预置焦点图样根据图像匹配算法进行匹配，并判断其匹配值，比较每一个匹配值和其对应的匹配门限的大小，当匹配值大于对应的匹配门限时，则判断屏幕上出现了焦点图样，即为当前的预置焦点图样，退出匹配图样过程，并输出该预置焦点图样的中心点坐标，否则判断没有找到焦点，返回空值，并继续匹配直至到焦点图样集中最后一个预置焦点图样匹配完成。

本实施例采用的图像匹配算法属于常用的图像匹配算法，例如OpenCV里面的sift图像匹配算法、SURF图像匹配等，这里不再一一赘述。

焦点图样集中预置焦点图样根据使用场景进行定制，例如以一款游戏为例，可以定制如图3所示的这些图样作为焦点图样，如图3所示，为多个游戏中可能出现的焦点图样示意图，例如图中示意图依次是：“开始游戏”、“领取”、“返回”、“取消”、“关闭”、“继续”、“确定”等图样，当屏幕中出现如图所示的符号时，即认为出现了焦点图样。

本实施例中，焦点图样集中预置焦点图样按照预设顺序进行匹配，预设顺序指预置焦点图样的优先级不同，当两个图样同时出现时，按照优先级进行焦点图样的选择，例如图4中一使用场景中，“领取”和“关闭”同时出现时，“领取”的优先级高于“关闭”的优先级，在焦点图样集中“领取”图样在“关闭”图样前面，即当这两个预置焦点图样同时出现时，优先将焦点锁定在“领取”图标上，当用户没有点击“领取”时，手动选择“关闭”关闭该交互界面。

本实施例中，当在抓取的桌面屏幕上匹配焦点图样集时，为了加快图像匹配的速度，尽量避免在整个屏幕图像中搜索预置焦点图样，可以根据预置焦点图样的属性对应截取桌面屏幕上的感兴趣区域，在感兴趣区域上匹配对应的预置焦点图样，比如本实施例中利用图样出现的位置规律，例如图3中“返回”图样总是出现在屏幕的左上角，“关闭”图样出现在屏幕的右上部，“开始游戏”图样出现在屏幕的中下部，因此设定预置焦点图样最大可能出现的区域作为感兴趣区域，以此来限制每次图像匹配的搜索区域，这样可以加速图样的搜索速度。

因此本实施例中预置焦点图样可以定义为：

其中，Mat image表示预置焦点图样的大小范围，Rect search_area表示该预置焦点图样对应的搜索感兴趣区域的范围。

本实施例中，当抓取的桌面屏幕的分辨率与待匹配的预置焦点图样的分辨率不同时，进行匹配之前，首先通过采样的方式，使屏幕桌面的分辨率与待匹配的预置焦点图样的分辨率一致，主要目的是使得图像匹配时，预置焦点图样和桌面屏幕处于同样的分辨率空间下，例如当预置焦点图样是在1920x1080的屏幕分辨率下采集的，而当前抓取的桌面屏幕分辨率为2560x1440，这时需要通过缩放将其统一到同样的分辨率空间下，可以把桌面屏幕图像通过下采样将分辨率变成1920x1080，然后再开始与预置焦点图样进行匹配，否则在不同的分辨率空间下，即使桌面屏幕中出现了焦点图样，依旧搜索不到。

另外，本实施例的一个具体游戏使用场景中，进行自动获取焦点只出现在游戏菜单选择场景下，当游戏处于战斗场景中，一般不会出现焦点图样，也无需做焦点图样的匹配，这样就不会对战斗场景下的计算性能造成负担。

实施例二：

如图5所示，为本实施例的一种基于图像识别自动获取焦点的装置结构框图，包括：

抓取屏幕模块，用于抓取当前桌面屏幕；

匹配焦点图样模块，用于在桌面屏幕上匹配焦点图样集，获取焦点图样集中每个预置焦点图样的匹配度，其中焦点图样集包括多个预置焦点图样；

返回焦点匹配结果模块，用于比较每一个匹配度和对应的匹配门限大小，若匹配度大于匹配门限，则选定对应的预置焦点图样，返回预置焦点图样的中心点坐标，否则返回空值。

实施例三：

另外，本发明还提供一种基于图像识别自动获取焦点的设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。

实施例四：

本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明通过抓取当前桌面屏幕，然后在桌面屏幕上匹配焦点图样集，获取焦点图样集中每个预置焦点图样的匹配度，然后比较每个预置焦点图样的匹配度和相关匹配门限的大小，判断当前屏幕上是否存在焦点图样，如果存在焦点图样，则返回焦点图样的中心点坐标。克服了现有技术中使用手柄摇杆进行焦点图样选择过程中，由于手柄操作不稳定导致的选择耗时、焦点定位不准确等问题，实现了通过图像识别，自动获取屏幕焦点，用户只需在获取焦点之后按下选择按钮即可实现点击，提高了手柄是通用性，节省了用户的操作时间，提升了用户体验。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种基于图像识别自动获取焦点的方法，其特征在于，包括：

根据预置焦点图样的属性对应截取桌面屏幕上的感兴趣区域；

在所述感兴趣区域上匹配焦点图样集，获取所述焦点图样集中每个所述预置焦点图样的匹配度，所述焦点图样集包括多个预置焦点图样；其中，所述在所述感兴趣区域上匹配焦点图样集，包括：在所述感兴趣区域上，按照所述预置焦点图样的优先级在所述焦点图样集中进行匹配；

比较所述匹配度和对应的匹配门限大小，若大于所述匹配门限，则选定对应的预置焦点图样，返回所述预置焦点图样的中心点坐标，否则返回空值，并继续匹配直至所述焦点图样集中最后一个所述预置焦点图样匹配完成。

2.根据权利要求1所述的一种基于图像识别自动获取焦点的方法，其特征在于，所述焦点图样集中预置焦点图样按照预设顺序进行匹配。

3.根据权利要求1所述的一种基于图像识别自动获取焦点的方法，其特征在于，当所述桌面屏幕的分辨率与待匹配的预置焦点图样的分辨率不同时，进行匹配之前，首先通过采样的方式，使屏幕桌面的分辨率与所述待匹配的预置焦点图样的分辨率一致。

4.根据权利要求1所述的一种基于图像识别自动获取焦点的方法，其特征在于，所述预置焦点图样为根据使用场景定制的图样。

5.一种基于图像识别自动获取焦点的装置，其特征在于，包括：

抓取屏幕模块，用于根据预置焦点图样的属性对应截取桌面屏幕上的感兴趣区域；

匹配焦点图样模块，用于在所述感兴趣区域上匹配焦点图样集，获取所述焦点图样集中每个所述预置焦点图样的匹配度，所述焦点图样集包括多个预置焦点图样；其中，所述在所述桌面屏幕上匹配焦点图样集包括：在所述桌面屏幕上，按照所述预置焦点图样的优先级在所述焦点图样集中进行匹配；

返回焦点匹配结果模块，用于比较所述匹配度和对应的匹配门限大小，若大于所述匹配门限，则选定对应的预置焦点图样，返回所述预置焦点图样的中心点坐标，否则返回空值，并继续匹配直至所述焦点图样集中最后一个所述预置焦点图样匹配完成。

6.一种基于图像识别自动获取焦点的设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至4任一项所述的方法。