CN109908575A - 基于图像匹配判断输入模式的方法和相关装置 - Google Patents

Abstract

本发明公开了一种基于图像匹配判断输入模式的方法，通过定义预设的手柄样式图标，并根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配定义的手柄样式图标，最后根据匹配结果判断输入模式，并将当前模式切换到判断的输入模式，这里输入模式类型包括手柄模式和鼠标模式，避免了手动选择切换不同的模式造成的效率低从而降低使用体验的问题，实现了通过图像匹配自动检测的方式进行输入模式类型判断，操作过程不被打断，提高使用过程的流畅性。

Description

基于图像匹配判断输入模式的方法和相关装置

技术领域

本发明涉及计算机软件领域，尤其是一种基于图像匹配判断输入模式的方法和相关装置。

背景技术

现在一些游戏(尤其是基于云服务的游戏，如手机游戏)在操作方式上使用了鼠标+手柄的混合模式，例如通过鼠标模式在游戏中的进行菜单选择，通过手柄模式完成游戏中的战斗操作等，利用手柄玩手游的方法是通过建立手柄按键与手游屏幕上触摸点的映射，这样在手柄上按下某个按键或者摇动某个遥杆时，相应的在手游屏幕上将触发某个位置上的点击或滑动操作，从而进行相应的游戏操作。

在玩游戏时，客户端常用的输入设备是游戏手柄，利用手柄可以完成游戏中的战斗操作，但不能进行菜单选择之类的鼠标操作，因此需要使用手柄来模拟鼠标模式，同时根据实时需要在鼠标模式和手柄模式中进行选择切换，要避免两种模式同时存在时出现的键值冲突，从而产生一些误操作等问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种基于图像匹配判断输入模式的方法和相关装置。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于图像匹配判断输入模式的方法，包括：

根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标；

根据匹配结果将当前输入模式切换为手柄模式或鼠标模式。

进一步地，所述根据匹配结果判断输入模式具体是：

判断匹配结果的最大匹配值是否大于匹配阈值，如果大于所述匹配阈值则将当前模式切换为鼠标模式或手柄模式，否则将当前模式切换为另一输入模式。

进一步地，还包括步骤：利用手柄上的强制切换按键进行手动切换。

进一步地，所述手动切换指：获取手柄强制切换按键的操作状态，并根据所述强制切换按键的操作状态切换当前输入模式为鼠标模式，再次获取所述强制切换按键的操作状态，将当前鼠标模式切换为手柄模式。

进一步地，所述手动切换步骤的优先级最高。

第二方面，本发明还提供一种基于图像匹配判断输入模式的装置，包括：

检测匹配手柄样式模块，根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标；

输入模式切换模块，用于根据匹配结果将当前输入模式切换为手柄模式或鼠标模式。

第三方面，本发明还提供一种基于图像匹配判断输入模式的客户端，所述客户端与手柄和显示器连接，所述客户端接收手柄事件并根据所述显示器的桌面内容，利用如第一方面所述的一种基于图像匹配判断输入模式的方法判断当前手柄的输入模式，并将所述输入模式发送到服务器端。

第四方面，本发明还提供一种基于图像匹配判断输入模式的服务器，所述服务器利用如第一方面所述的一种基于图像匹配判断输入模式的方法判断当前的输入模式，并对所述输入模式进行响应。

第五方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过定义预设的手柄样式图标，并根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配定义的手柄样式图标，最后根据匹配结果判断输入模式，并将当前模式切换到判断的输入模式，这里输入模式类型包括手柄模式和鼠标模式，避免了手动选择切换不同的模式造成的效率低从而降低使用体验的问题，实现了通过图像匹配自动检测的方式进行输入模式类型判断，操作过程不被打断，提高使用过程的流畅性。

附图说明

图1是本发明中基于图像匹配判断输入模式的方法的一具体实施例的实现流程图；

图2是本发明中基于图像匹配判断输入模式的方法的一具体实施例的预设样式图标一个具体应用示意图；

图3是本发明中基于图像匹配判断输入模式的方法的一具体实施例的具体流程图；

图4是本发明中基于图像匹配判断输入模式的装置的一具体实施例的结构框图；

图5是本发明中基于图像匹配判断输入模式的客户端的一具体实施例的示意图；

图6是本发明中基于图像匹配判断输入模式的服务器的一具体实施例的示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实现了通过图像匹配自动检测的方式进行输入模式类型判断，操作过程不被打断，提高使用过程的流畅性，本发明实施例一提供一种基于图像匹配判断输入模式的方法，图1为本发明实施例提供的一种基于图像匹配判断输入模式的方法的实现流程图，如图1所示，该方法可以包括以下步骤：

S1：匹配预设样式图标，具体是：根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标，其中预设检测时间间隔可以根据不同使用场景进行选择，例如需要频繁进行输入模式切换的操作，则设置较小的预设检测时间间隔，不易漏检，预设样式图标可以提前设定，根据需要设置不同的图标，例如设置手柄样式图标用于表示处于手柄模式下，本实施例中，即采用手柄样式图标作为预设样式图标，如下图2所示，为预设样式图标一个具体应用示意图。

S2：判断输入模式并切换，根据匹配结果将当前输入模式切换为手柄模式或鼠标模式，具体的匹配结果判断输入模式的过程是：判断匹配结果的最大匹配值是否大于匹配阈值，如果大于匹配阈值则将当前模式切换为鼠标模式或手柄模式，否则将当前模式切换为另一输入模式，这里鼠标模式一般是鼠标位移操作和鼠标点击操作等，鼠标位移操作也包括滚轮滚动位移方式。

其中还包括步骤：利用手柄上的强制切换按键进行手动切换，本实施例默认处于自动切换状态，即即根据匹配结果判断输入模式之后自动进行输入模式切换，手动切换指，获取手柄强制切换按键的操作状态，并根据强制切换按键的操作状态切换当前输入模式为鼠标模式，再次获取所述强制切换按键的操作状态，将当前鼠标模式切换为手柄模式，强制切换按键可以预先设置。

手动切换方式是为了应对一些特殊情况，如用户正在游戏战斗场景中，突然弹出对话框需要进行菜单选择，此时由于是游戏状态画面中有预设的手柄样式图标，如果按照自动切换方式，现在仍然处于手柄样式，但是用户实际期望是使用鼠标模式去操作，例如点击对话框的确认按钮或关闭按钮等，因此在这种特殊情况下，需要用户通过手动方式强制设置为鼠标模式，因此手动切换的优先级高于自动切换的优先级。

因此判断是否为鼠标模式的条件有以下两个：(1)用户通过点击手柄的强制按键，强制设置当前为鼠标模式，再次点击该强制按键则退出鼠标模式；(2)没有匹配到预设样式图标。

如图3所示，为本实施例的一种基于图像匹配判断输入模式的方法的具体流程图，图中可见，流程如下：

1)首先接收手柄事件，判断是否处于用户强制的鼠标模式。

2)如果不是用户强制的鼠标模式，再根据预设检测时间间隔进行桌面内容图像数据的抓取。

3)根据预设样式图标匹配当前抓取到的桌面内容图像数据，得到匹配结果，本实施例采用的图像匹配算法属于常用的图像匹配算法，例如OpenCV里面的sift图像匹配算法、SURF图像匹配等，这里不再一一赘述。

4)判断最大匹配值是否大于匹配阈值，如果大于匹配阈值则说明屏幕上出现了手柄样式图标，就会判断为手柄模式，如果小于匹配阈值，则说明没有检测到手柄样式图标，就判断为鼠标模式。

5)根据判断结果进行相应的切换，即如果当前状态与判断的状态不符时，需要进行切换，否则保持当前的状态。

本实施例通过定义预设的手柄样式图标，并根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配定义的手柄样式图标，最后根据匹配结果判断输入模式，并将当前模式切换到判断的输入模式。

实施例二：

如图4所示，为本实施例的一种基于图像匹配判断输入模式的装置结构框图，包括：

检测匹配手柄样式模块，根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标；输入模式切换模块，用于根据匹配结果将当前输入模式切换为手柄模式或鼠标模式。

实施例三：

本发明实施例三提供一种基于图像匹配判断输入模式的系统，本系统包括客户端及手柄和服务器，其中客户端与手柄连接将手柄的指令发送到服务器，并接收服务器发送的音视频流，供用户进行相应操作，本系统基于如实施例一的方法进行输入模式判断，如图5和图6所示的两种实现方式，分别是在客户端实现和在服务器端实现。

如图5所示，为本实施例的一种基于图像匹配判断输入模式的客户端示意图，客户端与手柄和显示器连接，客户端可以是机顶盒之类的产品，用于与服务器互联，接受服务器的音视频流信号，客户端接收手柄事件(即手柄控制指令)，并根据显示器的桌面内容，利用如实施例一所述的一种基于图像匹配判断输入模式的方法判断手柄当前的输入模式，并将输入模式发送到服务器端，例如当前是手柄模式，则不做任何处理，直接发送手柄模式到服务器端，如果是鼠标模式，则需要将手柄模式转换为鼠标模式，然后发送鼠标模式到服务器，丢弃手柄模式，发送到服务器端的输入模式只能有一种，即手柄模式和鼠标模式是二选一的情况，两种输入模式不能同时发送给服务器端，在客户端完成输入模式判断，则不需要占用服务器的带宽，更加高效。

如图6所示，为本实施例的一种基于图像匹配判断输入模式的服务器示意图，服务器接收客户端发来的手柄事件，并发送音视频流到客户端，利用如实施例一所述的一种基于图像匹配判断输入模式的方法判断当前的输入模式，如果当前是手柄模式则直接响应该手柄模式，否则首先切换手柄模式到鼠标模式，进行鼠标模式的响应。

实施例四：

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明通过定义预设的手柄样式图标，并根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配定义的手柄样式图标，最后根据匹配结果判断输入模式，并将当前模式切换到判断的输入模式，这里输入模式类型包括手柄模式和鼠标模式，避免了手动选择切换不同的模式造成的效率低从而降低使用体验的问题，实现了通过图像匹配自动检测的方式进行输入模式类型判断，操作过程不被打断，提高使用过程的流畅性。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种基于图像匹配判断输入模式的方法，其特征在于，包括：

根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标；

根据匹配结果将当前输入模式切换为手柄模式或鼠标模式。

2.根据权利要求1所述的一种基于图像匹配判断输入模式的方法，其特征在于，所述根据匹配结果判断输入模式具体是：

判断匹配结果的最大匹配值是否大于匹配阈值，如果大于所述匹配阈值则将当前模式切换为鼠标模式或手柄模式，否则将当前模式切换为另一输入模式。

3.根据权利要求1所述的一种基于图像匹配判断输入模式的方法，其特征在于，还包括步骤：利用手柄上的强制切换按键进行手动切换。

4.根据权利要求3所述的一种基于图像匹配判断输入模式的方法，其特征在于，所述手动切换指：获取手柄强制切换按键的操作状态，并根据所述强制切换按键的操作状态切换当前输入模式为鼠标模式，再次获取所述强制切换按键的操作状态，将当前鼠标模式切换为手柄模式。

5.根据权利要求3所述的一种基于图像匹配判断输入模式的方法，其特征在于，所述手动切换步骤的优先级最高。

6.一种基于图像匹配判断输入模式的装置，其特征在于，包括：

检测匹配手柄样式模块，根据预设检测时间间隔定期检测桌面内容，通过图像匹配算法在桌面内容中匹配预设样式图标；

输入模式切换模块，用于根据匹配结果将当前输入模式切换为手柄模式或鼠标模式。

7.一种基于图像匹配判断输入模式的客户端，其特征在于，所述客户端与手柄和显示器连接，所述客户端接收手柄事件并根据所述显示器的桌面内容，利用如权利要求1至5任一项所述的一种基于图像匹配判断输入模式的方法判断当前手柄的输入模式，并将所述输入模式发送到服务器端。

8.一种基于图像匹配判断输入模式的服务器，其特征在于，所述服务器利用如权利要求1至5任一项所述的一种基于图像匹配判断输入模式的方法判断当前的输入模式，并对所述输入模式进行响应。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的方法。