CN113221912A - 一种操作按键识别方法、装置、设备及介质 - Google Patents
一种操作按键识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113221912A CN113221912A CN202010072201.8A CN202010072201A CN113221912A CN 113221912 A CN113221912 A CN 113221912A CN 202010072201 A CN202010072201 A CN 202010072201A CN 113221912 A CN113221912 A CN 113221912A
- Authority
- CN
- China
- Prior art keywords
- image
- operation key
- contour
- straight line
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 161
- 238000004422 calculation algorithm Methods 0.000 claims description 54
- 239000000470 constituent Substances 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036316 preload Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种操作按键识别方法、装置、设备及介质，应用于计算机技术领域，用以降低操作按键识别的误判率，提高操作按键识别的精准度。具体为：获取待检测的图像，对该图像进行轮廓检测，得到该图像的轮廓数据，基于该轮廓数据，获得该图像的轮廓组成元素，并基于该轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别该图像中的操作按键。这样，利用图像的轮廓数据和轮廓组成元素，对图像中的操作按键进行识别，可以有效地降低弹窗界面改变、模板图像分辨率低等因素，对操作按键识别的影响，从而降低了操作按键识别的误判率，提高了操作按键识别的精确度。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种操作按键识别方法、装置、设备及介质。
背景技术
随着互联网技术的不断发展，以云计算为基础的云应用应运而生，云应用的工作原理是，应用的运行和操控在服务器中进行，并由服务器将渲染后的场景画面、用户界面等通过网络传输至用户终端进行显示和交互，从而将传统应用的“本地安装、本地运算”转换成“即取即用”，在不安装应用包的前提下，实现了对应用的在线访问。
实际应用中，服务器通常会将云应用预加载到指定场景，以便在用户访问云应用时，可以直接将该指定场景显示给用户，从而提高了用户对云应用的访问效率。然而，在预加载过程中，可能出现广告、公告、消息等弹窗阻断预加载操作的执行，在此情况下，目前采用的方法是，模拟用户对弹窗的操作按键执行的操作，以在完成对弹窗的相应操作后继续执行预加载操作，为此，如何精准地识别出弹窗的操作按键是当前需要考虑的问题。
发明内容
本申请实施例提供了一种操作按键识别方法、装置、设备及介质，用以降低操作按键识别的误判率，提高操作按键识别的精准度。
本申请实施例提供的技术方案如下：
一方面，本申请实施例提供了一种操作按键识别方法，包括：
获取待检测的图像；
对图像进行轮廓检测，得到图像的轮廓数据；
基于轮廓数据，获得图像的轮廓组成元素；
基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键。
在一种可能的实施方式中，获取待检测的图像，包括：
对预加载操作的执行状态进行监测；
根据监测结果，确定预加载操作暂停执行时，获取预加载操作对应的当前图像；
基于当前图像，确定待检测的图像。
在一种可能的实施方式中，基于当前图像，确定待检测的图像，包括：
将当前图像确定为待检测的图像；
或者，将当前图像切分为至少两个子图像，并从至少两个子图像中，获取符合特定条件的子图像为待检测的图像，其中，特定条件是根据操作按键的显示位置配置的。
在一种可能的实施方式中，对图像进行轮廓检测，得到图像的轮廓数据，包括：
对图像进行灰度处理，得到灰度图像；
将灰度图像输入边缘检测算法，得到边缘二值图像，并将边缘二值图像输入轮廓检测算法，得到轮廓数据。
在一种可能的实施方式中，若操作按键为关闭按键，则基于轮廓数据，获得图像的轮廓组成元素，包括：
将线条粗细度、边缘二值图像和轮廓数据输入轮廓绘制算法，得到轮廓二值图像；
将轮廓二值图像输入直线检测算法，得到各条直线段作为轮廓组成元素。
在一种可能的实施方式中，若操作按键为关闭按键，则基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键，包括：
基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键。
在一种可能的实施方式中，基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键，包括：
将各条直线段中的每两条直线段确定为一个检测单位；
针对各个检测单位，基于相交直线检测算法，检测检测单位包含的两条直线段是否为相交直线段，得到检测单位的相交检测结果；
从各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位；
针对各个备选检测单位，基于夹角检测算法，检测备选检测单位包含的相交直线段的夹角是否在设定范围内，得到备选检测单位的夹角检测结果；
从各个备选检测单位中，筛选对应的夹角检测结果为夹角在设定范围内的备选检测单位为目标检测单位；
基于目标检测单位包含的直线段，识别图像中的操作按键。
另一方面，本申请实施例提供了一种操作按键识别装置，包括：
图像获取单元，用于获取待检测的图像；
轮廓检测单元，用于对图像进行轮廓检测，得到图像的轮廓数据；
元素获取单元，用于基于轮廓数据，获得图像的轮廓组成元素；
按键识别单元，用于基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键。
在一种可能的实施方式中，在获取待检测的图像时，图像获取单元具体用于：
对预加载操作的执行状态进行监测；
根据监测结果，确定预加载操作暂停执行时，获取预加载操作对应的当前图像；
基于当前图像，确定待检测的图像。
在一种可能的实施方式中，在基于当前图像，确定待检测的图像时，图像获取单元具体用于：
将当前图像确定为待检测的图像；
或者，将当前图像切分为至少两个子图像，并从至少两个子图像中，获取符合特定条件的子图像为待检测的图像，其中，特定条件是根据操作按键的显示位置配置的。
在一种可能的实施方式中，在对图像进行轮廓检测，得到图像的轮廓数据时，轮廓检测单元具体用于：
对图像进行灰度处理，得到灰度图像；
将灰度图像输入边缘检测算法，得到边缘二值图像，并将边缘二值图像输入轮廓检测算法，得到轮廓数据。
在一种可能的实施方式中，若操作按键为关闭按键，则在基于轮廓数据，获得图像的轮廓组成元素时，元素获取单元具体用于：
将线条粗细度、边缘二值图像和轮廓数据输入轮廓绘制算法，得到轮廓二值图像；
将轮廓二值图像输入直线检测算法，得到各条直线段作为轮廓组成元素。
在一种可能的实施方式中，若操作按键为关闭按键，则在基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键时，按键识别单元具体用于：
基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键。
在一种可能的实施方式中，在基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键时，按键识别单元具体用于：
将各条直线段中的每两条直线段确定为一个检测单位；
针对各个检测单位，基于相交直线检测算法，检测检测单位包含的两条直线段是否为相交直线段，得到检测单位的相交检测结果；
从各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位；
针对各个备选检测单位，基于夹角检测算法，检测备选检测单位包含的相交直线段的夹角是否在设定范围内，得到备选检测单位的夹角检测结果；
从各个备选检测单位中，筛选对应的夹角检测结果为夹角在设定范围内的备选检测单位为目标检测单位；
基于目标检测单位包含的直线段，识别图像中的操作按键。
另一方面，本申请实施例提供了一种操作按键识别设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的操作按键识别方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的操作按键识别方法。
本申请实施例的有益效果如下：
本申请实施例中，利用图像的轮廓数据和轮廓组成元素，对图像中的操作按键进行识别，可以有效地降低弹窗界面改变、模板图像分辨率低等因素，对操作按键识别的影响，从而降低了操作按键识别的误判率，提高了操作按键识别的精确度。
附图说明
图1为本申请实施例中云应用系统的系统架构示意图；
图2为本申请实施例中操作按键识别方法的概况流程示意图；
图3A为本申请实施例中云游戏的公告示意图；
图3B为本申请实施例中云游戏的广告示意图；
图3C为本申请实施例中云游戏的消息示意图；
图4为本申请实施例中操作按键识别方法的具体流程示意图；
图5A为本申请实施例中边缘二值图像的示意图；
图5B为本申请实施例中轮廓二值图像的示意图；
图5C为本申请实施例中关闭按键的轮廓组成特征示意图；
图6为本申请实施例中操作按键识别装置的功能结构示意图；
图7为本申请实施例中操作按键识别设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于本领域技术人员更好地理解本申请，下面先对本申请涉及的技术用语进行简单介绍。
1、云应用，为在服务器中运行和操控，由服务器将渲染后的场景画面、用户界面等通过网络传输至用户终端进行显示和交互的一种应用。例如：云游戏等。
2、预加载，为在用户访问云应用之前，将云应用加载到指定场景的一种方式。
3、边缘检测算法，为对图像进行边缘检测的一种方法。例如：开源计算机视觉库(Open Source Computer Vision Library，OpenCV)中的Canny算法等。
4、轮廓检测算法，为对图像进行轮廓检测的一种方法。例如：OpenCV中的FindContours算法等。
5、轮廓绘制算法，为对图像中的轮廓进行绘制的一种方法。例如：OpenCV中的DrawContours算法等。
6、直线检测算法，为对图像中的直线段进行检测的一种方法。例如：OpenCV中的HoughLinesP算法等。
7、相交直线检测算法，为对相交直线进行检测的一种方法。例如：向量叉积算法等。
8、夹角检测算法，为对相交直线的夹角进行检测的一种方法。例如：三角函数算法等。
9、操作按键，为弹窗中显示的用于对该弹窗执行相应操作的按键。例如：关闭按键、跳过按键等。
在介绍了本申请涉及的技术用语后，接下来，对本申请实施例的应用场景和设计思想进行简单介绍。
目前，服务器在预加载云应用的过程中，可能出现广告、公告、消息等弹窗阻断预加载操作的执行，为了确保预加载操作的顺利进行，服务器通常会模拟用户对弹窗的操作按键执行的操作，以在完成对弹窗的相应操作后继续执行预加载操作，显然，对弹窗的操作按键的识别是确保预加载操作顺利执行的关键，实际应用中，在对弹窗的操作按键进行识别时，通常采用的方法是，将预加载操作的当前图像与预先配置的弹窗模板图像进行匹配，从而识别出当前图像中弹窗的操作按键，然而，这种通过模板匹配识别操作按键的方法依赖于弹窗模板图像，当弹窗模板图像的分辨率较低，或者，弹窗界面发生改变时，若利用弹窗模板图像识别当前图像中弹窗的操作按键，很可能会影响操作按键识别的精确度，甚至导致操作按键识别失败，从而造成预加载操作中断。
基于此，参阅图1所示，本申请实施例中，服务器110通过通信网络与用户终端120通信连接，服务器110在预加载云应用的过程中，对预加载操作的执行状态进行监测，当监测到预加载操作暂停执行时，获取预加载操作的当前图像，基于当前图像，获得待检测的图像后，对该图像进行轮廓检测，得到该图像的轮廓数据，并基于轮廓数据，获得该图像的轮廓组成元素，以及基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别该图像中的操作按键。这样，利用图像的轮廓数据和轮廓组成元素，对图像中的操作按键进行识别，可以有效地降低弹窗界面改变、模板图像分辨率低等因素，对操作按键识别的影响，从而降低了操作按键识别的误判率，提高了操作按键识别的精确度。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供了一种操作按键识别方法，该操作按键识别方法可以应用于如图1所示的云应用系统中的服务器110，参阅图2所示，本申请实施例提供的操作按键识别方法的概况流程如下：
步骤201：获取待检测的图像。
实际应用中，服务器110在预加载云应用的过程中，可以对预加载操作的执行状态进行实时监测，当根据监测结果，确定预加载操作暂停执行时，可以获取预加载操作的当前图像，并基于该当前图像，获得待检测的图像。
具体的，服务器110在基于该当前图像，获得待检测的图像时，在一个实施例中，服务器110可以将该当前图像直接确定为待检测的图像。
在另一个实施例中，为了降低图像处理的计算量，提高操作按键的识别效率，服务器110还可以将该当前图像切分为至少两个子图像，并从该至少两个子图像中，获取符合特定条件的子图像作为待检测的图像，其中，该特定条件是根据操作按键的显示位置配置的。
例如：假设操作按键是关闭按键，则可以根据关闭按键的显示位置，将特定条件配置为位于当前图像的右上角，这样，在确保了从当前图像中划分出的待检测的图像包含有操作按键的同时，降低了后续对该待检测的图像进行图像处理的计算量，提高了操作按键的识别效率。
步骤202：对该图像进行轮廓检测，得到该图像的轮廓数据。
实际应用中，服务器110在执行步骤202时，可以采用但不限于以下方式：
首先，服务器110对该图像进行灰度处理，得到灰度图像。
然后，服务器110将该灰度图像输入边缘检测算法，得到边缘二值图像。具体的，服务器110可以将该灰度图像输入OpenCV中的Canny算法，从而获得边缘二值图像。
最后，服务器110将该边缘二值图像输入轮廓检测算法，得到该图像的轮廓数据。具体的，服务器110可以将该边缘二值图像输入OpenCV中的FindContours算法，从而获得该图像的轮廓数据。
步骤203：基于该轮廓数据，获得该图像的轮廓组成元素。
实际应用中，为了提高轮廓组成元素的识别精确度，服务器110还可以根据该图像的轮廓数据，对该图像的边缘二值图像中的轮廓进行重新绘制后，再获取该图像的轮廓组成元素。在具体实施时，服务器110可以将线条粗细度、该边缘二值图像和该轮廓数据输入轮廓绘制算法，从而获得重新绘制轮廓后的轮廓二值图像。具体的，服务器110可以将线条粗细度、边缘二值图像和轮廓数据输入OpenCV中的DrawContours算法，从而得到该轮廓二值图像。
进一步的，服务器110在获取到轮廓二值图像之后，可以从该轮廓二值图像中，检测轮廓组成元素。具体的，根据待识别的操作按键不同，服务器110可以采用不同的轮廓组成元素检测方式，从轮廓二值图像中，检测轮廓组成元素。实际应用中，若待识别的操作按键为关闭按键，则服务器110可以将轮廓二值图像输入直线检测算法，得到各条直线段作为从轮廓二值图像中检测出的轮廓组成元素。具体的，服务器110可以将轮廓二值图像输入OpenCV中的HoughLinesP算法，从而得到各条直线段作为从轮廓二值图像中检测出的轮廓组成元素。
步骤204：基于该轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别该图像中的操作按键。
实际应用中，若待识别的操作按键为关闭按键，则轮廓组成特征可以为夹角在设定范围内的相交直线段，进一步的，服务器110可以基于该轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别该图像中的关闭按键。
具体的，服务器110在基于该轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别该图像中的操作按键时，可以采用但不限于以下方式：
首先，服务器110将各条直线段中的每两条直线段确定为一个检测单位，针对各个检测单位，基于相交直线检测算法，检测该检测单位包含的两条直线段是否为相交直线段，得到该检测单位的相交检测结果。
具体的，服务器110针对各个检测单位，可以基于向量叉积算法，检测该检测单位包含的两条直线段是否为相交直线段，从而获得该检测单位的相交检测结果。
然后，服务器110从各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位，针对各个备选检测单位，基于夹角检测算法，检测该备选检测单位包含的相交直线段的夹角是否在设定范围内，得到该备选检测单位的夹角检测结果。
具体的，服务器110针对各个检测单位，可以基于三角函数算法，检测该备选检测单位包含的相交直线段的夹角是否在设定范围内，从而获得该备选检测单位的夹角检测结果。
其次，服务器110从各个备选检测单位中，筛选对应的夹角检测结果为夹角在设定范围内的备选检测单位为目标检测单位。
最后，基于目标检测单位包含的直线段，识别该图像中的操作按键。
具体的，服务器110可以将目标检测单位包含的直线段组成的轮廓，确定为该图像中的操作按键。
本申请实施例中，利用图像的轮廓数据和轮廓组成元素，对图像中的操作按键进行识别，可以有效地降低弹窗界面改变、模板图像分辨率低等因素，对操作按键识别的影响，从而减少了操作按键识别的误判率，提高了操作按键识别的精确度，进而可以确保云应用的预加载操作的顺利执行。
实际应用中，云游戏作为云应用的一个具体实现，因其具有便捷性、轻量性、易用性等优点，受到了广泛关注。在云游戏中，在推广某个游戏场景或关卡时，为了方便用户快速试玩该游戏场景或关卡，服务器110可以将云游戏预加载到该游戏场景或关卡，以便用户在访问云游戏时，可以直接进入该游戏场景或关卡，然而，在预加载过程中，可能出现如图3A所示的公告、如图3B所示的广告、如图3C所示的消息等弹窗阻断预加载操作的执行，为了使预加载操作能够继续执行，服务器110可以采用本申请实施例提供的操作按键识别方法识别关闭按键，并通过模拟用户对关闭按键执行的点击操作，关闭弹窗，以确保预加载操作的顺利执行。
下面采用“在云游戏的预加载过程中，对弹窗的关闭按键进行识别”为具体应用场景，对本申请实施例提供的操作按键识别方法作进一步详细说明，参阅图4所示，本申请实施例提供的操作按键识别方法的具体流程如下：
步骤401：服务器110在预加载云游戏的过程中，对预加载操作的执行状态进行实时监测。
步骤402：服务器110根据监测结果，确定预加载操作暂停执行时，获取预加载操作的当前图像，其中，该当前图像中包含阻断预加载操作执行的弹窗。
步骤403：服务器110将该当前图像切分为至少两个子图像，并从该至少两个子图像中，筛选出位于该当前图像右上角的子图像作为待检测的图像。
步骤404：服务器110对该图像进行灰度处理，得到灰度图像。
步骤405：服务器110将该灰度图像输入OpenCV中的Canny算法，得到如图5A所示的边缘二值图像。
步骤406：服务器110将该边缘二值图像输入OpenCV中的FindContours算法，得到该图像的轮廓数据。
步骤407：服务器110将线条粗细度、边缘二值图像和轮廓数据输入OpenCV中的DrawContours算法，得到如图5B所示的轮廓二值图像。
步骤408：服务器110将轮廓二值图像输入OpenCV中的HoughLinesP算法，得到各条直线段。
步骤409：服务器110将各条直线段中的每两条直线段确定为一个检测单位。
步骤410：服务器110针对各个检测单位，基于向量叉积算法，检测该检测单位包含的两条直线段是否为相交直线段，得到该检测单位的相交检测结果。
步骤411：服务器110从各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位。
步骤412：服务器110针对各个备选检测单位，基于三角函数算法，检测该备选检测单位包含的相交直线段的夹角是否在设定范围内，得到该备选检测单位的夹角检测结果。实际应用中，设定范围可以是但不限于是：[30°，60°]。
步骤413：服务器110从各个备选检测单位中，筛选对应的夹角检测结果为夹角在设定范围内的备选检测单位为目标检测单位。
值得说的是，若服务器110从各个备选检测单位中，未筛选出对应的夹角检测结果为夹角在设定范围内的备选检测单位，则可以确定该图像中不存在关闭按键。此种情况下，服务器110可以通知云游戏维护人员，云游戏的预加载操作出现异常，需要进行异常处理。
步骤414：服务器110将目标检测单位包含的直线段组成的如图5C所示的轮廓，确定为该图像中的关闭按键。
步骤415：服务器110通过模拟用户对该图像中的关闭按键执行的点击操作，关闭弹窗。
这样，利用图像的轮廓数据和轮廓组成元素，对图像中的关闭按键进行识别，可以有效地降低弹窗界面改变、模板图像分辨率低等因素，对关闭按键识别的影响，从而降低了关闭按键识别的误判率，提高了关闭按键识别的精确度，进而可以确保云游戏的预加载操作的顺利执行。
基于上述实施例，本申请实施例提供了一种操作按键识别装置，参阅图6所示，本申请实施例提供的操作按键识别装置600至少包括：
图像获取单元601，用于获取待检测的图像；
轮廓检测单元602，用于对图像进行轮廓检测，得到图像的轮廓数据；
元素获取单元603，用于基于轮廓数据，获得图像的轮廓组成元素；
按键识别单元604，用于基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键。
在一种可能的实施方式中，在获取待检测的图像时，图像获取单元601具体用于：
对预加载操作的执行状态进行监测；
根据监测结果，确定预加载操作暂停执行时，获取预加载操作对应的当前图像；
基于当前图像，确定待检测的图像。
在一种可能的实施方式中，在基于当前图像，确定待检测的图像时，图像获取单元601具体用于：
将当前图像确定为待检测的图像；
或者，将当前图像切分为至少两个子图像，并从至少两个子图像中，获取符合特定条件的子图像为待检测的图像，其中，特定条件是根据操作按键的显示位置配置的。
在一种可能的实施方式中，在对图像进行轮廓检测，得到图像的轮廓数据时，轮廓检测单元602具体用于：
对图像进行灰度处理，得到灰度图像；
将灰度图像输入边缘检测算法，得到边缘二值图像，并将边缘二值图像输入轮廓检测算法，得到轮廓数据。
在一种可能的实施方式中，若操作按键为关闭按键，则在基于轮廓数据，获得图像的轮廓组成元素时，元素获取单元603具体用于：
将线条粗细度、边缘二值图像和轮廓数据输入轮廓绘制算法，得到轮廓二值图像；
将轮廓二值图像输入直线检测算法，得到各条直线段作为轮廓组成元素。
在一种可能的实施方式中，若操作按键为关闭按键，则在基于轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别图像中的操作按键时，按键识别单元604具体用于：
基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键。
在一种可能的实施方式中，在基于轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别图像中的操作按键时，按键识别单元604具体用于：
将各条直线段中的每两条直线段确定为一个检测单位；
针对各个检测单位，基于相交直线检测算法，检测检测单位包含的两条直线段是否为相交直线段，得到检测单位的相交检测结果；
从各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位；
针对各个备选检测单位，基于夹角检测算法，检测备选检测单位包含的相交直线段的夹角是否在设定范围内，得到备选检测单位的夹角检测结果；
从各个备选检测单位中，筛选对应的夹角检测结果为夹角在设定范围内的备选检测单位为目标检测单位；
基于目标检测单位包含的直线段，识别图像中的操作按键。
需要说明的是，本申请实施例提供的操作按键识别装置解决技术问题的原理与本申请实施例提供的操作按键识别方法相似，因此，本申请实施例提供的操作按键识别装置的实施可以参见本申请实施例提供的操作按键识别方法的实施，重复之处不再赘述。
在介绍了本申请实施例提供的操作按键识别方法和装置之后，接下来，对本申请实施例提供的操作按键识别设备进行简单介绍。
参阅图7所示，本申请实施例提供的操作按键识别设备700至少包括：处理器701、存储器702和存储在存储器702上并可在处理器701上运行的计算机程序，处理器701执行计算机程序时实现本申请实施例提供的操作按键识别方法。
需要说明的是，如图7所示的操作按键识别设备700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供的操作按键识别设备700还可以包括连接不同组件(包括处理器701和存储器702)的总线703。其中，总线703表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器702可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)7021和/或高速缓存存储器7022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)7023。
存储器702还可以包括具有一组(至少一个)程序模块7024的程序工具7025，程序模块7024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
操作按键识别设备700也可以与一个或多个外部设备704(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与操作按键识别设备700交互的设备通信(例如手机、电脑等)，和/或，与使得操作按键识别设备700与一个或多个其它操作按键识别设备700进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口705进行。并且，操作按键识别设备700还可以通过网络适配器706与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器706通过总线703与操作按键识别设备700的其它模块通信。应当理解，尽管图7中未示出，可以结合操作按键识别设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。
下面对本申请实施例提供的计算机可读存储介质进行介绍。本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的操作按键识别方法。具体地，该可执行程序可以内置或者安装在操作按键识别设备700中，这样，操作按键识别设备700就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的操作按键识别方法。
此外，本申请实施例提供的操作按键识别方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在操作按键识别设备700上运行时，该程序代码用于使操作按键识别设备700执行本申请实施例提供的操作按键识别方法。
本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种操作按键识别方法，其特征在于，包括：
获取待检测的图像；
对所述图像进行轮廓检测，得到所述图像的轮廓数据；
基于所述轮廓数据，获得所述图像的轮廓组成元素；
基于所述轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别所述图像中的所述操作按键。
2.如权利要求1所述的操作按键识别方法，其特征在于，获取待检测的图像，包括：
对预加载操作的执行状态进行监测；
根据监测结果，确定所述预加载操作暂停执行时，获取所述预加载操作对应的当前图像；
基于所述当前图像，确定所述待检测的图像。
3.如权利要求2所述的操作按键识别方法，其特征在于，基于所述当前图像，确定所述待检测的图像，包括：
将所述当前图像确定为所述待检测的图像；或者，
将所述当前图像切分为至少两个子图像，并从所述至少两个子图像中，获取符合特定条件的子图像为所述待检测的图像，其中，所述特定条件是根据所述操作按键的显示位置配置的。
4.如权利要求1、2或3所述的操作按键识别方法，其特征在于，对所述图像进行轮廓检测，得到所述图像的轮廓数据，包括：
对所述图像进行灰度处理，得到灰度图像；
将所述灰度图像输入边缘检测算法，得到边缘二值图像，并将所述边缘二值图像输入轮廓检测算法，得到所述轮廓数据。
5.如权利要求4所述的操作按键识别方法，其特征在于，若所述操作按键为关闭按键，则基于所述轮廓数据，获得所述图像的轮廓组成元素，包括：
将线条粗细度、所述边缘二值图像和所述轮廓数据输入轮廓绘制算法，得到轮廓二值图像；
将所述轮廓二值图像输入直线检测算法，得到各条直线段作为所述轮廓组成元素。
6.如权利要求5所述的操作按键识别方法，其特征在于，若所述操作按键为关闭按键，则基于所述轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别所述图像中的所述操作按键，包括：
基于所述轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别所述图像中的所述操作按键。
7.如权利要求6所述的操作按键识别方法，其特征在于，基于所述轮廓组成元素包含的各条直线段中，与夹角在设定范围内的相交直线段匹配成功的直线段，识别所述图像中的所述操作按键，包括：
将所述各条直线段中的每两条直线段确定为一个检测单位；
针对各个检测单位，基于相交直线检测算法，检测所述检测单位包含的两条直线段是否为相交直线段，得到所述检测单位的相交检测结果；
从所述各个检测单位中，筛选对应的相交检测结果为相交直线段的检测单位为备选检测单位；
针对各个备选检测单位，基于夹角检测算法，检测所述备选检测单位包含的相交直线段的夹角是否在所述设定范围内，得到所述备选检测单位的夹角检测结果；
从所述各个备选检测单位中，筛选对应的夹角检测结果为夹角在所述设定范围内的备选检测单位为目标检测单位；
基于所述目标检测单位包含的直线段，识别所述图像中的所述操作按键。
8.一种操作按键识别装置，其特征在于，包括：
图像获取单元，用于获取待检测的图像；
轮廓检测单元，用于对所述图像进行轮廓检测，得到所述图像的轮廓数据；
元素获取单元，用于基于所述轮廓数据，获得所述图像的轮廓组成元素；
按键识别单元，用于基于所述轮廓组成元素与操作按键的轮廓组成特征的匹配结果，识别所述图像中的操作按键。
9.一种操作按键识别设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的操作按键识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项所述的操作按键识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010072201.8A CN113221912A (zh) | 2020-01-21 | 2020-01-21 | 一种操作按键识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010072201.8A CN113221912A (zh) | 2020-01-21 | 2020-01-21 | 一种操作按键识别方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113221912A true CN113221912A (zh) | 2021-08-06 |
Family
ID=77085416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010072201.8A Pending CN113221912A (zh) | 2020-01-21 | 2020-01-21 | 一种操作按键识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221912A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701996A (zh) * | 2014-01-09 | 2014-04-02 | 厦门美图之家科技有限公司 | 一种移动终端的应用程序通知的快速开闭方法 |
| WO2016150236A1 (zh) * | 2015-03-23 | 2016-09-29 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及装置、终端、存储介质 |
| CN109241485A (zh) * | 2018-09-06 | 2019-01-18 | 深圳市腾讯网络信息技术有限公司 | 一种页面间跳转关系建立方法，及装置 |
| CN109858000A (zh) * | 2019-01-10 | 2019-06-07 | 广州视源电子科技股份有限公司 | 表格处理方法、装置、系统、存储介质及交互智能平板 |
| CN110032510A (zh) * | 2019-03-07 | 2019-07-19 | 深圳市腾讯信息技术有限公司 | 应用的测试方法及装置 |
-
2020
- 2020-01-21 CN CN202010072201.8A patent/CN113221912A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701996A (zh) * | 2014-01-09 | 2014-04-02 | 厦门美图之家科技有限公司 | 一种移动终端的应用程序通知的快速开闭方法 |
| WO2016150236A1 (zh) * | 2015-03-23 | 2016-09-29 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及装置、终端、存储介质 |
| CN109241485A (zh) * | 2018-09-06 | 2019-01-18 | 深圳市腾讯网络信息技术有限公司 | 一种页面间跳转关系建立方法，及装置 |
| CN109858000A (zh) * | 2019-01-10 | 2019-06-07 | 广州视源电子科技股份有限公司 | 表格处理方法、装置、系统、存储介质及交互智能平板 |
| CN110032510A (zh) * | 2019-03-07 | 2019-07-19 | 深圳市腾讯信息技术有限公司 | 应用的测试方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李晶莹;王方雄;侯英姿;张闯;: "基于HTML5/JavaScript的WebGIS功能界面设计与开发", 微型机与应用, no. 07, 10 April 2016 (2016-04-10) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3822857B1 (en) | Target tracking method, device, electronic apparatus and storage medium | |
| CN108197547B (zh) | 人脸姿态估计方法、装置、终端及存储介质 | |
| CN113836333A (zh) | 图文匹配模型的训练方法、实现图文检索的方法、装置 | |
| US11816915B2 (en) | Human body three-dimensional key point detection method, model training method and related devices | |
| CN111767858A (zh) | 图像识别方法、装置、设备和计算机存储介质 | |
| US11915447B2 (en) | Audio acquisition device positioning method and apparatus, and speaker recognition method and system | |
| CN113256583A (zh) | 图像质量检测方法及装置、计算机设备和介质 | |
| KR102513334B1 (ko) | 픽처 검증 방법, 장치, 전자기기, 컴퓨터 판독 가능 기록 매체 및 컴퓨터 프로그램 | |
| CN113359995A (zh) | 人机交互方法、装置、设备以及存储介质 | |
| CN114495103B (zh) | 文本识别方法、装置、电子设备和介质 | |
| CN113705362A (zh) | 图像检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
| CN114550313A (zh) | 图像处理方法、神经网络及其训练方法、设备和介质 | |
| CN113723305A (zh) | 图像和视频检测方法、装置、电子设备和介质 | |
| CN114461078B (zh) | 一种基于人工智能的人机交互方法 | |
| CN113221912A (zh) | 一种操作按键识别方法、装置、设备及介质 | |
| CN116152607A (zh) | 目标检测方法、训练目标检测模型的方法及装置 | |
| CN115082757A (zh) | 伪标签生成方法、目标检测模型训练方法及装置 | |
| CN115797660A (zh) | 图像检测方法、装置、电子设备和存储介质 | |
| CN113139542B (zh) | 目标检测方法、装置、设备和计算机可读存储介质 | |
| CN114842476A (zh) | 水印检测方法及装置、模型训练方法及装置 | |
| CN113627534A (zh) | 识别动态图像的类型的方法、装置及电子设备 | |
| CN114550269A (zh) | 口罩佩戴检测方法、设备和介质 | |
| US10901726B2 (en) | Intelligent visual regression system | |
| CN114220163A (zh) | 人体姿态估计方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052183 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |