CN113663327A - 异形屏遮挡图标的检测方法、装置、设备及存储介质 - Google Patents
异形屏遮挡图标的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113663327A CN113663327A CN202110951394.9A CN202110951394A CN113663327A CN 113663327 A CN113663327 A CN 113663327A CN 202110951394 A CN202110951394 A CN 202110951394A CN 113663327 A CN113663327 A CN 113663327A
- Authority
- CN
- China
- Prior art keywords
- icon
- image
- special
- detecting
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 21
- 230000000903 blocking effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 10
- 230000001788 irregular Effects 0.000 claims description 8
- 206010066054 Dysmorphism Diseases 0.000 claims 1
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种异形屏遮挡图标的检测方法、装置、设备及存储介质，该方案应用在终端设备中，通过终端设备执行游戏应用并在终端设备的异形屏上渲染得到用户界面，该用户界面中包括游戏画面，该方法包括：获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，通过这种方式可以避免依靠大量人力标注用户界面上的图标的问题，从而提高检测异形屏对图标的遮挡情况的效率。
Description
技术领域
本发明涉及游戏领域，尤其涉及一种异形屏遮挡图标的检测方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，手机的显示屏从普通的显示屏发展成为现在的异形屏，但在使用异形屏手机进行手机游戏时，会出现异形屏上的异形区域遮挡手机游戏中用户界面(User Interface，简称：UI)上的图标的情况。
现有技术中，为了避免异形屏上的异形区域遮挡手机游戏中UI上的图标，通常采用以下两种方法来解决：1)人工检测，通过人工观测大量手机机型中每款手机游戏中的绝大多数UI上的游戏画面，来检查是否存在图标被异形屏上的异形区域遮挡的情况；2)目标检测，基于目标检测的自动化检测算法，检测视频图像中UI上的图标所在的位置，在检测到图标位置后再判断是否存在图标被异形屏上的异形区域遮挡的情况。但在上述第一种方法中，在每当有新的游戏内容增加或修改时，都需要花费大量的人力和时间用于检测异形屏上的异形区域对图标的遮挡情况；在上述第二种方法中，通常需要人工标注UI上的图标在游戏画面中的位置，再通过使用目标检测等算法进行遮挡情况的判断，然而，标注UI上图标的位置信息同样需要大量人力和时间的投入，对于任何新的游戏画面也很难有较好的泛化能力。因此，上述两种方法都存在需要依靠大量人力来观测UI上的游戏画面，并标注UI上图标的位置信息的问题，从而导致检测异形屏对图标的遮挡情况的效率低的技术问题。
综上所述，目前现有技术中的检测异形屏对图标的遮挡情况的方案，存在由于需要依靠大量人力实现检测异形屏上的异形区域对图标的遮挡情况，导致检测异形屏上的异形区域对图标的遮挡情况的效率比较低的问题。
发明内容
本发明实施例提供一种异形屏遮挡图标的检测方法、装置、设备及存储介质，用于解决现有技术中的检测异形屏对图标的遮挡情况的方案，存在由于需要依靠大量人力实现检测异形屏上的异形区域对图标的遮挡情况，导致检测异形屏上的异形区域对图标的遮挡情况的效率比较低的问题。
第一方面，本发明实施例提供一种异形屏遮挡图标的检测方法，通过终端设备执行游戏应用并在终端设备的异形屏上渲染得到用户界面，用户界面中包括游戏画面，该方法包括：
获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；
基于遮挡检测模型对视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型。
在一种具体实施方式中，该方法还包括：
根据预先获取的包括至少一个图标的多个样本图像，获取用于模型训练的样本，样本中包括正样本和负样本，正样本中至少一个图标未被遮挡，负样本中至少一个图标被遮挡；
根据正样本和负样本对神经网络模型进行训练，得到遮挡检测模型。
在一种具体实施方式中，根据预先获取的包括至少一个图标的多个样本图像，获取用于模型训练的样本，包括：
确定第一掩膜区域，基于第一掩膜区域遮挡样本图像中的至少一个图标；
将包括有未被第一掩膜区域遮挡的至少一个图标的样本图像确定为正样本，将包括有被第一掩膜区域遮挡的至少一个图标的样本图像确定为负样本。
在一种具体实施方式中，该方法还包括：
将图片图像转换为灰度图像，并对灰度图像进行高斯模糊处理，得到模糊图像；
对模糊图像进行图像二值化处理，确定模糊图像中的至少一个图标；
基于图像边缘检测算法提取模糊图像中的至少一个图标的边缘信息；
基于边缘信息确定位于图片图像的边缘位置的至少一个图标。
在一种具体实施方式中，在基于遮挡检测模型对视频图像进行检测之前，该方法还包括：
获取异形屏的异形区域在用户界面中的位置信息；
基于异形屏确定第二掩膜区域，并将第二掩膜区域设置在视频图像中与位置信息对应的位置中。
在一种具体实施方式中，基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，包括：
确定视频图像的所有帧图像；
将帧图像输入至遮挡检测模型中进行检测，确定帧图像中的至少一个图标是否被第二掩膜区域遮挡；
若所有帧图像中的至少一个图标均未被第二掩膜区域遮挡，则确定视频图像中的至少一个图标未被异形区域遮挡。
第二方面，本发明实施例提供一种异形屏遮挡图标的检测装置，包括：处理模块和显示模块，处理模块通过执行游戏应用并在显示模块的异形屏上渲染得到用户界面，用户界面中包括游戏画面；
处理模块还用于获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；
处理模块还用于基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型。
第三方面，本发明实施例提供一种终端设备，包括：
处理器、存储器、显示器；
存储器用于存储程序和数据，处理器调用存储器存储的程序，以执行第一方面的异形屏遮挡图标的检测方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面的异形屏遮挡图标的检测方法。
第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面的异形屏遮挡图标的检测方法。
本发明实施例提供的异形屏遮挡图标的检测方法、装置、设备及存储介质，应用在终端设备中，通过终端设备执行游戏应用并在终端设备的异形屏上渲染得到用户界面，该用户界面中包括游戏画面，通过获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，通过这种方式可以避免由于需要依靠大量人力标注用户界面上的图标，导致的检测异形屏上的异形区域对图标的遮挡情况的效率低的问题，从而极大地提高了检测异形屏上的异形区域对图标的遮挡情况的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的异形屏遮挡图标的检测方法实施例一的流程图；
图2为本发明实施例提供的异形屏遮挡图标的检测方法实施例二的流程图；
图3为本发明实施例提供的异形屏遮挡图标的检测方法实施例三的流程图；
图4为本发明实施例提供的异形屏遮挡图标的检测方法实施例四的流程图；
图5为本发明实施例提供的异形屏遮挡图标的检测装置实施例的结构示意图；
图6为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在根据本实施例的启示下做出的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
背景技术中提供的几种现有技术中，进行异形屏遮挡图标的检测的方案中，至少存在以下技术问题：
1)在使用人工检测的方法时，若出现有新的游戏内容增加或修改的情况，都需要花费大量的人力和时间用于检测异形屏上的异形区域对图标的遮挡情况，效率低下，且还浪费人力和时间成本。
2)在使用目标检测的方法时，通常需要人工标注UI上的图标在游戏画面中的位置，再通过使用目标检测等算法进行遮挡情况的判断，然而，标注UI上图标的位置信息同样需要大量人力和时间的投入，对于任何新的游戏画面也很难有较好的泛化能力。
针对上述的这些问题，本发明提出一种异形屏遮挡图标的检测方式，通过图像处理方法确定出游戏画面的截图上位于边缘的图标，然后根据预先准备的样本图像来获取用于模型训练的样本，并根据获取到的样本来训练神经网络模型，从而得到用于对测试的真实的游戏视频图像进行检测的遮挡检测模型，以确定游戏视频图像中的图标是否被异形屏上的异形区域遮挡，进而实现不依赖人工的方式标注图标在游戏画面中的位置，提高了检测异形屏上的异形区域对图标的遮挡情况的效率。下面首先对本发明中涉及的名词进行解释。
用户界面(User Interface，简称：UI)：是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。
图像边缘检测算法(Edge Detection)：目的是在保留原有图像属性的情况下，显著减少图像的数据规模，在本发明中使用的图像边缘检测算法为Canny边缘检测算法。
应用程序接口(Application Programming Interface，简称：API)：又称为应用编程接口，是软件系统不同组成部分衔接的约定。
软件开发工具包(Software Development Kit，简称：SDK)：一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
终端设备：终端设备在本发明中指的是用于执行游戏应用的网络终端设备，比如，手机、平板电脑等。
本发明提供的异形屏遮挡图标的检测方法，其核心思想是使用图像处理方法对游戏画面进行截图的图片图像进行处理，确定出图片图像上位于边缘位置的图标，然后对这些图标进行不同程度的遮挡处理，以获取用于模型训练的正样本和负样本，并利用得到的正样本和负样本训练神经网络模型，得到遮挡检测模型，从而利用遮挡检测模型对需要测试的真实的游戏视频图像进行检测，确定视频图像中的图标是否被异形屏上的异形区域遮挡，这样就可以实现不需要依赖人工的方式标注图标在游戏画面中的位置，从而可以极大程度地提高检测异形屏上的异形区域对图标的遮挡情况的效率，进而克服上述在进行异形屏遮挡图标的检测时容易发生的问题。
在一种具体实现中，可以在一种应用场景中应用该实施例提供的异形屏遮挡图标的检测方法，在该场景中，该方案应用在安装了游戏应用的终端设备中，通过游戏程序实现在游戏画面中对游戏画面上的处于边缘位置的图标是否被异形屏上的异形区域遮挡进行检测，该终端设备可以是手机、平板电脑、电脑等智能的终端设备，该终端设备通过执行游戏应用并在终端设备的异形屏上渲染得到用户界面，该用户界面中包括游戏画面，通过使用图像处理方法处理游戏画面截图的图片图像，可以快速确定出图标的位置，然后通过预先进行训练得到的遮挡检测模型，检测游戏视频图像的每一幅帧图像，若所有的帧图像中位于边缘位置的图标均未被异形屏上的异形区域遮挡，则说明游戏视频图像中位于边缘位置的图标未被异形屏上的异形区域遮挡，因此可以有效地提高检测异形屏上的异形区域对图标的遮挡情况的效率。
下面通过几个具体实施方式对该异形屏遮挡图标的检测方法进行详细说明。
图1为本发明实施例提供的异形屏遮挡图标的检测方法实施例一的流程图，如图1所示，该异形屏遮挡图标的检测方法包括以下步骤：
S101：获取游戏画面的视频图像。
在本步骤中，视频图像中包括有多个图片图像，这些图片图像可以是在游戏运行过程中对游戏画面进行截图得到的图像，图片图像的边缘位置有至少一个图标；视频图像可以是在游戏运行过程中获取到的真实的游戏视频图像，该视频图像可以通过自动化工具AirTest等获取，也可以将视频图像称为游戏跑测视频。由于设置有异形屏的终端设备无论是否存在异形屏上的异形区域遮挡图标的问题，其截图得到的图片图像一定是完整的图像，因此上述图片图像上的至少一个图标也是未被遮挡的、完整的图标。
在该方案中，异形屏上的异形区域的位置一般是各大厂商提前就设置好的位置，异形区域通常是位于终端设备的异形屏上显示的用户界面上两个窄边的边缘位置，因此，异形屏上的异形区域遮挡的图标也是位于游戏画面中图像的窄边边缘位置的图标。
在上述方案中，由于该方案的目的在于检测异形屏上的异形区域对图标的遮挡问题，因此，获取到的视频图像中包括至少一个图标，若视频图像中没有图标，则不需要对该视频图像进行异形区域遮挡图标的检测。
S102：基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡。
在本步骤中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，该神经网络模型可以为分类神经网络模型DenseNet。
本实施例提供的异形屏遮挡图标的检测方法，通过获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，通过这种方式可以避免依靠大量人力标注用户界面上的图标，导致的检测异形屏上的异形区域对图标的遮挡情况的效率低的问题，从而提高检测异形屏上的异形区域对图标的遮挡情况的效率。
下面对训练遮挡检测模型的方法进行详细说明。
图2为本发明实施例提供的异形屏遮挡图标的检测方法实施例二的流程图，如图2所示，该异形屏遮挡图标的检测方法具体实现过程如下：
S201：根据预先获取的包括至少一个图标的多个样本图像，获取用于模型训练的样本。
在本步骤中，在游戏运行过程中，可以通过对游戏画面进行截图，获取包括至少一个图标的多个样本图像，用于模型训练的样本中包括正样本和负样本，其中，正样本中的至少一个图标未被遮挡，负样本中的至少一个图标被遮挡。
在该方案中，由于设置有异形屏的终端设备无论是否存在异形屏上的异形区域遮挡图标的问题，其截图得到的样本图像一定是完整的图像，因此需要使用自监督学习方法，进行人为地在样本图像的基础上制造出正样本和负样本，这样就可以通过正样本和负样本来进行模型的训练。
S202：根据正样本和负样本对神经网络模型进行训练，得到遮挡检测模型。
在本步骤中，神经网络模型可以为分类神经网络模型DenseNet，在获取到正样本和负样本后，可以将得到的正样本和负样本输入至DenseNet中进行分类训练，由于正样本中的至少一个图标未被遮挡，负样本中的至少一个图标被遮挡，这样训练出来的遮挡检测模型就可以很好地对视频图像中每一幅帧图像中的至少一个图标进行分类，确定出至少一个图标是否被遮挡，从而可以实现通过遮挡检测模型检测视频图像中的至少一个图标是否被异形屏上的异形区域遮挡。
在该方案中，在对神经网络模型进行训练的过程中，损失函数可以使用交叉熵(cross-entropy)，直到神经网络开始收敛，即可得到训练好的遮挡检测模型。
在一种具体实现中，根据预先获取的包括至少一个图标的多个样本图像，获取用于模型训练的样本，包括：确定第一掩膜区域，基于第一掩膜区域遮挡样本图像中的至少一个图标；将包括有未被第一掩膜区域遮挡的至少一个图标的样本图像确定为正样本，将包括有被第一掩膜区域遮挡的至少一个图标的样本图像确定为负样本。
在该方案中，由于样本图像为完整的、没有任何内容被遮挡的图像，因此为了模拟样本图像中的图标被异形屏上的异形区域遮挡的情况，在获取正样本和负样本时，可以使用基于掩膜确定的第一掩膜区域对样本图像中的至少一个图标进行完全遮挡或者部分遮挡，从而可以将包括有未被第一掩膜区域遮挡的至少一个图标的样本图像确定为正样本，将包括有被第一掩膜区域遮挡的至少一个图标的样本图像确定为负样本。
在上述方案中，在具体实现时，可以设置一个第一掩膜区域，然后使用第一掩膜区域对样本图像中的至少一个图标进行部分遮挡或者完全遮挡，第一掩膜区域的大小可以根据实际需要进行变化，这样就可以批量制造出大量的正样本和负样本。
在上述方案中，由于掩膜的使用可以认为是将图标上的部分区域或者整个图标区域的像素值变成0，也即，被掩膜遮挡的图标为黑色，因此，可以通过掩膜对样本图像上的图标进行遮挡，获取到正样本和负样本。
下面对确定图片图像的边缘位置的至少一个图标的方法进行详细说明。
图3为本发明实施例提供的异形屏遮挡图标的检测方法实施例三的流程图，如图3所示，该异形屏遮挡图标的检测方法具体实现过程如下：
S301：将图片图像转换为灰度图像，并对灰度图像进行高斯模糊处理，得到模糊图像。
在该步骤中，图片图像中包括有图标内容，还包括有其他如人物角色、场景等内容，一般来说，图标通常具有比较明显的外框，比如，矩形图标有明显的矩形外框(例如退出按钮等)，圆形图标有明显的圆形外框(例如技能按钮等)等，而相对于图标来说，其他如人物角色、场景等内容通常没有较为明显的外框，因此，可以将彩色的图片图像转换为灰度图像，并根据高斯模糊平滑图像的纹理特征，对灰度图像进行高斯模糊处理，这样得到的模糊图像中，图标外框的边缘信息可以得到一定程度的保留，而其他如人物角色、场景等内容的纹理特征会被模糊。
S302：对模糊图像进行图像二值化处理，确定模糊图像中的至少一个图标。
在该步骤中，在获取到模糊图像之后，由于模糊图像中的图标相对于其他如人物角色、场景等内容来说，外框较为明显，而在本方案中，需要确定出模糊图像中的至少一个图标，因此，可以通过对模糊图像进行图像二值化处理，从而实现将较为明显的图标确定出来。
S303：基于图像边缘检测算法提取模糊图像中的至少一个图标的边缘信息。
在该步骤中，由于需要确定出在图片图像的边缘位置的图标，因此，在确定好模糊图像中的至少一个图标之后，需要通过图像边缘检测算法将模糊图像中的至少一个图标的边缘信息提取出来，通过这些边缘信息确定出至少一个图标在模糊图像上的位置。
S304：基于边缘信息确定位于图片图像的边缘位置的至少一个图标。
在该步骤中，通过图像边缘检测算法提取出来的至少一个图标的边缘信息中，可以确定出至少一个图标与图像窄边边缘之间的距离，在判断至少一个图标是否位于图像的边缘位置时，可以通过预先设置一个距离阈值，当图标与图像窄边边缘之间的距离大于上述距离阈值时，可以确定出该图标没有位于图像的窄边边缘位置，当图标与图像窄边边缘之间的距离小于上述距离阈值时，可以确定出该图标位于图像的窄边边缘位置，从而对位于图像的窄边边缘位置的图标进行检测，判断是否被遮挡。
本实施例提供的异形屏遮挡图标的检测方法，通过对图片图像进行图像处理就可以确定出图像上的至少一个图标的位置信息，这样就可以避免通过人工标注图标的位置信息导致的效率低下的问题，从而解决了大量的人力和时间成本，提高了检测异形屏上的异形区域对图标的遮挡情况的效率。
下面对通过遮挡检测模型检测视频图像的方法进行详细说明。
图4为本发明实施例提供的异形屏遮挡图标的检测方法实施例四的流程图，如图4所示，该异形屏遮挡图标的检测方法具体实现过程如下：
S401：获取异形屏的异形区域在用户界面中的位置信息。
在本步骤中，可以通过各大厂商提供的API或SDK获取不同终端设备的异形屏上的异形区域在用户界面中的位置信息，比如，当终端设备为手机时，异形区域的位置即为手机屏幕的上窄边的位置。
S402：基于异形区域确定第二掩膜区域，并将第二掩膜区域设置在视频图像中与位置信息对应的位置中。
在本步骤中，由于视频图像是在游戏运行过程中获取到的真实的游戏视频，该视频图像也是完整的、没有任何内容被遮挡的图像，因此，在对视频图像进行检测时，可以按照异形区域原本在终端设备的用户界面上的位置，将异形区域以掩膜的形式设置在视频图像中的对应位置上，实现使用掩膜模拟异形区域对视频图像中的至少一个图标进行遮挡的目的。
在上述方案中，由于不同的终端设备，其异形屏的异形区域的大小和形状可能都不相同，比如，操作系统为iOS系统的手机，其异形屏的异形区域的形状为圆角矩形，也就是用户俗称的刘海，且iOS系统的异形屏的异形区域面积较大，而操作系统为安卓系统的手机，其异形屏的异形区域的形状可以为水滴形或者圆形等形状，该异形屏的异形区域的面积较小，因此，可以根据异形屏的异形区域的大小确定一个第二掩膜区域，然后将第二掩膜区域设置在视频图像中与异形区域在用户界面中的位置信息对应的位置中。
在一种具体实现中，基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，包括：确定视频图像的所有帧图像；将帧图像输入至遮挡检测模型中进行检测，确定帧图像中的至少一个图标是否被第二掩膜区域遮挡；若所有帧图像中的至少一个图标均未被第二掩膜区域遮挡，则确定视频图像中的至少一个图标未被异形区域遮挡。
在该方案中，由于遮挡检测模型可以对图片图像进行检测，因此可以将获取到的视频图像分为多个帧图像，然后将每一个帧图像输入至遮挡检测模型中进行检测，若所有的帧图像上的位于窄边边缘位置的图标都未被第二掩膜区域遮挡，则可以确定视频图像中的位于窄边边缘位置的图标没有被异形屏的异形区域遮挡，相应的，若在至少一个帧图像中，位于窄边边缘的至少一个图标被第二掩膜区域完全遮挡或者部分遮挡，则可以确定视频图像中的位于窄边边缘位置的图标被异形屏的异形区域遮挡。
本发明的异形屏遮挡图标的检测方法，通过获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，通过这种方式可以避免依靠大量人力标注用户界面上的图标的问题，并且，对于游戏新版本更新带来的新内容也有较强的泛化性，同时，在实际测试使用时，使用已经训练完成的遮挡检测模型可以代替人工观测并标注图标的位置，实现自动化地完成对视频图像的每一帧图像上图标的遮挡情况的检测，从而节约大量人力和时间成本，进而提高检测异形屏的异形区域对图标的遮挡情况的效率。
从总体上来说，本发明提供的技术方案，通过自监督学习的方式对图像上的图标的位置进行自动标注，大大提高了获取样本的效率，从而也提高了训练神经网络模型的效率，然后根据训练神经网络模型得到的遮挡检测模型检测游戏跑测视频，也会进一步实现提高检测异形屏的异形区域对图标的遮挡情况的效率，是一种既有较强的泛化性，又能保证较高的检测效率的技术实现方法。
图5为本发明实施例提供的异形屏遮挡图标的检测装置实施例的结构示意图，如图5所示，该异形屏遮挡图标的检测装置50包括：
处理模块51和显示模块52，处理模块51通过执行游戏应用并在显示模块52的异形屏上渲染得到用户界面，用户界面中包括游戏画面；
处理模块51还用于获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；
处理模块51还用于基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型。
可选的，处理模块51还用于根据预先获取的包括至少一个图标的多个样本图像，获取用于模型训练的样本，样本中包括正样本和负样本，正样本中至少一个图标未被遮挡，负样本中至少一个图标被遮挡；根据正样本和负样本对神经网络模型进行训练，得到遮挡检测模型。
可选的，处理模块51还用于确定第一掩膜区域，基于第一掩膜区域遮挡样本图像中的至少一个图标；将包括有未被第一掩膜区域遮挡的至少一个图标的样本图像确定为正样本，将包括有被第一掩膜区域遮挡的至少一个图标的样本图像确定为负样本。
可选的，处理模块51还用于将图片图像转换为灰度图像，并对灰度图像进行高斯模糊处理，得到模糊图像；对模糊图像进行图像二值化处理，确定模糊图像中的至少一个图标；基于图像边缘检测算法提取模糊图像中的至少一个图标的边缘信息；基于边缘信息确定位于图片图像的边缘位置的至少一个图标。
可选的，处理模块51还用于获取异形屏的异形区域在用户界面中的位置信息；基于异形屏确定第二掩膜区域，并将第二掩膜区域设置在视频图像中与位置信息对应的位置中。
可选的，处理模块51还用于确定视频图像的所有帧图像；将帧图像输入至遮挡检测模型中进行检测，确定帧图像中的至少一个图标是否被第二掩膜区域遮挡；若所有帧图像中的至少一个图标均未被第二掩膜区域遮挡，则确定视频图像中的至少一个图标未被异形区域遮挡。
本实施例提供的异形屏遮挡图标的检测装置，用于执行前述方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
图6为本发明实施例提供的一种终端设备的结构示意图，如图6所示，该终端设备600包括：
处理器611、存储器612、显示器613；
存储器612用于存储程序和数据，处理器611调用存储器存储的程序，以执行前述方法所示实施例提供的异形屏遮挡图标的检测方法的技术方案。
在上述终端设备中，存储器612和处理器611之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器612中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器611通过运行存储在存储器612内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质包括程序，程序在被处理器执行时用于实现方法实施例中提供的异形屏遮挡图标的检测方法的技术方案。
本申请还提供一种计算机程序产品，包括：计算机程序，该计算机程序被处理器执行时用于实现前述方法实施例提供的异形屏遮挡图标的检测方法的技术方案。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种异形屏遮挡图标的检测方法，其特征在于，通过终端设备执行游戏应用并在所述终端设备的异形屏上渲染得到用户界面，所述用户界面中包括游戏画面，所述方法包括：
获取所述游戏画面的视频图像，其中，所述视频图像中包括多个图片图像，所述图片图像的边缘位置包括至少一个图标；
基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，其中，所述遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中所述至少一个图标是否被遮挡的模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据预先获取的包括所述至少一个图标的多个样本图像，获取用于模型训练的样本，所述样本中包括正样本和负样本，所述正样本中所述至少一个图标未被遮挡，所述负样本中所述至少一个图标被遮挡；
根据所述正样本和所述负样本对神经网络模型进行训练，得到所述遮挡检测模型。
3.根据权利要求2所述的方法，其特征在于，所述根据预先获取的包括所述至少一个图标的多个样本图像，获取用于模型训练的样本，包括：
确定第一掩膜区域，基于所述第一掩膜区域遮挡所述样本图像中的至少一个所述图标；
将包括有未被所述第一掩膜区域遮挡的所述至少一个图标的样本图像确定为所述正样本，将包括有被所述第一掩膜区域遮挡的所述至少一个图标的样本图像确定为所述负样本。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述图片图像转换为灰度图像，并对所述灰度图像进行高斯模糊处理，得到模糊图像；
对所述模糊图像进行图像二值化处理，确定所述模糊图像中的所述至少一个图标；
基于图像边缘检测算法提取所述模糊图像中的所述至少一个图标的边缘信息；
基于所述边缘信息确定位于所述图片图像的边缘位置的所述至少一个图标。
5.根据权利要求1所述的方法，其特征在于，在所述基于遮挡检测模型对所述视频图像进行检测之前，所述方法还包括：
获取所述异形屏的所述异形区域在所述用户界面中的位置信息；
基于所述异形区域确定第二掩膜区域，并将所述第二掩膜区域设置在所述视频图像中与所述位置信息对应的位置中。
6.根据权利要求5所述的方法，其特征在于，所述基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，包括：
确定所述视频图像的所有帧图像；
将所述帧图像输入至所述遮挡检测模型中进行检测，确定所述帧图像中的所述至少一个图标是否被所述第二掩膜区域遮挡；
若所有所述帧图像中的所述至少一个图标均未被所述第二掩膜区域遮挡，则确定所述视频图像中的所述至少一个图标未被所述异形区域遮挡。
7.一种异形屏遮挡图标的检测装置，其特征在于，包括：处理模块和显示模块，所述处理模块通过执行游戏应用并在所述显示模块的异形屏上渲染得到用户界面，所述用户界面中包括游戏画面；
所述处理模块还用于获取所述游戏画面的视频图像，其中，所述视频图像中包括多个图片图像，所述图片图像的边缘位置包括至少一个图标；
所述处理模块还用于基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，其中，所述遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中所述至少一个图标是否被遮挡的模型。
8.一种终端设备，其特征在于，包括：
处理器，存储器，显示器；
所述存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行权利要求1至6任一项所述的异形屏遮挡图标的检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的异形屏遮挡图标的检测方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至6任一项所述的异形屏遮挡图标的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110951394.9A CN113663327A (zh) | 2021-08-18 | 2021-08-18 | 异形屏遮挡图标的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110951394.9A CN113663327A (zh) | 2021-08-18 | 2021-08-18 | 异形屏遮挡图标的检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113663327A true CN113663327A (zh) | 2021-11-19 |
Family
ID=78543809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110951394.9A Pending CN113663327A (zh) | 2021-08-18 | 2021-08-18 | 异形屏遮挡图标的检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113663327A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170346A (zh) * | 2017-12-25 | 2018-06-15 | 广东欧珀移动通信有限公司 | 电子装置、游戏界面显示方法及相关产品 |
| CN108985129A (zh) * | 2018-08-02 | 2018-12-11 | 谷东科技（广州）有限公司 | 二维码的定位与检出方法 |
| CN109086709A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 特征提取模型训练方法、装置及存储介质 |
| CN109445653A (zh) * | 2018-09-28 | 2019-03-08 | 维沃移动通信有限公司 | 一种图标处理方法及移动终端 |
| CN110222764A (zh) * | 2019-06-10 | 2019-09-10 | 中南民族大学 | 遮挡目标检测方法、系统、设备及存储介质 |
| WO2019233306A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图标显示方法、装置及终端 |
| KR20200016136A (ko) * | 2018-08-06 | 2020-02-14 | 주식회사 넥슨코리아 | 게임 제공 장치 및 방법 |
-
2021
- 2021-08-18 CN CN202110951394.9A patent/CN113663327A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170346A (zh) * | 2017-12-25 | 2018-06-15 | 广东欧珀移动通信有限公司 | 电子装置、游戏界面显示方法及相关产品 |
| WO2019233306A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图标显示方法、装置及终端 |
| CN109086709A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 特征提取模型训练方法、装置及存储介质 |
| CN108985129A (zh) * | 2018-08-02 | 2018-12-11 | 谷东科技（广州）有限公司 | 二维码的定位与检出方法 |
| KR20200016136A (ko) * | 2018-08-06 | 2020-02-14 | 주식회사 넥슨코리아 | 게임 제공 장치 및 방법 |
| CN109445653A (zh) * | 2018-09-28 | 2019-03-08 | 维沃移动通信有限公司 | 一种图标处理方法及移动终端 |
| CN110222764A (zh) * | 2019-06-10 | 2019-09-10 | 中南民族大学 | 遮挡目标检测方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109142366B (zh) | 球形外壳缺陷检测方法、装置及计算机可读存储介质 | |
| CN108579094B (zh) | 一种用户界面检测方法及相关装置、系统和存储介质 | |
| CN111008561A (zh) | 一种牲畜的数量确定方法、终端及计算机存储介质 | |
| CN109801342B (zh) | 动态标识移动设备上运行时贴图合适度的方法及装置 | |
| CN108632533A (zh) | 一种相机的控制方法、移动终端及计算机可读存储介质 | |
| CN112348835A (zh) | 一种物料数量的检测方法、装置、电子设备及存储介质 | |
| CN112330597A (zh) | 一种图像差异检测方法、装置及计算机设备 | |
| CN111428570A (zh) | 非活体人脸的检测方法、装置、计算机设备及存储介质 | |
| CN111461070A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CN105809117A (zh) | 一种信息提示方法及用户终端 | |
| CN113439227A (zh) | 放大图像的捕获和存储 | |
| CN113554022B (zh) | 电力仪器检测试验数据的自动获取方法及装置 | |
| CN111915601B (zh) | 智能终端的异常测试方法、装置以及系统 | |
| CN113663327A (zh) | 异形屏遮挡图标的检测方法、装置、设备及存储介质 | |
| CN114596243A (zh) | 缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN109257594B (zh) | 电视出厂检测方法、装置及计算机可读存储介质 | |
| CN115222653B (zh) | 测试方法和装置 | |
| CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN107784644A (zh) | 一种不相溶液体分界面的确定方法及装置 | |
| CN110147765A (zh) | 一种图像处理方法及装置 | |
| CN106682676A (zh) | 一种图像测试方法及装置 | |
| CN113573137B (zh) | 视频画布边界检测方法、系统、终端设备及存储介质 | |
| CN113221742B (zh) | 视频分屏线确定方法、装置、电子设备、介质和程序产品 | |
| CN111935480B (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
| CN109117035B (zh) | 悬浮图标的隐藏方法、终端回收系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |