CN112766481A - 神经网络模型的训练方法、装置及图像检测的方法 - Google Patents
神经网络模型的训练方法、装置及图像检测的方法 Download PDFInfo
- Publication number
- CN112766481A CN112766481A CN202010173603.7A CN202010173603A CN112766481A CN 112766481 A CN112766481 A CN 112766481A CN 202010173603 A CN202010173603 A CN 202010173603A CN 112766481 A CN112766481 A CN 112766481A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- seed
- abnormal
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000003062 neural network model Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims description 53
- 230000002159 abnormal effect Effects 0.000 claims abstract description 211
- 239000000463 material Substances 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 44
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 230000002547 anomalous effect Effects 0.000 claims description 6
- 230000008961 swelling Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于检测图像异常区域的神经网络模型的训练方法、图像异常区域的检测方法、装置、电子设备及计算机可读存储介质；该方法包括：获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；对所述种子区域进行区域形状调整处理，以获得目标种子区域；在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；将所述正常图像作为正样本，将所述异常图像作为负样本，更新用于检测图像异常区域的神经网络模型的参数，并将更新后的参数作为训练后的所述神经网络模型的参数。通过本发明，能够提高检测图像异常区域的准确率。
Description
技术领域
本发明涉及人工智能领域的图像检测技术，尤其涉及一种用于检测图像异常区域的神经网络模型的训练方法、图像异常区域的检测方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能现如今得到快速发展，并广泛应用于各种行业。
以检测图像异常区域的应用场景为例，相关技术中，针对图像中局部异常区域检测的方法，设计和实现难度高、运算量大，并且对于异常区域检测的准确率较低，误报率较高。为了提高检测图像异常区域的准确率，可以基于人工智能对神经网络模型进行训练，以获得用于检测图像异常区域的神经网络模型，但在训练过程中需要大量标注好的训练数据。这类训练数据往往难以收集，并且训练完成的神经网络模型的检测图像异常区域的准确率会随着训练数据量的减少急剧下降。
因此，相关技术对于解决检测图像异常区域的准确率低尚无有效的方案。
发明内容
本发明实施例提供一种用于检测图像异常区域的神经网络模型的训练方法、图像异常区域的检测方法、装置、电子设备及计算机可读存储介质，能够提高检测图像异常区域的准确率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种用于检测图像异常区域的神经网络模型的训练方法，所述方法包括：
获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；
对所述种子区域进行区域形状调整处理，以获得目标种子区域；
在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；
将所述正常图像作为正样本，将所述异常图像作为负样本，更新用于检测图像异常区域的神经网络模型的参数，并将更新后的参数作为训练后的所述神经网络模型的参数。
本发明实施例提供一种用于检测图像异常区域的神经网络模型的训练装置，包括：
区域提取模块，用于获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；
区域形状调整模块，用于对所述种子区域进行区域形状调整处理，以获得目标种子区域；
异常素材填充模块，用于在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；
训练模块，用于将所述正常图像作为正样本，将所述异常图像作为负样本，更新用于检测图像异常区域的神经网络模型的参数，并将更新后的参数作为训练后的所述神经网络模型的参数。
上述方案中，所述区域提取模块，还用于确定色彩范围，并选取所述正常图像中在所述色彩范围内的多个像素；确定所述正常图像中的多个闭合轮廓，其中，每个所述闭合轮廓包括所述多个像素中的部分像素；确定所述多个闭合轮廓中每个闭合轮廓对应的图像子区域的面积，并根据每个所述图像子区域的面积，选取多个所述图像子区域中的部分图像子区域以作为所述种子区域。
上述方案中，所述区域提取模块，还用于将所述多个像素以掩膜的形式进行保存，其中，所述掩膜用于将所述多个像素对应的区域进行屏蔽；确定所述掩膜在所述正常图像所屏蔽的区域中包括的多个闭合轮廓。
上述方案中，所述区域提取模块，还用于对多个所述图像子区域的面积进行降序排序，在降序排序结果中选取在前的部分所述图像子区域，以作为所述种子区域；或者，选取多个所述图像子区域中面积大于图像子区域面积阈值的图像子区域，以作为所述种子区域。
上述方案中，所述用于检测图像异常区域的神经网络模型的训练装置还包括：扩大色彩范围模块，用于当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新获得种子区域，以使重新获得的种子区域的数量不小于所述区域数量阈值、且重新获得的种子区域的面积和不小于所述区域面积阈值时，停止扩大所述色彩范围。
上述方案中，所述扩大色彩范围模块，还用于当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新确定种子区域，直至扩大所述色彩范围的次数达到扩大次数阈值。
上述方案中，所述区域形状调整模块，还用于对所述种子区域进行膨胀处理，和/或，将相邻的种子区域进行联通，得到预处理种子区域；其中，所述膨胀处理用于使所述正常图像中与所述种子区域接触的区域合并至所述种子区域内，且使所述种子区域中的孔和缝隙被移除；对所述预处理种子区域进行腐蚀处理，以使所述预处理种子区域的边界向内部收缩，并将腐蚀处理后的预处理种子区域作为所述目标种子区域。
上述方案中，所述异常素材填充模块，还用于确定在所述目标种子区域填充的异常素材，其中，所述异常素材的类型包括色彩和纹理至少之一；在所述正常图像中位于所述目标种子区域的范围内，填充设定的均匀颜色的色彩和设定的纹理至少之一。
本发明实施例提供一种基于上述方案中的神经网络模型的图像异常区域的检测方法，所述方法包括：
获取待检测图像；
通过所述神经网络模型从所述待检测图像中提取特征，并
基于所提取的特征进行二分类处理，以得到所述待检测图像是否包括异常区域的检测结果。
本发明实施例提供一种基于上述方案中的神经网络模型的图像异常区域的检测装置，所述装置包括：
获取模块，用于获取待检测图像；
检测模块，用于通过所述神经网络模型从所述待检测图像中提取特征，并基于所提取的特征进行二分类处理，以得到所述待检测图像是否包括异常区域的检测结果。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于上述的神经网络模型的图像异常区域的检测方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于上述的神经网络模型的图像异常区域的检测方法。
本发明实施例具有以下有益效果：
通过在正常图像中提取目标种子区域，并在目标种子区域中填充异常素材，以获得异常图像，使得无需采集异常图像即可获取大量的训练样本；通过大量的训练样本对神经网络模型进行训练以获得用于检测图像异常区域的神经网络模型的参数，提升了将训练完成的神经网络模型应用于检测图像异常区域的准确率。
附图说明
图1是本发明实施例提供的图像异常区域的检测系统100的架构示意图；
图2是本发明实施例提供的电子设备500的结构示意图；
图3A和图3B是本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法的流程示意图；
图3C、图3D和图3E是本发明实施例提供的区域形状调整处理的原理图；
图3F和图3G是本发明实施例提供的异常素材填充处理的原理图；
图4是本发明实施例提供的图像异常区域的检测方法的流程示意图；
图5是本发明实施例提供的生成异常图像的流程示意图；
图6是本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法的原理示意图；
图7是本发明实施例提供的图像异常区域的检测方法的原理示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)贴图丢失异常，或称无贴图异常，是指图像(例如，游戏画面)渲染异常，表现形式为图像中的某些区域的贴图无法正常展示从而在图像中用异常素材(例如纯色或纹理)代替。
2)正常图像，是指图像中不包含贴图丢失异常的图像。
3)异常图像，是指图像中包含贴图丢失异常的图像。
4)掩膜，或称掩模，是用选定的图像、图形或物体，对处理的图像的全部或部分进行遮挡(屏蔽)，来控制图像处理的区域，可以使屏蔽的区域不参加处理；或着，仅对屏蔽的区域进行处理。
5)神经网络模型的参数，在神经网络模型的训练过程中自动更新或自行学习所获得的参数，包括有特征权重、偏置等。
6)训练样本，或称训练数据，是经过预处理后，有相对稳妥、精确的特征描述的数据集，以“样本”形式参与神经网络模型的训练过程。
7)梯度，在神经网络模型的训练过程中用于对模型参数进行梯度计算。模型计算节点每次根据各自所接收的样本数据的子集训练神经网络模型的过程均包括有正向传播和反向传播。其中，正向传播是指在训练模型中输入样本数据的子集并获得预测结果，计算预测结果与期望结果的差异的过程；反向传播则是指按照输出层、中间层、输入层的顺序，在根据预测结果与期望结果的差异反方向地计算每一层的模型参数的梯度(即更新值)，从而根据梯度来更新模型参数。
相关技术中，针对检测图像异常区域的方法主要分为两类。
第一、针对局部异常区域检测的方法。这类方法通过在全局图像中检测指定的色彩区域、并分析区域面积、形状等特征，判断图像中是否出现贴图丢失的异常。
第二、基于图像分类的检测方法。这类方法把在全局图像中检测贴图丢失区域的任务，转化为“正常图像”和“包含贴图丢失异常的图像”的二分类问题，通过各种图像分类器来实现图像异常区域检测。
相关技术的针对局部异常区域检测的方法，设计和实现难度高、运算量大，目前主要针对指定的画面类型、异常区域形状、异常颜色进行检测，对于不规则的异常区域检测准确率低，误报率较高。相关技术的基于图像分类的检测方法需要进行机器学习分类器算法的训练，但这类算法需要大量标注好的训练数据。这类训练数据往往难以收集，并且分类器的准确率随着数据量的减少会急剧下降。
针对上述问题，本发明实施例提供一种用于检测图像异常区域的神经网络模型的训练方法、图像异常区域的检测方法、装置、电子设备及计算机可读存储介质，通过本发明实施例提供的神经网络模型来检测图像的异常区域，一方面解决了针对局部异常区域检测的方法直接对异常区域检测难度过大的问题，另一方面也解决了基于图像分类的检测方法中缺乏训练数据的问题。
下面说明本发明实施例提供的图像异常区域的检测方法的示例性应用，本发明实施例提供的图像异常区域的检测方法可以由各种电子设备实施，例如可以由终端实施，也可以由服务器或服务器集群实施，或者由终端和服务器协同实施。
下面，以包括上述服务器的检测系统为例说明本发明实施例，参见图1，图1是本发明实施例提供的图像异常区域的检测系统100的架构示意图。其中，图像异常区域的检测系统100包括有：服务器200、网络300、终端400以及运行于终端400的客户端410，将分别进行说明。
服务器200是客户端410的后台服务器，用于接收客户端410提交的操作(例如，游戏的操作或视频的操作)，并根据业务逻辑生成相应的图像(或称图像帧)，例如游戏的输出画面或视频的输出画面，并将生成的图像发送至客户端410；还用于检测生成的图像以获得检测结果(将在下文说明检测图像的具体过程)，并根据检测结果修复客户端410的业务逻辑。
网络300用于作为服务器200和终端400之间通信的媒介，可以是广域网或者局域网，又或者是二者的组合。
终端400用于运行客户端410，客户端410可以是各种具有输出图像功能的应用(APP，Application)，例如游戏APP或视频APP等，可以向服务器200提交操作，以获得服务器200发送的对应的图像，并在客户端410中向用户展示获得的图像。
下面将结合图1说明服务器200检测图像获得检测结果，并根据检测结果进行修复的具体过程。
在一些实施例中，服务器200采集运行客户端410时所生成的不包含贴图丢失异常的正常图像，并对正常图像进行处理，以获得异常图像(将在下文详细说明服务器200对正常图像进行处理获得异常图像的过程)；然后，服务器200将正常图像作为正样本，将异常图像作为负样本，对神经网络模型进行训练，以获得用于检测图像异常区域的神经网络模型的参数；再次，服务器200通过网络300接收客户端410提交的操作，根据业务逻辑生成对应操作的图像，并将生成的图像作为待检测图像；最后，服务器200通过神经网络模型从待检测图像中提取特征，并基于所提取的特征进行二分类处理，以得到待检测图像是否包含异常区域的检测结果，并根据检测结果修复客户端410的业务逻辑。
图像异常区域的检测系统100可以在各种应用场景中进行图像的异常区域检测。
作为一个示例，应用于游戏输出的画面中由于贴图丢失导致的异常的检测，检测过程具体为：用户通过终端运行游戏客户端，并提交游戏操作；游戏客户端的后台服务器根据游戏的业务逻辑生成游戏图像，并对每帧游戏图像进行检测，或对生成的游戏图像进行抽样检测，以获得游戏图像是否包含贴图丢失异常的检测结果，并将检测结果用于修复游戏的业务逻辑，例如，当后台服务器检测到游戏图像中包含贴图丢失异常时，将出现的异常记录在日志中，并将日志发送至运维人员，以供运维人员确定出现异常的原因，从而可以根据异常的原因修复运行游戏中所使用的业务逻辑，以避免后台服务器后续生成的游戏图像还包含贴图丢失异常。其中，后台服务器可以是在向游戏客户端发送游戏图像之后检测游戏图像，也可以是在发送游戏图像的过程中实时检测游戏图像。
作为另一个示例，应用于对用户上传至云端的图片或视频进行检测，检测过程具体为：用户通过终端的摄像头拍摄图片或视频、或者从网络中获取图片或视频，并将图片或视频上传至云端；云端服务器对用户上传的图片或视频进行检测，以确定上传的图片或视频是否包含异常区域(当用户上传的是视频时，云端服务器需要对视频中的每一帧图像进行检测，或进行抽样检测，当视频中的全部或部分图像帧包含异常区域时，表征该视频包含异常区域)，当用户上传的图片或视频中包含异常区域时，提示用户该图片或视频中包含异常区域，并使用户进一步确定是否上传包含异常区域的图片或视频，从而可以避免云端服务器保存不必要的图片或视频，进而可以节约服务器资源。
需要说明的是，上文的服务器200也可以替代为多个(即至少2个)服务器的形式，即由多个服务器构成的服务器集群协同完成，例如，服务器集群包括用于训练神经网络模型的训练服务器(例如云服务器，可以提供训练神经网络模型的服务)、以及用于根据训练完成的神经网络模型检测待检测图像是否包含异常区域的检测服务器。
接下来说明本发明实施例提供的用于进行异常区域检测的电子设备的结构，电子设备可以是图1所示的服务器200为例，参见图2，图2是本发明实施例提供的电子设备500的结构示意图，图2所示的电子设备500包括：至少一个处理器510、存储器540和至少一个网络接口520。电子设备500中的各个组件通过总线系统530耦合在一起。可理解，总线系统530用于实现这些组件之间的连接通信。总线系统530除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统530。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器540包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器540旨在包括任意适合类型的存储器。存储器540可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器540能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统541，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块542，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本发明实施例提供的图像异常区域的检测装置可以采用软件方式实现，图2示出了存储在存储器540中的图像异常区域的检测装置543，其可以是程序和插件等形式的软件，包括以下软件模块：用于训练神经网络模型的区域提取模块5431、区域形状调整模块5432、异常素材填充模块5433和训练模块5434、以及用于检测待检测图像的获取模块5435和检测模块5436。这些模块是可以是逻辑功能模块，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像异常区域的检测装置543可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像异常区域的检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable LogicDevice)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面，以由图1中的服务器200实施本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法为例说明。参见图3A，图3A是本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法的流程示意图，将结合图3A示出的步骤进行说明。
在步骤S101中，服务器获取正常图像。
这里，正常图像是指图像中不包含贴图丢失异常的图像。图像可以是游戏输出画面，即运行游戏时输出的画面，也可以是视频输出画面，即播放视频时输出的画面。
在一些实施例中，当图像是游戏输出画面时，服务器采集若干时间段(例如5分钟或30分钟等)内的运行游戏时所输出的正常画面，即不包含贴图丢失异常的画面。本发明实施例通过采集不包含贴图丢失异常的游戏输出画面，可以提升后续检测游戏输出画面是否包含异常区域的准确性。
在一些实施例中，当图像是视频输出画面时，服务器采集若干时间段(例如5分钟或30分钟等)内的播放视频时所输出的正常画面，即不包含贴图丢失异常的画面。本发明实施例通过采集不包含贴图丢失异常的视频输出画面，可以提升后续检测视频输出画面是否包含异常区域的准确性。
在步骤S102中，服务器对正常图像进行种子区域提取处理，以获得正常图像中用于填充异常素材的种子区域。
在一些实施例中，服务器从正常图像中选取若干区域，作为候选的在后续步骤中用于模拟贴图丢失异常的种子区域。
在一些实施例中，参见图3B，图3B是本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法的流程示意图，图3A示出的步骤S102还可以通过步骤S1021至步骤S1024来具体实现。
在步骤S1021中，服务器确定色彩范围，并选取正常图像中在色彩范围内的多个像素。
这里，图像中的每个像素在R(Red)、G(Green)、B(Blue)三个通道的颜色值均在0至255的范围内。例如：纯红色的R值为255，G值为0，B值为0；灰色的R、G、B三个通道的颜色值均相等(除了0和255)；白色的R、G、B三个通道的颜色值都为255；黑色的R、G、B三个通道的颜色值都为0。图像中的每个像素只使用三种颜色，就可以使每个像素按照不同的比例混合，以在屏幕上呈现16777216种颜色。
在一些实施例中，服务器首先在0至255的范围内选取一个数值C1作为色彩范围的中心点，以及一个数值R作为色彩范围的半径(R值越大，色彩范围越大)；然后设置[C1-R，C1+R]的范围作为色彩范围；最后选取正常图像中R、G、B三个通道的颜色值均落在[C1-R，C1+R]的范围内的多个(即至少两个)像素。
作为示例，服务器选取100作为色彩范围的中心点，以及20作为色彩范围的半径，可确定色彩范围为[80，120]；选取正常图像中R、G、B三个通道的颜色值均落在[80，120]的范围内的多个像素。
本发明实施例中，选取的色彩范围的半径R值越小，则表征在正常图像中所选取的多个像素的颜色越相似，且选取的像素数量越少；选取的色彩范围的半径R值越大，则表征在正常图像中选取的多个像素的颜色越不相似，且选取的像素数量越少。
在步骤S1022中，服务器确定正常图像中的多个闭合轮廓。
在一些实施例中，正常图像中的每个闭合轮廓包括在色彩范围内的多个像素中的部分像素，每个闭合轮廓中所包含的像素可以相同，也可以不相同。
举例来说，当闭合轮廓A中包含像素1、像素2和像素3时，闭合轮廓B中可以包括像素1，也可以不包括像素1。闭合轮廓A和闭合轮廓B可以是具有相互重合的部分，也可以是不具有相互重合的部分。
在一些实施例中，服务器确定正常图像中的闭合轮廓的过程具体为：服务器将正常图像中在色彩范围内的多个像素以掩膜的形式进行保存，其中，掩膜用于将多个像素对应的区域进行屏蔽；确定掩膜在正常图像所屏蔽的区域中包括的多个闭合轮廓。
这里，掩膜的作用是使屏蔽的区域参与后续的处理，从而使正常图像中除屏蔽的区域之外的区域不参与后续的处理。
本发明实施例通过将正常图像中在色彩范围内的多个像素以掩膜的形式进行保存，可以对图像上某些区域进行屏蔽，使服务器仅对屏蔽区域进行处理或统计，可以提升服务器确定正常图像中的多个闭合轮廓的准确性。
在步骤S1023中，服务器确定多个闭合轮廓中每个闭合轮廓对应的图像子区域的面积。
在一些实施例中，服务器对步骤S1022中确定的闭合轮廓进行编号，然后对正常图像中的每一个闭合轮廓所包括的图像子区域计算面积，并根据图像子区域的面积对编号后的闭合轮廓对应的图像子区域进行后续处理。
在步骤S1024中，服务器根据每个图像子区域的面积，选取多个图像子区域中的部分图像子区域以作为种子区域。
在一些实施例中，服务器对多个图像子区域的面积进行降序排序，在降序排序结果中选取在前的部分图像子区域，以作为种子区域。
作为示例，服务器在多个图像子区域中选取固定数量或固定比例的部分图像子区域，例如，当正常图像中有50个图像子区域时，可以选取降序排序结果中在前的15个图像子区域(即面积最大的15个图像子区域)作为种子区域，或者，选取降序排序结果中在前的占图像子区域总数的20％个数的图像子区域(即面积最大的10个图像子区域)作为种子区域。
在一些实施例中，服务器选取多个图像子区域中面积大于图像子区域面积阈值的图像子区域，以作为种子区域。
作为示例，图像子区域面积阈值可以是预先设定的固定值，也可以是根据正常图像中包含图像子区域的面积确定的，例如，将正常图像中图像子区域的面积的平均值作为图像子区域面积阈值。
作为示例，服务器可以将面积大于图像子区域面积阈值的图像子区域全部作为种子区域，也可以从面积大于图像子区域面积阈值的图像子区域中选取部分图像子区域作为种子区域，例如，当正常图像中有50个面积大于图像子区域面积阈值的图像子区域时，可以选取降序排序结果中在前的15个图像子区域(即面积最大的15个图像子区域)作为种子区域，或者，选取降序排序结果中在前的占图像子区域总数的20％个数的图像子区域(即面积最大的10个图像子区域)作为种子区域。
由于在后续检测图像是否存在异常区域时，图像中异常区域的面积超过阈值的情况会被重点检查。因此，本发明实施例对于正常图像中包含的所有图像子区域基于面积的大小进行排序，仅保留面积最大、和/或面积均大于图像子区域面积阈值的部分图像子区域，可以避免训练完成的神经网络模型出现过拟合的现象，从而提高图像异常区域检测的准确性。
在一些实施例中，在正常图像中，步骤S1024中确定的种子区域可能会出现正常图像中种子区域的数量较少(例如正常图像中种子区域的数量少于三个)或种子区域的总面积较小(例如正常图像中种子区域的面积总和小于正常图像总面积25％)的情况。为了保证后续生成异常图像的效果，需要对种子区域进行扩展。本发明实施例扩大步骤S1021中的色彩范围(例如改变R值，每次将R值增加10)，然后重新完成进行步骤S1022至步骤S1024的操作。直到正常图像中所有种子区域的总面积达到区域面积阈值或总个数达到区域数量阈值或重复次数达到扩大次数阈值则停止扩大色彩范围。
作为示例，当所确定(获得)的种子区域的数量小于区域数量阈值时、和/或当种子区域的面积和小于区域面积阈值时，扩大步骤S1021中服务器确定的色彩范围，并基于扩大后的色彩范围重新确定种子区域，以使重新确定的种子区域的数量不小于区域数量阈值、和/或重新确定的种子区域的面积和不小于区域面积阈值时，停止扩大色彩范围。
作为另一个示例，当所确定的种子区域的数量小于区域数量阈值时、和/或当种子区域的面积和小于区域面积阈值时，扩大步骤S1021中服务器确定的色彩范围，并基于扩大后的色彩范围重新确定种子区域，直至扩大色彩范围的次数达到扩大次数阈值。
由于在正常图像中色彩相似、且在空间上连续的区域有更大的可能属于同一个贴图，因此本发明实施例通过选取色彩相似、且面积大于某个阈值的联通区域以作为种子区域，能够提高后续在正常图像中填充异常素材的快捷性。
在步骤S103中，服务器对种子区域进行区域形状调整(或称改善)处理，以获得目标种子区域。
在一些实施例中，参见图3C、图3D和图3E，图3C、图3D和图3E是本发明实施例提供的区域形状调整处理的原理图，对种子区域进行区域形状调整处理，也称为形态学中的闭运算，闭运算首先对种子区域进行膨胀操作，然后对膨胀后的种子区域进行腐蚀处理，该过程可以填平种子区域中存在的孔和缝隙，例如图3D，并将相近的种子区域进行联通，例如图3E。
下面结合图3C说明区域形状调整处理的具体过程，首先使用结构元素302对正常图像301中的种子区域303进行遍历处理(膨胀操作)，使正常图像中与种子区域边界所接触的区域合并至种子区域内，然后使用结构元素对合并后的种子区域进行遍历处理(腐蚀操作)，以将合并后的种子区域的边界向内部收缩，从而获得已填平种子区域中存在的孔和缝隙，且将相近的种子区域进行联通后的目标种子区域304。
作为示例，服务器对种子区域进行膨胀处理，和/或，将相邻的种子区域进行联通，得到预处理种子区域；其中，膨胀处理用于使正常图像中与种子区域接触的区域合并至种子区域内，且使种子区域中的孔和缝隙被移除；对预处理种子区域进行腐蚀处理，以使预处理种子区域的边界向内部收缩，并将腐蚀处理后的预处理种子区域作为目标种子区域。
本发明实施例采取闭运算对种子区域进行处理以获得目标种子区域，可以填充种子区域内的细小空洞、联通相邻的种子区域、以及平滑种子区域的边界的同时并不明显改变种子区域的面积。
在步骤S104中，服务器在正常图像中位于目标种子区域的范围内，进行异常素材填充处理，以获得异常图像。
这里，异常素材的类型包括色彩(例如纯色或混色等)和纹理(例如马赛克、模糊或扭曲等)至少之一。
在一些实施例中，服务器确定在目标种子区域填充的异常素材；在正常图像中位于目标种子区域的范围内，填充设定的均匀颜色的色彩和设定的纹理至少之一。
作为示例，参见图3F和图3G，图3F和图3G是本发明实施例提供的异常素材填充处理的原理图，图3F和图3G中，服务器在正常图像中位于目标种子区域305-1和305-2的范围内，填充设定的色彩或纹理。
本发明实施例通过在目标种子区域中填充异常素材，就可以获得异常图像，使得无需采集异常图像即可获取大量的训练样本，节省了训练成本。
在步骤S105中，服务器将正常图像作为正样本，将异常图像作为负样本，更新用于检测图像异常区域的神经网络模型的参数，并将更新后的参数作为训练后的神经网络模型的参数。
在一些实施例中，服务器将训练用的图像及标注信息(例如，将正常图像标记为类别0，将异常图像标记为类别1)输入至卷积神经网络模型(例如MobileNet模型，ResNet模型等)中进行训练。其中，训练神经网络模型所使用的正负样本的数量无规定，例如，正样本和负样本的数量相同。训练的过程中可采用基于梯度下降法的神经网络训练方式。
这里，正样本和负样本的数量越多，训练完成的神经网络模型的检测图像异常区域的准确率越高；正样本和负样本的数量越少，训练完成的神经网络模型的检测图像异常区域的准确率越低。
本发明实施例使用前述步骤获取的包含正常图像和异常图像的训练样本对神经网络模型进行训练，以获得用于检测图像异常区域的神经网络模型的参数，提升了将训练完成的神经网络模型应用于检测图像异常区域的准确率。
下面，以由图1中的服务器200实施本发明实施例提供的图像异常区域的检测方法为例说明。参见图4，图4是本发明实施例提供的图像异常区域的检测方法的流程示意图，将结合图4示出的步骤进行说明。
在步骤S201中，服务器获取训练完成的神经网络模型和待检测图像。
在一些实施例中，服务器获取训练完成的神经网络模型的操作和获取待检测图像的操作无先后顺序。待检测图像可以是游戏输出画面，即运行游戏时输出的画面，也可以是视频输出画面，即播放视频时输出的画面。
作为示例，当待检测图像是游戏输出画面时，服务器采集运行游戏时所输出的画面，可以检测游戏输出画面是否包含异常区域。
作为另一个示例，当图像是视频输出画面时，服务器采集播放视频时所输出的画面，可以检测视频输出画面是否包含异常区域。
在步骤S202中，服务器通过神经网络模型从待检测图像中提取特征。
在一些实施例中，神经网络模型包括特征提取网络，服务器通过特征提取网络从待检测图像中提取特征。
作为示例，服务器通过神经网络模型从待检测图像中提取特征的过程具体包括：服务器通过神经网络模型从待检测图像中确定每个像素的R、G、B通道的颜色值，并将颜色值相近的像素提取出来以组成待检测区域，以使后续通过神经网络模型对待检测区域进行分类处理。
在步骤S203中，服务器基于所提取的特征进行二分类处理，以得到待检测图像是否包括异常区域的检测结果。
在一些实施例中，神经网络模型包括分类网络，服务器通过分类网络对所提取的特征(即上述的待检测区域)进行二分类处理(即判断待检测区域中是否包含异常区域)，以得到待检测图像是否包括异常区域的检测结果。
作为示例，神经网络模型对于任一输入的待检测图像(该图像未知是否包含异常区域)进行检测，输出0或1的分类结果(例如0对应于无异常区域的正常图像、1对应于包含异常区域的异常图像)。因此便可判断待检测图像中是否包含异常区域。
本发明实施例使用训练完成的神经网络模型对待检测图像进行检测，以确定待检测图像是否包含异常区域，提升了检测图像异常区域的准确率以及效率。
下面继续结合图2说明电子设备500的结构，在一些实施例中，如图2所示，存储在存储器540的图像异常区域的检测装置543中的软件模块可以包括：用于训练神经网络模型的区域提取模块5431、区域形状调整模块5432、异常素材填充模块5433和训练模块5434、以及用于检测待检测图像的获取模块5435和检测模块5436。
区域提取模块5431，用于获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；区域形状调整模块5432，用于对所述种子区域进行区域形状调整处理，以获得目标种子区域；异常素材填充模块5433，用于在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；训练模块5434，用于将所述正常图像作为正样本，将所述异常图像作为负样本，对神经网络模型进行训练，以获得用于检测图像异常区域的神经网络模型的参数。
获取模块5435，用于获取待检测图像；检测模块5436，用于通过所述神经网络模型从所述待检测图像中提取特征，并基于所提取的特征进行二分类处理，以得到所述待检测图像是否包括异常区域的检测结果。
在一些实施例中，所述区域提取模块5431，还用于确定色彩范围，并选取所述正常图像中在所述色彩范围内的多个像素；确定所述正常图像中的多个闭合轮廓，其中，每个所述闭合轮廓包括所述多个像素中的部分像素；确定所述多个闭合轮廓中每个闭合轮廓对应的图像子区域的面积，并根据每个所述图像子区域的面积，选取多个所述图像子区域中的部分图像子区域以作为所述种子区域。
在一些实施例中，所述区域提取模块5431，还用于将所述多个像素以掩膜的形式进行保存，其中，所述掩膜用于将所述多个像素对应的区域进行屏蔽；确定所述掩膜在所述正常图像所屏蔽的区域中包括的多个闭合轮廓。
在一些实施例中，所述区域提取模块5431，还用于对多个所述图像子区域的面积进行降序排序，在降序排序结果中选取在前的部分所述图像子区域，以作为所述种子区域；或者，选取多个所述图像子区域中面积大于图像子区域面积阈值的图像子区域，以作为所述种子区域。
在一些实施例中，所述图像异常区域的检测装置543还包括：扩大色彩范围模块，用于当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新获得种子区域，以使重新获得的种子区域的数量不小于所述区域数量阈值、且重新获得的种子区域的面积和不小于所述区域面积阈值时，停止扩大所述色彩范围。
在一些实施例中，所述扩大色彩范围模块，还用于当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新获得种子区域，直至扩大所述色彩范围的次数达到扩大次数阈值。
在一些实施例中，所述区域形状调整模块5432，还用于对所述种子区域进行膨胀处理，和/或，将相邻的种子区域进行联通，得到预处理种子区域；其中，所述膨胀处理用于使所述正常图像中与所述种子区域接触的区域合并至所述种子区域内，且使所述种子区域中的孔和缝隙被移除；对所述预处理种子区域进行腐蚀处理，以使所述预处理种子区域的边界向内部收缩，并将腐蚀处理后的预处理种子区域作为所述目标种子区域。
在一些实施例中，所述异常素材填充模块5433，还用于确定在所述目标种子区域填充的异常素材，其中，所述异常素材的类型包括色彩和纹理至少之一；在所述正常图像中位于所述目标种子区域的范围内，填充设定的均匀颜色的色彩和设定的纹理至少之一。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法或图像异常区域的检测方法，例如，图3A或图3B示出的用于检测图像异常区域的神经网络模型的训练方法，以及图4示出的图像异常区域的检测方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
下面，将以待检测图像是游戏(输出)画面为例说明在一个实际的应用场景中的示例性应用。
相关技术中，针对检测图像异常区域的方法主要分为两类。
第一、针对局部异常区域检测的方法。这类方法通过在全局图像中检测指定的色彩区域、并分析区域面积、形状等特征，判断图像中是否出现贴图丢失的异常。
第二、基于图像分类的检测方法。这类方法把在全局图像中检测贴图丢失区域的任务，转化为“正常图像”和“包含贴图丢失异常的图像”的二分类问题，通过各种图像分类器来实现图像异常区域检测。
相关技术中的针对局部异常区域检测的方法，设计和实现难度高、运算量大，目前主要针对指定的画面类型、异常区域形状、异常颜色进行检测，对于不规则的异常区域检测准确率低，误报率较高。相关技术的基于图像分类的检测方法需要进行机器学习分类器算法的训练，但这类算法需要大量标注好的训练数据。这类训练数据往往难以收集，并且分类器的准确率随着数据量的减少会急剧下降。
本发明实施例可以通过图像处理技术，模拟出游戏中常见的贴图丢失异常，从而一方面解决了针对局部异常区域检测的方法直接对异常区域检测难度过大的问题，另一方面也解决了基于图像分类的检测方法中缺乏训练数据的问题，将异常画面检测任务转化成了“图像生成”和“图像二分类”任务的结合。本发明实施例可通用于检测多种游戏画面是否包含异常区域。
参见图5，图5是本发明实施例提供的生成异常图像的流程示意图，将结合图5进行具体说明。
在步骤S501中，获取正常图像。
在一些实施例中，服务器采集若干时间段(例如5分钟或30分钟等)内的运行游戏时所输出的正常画面，即不包含贴图丢失异常的画面。
在步骤S502中，获取参数，并设置参数。
在一些实施例中，服务器需要获取生成异常图像过程中所使用的相关参数，并进行设置，其中，具体包括以下几个参数：
(1)生成种子区域的面积下限的参数(即上述的区域面积阈值)。
该参数用于控制模拟异常图片中异常区域(即种子区域)的面积占总图像面积的比例。
(2)填充的色彩或纹理(即上述的异常素材)的参数。
该参数用于控制生成的异常区域是被哪种颜色(或称色彩)或特殊纹理所覆盖。
(3)迭代次数上限的参数(即上述的扩大次数阈值)。
当每一轮异常区域提取处理的流程结束后，将判断异常区域的面积是否符合要求，若不符合则需要循环迭代，该参数用于控制循环迭代的最大次数。
在步骤S503中，提取种子区域。
在此步骤中，本发明实施例将从输入的正常游戏画面(即上述的正常图像)中选取若干区域，以作为候选的用于在后续步骤中用于模拟贴图丢失的种子区域。由于在正常图像中色彩相似、且在空间上连续的区域有更大的可能属于同一个贴图，因此本发明实施例通过选取色彩相似、且面积大于某个阈值的联通区域以作为种子区域。具体操作如下：
(1)确定选取的色彩范围的过程。
首先在0至255的范围内选取一个数值C1作为色彩范围的中心点，以及一个数值R作为色彩范围的半径(R值越大，色彩范围越大)；然后设置[C1-R，C1+R]的范围作为色彩范围；最后选取正常图像中R、G、B三个通道的颜色值均落在[C1-R，C1+R]的范围内的像素。
通过这一步可以在正常图像中将颜色相近的区域提取出来，并以掩膜形式进行保存。
(2)确定边界以及面积计算的过程。
针对上一步中提取的区域，本发明实施例会在先在掩膜图像中提取所有的闭合轮廓，并对提取的闭合轮廓进行编号，然后对每一个闭合轮廓所包括的图像子区域计算面积。
(3)零散区域的剔除过程。
由于在后续检测游戏画面是否包含异常区域时，图像中异常区域的面积超过阈值的情况会被重点检测。因此，本发明实施例对于正常图像中包含的所有图像子区域基于面积的大小进行排序，仅保留面积最大、和/或面积均大于图像子区域面积阈值的部分图像子区域。
在一些实施例中，选取图像子区域的过程可以是：对多个图像子区域的面积进行降序排序，在降序排序结果中选取在前的部分图像子区域，以作为种子区域；和/或，选取多个图像子区域中面积大于图像子区域面积阈值的图像子区域，以作为种子区域。
需要说明的是，本发明实施例是通过色彩范围提取种子区域，也可以使用图像语义分割或实例分割的算法进行种子区域的提取。
在步骤S504中，种子区域的后处理。
种子区域的后处理过程具体如下：
(1)基于色彩范围的区域拓展过程。
在部分图像中，在步骤S502中提取的种子区域会出现种子区域的数量较少(例如正常图像中种子区域的数量少于三个)或种子区域的总面积较小(即正常图像中种子区域的面积总和小于生成种子区域的面积下限，例如正常图像中种子区域的面积总和小于正常图像总面积25％)的情况。为了保证后续步骤中生成异常图像的效果，在此步骤中需要对种子区域进行扩展。
本发明实施例可以增加步骤S502中的R值(例如每次将R值增加10，即扩大色彩范围)，然后重新完成步骤S502中剩下的操作，直到正常图像中种子区域的总面积达到一定阈值(即上述的区域面积阈值)或重复次数达到一定阈值(即上述的扩大次数阈值)则停止增加步骤S502中的R值(即扩大色彩范围)。
(2)基于图像形态学变化的区域形状改善(即上述的区域形状调整)过程。
区域形状改善的过程可以填平种子区域中存在的孔和缝隙，并将相近的种子区域进行联通，在这一步中，会对上述步骤中输出的种子区域进行形态学中的闭运算。
在一些实施例中，首先使用结构元素对种子区域中进行遍历处理(膨胀操作)，使正常图像中与种子区域边界所接触的区域合并至种子区域内，然后使用结构元素对合并后的种子区域进行遍历处理(腐蚀操作)，以将合并后的种子区域的边界向内部收缩，从而获得已填平种子区域中存在的孔和缝隙，且将相近的种子区域进行联通后的种子区域。
在步骤S505中，填充颜色纹理，以获得异常图像。
基于上述步骤所确定的区域信息，对正常图像进行操作，在前述步骤中生成的种子区域内填充指定的均匀颜色、或指定的特殊纹理，以获得异常图像。
根据上述步骤获取异常图像之后，本发明实施例还提供一种基于机器学习模型(即上述的神经网络模型)判断不规则贴图丢失异常区域的方法，具体实现过程如下。
第一步，使用不包含任何异常区域的游戏画面(即上述的正常图像)作为训练集中的正样本，其中，正样本的数量可以为任意正整数，通常根据具体使用的分类模型进行调整，实际应用中可以使用若干分钟的游戏录像。
第二步，使用由本发明实施例生成的异常图像作为训练集中的负样本。其中，负样本数量无硬性要求，通常由具体使用的分类模型和正样本数量所决定，例如负样本和正样本的数量相等。
在一些实施例中，正样本和负样本的数量越多，训练完成的神经网络模型的检测图像异常区域的准确率越高；正样本和负样本的数量越少，训练完成的神经网络模型的检测图像异常区域的准确率越低。
第三步，将训练用的图像及标注信息(例如，将正常图像标记为类别0，将异常图像标记为类别1)输入至卷积神经网络模型(例如，MobileNet模型，ResNet模型等)中进行训练。训练的过程中可采用基于梯度下降法的神经网络训练方式。
在一些实施例中，参见图6，图6是本发明实施例提供的用于检测图像异常区域的神经网络模型的训练方法的原理示意图，图6中，首先采集大量正常图像和异常图像作为训练集中的样本，然后基于梯度下降法训练神经网络模型，最后获得用于检测图像异常区域的神经网络模型的参数。
第四步，训练所得的卷积神经网络模型可对于任一输入的待检测图像(该图像未知是否包含异常区域)进行检测，输出0或1的分类结果(即上述的检测结果)，该分类结果对应上一步中对于0和1的定义(例如，0对应于无异常区域的正常图像、1对应于包含异常区域的异常图像)。从而，可以判断待检测图像中是否包含不规则贴图丢失异常区域。
在一些实施例中，参见图7，图7是本发明实施例提供的图像异常区域的检测方法的原理示意图，图7中，首先获取待检测图像，并将待检测图像输入至训练完成的神经网络模型中，然后神经网络模型经过特征提取并基于所提取的特征进行二分类处理，以得到待检测图像是否包括异常区域的检测结果。
综上所述，本发明实施例具有以下有益效果：
1)一方面解决了针对局部异常区域检测的方法直接对异常区域检测难度过大的问题，另一方面也解决了基于图像分类的检测方法中缺乏训练数据的问题，本发明实施例将异常画面检测任务转化成了“图像生成”和“图像二分类”任务的结合，可用于检测多种游戏画面是否包含异常区域。
2)通过在正常图像中提取目标种子区域，并在目标种子区域中填充异常素材，以获得异常图像，使得无需采集异常图像即可获取大量的训练样本，节省了训练成本。
3)通过大量的训练样本对神经网络模型进行训练以获得用于检测图像异常区域的神经网络模型的参数，提升了将训练完成的神经网络模型应用于检测图像异常区域的准确率。
4)通过将正常图像中在色彩范围内的多个像素以掩膜的形式进行保存，可以对图像上某些区域进行屏蔽，使服务器仅对屏蔽区域进行处理或统计，可以提升服务器确定正常图像中的多个闭合轮廓的准确性。
5)通过对于正常图像中包含的所有图像子区域基于面积的大小进行排序，仅保留面积最大、和/或面积均大于图像子区域面积阈值的部分图像子区域，可以避免训练完成的神经网络模型出现过拟合的现象，从而提高图像异常区域检测的准确性。
6)通过选取色彩相似、且面积大于某个阈值的联通区域以作为种子区域，能够提高在后续填充异常素材的快捷性。
7)采取闭运算对种子区域进行处理以获得目标种子区域，可以填充种子区域内的细小空洞、联通相邻的种子区域、以及平滑种子区域的边界的同时并不明显改变种子区域的面积。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (10)
1.一种用于检测图像异常区域的神经网络模型的训练方法，其特征在于，所述方法包括：
获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；
对所述种子区域进行区域形状调整处理，以获得目标种子区域；
在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；
将所述正常图像作为正样本，将所述异常图像作为负样本，更新用于检测图像异常区域的神经网络模型的参数，并将更新后的参数作为训练后的所述神经网络模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域，包括：
确定色彩范围，并选取所述正常图像中在所述色彩范围内的多个像素；
确定所述正常图像中的多个闭合轮廓，其中，每个所述闭合轮廓包括所述多个像素中的部分像素；
确定所述多个闭合轮廓中每个闭合轮廓对应的图像子区域的面积，并根据每个所述图像子区域的面积，选取多个所述图像子区域中的部分图像子区域以作为所述种子区域。
3.根据权利要求2所述的方法，其特征在于，
在所述选取所述正常图像中在所述色彩范围内的多个像素之后，所述方法还包括：
将所述多个像素以掩膜的形式进行保存，其中，所述掩膜用于将所述多个像素对应的区域进行屏蔽；
所述确定所述正常图像中的多个闭合轮廓，包括：
确定所述掩膜在所述正常图像所屏蔽的区域中包括的多个闭合轮廓。
4.根据权利要求2所述的方法，其特征在于，所述根据每个所述图像子区域的面积，选取多个所述图像子区域中的部分图像子区域以作为所述种子区域，包括以下至少之一：
对多个所述图像子区域的面积进行降序排序，在降序排序结果中选取在前的部分图像子区域，以作为所述种子区域；
选取多个所述图像子区域中面积大于图像子区域面积阈值的图像子区域，以作为所述种子区域。
5.根据权利要求1所述的方法，其特征在于，在所述获得所述正常图像中用于填充异常素材的种子区域之后，所述方法还包括：
当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新获得种子区域，以使
重新获得的种子区域的数量不小于所述区域数量阈值、且重新获得的种子区域的面积和不小于所述区域面积阈值时，停止扩大所述色彩范围。
6.根据权利要求1所述的方法，其特征在于，在所述获得所述正常图像中用于填充异常素材的种子区域之后，所述方法还包括：
当获得的种子区域的数量小于区域数量阈值时、或当获得的种子区域的面积和小于区域面积阈值时，扩大色彩范围，并基于扩大后的所述色彩范围重新获得确定种子区域，直至
扩大所述色彩范围的次数达到扩大次数阈值。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述种子区域进行区域形状调整处理，以获得目标种子区域，包括：
对所述种子区域进行膨胀处理，和/或，将相邻的种子区域进行联通，以获得预处理种子区域；
其中，所述膨胀处理用于使所述正常图像中与所述种子区域接触的区域合并至所述种子区域内，且使所述种子区域中的孔和缝隙被移除；
对所述预处理种子区域进行腐蚀处理，以使所述预处理种子区域的边界向内部收缩，并将腐蚀处理后的预处理种子区域作为所述目标种子区域。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，包括：
确定在所述目标种子区域填充的异常素材，其中，所述异常素材的类型包括色彩和纹理至少之一；
在所述正常图像中位于所述目标种子区域的范围内，填充设定的均匀颜色的色彩和设定的纹理至少之一。
9.一种基于权利要求1至8任一项所述的神经网络模型的图像异常区域的检测方法，其特征在于，所述方法包括：
获取待检测图像；
通过所述神经网络模型从所述待检测图像中提取特征，并
基于所提取的特征进行二分类处理，以获得所述待检测图像是否包括异常区域的检测结果。
10.一种用于检测图像异常区域的神经网络模型的训练装置，其特征在于，所述装置包括：
区域提取模块，用于获取正常图像，并对所述正常图像进行种子区域提取处理，以获得所述正常图像中用于填充异常素材的种子区域；
区域形状调整模块，用于对所述种子区域进行区域形状调整处理，以获得目标种子区域；
异常素材填充模块，用于在所述正常图像中位于所述目标种子区域的范围内，进行异常素材填充处理，以获得异常图像；
训练模块，用于将所述正常图像作为正样本，将所述异常图像作为负样本，对神经网络模型进行训练，以获得用于检测图像异常区域的神经网络模型的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010173603.7A CN112766481B (zh) | 2020-03-13 | 2020-03-13 | 神经网络模型的训练方法、装置及图像检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010173603.7A CN112766481B (zh) | 2020-03-13 | 2020-03-13 | 神经网络模型的训练方法、装置及图像检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766481A true CN112766481A (zh) | 2021-05-07 |
| CN112766481B CN112766481B (zh) | 2023-11-24 |
Family
ID=75693038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010173603.7A Active CN112766481B (zh) | 2020-03-13 | 2020-03-13 | 神经网络模型的训练方法、装置及图像检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766481B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130094726A1 (en) * | 2011-10-18 | 2013-04-18 | Olympus Corporation | Image processing device, image processing method, and computer readable storage device |
| CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
| CN105530851A (zh) * | 2013-09-13 | 2016-04-27 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| US20170083762A1 (en) * | 2015-06-22 | 2017-03-23 | Photomyne Ltd. | System and Method for Detecting Objects in an Image |
| US9760978B1 (en) * | 2016-05-09 | 2017-09-12 | Adobe Systems Incorporated | Missing region prediction |
| CN107305690A (zh) * | 2016-04-16 | 2017-10-31 | 上海知兄电子科技有限公司 | 一种工业视觉去除杂质颗粒图像的方法 |
| US20180137612A1 (en) * | 2015-04-27 | 2018-05-17 | Wuhan Wuda Zoyon Science And Technology Co., Ltd. | A stepwise refinement detection method for pavement cracks |
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN109447478A (zh) * | 2018-10-31 | 2019-03-08 | 中国科学院遥感与数字地球研究所 | 一种基于八分位法的工业热污染区提取方法 |
| CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| CN109919854A (zh) * | 2019-01-16 | 2019-06-21 | 中德（珠海）人工智能研究院有限公司 | 一种缺少区域预测的方法以及系统 |
| CN110288036A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置及电子设备 |
| US20190311475A1 (en) * | 2016-07-04 | 2019-10-10 | Nec Corporation | Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program |
| US20190325605A1 (en) * | 2016-12-29 | 2019-10-24 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
| CN110766079A (zh) * | 2019-10-24 | 2020-02-07 | 南京纳贝信息技术有限公司 | 用于屏幕异常画面检测的训练数据的生成方法与装置 |
| US20200074560A1 (en) * | 2018-08-31 | 2020-03-05 | Alibaba Group Holding Limited | System and method for optimizing damage detection results |
-
2020
- 2020-03-13 CN CN202010173603.7A patent/CN112766481B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130094726A1 (en) * | 2011-10-18 | 2013-04-18 | Olympus Corporation | Image processing device, image processing method, and computer readable storage device |
| CN105530851A (zh) * | 2013-09-13 | 2016-04-27 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| US20180137612A1 (en) * | 2015-04-27 | 2018-05-17 | Wuhan Wuda Zoyon Science And Technology Co., Ltd. | A stepwise refinement detection method for pavement cracks |
| CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
| US20180253836A1 (en) * | 2015-06-16 | 2018-09-06 | South China University Of Technology | Method for automated detection of defects in cast wheel products |
| US20170083762A1 (en) * | 2015-06-22 | 2017-03-23 | Photomyne Ltd. | System and Method for Detecting Objects in an Image |
| CN107305690A (zh) * | 2016-04-16 | 2017-10-31 | 上海知兄电子科技有限公司 | 一种工业视觉去除杂质颗粒图像的方法 |
| US9760978B1 (en) * | 2016-05-09 | 2017-09-12 | Adobe Systems Incorporated | Missing region prediction |
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| US20190311475A1 (en) * | 2016-07-04 | 2019-10-10 | Nec Corporation | Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program |
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| US20190325605A1 (en) * | 2016-12-29 | 2019-10-24 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| US20200074560A1 (en) * | 2018-08-31 | 2020-03-05 | Alibaba Group Holding Limited | System and method for optimizing damage detection results |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN109447478A (zh) * | 2018-10-31 | 2019-03-08 | 中国科学院遥感与数字地球研究所 | 一种基于八分位法的工业热污染区提取方法 |
| CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
| CN109919854A (zh) * | 2019-01-16 | 2019-06-21 | 中德（珠海）人工智能研究院有限公司 | 一种缺少区域预测的方法以及系统 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| CN110288036A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置及电子设备 |
| CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
| CN110766079A (zh) * | 2019-10-24 | 2020-02-07 | 南京纳贝信息技术有限公司 | 用于屏幕异常画面检测的训练数据的生成方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| JESÚS BENITO-PICAZO; ENRIQUE DOMÍNGUEZ; ESTEBAN J. PALOMO; EZEQUIEL LÓPEZ-RUBIO; JUAN MIGUEL ORTIZ-DE-LAZCANO-LOBATO: "Deep learning-based anomalous object detection system powered by microcontroller for PTZ cameras", DEEP LEARNING-BASED ANOMALOUS OBJECT DETECTION SYSTEM POWERED BY MICROCONTROLLER FOR PTZ CAMERAS, pages 1 - 7 * |
| 程艳云，朱松豪，徐国政，梁志伟: "基于视频图像块模型的局部异常行为检测", 南京邮电大学学报(自然科学版), vol. 37, no. 1, pages 32 - 40 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766481B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| CN109447990B (zh) | 图像语义分割方法、装置、电子设备和计算机可读介质 | |
| CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| CN110929622B (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| KR101640998B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| KR20180004208A (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
| CN110796154B (zh) | 一种训练物体检测模型的方法、装置以及设备 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN110533097A (zh) | 一种图像清晰度识别方法、装置、电子设备及存储介质 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| JP2017538196A (ja) | 商品画像のセグメンテーション方法および装置 | |
| CN109558901B (zh) | 一种语义分割训练方法及装置、电子设备、存储介质 | |
| CN113642576B (zh) | 一种目标检测及语义分割任务中训练图像集合的生成方法及装置 | |
| CN112465709B (zh) | 一种图像增强方法、装置、存储介质及设备 | |
| CN111079507A (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN110781980A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN111444923A (zh) | 自然场景下图像语义分割方法和装置 | |
| CN111222557A (zh) | 图像分类方法、装置、存储介质及电子设备 | |
| CN112990171B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112766481A (zh) | 神经网络模型的训练方法、装置及图像检测的方法 | |
| CN112801911B (zh) | 一种去除自然图像中文字类噪声的方法及装置、存储介质 | |
| CN112347976B (zh) | 遥感卫星影像的区域提取方法、装置、电子设备和介质 | |
| KR102201353B1 (ko) | 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043499 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |