CN110766079A

CN110766079A - 用于屏幕异常画面检测的训练数据的生成方法与装置

Info

Publication number: CN110766079A
Application number: CN201911018504.5A
Authority: CN
Inventors: 刘丹枫
Original assignee: Nanjing Nabei Information Technology Co Ltd
Current assignee: Nanjing Nabei Information Technology Co Ltd
Priority date: 2019-10-24
Filing date: 2019-10-24
Publication date: 2020-02-07
Anticipated expiration: 2039-10-24
Also published as: CN110766079B

Abstract

本发明实施例提供用于屏幕异常画面检测的训练数据的生成方法与装置，以解决大量的屏幕异常图像人工采集困难的问题。在本发明实施例中，可根据正常种子图像生成大量的屏幕异常图像，解决了大量的屏幕异常图像人工采集困难的问题。同时，在本发明实施例中，会计算最终屏幕异常图像的拟真度，在其满足预设条件时，才将其作为训练数据放入屏幕异常图像集，保证了训练数据的质量。此外，在本发明实施例中，采用表层异常特征和深度异常特征融合方式：将向正常种子图像中添加表层异常特征后，将其送入深度异常特征生成网络中，网络输出即是最后的屏幕异常图像。

Description

用于屏幕异常画面检测的训练数据的生成方法与装置

技术领域

本发明涉及计算机技术领域，特别涉及用于屏幕异常画面检测的训练数据的生成方法与装置。

背景技术

手机生产厂商、液晶屏幕生产厂商等存在大量的涉及屏幕异常检测的业务需求。屏幕异常检测的业务需求是希望可以不使用额外的硬件装置，仅仅提供一张屏幕的照片就可以检测到该被拍摄屏幕是否存在异常。

上述业务需求的实现主要依靠基于深度学习的屏幕异常检测技术。而这种新技术需要大量的屏幕异常图像作为训练数据构建训练集，以训练屏幕异常检测深度模型。

屏幕异常图像的采集工作可依靠人工对屏幕异常的移动终端进行拍照来实现。然而，由于屏幕异常图像的稀少性，通常比较难以采集到大量的屏幕异常图像。

发明内容

有鉴于此，本发明实施例提供用于屏幕异常画面检测的训练数据的生成方法与装置，以解决大量的屏幕异常图像人工采集困难的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种用于屏幕异常画面检测的训练数据的生成方法，获取正常种子图像，并生成与所述正常种子图像对应的异常生成标签；所述异常生成标签包括预处理方式，所述预处理方式包括用于添加表层异常特征的生成处理方式；所述正常种子图像包括正常的包含屏幕画面的图像；

根据所述异常生成标签对所述正常种子图像进行预处理，得到初始异常图像；所述初始异常图像添加了表层异常特征；所述表层异常特征包含表征纹路以及相邻物体空间位置信息的图像特征；

向深度异常特征生成网络输入的所述初始异常图像，得到添加深度异常特征的最终屏幕异常图像；其中，所述深度异常特征表征了所述初始异常图像中全局物体的相对空间位置信息、物体的抽象特征、所述初始异常图像的语义信息，以及，物体映射到高维空间中的属性信息；

计算所述最终屏幕异常图像的拟真度；所述添加深度异常特征的异常图像的拟真度高于所述初始异常图像的拟真度；

在所述最终屏幕异常图像的拟真度满足预设条件时，将所述最终屏幕异常图像放入屏幕异常图像集。

可选的，不同的生成处理方式用于添加不同类别的表层异常特征；所述方法还包括：对所述屏幕异常图像集进行表层异常特征的类别统计，得到统计结果；根据统计结果判断所述屏幕异常图像集中的最终屏幕异常图像在各类别的分布是否平衡；若平衡，将所述屏幕异常图像集输出；返回再次执行所述获取正常种子图像，并生成异常生成标签的步骤及后续步骤。

可选的，所述编码网络经训练得到；所述训练包括预训练过程；所述预训练过程基于的预训练样本包括：种子图像及拟真度标签；所述拟真度标签包括所述种子图像对应的拟真度；所述预训练包括：所述编码网络获取所述预训练样本，并输出针对所述种子图像的拟真度；预训练过程中得到的拟真度为第一拟真度；对所述第一拟真度与所述拟真度标签中的拟真度求差值；根据所述差值更新所述编码网络的权重；任一预训练样本所包括的种子图像为正常种子图像或异常种子图像；所述异常种子图像存储于所述输入单元中；所述异常种子图像包括：包含异常屏幕画面的图像。

可选的，所述深度异常特征生成网络的训练过程包括：生成与正常种子图像I_o对应的异常生成标签，并根据生成的异常生成标签对所述正常种子图像I_o进行预处理，得到第一训练样本；所述深度异常特征生成网络获取所述第一训练样本，输出添加深度异常特征的第一异常图像样本I_a；将所述第一异常图像样本I_a输入所述编码网络；所述第一异常图像样本I_a用于所述编码网络进行二次训练；所述深度异常特征生成网络接收针对所述第一异常图像样本I_a计算的拟真度；所述深度异常特征生成网络根据返回的拟真度更新自身的权重。

可选的，所述深度异常特征生成网络的训练过程还基于还原异常生成网络；所述深度异常特征生成网络的训练过程还包括：所述还原异常生成网络对输入的异常种子图像I_u进行还原处理，输出与所述异常种子图像I_u相对应的还原图像I_c；生成与所述还原图像I_c对应的异常生成标签，并根据生成的异常生成标签对所述还原图像I_c进行预处理，得到第二训练样本；所述深度异常特征生成网络获取第二训练样本，输出添加深度异常特征的第二异常图像样本I_d；将所述第二异常图像样本I_d输入所述编码网络；所述第二异常图像样本I_d用于所述编码网络进行二次训练；所述深度异常特征生成网络使用所述还原图像I_c与所述第二异常图像样本I_d的差异值，更新自身的权重。

可选的，所述还原异常生成网络的训练过程包括：所述还原异常生成网络获取所述第一异常图像样本I_a，并输出还原图像样本I_b；所述还原异常生成网络将所述还原图像样本I_b和所述正常种子图像I_o相减并作为损失，更新自身的权重。

可选的，所述二次训练包括：所述编码网络获取第三训练样本，并输出针对所述第三训练样本的拟真度；其中，任一所述第三训练样本为所述还原异常生成异常输出的还原图像样本，第一异常图像样本，或者第二异常图像样本；所述二次训练过程中得到的拟真度为第二拟真度；获取人工输入的、针对所述第二拟真度的矫正值；对所述矫正值与所述第二拟真度求差值，并根据得到的差值更新所述编码网络的权重。

可选的，所述异常生成标签中的生成处理方式为目标生成处理方式；所述生成与所述正常种子图像对应的异常生成标签包括：若存在统计结果，将统计结果中不平衡的类别所对应的生成处理方式，确定为所述目标生成处理方式；若不存在统计结果，从预置的多种生成处理方式中选择出一种生成处理方式作为所述目标生成处理方式。

可选的，所述生成与所述正常种子图像对应的异常生成标签还包括：从预置的多种图像扩展方式中确定出一种图像扩展方式；确定出的图像扩展方式为目标图像扩展方式；生成包含所述目标图像扩展方式和所述生成处理方式的所述异常标签。

可选的，所述根据所述异常生成标签对所述正常种子图像进行预处理包括：根据所述目标图像扩展方式对所述正常种子图像进行扩展，得到扩展后的正常种子图像；所述扩展后的正常种子图像为目标正常种子图像；对所述目标正常种子图像进行屏幕边界检测；根据所述目标生成处理方式，对所述目标正常种子图像的目标区域添加相应类别的表层异常特征，得到所述初始异常图像；所述目标区域包括：屏幕边界内的区域；所述添加深度异常特征的异常图像包括：对所述初始异常图像的目标区域加入深度异常特征后得到的图像。

一种用于屏幕异常画面检测的训练数据的生成装置，包括输入单元，标签生成单元，异常图像生成单元以及编码单元；所述编码单元至少包括编码网络，所述异常图像生成单元至少包括预处理单元和深度异常特征生成网络；其中：

所述输入单元用于：存储正常种子图像；所述正常种子图像包括：正常的包含屏幕画面的图像；

所述标签生成单元用于：获取正常种子图像，并生成与所述正常种子图像对应的异常生成标签；所述异常生成标签包括预处理方式，所述预处理方式包括用于添加表层异常特征的生成处理方式；

所述预处理单元用于：根据所述异常生成标签对所述正常种子图像进行预处理，得到初始异常图像；所述初始异常图像添加了表层异常特征；所述表层异常特征包含表征纹路以及相邻物体空间位置信息的图像特征；

所述深度异常特征生成网络用于：向输入的所述初始异常图像添加深度异常特征，得到最终屏幕异常图像；其中，所述深度异常特征表征了所述初始异常图像中全局物体的相对空间位置信息、物体的抽象特征、所述初始异常图像的语义信息，以及，物体映射到高维空间中的属性信息；

所述编码网络用于：计算所述最终屏幕异常图像的拟真度；所述添加深度异常特征的异常图像的拟真度高于所述初始异常图像的拟真度；

可见，在本发明实施例中，可根据正常种子图像生成大量的屏幕异常图像，解决了大量的屏幕异常图像人工采集困难的问题。同时，在本发明实施例中，会计算最终屏幕异常图像的拟真度，在其满足预设条件时，才将其作为训练数据放入屏幕异常图像集，保证了训练数据的质量。

此外，在本发明实施例中，采用表层异常特征和深度异常特征融合方式：将向正常种子图像中添加表层异常特征后，将其送入深度异常特征生成网络中，网络输出即是最后的屏幕异常图像。

表层异常特征体现了图像中物体的纹路、相邻物体空间位置信息等更浅层的图像特征，而深度异常特征则体现了图像中全局物体的相对空间位置信息、物体的抽象特征、图像语义信息、该物体映射到高维空间中的属性信息等。但是，深度异常特征会丢失一大部分表征特征信息。本实施例提供的将表层异常特征和深度异常特征的融合方式，可同时兼顾二者，令生成的最终的屏幕异常图像更加贴合真实的图像。

附图说明

图1、2、5、7、8为本发明实施例提供的生成装置的示例性结构；

图3、4、6为本发明实施例提供的生成方法示例性流程图；

图9-10为本发明实施例提供的预训练流程图；

图11为本发明实施例提供的、深度异常特征生成网络训练过程所涉及的模块示意图；

图12和图13为本发明实施例提供的、深度异常特征生成网络训练过程示例性流程图；

图14和图15为本发明实施例提供的二次训练流程示意图；

图16为本发明实施例提供的梳状失真示意图；

图17为本发明实施例提供的花屏示意图；

图18为本发明实施例提供的块效应的示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下：

拟真度：用于表征一张图像接近真实照片的程度，其数值越大越接近；

正常种子图像：正常的包含屏幕画面的图像；

异常种子图像：包含异常屏幕画面的图像；

内置参数：单元内部参数，通过一些机制生成，例如随机方式等；

全局物体：图像中的所有物体，包括屏幕。

本发明实施例提供了用于屏幕异常画面检测的训练数据的生成方法(简称生成方法)与装置(简称生成装置)，以解决大量的屏幕异常图像人工采集困难的问题。

上述用于屏幕异常画面检测的训练数据的生成装置可以软件或组件的形式部署于服务器(例如应用服务器、训练数据的生成服务器)或普通电脑上。

请参见图1，上述生成装置示例性地包括：

输入单元1，标签生成单元2，异常图像生成单元3以及编码单元4。

请参见图2，上述异常图像生成单元3至少包括：预处理单元31和深度异常特征生成网络32(也可称为深度异常特征生成网络子单元)，编码单元4至少包括编码网络41(也可称为编码网络子单元)，此外，在本发明其他实施例中，编码单元4还可包括人机交互子单元42。

本文后续将结合方法实施例介绍上述各单元的功能。

请参见图3，由上述生成装置所执行的用生成方法示例性得包括如下步骤：

S1：获取正常种子图像。

前述的输入单元1可用于存储正常种子图像。此外，输入单元1还可存储异常种子图像，异常种子图像可用于对编码网络41和后续提及的还原生成网络进行训练。

可由前述的标签生成单元2从输入单元1获取一定数量(例如10000)的正常种子图像。

S2：生成与正常种子图像对应的异常生成标签。

步骤S2可由前述的标签生成单元2执行。

其中，异常生成标签包括预处理方式。

在一个示例中，预处理方式可进一步包括用于添加表层异常特征的生成处理方式。为称呼方便，可将异常生成标签中的生成处理方式为目标生成处理方式。

标签生成单元2中可预置多种(注：这里的多种是大于等于2种)生成处理方式的名称或索引号，从中确定出一种作为目标生成处理方式(请参见图6中的步骤S21)。

或者说，标签生成单元2从预置的多种生成处理方式中确定出一种作为目标生成处理方式。

表层异常特征包含表征纹路以及相邻物体空间位置信息的图像特征。

不同的生成处理方式用于添加不同类别的表层异常特征。表层异常特征示例性地包括但不限于：花屏、色度异常、高斯噪声、椒盐噪声、对比度异常、色度异常、饱和度异常、梳状失真、块效应等，本文后续还将详细介绍。

在另一个示例中，上述预处理方式还可包括图像扩展方式。

标签生成单元2中可预置多种(注：这里的多种是大于等于2种)图像处理方式的名称或索引号，从中确定出一种图像扩展方式(请参见图6中的步骤S22)，为称呼方便，可将确定出的图像扩展方式为目标图像扩展方式。

不同的图像扩展方式用于对正常种子图像进行不同的图像扩展。图像扩展方式包括但不限于：尺度扩展、色域扩展和特征扩展。

在确定出目标图像扩展方式和目标生成方式后，可生成包含目标图像扩展方式和所述生成处理方式的异常标签(请参见图6中的步骤S23)，本文后续还将对如何实现图像扩展进行详细介绍。

需要说明的是，针对一张正常种子图像可相应生成几十个标签，后续相应会生成几十张屏幕异常图像。

S3：根据上述异常生成标签对相应的正常种子图像进行预处理，得到初始异常图像。

初始异常图像至少添加了表层异常特征。

步骤S3可由前述的预处理单元31执行。

前述提及了，异常生成标签还可包括目标图像扩展方式，则在一个示例中，请参见图4，步骤S3可进一步细化包括：

S31：根据异常生成标签中的目标图像扩展方式对正常种子图像进行扩展，得到扩展后的正常种子图像；

为称呼方便，可称扩展后的正常种子图像称为目标正常种子图像。

在一个示例中，请参见图2或图1，预处理单元3可进一步包括扩展单元，由扩展单元执行步骤S31。

前述提及了，图像扩展方式包括但不限于：尺度扩展、色域扩展和特征扩展。其中：

尺度扩展包括：根据内置参数对正常种子图像进行尺度变换，例如平移、缩放。内置参数由标签生成单元生成并写入异常生成标签中；

色域扩展包括：根据内置参数对正常种子图像进行色域变换。内置参数由标签生成单元生成并写入异常生成标签中；

特征扩展包括：根据内置参数对正常种子图像进行特征变换，例如采用两张正常种子图像以不同比例叠加的方式进行特征扩展。内置参数由标签生成单元生成并写入异常生成标签中。

在一个示例中，扩展单元可进一步包括：尺度扩展子单元、色域扩展子单元和特征扩展子单元。与目标扩展方式对应的子单元可对正常种子图像进行相应的扩展。举例来讲，目标扩展方式为尺度扩展，则由尺度扩展子单元对正常种子图像进行尺度扩展处理。

S32：对目标正常种子图像进行屏幕边界检测。

在一个示例中，请参见图2或图1，预处理单元3可进一步包括屏幕检测子单元，由屏幕检测子单元执行步骤S32。

更具体的，可基于目标检测技术检测图像中的屏幕位置，并标注屏幕位置。

S33：根据上述目标生成处理方式，对目标正常种子图像的目标区域添加相应类别的表层异常特征，得到初始异常图像。

其中，目标区域包括：屏幕边界内的区域。目标区域根据标注的屏幕位置而确定。

由于本发明生成的训练数据将用于屏幕异常画面检测，因此，需检测出屏幕边界，向屏幕边界内的画面添加表层异常特征。屏幕边界外的画面，可不予处理。

在一个示例中，请参见图2或图1，预处理单元3可进一步包括生成表征异常子单元，由生成表征异常子单元执行步骤S33。

生成表征异常子单元中可并存多个表层异常特征生成机制，根据异常生成标签选择相应的表征异常特征生成机制。

需要说明的是，请参见图5，也可将预处理单元3中的扩展单元独立出来，屏幕检测子单元、生成表征异常子单元和深度异常特征生成网络组成屏幕异常图像生成单元。

在本发明其他实施例中，也可先添加表层异常特征，再进行图像扩展。

S4：由深度异常特征生成网络向输入的初始异常图像添加深度异常特征，得到最终屏幕异常图像。

其中，深度异常特征表征了初始异常图像中全局物体的相对空间位置信息、屏幕的抽象特征、初始异常图像的语义信息，屏幕映射到高维空间中的属性信息等。

具体的，最终屏幕异常图像包括：对初始屏幕异常图像的目标区域加入深度异常特征后得到的图像。

目标区域的记载请参见本文前述记载，在此不作赘述。

S5：计算最终屏幕异常图像的拟真度。

步骤S5可由编码网络41(也可称为编码网络子单元)计算得到。

需要说明的是，若将初始异常图像输入编码网络41，计算出的拟真度是低于最终屏幕异常图像的拟真度的。

具体的，编码网络41可为一三分类网络，其输出的拟真度包括：

输入图像为正常图像的概率(或得分)、输入图像为异常图像的概率(或得分)，以及，输入图像为拟真度较低的生成图像的概率(或得分)。

这三类的概率或得分的总和为1。

举例来讲，对于某一输入图像，编码网络41输出如下：

正常图像概率0.8，异常图像概率0.1，拟真度低的生成图像0.1，取概率最大的类别为识别出的种类，并输出最大的概率作为最终屏幕异常图像的拟真度。

S6：在最终屏幕异常图像的拟真度满足预设条件时，将最终屏幕异常图像放入屏幕异常图像集。

在一个示例中，预设条件可包括：拟真度大于阈值。

可见，在本发明实施例中，可根据正常种子图像生成大量的屏幕异常图像，解决了大量的屏幕异常图像人工采集困难的问题。同时，在本发明实施例中，会计处最终屏幕异常图像的拟真度，在其满足预设条件时，才将其作为训练数据放入屏幕异常图像集，保证了训练数据的质量。

在本发明其他实施例中，请参见图6，上述生成方法示例性得还包括如下步骤：

S7：对屏幕异常图像集进行表层异常特征的类别统计，得到统计结果。

在一个示例中，统计结果可包括：屏幕异常图像集所包含的图像总数；以及，各类别的最终异常图像的数量与总数间的比值。

前述提及了，表层异常特征的类别包括：花屏、色度异常、高斯噪声、椒盐噪声、对比度异常、色度异常、饱和度异常、梳状失真、块效应。

举例来讲，假定屏幕异常图像集中包含10万张屏幕异常图像，花屏、色度异常、高斯噪声、椒盐噪声、对比度异常、色度异常、饱和度异常、梳状失真、块效应所对应的图像数量分别为：1.3万张、8000张、1.1万张、1.1万张、1.2万张、1.2万张、1万、1.1万张、1.2万张。

其统计结果可包括图像总数10万，以及各类别与总数的比值：13％、8％、11％、11％、12％、12％、10％、11％、12％。

请参见图7或图8，上述生成装置还可包括数据集检测单元5，以执行步骤S7。

假定在步骤S1中获取了1万张正常种子图像，则数据集检测单元5可在使用这1万张正常种子图像生成屏幕异常图像后，执行步骤S7。

S8：根据统计结果判断屏幕异常图像集中的最终屏幕异常图像在各类别的分布是否平衡；若平衡，进入步骤S9，若否返回步骤S1。

可由数据集检测单元5执行步骤S8和S9。

在一个示例中，可采用如下公式计算平衡度Macro_F：

Macro_P、Macro_R的计算公式如下：

其中，n是类别总数，P_i是删除拟真度低的屏幕异常图像后第i类的图像数量，ImgNum是屏幕异常数据集中异常图像的总数。

若Macro_F大于阈值，则表征屏幕异常图像集平衡，可进入步骤S9。

需要说明的是，阈值是可以调节的，可根据屏幕异常数据集的不平衡耐受度来定。

若相反，则表征屏幕异常图像集不平衡，将已生成的异常图像数据集留存，将统计结果反馈给标签生成单元2进行下一次的屏幕异常图像生成。

返回再次执行所述获取正常种子图像，并生成异常生成标签的步骤及后续步骤。

前述提及了，标签生成单元2从预置的多种生成处理方式中确定出一种作为目标生成处理方式。

更具体的，标签生成单元2可通过如下方式确定出目标生成处理方式：

①，若存在统计结果，将统计结果中不平衡的类别所对应的生成处理方式，确定为所述目标生成处理方式；

在一个示例中，可采用如下方式确定不平衡的类别：

步骤A：对统计结果中的比值划分为至少一个集合，每一集合中的比值的差值小于预设的第一比值阈值。

以第一比值阈值为1％为例，假定统计结果中图像总数10万，各类别与总数的比值：13％、8％、11％、11％、12％、12％、10％、11％、12％，可将其分为集合1-3：

{11％、11％、12％、12％、10％、11％、12％},{13％},{8％}。

步骤B，以包含最多比值的集合为基准集合，比值低于基准集合中最小值的类别作为不平衡类别。

沿用前例，集合1包含7个比例，是基准集合。该基准集合中的最小值为10％，那么，8％所对应的类别就是不平衡类别。

或者，也可设置第二比值阈值，当基准集合中的最小值与某一比值间的差值大于等于第二比值阈值时，将该比值所对应的类别作为不平衡类别。

举例来讲，假定第二比值阈值为2％，基准集合中的最小值为10％，那么，9％所对应的类别就不是不平衡类别，而8％所对应的类别就是不平衡类别。

标签生成单元2可根据不平衡的类别的图像数量，基准集合中的最小值所对应的图像数量的差值，来确定不平衡的类别所对应的异常生成标签的数量。

假定，不平衡的类别为“花屏异常”，基准集合中的最小值所对应的类别为“椒盐噪声异常”。

假定“花屏异常”的图像数量为8000张，“椒盐噪声异常”的图像数量为1.2万张。二者相差4000张。

考虑到可能会生成拟真度不高的异常图像，标签生成单元2可按照(1+a％)的比例生成(包含“花屏异常”生成处理方式的)异常生成标签。

假设a＝20，则生成4000*(1+20％)＝4800个包含“花屏异常”生成处理方式的异常生成标签。

此外，对于比值高于基准集合中最大值的类别，例如，13％所对应的类别，可对屏幕异常数据集中该类别的图像进行删除，令此类别的图像数量与基准集合中最大值的类别的图像数量相等。

当然，也可在某一比值与基准集合中最大值之间的差值大于第二比值阈值时，再对该类别的图像进行删除。

仍以第二比值阈值为2％为例，若基准集合中的最大值为12％，13％与12％相差1％，小于第二比值阈值，那么对13％所对应的类别并不作处理，而如果某一类比值为15％，大于第二比值阈值，则对该类别的图像进行删除，令此类别的图像数量与基准集合中最大值的类别的图像数量相等。

②，若不存在统计结果，从预置的多种生成处理方式中选择出一种生成处理方式作为所述目标生成处理方式。

可随机选择或顺次选择等。

标签生成单元2可内置选择器，选择器具有多种模式，例如随机选择模式等。

当检测到数据集不平衡时，标签生成单元2会自动开启内置选择器，拉下正常种子图像数据再次开始异常图像生成的流程。

S9:将屏幕异常图像集输出。

在一个示例中，仍请图7或图8，上述生成装置还可包括输出单元6，可将已生成的屏幕异常图像集送到输出单元6。

上述编码网络41和深度异常特征生成网络32都需经过训练。

在对深度异常特征生成网络32训练前，需对编码网络41进行预训练。

编码网络经训练和二次训练得到，其中，预训练中使用的样本称为预训练样本。请参见图9或图10，预训练示例性得可包括：

S1001：编码网络获取预训练样本。

每一预训练样本可包括：种子图像(正常种子图像或异常种子图像)及拟真度标签；拟真度标签包括种子图像对应的拟真度。需要说明的是，种子图像是真实的照片，因此其拟真度标签中的拟真度均为1。

编码网络一次可获取多个预训练样本进行预训练。

S1002：编码网络输出针对种子图像的拟真度。

为称呼方便，将预训练过程中得到的拟真度为第一拟真度。

S1003：对第一拟真度与拟真度标签中的拟真度求差值，根据差值更新编码网络的权重。

在一个示例中，权重更新公式如下所示：

其中，W_new是新的权重，W_old表示更新前的权重，δ是训练的学习率，f(ε_f)表示拟真度标签中的拟真度，ε_f表示第一拟真度。

需要说明的是，由于正常种子图像以及异常种子图像的拟真度ε＝1，缺少拟真度数值较小的负样本，所以预训练阶段无法完成编码网络的全部训练，后续还要在深度异常特征生成网络的训练间隙进行二次训练。

在完成预训练之后，将进行深度异常特征生成网络的训练。

深度异常特征生成网络的训练过程所涉及的模块如图11所示，请参见图12，其训练过程示例得至少包括：

S1201：生成与正常种子图像I_o对应的异常生成标签，并根据生成的异常生成标签对正常种子图像I_o进行预处理，得到第一训练样本；

其中，训练过程可分多批次进行。每一批次可由标签生成单元2获取一定数量的正常种子图像I_o，生成与之对应的异常生成标签，然后由扩展单元(也可不使用扩展单元进行扩展)、屏幕检测子单元和生成表层异常特征子单元完成预处理，得到第一训练样本。

S1202：深度异常特征生成网络获取第一训练样本，输出添加深度异常特征的第一异常图像样本I_a；

S1203：将第一异常图像样本I_a输入编码网络；

第一异常图像样本I_a可用于编码网络进行二次训练；

S1204：编码网络返回针对第一异常图像样本I_a计算的拟真度。

前述提及，编码单元4还可包括人机交互子单元，人机交互子单元的作用是接收人工对编码网络生成拟真度的矫正值，并返回给编码网络，以供其在二次训练过程中更新自身的网络权重。

则返回的拟真度可包括编码网络计算出的拟真度以及矫正值。

S1205：深度异常特征生成网络根据编码网络返回的拟真度更新自身的权重。

在一个示例中，更新权重的梯度公式可包括：

其中，K为训练时每批次图像数量，γ为调节参数，预设为γ＝2。EG(X)为深度异常特征生成网络的输出，D(EG(X))是编码网络计算的拟真度，AL_d(EG(X))是人机交互子单元反馈的矫正值。

为梯度求导符号。

前述提及，在本发明其他实施例中，深度异常特征生成网络的训练过程还基于还原异常生成网络，则深度异常特征生成网络的训练过程还可包括对还原异常生成网络的训练过程(由于训练过程是对双网进行训练，因此也可称为双网训练)，仍请参见图12，其示例性得至少包括如下步骤：

S1206：还原异常生成网络获取第一异常图像样本I_a，并输出还原图像样本I_b；

S1207：还原异常生成网络将还原图像样本I_b和正常种子图像I_o相减并作为损失，更新自身的权重。

在一个示例中，更新权重的梯度公式包括：

其中，K为训练时每批次图像数量，O(i,j)表示正常种子图像I_o中坐标为(i，j)像素点的灰度值，RG(i,j)是还原图像I_b中坐标为(i，j)像素点的灰度值。X,Y表示图像横纵坐标最大值。

O(i,j)-RG(i,j)实现的是图像相减。

在一个示例中，图像相减可包含：逐相素灰度值相减。

除了正常种子图像，深度异常特征生成网络的训练过程还可引入少量异常种子图像，针对低成本数据需求，异常种子图像与正常种子图像无需一一匹配。

请参见图13，使用异常种子图像的训练过程可包括如下步骤：

S1301：还原异常生成网络对输入的异常种子图像I_u进行还原处理，输出与异常种子图像I_u相对应的还原图像I_c；

需要说明的是，一批次会输入多张异常种子图像I_u。

S1302：将还原图像I_c输入编码网络；

还原图像I_c可用于编码网络进行二次训练。

S1303：编码网络返回针对第还原图像I_c计算的拟真度。

S1304：还原异常生成网络使用拟真度更新自身的权重。

在一个示例中，更新权重的梯度公式包括：

其中，

表示ε_r*x_max关于P_data(x)的期望。x_max是图像像素灰度值的最大值，一般也可直接使用255。ε_r是拟真度的矫正值。

x表示本批次训练输入还原异常生成网络的每一张图像，P_data(x)表示本批次训练输入还原异常生成网络的所有图像。

此外，还原图像I_c还用于训练深度异常网络。

仍请参见图13，其可包括如下步骤：

S1305：生成与还原图像I_c对应的异常生成标签，并根据生成的异常生成标签对还原图像I_c进行预处理，得到第二训练样本；

S1305与前述的S1201相类似，在此不作赘述。

S1306：深度异常特征生成网络获取第二训练样本，输出添加深度异常特征的第二异常图像样本I_dId；

将第二异常图像样本I_dId输入编码网络；第二异常图像样本I_dId用于编码网络进行二次训练；

S1307：深度异常特征生成网络使用还原图像I_cI与第二异常图像样本I_dId的差异值，更新自身的权重。

在一个示例中，更新权重的梯度公式可包括：

其中，表示‖I_d-I_c‖₁关于P_data(x)的期望。‖I_d-I_c‖₁表示两图相减(逐相素灰度值相减)的1范数(结果为一个数值),具体计算方式是:

步骤A,每一张图像看作n行m列的矩阵，将两图像的灰度值矩阵相减，得到n行m列的灰度值差值矩阵；

以n＝2,m＝2为例，假定I_d的灰度值矩阵为：

I_c的灰度值矩阵为

则两图相减，得到的灰度值差值矩阵为：

使用a₁替代d₁-c₁,a₂替代d₂-c₂，a₃替代d₃-c₃，a₄替代d₄-c₄，则灰度值差值矩阵可表示为：

步骤B,对灰度值差值矩阵求每一列的绝对值的和，从和值中取最大值。

沿用前例，假定灰度值差值矩阵表示为：

则各列的绝对值的和表示为：|a₁|+|a₃|，|a₂|+|a₄|。假定，|a₁|+|a₃|最大，则‖I_d-I_c‖₁结果为|a₁|+|a₃|。

深度异常特征生成网络和还原异常生成网络可组成生成深度异常特征子单元。需要说明的是，还原异常生成网络仅用于配合训练深度异常特征生成网络，并不参与深度异常特征的生成。

下面介绍编码网络的二次训练。

本阶段的编码网络的训练是镶嵌在深度异常特征生成网络训练间隙完成的。

请参见图14，二次训练中，是以还原异常生成网络和深度异常生成网络输出的图像作为正负样本(可统称为第三训练样本)，由编码网络对正负样本进行拟真度(为区别可称为第二拟真度)计算。

与预训练相比，在二次训练中，还原异常生成网络和深度异常生成网络提供的图像并未有拟真度标签。因此需要人工通过人机交互子单元，实时针对编码网络得到的第二拟真度进行纠正(人工输入矫正值作为拟真度标签)。

之后，编码网络可对矫正值与第二拟真度求差值，并根据得到的差值更新编码网络的权重。

请参见图15，在一个示例中，二次训练可包括如下步骤：

S1501：编码网络获取第三训练样本，并输出针对第三训练样本的拟真度。

其中，任一第三训练样本为还原异常生成异常输出的还原图像样本，深度异常特征生成网络输出的第一异常图像样本，或者深度异常特征生成网络输出的第二异常图像样本；

二次训练过程中得到的拟真度为第二拟真度，表示为ε_s，ε_s取值为0-1之间，例如ε_s＝0.6。

S1502：编码网络对第二拟真度进行二分类，得到二分类结果，提供给人机交互子单元。

在一个示例中，二分类公式可示例性得如下：

其中，f(ε_s)表示二分类结果。

举例来讲，若ε_s＝0.6，其二分类结果为f(ε_s)＝1。

S1503：人机交互子单元获取人工输入的、针对二分类结果的矫正值，并提供给编码网络。

矫正值的取值可为0或者1。

S1504：对矫正值与第二拟真度求差值，并根据得到的差值更新编码网络的权重。

在一个示例中，权重更新公式如下所示：

其中，W_new是新的权重，W_old为更新前的权重，δ是训练的学习率。

需要说明的是，传统编码网络使用的训练数据来自原始图像以及生成网络的输出图像，两者固定的标签分别是真实图像和虚拟图像，对应的拟真度为1或0。在训练初期，这样的标签并没有太大影响，但到了生成网络和编码网络训练的后期会反而降低二者训练效果。其原因在于后期生成的虚拟图像已经具有很高的拟真度，但是固定的标签无法反映该图像的客观属性。此时，人机交互机制所提供的更加灵活以及准确的标签可以提高网络的后期训练效果。

S1503和S1504体现了编码网络的主动学习。相较于其他分类器，基于主动学习的编码网络具有更高的灵活性、准确性以及更低的数据成本。

综上，编码网络的训练整体分为两阶段：

阶段一：使用全部的种子图像(包括正常种子图像以及异常种子图像)进行预训练。

阶段二，在训练深度异常特征生成网络时，利用深度异常特征生成网络以及还原网络输出的图像作为训练集训练编码网络。

下面介绍如何生成表层异常特征：

1,花屏

花屏异常指在屏幕中出现垂直或者横向的栅栏效应。

可根据随机内置参数在画面的屏幕区域沿屏幕方向模拟生成条纹图案。

2,高斯噪声

在图像中屏幕区域随机加入服从高斯分布噪声。高斯分布公式如下：

其中，P(x)是噪声的高斯概率分布，μ、σ分别是噪声分布的均值和方差。

具体的，对于屏幕区域中每一像素点，在其原有灰度值的基础上加一灰度值，所加灰度值的取值满足高斯分布。

3,椒盐噪声

在图像中屏幕区域加入椒盐噪声，变换公式如下：

P_RGB(x,y)＝O(x,y)+random_spn

其中P_RGB(X)是变换后的图像，O(X)是输入图像，random_spn是服从随机分布的椒盐噪声，其中下标spn指代椒盐噪声salt-and-pepper noise。

椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，是一种随机出现的白点或者黑点。

上述公式实现的是：对于屏幕区域中每一像素点，在其原有灰度值的基础上加一灰度值，所加灰度值的取值服从随机分布。

4,对比度异常

单元内部随机生成内置参数θ∈[-1,1],改变输入图像的屏幕区域对比度。

P_RGB(x,y)＝127+(1+θ)*(O_RGB(x,y)-127)

其中P_RGB(x,y)表示变换后的图像的任一像素点在三通道的灰度值，O_RGB(x,y)表示输入图像的任一像素点在三通道的灰度值,x,y分别表示图像的横向坐标和纵向坐标，x、y取值落入屏幕区域内。

5,饱和度异常

单元内部随机生成内置参数ρ∈[0,1]，分别修改输入图像三通道的灰度值达到改变图像饱和度目的。公式如下：

P_G(x,y)＝O_G(x,y)-ρ*O_R(x,y)+ρ*O_B(x,y)

P_B(x,y)＝O_B(x,y)-ρ*O_R(x,y)+ρ*O_B(x,y)

其中P_R、P_G、P_B分别是变换后的图像的红、绿、蓝三个通道，O_R、O_G、O_B分别是输入图像的红、绿、蓝三个通道；P_R(x,y)表示变换后的图像的任一像素点在红色通道的灰度值，P_G(x,y)表示变换后的图像的任一像素点在绿色通道的灰度值，P_B(x,y)表示变换后的图像的任一像素点在蓝色通道的灰度值；O_R(x,y)表示输入图像的任一像素点在红色通道的灰度值，O_G(x,y)表示输入图像的任一像素点在绿色通道的灰度值，O_B(x,y)表示输入图像的任一像素点在蓝色通道的灰度值；

x,y分别表示图像的横向坐标和纵向坐标，x、y取值落入屏幕区域内。

6,梳状失真

单元内部会随机生成内置参数：宽或高、τ∈[0,1]。

P_RGB(x,y)＝O_RGB(x+τ*W,y+τ*H)

其中τ为内置参数，W表示宽的平移数值，H表示高的平移数值，其中W和H一个为0，一个不为0。P_RGB(x,y)表示变换后的图像的任一像素点的像素值。O_RGB表示变换前的图像。

梳状失真采用对输入图像逐行或者逐列以不同动量平移，产生类似梳齿的屏幕失真效果。

7,块效应(块效应指屏幕中存在颜色单一的矩形)

单元内部随机生成内置参数：α₁,α₂∈[0,W]、β₁,β₂∈[0,H],公式如下：

在图像中屏幕局部区域生成单色值图块，模拟屏幕块效应异常特征。

上述公式实现的是：将矩形区域(x轴取值为α₁至α₂，y轴取值为β₁至β₂)内的颜色变成了屏幕中最亮的颜色

由于是包含RGB三个通道，对于某一像素点而言，可将三个通道的灰度值相加得到该像素点的灰度值总和，灰度值总和最大的即为

也即最亮的颜色。

图16-18分别示出了梳状失真、花屏、块效应的示例图。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种用于屏幕异常画面检测的训练数据的生成方法，其特征在于，

获取正常种子图像，并生成与所述正常种子图像对应的异常生成标签；所述异常生成标签包括预处理方式，所述预处理方式包括用于添加表层异常特征的生成处理方式；所述正常种子图像包括正常的包含屏幕画面的图像；

2.如权利要求1所述的方法，其特征在于，

不同的生成处理方式用于添加不同类别的表层异常特征；

所述方法还包括：

对所述屏幕异常图像集进行表层异常特征的类别统计，得到统计结果；

根据统计结果判断所述屏幕异常图像集中的最终屏幕异常图像在各类别的分布是否平衡；

若平衡，将所述屏幕异常图像集输出；返回再次执行所述获取正常种子图像，并生成异常生成标签的步骤及后续步骤。

3.如权利要求1或2所述的方法，其特征在于：

所述编码网络经训练得到；所述训练包括预训练过程；

所述预训练过程基于的预训练样本包括：种子图像及拟真度标签；所述拟真度标签包括所述种子图像对应的拟真度；

所述预训练包括：

所述编码网络获取所述预训练样本，并输出针对所述种子图像的拟真度；预训练过程中得到的拟真度为第一拟真度；

对所述第一拟真度与所述拟真度标签中的拟真度求差值；

根据所述差值更新所述编码网络的权重；

任一预训练样本所包括的种子图像为正常种子图像或异常种子图像；所述异常种子图像存储于所述输入单元中；所述异常种子图像包括：包含异常屏幕画面的图像。

4.如权利要求3所述的方法，其特征在于：所述深度异常特征生成网络的训练过程包括：

生成与正常种子图像I_o对应的异常生成标签，并根据生成的异常生成标签对所述正常种子图像I_o进行预处理，得到第一训练样本；

所述深度异常特征生成网络获取所述第一训练样本，输出添加深度异常特征的第一异常图像样本I_a；

将所述第一异常图像样本I_a输入所述编码网络；所述第一异常图像样本I_a用于所述编码网络进行二次训练；

所述深度异常特征生成网络接收针对所述第一异常图像样本I_a计算的拟真度；

所述深度异常特征生成网络根据返回的拟真度更新自身的权重。

5.如权利要求4所述的方法，其特征在于，所述深度异常特征生成网络的训练过程还基于还原异常生成网络；

所述深度异常特征生成网络的训练过程还包括：

所述还原异常生成网络对输入的异常种子图像I_u进行还原处理，输出与所述异常种子图像I_u相对应的还原图像I_c；

生成与所述还原图像I_c对应的异常生成标签，并根据生成的异常生成标签对所述还原图像I_c进行预处理，得到第二训练样本；

所述深度异常特征生成网络获取第二训练样本，输出添加深度异常特征的第二异常图像样本I_d；

将所述第二异常图像样本I_d输入所述编码网络；所述第二异常图像样本I_dId用于所述编码网络进行二次训练；

所述深度异常特征生成网络使用所述还原图像I_c与所述第二异常图像样本I_dId的差异值，更新自身的权重。

6.如权利要求5所述的方法，其特征在于，所述还原异常生成网络的训练过程包括：

所述还原异常生成网络获取所述第一异常图像样本I_a，并输出还原图像样本I_b；

所述还原异常生成网络将所述还原图像样本I_b和所述正常种子图像I_o相减并作为损失，更新自身的权重。

7.如权利要求5所述的方法，其特征在于，所述二次训练包括：

所述编码网络获取第三训练样本，并输出针对所述第三训练样本的拟真度；其中，任一所述第三训练样本为所述还原异常生成异常输出的还原图像样本，第一异常图像样本，或者第二异常图像样本；所述二次训练过程中得到的拟真度为第二拟真度；

获取人工输入的、针对所述第二拟真度的矫正值；

对所述矫正值与所述第二拟真度求差值，并根据得到的差值更新所述编码网络的权重。

8.如权利要求2所述的方法，其特征在于，

所述异常生成标签中的生成处理方式为目标生成处理方式；

所述生成与所述正常种子图像对应的异常生成标签包括：

若存在统计结果，将统计结果中不平衡的类别所对应的生成处理方式，确定为所述目标生成处理方式；

若不存在统计结果，从预置的多种生成处理方式中选择出一种生成处理方式作为所述目标生成处理方式。

9.如权利要求8所述的方法，其特征在于，

所述生成与所述正常种子图像对应的异常生成标签还包括：

从预置的多种图像扩展方式中确定出一种图像扩展方式；确定出的图像扩展方式为目标图像扩展方式；

生成包含所述目标图像扩展方式和所述生成处理方式的所述异常标签。

10.一种用于屏幕异常画面检测的训练数据的生成装置，其特征在于，包括输入单元，标签生成单元，异常图像生成单元以及编码单元；所述编码单元至少包括编码网络，所述异常图像生成单元至少包括预处理单元和深度异常特征生成网络；其中：