CN116385807A - 一种异常图像样本生成方法及装置 - Google Patents

Abstract

本发明公开了一种异常图像样本生成方法及装置，步骤1：获取标准化图像；步骤2：进行像素点采样；步骤3：进行分类确定标准化图像的颜色分布情况；步骤4：生成区域的位置以及生成异常的大小；步骤5：随机选取对应所述所需区域大小的区域，确定随机区域，接着确定随机区域的位置，并在此位置根据所述生成异常的大小生成方框；步骤6：为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；步骤7：在操作后的方框对应位置处随机选择一个方向，重复步骤4和步骤5若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。优点：保证了模拟出的异常能够拟合实际中的异常情况，更好的完成异常检测任务。

Description

一种异常图像样本生成方法及装置

技术领域

本发明涉及一种异常图像样本生成方法及装置，属于图像处理技术领域。

背景技术

图像异常检测是计算机视觉领域的一个热门研究课题, 在工业外观缺陷检测、医学图像分析、高光谱图像处理等领域有较高的研究意义和应用价值。其中，工业图像包含了较多的待检测物品种类，在异常检测任务中极具代表性，对其进行异常检测的准确度是衡量一个算法好坏的关键因素。然而，在许多应用场景下,很难收集到足够数量的样本，例如,在表面缺陷检测任务当中，实际收集到的图像大部分属于正常的无缺陷样本，仅有少部分属于缺陷样本,而需要检测的缺陷类型又十分多样,往往难以全部捕捉，这就使得可供训练的缺陷样本的数量十分有限。在此基础上，研究人员提出了许多数据增强方法，用于模拟现实工业产品的异常，并将这些生成的异常图像作为真实异常样本的补充用于异常检测模型的训练。

目前，用于模拟异常的主要数据增强方法有CutOut，CutMix，CutPaste等。CutOut是在正常样本中随机选择一个方形区域，采用全0填充，将区域内信息删除。然而由于直接将区域内信息删除会丢失一部分图像信息，导致异常检测模型性能下降。因此，在CutOut基础上研究人员提出了CutMix与CutPaste。CutMix在正常样本上选择一个方形区域后，在其余正常样本的随机位置选取相同大小的区域进行填充，Cut Paste则是在同一样本下，随机选取相同大小的区域进行填充。在实验中，证明了这些方法的有效性，表明使用数据增强方式生成模拟异常图像，对异常检测任务的模型训练是有帮助的

然而，目前这些方法存在一些缺陷：

在正常样本中选取的区域位置具有随机性，当图像内待检测物体较小，可能会选到物体以外的无效区域。

不同待检测物体大小及形状不同，而选取的方形区域大小并无变化，难以准确的模拟细小或不规则的异常。

由于实际问题中异常的不确定性，仅使用已有正常样本内区域进行填充，不会出现样本内未出现的颜色，缺乏颜色的多样性。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种异常图像样本生成方法。

为解决上述技术问题，本发明提供一种异常图像样本生成方法，包括：

步骤1：读取输入图像，将所述输入图像的大小变换为预先设置的标准化尺寸大小，得到标准化图像；

步骤2：将所述标准化图像输入到RGB颜色判别器，进行像素点采样；

步骤3：将采样的结果进行分类，得到所述标准化图像的颜色分布情况；

步骤4：根据所述颜色分布情况确定背景色及所需异常生成区域的位置以及生成异常的大小；

步骤5：在所述标准化图像内随机选取对应所述所需区域大小的区域，得到随机区域，将所述随机区域输入RGB颜色判别器，根据RGB颜色判别器的输出结果确定所述随机区域的位置，并在此位置根据所述生成异常的大小生成方框；

步骤6：为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；

步骤7：在所述操作后的方框对应位置处随机选择一个方向，重复步骤4和步骤5若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。

进一步的，所述标准化尺寸大小为256×256像素大小。

进一步的，所述步骤2，包括：

将标准化图像输入RGB颜色判别器，从图像坐标为(0,0)的起始像素点开始，每隔16个像素点读取当前采样像素点RGB值，每个采样像素点的RGB值包括三个数值，分别记为R，G，B，采样后进行保存；所采样像素点在标准化图像上坐标为：(x,y) _i ，x和y分别表示横坐标和纵坐标，i表示像素点序号，i∈[0,255]；

共计采样256个像素点的RGB值，记为N _i ，N _i 包括R、G、B三个数；

选取图像边缘像素点（x´,y´） _i´，图像边缘像素点（x´,y´） _i´

表示为：

；

其中，i´∈[0,63]，将64个图像边缘像素点的RGB值记为n _i´，n _i´包括r，g，b三个数，||表示逻辑或。

进一步的，所述步骤3，包括：

步骤3.1，将N ₁中的R、G、B与N ₂中的R、G、B按下列公式进行计算N ₁与N ₂的欧式距离k：

；

如果k<1，则代表N ₁与N ₂为同一种颜色，将N ₂中的R、G、B值和对应颜色的像素点数量C ₂清空，将N ₁代表的对应颜色的像素点数量C ₁初始化为1；

如果k≥1，则代表N ₁与N ₂为非同一种颜色，同时保留N ₁与N ₂对应颜色的像素点数量C ₁与C ₂，C ₁与C ₂分别初始化为1；

步骤3.2，依次读取N ₃，N ₄，……，N ₂₅₅中的R、G、B值，记第i1个读取的像素点为N _i1，i1∈[3,255]；

对每一个N _i1，依次与N ₁，N ₂，……，N _i1-1按如下公式计算k值：

；

其中，N _j 是当前N _i1下，与N _i1作比较的第j个像素点，j∈[1,i-1]；

对于当前N _i1：

如果与任意一个N _j 所计算出的k<1，则代表N _i1与N _j 为同一种颜色，清空N _i1中的R、G、B值和对应颜色的像素点数量C _i1，N _j 代表的颜色的像素点数量C _j 加1，并开始计算下一个N _i1；

如果与所有的N _j 所计算出的k≥1，则代表N _i1是一种先前未出现过的颜色，保留N _i1，N _i1代表的颜色的像素点数量C _i1初始化为1；

步骤3.3，当步骤3.2中所有的N _i1都计算完毕后，剔除所有被清空的项，整理得到新的N _z 以及对应颜色的像素点数量C _z ，其中z代表图片中包含的颜色数，N _z 中包含第z种颜色的R、G、B值；

步骤3.4，按步骤3.1至步骤3.3的过程处理边缘像素点n _i ，得到新的n _z 以及对应颜色的像素点数量c _z ；

每种颜色在图片中的区域大小S _z 为：

S _z =256×(C _z /256)

S _z =L×W×（C _z /PointN）

其中，L与W分别对应当前图片的长和宽，PointN代表总像素点数量。

进一步的，所述步骤4，包括：

计算第z种颜色的得分Score _z ，得分Score _z 的公式为：

；

其中，π为圆周率；

得分最高的为背景色，记背景色颜色所占图片区域大小为S _zmax ；

设其所占全图颜色比例为p=(1-S _zmax )/256×100%，则对应图像中异常方框边长c为：

；

其中，rand为随机函数。

一种异常图像样本生成装置，包括：

读取模块，用于读取输入图像，将所述输入图像的大小变换为预先设置的标准化尺寸大小，得到标准化图像；

采用模块，用于将所述标准化图像输入到RGB颜色判别器，进行像素点采样；

分类模块，用于将采样的结果进行分类，得到所述标准化图像的颜色分布情况；

生成模块，用于根据所述颜色分布情况确定背景色及所需异常生成区域的位置以及生成异常的大小；

确定模块，用于在所述标准化图像内随机选取对应所述所需区域大小的区域，得到随机区域，将所述随机区域输入RGB颜色判别器，根据RGB颜色判别器的输出结果确定所述随机区域的位置，并在此位置根据所述生成异常的大小生成方框；

随机添加模块，用于为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；

扩展模块，用于在所述操作后的方框对应位置处随机选择一个方向，依次重复生成模块和确定模块若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。

本发明所达到的有益效果：

本发明主要解决了目前生成模拟异常图像方法中模拟的异常不够准确问题。通过图像中像素点的RGB值，得出图像的颜色分布情况，从而判断出物体大小，实现根据待检测物体的大小调整区域大小这一目标。然后不断向已有方框的上下左右方向扩展新的区域，最终由这些小的区域组成了大块掩码作为异常的模拟，达到了生成不同形状掩码的目的。在扩展每一块区域过程中，随机使用颜色滤镜、增大、旋转、填充、变色等操作，可以使生成的模拟异常具有各种各样的形态，极大保证了模拟出的异常能够拟合实际中的异常情况，更好的完成异常检测任务。

附图说明

图1是异常图像生成流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种异常图像样本生成方法，包括：

步骤1：读入图像，将输入图像大小变换为256×256像素大小，得到标准化的图片；

步骤2：RGB值采样，包括：

2.1将标准化图片输入RGB颜色判别器，从图像坐标为(0,0)的起始像素点开始，每隔16个像素点读取当前像素点RGB值，每个像素点的RGB值包括三个数值，分别记为R，G，B，采样后进行保存。所采样像素点在标准化图片上坐标应为：(x,y) _i ；

其中，x=｛0,15,31,47,63,79,95,111,127,144,160,175,191,207,223,239,255｝，

y=｛0,15,31,47,63,79,95,111,127,144,160,175,191,207,223,239,255｝，i∈[0,255]；

共计采样256个像素点的RGB值，记为N _i ，N _i 包括R、G、B三个数。

2.2选取图像边缘即符合下列坐标的像素点：

；

其中，i´∈[0,63]，将64个图像边缘像素点的RGB值记为n _i´，n _i´包括r，g，b三个数，||表示逻辑或。

步骤3：根据N _i 中256个像素点的RGB值进行分类，将RGB值相似的像素点作为一类，根据该类所含像素点个数占总像素点个数比例得出该图片中包含的颜色数量以及各颜色所占区域大小情况；

3.1将N ₁中的R、G、B与N ₂中的R、G、B按下列公式进行计算N ₁与N ₂的欧式距离k：

；

如果k<1，则代表N ₁与N ₂为同一种颜色，将N ₂中的R、G、B值和对应颜色的像素点数量C ₂清空，将N ₁代表的对应颜色的像素点数量C ₁初始化为1；

如果k≥1，则代表N ₁与N ₂为非同一种颜色，同时保留N ₁与N ₂对应颜色的像素点数量C ₁与C ₂，C ₁与C ₂分别初始化为1；

3.2 依次读取N ₃，N ₄，……，N ₂₅₅中的R、G、B值，记第i1个读取的像素点为N _i1，i1∈[3,255]；

对每一个N _i1，依次与N ₁，N ₂，……，N _i1-1按如下公式计算k值：

；

其中，N _j 是当前N _i1下，与N _i1作比较的第j个像素点，j∈[1,i-1]；

对于当前N _i1：

如果与任意一个N _j 所计算出的k<1，则代表N _i1与N _j 为同一种颜色，清空N _i1中的R、G、B值和对应颜色的像素点数量C _i1，N _j 代表的颜色的像素点数量C _j 加1，并开始计算下一个N _i1；

如果与所有的N _j 所计算出的k≥1，则代表N _i1是一种先前未出现过的颜色，保留N _i1，N _i1代表的颜色的像素点数量C _i1初始化为1；

步骤3.3，当步骤3.2中所有的N _i1都计算完毕后，剔除所有被清空的项，整理得到新的N _z 以及对应颜色的像素点数量C _z ，其中z代表图片中包含的颜色数，N _z 中包含第z种颜色的R、G、B值；

步骤3.4，按步骤3.1至步骤3.3的过程处理边缘像素点n _i ，得到新的n _z 以及对应颜色的像素点数量c _z ；

每种颜色在图片中的区域大小S _z 为：

S _z =256×(C _z /256)

S _z =L×W×（C _z /PointN）

其中，L与W分别对应当前图片的长和宽，PointN代表总像素点数量。

步骤4：确定背景色及生成区域大小

4.1根据颜色分布情况判断该色为背景色，得分Score公式为：

；

其中，z代表第z种颜色，S _z 与n _z 与分别代表第z种颜色的区域大小和第z种颜色边缘像素点的数量。得分最高的即为背景色，记背景色颜色所占图片区域大小为S _zmax 。

4.2设其所占全图颜色比例为p=(1-S _zmax )/256×100%，则对应图像中异常方框边长c为：

；

其中，rand为随机函数。

步骤5：在图像内随机位置选取步骤4所述大小的区域，将区域内图像送入RGB颜色判别器，如果判别器结果显示方框内图像颜色为单色，即颜色种类数i为1，则重复此步骤，直到选取的方形区域内图像颜色为两种以上。

步骤6：为选取的区域随机添加下列操作中之一：

添加颜色滤镜：取出区域内图像的RGB值，记为r，g，b，随机将三个值之一扩大十倍，就可以得到一个对应颜色的滤镜；

增大：将方形区域边长c扩大十倍；

旋转：随机将方形区域内图像旋转90°、180°或者270°；

填充：随机选择图像内其它对应大小位置复制到所选区域内；

变色：将r，g，b中其中一个变为随机数，得到一个被填充为随机色的区域；

步骤7：将方框所选的上下左右四个方向编码为0，1，2，3，随机从0-3中抽取一个数字作为下一个区域所生成的方向，之后重复步骤4和步骤5五次，最终将所有区域连接，得到最终的模拟异常图片。

相应的本发明还提供一种异常图像样本生成装置，包括：

读取模块，用于读取输入图像，将所述输入图像的大小变换为预先设置的标准化尺寸大小，得到标准化图像；

采用模块，用于将所述标准化图像输入到RGB颜色判别器，进行像素点采样；

分类模块，用于将采样的结果进行分类，得到所述标准化图像的颜色分布情况；

生成模块，用于根据所述颜色分布情况确定背景色及所需异常生成区域的位置以及生成异常的大小；

确定模块，用于在所述标准化图像内随机选取对应所述所需区域大小的区域，得到随机区域，将所述随机区域输入RGB颜色判别器，根据RGB颜色判别器的输出结果确定所述随机区域的位置，并在此位置根据所述生成异常的大小生成方框；

随机添加模块，用于为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；

扩展模块，用于在所述操作后的方框对应位置处随机选择一个方向，依次重复生成模块和确定模块若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种异常图像样本生成方法，其特征在于，包括：

步骤1：读取输入图像，将所述输入图像的大小变换为预先设置的标准化尺寸大小，得到标准化图像；

步骤2：将所述标准化图像输入到RGB颜色判别器，进行像素点采样；

步骤3：将采样的结果进行分类，得到所述标准化图像的颜色分布情况；

步骤4：根据所述颜色分布情况确定背景色及所需异常生成区域的位置以及生成异常的大小；

步骤5：在所述标准化图像内随机选取对应所述所需区域大小的区域，得到随机区域，将所述随机区域输入RGB颜色判别器，根据RGB颜色判别器的输出结果确定所述随机区域的位置，并在此位置根据所述生成异常的大小生成方框；

步骤6：为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；

步骤7：在所述操作后的方框对应位置处随机选择一个方向，重复步骤4和步骤5若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。

2.根据权利要求1所述的异常图像样本生成方法，其特征在于，所述标准化尺寸大小为256×256像素大小。

3.根据权利要求2所述的异常图像样本生成方法，其特征在于，所述步骤2，包括：

将标准化图像输入RGB颜色判别器，从图像坐标为(0,0)的起始像素点开始，每隔16个像素点读取当前采样像素点RGB值，每个采样像素点的RGB值包括三个数值，分别记为R，G，B，采样后进行保存；所采样像素点在标准化图像上坐标为：(x,y) _i ，x和y分别表示横坐标和纵坐标，i表示像素点序号，i∈[0,255]；

共计采样256个像素点的RGB值，记为N _i ，N _i 包括R、G、B三个数；

选取图像边缘像素点（x´,y´） _i´，图像边缘像素点（x´,y´） _i´

表示为：

；

其中，i´∈[0,63]，将64个图像边缘像素点的RGB值记为n _i´，n _i´包括r，g，b三个数，||表示逻辑或。

4.根据权利要求3所述的异常图像样本生成方法，其特征在于，所述步骤3，包括：

步骤3.1，将N ₁中的R、G、B与N ₂中的R、G、B按下列公式进行计算N ₁与N ₂的欧式距离k：

；

如果k<1，则代表N ₁与N ₂为同一种颜色，将N ₂中的R、G、B值和对应颜色的像素点数量C ₂清空，将N ₁代表的对应颜色的像素点数量C ₁初始化为1；

如果k≥1，则代表N ₁与N ₂为非同一种颜色，同时保留N ₁与N ₂对应颜色的像素点数量C ₁与C ₂，C ₁与C ₂分别初始化为1；

步骤3.2，依次读取N ₃，N ₄，……，N ₂₅₅中的R、G、B值，记第i1个读取的像素点为N _i1，i1∈[3,255]；

对每一个N _i1，依次与N ₁，N ₂，……，N _i1-1按如下公式计算k值：

；

其中，N _j 是当前N _i1下，与N _i1作比较的第j个像素点，j∈[1,i-1]；

对于当前N _i1：

如果与任意一个N _j 所计算出的k<1，则代表N _i1与N _j 为同一种颜色，清空N _i1中的R、G、B值和对应颜色的像素点数量C _i1，N _j 代表的颜色的像素点数量C _j 加1，并开始计算下一个N _i1；

如果与所有的N _j 所计算出的k≥1，则代表N _i1是一种先前未出现过的颜色，保留N _i1，N _i1代表的颜色的像素点数量C _i1初始化为1；

步骤3.3，当步骤3.2中所有的N _i1都计算完毕后，剔除所有被清空的项，整理得到新的N _z 以及对应颜色的像素点数量C _z ，其中z代表图片中包含的颜色数，N _z 中包含第z种颜色的R、G、B值；

步骤3.4，按步骤3.1至步骤3.3的过程处理边缘像素点n _i ，得到新的n _z 以及对应颜色的像素点数量c _z ；

每种颜色在图片中的区域大小S _z 为：

S _z =256×(C _z /256)

S _z =L×W×（C _z /PointN）

其中，L与W分别对应当前图片的长和宽，PointN代表总像素点数量。

5.根据权利要求4所述的异常图像样本生成方法，其特征在于，所述步骤4，包括：

计算第z种颜色的得分Score _z ，得分Score _z 的公式为：

；

其中，π为圆周率；

得分最高的为背景色，记背景色颜色所占图片区域大小为S _zmax ；

设其所占全图颜色比例为p=(1-S _zmax )/256×100%，则对应图像中异常方框边长c为：

；

其中，rand为随机函数。

6.一种异常图像样本生成装置，其特征在于，包括：

读取模块，用于读取输入图像，将所述输入图像的大小变换为预先设置的标准化尺寸大小，得到标准化图像；

采用模块，用于将所述标准化图像输入到RGB颜色判别器，进行像素点采样；

分类模块，用于将采样的结果进行分类，得到所述标准化图像的颜色分布情况；

生成模块，用于根据所述颜色分布情况确定背景色及所需异常生成区域的位置以及生成异常的大小；

确定模块，用于在所述标准化图像内随机选取对应所述所需区域大小的区域，得到随机区域，将所述随机区域输入RGB颜色判别器，根据RGB颜色判别器的输出结果确定所述随机区域的位置，并在此位置根据所述生成异常的大小生成方框；

随机添加模块，用于为生成的方框随机添加颜色滤镜、增大、旋转、填充、变色中的一种操作；

扩展模块，用于在所述操作后的方框对应位置处随机选择一个方向，依次重复生成模块和确定模块若干次，扩展生成多个方框，将包括所有方框的标准化图像作为最终的模拟异常图像。

Images