CN110263858A - 一种螺栓图像合成方法、装置及相关设备 - Google Patents

一种螺栓图像合成方法、装置及相关设备 Download PDF

Info

Publication number
CN110263858A
CN110263858A CN201910541343.1A CN201910541343A CN110263858A CN 110263858 A CN110263858 A CN 110263858A CN 201910541343 A CN201910541343 A CN 201910541343A CN 110263858 A CN110263858 A CN 110263858A
Authority
CN
China
Prior art keywords
bolt
arbiter
sample
network
bign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910541343.1A
Other languages
English (en)
Other versions
CN110263858B (zh
Inventor
赵振兵
江爱雪
戚银城
张珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
NARI Group Corp
Zhejiang Dahua Technology Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201910541343.1A priority Critical patent/CN110263858B/zh
Publication of CN110263858A publication Critical patent/CN110263858A/zh
Application granted granted Critical
Publication of CN110263858B publication Critical patent/CN110263858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Abstract

本发明公开了一种螺栓图像合成方法,包括螺栓训练数据集构建、PCA特征提取、BIGN网络架构选择、BIGN网络损失函数构造、生成器和判别器训练以及螺栓样本生成的步骤;其首先构建螺栓训练数据库,然后利用PCA对样本进行主成分分析,提取螺栓的螺纹等特征,使用提取的先验知识指导BIGN网络生成图像,该网络的损失函数中加入了相对均值鉴别器,能够进一步平衡生成器和判别器的能力,同时针对生成图像中的棋盘效应,使用转置卷积和微步幅卷积代替传统的反卷积和卷积,可以生成螺栓图像,解决现有人工采集工作量繁琐、效率低的问题;本发明还公开了一种螺栓图像合成装置、设备以及计算机可读存储介质,也具有上述有益效果。

Description

一种螺栓图像合成方法、装置及相关设备
技术领域
本发明涉及图像生成技术领域,特别涉及一种螺栓图像合成方法,还涉及一种螺栓图像合成装置、设备以及计算机可读存储介质。
背景技术
伴随着我国经济的快速发展,电力系统作为经济发展的基础保障和先决条件,其安全和稳定问题日益显著。螺栓是输电线路中极其重要且大量存在的部件,起到固定金具等作用,由于风吹日晒等自然条件的影响,螺栓容易产生缺陷,如销子脱落、螺母松动等,需要对其进行检修。
随着深度学习技术的进步,利用智能的手段对螺栓缺陷诊断进行研究已经逐步展开。众所周知,深度学习中的网络模型一般涉及的权重参数众多,需要充足的样本进行训练,在训练样本不足的情况下很容易出现欠拟合的情况。然而由于输电线路所处的外部环境复杂多样,输电线路上的部件的种类繁多,对螺栓目标特征的提取存在较强的干扰。且由于电力系统的极其特殊性,标注成本极其高昂,若想构建百万计的航拍输电线路绝缘子图像仍需要时间,需要探索更为完备且具有公信力的构建方法。
因此扩充数据集是实现目标检测和识别等操作的重要前提,但是,到目前为止,全球没有公开的螺栓数据集,如果直接用人工的方式大量采集,不仅工作量极大,而且效率极低,因此利用已有的少量电力航拍图像来再生螺栓样本迫在眉睫。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于深度卷积生成式对抗网络的螺栓图像合成方法,旨在解决对螺栓图像检测和识别的数据不足的问题,通过提取样本的特征加入先验知识,指导模型更好的生成图像,同时可以生成256×256的螺栓图像;本发明的另一目的是提供一种螺栓合成装置、设备以及计算机可读存储介质,也具有上述有益效果。
本发明的目的是通过以下技术方案来实现的:
一种螺栓图像合成方法,包括:
S1、螺栓数据集构建:
收集训练BIGN模型的样本,利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型,分别构建正常螺栓和销子缺失图像;
S2、PCA特征提取:
通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓和螺纹特征;利用PCA提取的主要特征约束生成器的输入,指导螺栓样本生成;
S3、BIGN网络架构选择:
使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
S4、BIGN网络损失函数构造:
在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
S5、生成器和判别器训练:
设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;生成器G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
S6、螺栓样本生成:
使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
进一步的,在步骤S1中,还包括对图像数据的预处理,具体为:
从电力航拍图像中收集训练BIGN模型的数据,通过从航拍图像中人工裁剪得到,对少量的数据通过对图像的几何变换和旋转操作进行预处理。
进一步的,在步骤S2中,还包括PCA通过对数据的协方差矩阵的特征进行分解,提取螺栓主要特征的过程,具体包括:
设定xi∈Rn×1(i=1,2,…,m)是集合X的m个样本,样本均值记为则样本的协方差矩阵C'表示为:
矩阵C'的特征向量pi构成了集合X的n维特征空间P,集合X的样本空间中每个样本xi向特征空间P中投影可以得到投影系数并构造一个低维图像空间z:
将其转换成统计分布的参数,即均值和方差,使用这个两个参数从分布中随机采样一个元素,将其作为生成器的输入。
进一步的,在步骤S3中,还包括生成器G和判别器D转置卷积和微步幅卷积的过程,具体包括:
生成器G生成服从真实数据分布的假样本,判别器D是一个二分类器,用来评估这个假样本是真实图像的概率,产生的概率值反作用到生成器G来帮助其继续训练,直到最后生成判别器D无法辨真假的假样本;
生成器G的输入是低维的图像空间z,网络的第一层实际是一个全连接层,将其映射一个8×8×1024维的向量,从第二层开始,使用转置卷积做上采样,逐渐减少通道数,最后得到的输出为256×256×3,即输出一个三通道的宽和高都为256的图像;卷积核为4×4,步幅为2,激活函数除了最后一层都使用ReLU函数,而最后一层使用tanh函数,每个卷积后面都加入批归一化层,判别器D与生成器G过程相反,最后输出二分类的概率值。
进一步的,在步骤S4中,还包括在BIGN网络损失函数构造的具体内容,具体为:
选取BIGN网络的损失函数:
xr代表真实样本,Pdata是真实样本的概率分布,D(xr)表示xr通过判别网络判断其为真实样本的概率,xf是经过生成器生成的样本,Pg是生成样本的概率分布,D(xf)表示生成样本通过判别网络后,判断其为真实样本的概率,E()代表期望函数。
一种螺栓图像合成装置,包括:
螺栓数据集构建模块,用于收集训练BIGN模型的数据,利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型,分别构建正常螺栓和销子缺失图像;
PCA特征提取模块,用于通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓以及螺纹特征;利用PCA提取的特征约束生成器的输入,指导螺栓样本更好的生成;
BIGN网络架构选择模块,用于使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积成被步长大小整除的内核大小,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
BIGN网络损失函数构造模块,用于在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
生成器和判别器训练模块,用于设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
螺栓样本生成模块,用于使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
一种螺栓图像合成设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任意一种螺栓图像合成方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一种螺栓图像合成方法的步骤。
本发明的有益效果是:
本发明首先构建螺栓训练数据库,然后利用PCA对样本进行主成分分析,提取螺栓的螺纹等特征,使用提取的先验知识指导BIGN网络生成图像,该网络的损失函数中加入了相对均值鉴别器,能够进一步平衡生成器和判别器的能力,同时针对生成图像中的棋盘效应,使用转置卷积和微步幅卷积代替传统的反卷积和卷积,可以生成256×256的螺栓图像,解决现有人工采集工作量繁琐、效率低的问题。
本发明所提供的一种螺栓图像合成装置、设备以及计算机可读存储介质,也具有上述有益效果,在此不再赘述。
附图说明
图1为本发明的流程示意图;
图2为本发明实施例2中经过转置卷积层生成的螺栓样本结果图;
图3为本发明经过微步幅卷积层生成的图片真假分类样本结果图;
图4为本发明销子缺失的螺栓图像生成结果;
图5为本发明所提供的一种螺栓图像生成装置的示意图;
图6为本发明所提供的一种螺栓图像生成设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在阐述本申请技术内容之前,对本申请中的部分名词进行详细解释。BIGN为螺栓图像生成网络(Bolt-Image-Generative-Networks,BIGN),GAN为生成式对抗网络(Generative Adversarial Networks,GAN),PCA为主成分分析技术(Principalcomponents analysis,PCA),Adam Optimizer为优化器。
实施例1:
本实施例提供一种螺栓图像合成方法,请参阅附图1所示,其方法的整个流程如下:
一种螺栓图像合成方法,包括:
S1、螺栓数据集构建:
收集训练BIGN模型的样本,利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型,分别构建正常螺栓和销子缺失图像;
S2、PCA特征提取:
通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓和螺纹特征;利用PCA提取的主要特征约束生成器的输入,指导螺栓样本生成;
S3、BIGN网络架构选择:
使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
S4、BIGN网络损失函数构造:
在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
S5、生成器和判别器训练:
设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;生成器G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
S6、螺栓样本生成:
使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
进一步的,在步骤S1中,还包括对图像数据的预处理,具体为:
从电力航拍图像中收集训练BIGN模型的数据,通过从航拍图像中人工裁剪得到,对少量的数据通过对图像的几何变换和旋转操作进行预处理。
进一步的,在步骤S2中,还包括PCA通过对数据的协方差矩阵的特征进行分解,提取螺栓主要特征的过程,具体包括:
设定xi∈Rn×1(i=1,2,…,m)是集合X的m个样本,样本均值记为则样本的协方差矩阵C'表示为:
矩阵C'的特征向量pi构成了集合X的n维特征空间P,集合X的样本空间中每个样本xi向特征空间P中投影可以得到投影系数并构造一个低维图像空间z:
将其转换成统计分布的参数,即均值和方差,使用这个两个参数从分布中随机采样一个元素,将其作为生成器的输入。
进一步的,在步骤S3中,还包括生成器G和判别器D转置卷积和微步幅卷积的过程,具体包括:
生成器G生成服从真实数据分布的假样本,判别器D是一个二分类器,用来评估这个假样本是真实图像的概率,产生的概率值反作用到生成器G来帮助其继续训练,直到最后生成判别器D无法辨真假的假样本;
生成器G的输入是低维的图像空间z,网络的第一层实际是一个全连接层,将其映射一个8×8×1024维的向量,从第二层开始,使用转置卷积做上采样,逐渐减少通道数,最后得到的输出为256×256×3,即输出一个三通道的宽和高都为256的图像;卷积核为4×4,步幅为2,激活函数除了最后一层都使用ReLU函数,而最后一层使用tanh函数,每个卷积后面都加入批归一化层,判别器D与生成器G过程相反,最后输出二分类的概率值。
进一步的,在步骤S4中,还包括在BIGN网络损失函数构造的具体内容,具体为:
选取BIGN网络的损失函数:
xr代表真实样本,Pdata是真实样本的概率分布,D(xr)表示xr通过判别网络判断其为真实样本的概率,xf是经过生成器生成的样本,Pg是生成样本的概率分布,D(xf)表示生成样本通过判别网络后,判断其为真实样本的概率,E()代表期望函数。
本实施例提供的螺栓图像合成方法,首先构建螺栓训练数据库,然后利用PCA对样本进行主成分分析,提取螺栓的螺纹等特征,使用提取的先验知识指导BIGN网络生成图像,该网络的损失函数中加入了相对均值鉴别器,能够进一步平衡生成器和判别器的能力,同时针对生成图像中的棋盘效应,使用转置卷积和微步幅卷积代替传统的反卷积和卷积,可以生成256×256的螺栓图像。
实施例2:
本实施例在实施例1的基础上,输入低维度的噪声Z经过5个转置卷积层,生成256×256,通道数为3的螺栓样本,如图2所示,将256×256×3的样本放入D中,同样经过5个微步幅卷积层,然后经过一个Sigmoid激活函数,得出图片真假的分类结果,如图3所示。
实施例3:
本实施例在实施例1的基础上,利用提取的特征作为先验知识输入BIGN网络中,从结果发现,本发明可以有效地挖掘出螺栓图像特征,从而生成更好的螺栓图像,边缘更加清晰,本身的螺纹也不模糊,如图4,其中图4是生成的缺销子螺栓样本。
实施例4:
本实施例提供一种螺栓图像合成装置,请参阅附图5所示,该装置可以包括:
螺栓数据集构建模块10,用于收集训练BIGN模型的数据,利用聚类算法对构建的螺栓数据库图像按照形态、缺陷类型,分别构建正常螺栓和销子缺失图像;
PCA特征提取模块20,用于通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓以及螺纹特征;利用PCA提取的特征约束生成器的输入,指导螺栓样本更好的生成;
BIGN网络架构选择模块30,用于使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积成被步长大小整除的内核大小,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
BIGN网络损失函数构造模块40,用于在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
生成器和判别器训练模块50,用于设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
螺栓样本生成模块60,用于使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
对于本申请提供的装置的介绍请参照上述方法实施例,本申请在此不做赘述。
实施例5:
本实施例提供一种螺栓图像合成设备,请参阅附图6所示,该设备包括:
存储器1,用于存储计算机程序;
处理器2,用于执行所述计算机程序时可实现如上述任意一种螺栓图像合成方法的步骤。
对于本申请提供的设备的介绍请参照上述方法实施例,本申请在此不做赘述。
实施例6:
本实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时可实现如上述任意一种螺栓图像合成方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例,本申请在此不做赘述。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (8)

1.一种螺栓图像合成方法,其特征在于,包括:
S1、螺栓数据集构建:
收集训练BIGN模型的样本,利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型,分别构建正常螺栓和销子缺失图像;
S2、PCA特征提取:
通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓和螺纹特征;利用PCA提取的主要特征约束生成器的输入,指导螺栓样本生成;
S3、BIGN网络架构选择:
使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
S4、BIGN网络损失函数构造:
在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
S5、生成器和判别器训练:
设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;生成器G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
S6、螺栓样本生成:
使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
2.根据权利要求1所述一种螺栓图像合成方法,其特征在于,在步骤S1中,还包括对图像数据的预处理,具体为:
从电力航拍图像中收集训练BIGN模型的数据,通过从航拍图像中人工裁剪得到,对少量的数据通过对图像的几何变换和旋转操作进行预处理。
3.根据权利要求1所述一种螺栓图像合成方法,其特征在于,在步骤S2中,还包括PCA通过对数据的协方差矩阵的特征进行分解,提取螺栓主要特征的过程,具体包括:
设定xi∈Rn×1(i=1,2,…,m)是集合X的m个样本,样本均值记为则样本的协方差矩阵C'表示为:
矩阵C'的特征向量pi构成了集合X的n维特征空间P,集合X的样本空间中每个样本xi向特征空间P中投影可以得到投影系数并构造一个低维图像空间z:
将其转换成统计分布的参数,即均值和方差,使用这个两个参数从分布中随机采样一个元素,将其作为生成器的输入。
4.根据权利要求1所述一种螺栓图像合成方法,其特征在于,在步骤S3中,还包括生成器G和判别器D转置卷积和微步幅卷积的过程,具体包括:
生成器G生成服从真实数据分布的假样本,判别器D是一个二分类器,用来评估这个假样本是真实图像的概率,产生的概率值反作用到生成器G来帮助其继续训练,直到最后生成判别器D无法辨真假的假样本;
生成器G的输入是低维的图像空间z,网络的第一层实际是一个全连接层,将其映射一个8×8×1024维的向量,从第二层开始,使用转置卷积做上采样,逐渐减少通道数,最后得到的输出为256×256×3,即输出一个三通道的宽和高都为256的图像;卷积核为4×4,步幅为2,激活函数除了最后一层都使用ReLU函数,而最后一层使用tanh函数,每个卷积后面都加入批归一化层,判别器D与生成器G过程相反,最后输出二分类的概率值。
5.根据权利要求1所述一种螺栓图像合成方法,其特征在于,在步骤S4中,还包括在BIGN网络损失函数构造的具体内容,具体为:
选取BIGN网络的损失函数:
xr代表真实样本,Pdata是真实样本的概率分布,D(xr)表示xr通过判别网络判断其为真实样本的概率,xf是经过生成器生成的样本,Pg是生成样本的概率分布,D(xf)表示生成样本通过判别网络后,判断其为真实样本的概率,E()代表期望函数。
6.一种螺栓图像合成装置,其特征在于,包括:
螺栓数据集构建模块,用于收集训练BIGN模型的数据,利用聚类算法对构建的螺栓数据库图像按照形态和缺陷类型,分别构建正常螺栓和销子缺失图像;
PCA特征提取模块,用于通过PCA对数据的协方差矩阵的特征进行分解,提取螺栓本身的主要特征,所述螺栓本身的主要特征包括边缘轮廓以及螺纹特征;利用PCA提取的特征约束生成器的输入,指导螺栓样本更好的生成;
BIGN网络架构选择模块,用于使用构建的螺栓图像库训练BIGN网络,螺栓图像库训练BIGN网络是基于生成式对抗网络GAN,由一个生成器G和一个判别器D构成;通过生成器G和判别器D的转置卷积和微步幅卷积成被步长大小整除的内核大小,消除由于像素空间的不均匀覆盖导致的棋盘格伪影;
BIGN网络损失函数构造模块,用于在螺栓图像库训练BIGN网络的损失函数中引入相对均值判别器,将真假螺栓样本混合利用图灵测试消弱判别器的能力;
生成器和判别器训练模块,用于设置超参数k,每训练完k次判别网络后在进行一次生成器的训练;G的学习率设为0.0002,判别器设置为0.0001,使用Adam Optimizer进行加速训练;从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},从训练样本的概率分布Pdata中,随机选取m个训练样本{x(1),...,x(m)},设判别器的参数为θd,根据随机梯度来修改判别器的参数:
从噪声分布Py中,随机选取m个样本{y(1),...,y(m)},设生成器的参数为θg,根据随机梯度来修改判别器的参数:
判别器进行图片真实度概率判断,当判别器输出概率值趋近于0.5时,训练完成;
螺栓样本生成模块,用于使用训练好的BIGN网络,从噪声分布Py中选取多个输入噪声,通过BIGN网络的生成器中,生成多张螺栓图像。
7.一种螺栓图像合成设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时,实现如权利要求1至5任意一项所述的螺栓图像合成方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的螺栓图像合成方法的步骤。
CN201910541343.1A 2019-06-21 2019-06-21 一种螺栓图像合成方法、装置及相关设备 Active CN110263858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541343.1A CN110263858B (zh) 2019-06-21 2019-06-21 一种螺栓图像合成方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541343.1A CN110263858B (zh) 2019-06-21 2019-06-21 一种螺栓图像合成方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN110263858A true CN110263858A (zh) 2019-09-20
CN110263858B CN110263858B (zh) 2022-05-06

Family

ID=67920256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541343.1A Active CN110263858B (zh) 2019-06-21 2019-06-21 一种螺栓图像合成方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN110263858B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210007A (zh) * 2020-01-02 2020-05-29 国家电网有限公司 基于改进srgan模型的超分辨率螺栓图像生成方法
CN111310647A (zh) * 2020-02-12 2020-06-19 北京云住养科技有限公司 自动识别跌倒模型的生成方法和装置
CN111523589A (zh) * 2020-04-21 2020-08-11 华北电力大学(保定) 一种基于栓母对知识图谱的螺栓缺陷分类方法
CN115661134A (zh) * 2022-12-08 2023-01-31 浙江霖研精密科技有限公司 基于生成对抗网络的缺陷样本生成系统、方法和存储介质
CN117105038A (zh) * 2023-10-17 2023-11-24 山西戴德测控技术股份有限公司 一种提升机运行监测方法、装置、设备及存储介质
CN117409008A (zh) * 2023-12-15 2024-01-16 华东交通大学 一种设备图像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764173A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN109472764A (zh) * 2018-11-29 2019-03-15 广州市百果园信息技术有限公司 图像合成和图像合成模型训练的方法、装置、设备和介质
US20190130221A1 (en) * 2017-11-02 2019-05-02 Royal Bank Of Canada Method and device for generative adversarial network training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130221A1 (en) * 2017-11-02 2019-05-02 Royal Bank Of Canada Method and device for generative adversarial network training
CN108764173A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN109472764A (zh) * 2018-11-29 2019-03-15 广州市百果园信息技术有限公司 图像合成和图像合成模型训练的方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高强 等: "基于GAN 等效模型的小样本库扩增研究", 《电测与仪表》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210007A (zh) * 2020-01-02 2020-05-29 国家电网有限公司 基于改进srgan模型的超分辨率螺栓图像生成方法
CN111310647A (zh) * 2020-02-12 2020-06-19 北京云住养科技有限公司 自动识别跌倒模型的生成方法和装置
CN111523589A (zh) * 2020-04-21 2020-08-11 华北电力大学(保定) 一种基于栓母对知识图谱的螺栓缺陷分类方法
CN111523589B (zh) * 2020-04-21 2023-05-23 华北电力大学(保定) 一种基于栓母对知识图谱的螺栓缺陷分类方法
CN115661134A (zh) * 2022-12-08 2023-01-31 浙江霖研精密科技有限公司 基于生成对抗网络的缺陷样本生成系统、方法和存储介质
CN117105038A (zh) * 2023-10-17 2023-11-24 山西戴德测控技术股份有限公司 一种提升机运行监测方法、装置、设备及存储介质
CN117105038B (zh) * 2023-10-17 2024-01-05 山西戴德测控技术股份有限公司 一种提升机运行监测方法、装置、设备及存储介质
CN117409008A (zh) * 2023-12-15 2024-01-16 华东交通大学 一种设备图像生成方法
CN117409008B (zh) * 2023-12-15 2024-03-22 华东交通大学 一种设备图像生成方法

Also Published As

Publication number Publication date
CN110263858B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110263858A (zh) 一种螺栓图像合成方法、装置及相关设备
CN106778821B (zh) 基于slic和改进的cnn的极化sar图像分类方法
CN110414601A (zh) 基于深度卷积对抗网络的光伏组件故障诊断方法、系统及设备
CN107730515B (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
US8351654B2 (en) Image processing using geodesic forests
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN106156798B (zh) 基于环形空间金字塔和多核学习的场景图像分类方法
CN110390347A (zh) 针对深度神经网络的条件引导式对抗生成测试方法与系统
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
Liu et al. Coastline extraction method based on convolutional neural networks—A case study of Jiaozhou Bay in Qingdao, China
CN109584162A (zh) 一种基于生成网络的图像超分辨率重构的方法
Cheng et al. Cascaded non-local neural network for point cloud semantic segmentation
CN110390673A (zh) 一种监控场景下基于深度学习的香烟自动检测方法
CN107341505A (zh) 一种基于图像显著性与Object Bank的场景分类方法
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
Deng et al. Deepfake video detection based on EfficientNet-V2 network
CN113361546A (zh) 融合非对称卷积和注意力机制的遥感图像特征提取方法
Xing et al. Oracle bone inscription detection: a survey of oracle bone inscription detection based on deep learning algorithm
CN112949738B (zh) 基于eecnn算法的多类不平衡高光谱图像分类方法
Ma et al. Jet tagging algorithm of graph network with Haar pooling message passing
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
Iqbal et al. Data augmentation-based novel deep learning method for deepfaked images detection
CN113902978A (zh) 基于深度学习的可解释性sar图像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Zhenbing

Inventor after: Lang Jingyi

Inventor after: Qi Yincheng

Inventor after: Kong Yinghui

Inventor before: Zhao Zhenbing

Inventor before: Jiang Aixue

Inventor before: Qi Yincheng

Inventor before: Zhang Ke

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220321

Address after: 071003 Hebei province Baoding Yonghua No. 619 North Street

Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant after: SHANDONG University

Applicant after: NARI Group Corp.

Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

Applicant after: Zhiyang Innovation Technology Co.,Ltd.

Address before: 071003 Hebei province Baoding Yonghua No. 619 North Street

Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING)

GR01 Patent grant
GR01 Patent grant