CN115393242A - 一种基于gan的电网异物图像数据增强的方法和装置 - Google Patents

一种基于gan的电网异物图像数据增强的方法和装置 Download PDF

Info

Publication number
CN115393242A
CN115393242A CN202211206528.5A CN202211206528A CN115393242A CN 115393242 A CN115393242 A CN 115393242A CN 202211206528 A CN202211206528 A CN 202211206528A CN 115393242 A CN115393242 A CN 115393242A
Authority
CN
China
Prior art keywords
data
initial
optimized
target
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211206528.5A
Other languages
English (en)
Inventor
陈玉涛
辛富强
赵召娜
石成钰
李丽燕
韩娜
李薇
张莹莹
许文超
苟晓军
范莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Power Space Technology Co ltd
Original Assignee
State Grid Power Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Power Space Technology Co ltd filed Critical State Grid Power Space Technology Co ltd
Priority to CN202211206528.5A priority Critical patent/CN115393242A/zh
Publication of CN115393242A publication Critical patent/CN115393242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于GAN的电网异物图像数据增强的方法,包括:获取待优化数据组;待优化数据组包括若干待优化数据,每一待优化数据均包括第一目标和第二目标;分别对每一待优化数据进行切割,得到每一待优化数据对应的切割后数据;获取初始生成式对抗网络;基于若干切割后数据,对初始生成器和初始判别器进行对抗训练,得到生成器;获取若干第一噪声;控制生成器分别对每一第一噪声进行处理,得到每一第一噪声对应的第一生成数据;分别对每一第一生成数据进行目标添加处理,得到每一第一生成数据对应的合成数据;将至少部分合成数据添加至待优化数据组中,得到样本数据组。采用本公开,样本数据组中的数据较为多样化。

Description

一种基于GAN的电网异物图像数据增强的方法和装置
技术领域
本发明涉及数据处理领域,特别是涉及一种基于GAN的电网异物图像数据增强的方法和装置。
背景技术
电网是电力系统中各种电压的变电所及输配电线路组成的整体,可以满足人们日常用电需求,因此保证电网的电路安全十分重要,电网上的常见异物有很多种,这些异物容易引起电网的电线短路、火灾等。
目前出于用电安全的考虑,会将异物检测模型应用到电网的异物检测中,训练异物检测模型的训练样本为大量的电网异物数据,该电网异物数据通常为电网异物图像,但由于采集的电网图像中出现异物的概率较低,电网异物数据往往难以获取,因此可以对已获取的电网异物数据进行数据扩充处理,传统的数据扩充处理方式为对已获取的电网异物数据进行旋转、裁剪、添加噪声或翻转等,以使用来训练异物检测模型的训练样本更加丰富。
但是,上述数据扩充处理方法仅仅是基于旋转、裁剪、添加噪声或翻转等方式进行处理,该处理后得到的数据并没有发生太多实质性的变化,因此会产生大量的无意义的数据,即会使异物检测模型的训练样本仍较为单一,进而通过该训练样本进行训练得到的异物检测模型的性能较差。
发明内容
针对上述技术问题,本发明采用的技术方案为:
根据本公开的一方面,提供了一种基于GAN的电网异物图像数据增强的方法,包括:
获取待优化数据组;待优化数据组包括若干待优化数据,每一待优化数据均包括第一目标和第二目标,第一目标具有第一特征,第二目标具有第二特征;
分别对每一待优化数据进行切割,以去除每一待优化数据中的至少部分第二目标,得到每一待优化数据对应的切割后数据;每一切割后数据均包括对应的第一目标;
获取初始生成式对抗网络;初始生成式对抗网络包括初始生成器和初始判别器;
基于若干切割后数据,对初始生成器和初始判别器进行对抗训练,得到生成器;生成器为初始生成器训练完成得到的,生成器用于生成具有第一特征的数据;
获取若干第一噪声;
控制生成器分别对每一第一噪声进行处理,得到每一第一噪声对应的第一生成数据;每一第一生成数据均具有第一特征;
分别对每一第一生成数据进行目标添加处理,得到每一第一生成数据对应的合成数据;每一合成图片的目标添加部分均具有第二特征;
将至少部分合成数据添加至待优化数据组中,得到样本数据组。
根据本公开的另一方面,还提供了一种基于GAN的电网异物图像数据增强的装置,包括:
第一获取模块,用于获取待优化数据组;待优化数据组包括若干待优化数据,每一待优化数据均包括第一目标和第二目标,第一目标具有第一特征,第二目标具有第二特征;
切割模块,用于分别对每一待优化数据进行切割,以去除每一待优化数据中的至少部分第二目标,得到每一待优化数据对应的切割后数据;每一切割后数据均包括对应的第一目标;
第二获取模块,用于获取初始生成式对抗网络;初始生成式对抗网络包括初始生成器和初始判别器;
训练模块,用于基于若干切割后数据,对初始生成器和初始判别器进行对抗训练,得到生成器;生成器为初始生成器训练完成得到的,生成器用于生成具有第一特征的数据;
第三获取模块,用于获取若干第一噪声;
控制模块,用于控制生成器分别对每一第一噪声进行处理,得到每一第一噪声对应的第一生成数据;每一第一生成数据均具有第一特征;
合成模块,用于分别对每一第一生成数据进行目标添加处理,得到每一第一生成数据对应的合成数据;每一合成图片的目标添加部分均具有第二特征;
添加模块,用于将至少部分合成数据添加至待优化数据组中,得到样本数据组。
根据本公开的另一方面,还提供了一种非瞬时性计算机可读存储介质,存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述基于GAN的电网异物图像数据增强的方法。
根据本公开的另一方面,还提供了一种电子设备,包括处理器和上述非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果:
基于切割后数据进行训练得到生成器,并将生成器生成的数据补充目标后添加至待优化数据组中,可以得到数据处理后的样本数据组,样本数据组中的合成数据相对待优化数据组中的待优化数据发生了较多实质性的变化,即可以使样本数据组中的样本数据较为多样化,进而基于该样本数据组进行训练和处理的异物检测模型的性能可以得到提升。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据处理的流程图。
图2为本发明实施例提供的的生成式对抗网络的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于GAN的电网异物图像数据增强的方法,其中,本发明实施例中涉及的数据均是指图像,该方法可以由以下任意一项或其任意组合完成:终端、服务器、其他具备处理能力的设备,本发明实施例对此不作限定。
本发明实施例以服务器为例,下面将参照图1所示的数据处理的流程图,对基于GAN的电网异物图像数据增强的方法进行介绍。
该方法包括以下步骤:
步骤100,获取待优化数据组。
其中,待优化数据组包括若干待优化数据,每一待优化数据均包括第一目标和第二目标,第一目标具有第一特征,第二目标具有第二特征。
示例性的,每一待优化数据均可以设置为电网异物图像,电网异物图像包括异物部分和除异物部分以外的部分,该待优化数据中的异物部分为第一目标,第一目标可以设置为鸟巢、风筝、气球或漂浮垃圾等图像,则对应的第一特征分别为鸟巢、风筝、气球或漂浮垃圾的特征;该待优化数据中除异物部分以外的部分为第二目标,第二目标至少包括电网图像,则对应的第二特征包括电网的特征,第二目标还可以包括以下任意一项或其任意组合:天空、大地、绿植等图像,则对应的第二特征还包括以下以下任意一项或其任意组合:天空、大地、绿植的特征,本发明实施例对第一目标和第二目标的具体内容均不作限定。
在一种可能的实施方式中,用户可以在终端上点击确认开始的选项,进而在服务器上可以触发数据处理的信号。例如,可以在终端上点击确认开始的选项,终端可以进行若干电网图像的拍摄,拍摄完成后可以自动触发数据处理的信号。本发明实施例对触发数据处理的信号的具体情形不作限定。其中,上述终端可以是无人机航拍装置等图像采集设备,本发明实施例对此不作限定。
当服务器接收到数据处理的信号时,可以获取该信号对应的若干数据,例如,该若干数据为上述若干电网图像。在进行数据处理之前,服务器可以对已获取的数据进行预处理,预处理可以包括初步筛选数据、扩充数据数量、转换数据格式、对数据进行降噪或将数据等比例缩放至预设尺寸等处理。
其中,初步筛选数据的处理可以为将已获取的数据中的模糊数据、大视野数据和无异物数据等进行去除的处理,扩充数据数量的处理包括可以如下的具体处理:将至少部分已获取的数据进行水平翻转、垂直翻转、0°-45°旋转、保留中心区域裁剪、0.5-1倍缩小或1-2倍放大等处理,得到若干补充数据,并将该若干补充数据与已获取的数据均作为扩充后数据,以使扩充后数据的数量为已获取的数据的1.5-2倍。本公开实施例对具体的预处理方式不做限定。
在对已获取的数据进行预处理后,可以将所有或至少部分预处理后的数据均作为待优化数据,再将得到的若干待优化数据组成的数据组,作为本实施例中的待优化数据组。例如,可以将预处理后的数据设置为数据集,该数据集包括第一训练集、第一验证集和第一测试集,数据集中的数据按照8:1:1的比例分布于第一训练集、第一验证集和第一测试集中,并将第一训练集和第一验证集合并作为待优化数据组,本发明实施对待优化数据与预处理后的数据的具体数量比不作限定。
可选的,在得到待优化数据组后,还可以进行如下处理:
获取每一待优化数据的类别信息;
对每一待优化数据标记对应的类别信息。
其中,每一类别信息用于表示对应的待优化数据的第一目标的种类特征。
基于此,在进行数据处理时,可以对标记不同类别信息的待优化数据分别进行处理,以使生成器仅需要生成同一类别的数据,即通过包括同一种类的第一目标的数据对生成器进行训练,可以提高生成器的训练效率、优化训练效果。
例如,任一待优化数据的第一目标可以设置为鸟巢第一目标、风筝第一目标、气球第一目标或漂浮垃圾第一目标,且待优化数据组的第一目标包括若干鸟巢第一目标、若干风筝第一目标、若干气球第一目标和若干漂浮垃圾第一目标,对应的,该待优化数据的类别信息可以分别为表示鸟巢的信息、表示风筝的信息、表示气球的信息或表示漂浮垃圾的信息,表示鸟巢的信息可以设置为nest、表示风筝的信息可以设置为kite、表示气球的信息可以设置为balloon或表示漂浮垃圾的信息可以设置为trash,本发明实施例对待优化数据的类别信息的具体内容不作限定。
步骤200,分别对每一待优化数据进行切割,以去除每一待优化数据中的至少部分第二目标,得到每一待优化数据对应的切割后数据。
其中,每一切割后数据均包括对应的第一目标。
在一种可能的实施方式中,在得到待优化数据组后,对每一待优化数据进行识别,得到每一待优化数据对应的坐标框信息,并基于每一坐标框信息对对应的待优化数据进行标记,每一坐标框信息用于表示对应的待优化数据中的拟设坐标框的位置及范围信息,每一待优化数据的第一目标位于对应的拟设坐标框中,坐标框信息至少包括坐标和尺寸,例如,每一坐标框信息包括对应的拟设坐标框的左上角的坐标和对应的拟设坐标框的长和宽,本发明实施例对坐标框信息的具体内容不作限定。进而可以根据每一待优化数据标记的坐标框信息对与其对应的待优化数据进行切割,以去除每一待优化数据中的拟设坐标框以外的第二目标,得到每一待优化数据对应的切割后数据。
在另一种可能的实施方式中,在得到待优化数据组后,对每一待优化数据进行识别,得到每一待优化数据的第一目标的轮廓信息,进而可以根据每一待优化数据的第一目标的轮廓信息对与其对应的待优化数据进行切割,以去除每一待优化数据中的第一目标以外的数据部分,得到每一待优化数据对应的切割后数据。
其中,每一切割后数据的尺寸均相同,例如,每一切割后数据的尺寸均设置为128像素*128像素。
步骤300,获取初始生成式对抗网络。
其中,初始生成式对抗网络包括初始生成器和初始判别器。
在一种可能的实施方式中,可以构建包括初始生成器和初始判别器的初始生成式对抗网络(GAN,Generative Adversarial Networks)。
步骤400,基于若干切割后数据,对初始生成器和初始判别器进行对抗训练,得到生成器。
其中,生成器为初始生成器训练完成得到的,生成器用于生成具有第一特征的数据。
在一种可能的实施方式中,得到初始生成式对抗网络后,将若干切割后数据输入至初始生成式对抗模型中,基于输入的若干切割后数据,初始生成式对抗模型中的初始生成器和判别器开始进行对抗训练,每训练预设次数后保存当前的生成器,直至生成器达到预设数目,例如,预设次数可以设置为300,预设数目设置为6。并比较预设数目的已保存生成器的损失函数变化曲线,将预设数目的已保存生成器中损失最小的已保存生成器作为生成器。还可以使用预设数目的已保存生成器分别进行数据生成处理,以比较验证生成器生成的数据的质量其中,每一已保存生成器可以生成若干具有第一特征的数据。例如,每一已保存生成器生成20个数据,将该20个数据作为该已保存生成器对应的比较数据组,并将每一已保存生成器对应的比较数据组中的数据进行比较,可以验证得出生成器对应的比较数据组中的数据总体上是质量较高、纹理较为清晰且分辨率较高的。
另外,在对初始生成式对抗模型训练过程中,还可以采用生成器的损失值和判别器的损失值均小于预设值时的生成器作为生成器等方式得到生成器,本发明实施例对被作为生成器的具体生成器不作限定。
步骤500,获取若干第一噪声。
其中,第一噪声与第二噪声维度相同。
在一种可能的实施方式中,每一第一噪声可以为通过随机生成或预设等方式得到的,本发明实施例对此不作限定。
步骤600,控制生成器分别对每一第一噪声进行处理,得到每一第一噪声对应的第一生成数据。
其中,每一第一生成数据均具有第一特征。
例如,初始生成器和初始判别器是基于切割后数据进行训练的,该切割后数据的第一目标为鸟巢图像,则该切割后数据具有的第一特征为鸟巢的特征,且生成的每一第一生成数据均具有鸟巢的特征,即每一第一生成数据中均包括鸟巢的图像。
步骤700,分别对每一第一生成数据进行目标添加处理,得到每一第一生成数据对应的合成数据。
其中,每一合成图片的目标添加部分均具有第二特征。
在一种可能的实施方式中,在得到若干第一生成数据后,可以将每一第一生成数据随机与上述任一待优化数据被切割去除的部分进行拼接处理,得到每一第一生成数据对应的合成数据,其中,与每一第一生成数据进行拼接的部分均具有第二特征。
在另一种可能的实施方式中,在得到若干第一生成数据后,可以利用PS工具对每一第一生成数据进行背景随机添加处理,得到对应的合成数据,基于此可以提高背景的随机性,进而提高了合成数据的多样性,其中,对每一第一生成数据随机添加的背景均具有第二特征。例如,在得到若干第一生成数据后,可以利用PS工具对每一第一生成数据进行背景随机添加处理,每一随机添加的背景可以具有电网和天空的特征,则每一随机添加的背景包括电网和天空的图像。
在另一种可能的实施方式中,基于上述对每一待优化数据标记对应的类别信息,在得到若干第一生成数据后,可以获取每一第一生成数据的类别信息,并对每一第一生成数据标记对应的类别信息,然后对每一第一生成数据进行目标添加处理,得到对应的带有类别信息的合成数据,其中,对每一第一生成数据随机添加的目标均具有第二特征。
步骤800,将至少部分合成数据添加至待优化数据组中,得到样本数据组。
在一种可能的实施方式中,在得到若干合成数据后,将该若干合成数据均添加至待优化数据组中,得到样本数据组,以实现数据增强。因此,基于切割后数据进行训练得到生成器,并将生成器生成的数据补充目标后添加至待优化数据组中,可以得到数据处理后的样本数据组,样本数据组中的合成数据相对待优化数据组中的待优化数据发生了较多实质性的变化,即可以使样本数据组中的样本数据较为多样化,进而基于该样本数据组进行训练和处理的异物检测模型的性能可以得到提升。
在另一种可能的实施方式中,可以将上述预处理后得到的数据作为数据集,该数据集包括第一训练集、第一验证集和第一测试集,第一训练集和第一验证集合并作为待优化数据组,在得到合成数据后,将已得到的合成数据添加至待优化数据组中,得到更新后的待优化数据组,并将包含更新后的待优化数据组的数据集作为样本数据组。
在另一种可能的实施方式中,基于每一合成数据和每一待优化数据均标记有类别信息,在得到合成数据后,可以将带有同一的类别信息的合成数据均与待优化数据组中带有同一类别信息的待优化数据进行合并,得到该类别信息对应的样本数据组。
可选的,初始生成器包括依次连接的多层反卷积网络,基于此,上述步骤400中进行对抗训练时具体可以进行如下处理:
步骤410,获取若干第二噪声;若干第二噪声与若干切割后数据一一对应;
步骤420,分别对每一第二噪声进行维度重构处理,得到每一第二噪声对应的噪声矩阵;
步骤430,通过多层反卷积网络分别对每一噪声矩阵进行处理,得到每一噪声矩阵对应的第一特征向量;
步骤440,根据每一第一特征向量,得到每一第一特征向量对应的第二生成数据;
步骤450,将每一第二生成数据和若干切割后数据输入初始判别器,得到每一第二生成数据对应的判别结果;
步骤460,基于若干判别结果,对初始生成器或初始判别器进行参数调整。
在一种可能的实施方式中,如图2所示的生成式对抗网络的结构示意框图,得到初始生成式对抗网络后,可以获取若干第二噪声,并对若干第二噪声进行维度重构处理,每一第二噪声分别可以转换为对应的噪声矩阵,以使初始生成器可以对其进行处理,将每一噪声矩阵输入至首层反卷积网络中,经过多层反卷积网络进行上采样处理,可以得到每一噪声矩阵对应的第一特征向量,对每一第一特征向量进行处理得到与其对应的第二生成数据。然后将每一第二生成数据与若干切割后数据均输入至初始判别器中,经过初始判别器的处理,可以得到每一第二生成数据对应的判别结果,依次基于每一判别结果,对处于训练过程中的生成器和判别器的参数进行调整,直至得到生成器。
其中,每一判别结果用于表示对应的第二生成数据为上述若干切割后数据中的任一切割后数据的概率,每一第二噪声可以为通过随机生成或预设等方式得到的,本发明实施例对得到第二噪声的具体方式不作限定。
可选的,任意相邻的两层反卷积网络之间和末层反卷积网络之后均设置有第一处理层,每一第一处理层均用于对其输入进行归一化处理和激活处理。
在一种可能的实施方式中,将任一噪声矩阵输入至首层反卷积网络后,得到对应的第一特征向量的具体处理可以如下:对于每层反卷积网络,其输出上采样处理的结果后,可以基于该层反卷积网络后的第一处理层,对该上采样处理的结果做归一化处理和激活处理,然后根据末层反卷积网络之后的第一处理层的输出结果,得到对应的第一特征向量。第一处理层可以不断调整每层反卷积网络的输出,从而使经过任一层反卷积网络和其后的第一处理层处理后的输出更稳定,进而可以提高生成式对抗网络的训练稳定性。
可选的,多层反卷积网络中的每层反卷积网络的卷积核数目逐层递减。
基于此,可以使每层反卷积网络对前一层反卷积网络进行进一步的特征提取,提取的特征准确度更高且特点更加明显,进而使训练过程中生成器的生成的数据更接近于真实数据,可以提高生成器的性能。
例如,第二噪声设置为100维向量,噪声矩阵设置为8*8*1024的矩阵,反卷积网络设置有5层,每层卷积网络的卷积核大小可以设置为4*4,步长为2,空余像素用0填充,首层反卷积网络之外的每层反卷积网络的卷积核数目为上一层反卷积网络的卷积核数目的2/1,末层反卷积网络的卷积核数目设置为3,对应生成的第二生成数据的3个颜色通道,第二生成数据为128*128*3的数据。
可选的,对于每一第一处理层,归一化处理可以采用谱范数归一化处理的方式进行处理。
基于此,可以使训练过程中的生成器满足利普希茨连续条件(Lipschitz条件)的限制,可以提升生成器的稳定性。
可选的,对于任意相邻的两层反卷积网络之间的第一处理层,激活处理可以采用线性整流函数(Linear rectification function,relu函数)进行处理。
基于此,可以使训练过程中的生成式对抗网络可以较为快速收敛,进而可以缓解梯度消失问题、提供神经网络稀疏表达能力、并提升计算效率。
可选的,对于末层反卷积网络之后的第一处理层,激活处理可以采用双曲正切函数(Linear rectification function,tahn函数)进行处理。
基于此,可以使末层反卷积网络输出的结果映射到[-1,1]之间,由于双曲正切函数在0附近很短一段区域内可看作线性的,且由于双曲正切函数均值为0,可以使训练过程中的生成式对抗网络内的参数更新较快,提高训练效率。
本发明实施例对第一处理层中归一化处理和激活处理采用的处理方式不作限定。
可选的,初始判别器包括依次连接的多层卷积网络,基于此,上述步骤450可以包括如下具体处理:
步骤451,通过多层卷积网络分别对每一切割后数据进行处理,得到每一切割后数据对应的基准特征向量;
步骤452,通过多层卷积网络分别对每一第二生成数据进行处理,得到每一第二生成数据对应的第二特征向量;
步骤453,基于每一第二特征向量和若干基准特征向量,得到每一第二生成数据对应的判别结果。
其中,判别结果用于表示第二特征向量为任一基准特征向量的概率。
在一种可能的实施方式中,在得到若干切割后数据后,可以将若干切割后数据输入至首层卷积网络中,经过多层卷积网络进行下采样处理后,可以得到每一切割后数据对应的基准特征向量;在得到每一第二生成数据后,可以将该第二生成数据输入至首层卷积网络中,经过多层卷积网络进行下采样处理后,可以得到该第二生成数据对应的第二特征向量,基于每一基准特征向量和该第二特征向量,可以得到该第二生成数据对应的判别结果,该判别结果用于表示该第二特征向量为任一基准特征向量的概率。
示例性的,在得到每一第二特征向量后,可以将该第二特征向量全连接至一个一维向量后的向量和每一基准特征向量均输入至S型(sigmoid)函数中进行处理,并将该S型(sigmoid)函数输出的结果作为判别结果,若判别结果为1,则代表该第二特征向量为任一基准特征向量的概率大于预设值,进而对判别器进行参数调整,若判别结果为0,则代表该第二特征向量为任一基准特征向量的概率小于预设值,进而对生成器进行参数调整。
可选的,多层卷积网络中的每层卷积网络的卷积核数目逐层递增。
基于此,每层卷积网络的卷积核逐层递增以使经过卷积处理后得到的向量的通道数逐层增多,以得到更多的特征更多,进而使训练过程中的判别器的判别能力更高,可以进一步提高生成器的性能。
例如,第二生成数据设置为128*128*3的数据,卷积网络设置有4层,每层卷积网络的卷积核大小可以设置为4*4,步长为2,空余像素用0填充,多层卷积网络中的卷积核数目按照2倍逐层递增,第二特征向量为128*128*3的向量。
可选的,任意相邻的两层卷积网络之间和末层卷积网络之后均设置有第二处理层,每一第二处理层均用于对其输入进行归一化处理和激活处理。
在一种可能的实施方式中,将任一第二生成数据输入至首层卷积网络后,得到对应的第二特征向量的具体处理可以如下:对于每层卷积网络,其输出下采样处理的结果后,可以基于该层卷积网络后的第二处理层,对该下采样处理的结果做归一化处理和激活处理,然后根据末层卷积网络之后的第二处理层的输出结果,得到对应的第二特征向量。第二处理层可以不断调整每层卷积网络的输出,从而使经过任一层卷积网络和其后的第二处理层处理后的输出更稳定,进而可以提高生成式对抗网络的训练稳定性。
可选的,对于每一第二处理层,归一化处理可以采用BN算法进行批量归一化处理。
基于此,可以减小训练过程中的生成式对抗网络收敛速度很慢和梯度爆炸导致无法训练的问题出现的可能性。
可选的,对于每一第二处理层,激活处理可以采用带泄露线性整流(LeakyRelu)激活函数进行处理。
基于此,可以使训练过程中神经元死亡的可能性减小,且其在负区域具有小的正斜率,因此即使对于负输入值,它也可以进行反向传播,进而可以使训练过程稳定性更高。
本发明实施例对第二处理层中归一化处理和激活处理采用的处理方式不作限定。
可选的,末层第二连接层后设置有神经元抑制层。
在得到每一第二特征向量后,将该第二特征向量输入至神经元抑制层,可以丢弃部分神经网络单元,减弱了神经元节点间的联合适应性,增强生成式对抗网络的泛化能力。后续可以将该神经元抑制层输出的向量全连接至一个一维向量后的向量和每一基准特征向量均输入至sigmoid函数中进行处理。
可选的,分别为初始生成器和初始判别器添加注意力机制。
由于第一目标种类较多且每个卷积核的尺寸都是很有限的,传统卷积提取特征只能提取小部分的特征,进而使生成器生成的数据出现多个第一目标叠加、结构错乱和数据缺失的情况的可能性较大,对添加注意力机制的初始生成器和初始判别器进行训练时,带有自注意力的特征图可以代替传统的卷积特征图,进而可以使生成器出现上述情况的可能性较小。
例如,前一个卷积特征图为x∈RC*N,其中C为切割后数据通道数,N为切割后数据的 长宽乘积,用三个1*1的卷积对输入x进行
Figure 903326DEST_PATH_IMAGE002
,Wh∈RC*C运算,co=C/ 8,可以得到f(x)=Wf*x,g(x)=Wg*x,h(x)=Wh*x,其中f(x)、g(x)和h(x)均为特征空间,Wf、Wg和 Wh均代表权重系数,将f(x)转置后的输出与g(x)的输出相乘,将乘积进行归一化操作后得 到一个注意力图,再将得到的注意力图和h(x)逐像素点相乘,得到自适应注意力的特征图。 其中,注意力图计算公示如下:
Figure 763835DEST_PATH_IMAGE004
,其中,i为自适 应注意力的特征图的第i个位置,j为自适应注意力的特征图的第j个区域,βj,i为当前合成 第j个区域时,生成式对抗网络对第i个位置的关注程度。
可选的,得到样本数据组后,还可以进行如下处理:
步骤900,获取第一初始目标检测模型和第二初始目标检测模型;
步骤1000,基于待优化数据组,对第一初始目标检测模型进行训练,得到第一目标检测模型;
步骤1100,基于样本数据组,对第二初始目标检测模型进行训练,得到第二目标检测模型;
步骤1200,比较验证第一目标检测模型和第二目标检测模型,得到验证结果。
其中,第一初始目标检测模型和第二初始目标检测模型相同,第一目标检测模型为第一初始目标检测模型训练完成得到的,第二目标检测模型为第二初始目标检测模型训练完成得到的,其中,验证结果用于表示样本数据组对第二初始目标检测模型的性能影响。
在一种可能的实施方式中,上述预处理后得到的数据作为数据集,数据集包括第一训练集、第一验证集和第一测试集,第一训练集和第一验证集合并作为待优化数据组,样本数据组包括第二训练集、第二验证集和第二测试集。基于此,在得到样本数据组后,可以将样本数据组按照预设比例划分为第二训练集、第二验证集和第二测试集,并构建第一初始目标检测模型和第二初始目标检测模型,基于待优化数据组对第一初始目标检测模型进行训练,得到第一目标检测模型,基于样本数据组中的第二训练集和第二验证集对第二初始目标检测模型进行训练,得到第二目标检测模型,比较验证第一目标检测模型和第二目标检测模型,可以得到验证结果。预设比例可以设置为8:1:1,本发明实施例对此不作限定。
其中,第一初始目标检测模型和第二初始目标检测模型均可以采用yolov5模型,则将对第一初始目标检测模型进行训练的过程中,对应目标检测评价指标综合最优的模型作为第一初始目标检测模型,并将对第二初始目标检测模型进行训练的过程中,对应目标检测评价指标综合最优的模型作为第二初始目标检测模型,本发明实施例对第一初始目标检测模型和第二初始目标检测模型采用的具体模型不作限定,目标检测评价指标可以设置为精确度(Precision)、召回率(recall)和多个类别平均精度的平均值(mAP,mean AveragePrecision),本发明实施例对具体的目标检测评价指标不作限定。
可选的,上述步骤1200的具体处理可以包括如下:
步骤1210,调用第一目标检测模型,对待优化数据组进行验证,得到第一结果;
步骤1220,调用第二目标检测模型,对样本数据组进行验证,得到第二结果;
步骤1230,基于第一结果和第二结果进行比较,得到验证结果。
其中,第一结果用于表示第一目标检测模型进行目标检测的准确度,第二结果用于表示第二目标检测模型进行目标检测的准确度。
在一种可能的实施方式中,上述数据集包括待优化数据组和第一测试集,待优化数据组包括第一训练集和第一验证集,样本数据组和包括第二训练集、第二验证集和第二测试集,基于此,可以调用第一目标检测模型对第一测试集进行处理,得到第一结果,可以调用第二目标检测模型对第二测试集进行处理,得到第二结果,比较第一结果和第二结果,可以得到第二结果优于第一结果的验证结果,即验证了样本数据组可以提升第二目标检测模型进行目标检测的准确度。
其中,第一结果和第二结果均可以设置为精确度(Precision)和多个类别平均精度的平均值(mAP,mean Average Precision)的参数曲线图,验证结果为第二结果对应的参数曲线图相对于第一结果对应的参数曲线图有明显提升。
可选的,在得到样本数据组后,还可以对该样本数据组进行灰度化处理,灰度化处理的公式如下:
Gray1(i,j)=R(i,j),Gray2(i,j)=G(i,j),Gray3(i,j)=B(i,j)
Figure 152615DEST_PATH_IMAGE006
其中,R、G、B分别代表三种颜色通道,f(i,j)为灰度图的(i,j)处的灰度值。灰度化处理后可以减小样本数据组的数据量,在后续进行验证处理时可以减少计算资源。
本发明实施例可以获得如下技术效果:
(1)基于切割后数据进行训练得到生成器,并将生成器生成的数据补充目标后添加至待优化数据组中,可以得到数据处理后的样本数据组,样本数据组中的合成数据相对待优化数据组中的待优化数据发生了较多实质性的变化,即可以使样本数据组中的样本数据较为多样化,进而基于该样本数据组进行训练和处理的异物检测模型的性能可以得到提升。
(2)通过多层反卷积网络和多层第一处理层,可以不断调整每层反卷积网络的输出,从而使经过任一层反卷积网络和其后的第一处理层处理后的输出更稳定,进而可以提高生成式对抗网络的训练稳定性。
(3)通过多层卷积网络和多层第二处理层,可以不断调整每层卷积网络的输出,从而使经过任一层卷积网络和其后的第二处理层处理后的输出更稳定,进而可以提高生成式对抗网络的训练稳定性。
本发明实施例提供了一种基于GAN的电网异物图像数据增强的装置,该装置用于实现上述基于GAN的电网异物图像数据增强的方法。基于GAN的电网异物图像数据增强的装置包括:第一获取模块,切割模块,第二获取模块,训练模块,第三获取模块,控制模块,合成模块,添加模块。
所述第一获取模块,用于获取待优化数据组;所述待优化数据组包括若干待优化数据,每一所述待优化数据均包括第一目标和第二目标;所述第一目标具有第一特征,所述第二目标具有第二特征;
所述切割模块,用于分别对每一所述待优化数据进行切割,以去除每一所述待优化数据中的至少部分所述第二目标,得到每一所述待优化数据对应的切割后数据;其中,每一所述切割后数据均包括对应的第一目标;
所述第二获取模块,用于获取初始生成式对抗网络;所述初始生成式对抗网络包括初始生成器和初始判别器;
所述训练模块,用于基于若干所述切割后数据,对所述初始生成器和所述初始判别器进行对抗训练,得到生成器;所述生成器为所述初始生成器训练完成得到的,所述生成器用于生成具有所述第一特征的数据;
所述第三获取模块,用于获取若干第一噪声;
所述控制模块,用于控制所述生成器分别对每一所述第一噪声进行处理,得到每一所述第一噪声对应的第一生成数据;每一所述第一生成数据均具有所述第一特征;
所述合成模块,用于分别对每一所述第一生成数据进行目标添加处理,得到每一所述第一生成数据对应的合成数据;每一所述合成图片的目标添加部分均具有所述第二特征;
所述添加模块,用于将至少部分所述合成数据添加至所述待优化数据组中,得到样本数据组。
可选的,所述初始生成器包括依次连接的多层反卷积网络;
所述训练模块用于:
获取若干第二噪声;若干所述第二噪声与若干所述切割后数据一一对应;
分别对每一所述第二噪声进行维度重构处理,得到每一所述第二噪声对应的噪声矩阵;
通过所述多层反卷积网络分别对每一所述噪声矩阵进行处理,得到每一所述噪声矩阵对应的第一特征向量;
根据每一所述第一特征向量,得到每一所述第一特征向量对应的第二生成数据;
将每一所述第二生成数据和若干所述切割后数据输入初始判别器,得到每一所述第二生成数据对应的判别结果;
基于若干所述判别结果,对所述初始生成器或所述初始判别器进行参数调整。
可选的,任意相邻的两层反卷积网络之间和末层反卷积网络之后均设置有第一处理层,每一所述第一处理层均用于对其输入进行归一化处理和激活处理。
可选的,所述初始判别器包括依次连接的多层卷积网络;
所述训练模块用于:
通过所述多层卷积网络分别对每一所述切割后数据进行处理,得到每一所述切割后数据对应的基准特征向量;
通过所述多层卷积网络分别对每一所述第二生成数据进行处理,得到每一所述第二生成数据对应的第二特征向量;
基于每一所述第二特征向量和与其对应的所述基准特征向量,得到每一所述第二生成数据对应的判别结果,其中,所述判别结果用于表示所述第二特征向量为任一基准特征向量的概率。
可选的,任意相邻的两层卷积网络之间和末层卷积网络之后均设置有第二处理层,每一所述第二处理层均用于对其输入进行归一化处理和激活处理。
可选的,所述装置还包括验证模块,所述验证模块用于:
获取第一初始目标检测模型和第二初始目标检测模型,其中,所述第一初始目标检测模型和第二初始目标检测模型相同;
基于所述待优化数据组,对所述第一初始目标检测模型进行训练,得到第一目标检测模型;所述第一目标检测模型为所述第一初始目标检测模型训练完成得到的;
基于所述样本数据组,对所述第二初始目标检测模型进行训练,得到第二目标检测模型;所述第二目标检测模型为所述第二初始目标检测模型训练完成得到的;
比较验证所述第一目标检测模型和所述第二目标检测模型,得到验证结果,其中,所述验证结果用于表示所述样本数据组对所述第二初始目标检测模型的性能影响。
可选的,所述验证模块用于:
调用所述第一目标检测模型,对所述待优化数据组进行验证,得到第一结果,其中,所述第一结果用于表示所述第一目标检测模型进行目标检测的准确度;
调用所述第二目标检测模型,对所述样本数据组进行验证,得到第二结果,其中,所述第二结果用于表示所述第二目标检测模型进行目标检测的准确度;
基于所述第一结果和所述第二结果进行比较,得到所述验证结果。
本发明实施例中,获取待优化数据组后,分别对每一待优化数据进行切割,以去除每一待优化数据中的至少部分第二目标,得到每一待优化数据对应的切割后数据,再获取初始生成式对抗网络,初始生成式对抗网络包括初始生成器和初始判别器,并基于若干切割后数据,对初始生成器和初始判别器进行对抗训练,得到生成器,获取若干第一噪声,控制生成器分别对每一第一噪声进行处理,得到每一第一噪声对应的第一生成数据,分别对每一第一生成数据进行目标添加处理,得到每一第一生成数据对应的合成数据,将至少部分合成数据添加至待优化数据组中,得到样本数据组。因此,基于切割后数据进行训练得到生成器,并将生成器生成的数据补充目标后添加至待优化数据组中,可以得到数据处理后的样本数据组,样本数据组中的合成数据相对待优化数据组中的待优化数据发生了较多实质性的变化,即可以使样本数据组中的样本数据较为多样化,进而基于该样本数据组进行训练和处理的异物检测模型的性能可以得到提升。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种基于GAN的电网异物图像数据增强的方法,其特征在于,所述方法包括:
获取待优化数据组;所述待优化数据组包括若干待优化数据,每一所述待优化数据均包括第一目标和第二目标,所述第一目标具有第一特征,所述第二目标具有第二特征;
分别对每一所述待优化数据进行切割,以去除每一所述待优化数据中的至少部分所述第二目标,得到每一所述待优化数据对应的切割后数据;每一所述切割后数据均包括对应的第一目标;
获取初始生成式对抗网络;所述初始生成式对抗网络包括初始生成器和初始判别器;
基于若干所述切割后数据,对所述初始生成器和所述初始判别器进行对抗训练,得到生成器;所述生成器为所述初始生成器训练完成得到的,所述生成器用于生成具有所述第一特征的数据;
获取若干第一噪声;
控制所述生成器分别对每一所述第一噪声进行处理,得到每一所述第一噪声对应的第一生成数据;每一所述第一生成数据均具有所述第一特征;
分别对每一所述第一生成数据进行目标添加处理,得到每一所述第一生成数据对应的合成数据;每一所述合成图片的目标添加部分均具有所述第二特征;
将至少部分所述合成数据添加至所述待优化数据组中,得到样本数据组。
2.根据权利要求1所述的方法,其特征在于,所述初始生成器包括依次连接的多层反卷积网络;
所述基于若干所述切割后数据,对所述初始生成器和所述初始判别器进行对抗训练,包括:
获取若干第二噪声;若干所述第二噪声与若干所述切割后数据一一对应;
分别对每一所述第二噪声进行维度重构处理,得到每一所述第二噪声对应的噪声矩阵;
通过所述多层反卷积网络分别对每一所述噪声矩阵进行处理,得到每一所述噪声矩阵对应的第一特征向量;
根据每一所述第一特征向量,得到每一所述第一特征向量对应的第二生成数据;
将每一所述第二生成数据和若干所述切割后数据输入初始判别器,得到每一所述第二生成数据对应的判别结果;
基于若干所述判别结果,对所述初始生成器或所述初始判别器进行参数调整。
3.根据权利要求2所述的方法,其特征在于,任意相邻的两层反卷积网络之间和末层反卷积网络之后均设置有第一处理层,每一所述第一处理层均用于对其输入进行归一化处理和激活处理。
4.根据权利要求2所述的方法,其特征在于,所述初始判别器包括依次连接的多层卷积网络;
所述将每一所述第二生成数据和若干所述切割后数据输入初始判别器,得到每一所述第二生成数据对应的判别结果,包括:
通过所述多层卷积网络分别对每一所述切割后数据进行处理,得到每一所述切割后数据对应的基准特征向量;
通过所述多层卷积网络分别对每一所述第二生成数据进行处理,得到每一所述第二生成数据对应的第二特征向量;
基于每一所述第二特征向量和与其对应的所述基准特征向量,得到每一所述第二生成数据对应的判别结果,其中,所述判别结果用于表示所述第二特征向量为任一基准特征向量的概率。
5.根据权利要求4所述的方法,其特征在于,任意相邻的两层卷积网络之间和末层卷积网络之后均设置有第二处理层,每一所述第二处理层均用于对其输入进行归一化处理和激活处理。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一初始目标检测模型和第二初始目标检测模型,其中,所述第一初始目标检测模型和第二初始目标检测模型相同;
基于所述待优化数据组,对所述第一初始目标检测模型进行训练,得到第一目标检测模型;所述第一目标检测模型为所述第一初始目标检测模型训练完成得到的;
基于所述样本数据组,对所述第二初始目标检测模型进行训练,得到第二目标检测模型;所述第二目标检测模型为所述第二初始目标检测模型训练完成得到的;
比较验证所述第一目标检测模型和所述第二目标检测模型,得到验证结果,其中,所述验证结果用于表示所述样本数据组对所述第二初始目标检测模型的性能影响。
7.根据权利要求6所述的方法,其特征在于,所述比较验证所述第一目标检测模型和所述第二目标检测模型,得到验证结果,包括:
调用所述第一目标检测模型,对所述待优化数据组进行验证,得到第一结果,其中,所述第一结果用于表示所述第一目标检测模型进行目标检测的准确度;
调用所述第二目标检测模型,对所述样本数据组进行验证,得到第二结果,其中,所述第二结果用于表示所述第二目标检测模型进行目标检测的准确度;
基于所述第一结果和所述第二结果进行比较,得到所述验证结果。
8.一种基于GAN的电网异物图像数据增强的装置,其特征在于,所述装置包括:
第一获取模块,用于获取待优化数据组;所述待优化数据组包括若干待优化数据,每一所述待优化数据均包括第一目标和第二目标,所述第一目标具有第一特征,所述第二目标具有第二特征;
切割模块,用于分别对每一所述待优化数据进行切割,以去除每一所述待优化数据中的至少部分所述第二目标,得到每一所述待优化数据对应的切割后数据;每一所述切割后数据均包括对应的第一目标;
第二获取模块,用于获取初始生成式对抗网络;所述初始生成式对抗网络包括初始生成器和初始判别器;
训练模块,用于基于若干所述切割后数据,对所述初始生成器和所述初始判别器进行对抗训练,得到生成器;所述生成器为所述初始生成器训练完成得到的,所述生成器用于生成具有所述第一特征的数据;
第三获取模块,用于获取若干第一噪声;
控制模块,用于控制所述生成器分别对每一所述第一噪声进行处理,得到每一所述第一噪声对应的第一生成数据;每一所述第一生成数据均具有所述第一特征;
合成模块,用于分别对每一所述第一生成数据进行目标添加处理,得到每一所述第一生成数据对应的合成数据;每一所述合成图片的目标添加部分均具有所述第二特征;
添加模块,用于将至少部分所述合成数据添加至所述待优化数据组中,得到样本数据组。
9.一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。
10.一种电子设备,其特征在于,包括处理器和权利要求9中的所述非瞬时性计算机可读存储介质。
CN202211206528.5A 2022-09-30 2022-09-30 一种基于gan的电网异物图像数据增强的方法和装置 Pending CN115393242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211206528.5A CN115393242A (zh) 2022-09-30 2022-09-30 一种基于gan的电网异物图像数据增强的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211206528.5A CN115393242A (zh) 2022-09-30 2022-09-30 一种基于gan的电网异物图像数据增强的方法和装置

Publications (1)

Publication Number Publication Date
CN115393242A true CN115393242A (zh) 2022-11-25

Family

ID=84127645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211206528.5A Pending CN115393242A (zh) 2022-09-30 2022-09-30 一种基于gan的电网异物图像数据增强的方法和装置

Country Status (1)

Country Link
CN (1) CN115393242A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
US20200285959A1 (en) * 2018-09-30 2020-09-10 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
CN111814875A (zh) * 2020-07-08 2020-10-23 西安电子科技大学 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN113688941A (zh) * 2021-09-09 2021-11-23 西北工业大学 基于生成对抗网络的小样本声呐图像分类识别优化方法
CN114359090A (zh) * 2021-12-29 2022-04-15 中山大学 一种口腔ct影像的数据增强方法
CN114821229A (zh) * 2022-04-14 2022-07-29 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN114820609A (zh) * 2022-06-29 2022-07-29 南昌大学 一种光伏组件el图像缺陷检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
US20200285959A1 (en) * 2018-09-30 2020-09-10 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
CN111814875A (zh) * 2020-07-08 2020-10-23 西安电子科技大学 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN113688941A (zh) * 2021-09-09 2021-11-23 西北工业大学 基于生成对抗网络的小样本声呐图像分类识别优化方法
CN114359090A (zh) * 2021-12-29 2022-04-15 中山大学 一种口腔ct影像的数据增强方法
CN114821229A (zh) * 2022-04-14 2022-07-29 江苏集萃清联智控科技有限公司 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN114820609A (zh) * 2022-06-29 2022-07-29 南昌大学 一种光伏组件el图像缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN111291637A (zh) 一种基于卷积神经网络的人脸检测方法、装置及设备
CN115690522B (zh) 一种基于多池化融合通道注意力的目标检测方法及其应用
CN111899203B (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
CN113744262B (zh) 一种基于GAN和YOLO-v5的目标分割检测方法
CN110210422B (zh) 一种基于光学图像辅助的舰船isar像识别方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN114220126A (zh) 一种目标检测系统及获取方法
CN115131214A (zh) 基于自注意力的室内老人图像超分辨率重构方法及系统
CN114037888A (zh) 基于联合注意力和自适应nms的目标检测方法和系统
CN113837314A (zh) 一种基于混合卷积神经网络的高光谱图像分类方法
CN116071553A (zh) 基于朴素VisionTransformer的弱监督语义分割方法与装置
CN115171183A (zh) 一种基于改进yolov5的口罩人脸检测方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN112464982A (zh) 基于改进ssd算法的目标检测模型、方法及应用
CN115393242A (zh) 一种基于gan的电网异物图像数据增强的方法和装置
CN116597146A (zh) 一种针对激光雷达稀疏点云数据的语义分割方法
CN111339734A (zh) 一种基于文本生成图像的方法
CN114820363A (zh) 图像处理方法和装置
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN108986052B (zh) 一种自适应的图像去光照方法和系统
CN112418098A (zh) 视频结构化模型的训练方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221125

RJ01 Rejection of invention patent application after publication