CN111666994A - 样本图像数据增强方法、装置、电子设备及存储介质 - Google Patents

样本图像数据增强方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111666994A
CN111666994A CN202010468756.4A CN202010468756A CN111666994A CN 111666994 A CN111666994 A CN 111666994A CN 202010468756 A CN202010468756 A CN 202010468756A CN 111666994 A CN111666994 A CN 111666994A
Authority
CN
China
Prior art keywords
image
network model
sample image
generator
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010468756.4A
Other languages
English (en)
Inventor
赵霄鸿
刘莉红
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010468756.4A priority Critical patent/CN111666994A/zh
Publication of CN111666994A publication Critical patent/CN111666994A/zh
Priority to PCT/CN2020/118440 priority patent/WO2021114832A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质。所述样本图像数据增强方法包括：获取样本图像；获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；获取依据所述样本图像生成具有所述感兴趣区域的标注图像；获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。本发明提出的样本图像数据增强方法所需训练资源较少，生成的扩展样本图像的质量也较高。

Description

样本图像数据增强方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质。
背景技术
随着社会经济的不断发展，社会大众生活水平的逐步改善，计算机技术在生产生活中得到广泛推广，特别是计算机图像处理技术，成为当前计算机应用领域中的重要技术类型之一。
计算机图像处理技术中，如何对样本图像数据进行增强，在实际工业项目中解决样本图像分布不均衡的问题时十分重要。举例来说，在进行计算机图像检测分类时，若某一类型的样本图像(如车损图像)的数量较少，导致图像检测分类模型对所述类型的样本图像的训练较少，进而在进行某一相关图像的检测分类时，可能出现错误的检测分类结果。
因此，为改善样本图像分布不均衡的问题，当某一类型样本图像数据较少时，可以先对所述类型的样本图像数据进行增强。进一步地，将增强后的所述类型的多个样本图像数据输入图像检测分类模型进行训练，可以使得图像检测分类模型对某一相关图像进行检测分类时的准确率较高。
一般地，样本图像数据增强方法可以分为有监督地数据增强和无监督地数据增强方法。其中，有监督的数据增强可以分为单样本图像数据增强和多样本图像数据增强，无监督的数据增强可以分为生成新的数据和学习增强策略。
有监督数据增强采用预设的数据变换规则，在已有数据的基础上进行数据扩充。其中，单样本图像数据增强包括几何操作如翻转、旋转等和颜色变换如噪声、模糊等。该类方法的优势很明显，即操作方便，但是存在过拟合的风险。多样本图像数据增强不同于单样本数据增强，它利用多个样本图像来产生新的样本图像，如SMOTE、SamplingPairing和mixup等，这三种方法都是试图将离散样本点连续化来拟合真实分布，不过所增加的样本图像在特征空间中仍位于已知小样本图像点所围成的区域内。而且，该类方法存在一些潜在问题，如SMOTE，它为每个小众样本图像合成数量相同的样本图像，然而，其一方面增加了类之间重叠的可能性，另一方面生成了一些没有提供有益信息的样本。
无监督的数据增强方法主要分为两种：通过模型学习出适合当前任务的数据增强方法，如AutoAugment，通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，如对抗生成网络(GAN)。AutoAugment的基本思想思路是从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法。从预先准备的16个常用数据增强操作中随机选取5个，通过训练和验证来挑选出能够达到数据增强的增强操作组合。该方法能够对于不同的任务学习最佳的数据增强方法，比之有监督数据增强中采用预设的数据变换规则要更灵活、更有针对性。同时，该方法的劣势也很明显：耗费计算资源过大，在计算资源有限的情况下难以实现。
发明内容
本发明提供一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质，其主要目的在于基于对抗生成网络对样本图像数据进行增强，生成扩展样本图像。
为实现上述目的，本发明提供一种样本图像数据增强方法，其包括以下步骤：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
优选地，所述初始对抗生成网络模型包括多个生成器G0,G1,......GN及与所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN，所述多个生成器G0,G1,......GN的输出图像尺寸按照G0,G1,......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xN，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0,z1,......zN，其中N为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中：
当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像
Figure BDA0002513548640000031
将所述输出图像
Figure BDA0002513548640000032
及所述图像块xn输入所述判别器Dn，并对所述生成器Gn及所述判别器Dn进行交替迭代训练；
当n<N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像
Figure BDA0002513548640000033
的采样图像
Figure BDA0002513548640000034
输入所述生成器Gn得到输出图像
Figure BDA0002513548640000035
并将所述输出图像
Figure BDA0002513548640000036
及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
优选地，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定；
当n＝N时，所述生成器Gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
Figure BDA0002513548640000037
当n<N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像
Figure BDA0002513548640000038
叠加后提供至所述卷积神经网络，所述第二叠加器用于将所述卷积神经网络的输出图像与所述采样图像
Figure BDA0002513548640000039
叠加后作为所述输出图像
Figure BDA00025135486400000310
优选地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型。
优选地，所述生成器Gn的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络。
优选地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP。
优选地，所述判别器Dn为马尔科夫判别器。
优选地，所述生成器Gn及所述判别器Dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器Gn及所述判别器Dn的训练损失的公式如下：
Figure BDA0002513548640000041
其中，
Figure BDA0002513548640000042
代表所述生成器Gn的对抗损失最小且所述判别器Dn的对抗损失最大时的乘积，λ代表超参数，lrac(Gn)代表所述生成器Gn的重建损失。
优选地，所述重建损失lrec符合如下条件：
当n＝N时，所述噪声图像zN为随机噪声图像z*，所述生成器Gn及所述判别器Dn的重建损失为：
lrec＝||(GN(z*)-xN||2；
当n＜N时，所述噪声图像zn为0，所述生成器Gn及所述判别器Dn的重建损失为：
Figure BDA0002513548640000043
优选地，所述样本图像包括车损图像。
优选地，所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。
为实现上述目的，本发明还提供一种样本图像数据增强装置，其包括：
样本图像获取模块，用于获取样本图像；
网络模型获取模块，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
标注图像获取模块，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
掩膜图像获取模块，用于获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
扩展图像生成模块，用于将所述标注图像及所述掩膜图像输入目标对抗生成网络模型以生成扩展样本图像。
此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述的的样本图像数据增强方法。
另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述的的样本图像数据增强方法。
本发明提出的样本图像数据增强方法、装置、电子设备及计算机可读存储介质中，通过获取采用样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，并将标注图像及掩膜图像输入所述目标对抗生成网络模型可生成扩展样本图像，不依赖于预训练模型，所需训练资源也较少，可在不降低网络的容量的前提下，不增加计算复杂度和调参工程量，但能够通过隐式的方法对小样本图像进行数据增强，获得扩展样本图像。此外，网络模型训练可输入一张单张的样本图像，无需大量样本图像进行训练。进一步地，将增强后的所述类型的多个样本图像数据用于图像检测分类模型的训练后，所述图像检测分类模型对某一相关图像进行检测分类时的准确率可以提高。
进一步地，通过采用对抗生成网络模型，通过对抗学习的方式，可以生成能够以假乱真的扩展样本图像，也可以使得使用所述扩展样本图像进行训练的图像检测分类模型的准确率进一步提高。并且，对抗生成网络模型还能在满足服从原始数据分布的前提下生成不同的数据，同时所消耗的计算资源也比AutoAugment之类的方法少很多。
进一步地，所述初始对抗生成网络模型包括所述多个生成器G0,G1,......GN及所述多个判别器D0,D1,......DN，进而所述目标对抗生成网络模型可以生成多尺寸的扩展样本图像，同时还能维持全局结构和纹理特征，有效提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。另外，所述目标对抗生成网络模型接收所述标注图像及所述掩膜图像即可生成多张扩展样本图像，可见模型训练完成后，样本图像的扩展较为简单。
进一步地，当n<N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器将所述噪声图像zn及对所述采样图像
Figure BDA0002513548640000051
叠加后提供至所述卷积神经网络，所述第二叠加器将所述卷积神经网络的输出图像与所述采样图像
Figure BDA0002513548640000052
叠加后作为所述输出图像
Figure BDA0002513548640000053
即采用残差学习的方式定义每一级金字塔的学习方式，使得所述生成器Gn在每一级输入的基础上学习图像中缺失的细节，可生成更为逼真的扩展样本图像。
进一步地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型，如所述生成器的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络；可以产生多个任意尺寸和任意高宽比的扩展样本图像，也有利于提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。
进一步地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP，其具有更快的收敛速度，并能生成更高质量的样本，并可提供稳定的训练方式，几乎不需要怎么调参，成功完成模型训练。
进一步地，所述判别器为马尔科夫判别器，所述马尔可夫判别器有利于所述扩展样本图像在高分辨率、高细节的保持，使得所述扩展样本图像的质量较高。
进一步地，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定，上述渐进式的训练也有利于减少对计算资源的消耗。
进一步地，通过所述对抗损失ladv和重建损失lrec，也有利于获得较佳的所述目标对抗生成网络模型，从而可获得高质量的扩展样本图像。
进一步地，将所述样本图像数据增强方法、装置等运用到车损图像数据上，对小样本图像如车身划痕区域或车身开裂区域进行数据增强，解决车损图像样本不均衡的问题，提高车损图像检测分类模型的性能。所述样本图像数据增强方法、装置等属于非监督学习，相比于深度学习中常见的监督式学习来说，不依赖于预训练模型，无需海量车损数据，无需大量计算资源，大大降低数据收集成本和训练资源。另外，通过全卷积的金字塔对抗生成网络模型可由粗到精地生成服从原有车损样本图像分布，但又不同于原有车损样本图像的车损扩展样本图像，更有利于提高车损图像检测分类模型的性能。
附图说明
图1为本发明一个实施例提供的样本图像数据增强方法的实施环境图；
图2为本发明一个实施例提供的样本图像数据增强方法的流程图；
图3为本发明一个实施例提供的样本图像数据增强方法中的初始对抗生成网络模型的训练原理示意图；
图4为本发明一个实施例提供的样本图像数据增强方法中的初始对抗生成网络模型的生成器Gn(n<N时)的结构示意图；
图5为本发明一个实施例提供的样本图像数据增强方法中样本图像、标注图像及扩展样本图像的输入输出原理示意图；
图6为本发明一个实施例提供的样本图像数据增强装置较佳实施例的程序模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
具体地，本发明实施例提供一种样本图像数据增强方法、装置、电子设备及存储介质。其中，所述样本图像数据增强方法用于对样本图像进行数据增强，以生成扩展样本图像。其中，所述扩展样本图像可以用于图像检测分类模型的训练及提高图像检测分类模型的准确率，但不限于上述。
参照图1所示，图1为本发明样本图像数据增强方法较佳实施例的应用环境图。所述样本图像数据增强方法可以应用于电子设备1中，所述电子设备1包括但不限于服务器、服务器集群、手机、平板电脑、笔记本电脑、台式电脑、个人数字助理及穿戴式设备等具有运算功能的终端设备。
所述电子设备1可以包括处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子设备1的外部存储器11，例如所述电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子设备1的样本图像数据增强装置10的程序(如样本图像数据增强程序)。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行样本图像数据增强装置10的程序等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子设备1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子设备1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子设备1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子设备1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子设备1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统、以及样本图像数据增强装置10的程序；处理器12执行存储器11中存储的样本图像数据增强装置10的程序时实现如下步骤S21、S22、S23、S24、S25。
步骤S21，获取样本图像。
具体地，所述样本图像可以为车损图像，所述车损图像可以包括车身划痕区域或车身开裂区域。另外，所述样本图像的数量可以是一张。
步骤S21，获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型。
具体地，所述感兴趣区域为所述车损图像中的车身划痕区域或车身开裂区域。所述样本图像中的感兴趣区域可以为一个、两个或多个。所述样本图像中的感兴趣区域的图像块可以从所述样本图像中裁剪获得。
所述目标对抗生成网络模型可以安装在所述电子设备1中。
在一些实施例中，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程可以在所述电子设备1中进行，即所述电子设备1采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型。
在其他一些实施例中，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程可以在其他电子设备中进行，即其他电子设备采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，所述训练好的目标对抗生成网络模型进一步被安装于所述电子设备中。
以下对所述训练初始对抗生成网络模型生成目标对抗生成网络模型的过程进行介绍。
如图3所示，所述初始对抗生成网络模型可以为全卷积的金字塔对抗生成网络模型。具体地，所述初始对抗生成网络模型包括多个生成器G0,G1,......GN及与所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN。其中，所述多个生成器G0,G1,......GN的输出图像尺寸按照G0,G1,......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xN，所述初始对抗生成网络模型的输入包括所述图像块x0,x1,......xN及噪声图像z0,z1,......zN。其中，N为大于等于2的自然数。
所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤可以包括：
当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像
Figure BDA0002513548640000091
将所述输出图像
Figure BDA0002513548640000092
及所述图像块xn输入所述判别器Dn，即所述输出图像
Figure BDA0002513548640000093
并对所述生成器Gn及所述判别器Dn进行交替迭代训练；
当n<N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像
Figure BDA0002513548640000101
的采样图像
Figure BDA0002513548640000102
输入所述生成器Gn得到输出图像
Figure BDA0002513548640000103
即所述输出图像
Figure BDA0002513548640000104
并将所述输出图像
Figure BDA0002513548640000105
及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
其中，所述生成器Fn的输出图像
Figure BDA0002513548640000106
也可以称为伪造图像，符号↑r可以表示上采样r倍，即所述采样图像
Figure BDA0002513548640000107
可代表对所述生成器Gn+1的输出图像
Figure BDA0002513548640000108
的采样r倍获得的图像。
进一步地，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN可以依照从GN至G0、从DN至D0的顺序被依次训练及固定。具体来说，可以采用由粗当精的方式训练获得所述目标对抗生成网络模型，如，首先训练是GN、DN，当完成GN、DN的训练，GN、DN被固定，再进行GN-1、DN-1的训练，......，直到G0、D0被训练完成而固定，从而得到所述目标对抗生成网络模型。
更进一步地，当n＝N时，所述生成器Gn可以包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
Figure BDA0002513548640000109
如图4所示，当n<N时，所述生成器Gn可以包括第一叠加器41、卷积神经网络42及第二叠加器43，所述第一叠加器41用于将所述噪声图像zn及对所述采样图像
Figure BDA00025135486400001010
叠加后提供至所述卷积神经网络42，所述第二叠加器43用于将所述卷积神经网络的输出图像与所述采样图像
Figure BDA00025135486400001011
叠加后作为所述输出图像
Figure BDA00025135486400001012
即，所述输出图像
Figure BDA00025135486400001013
可以由以下公式表示：
Figure BDA00025135486400001014
其中，ψn代表所述生成器Gn的卷积神经网络，其可以是一个由3×3Conv-BN-LeackyReLU组成的5层全卷积网络。
可以理解，在其他一些实施例中，当n＝N时，所述生成器Gn也可以包括第一叠加器41、卷积神经网络42及第二叠加器43的架构，但是所述第一叠加器41可以直接将噪声图像zn提供至所述卷积神经网络42，且所述卷积神经网络42的输出图像
Figure BDA00025135486400001015
也可以直接经由所述第二叠加器43输出，并作为所述生成器GN的输出图像
Figure BDA00025135486400001016
再进一步地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP，所述判别器Dn为马尔科夫判别器。所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述生成器Gn及对应的所述判别器Dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器Gn及所述判别器Dn的训练损失的公式如下：
Figure BDA0002513548640000111
其中，其中，
Figure BDA0002513548640000112
代表所述生成器Gn的对抗损失最小且所述判别器Dn的对抗损失最大时的乘积，λ代表超参数，lrac(Gn)代表所述生成器Gn的重建损失。
所述重建损失lrec可以符合如下条件：
当n＝N时，所述噪声图像zN为随机噪声图像z*，GN(z*)代表所述生成器Gn的输出图像
Figure BDA0002513548640000113
所述生成器Gn及所述判别器Dn的重建损失为：
lrac＝||(GN(z*)-xN||2；
当n＜N时，所述噪声图像zn为0，
Figure BDA0002513548640000114
代表所述生成器Gn的输出图像
Figure BDA0002513548640000115
所述生成器Gn及所述判别器Dn的重建损失为：
Figure BDA0002513548640000116
步骤S23，获取依据所述样本图像生成的具有所述感兴趣区域的标注图像。
具体地，在一些实施例中，可以使用人工标注的方式，如通过操作所述电子设备，从而在所述样本图像上进行所述感兴趣区域的框选而产生所述标注图像。然而，在其他一些实施例中，所述电子设备也可以直接接收外部设备发送的已经标注好感兴趣区域的标注图像。
步骤S24，获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。
具体地，在一些实施例中，所述电子设备可以对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。然而，在其他一些实施例中，所述电子设备也可以直接接收外部设备发送的对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。具体地，所述屏蔽处理可以将所述感兴趣区域之外的区域灰阶数值都设置为0，所述感兴趣区域的灰阶数值设置为1(或255)的操作。
其中，所述步骤S23、步骤S24涉及的所述样本图像、标注图像及扩展样本图像的输入输出原理可以如图5所示。
步骤S25，将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
具体地，在一些实施例中，所述步骤S22中保存训练后的所述多个生成器G0,G1,......GN作为所述目标对抗生成网络模型时，所述步骤S25中，向所述目标对抗生成网络模型输入所述标注图像及所述掩膜图像即可获得所述扩展样本图像。
在其他一些实施例中，所述步骤S22中保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型时，所述步骤S25中，向所述目标对抗生成网络模型的生成器G0,G1,......GN输入所述标注图像及所述掩膜图像获得输出图像，所述输出图像可以进一步经由判别器进行判断，取当判断结果为真时的输出图像作为所述扩展样本图像。
本发明提出的样本图像数据增强方法中，通过获取采用样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，并将标注图像及掩膜图像输入所述目标对抗生成网络模型可生成扩展样本图像，不依赖于预训练模型，所需训练资源也较少，可在不降低网络的容量的前提下，不增加计算复杂度和调参工程量，但能够通过隐式的方法对小样本图像进行数据增强，获得扩展样本图像。此外，网络模型训练可输入一张单张的样本图像，无需大量样本图像进行训练。进一步地，将增强后的所述类型的多个样本图像数据用于图像检测分类模型的训练后，所述图像检测分类模型对某一相关图像进行检测分类时的准确率可以提高。
进一步地，通过采用对抗生成网络模型，通过对抗学习的方式，可以生成能够以假乱真的扩展样本图像，也可以使得使用所述扩展样本图像进行训练的图像检测分类模型的准确率进一步提高。并且，对抗生成网络模型还能在满足服从原始数据分布的前提下生成不同的数据，同时所消耗的计算资源也比AutoAugment之类的方法少很多。
进一步地，所述初始对抗生成网络模型包括所述多个生成器G0,G1,......GN及所述多个判别器D0,D1,......DN，进而所述目标对抗生成网络模型可以生成多尺寸的扩展样本图像，同时还能维持全局结构和纹理特征，有效提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。另外，所述目标对抗生成网络模型接收所述标注图像及所述掩膜图像即可生成多张扩展样本图像，可见模型训练完成后，样本图像的扩展较为简单。
进一步地，当n<N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器将所述噪声图像zn及对所述采样图像
Figure BDA0002513548640000131
叠加后提供至所述卷积神经网络，所述第二叠加器将所述卷积神经网络的输出图像与所述采样图像
Figure BDA0002513548640000132
叠加后作为所述输出图像
Figure BDA0002513548640000133
即采用残差学习的方式定义每一级金字塔的学习方式，使得所述生成器Gn在每一级输入的基础上学习图像中缺失的细节，可生成更为逼真的扩展样本图像。
进一步地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型，如所述生成器的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络；可以产生多个任意尺寸和任意高宽比的扩展样本图像，也有利于提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。
进一步地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP，其具有更快的收敛速度，并能生成更高质量的样本，并可提供稳定的训练方式，几乎不需要怎么调参，成功完成模型训练。
进一步地，所述判别器为马尔科夫判别器，所述马尔可夫判别器有利于所述扩展样本图像在高分辨率、高细节的保持，使得所述扩展样本图像的质量较高。
进一步地，所述采用所述图像块训练初始对抗生成网络模型生成目标对抗生成网络模型的步骤中，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定，上述渐进式的训练也有利于减少对计算资源的消耗。
进一步地，通过所述对抗损失ladv和重建损失lrec，也有利于获得较佳的所述目标对抗生成网络模型，从而可获得高质量的扩展样本图像。
进一步地，将所述样本图像数据增强方法、装置等运用到车损图像数据上，对小样本图像如车身划痕区域或车身开裂区域进行数据增强，解决车损图像样本不均衡的问题，提高车损图像检测分类模型的性能。所述样本图像数据增强方法、装置等属于非监督学习，相比于深度学习中常见的监督式学习来说，不依赖于预训练模型，无需海量车损数据，无需大量计算资源，大大降低数据收集成本和训练资源。另外，通过全卷积的金字塔对抗生成网络模型可由粗到精地生成服从原有车损样本图像分布，但又不同于原有车损样本图像的车损扩展样本图像，更有利于提高车损图像检测分类模型的性能。
在其他实施例中，样本图像数据增强装置10的程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。如图6所示，为图1中样本图像数据增强装置10较佳实施例的程序模块图。所述样本图像数据增强装置10可以被分割为：样本图像获取模块101、网络模型获取模块102、标注图像获取模块103、掩膜图像获取模块104及扩展图像生成模块105。所述模块101-105所实现的功能或操作步骤均与上文的各步骤S21、S22、S23、S24及S25类似，此处不再详述，示例性地，例如其中：
样本图像获取模块101，用于获取样本图像；
网络模型获取模块102，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
标注图像获取模块103，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
掩膜图像获取模块104，用于获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
扩展图像生成模块105，用于将所述标注图像及所述掩膜图像输入目标对抗生成网络模型以生成扩展样本图像。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括样本图像数据增强装置，所述样本图像数据增强装置被处理器执行时实现如下操作：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
优选地，所述初始对抗生成网络模型包括多个生成器G0,G1,......GN及与所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN，所述多个生成器G0,G1,......GN的输出图像尺寸按照G0,G1,......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xN，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0,z1,......zN，其中N为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤中：
当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像
Figure BDA0002513548640000151
将所述输出图像
Figure BDA0002513548640000152
及所述图像块xn输入所述判别器Dn，并对所述生成器Gn及所述判别器Dn进行交替迭代训练；
当n<N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像
Figure BDA0002513548640000153
的采样图像
Figure BDA0002513548640000154
输入所述生成器Gn得到输出图像
Figure BDA0002513548640000155
并将所述输出图像
Figure BDA0002513548640000156
及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
优选地，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤中，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定；
当n＝N时，所述生成器Gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
Figure BDA0002513548640000157
当n<N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像
Figure BDA0002513548640000158
叠加后提供至所述卷积神经网络，所述第二叠加器用于将所述卷积神经网络的输出图像与所述采样图像
Figure BDA0002513548640000159
叠加后作为所述输出图像
Figure BDA00025135486400001510
优选地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型；所述生成器Gn的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络。
优选地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP；所述判别器Dn为马尔科夫判别器；所述生成器Gn及所述判别器Dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器Gn及所述判别器Dn的训练损失的公式如下：
Figure BDA0002513548640000161
其中，
Figure BDA0002513548640000162
代表所述生成器Gn的对抗损失最小且所述判别器Dn的对抗损失最大时的乘积，λ代表超参数，lrac(Gn)代表所述生成器Gn的重建损失。
优选地，所述重建损失lrec符合如下条件：
当n＝N时，所述噪声图像zN为随机噪声图像z*，所述生成器Gn及所述判别器Dn的重建损失为：
lrec＝||(GN(z*)-xN||2；
当n＜N时，所述噪声图像zn为0，所述生成器Gn及所述判别器Dn的重建损失为：
Figure BDA0002513548640000163
优选地，所述样本图像包括车损图像；所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。
本发明之计算机可读存储介质的具体实施方式与上述样本图像数据增强方法、电子设备的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种样本图像数据增强方法，其特征在于，所述方法包括以下步骤：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
2.根据权利要求1所述的样本图像数据增强方法，其特征在于，所述初始对抗生成网络模型包括多个生成器G0，G1，......GN及与所述多个生成器G0，G1，......GN对应的多个判别器D0，D1，......DN，所述多个生成器G0，G1，......GN的输出图像尺寸按照G0，G1，......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0，x1，......xN，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0，z1，......zN，其中N为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中：
当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像
Figure FDA0002513548630000011
将所述输出图像
Figure FDA0002513548630000012
及所述图像块xn输入所述判别器Dn，并对所述生成器Gn及所述判别器Dn进行交替迭代训练；
当n＜N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像
Figure FDA0002513548630000013
的采样图像
Figure FDA0002513548630000014
输入所述生成器Gn得到输出图像
Figure FDA0002513548630000015
并将所述输出图像
Figure FDA0002513548630000016
及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及
保存训练后的所述多个生成器G0，G1，......GN或保存训练后的所述多个生成器G0，G1，......GN及所述多个判别器D0，D1，......DN作为所述目标对抗生成网络模型。
3.根据权利要求2所述的样本图像数据增强方法，其特征在于，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述多个生成器G0，G1，......GN对应的多个判别器D0，D1，......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定；
当n＝N时，所述生成器Gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
Figure FDA0002513548630000021
当n＜N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像
Figure FDA0002513548630000022
叠加后提供至所述卷积神经网络，所述第二叠加器用于将所述卷积神经网络的输出图像与所述采样图像
Figure FDA0002513548630000023
叠加后作为所述输出图像
Figure FDA0002513548630000024
4.根据权利要求2所述的样本图像数据增强方法，其特征在于，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型；所述生成器Gn的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络。
5.根据权利要求2所述的样本图像数据增强方法，其特征在于，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP；所述判别器Dn为马尔科夫判别器；所述生成器Gn及所述判别器Dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器Gn及所述判别器Dn的训练损失的公式如下：
Figure FDA0002513548630000025
其中，
Figure FDA0002513548630000026
代表所述生成器Gn的对抗损失最小且所述判别器Dn的对抗损失最大时的乘积，λ代表超参数，lrec(Gn)代表所述生成器Gn的重建损失。
6.根据权利要求5所述的样本图像数据增强方法，其特征在于，所述重建损失lrec符合如下条件：
当n＝N时，所述噪声图像zN为随机噪声图像z*，所述生成器Gn及所述判别器Dn的重建损失为：
lrec＝||(GN(z*)-xN||2；
当n＜N时，所述噪声图像zn为0，所述生成器Gn及所述判别器Dn的重建损失为：
Figure FDA0002513548630000027
7.根据权利要求1所述的样本图像数据增强方法，其特征在于，所述样本图像包括车损图像；所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。
8.一种样本图像数据增强装置，其特征在于，所述装置包括：
样本图像获取模块，用于获取样本图像；
网络模型获取模块，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
标注图像获取模块，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
掩膜图像获取模块，用于获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
扩展图像生成模块，用于将所述标注图像及所述掩膜图像输入目标对抗生成网络模型以生成扩展样本图像。
9.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7项任意一项所述的样本图像数据增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7项任意一项所述的样本图像数据增强方法。
CN202010468756.4A 2020-05-28 2020-05-28 样本图像数据增强方法、装置、电子设备及存储介质 Pending CN111666994A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010468756.4A CN111666994A (zh) 2020-05-28 2020-05-28 样本图像数据增强方法、装置、电子设备及存储介质
PCT/CN2020/118440 WO2021114832A1 (zh) 2020-05-28 2020-09-28 样本图像数据增强方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468756.4A CN111666994A (zh) 2020-05-28 2020-05-28 样本图像数据增强方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111666994A true CN111666994A (zh) 2020-09-15

Family

ID=72385186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468756.4A Pending CN111666994A (zh) 2020-05-28 2020-05-28 样本图像数据增强方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111666994A (zh)
WO (1) WO2021114832A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329932A (zh) * 2020-10-30 2021-02-05 深圳市优必选科技股份有限公司 生成对抗网络的训练方法、装置及终端设备
CN112381730A (zh) * 2020-11-12 2021-02-19 上海航天计算机技术研究所 一种遥感影像数据扩增方法
CN112396005A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112785599A (zh) * 2020-12-25 2021-05-11 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
WO2021114832A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 样本图像数据增强方法、装置、电子设备及存储介质
CN113327221A (zh) * 2021-06-30 2021-08-31 北京工业大学 融合roi区域的图像合成方法、装置、电子设备及介质
CN113435358A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 用于训练模型的样本生成方法、装置、设备、程序产品
CN113469279A (zh) * 2021-07-22 2021-10-01 凌云光技术股份有限公司 一种字符样本集的扩增方法、系统及装置
CN113962360A (zh) * 2021-10-09 2022-01-21 西安交通大学 一种基于gan网络的样本数据增强方法及系统
WO2022057312A1 (zh) * 2020-09-18 2022-03-24 平安科技（深圳）有限公司 医学图像处理方法、装置、设备及存储介质
CN116030158A (zh) * 2023-03-27 2023-04-28 广州思德医疗科技有限公司 基于风格生成对抗网络模型的病灶图像生成方法及装置
WO2023100474A1 (ja) * 2021-12-02 2023-06-08 株式会社日立製作所 システム、画像処理方法およびプログラム
CN116797814A (zh) * 2022-12-28 2023-09-22 中建新疆建工集团第三建设工程有限公司 智慧工地安全管理系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642621A (zh) * 2021-08-03 2021-11-12 南京邮电大学 基于生成对抗网络的零样本图像分类方法
CN113610161A (zh) * 2021-08-09 2021-11-05 东南数字经济发展研究院 一种基于图像分类技术的目标检测数据标注方法
CN114663275B (zh) * 2022-04-01 2024-03-15 西北大学 一种基于风格对抗生成网络stylegan2的脸谱图像生成方法
CN115481694B (zh) * 2022-09-26 2023-09-05 南京星环智能科技有限公司 一种训练样本集的数据增强方法、装置、设备及存储介质
CN116051683B (zh) * 2022-12-20 2023-07-04 中国科学院空天信息创新研究院 一种基于风格自组的遥感图像生成方法、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510482B (zh) * 2018-03-22 2020-12-04 姚书忠 一种基于阴道镜图像的宫颈癌检测装置
US11756667B2 (en) * 2018-05-30 2023-09-12 Siemens Healthcare Gmbh Decision support system for medical therapy planning
CN110189336B (zh) * 2019-05-30 2020-05-01 上海极链网络科技有限公司 图像生成方法、系统、服务器及存储介质
CN110516747A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于对抗生成网络和自编码结合的肺结节良恶性分类方法
CN111160135A (zh) * 2019-12-12 2020-05-15 太原理工大学 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
CN111666994A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 样本图像数据增强方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统
CN110868598A (zh) * 2019-10-17 2020-03-06 上海交通大学 基于对抗生成网络的视频内容替换方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAMAR ROTT SHAHAMET.AL: "SinGAN: Learning a Generative Model From a Single Natural Image", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 27 February 2020 (2020-02-27), pages 4569 - 4579 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114832A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 样本图像数据增强方法、装置、电子设备及存储介质
WO2022057312A1 (zh) * 2020-09-18 2022-03-24 平安科技（深圳）有限公司 医学图像处理方法、装置、设备及存储介质
CN112329932A (zh) * 2020-10-30 2021-02-05 深圳市优必选科技股份有限公司 生成对抗网络的训练方法、装置及终端设备
CN112381730A (zh) * 2020-11-12 2021-02-19 上海航天计算机技术研究所 一种遥感影像数据扩增方法
CN112381730B (zh) * 2020-11-12 2024-02-02 上海航天计算机技术研究所 一种遥感影像数据扩增方法
CN112396005A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 生物特征图像识别方法、装置、电子设备及可读存储介质
WO2022105179A1 (zh) * 2020-11-23 2022-05-27 平安科技（深圳）有限公司 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112785599A (zh) * 2020-12-25 2021-05-11 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN112785599B (zh) * 2020-12-25 2024-05-28 深兰工业智能创新研究院(宁波)有限公司 图像扩展方法及装置
CN113435358A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 用于训练模型的样本生成方法、装置、设备、程序产品
CN113327221A (zh) * 2021-06-30 2021-08-31 北京工业大学 融合roi区域的图像合成方法、装置、电子设备及介质
CN113435358B (zh) * 2021-06-30 2023-08-11 北京百度网讯科技有限公司 用于训练模型的样本生成方法、装置、设备、程序产品
CN113469279A (zh) * 2021-07-22 2021-10-01 凌云光技术股份有限公司 一种字符样本集的扩增方法、系统及装置
CN113962360A (zh) * 2021-10-09 2022-01-21 西安交通大学 一种基于gan网络的样本数据增强方法及系统
CN113962360B (zh) * 2021-10-09 2024-04-05 西安交通大学 一种基于gan网络的样本数据增强方法及系统
WO2023100474A1 (ja) * 2021-12-02 2023-06-08 株式会社日立製作所 システム、画像処理方法およびプログラム
CN116797814A (zh) * 2022-12-28 2023-09-22 中建新疆建工集团第三建设工程有限公司 智慧工地安全管理系统
CN116030158A (zh) * 2023-03-27 2023-04-28 广州思德医疗科技有限公司 基于风格生成对抗网络模型的病灶图像生成方法及装置

Also Published As

Publication number Publication date
WO2021114832A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111666994A (zh) 样本图像数据增强方法、装置、电子设备及存储介质
Cheong et al. Deep CNN-based super-resolution using external and internal examples
Yan et al. SRGAT: Single image super-resolution with graph attention network
Zhou et al. Block-based convolutional neural network for image forgery detection
Muhammad et al. Multi-scale Xception based depthwise separable convolution for single image super-resolution
Wang et al. Jpeg artifacts removal via contrastive representation learning
Qin et al. Deep ResNet based remote sensing image super-resolution reconstruction in discrete wavelet domain
CN111709338B (zh) 一种用于表格检测的方法、装置及检测模型的训练方法
Zhang et al. Feature compensation network based on non-uniform quantization of channels for digital image global manipulation forensics
Singh et al. GIMD-Net: An effective General-purpose Image Manipulation Detection Network, even under anti-forensic attacks
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
Wei et al. 3D face image inpainting with generative adversarial nets
CN113362249B (zh) 文字图像合成方法、装置、计算机设备及存储介质
CN115188000A (zh) 基于ocr的文本识别方法、装置、存储介质及电子设备
Li et al. Deep spatio-frequency saliency detection
Zhao et al. Single image super-resolution via blind blurring estimation and anchored space mapping
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备
Huang et al. Anti-forensics for double JPEG compression based on generative adversarial network
CN110796167A (zh) 基于提升方案深度神经网络的图像分类方法
CN117522754B (zh) 一种图像增强的方法、装置、电子设备及存储介质
CN111861878A (zh) 通过潜在空间正则化对监督式生成对抗网络进行优化
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN115938546B (zh) 一种早期胃癌图像合成方法、系统、设备及存储介质
CN113902618B (zh) 一种基于多模态空间滤波的图像超分算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065429

Country of ref document: HK