CN110533582A - 一种基于生成式对抗网络的安检x光违禁品图像合成方法 - Google Patents

一种基于生成式对抗网络的安检x光违禁品图像合成方法 Download PDF

Info

Publication number
CN110533582A
CN110533582A CN201910752015.6A CN201910752015A CN110533582A CN 110533582 A CN110533582 A CN 110533582A CN 201910752015 A CN201910752015 A CN 201910752015A CN 110533582 A CN110533582 A CN 110533582A
Authority
CN
China
Prior art keywords
image
contraband
synthesis
original
production confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910752015.6A
Other languages
English (en)
Inventor
张海刚
赵腾飞
杨金锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201910752015.6A priority Critical patent/CN110533582A/zh
Publication of CN110533582A publication Critical patent/CN110533582A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06T3/04

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

一种基于生成式对抗网络的安检X光违禁品图像合成方法。其包括成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集;构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像等步骤。本发明借鉴了生成式对抗网络在图像到图像翻译领域的应用,使用生成的方式实现了对违禁品图像的合成,可以有效地生成真实丰富的图像以用于制作数据集,从而达到数据增强的目的。

Description

一种基于生成式对抗网络的安检X光违禁品图像合成方法
技术领域
本发明属于数据增强技术领域,具体涉及一种基于生成式对抗网络的安检X光图像合成方法。
背景技术
现如今,无论是在机场、火车站以及地铁口,还是在一些重要活动的现场,行李安检对保障人民群众的生命和财产安全都具有重要的意义。使用X光安检机进行行李检查更是一项优先级的任务,可降低犯罪和恐怖袭击的风险。尽管X光安检机成像质量的提升为辨别违禁品奠定了很好的基础,但是长时间面对X光安检机筛选行李,即使经过强化训练的安检人员也难免会出现失误,这样就会造成安全隐患。因此,这种类型的任务更适合于计算机处理,从而使人免于这项繁重的工作。
随着卷积神经网络(CNN)的发展,智能安全检查的实现已不再遥不可及。但是,大多数违禁品检测模型需要大量图像,而手动采集图像则通常需要花费很多时间和精力。目前几乎没有包含网络上违禁品的公共数据集。因此,设计自动合成图像以扩展数据集的方法非常重要。因此,若能将卷积神经网络应用于安检图像合成领域,无疑具有重要意义。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于生成式对抗网络的安检X光违禁品图像合成方法。
为了达到上述目的,本发明提供的基于生成式对抗网络的安检X光违禁品图像合成方法包括按顺序进行的下列步骤:
1)成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集;
2)构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像。
在步骤1)中,所述的成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集的方法是:
利用X光安检机成对采集带有违禁品的原始违禁品图像和不带违禁品的背景图像,然后从每一张原始违禁品图像中获取违禁品的位置,之后在相对应的背景图像上与违禁品相同位置处添加随机噪声而获得添加噪声的背景图像,用于后续的违禁品合成,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集。
在步骤2)中,所述的构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像的方法是:
所述的生成式对抗合成网络模型包含一个生成器G、一个引导滤波器F和两个判别器Db,Dp;在上述图像对送入到生成式对抗合成网络模型之后,首先用从原始违禁品图像上裁剪下来的真实的违禁品图像训练生成器G,使它能够在添加噪声的背景图像中的噪声区域合成出新的违禁品图像;然后合成的违禁品图像将经过引导滤波器F,引导滤波器F将原始违禁品图像作为引导图像而对合成的违禁品图像进行处理;最后经过两个判别器进行判别,其中判别器Dp用于判断合成出的违禁品图像是真实的还是假的,其将合成的违禁品图像作为负样本,而将从原始违禁品图像上裁剪下来的真实的违禁品图像作为正样本,通过不断的对抗训练,最终判别器Dp就能够准确判别出噪声区域中的违禁品图像是真实的还是假的;判别器Db则判别合成的违禁品图像是否与背景图像相匹配;经过生成器G和两个判别器Db,Dp的不断对抗训练之后,上述生成式对抗合成网络模型就能够合成出逼真的违禁品图像。
本发明提供的基于生成式对抗网络的安检X光违禁品图像合成方法借鉴了生成式对抗网络在图像到图像翻译领域的应用,使用生成的方式实现了对违禁品图像的合成,可以有效地生成真实丰富的图像以用于制作数据集,从而达到数据增强的目的。
附图说明
图1(a)为原始违禁品图像,图1(b)为背景图像,图1(c)为添加噪声的背景图像。
图2为数据集中图像对示例。
图3为本发明中生成式对抗合成网络模型整体框架示意图。
图4为本发明中生成器结构示意图。
图5为本发明中判别器整体结构图。
图6为不同方法合成的违禁品图像结果图。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于生成式对抗网络的安检X光违禁品图像合成方法进行详细说明。
本发明提供的基于生成式对抗网络的安检X光违禁品图像合成方法包括按顺序进行的下列步骤:
1)成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集;
利用X光安检机成对采集带有违禁品的原始违禁品图像和不带违禁品的背景图像,如图1(a)、图1(b)所示,然后从每一张原始违禁品图像中获取违禁品的位置,之后在相对应的背景图像上与违禁品相同位置处添加随机噪声而获得添加噪声的背景图像,用于后续的违禁品合成,如图1(c)所示,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,如图2所示,由所有图像对构成数据集;
2)构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像;
生成式对抗网络(Generative Adversarial Network,GAN)模型是一种特殊的生成模型。一个典型的GAN模型由两部分组成:判别器(Discriminator,D)和生成器(Generator,G)。其中判别器D用来学习辨别真假样本。生成器G用来捕获真实样本的潜在分布,并生成和真实样本难以区分的伪样本。判别器D和生成器G都是由神经网络构成,二者经过对抗学习和优化使得生成器G生成的伪样本越来越逼真。
如图3所示,本发明中构建的生成式对抗合成网络模型采用对抗学习的方式,包含一个生成器G、一个引导滤波器F和两个判别器Db,Dp;其中判别器Db用于学习背景图像信息,判别器Dp用于判别合成的违禁品图像的真假(以手枪为例),如图3所示。本发明用从图2(a)所示的原始违禁品图像上裁剪下来的真空的违禁品图像训练生成器G,使它可以在图2(b)所示的添加噪声的背景图像中的噪声区域合成出新的违禁品图像。在生成器G中采用增强型编码器-解码器网络(U-Net),如图4所示,该网络遵循普通编码-解码器架构的主要结构,将图2(a)所示的原始违禁品图像作为输入图像并通过一系列卷积层进行下采样操作直到瓶颈层结束。然后,瓶颈层将原始输入的编码信息反馈到要进行上采样的解卷积层。U-Net使用跳过连接将下采样和上采样层连接到相对于瓶颈层的对称位置,这可以保留更丰富的原始信息。
引导滤波器顾名思义,就是具有选择(导向)性的滤波器,其利用一幅图像(矩阵)作为引导图像,这样引导滤波器就知道什么地方是边缘,就可以更好地保护边缘,最终在滤波的同时保持边缘细节。由于上述合成的违禁品图像通常细节纹理都会缺失,所以本发明在生成器G之后添加了一个引导滤波器F,用于更好地保留合成的违禁品图像的细节。引导滤波器F将图2(a)所示的原始违禁品图像作为引导图像,生成器G合成的违禁品图像经过引导滤波器F之后会保留更多的违禁品细节,使得合成的违禁品图像更加逼真自然。
如图5所示,判别器Dp用于判断合成出的违禁品图像是真实的还是假的,其将合成的违禁品图像作为负样本,而将从图2(a)所示的原始违禁品图像上裁剪下来的真实的违禁品图像作为正样本。通过不断的对抗训练,最终判别器Dp就可以准确判别出噪声区域中的违禁品图像是真实的还是假的。由于合成的违禁品图像大小不同,因此本发明使用判别器Dp中的空间金字塔池化层(SPP)来适应不同大小的违禁品图像。而判别器Db可以促使生成器G更好地学习背景图像信息,使得背景图像和合成的违禁品图像可以更好地融入到一起。毕竟本发明构成的生成式对抗合成网络模型的目标不仅是合成出一个逼真的违禁品图像,而且还将合成的违禁品图像毫无违和感地填充到背景图像中。因此,本发明利用判别器Db去判别合成的违禁品图像是否与背景图像相匹配。经过生成器G和两个判别器Db,Dp的不断对抗训练之后,上述生成式对抗合成网络模型可以合成出逼真的违禁品图像。由于上述生成式对抗合成网络模型是为了合成安检X光违禁品图像的模型,因此将其命名为X-rayimage-Synthesis-GAN(XS-GAN)。
为了验证本发明方法的效果,本发明人利用本发明方法对上述数据集中的部分图像对进行了实验,同时利用pix2pix模型、PS-GAN模型进行了对比实验。
上述实验是在Ubuntu18.04系统中进行,编程语言为Python2.7,深度学习框架为Pytorch0.3。算法在GPU上运行,显卡型号为NVIDIA 1080Ti 11GB。三种方法合成的多种不同违禁品图像如图6所示。从图6可以看出,pix2pix模型几乎合成不了完整的违禁品图像,PS-GAN模型虽然可以合成出完整的违禁品图像,但合成的违禁品图像不够清晰且纹理信息缺失较为严重,而本发明中带有引导滤波器的XS-GAN模型可以合成出较为逼真且包含丰富细节的不同种类的违禁品图像,由此可以证明本发明中构建的XS-GAN模型具有较强的泛化性。
为了验证合成的违禁品图像是否能够用于扩充数据集,本发明对合成的违禁品图像进行了Fréchet Inception Distance(FID)分数评估,FID是一种测试合成图像与真实图像的欧式距离的算法,通过测试可以看出合成图像与真实图像的差距究竟有多大,分值越小代表合成图像越接近真实图像,测试结果如表1所示。由表1可以看出,本发明中构建的XS-GAN模型的FID分值最低,证明本发明方法合成的违禁品图像最接近原始违禁品图像。
表1
为了验证本发明方法合成的违禁品图像具有数据增强的效果,本发明人利用原始违禁品图像和合成的违禁品图像分别对SSD检测器进行训练,共进行了剪刀、叉子和手枪三种不同的违禁品检测实验。第一次实验时采用训练的数据集全部是原始违禁品图像,第二次实验时采用的数据集全部是合成的违禁品图像,而第三次实验采用训练的数据集一半是原始违禁品图像,另一半是合成的违禁品图像,实验结果如表2所示。
表2
从表2可以看出,使用合成的违禁品图像训练的SSD检测器的平均检测精度(AP)提高了8%,而使用一半原始违禁品图像和一半合成的违禁品图像进行训练的SSD检测器具有更好的效果,提高了10%。由此可见,本发明方法合成的违禁品图像是具有改良分类检测器效果的,因此具有数据增强的作用。

Claims (3)

1.一种基于生成式对抗网络的安检X光违禁品图像合成方法,其特征在于:所述的基于生成式对抗网络的安检X光违禁品图像合成方法包括按顺序进行的下列步骤:
1)成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集;
2)构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像。
2.根据权利要求1所述的基于生成式对抗网络的安检X光违禁品图像合成方法,其特征在于:在步骤1)中,所述的成对采集原始违禁品图像和背景图像,然后对上述图像进行处理而获得添加噪声的背景图像,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集的方法是:
利用X光安检机成对采集带有违禁品的原始违禁品图像和不带违禁品的背景图像,然后从每一张原始违禁品图像中获取违禁品的位置,之后在相对应的背景图像上与违禁品相同位置处添加随机噪声而获得添加噪声的背景图像,用于后续的违禁品合成,最后由原始违禁品图像和添加噪声的背景图像构成一个图像对,由所有图像对构成数据集。
3.根据权利要求1所述的基于生成式对抗网络的安检X光违禁品图像合成方法,其特征在于:在步骤2)中,所述的构建生成式对抗合成网络模型,然后将上述数据集中的每一个图像对输入到生成式对抗合成网络模型中,最后由生成式对抗合成网络模型输出合成的违禁品图像的方法是:
所述的生成式对抗合成网络模型包含一个生成器G、一个引导滤波器F和两个判别器Db,Dp;在上述图像对送入到生成式对抗合成网络模型之后,首先用从原始违禁品图像上裁剪下来的真实的违禁品图像训练生成器G,使它能够在添加噪声的背景图像中的噪声区域合成出新的违禁品图像;然后合成的违禁品图像将经过引导滤波器F,引导滤波器F将原始违禁品图像作为引导图像而对合成的违禁品图像进行处理;最后经过两个判别器进行判别,其中判别器Dp用于判断合成出的违禁品图像是真实的还是假的,其将合成的违禁品图像作为负样本,而将从原始违禁品图像上裁剪下来的真实的违禁品图像作为正样本,通过不断的对抗训练,最终判别器Dp就能够准确判别出噪声区域中的违禁品图像是真实的还是假的;判别器Db则判别合成的违禁品图像是否与背景图像相匹配;经过生成器G和两个判别器Db,Dp的不断对抗训练之后,上述生成式对抗合成网络模型就能够合成出逼真的违禁品图像。
CN201910752015.6A 2019-08-15 2019-08-15 一种基于生成式对抗网络的安检x光违禁品图像合成方法 Pending CN110533582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752015.6A CN110533582A (zh) 2019-08-15 2019-08-15 一种基于生成式对抗网络的安检x光违禁品图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752015.6A CN110533582A (zh) 2019-08-15 2019-08-15 一种基于生成式对抗网络的安检x光违禁品图像合成方法

Publications (1)

Publication Number Publication Date
CN110533582A true CN110533582A (zh) 2019-12-03

Family

ID=68663299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752015.6A Pending CN110533582A (zh) 2019-08-15 2019-08-15 一种基于生成式对抗网络的安检x光违禁品图像合成方法

Country Status (1)

Country Link
CN (1) CN110533582A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275126A (zh) * 2020-02-12 2020-06-12 武汉轻工大学 样本数据集生成方法、装置、设备及存储介质
CN111539957A (zh) * 2020-07-07 2020-08-14 浙江啄云智能科技有限公司 一种用于目标检测的图像样本生成方法、系统及检测方法
CN112001873A (zh) * 2020-08-27 2020-11-27 中广核贝谷科技有限公司 一种基于集装箱x射线图像的数据生成方法
CN113506283A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 图像处理方法及装置、存储介质、电子装置
CN114897723A (zh) * 2022-05-05 2022-08-12 南京航空航天大学 一种基于生成式对抗网络的图像生成与加噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN109584339A (zh) * 2018-12-04 2019-04-05 中国民航大学 一种基于生成式对抗网络的安检违禁品x光图像生成方法
CN109800764A (zh) * 2019-01-21 2019-05-24 中国民航大学 一种基于注意力机制的机场x光违禁品图像检测方法
CN109978985A (zh) * 2017-12-28 2019-07-05 同方威视科技江苏有限公司 数据处理方法及装置、存储介质、电子设备
CN110070517A (zh) * 2019-03-14 2019-07-30 安徽艾睿思智能科技有限公司 基于退化成像机理和生成对抗机制的模糊图像合成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN109978985A (zh) * 2017-12-28 2019-07-05 同方威视科技江苏有限公司 数据处理方法及装置、存储介质、电子设备
CN109584339A (zh) * 2018-12-04 2019-04-05 中国民航大学 一种基于生成式对抗网络的安检违禁品x光图像生成方法
CN109800764A (zh) * 2019-01-21 2019-05-24 中国民航大学 一种基于注意力机制的机场x光违禁品图像检测方法
CN110070517A (zh) * 2019-03-14 2019-07-30 安徽艾睿思智能科技有限公司 基于退化成像机理和生成对抗机制的模糊图像合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANGNENG ZHAN 等: "Spatial Fusion GAN for Image Synthesis", 《ARXIV》 *
JINFENG YANG 等: "Data Augmentation for X-Ray Prohibited Item Images Using Generative Adversarial Networks", 《IEEE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275126A (zh) * 2020-02-12 2020-06-12 武汉轻工大学 样本数据集生成方法、装置、设备及存储介质
CN111539957A (zh) * 2020-07-07 2020-08-14 浙江啄云智能科技有限公司 一种用于目标检测的图像样本生成方法、系统及检测方法
CN112001873A (zh) * 2020-08-27 2020-11-27 中广核贝谷科技有限公司 一种基于集装箱x射线图像的数据生成方法
CN113506283A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 图像处理方法及装置、存储介质、电子装置
CN114897723A (zh) * 2022-05-05 2022-08-12 南京航空航天大学 一种基于生成式对抗网络的图像生成与加噪方法

Similar Documents

Publication Publication Date Title
CN110533582A (zh) 一种基于生成式对抗网络的安检x光违禁品图像合成方法
CN106874889B (zh) 基于卷积神经网络的多特征融合sar目标鉴别方法
CN110533606B (zh) 基于生成式对抗网络的安检x光违禁品图像数据增强方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN110135375A (zh) 基于全局信息整合的多人姿态估计方法
CN105095856B (zh) 基于掩模的有遮挡人脸识别方法
CN103729854B (zh) 一种基于张量模型的红外弱小目标检测方法
CN108416265A (zh) 一种人脸检测方法、装置、设备及存储介质
CN110378997A (zh) 一种基于orb-slam2的动态场景建图与定位方法
Shao et al. Exploiting foreground and background separation for prohibited item detection in overlapping X-Ray images
CN105844238A (zh) 视频鉴别方法及系统
CN103210322B (zh) 从多个炮检距叠加和/或角度叠加提取地质信息
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN104008370A (zh) 一种视频人脸识别方法
CN110119734A (zh) 刀具检测方法及装置
CN107092884A (zh) 一种快速粗精级联行人检测方法
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN116403294B (zh) 基于Transformer的多视图宽度学习活体检测方法、介质及设备
CN106557749A (zh) 一种基于三维形变人脸模型用于安防的人脸识别方法
CN110222609A (zh) 一种基于图像处理的墙体裂缝智能识别方法
Zhao et al. An adaptation of CNN for small target detection in the infrared
CN109948527A (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN103116740B (zh) 一种水下目标识别方法及其装置
CN115439693A (zh) 目标识别网络模型的训练方法、电子设备及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203