CN116071270A - 基于可变形卷积生成对抗网络的电子数据生成方法及系统 - Google Patents

基于可变形卷积生成对抗网络的电子数据生成方法及系统 Download PDF

Info

Publication number
CN116071270A
CN116071270A CN202310201462.9A CN202310201462A CN116071270A CN 116071270 A CN116071270 A CN 116071270A CN 202310201462 A CN202310201462 A CN 202310201462A CN 116071270 A CN116071270 A CN 116071270A
Authority
CN
China
Prior art keywords
electronic data
deformable convolution
generating
countermeasure network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310201462.9A
Other languages
English (en)
Inventor
丁峰
肖祧宗
沈张一
朱小刚
刘春年
罗铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202310201462.9A priority Critical patent/CN116071270A/zh
Publication of CN116071270A publication Critical patent/CN116071270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于可变形卷积生成对抗网络的电子数据生成方法及系统，该方法包括如下步骤：构建可变形卷积生成对抗网络的网络结构；将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络；将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据；将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。本申请消除可变形卷积生成对抗网络所生成的电子数据中的棋盘伪影，且避免在可变形卷积生成对抗网络中添加过多网络层数。

Description

基于可变形卷积生成对抗网络的电子数据生成方法及系统
技术领域
本申请涉及数据识别技术领域，尤其涉及一种基于可变形卷积生成对抗网络的电子数据生成方法及系统。
背景技术
随着深度学习的发展,生成对抗网络（GAN）已广泛应用于工业和学术研究。在医学成像中，通过GAN能够生成新电子数据（图像），GAN用于重建、分割、电子数据合成、分类、检测等任务。但GAN生成的电子数据也带来了一些问题，即GAN生成的电子数据可能出现独特的纹理，即棋盘伪影。
GAN大多由一个生成模块和一个识别模块组成，在对抗性训练中，两个模块相互竞争以完善自己。为了生成新的电子数据，GAN中的生成器通常采用编码解码过程。本质上，首先由编码器采样到特征向量，之后，解码器对特征向量进行上采样以重建电子数据。目前，常用的上采样方法是转置卷积，它可以在GAN模型中找到，然而GAN中的转置卷积层是产生棋盘伪影的来源，在GAN生成的电子数据中广泛存在棋盘伪影，而很少考虑GAN架构。对于医学诊断和医疗保健，棋盘伪影会扭曲医学电子数据中收集的信息，破坏电子数据的完整性，并降低医学电子数据所携带信息的质量，可以被视为一种虚假信息，棋盘伪影制造的纹理可能会扰乱医生和医护人员的医疗诊断，以至于基于棋盘伪影的虚假信息制定的治疗和康复计划，会对患者和医疗保健网络物理系统造成损害。因此，棋盘伪影必须在GAN生成的电子数据中消除。
现有技术中提出了一种减少棋盘伪影的方法。即多次向网络中添加一个固定的卷积层，该方法取得了一定的进展。但如果网络的层数显著增加，操作开销也会增加。
因此，目前亟需解决的技术问题是：如何消除可变形卷积生成对抗网络所生成的电子数据中棋盘伪影，且避免在可变形卷积生成对抗网络中添加过多网络层数。
发明内容
本申请的目的在于提供一种基于可变形卷积生成对抗网络的电子数据生成方法，消除可变形卷积生成对抗网络所生成的电子数据中的棋盘伪影，且避免在可变形卷积生成对抗网络中添加过多网络层数。
为达到上述目的，本申请提供一种基于可变形卷积生成对抗网络的电子数据生成方法，该方法包括如下步骤：构建可变形卷积生成对抗网络的网络结构；将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络；将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据；将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，构建可变形卷积生成对抗网络的网络结构的方法包括：依次构建编码层、转换层和解码层。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，构建解码层的方法包括：构建两个转置卷积层和一个可变形卷积层；
其中，可变形卷积层为输入特征映射上增加偏移量，以给输入特征映射带来变形。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，得到训练后的可变形卷积生成对抗网络之后还包括：对训练后的可变形卷积生成对抗网络进行评价。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，对训练后的可变形卷积生成对抗网络进行评价包括：对训练后的可变形卷积生成对抗网络生成的电子数据进行验证、质量评价和反取证能力评估。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，预先训练卷积神经网络检测模型的方法包括：基于卷积神经网络基础模型，训练卷积神经网络检测模型；对预先训练的卷积神经网络检测模型进行测试。
如上所述的基于可变形卷积生成对抗网络的电子数据生成方法，其中，训练卷积神经网络检测模型的过程中，卷积神经网络基础模型自动学习棋盘格工件的模式，以识别电子数据中的棋盘伪影。
本申请还提供一种基于可变形卷积生成对抗网络的电子数据生成系统，该系统包括：构建模块，用于构建可变形卷积生成对抗网络的网络结构；训练模块，用于将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络；获取模块，用于将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据；识别检测模块，用于将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
如上所述的基于可变形卷积生成对抗网络的电子数据生成系统，其中，可变形卷积生成对抗网络的网络结构包括编码层、转换层和解码层。
如上所述的基于可变形卷积生成对抗网络的电子数据生成系统，其中，解码层包括两个转置卷积层和一个可变形卷积层；
其中，可变形卷积层为输入特征映射上增加偏移量，以给输入特征映射带来变形。
本申请实现的有益效果如下：
（1）本申请将GAN生成器的网络结构采用可变形卷积的方法，构建可变形卷积生成对抗网络（Deformable GAN），通过可变形卷积层在一定程度上覆盖棋盘伪影，可变形卷积生成对抗网络（Deformable GAN）将输入的图片逐步转化为自然电子数据，且自然电子数据属于最新鉴别器的域，并覆盖了棋盘伪影，从而消除可变形卷积生成对抗网络生成电子数据中的棋盘伪影。
（2）本申请可变形卷积生成对抗网络（Deformable GAN）的可变形卷积在消除棋盘伪影的同时，不在可变形卷积生成对抗网络中添加过多的层数，避免增加操作开销。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于可变形卷积生成对抗网络的电子数据生成方法的流程图。
图2为本申请实施例的对训练后的可变形卷积生成对抗网络进行评价的方法流程图。
图3为本申请实施例的可变形卷积生成对抗网络的网络结构示意图。
图4为本申请实施例的3*3可变形卷积的过程示意图。
图5为本申请实施例的标准卷积的结构示意图。
图6为本申请实施例的可变形卷积的结构示意图。
图7为本申请实施例的基于可变形卷积生成对抗网络的电子数据生成系统的结构示意图。
附图标记：1-采样点；2-偏移点；10-构建模块；20-训练模块；30-获取模块；40-识别检测模块；100-编码层；200-转换层；300-解码层；400-基于可变形卷积生成对抗网络的电子数据生成系统。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请提供一种基于可变形卷积生成对抗网络的电子数据生成方法，该方法包括如下步骤：
步骤S1，构建可变形卷积生成对抗网络的网络结构。
如图3所示，构建可变形卷积生成对抗网络的网络结构包括编码层100、转换层200、解码层300。编码层100、转换层200和解码层300顺序连接，输入特征图从编码层100输入，然后经过转换层200转换，最后进入解码层300解码后，得到输出特征图。
步骤S1包括如下子步骤:
步骤S110，构建编码层。
编码层包括三个依次连接的卷积层（Conv layer）。
编码层负责编码，在编码过程中，输入编码层的图片会被转换成多个特征图。然后，特征图（特征映射）将被放置在转换层中。转换层的目的是聚合来自电子数据各个方面的相关特征。基于这些特征，可变形卷积生成对抗网络修改电子数据的特征向量，使其符合最近的鉴别器域而不是之前的域。换句话说，转换组件将特征向量从前一个鉴别器域移动到最近的鉴别器域。
步骤S120，构建转换层。
优选的，转换层由9个残差网络块（resnet块）组成。每个残差网络块由两个卷积层组成。
输入转换层的数据中的一部分被添加到每个残差网络块的输出中。该特性可以保证前一层的输入数据可以直接影响最后一层的输出数据，从而使原始输入和相应输出之间的差异最小化，否则，输出电子数据将与对象轮廓不同，而不保留原始电子数据的特征。
步骤S130，构建解码层。
作为本发明的一个具体实施例，解码层由两个转置卷积层（deconv layer）和一个可变形卷积层（Deformableconv）组成。
由转置卷积层变换部分生成的特征向量将被还原为较低层次的特征映射，可变形卷积层将这些特征映射转换为自然电子数据。可变形卷积层使用的是基于DeformatableGAN的变形卷积技术，可变形卷积是一种针对特征映射的增强卷积运算。
如图5所示，为大小为3*3的标准卷积。
如图6所示，为与3*3标准卷积相同大小的可变形卷积。通过增加位移分量，在图6的采样点1上增加一个额外的偏移量，得到偏移点2，偏移量由额外的卷积层学习到的。
如图4所示，输入可变形卷积层的特征图经过可变形卷积，增加2N偏移量（通道维数对应N个二维偏移量），增加偏移量的操作给可变形卷积的输入特征映射带来变形，获得变形后的输出特征图。
对于标准的二维卷积，首先，定义一个带有膨胀的3*3核作为网格G：
G={（-1，1），（-1，0），（-1，-1），… ，（0，1），（1，1）} ；
在网格G上输入特征映射，输入特征映射用卷积核
Figure SMS_1
加权，卷积核
Figure SMS_2
的大小也是3*3。输出特征图
Figure SMS_3
上的每个点
Figure SMS_4
的特征值计算公式为：
Figure SMS_5
；
其中，
Figure SMS_8
表示输出特征图
Figure SMS_11
上点
Figure SMS_13
的特征值；
Figure SMS_9
表示输出特征图
Figure SMS_12
上的点；
Figure SMS_15
表示网格G中第
Figure SMS_17
个点的位置；
Figure SMS_6
表示网格G中所有点（每一个格对应一个点）的总个数；
Figure SMS_10
表示网格G上的输入特征映射；
Figure SMS_14
表示卷积核；
Figure SMS_16
表示输入特征映射在
Figure SMS_7
位置处的特征向量。
对于可变形卷积，网格G由一个偏移量O调整，偏移量O为：
Figure SMS_18
；
其中，
Figure SMS_19
表示偏移矩阵，偏移矩阵每个元素表示每个点的位移；
Figure SMS_20
表示参数；
Figure SMS_21
表示网格
Figure SMS_22
中点的总数量。在同样的情况下，输出特征图
Figure SMS_23
上的每个点
Figure SMS_24
的特征值计算公式为：
Figure SMS_25
；
其中，
Figure SMS_26
表示输入特征映射在
Figure SMS_27
位置处的特征向量。
由于
Figure SMS_28
可能是非积分的，例如：
Figure SMS_29
，通过双线性插值计算输出特征值，输出特征图
Figure SMS_30
上的点
Figure SMS_31
的特征值计算公式为：
Figure SMS_32
；
Figure SMS_33
；
其中，
Figure SMS_35
表示输出特征图
Figure SMS_39
上的点
Figure SMS_40
的特征值；
Figure SMS_36
代表可变形位置(即图6中偏移点2的位置)；
Figure SMS_37
表示输入特征映射
Figure SMS_41
中的所有积分空间位置；
Figure SMS_42
表示双线性插值函数运算；
Figure SMS_34
表示输入特征映射在
Figure SMS_38
位置处的特征向量。
通过在输入特征映射上增加一个卷积层来产生偏移量，偏移量字段与输入特征映射具有相同的分辨率。
如图4中2N表示通道维数对应N个二维偏移量。
此外，卷积核
Figure SMS_43
在训练过程中通过反向传播自动优化，以学习偏移量。最后，标准的输入特征映射和偏移量是可变形卷积的输入，影响输出特征映射的结果。
在训练过程中，得到偏移量O的梯度计算公式为：
Figure SMS_44
；
Figure SMS_45
；
Figure SMS_46
；
其中，
Figure SMS_62
表示输出特征图
Figure SMS_48
上点
Figure SMS_55
的特征值；
Figure SMS_59
表示求偏导符号；
Figure SMS_65
代表可变形位置(即图6中偏移点2的位置)；
Figure SMS_60
表示偏移矩阵；
Figure SMS_64
表示卷积核；
Figure SMS_52
表示输入特征映射
Figure SMS_56
中的所有积分空间位置；
Figure SMS_47
表示输出特征图
Figure SMS_53
上的点；
Figure SMS_50
表示网格G中第
Figure SMS_58
个点的位置；
Figure SMS_51
为参数；
Figure SMS_54
表示输入特征映射在标准卷积处理基础上增加偏移量卷积处理后的特征向量，也即先获得输入特征映射在
Figure SMS_57
位置处的特征向量
Figure SMS_63
，再以该特征向量
Figure SMS_61
作为用于产生偏移量的卷积层的输入，最后输出特征向量
Figure SMS_66
；
Figure SMS_49
是可训练的。
另外一种层操作称为可变形RoI(兴趣区域)池，具有与可变形卷积类似的设计。原始RoI池由下式导出。假设有一个输入特征映射Min和一个宽度为WRoI，高度为HRoI的RoI区域。
具体的，输出特征图上坐标(i, j)的特征值计算公式如下：
Figure SMS_67
；
其中，
Figure SMS_70
表示输出特征图上坐标(i,j)的特征值；坐标(i,j)表示向量在输出特征图上的位置。
Figure SMS_73
表示RoI划分的区域；
Figure SMS_75
表示输出特征图上的点；
Figure SMS_69
表示点
Figure SMS_72
属于区域
Figure SMS_76
中的位置；
Figure SMS_78
表示区域
Figure SMS_68
中的位置；
Figure SMS_71
表示区域
Figure SMS_74
中的像素数；
Figure SMS_77
表示输出特征图的长度。
Figure SMS_79
表示
Figure SMS_80
。
然而，定义的偏移量
Figure SMS_81
，在使用可变形RoI池时，偏移量为区域
Figure SMS_82
提供了位移。偏移量计算公式如下：
Figure SMS_83
；
其中，
Figure SMS_84
为坐标为(i, j)点的位移；
Figure SMS_85
表示偏移量；
Figure SMS_86
表示输出特征图的长度；i和j分别表示向量在输出特征图上位置的横坐标和纵坐标。输出特征图上坐标(i, j)的特征值计算公式演化为：
Figure SMS_87
；
其中，
Figure SMS_88
表示输出特征图上坐标(i, j)的特征值；
Figure SMS_89
表示 RoI 划分的区域；
Figure SMS_90
表示坐标为(i, j)的点的位移。
相应的，可变形RoI池的反向传播算法为：
Figure SMS_91
；
Figure SMS_92
；
Figure SMS_93
；
其中，
Figure SMS_95
表示输入特征映射在标准卷积处理基础上增加偏移量卷积处理后的特征向量；
Figure SMS_100
表示参数；
Figure SMS_103
表示输出特征图
Figure SMS_97
上的点
Figure SMS_98
的特征值；
Figure SMS_102
代表可变形位置；
Figure SMS_105
表示输出特征图上的点；
Figure SMS_94
表示区域
Figure SMS_99
中的位置；
Figure SMS_101
表示区域
Figure SMS_104
中的像素数；
Figure SMS_96
表示求偏导符号。
步骤S2，将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络。
作为本发明的一个具体实施例，训练数据集选择医学电子数据，包括第一数据集：PET-to-CT（正电子发射断层到X线计算机断层组合系统采集的电子数据）和第二数据集：血管树-视网膜图像（血管树到视网膜电子数据）两种类型的电子数据，作为两个数据集。每一个数据集被可变形卷积生成对抗网络单独训练。
作为本发明的具体实施例,电子数据为图像。
作为本发明的一个具体实施例，在原始电子数据中，训练数据集选择为：第一组数据包括1067张马类图像和1334张斑马类图像，第二组数据包括995张苹果类图像和1019张橘子类图像。所有的图像都来自ImageNet数据库。这些图像的大小统一,为128*128cm，训练数据集中的图像进行必要的重采样和裁剪处理。每一组数据被可变形卷积生成对抗网络单独训练。
作为本发明的一个具体实施例，设定可变形卷积生成对抗网络的初始学习率为0.0002，动量为0.5。由于可变形卷积需要更多的内存来访问偏移量，因此，设定批大小为4，以防止内存爆炸。最后一个卷积层的generator filter（生成器过滤器）和第一个卷积层的discriminator filter（鉴别器过滤器）的个数都是64。
在医学的血管树到视网膜的翻译训练中，将训练集中的血管树-视网膜图像（血管树到视网膜图像）输入到可变形卷积生成对抗网络中进行训练。
步骤S2中得到训练后的可变形卷积生成对抗网络之后还包括：对训练后的可变形卷积生成对抗网络进行评价。
如图 2 所示，对训练后的可变形卷积生成对抗网络进行评价的方法，具体包括如下子步骤：
步骤S210，对训练后的可变形卷积生成对抗网络生成的电子数据进行验证。
将验证集中的血管树-视网膜图像（血管树到视网膜图像）输入到训练好的可变形卷积生成对抗网络中进行验证，获取经过可变形卷积生成对抗网络生成的第一电子数据。
作为对比，将验证集中的血管树-视网膜图像（血管树到视网膜图像）输入到与可变形卷积生成对抗网络训练方法相同的CycleGAN模型（实现图像风格转换功能的GAN网络）中进行验证，获取经过CycleGAN模型生成的第二电子数据。通过预先训练卷积神经网络检测模型对棋盘伪影的识别可以得出，CycleGAN模型生成的图像虹膜边缘区域存在严重的棋盘伪影，而可变形卷积生成对抗网络生成的电子数据不存在棋盘伪影。
步骤S220，对训练后的可变形卷积生成对抗网络生成电子数据的质量进行评价。
PSNR（峰值信噪比）是评价电子数据质量常用的指标。利用现有的计算方法分别计算可变形卷积生成对抗网络生成的电子数据的PSNR（峰值信噪比）和CycleGAN模型生成的电子数据的PSNR（峰值信噪比），获取的PSNR结果如表1所示。
表1
Figure SMS_106
从表1中可知，对于两个数据集，可变形卷积生成对抗网络生成的电子数据的PSNR始终大于CycleGAN模型生成的电子数据的PSNR，因此，可变形卷积生成对抗网络生成的电子数据的质量始终优于CycleGAN模型生成的电子数据。
步骤S230，评估可变形卷积生成对抗网络生成电子数据的反取证能力。
步骤S230包括如下子步骤：
步骤S231，基于CNN（卷积神经网络）基础模型，预先训练卷积神经网络检测模型。
具体的，预先训练卷积神经网络检测模型包括预先训练三种标准的CNN模型。
三种标准的CNN模型分别为：GoogleNet（深度网络结构）模型, Resnet（残差网络）模型和Densenet（具有密集连接的卷积神经网络）模型，通过三种标准的CNN模型作为检测器，区分识别带有棋盘伪影的GAN电子数据和原始电子数据。
为了识别GAN生成的电子数据，上述CNN（卷积神经网络）自动学习棋盘格工件的模式，以识别电子数据中的棋盘伪影。
步骤S232，对预先训练的卷积神经网络检测模型进行测试。
具体的，对预先训练的三种标准的CNN模型进行测试。
目前，DCGAN（深度卷积生成对抗网络）和WGAN（wasserstein GAN）作为GAN中两种显著的GAN结构，也被用于产生一些具有不同棋盘伪影的电子数据。对于原有的GAN，generator（生成器）和discriminator（鉴别器）中的特征提取层是多层感知器，DCGAN中的特征提取层被CNN架构所取代。在CNN的帮助下，DCGAN在训练中比原始GAN具有更强的稳定性。WGAN的出现彻底解决了GAN训练不稳定的问题。在使用WGAN时，不再需要仔细地平衡生成器和鉴别器的训练范围。
因此，选择训练数据集输入到DCGAN和WGAN中生成电子数据，利用预先训练的三种标准的CNN模型对DCGAN和WGAN生成的电子数据进行检测，以测试预先训练的三种标准的CNN模型的检测性能。
训练数据集优选为：1067张马图像、1334张斑马图像和1019张苹果图像。
统计预先训练的三种标准的CNN模型对DCGAN和WGAN生成电子数据的检测精度如表2所示。
表2
Figure SMS_107
从表2中可知，预先训练的三种标准的CNN模型在识别带有棋盘伪影的电子数据时检测精度均在90%以上，表现出良好的检测性能。
步骤S233，利用预先训练的卷积神经网络检测模型，评估可变形卷积生成对抗网络生成电子数据的反取证能力。
具体的，利用预先训练的三种标准的CNN模型，评估可变形卷积生成对抗网络生成电子数据的反取证能力。
具体的，将第一组数据和第二组数据输入到可变形卷积生成对抗网络中，以及标准GAN中生成电子数据，然后将可变形卷积生成对抗网络生成的所有电子数据，以及标准GAN生成的电子数据分别输入三种训练过的模型进行测试，计算生成电子数据的检测精度，获得的结果如表3所示。
表3
Figure SMS_108
从表3中可看出，经过训练的用于识别棋盘伪影的CNN模型识别标准GAN生成的电子数据的检测精度在93%以上，可以很容易地识别标准GAN生成的电子数据；标准GAN选用为CycleGAN。可以理解的是，标准GAN生成的电子数据会产生棋盘状工件（即棋盘伪影），大概率被经过训练的用于识别棋盘伪影的CNN模型识别到。然而，对于可变形卷积生成对抗网络生成的电子数据的检测精度低于30%，可以理解的是，对于可变形卷积生成对抗网络生成的电子数据，极少产生棋盘状工件，不易被CNN模型识别，大大降低了可变形卷积生成对抗网络生成电子数据的检测精度。
步骤S3，将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据。
具体的，待处理电子数据为采集的医学图像。经过可变形卷积生成对抗网络生成的电子数据消除了棋盘伪影，提高医学图像携带信息的质量，避免虚假信息，避免棋盘伪影制造的纹理扰乱医生和医护人员的医疗诊断。
步骤S4，将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
预先训练卷积神经网络检测模型的方法包括：
步骤T1，基于卷积神经网络基础模型，预先训练卷积神经网络检测模型。
步骤T2，对预先训练的卷积神经网络检测模型进行测试。
具体的，将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影，若识别出棋盘伪影，则说明待处理电子数据经过可变形卷积生成对抗网络生成的电子数据中还存在棋盘伪影，不能用于医疗诊断，禁止将电子数据上传患者和医疗保健网络物理系统，若未识别出棋盘伪影，则说明待处理电子数据经过可变形卷积生成对抗网络生成的电子数据中不存在棋盘伪影，允许将电子数据上传患者和医疗保健网络物理系统，以进行存储使用。
实施例二
如图7所示，本申请还提供一种基于可变形卷积生成对抗网络的电子数据生成系统400，该系统包括：
构建模块10，用于构建可变形卷积生成对抗网络的网络结构。
训练模块20，用于将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络。
获取模块30，用于将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据。
识别检测模块40，用于将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
如图3所示，可变形卷积生成对抗网络的网络结构包括编码层100、转换层200和解码层300。
解码层300包括两个转置卷积层和一个可变形卷积层；
其中，可变形卷积层为输入特征映射上增加偏移量，以给输入特征映射带来变形。
本申请实现的有益效果如下：
（1）本申请将GAN生成器的网络结构采用可变形卷积的方法，构建可变形卷积生成对抗网络（Deformable GAN），通过可变形卷积层在一定程度上覆盖棋盘伪影，可变形卷积生成对抗网络（Deformable GAN）将输入的图片逐步转化为自然电子数据，且自然电子数据属于最新鉴别器的域，并覆盖了棋盘伪影，从而消除可变形卷积生成对抗网络生成电子数据中的棋盘伪影。
（2）本申请可变形卷积生成对抗网络（Deformable GAN）的可变形卷积在消除棋盘伪影的同时，不在可变形卷积生成对抗网络中添加过多的层数，避免增加操作开销。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，该方法包括如下步骤：
构建可变形卷积生成对抗网络的网络结构；
将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络；
将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据；
将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
2.根据权利要求1所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，构建可变形卷积生成对抗网络的网络结构的方法包括：依次构建编码层、转换层和解码层。
3.根据权利要求2所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，构建解码层的方法包括：构建两个转置卷积层和一个可变形卷积层；
其中，可变形卷积层为输入特征映射上增加偏移量，以给输入特征映射带来变形。
4.根据权利要求1所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，得到训练后的可变形卷积生成对抗网络之后还包括：对训练后的可变形卷积生成对抗网络进行评价。
5.根据权利要求4所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，对训练后的可变形卷积生成对抗网络进行评价包括：对训练后的可变形卷积生成对抗网络生成的电子数据进行验证、质量评价和反取证能力评估。
6.根据权利要求1所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，预先训练的卷积神经网络检测模型的方法包括：
基于卷积神经网络基础模型，训练卷积神经网络检测模型；
对预先训练的卷积神经网络检测模型进行测试。
7.根据权利要求6所述的基于可变形卷积生成对抗网络的电子数据生成方法，其特征在于，训练卷积神经网络检测模型的过程中，卷积神经网络基础模型自动学习棋盘格工件的模式，以识别电子数据中的棋盘伪影。
8.一种基于可变形卷积生成对抗网络的电子数据生成系统，其特征在于，该系统包括：
构建模块，用于构建可变形卷积生成对抗网络的网络结构；
训练模块，用于将预先获取的训练数据集输入到可变形卷积生成对抗网络中进行训练，得到训练后的可变形卷积生成对抗网络；
获取模块，用于将待处理电子数据输入到训练后的可变形卷积生成对抗网络中，获取生成电子数据；
识别检测模块，用于将生成电子数据输入到预先训练的卷积神经网络检测模型中，识别生成电子数据中的棋盘伪影。
9.根据权利要求8所述的基于可变形卷积生成对抗网络的电子数据生成系统，其特征在于，可变形卷积生成对抗网络的网络结构包括编码层、转换层和解码层。
10.根据权利要求9所述的基于可变形卷积生成对抗网络的电子数据生成系统，其特征在于，解码层包括两个转置卷积层和一个可变形卷积层；
其中，可变形卷积层为输入特征映射上增加偏移量，以给输入特征映射带来变形。
CN202310201462.9A 2023-03-06 2023-03-06 基于可变形卷积生成对抗网络的电子数据生成方法及系统 Pending CN116071270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310201462.9A CN116071270A (zh) 2023-03-06 2023-03-06 基于可变形卷积生成对抗网络的电子数据生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310201462.9A CN116071270A (zh) 2023-03-06 2023-03-06 基于可变形卷积生成对抗网络的电子数据生成方法及系统

Publications (1)

Publication Number Publication Date
CN116071270A true CN116071270A (zh) 2023-05-05

Family

ID=86180293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310201462.9A Pending CN116071270A (zh) 2023-03-06 2023-03-06 基于可变形卷积生成对抗网络的电子数据生成方法及系统

Country Status (1)

Country Link
CN (1) CN116071270A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664880A (zh) * 2023-07-31 2023-08-29 南昌大学 深度伪造反取证图像的生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEFORMABLEGAN: GENERATING MEDICAL IMAGES WITH IMPROVED INTEGRITY FOR HEALTHCARE CYBER PHYSICAL SYSTEMS: "DeformableGAN: Generating Medical Images With Improved Integrity for Healthcare Cyber Physical Systems", IEEE, pages 1 - 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664880A (zh) * 2023-07-31 2023-08-29 南昌大学 深度伪造反取证图像的生成方法
CN116664880B (zh) * 2023-07-31 2023-11-28 南昌大学 深度伪造反取证图像的生成方法

Similar Documents

Publication Publication Date Title
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和系统
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN116612131B (zh) 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN114241077B (zh) 一种ct图像分辨率优化方法及装置
CN110827369B (zh) 欠采样模型生成方法、图像重建方法、设备和存储介质
CN116958163B (zh) 一种多器官和/或病灶的医学图像分割方法及装置
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
JP2023515367A (ja) モデルへの入力インスタンスの分布外検出
CN116071270A (zh) 基于可变形卷积生成对抗网络的电子数据生成方法及系统
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN118447031A (zh) 一种基于扩散模糊学习的皮肤镜图像分割方法
CN112825271B (zh) 使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN116051984A (zh) 一种基于Transformer的弱小目标检测方法
CN114742916A (zh) 图像重建方法、装置、存储介质及电子设备
CN113205521A (zh) 一种医学影像数据的图像分割方法
CN118469821B (zh) 一种基于扩散模型的医学图像体积超分辨率方法
CN117173543B (zh) 一种肺腺癌和肺结核的混合图像重构方法及系统
CN112927196B (zh) 钙化积分方法及装置
CN118470254B (zh) 一种基于自适应模板的三维网格重建方法
CN117409100B (zh) 基于卷积神经网络的cbct图像伪影矫正系统及方法
CN118552535A (zh) 一种基于改进YOLOv8的儿童肺炎病灶定位方法
CN117876518A (zh) 结合姿态判断网络和块采样神经辐射场的x光新视图重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230505

RJ01 Rejection of invention patent application after publication