CN114359090A - 一种口腔ct影像的数据增强方法 - Google Patents

一种口腔ct影像的数据增强方法 Download PDF

Info

Publication number
CN114359090A
CN114359090A CN202111644473.1A CN202111644473A CN114359090A CN 114359090 A CN114359090 A CN 114359090A CN 202111644473 A CN202111644473 A CN 202111644473A CN 114359090 A CN114359090 A CN 114359090A
Authority
CN
China
Prior art keywords
image
oral
generator
data
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111644473.1A
Other languages
English (en)
Inventor
黄凯
李浩鹏
陈泽涛
宋日辉
曾培生
刘海雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Sun Yat Sen University
Original Assignee
ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL, Sun Yat Sen University filed Critical ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Priority to CN202111644473.1A priority Critical patent/CN114359090A/zh
Publication of CN114359090A publication Critical patent/CN114359090A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医学图像处理技术领域，更具体地，涉及一种口腔CT影像的数据增强方法；包括：S1.基于生成对抗网络对数据进行增强：向生成对抗网络中输入原始口腔CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；S2.采用生成对抗网络空间的可解释控制发现算法获取特征控制向量：使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；S3.采用特征控制向量定向生成口腔CT影像。本发明能够在原始数据量较少的情况下生成高分辨率的口腔CT影像，以辅助口腔CT影像实现大数据智能分析。

Description

一种口腔CT影像的数据增强方法
技术领域
本发明涉及医学图像处理技术领域，更具体地，涉及一种口腔CT影像的数据增强方法。
背景技术
完成口腔CT影像的大数据智能分析，需要收集大量的口腔CT影像，经过专业人员对数据进行标注，构建口腔CT影像数据集，基于这个数据集进行后续的智能分析。数据集的采集和标注费时费力，更重要的是，由于不同疾病的发病率不一样，常见疾病的样本数量与罕见疾病的差距很大，导致数据集出现类别不平衡的问题。
现有技术中，一些处理方法是依靠待分类图像与各类别原型图像间欧氏距离来判断待分类图像的类别，但是该方法不适用于口腔CT影像数据，因为口腔CT影像数据集不同类别影像之间的差异在很多情况下仅在较小的一块区域体现，依照该方法获得的各个类别的原型图像之间差异不大；一些处理方法是将生成对抗网络WGAN应用于甲状腺超声数据ROI区域数据集中，实现了对良性与恶性甲状腺超声数据ROI区域数据集的扩充，并在增强后的数据集和原始数据集上对比了VGG-16网络的性能，证明了该数据增强方法的可行性，但是无法定向生成原始数据集指定类别的图像数据，因为它缺乏控制图像生成类别的模块，由生成对抗网络随机生成的图像需要额外的人工分类标注，才可实现数据增强，医学图像的标注需由如医生的专业人员来完成，在类别数较多的时候需要耗费大量的时间，并且该方法所需要的原始数据量较多，且要求原始训练集各类别样本分布较为均匀，当原始数据量较少，原始数据集存在着严重类别不平衡的情况时，该方法不一定能够胜任，同时该方法无法生成如512*512 的较高分辨率的高质量图像，在对医学图像数据质量要求较高、数据集细节较为丰富的医学图像分类任务中表现不佳。
发明内容
本发明为克服上述现有技术中的缺陷，提供一种口腔CT影像的数据增强方法，能够在原始数据量较少的情况下生成高分辨率的口腔CT影像，以辅助口腔CT影像实现大数据智能分析。
为解决上述技术问题，本发明采用的技术方案是：一种口腔CT影像的数据增强方法，包括以下步骤：
S1.基于生成对抗网络对数据进行增强：向生成对抗网络中输入原始口腔 CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
S2.采用生成对抗网络空间的可解释控制发现算法获取特征控制向量：使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
S3.采用特征控制向量定向生成口腔CT影像。
进一步的，所述的生成对抗网络包括第一生成器、第二生成器、判别器和映射网络；所述的第一生成器，将原始口腔CT影像分割成N×N个单元，并设计一个目标函数，对口腔CT影像上的ROI区域的矩形标注进行训练，得到口腔CT影像上颌窦ROI区域目标识别模型，用于输出口腔CT影像上颌窦ROI 区域坐标；所述的第二生成器与映射网络相互配合，映射网络对潜空间进行解耦，由隐藏变量z生成中间隐藏变量w，将变量w转换而来的仿射变换和随机噪声加入到第二生成器的每一层中，达到对生成图像各个尺度特征进行控制的目的，实现可控制的图像生成；所述的判别器接受来自第一生成器的坐标信息以及来自第二生成器所生成的假图像信息的输入，对第二生成器生成的图像真假进行判断。
进一步的，所述的步骤S1具体包括：
S11.向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；
S12.映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
S13.第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的。
其中，AdaIN是一个现成的算法，自适应实例归一化是对它的直译，它是一种风格迁移的算法，输入一个样式图和一个内容图，即可以将样式图的一些特征迁移到内容图上。IN是机器学习中的术语，即实例归一化，作用是对单个图片的所有像素求均值和标准差。Ada是adaptive的缩写，自适应，顾名思义就是自适应地进行IN的调整。
进一步的，所述的第一生成器的目标函数为：
Figure BDA0003443225030000031
第一生成器的输出为一个1×5的向量，即预测的
Figure BDA0003443225030000032
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure BDA0003443225030000033
与
Figure BDA0003443225030000034
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure BDA0003443225030000035
与
Figure BDA0003443225030000036
为预测边界框的宽与高；ci为置信度值，
Figure BDA0003443225030000037
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积。
进一步的，所述的第二生成器与判别器均采用WGAN-GP目标函数，表示如下：
Figure BDA0003443225030000038
式中，λ为常数，
Figure BDA0003443225030000039
指数学期望，
Figure BDA00034432250300000310
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure BDA00034432250300000311
指
Figure BDA00034432250300000312
梯度的L2范数；x为真实数据，
Figure BDA00034432250300000313
为生成器所生成的数据，
Figure BDA00034432250300000314
指真实数据的分布，
Figure BDA00034432250300000315
指由
Figure BDA00034432250300000316
隐式定义的模型分布；设xr与xg为分别从
Figure BDA00034432250300000317
与
Figure BDA00034432250300000318
中随机采样的一对真假样本，引入一个值为[0,1] 的随机数∈，则
Figure BDA00034432250300000319
Figure BDA00034432250300000320
指在xr与xg间线性随机插值采样，
Figure BDA00034432250300000321
则为该采样流程得到的
Figure BDA00034432250300000322
所满足的分布。
进一步的，所述的步骤S3具体包括：将真实或生成的口腔CT影像投影至第二生成器的潜空间，潜空间是压缩数据的表示，其中相似的数据点在空间上更靠近，在特征控制向量上加以设定的权重参数进行移动，生成所需类型的高分辨率口腔CT影像数据。
本发明还提供一种口腔CT影像的数据增强系统，包括：
获取模块：用于向生成对抗网络中输入原始口腔CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
处理模块：用于使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
生成模块：用于采用特征控制向量定向生成口腔CT影像。
进一步的，所述的获取模块包括：
第一生成器单元：用于向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；其中，第一生成器的目标函数为：
Figure BDA0003443225030000041
第一生成器的输出为一个1×5的向量，即预测的
Figure BDA0003443225030000042
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure BDA0003443225030000043
与
Figure BDA0003443225030000044
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure BDA0003443225030000045
与
Figure BDA0003443225030000046
为预测边界框的宽与高；ci为置信度值，
Figure BDA0003443225030000047
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积；
映射网络和第二生成器单元：用于映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
判别单元：用于将第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的；
其中，第二生成器与判别器均采用WGAN-GP目标函数，表示为：
Figure BDA0003443225030000051
式中，λ为常数，
Figure BDA0003443225030000052
指数学期望，
Figure BDA0003443225030000053
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure BDA0003443225030000054
指
Figure BDA0003443225030000055
梯度的L2范数；x为真实数据，
Figure BDA0003443225030000056
为生成器所生成的数据，
Figure BDA0003443225030000057
指真实数据的分布，
Figure BDA0003443225030000058
指由
Figure BDA0003443225030000059
隐式定义的模型分布；设xr与xg为分别从
Figure BDA00034432250300000510
与
Figure BDA00034432250300000511
中随机采样的一对真假样本，引入一个值为[0,1] 的随机数∈，则
Figure BDA00034432250300000512
Figure BDA00034432250300000513
指在xr与xg间线性随机插值采样，
Figure BDA00034432250300000514
则为该采样流程得到的
Figure BDA00034432250300000515
所满足的分布。
本发明还提供一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行计算机程序，所述的处理器执行所述计算机程序，实现以上所述的口腔CT影像的数据增强方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现以上所述的口腔CT影像的数据增强方法。
与现有技术相比，有益效果是：
1、本发明采用无监督学习的方法，与普通的图像数据不同，因为口腔CT 影像数据有着规范的获取流程，从固定的角度进行拍摄，数据质量高，因此无监督学习方法能够用于口腔CT影像的场景。在获得足够原始口腔CT影像数据后，只需预先对其进行简单的裁剪，即可进行生成对抗网络的训练，完成数据增强任务，可节省人工分类标注的开销，并且只需要一次训练，即可满足多个不同分类任务的数据增强需要，无需针对每个分类任务分别训练网络。针对不同的医学CT影像，可更改算法的网络，有针对地设置参数进行训练，满足不同任务的需求。与现有技术相比，能够大幅降低人为标注的工作量；
2、本发明可生成512*512的高分辨率高质量图像，与现有技术只能生成较低分辨率图像相比，能够保留更多有效的信息，在口腔CT影像某些分类中，不同类别的影像之间差异较小，对其进行分类要求更丰富的细节信息，因此高分辨率图像生成方法能够用于口腔CT影像的数据增强场景，并且这一特性使得本发明具有更强的通用性，在对图像数据质量要求较高的其它医学图像分类任务中也有使用的价值；
3、本发明算法采取了风格迁移的思想，与现有技术只能随机生成特定类型数据相比，本发明生成特定特征的强度是可控的，对新获取的原始数据集中不存在的口腔CT影像，也可以直接利用训练好的模型和保存的特征控制向量进行影像属性的编辑。因为口腔CT影像某些分类中，不同类别的影像之间并非界限分明，要求生成特定类型数据时定向且可控，因此本发明能够用于口腔CT 影像的场景；
4、本发明提供的方法在训练样本较少、数据类别不平衡的情况下表现优异。医学图像处理领域经常遇到样本量不足的挑战，本发明针对原始样本量少的口腔CT影像数据集，需要尽可能利用到所有原始样本的信息，与现有技术要求原始数据集较为平衡相比，本发明训练过程中正负样本都参与了贡献，生成原始样本量较少类别的数据时可以利用到其它类别下数据的信息，能够在原始数据量较少，数据存在严重类别不平衡的挑战环境中进行生成对抗网络的训练，实现数据增强，提升分类任务的准确率。
附图说明
图1是本发明的方法流程示意图。
图2是本发明生成对抗网络概括示意图。
图3是本发明生成对抗网络的详细参数图，其中箭头表示数据流。
图4是本发明处理的原始口腔CT影像及其ROI区域示例图。
图5是本发明步骤S2流程示意图。
图6是本发明步骤S3的流程示意图。
图7是本发明所述方法定向生成某个类别口腔CT影像效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。下面结合具体实施方式对本发明作在其中一个实施例中说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义为，包括三个并列的方案，以“A和/或B”为例，包括A方案，或B方案，或A和B同时满足的方案。
实施例1：
如图1所示，一种口腔CT影像的数据增强方法，包括以下步骤：
S1.基于生成对抗网络对数据进行增强：向生成对抗网络中输入原始口腔 CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
S2.采用生成对抗网络空间的可解释控制发现算法获取特征控制向量：使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
S3.采用特征控制向量定向生成口腔CT影像。
本发明提供的一种口腔CT影像的数据增强方法，能够无监督地、渐进地对口腔CT影像数据集中CT影像数据各个属性进行学习(比如，囊肿、积液、上颌窦底线等)，训练完毕的模型可用于生成分辨率为512×512的高分辨率的口腔CT影像。
如表1、表2和表3所示，生成对抗网络包括第一生成器、第二生成器、判别器和映射网络；所述的第一生成器的实现原理是，分类任务中起重要作用的上颌窦ROI区域，在原始口腔CT影像上的位置以及大小相对固定；第一生成器将原始口腔CT影像分割成8×8个单元，并设计一个目标函数，对口腔 CT影像上的ROI区域的矩形标注进行训练，得到口腔CT影像上颌窦ROI区域目标识别模型，用于输出口腔CT影像上颌窦ROI区域坐标；所述的第二生成器与映射网络相互配合，映射网络对潜空间进行解耦，由隐藏变量z生成中间隐藏变量w，将变量w转换而来的仿射变换和随机噪声加入到第二生成器的每一层中，达到对生成图像各个尺度特征进行控制的目的，实现可控制的图像生成；所述的判别器接受来自第一生成器的坐标信息以及来自第二生成器所生成的假图像信息的输入，对第二生成器生成的图像真假进行判断。
本发明使用生成对抗网络空间的可解释控制发现算法，在使用口腔CT影像数据集训练完毕的生成对抗网络模型潜空间上进行主成分分析，无监督地识别重要的潜在特征控制向量，来发现其中的可解释控制。寻找出各个特征控制向量后，对其进行人工筛选保存，确定每个特征控制向量所控制的具体属性，将真实或生成的口腔CT影像投影至模型潜空间，在各个特征控制向量与权重参数相乘，从而生成希望获得类型的数据，如将无积液的口腔CT影像转化为有积液的口腔CT影像。
表1第一生成器各层参数表
Figure BDA0003443225030000081
Figure BDA0003443225030000091
表2第2生成器各层参数表
Figure BDA0003443225030000092
Figure BDA0003443225030000101
表3判别器各层参数表
Figure BDA0003443225030000102
进一步的，所述的步骤S1具体包括：
S11.向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；所述的第一生成器的目标函数为：
Figure BDA0003443225030000111
第一生成器的输出为一个1×5的向量，即预测的
Figure BDA0003443225030000112
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure BDA0003443225030000113
与
Figure BDA0003443225030000114
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure BDA0003443225030000115
与
Figure BDA0003443225030000116
为预测边界框的宽与高；ci为置信度值，
Figure BDA0003443225030000117
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积；
S12.映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
S13.第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的。
其中，所述的第二生成器与判别器均采用WGAN-GP目标函数，表示如下：
Figure BDA0003443225030000118
式中，λ为常数，
Figure BDA0003443225030000119
指数学期望，
Figure BDA00034432250300001110
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure BDA00034432250300001111
指
Figure BDA00034432250300001112
梯度的L2范数；x为真实数据，
Figure BDA00034432250300001113
为生成器所生成的数据，
Figure BDA00034432250300001114
指真实数据的分布，
Figure BDA00034432250300001115
指由
Figure BDA00034432250300001116
隐式定义的模型分布；设xr与xg为分别从
Figure BDA00034432250300001117
与
Figure BDA00034432250300001118
中随机采样的一对真假样本，引入一个值为[0,1] 的随机数∈，则
Figure BDA00034432250300001119
Figure BDA00034432250300001120
指在xr与xg间线性随机插值采样，
Figure BDA00034432250300001121
则为该采样流程得到的
Figure BDA00034432250300001122
所满足的分布。
另外，如图3所示，所述的步骤S3具体包括：将真实或生成的口腔CT影像投影至第二生成器的潜空间，潜空间是压缩数据的表示，其中相似的数据点在空间上更靠近，在特征控制向量上加以设定的权重参数进行移动，生成所需类型的高分辨率口腔CT影像数据。如图7所示，调节上颌窦底线形态控制向量，可以定向控制口腔CT影像上颌窦底线形态的变化，从而定向生成所需类型的口腔CT影像数据。
实施例2
本实施例提供一种口腔CT影像的数据增强系统，包括：
获取模块：用于向生成对抗网络中输入原始口腔CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
处理模块：用于使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
生成模块：用于采用特征控制向量定向生成口腔CT影像。
具体的，所述的获取模块包括：
第一生成器单元：用于向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；其中，第一生成器的目标函数为：
Figure BDA0003443225030000121
第一生成器的输出为一个1×5的向量，即预测的
Figure BDA0003443225030000122
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure BDA0003443225030000123
与
Figure BDA0003443225030000124
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure BDA0003443225030000125
与
Figure BDA0003443225030000126
为预测边界框的宽与高；ci为置信度值，
Figure BDA0003443225030000127
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积；
映射网络和第二生成器单元：用于映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
判别单元：用于将第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的；
其中，第二生成器与判别器均采用WGAN-GP目标函数，表示为：
Figure BDA0003443225030000131
式中，λ为常数，
Figure BDA0003443225030000132
指数学期望，
Figure BDA0003443225030000133
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure BDA0003443225030000134
指
Figure BDA0003443225030000135
梯度的L2范数；x为真实数据，
Figure BDA0003443225030000136
为生成器所生成的数据，
Figure BDA0003443225030000137
指真实数据的分布，
Figure BDA0003443225030000138
指由
Figure BDA0003443225030000139
隐式定义的模型分布；设xr与xg为分别从
Figure BDA00034432250300001310
与
Figure BDA00034432250300001311
中随机采样的一对真假样本，引入一个值为[0,1] 的随机数∈，则
Figure BDA00034432250300001312
Figure BDA00034432250300001313
指在xr与xg间线性随机插值采样，
Figure BDA00034432250300001314
则为该采样流程得到的
Figure BDA00034432250300001315
所满足的分布。
实施例3
本实施例提供一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行计算机程序，所述的处理器执行所述计算机程序，实现实施例1所述的口腔CT影像的数据增强方法。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现实施例1所述的口腔CT影像的数据增强方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种口腔CT影像的数据增强方法，其特征在于，包括以下步骤：
S1.基于生成对抗网络对数据进行增强：向生成对抗网络中输入原始口腔CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
S2.采用生成对抗网络空间的可解释控制发现算法获取特征控制向量：使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
S3.采用特征控制向量定向生成口腔CT影像。
2.根据权利要求1所述的口腔CT影像的数据增强方法，其特征在于，所述的生成对抗网络包括第一生成器、第二生成器、判别器和映射网络；所述的第一生成器，将原始口腔CT影像分割成N×N个单元，并设计一个目标函数，对口腔CT影像上的ROI区域的矩形标注进行训练，得到口腔CT影像上颌窦ROI区域目标识别模型，用于输出口腔CT影像上颌窦ROI区域坐标；所述的第二生成器与映射网络相互配合，映射网络对潜空间进行解耦，由隐藏变量z生成中间隐藏变量w，将变量w转换而来的仿射变换和随机噪声加入到第二生成器的每一层中，达到对生成图像各个尺度特征进行控制的目的，实现可控制的图像生成；所述的判别器接受来自第一生成器的坐标信息以及来自第二生成器所生成的假图像信息的输入，对第二生成器生成的图像真假进行判断。
3.根据权利要求2所述的口腔CT影像的数据增强方法，其特征在于，所述的步骤S1具体包括：
S11.向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；
S12.映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
S13.第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的。
4.根据权利要求3所述的口腔CT影像的数据增强方法，其特征在于，所述的第一生成器的目标函数为：
Figure FDA0003443225020000021
第一生成器的输出为一个1×5的向量，即预测的
Figure FDA0003443225020000022
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure FDA0003443225020000023
与
Figure FDA0003443225020000024
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure FDA0003443225020000025
与
Figure FDA0003443225020000026
为预测边界框的宽与高；ci为置信度值，
Figure FDA0003443225020000027
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积。
5.根据权利要求4所述的口腔CT影像的数据增强方法，其特征在于，所述的第二生成器与判别器均采用WGAN-GP目标函数，表示如下：
Figure FDA0003443225020000028
式中，λ为常数，
Figure FDA0003443225020000029
指数学期望，
Figure FDA00034432250200000210
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure FDA00034432250200000211
指
Figure FDA00034432250200000212
梯度的L2范数；x为真实数据，
Figure FDA00034432250200000213
为生成器所生成的数据，
Figure FDA00034432250200000214
指真实数据的分布，
Figure FDA00034432250200000215
指由
Figure FDA00034432250200000216
隐式定义的模型分布；设xr与xg为分别从
Figure FDA00034432250200000217
与
Figure FDA00034432250200000218
中随机采样的一对真假样本，引入一个值为[0,1]的随机数∈，则
Figure FDA00034432250200000219
Figure FDA00034432250200000220
指在xr与xg间线性随机插值采样，
Figure FDA00034432250200000221
则为该采样流程得到的
Figure FDA00034432250200000222
所满足的分布。
6.根据权利要求1至5任一项所述的口腔CT影像的数据增强方法，其特征在于，所述的步骤S3具体包括：将真实或生成的口腔CT影像投影至第二生成器的潜空间，潜空间是压缩数据的表示，其中相似的数据点在空间上更靠近，在特征控制向量上加以设定的权重参数进行移动，生成所需类型的高分辨率口腔CT影像数据。
7.一种口腔CT影像的数据增强系统，其特征在于，包括：
获取模块：用于向生成对抗网络中输入原始口腔CT影像数据，通过生成对抗网络对原始口腔CT影像数据进行训练，得到一个口腔CT影像数据生成模型；
处理模块：用于使用生成对抗网络空间算法对步骤S1得到的口腔CT影像数据生成模型潜空间在欧氏空间下进行主成分分析，无监督地识别潜在特征控制向量，并对潜在特征控制向量进行人工筛选保存；
生成模块：用于采用特征控制向量定向生成口腔CT影像。
8.根据权利要求7所述的口腔CT影像的数据增强系统，其特征在于，所述的获取模块包括：
第一生成器单元：用于向生成对抗网络中输入原始口腔CT影像，原始口腔CT影像中一部分带有对上颌窦ROI区域的矩形标注，另一部分没有；通过第一生成器的处理后，未经标注的口腔CT影像得到一个以上颌窦ROI区域为中心的、尺寸相同的矩形标注；其中，第一生成器的目标函数为：
Figure FDA0003443225020000031
第一生成器的输出为一个1×5的向量，即预测的
Figure FDA0003443225020000032
式中，当网格中存在目标时pij为1，qij为0，网格中不存在目标时pij为0，qij为1；xi与yi为真实边界框坐标，
Figure FDA0003443225020000033
与
Figure FDA0003443225020000034
为预测边界框坐标；wi与hi为真实边界框的宽与高，
Figure FDA0003443225020000035
与
Figure FDA0003443225020000036
为预测边界框的宽与高；ci为置信度值，
Figure FDA0003443225020000037
为预测边界框与真实边界框的交叉值，即预测边界框与真实边界框交集的面积除以并集的面积；
映射网络和第二生成器单元：用于映射网络将隐藏变量z经过归一化处理后，通过多层全连接层，得到中间隐藏变量w，并配合随机噪声，作为第二生成器的初始及各个卷积层的输入，输入过程采用AdaIN算法，生成可控制的图像；
判别单元：用于将第一生成器和第二生成器的输出共同作为判别器的输入，判别输入的图片是真实的还是虚假的；
其中，第二生成器与判别器均采用WGAN-GP目标函数，表示为：
Figure FDA0003443225020000038
式中，λ为常数，
Figure FDA0003443225020000041
指数学期望，
Figure FDA0003443225020000042
指梯度，D为概率函数，判断输入的参数为真的概率，结果在[0,1]区间；
Figure FDA0003443225020000043
指
Figure FDA0003443225020000044
梯度的L2范数；x为真实数据，
Figure FDA0003443225020000045
为生成器所生成的数据，
Figure FDA0003443225020000046
指真实数据的分布，
Figure FDA0003443225020000047
指由
Figure FDA0003443225020000048
隐式定义的模型分布；设xr与xg为分别从
Figure FDA0003443225020000049
与
Figure FDA00034432250200000410
中随机采样的一对真假样本，引入一个值为[0,1]的随机数∈，则
Figure FDA00034432250200000411
Figure FDA00034432250200000412
指在xr与xg间线性随机插值采样，
Figure FDA00034432250200000413
则为该采样流程得到的
Figure FDA00034432250200000414
所满足的分布。
9.一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行计算机程序，其特征在于，所述的处理器执行所述计算机程序，实现权利要求1至6任一项所述的口腔CT影像的数据增强方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时，实现权利要求1至6任一项所述的口腔CT影像的数据增强方法。
CN202111644473.1A 2021-12-29 2021-12-29 一种口腔ct影像的数据增强方法 Pending CN114359090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111644473.1A CN114359090A (zh) 2021-12-29 2021-12-29 一种口腔ct影像的数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111644473.1A CN114359090A (zh) 2021-12-29 2021-12-29 一种口腔ct影像的数据增强方法

Publications (1)

Publication Number Publication Date
CN114359090A true CN114359090A (zh) 2022-04-15

Family

ID=81104033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111644473.1A Pending CN114359090A (zh) 2021-12-29 2021-12-29 一种口腔ct影像的数据增强方法

Country Status (1)

Country Link
CN (1) CN114359090A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393242A (zh) * 2022-09-30 2022-11-25 国网电力空间技术有限公司 一种基于gan的电网异物图像数据增强的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393242A (zh) * 2022-09-30 2022-11-25 国网电力空间技术有限公司 一种基于gan的电网异物图像数据增强的方法和装置

Similar Documents

Publication Publication Date Title
CN104572804B (zh) 一种视频物体检索的方法及其系统
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111062885B (zh) 基于多阶段迁移学习的标志检测模型训练及标志检测方法
US9031317B2 (en) Method and apparatus for improved training of object detecting system
CN105740780B (zh) 人脸活体检测的方法和装置
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
Ge et al. Enhanced subpixel mapping with spatial distribution patterns of geographical objects
CN105389589B (zh) 一种基于随机森林回归的胸腔x光片肋骨检测方法
CN109154978A (zh) 用于检测植物疾病的系统和方法
JP2018022484A (ja) 画像内の物体を検出する方法及び物体検出システム
KR101548928B1 (ko) 불변적인 시각적 장면 및 객체 인식
MacLeod Morphometrics: History, development methods and prospects
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN106991417A (zh) 一种基于模式识别的视觉投影交互系统及交互方法
JP2003091721A (ja) 文書画像での透視歪を解決するため及び画像内の線合計を計算するための方法及び装置
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN113658146B (zh) 一种结节分级方法、装置、电子设备及存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
JPWO2009031297A1 (ja) 画像検索装置、画像分類装置及び方法並びにプログラム
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN107423771B (zh) 一种两时相遥感图像变化检测方法
CN114821541A (zh) 一种基于网格模型的道路面损伤检测方法及相关设备
CN114359090A (zh) 一种口腔ct影像的数据增强方法
US8189915B2 (en) Method for segmentation in an n-dimensional feature space and method for classifying objects in an n-dimensional data space which are segmented on the basis of geometric characteristics
CN109190637A (zh) 一种图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination