CN111275686A - 用于人工神经网络训练的医学图像数据的生成方法及装置 - Google Patents
用于人工神经网络训练的医学图像数据的生成方法及装置 Download PDFInfo
- Publication number
- CN111275686A CN111275686A CN202010066618.3A CN202010066618A CN111275686A CN 111275686 A CN111275686 A CN 111275686A CN 202010066618 A CN202010066618 A CN 202010066618A CN 111275686 A CN111275686 A CN 111275686A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- features
- training
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 47
- 238000012360 testing method Methods 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001575 pathological effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000003902 lesion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请提供了一种用于人工神经网络训练的医学图像数据的生成方法及装置，所述方法包括：利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征，提高了生成的扩展图像的合理性；细节还原更加出色，增加了特征的多样性。
Description
技术领域
本申请涉及医学检测领域，特别是用于人工神经网络训练的医学图像数据的生成方法及装置。
背景技术
近年来，随着计算能力的增加和数据的爆炸式增加，人工智能技术取得了长足的进步，其中的代表技术就是深度学习。并开始应用于生活生产中的各个领域。在医学影像领域中，由于人类专家经验的不稳定性，深度学习技术有望辅助研究人员和医师以提高影像诊疗的准确性和减少医疗资源的不均衡性。深度学习在计算机视觉领域的巨大进步启发了其在医学图像分析中的应用，如图像分类、图像分割、图像配准、病灶检测等辅助诊断方法。
然而深度学习的性能，能否提升取决于数据集的大小，深度学习通常需要大量的数据作为支撑，如果不能进行大量有效的训练，往往会导致过拟合(选择的模型包含的参数过多，以至于出现这一模型对已知数据预测的很好，但是对未知数据预测很差的现象)，我国的医疗数据质量不容乐观，与人脸，猫狗，车辆动辄几十万上百万的训练样本相比较，医学图像很难获得，并且稀有病例图像的数量更是非常稀少。网络训练的输入需要图像以及对应的病灶区标注信息，而大量精确标注耗时费力，而且没有统一标准的标注工作，其实也是对大量的医疗资源的浪费。因此本发明的意义在于生成高质量的医学图像，从而解决稀缺病例图像的训练问题，对少样本数量进行扩充，使训练样本分布达到相对均衡，提高模型的泛化能力以及提升模型的鲁棒性。
目前数据增强技术主要分为传统增强方法和高级增强技术，传统增强方法包括图像的翻转、旋转、剪裁、平移、加入随机噪声等，高级增强技术一般利用生成对抗网络生成图像以及风格迁移等技术。然而传统增强技术往往会破坏图像的完整性，对于医疗图像来说是不利的，因为医疗图像本身的特征相比于自然图像要少，再加入噪声或者剪裁会更加不利于网络的训练。单纯利用生成对抗网络进行生成也需要较大的数据集作为支撑，这对于自然图像来说效果较好，而小样本医疗图像则往往达不到理想的效果。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的用于人工神经网络训练的医学图像数据的生成方法及装置，包括：
一种用于人工神经网络训练的医学图像数据的生成方法，包括：
利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取当前基础医学图像的当前目标特征；
通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
进一步地，
所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，
所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；
所述图像特征，包括：图像结构，图像内容，以及图像纹理；
和/或，
所述对应关系，包括：函数关系；所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；
确定与所述当前目标特征对应的当前扩展图像的图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。
进一步地，所述建立目标特征与扩展图像的图像特征之间的对应关系的步骤，包括：
获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；
分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系。
进一步地，所述获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据的步骤，包括：
收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；
对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征；
将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。
进一步地，
所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一；
和/或，
所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
进一步地，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述目标特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应扩展图像的图像特征之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述目标特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应扩展图像的图像特征之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
进一步地，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
一种用于人工神经网络训练的医学图像数据的生成装置，包括：
建立模块，用于利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取模块，用于获取当前基础医学图像的当前目标特征；
确定模块，用于通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的用于人工神经网络训练的医学图像数据的生成方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的用于人工神经网络训练的医学图像数据的生成方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征，通过将基础医学图像中的目标特征作为局部改变信息，替换现有技术中的改变全局信息，提高了生成的扩展图像的合理性；细节还原更加出色，通过对基础医学图像的目标特征进行随机选取，增加了特征的多样性，并且并不会破坏整张图像的结构完整性，这更加适用于医学领域图像的增强。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成方法的步骤流程图；
图2是本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成方法的两种掩模，以及三种掩模区域的关系示意图；
图3是本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成方法的模型结构原理图；
图4是本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成装置的结构框图；
图5是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请任意实施例中所公开的方法通过将基础医学图像进行部分遮盖/擦除，再对遮盖/擦除的部分进行图像的生成，从而实现部分生成的效果，获得的扩展图像可以在基础医学图像的基础上实现局部纹理变化，而不改变图像得整体结构，这样更加符合医学图像的实际情况，并且在细节处也可以达到良好的视觉效果。
参照图1，示出了本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成方法，包括：
S110、利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
S120、获取当前基础医学图像的当前目标特征；
S130、通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征，通过将基础医学图像中的目标特征作为局部改变信息，替换现有技术中的改变全局信息，提高了生成的扩展图像的合理性；细节还原更加出色，通过对基础医学图像的目标特征进行随机选取，增加了特征的多样性，并且并不会破坏整张图像的结构完整性，这更加适用于医学领域图像的增强。
下面，将对本示例性实施例中用于人工神经网络训练的医学图像数据的生成方法作进一步地说明。
如上述步骤S110所述，利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征。
例如：利用人工神经网络算法来分析扩展图像的图像特征对应的显示状态规律，通过人工神经网络的自学习、自适应特性找到患者目标特征与扩展图像的图像特征间的映射规律。
例如：可以利用人工神经网络算法，通过对大量不同志愿者(包括但不限于如下的一种或多种：年龄，是否有病情，性别，病况等)的医学图像的目标特征汇总收集，选取若干志愿者的医学图像的目标特征及扩展图像的图像特征作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合目标特征及扩展图像的图像特征之间的关系，最终使神经网络能准确拟合出不同患者的目标特征及扩展图像的图像特征的对应关系。
需要说明的是，在建立所述对应关系前，一般还需要对获取的基础医学图像，进行剪裁边框、提取图像中感兴趣区域、调整尺寸大小为256x256、将图像二值化、人为设置调整阈值的预处理步骤，其中，图像中病灶区周围的标记为高亮的连通区域，二值化后值为1，将此部分去除，在原图像中采用双线性二插值的方法，将空缺部分用周围像素填补，达到去除标记的效果。
将处理完的数据按照18：1：1的比例分成训练集、验证集和测试集，并保存为FLIST文件，文件包含图像目录的绝对路径和文件名信息。
在一实施例中，所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，
所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；
所述图像特征，包括：图像结构，图像内容，以及图像纹理；
需要说明的是，遮盖特征通过对基础医学图像进行预设遮盖而得出，遮盖采用图像二值掩模，其中，制作图像二值掩模具体包括，掩模为n*n的二维矩阵数组，实现对图像的局部遮挡，采用二值掩模与基础医学图像相乘，掩模中值为1的部分在原图像中保存不变，值为0的部分则是对图像进行遮挡。
参照图2，作为一种示例，在本申请的方法采用两种掩模，以及三种掩模区域。掩模分别为随机矩形掩模和随机不规则形状掩模，掩模区域分别是：(1)只在病灶区内进行遮挡；(2)只在病灶区外的正常组织中进行遮挡；(3)在整张图像中随机位置进行遮挡；其中，区域边界是指医学图像进行标签制作时所做的位置框。效果图如图2所示，掩模为256x256的二维矩阵数组，实现对图像的局部遮挡，采用二值掩模与待处理图像对应像素相乘，掩模中值为1的部分在原图像中保存不变，值为0的部分则是对图像进行遮挡。生成遮挡医学图像。
在一实施例中，所述对应关系，包括：函数关系。
优选地，所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；
由此，通过多种形式的对应关系，可以提升对当前扩展图像的图像特征确定的灵活性和便捷性。
在一实施例中，可以结合下列描述进一步说明步骤S110中“建立目标特征与扩展图像的图像特征之间的对应关系”的具体过程。
如下列步骤所述：获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据”的具体过程。
如下列步骤所述：收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；
例如：数据搜集：搜集不同健康状况的患者的目标特征及对应的扩展图像的图像特征；以及，搜集不同年龄的患者的目标特征及对应的扩展图像的图像特征；以及，搜集不同性别的患者的目标特征及对应的扩展图像的图像特征。
由此，通过多种途径收集运行数据，有利于增加运行数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
如下列步骤所述：对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征(例如：选取对扩展图像的图像特征有影响的目标特征作为输入参数，将指定参数作为输出参数)；
例如：通过将已确诊的志愿者的相关数据中的目标特征作为输入参数，将其相关数据中的扩展图像的图像特征作为输出参数。
如下列步骤所述：将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
由此，通过对收集到的目标特征进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
如下列步骤所述：分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
例如：根据不同的年龄、病情、性别等对病理情况具有影响的数据特性及其所蕴含的规律，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
优选地，所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一。
优选地，所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
参照图3，作为一种示例，人工神经网络的具体结构包括：分为三个模块，分别为图像边缘提取器，图像边缘生成模块以及图像内容生成模块。
其中，图像边缘提取器基于Canny算法，提取过程首先是使图像通过高斯滤波器，对图像进行平滑处理，滤除噪声，防止由于噪声引起的错误检测。
计算图像中像素点的梯度强度，因为图像中的边缘是像素变化最明显的位置，也就是像素梯度强度最高的地方。采用非极大值抑制，帮助将局部最大值之外的梯度值抑制为0，提取出较清晰的边缘。此时仍然存在一些由于噪声或颜色的变化而引起的干扰边缘，因此设置双阈值，梯度强度大于高阈值的认为是有效边缘，而低于低阈值的认为是无效边缘。
其中，图像边缘生成模块为一生成对抗网络，用来生成图像中缺失部分的边缘信息，其他部分保持不变，生成对抗网络由生成器G1和判别器D1构成，生成器通过两次下采样，将图像变为原来尺寸的1/16，再通过6层尺寸为3x3的空洞卷积，并加入残差模块，通过空洞卷积在保持卷积核参数大小不变的情况下增大卷积的视野，得到的特征图再经过两次上采样恢复为原图像尺寸大小，生成器用来捕捉真实数据样本的潜在分布，并生成新的数据样本。判别器采用马尔可夫判别器结构，由五层卷积层组成，卷积核大小均为4x4，前三层卷积核步长为2，后两层步长为1。前四层后均采用系数为0.2的LeakyReLU激活函数。与普通判别器不同，马尔可夫判别器采用全卷积的方式，将输入映射为一个矩阵，也就是特征图，从特征图中的一个点可以对应于输入图像的一小块区域，这样训练模型能关注到图像的更多细节。判别器作为一个二分类器，判别输入是真实数据还是生成的样本。损失函数包括生成对抗损失和特征匹配损失，生成对抗损失公式如下：
L生成对抗＝E(Cgt，Igray)[log D1(Cgt，Igray)]+E(Igray)log[1-D1(Cpred，Igray)]
式中，E(*)表示分布函数的期望，D1表示判别器，Cgt，Cprep分别表示原始图像边缘信息和生成器生成的边缘信息，Igrey表示原始图像的灰度图。
特征匹配损失公式如下：
式中，
表示图像通过判别器第i层后的特征图，Ni表示第i层特征图的元素个数。
其中，图像内容生成模块为另一个生成对抗网络构成，结构与边缘生成模块相同，边缘生成模块生成完整的图像边缘信息，接着内容生成模块在完整的边缘信息基础上进行内容的生成，相当于将传统的生成网络拆解为两个阶段，这样能够使生成的图像具有更加精细的纹理信息。内容生成模块的损失函数除了包含生成对抗损失函数和特征匹配损失函数外额外增加了L1损失函数和风格损失函数。风格损失函数公式如下：
其中
表示通过二值掩模进行遮挡后的图像，
表示第j层特征图的格拉姆矩阵，它可以看做是特征之间的偏心协方差矩阵，计算两个特征之间的相关性，特征相关性也就代表着图像间风格的差异。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
如下列步骤所述，选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述目标特征输入到所述网络结构，通过所述网络结构和所述网络参数进行训练，得到实际训练结果；确定所述实际训练结果与所述训练样本中的相应扩展图像的图像特征之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
例如：若测试误差满足要求，则网络训练测试完成。
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
需要说明的是，由于医学图像数据量较少，首先采用大型数据集CelebA进行预训练，迭代次数为二十万次，将训练好的参数.pth文件保存在checkpoint文件夹中，接着将医学图像训练集输入模型并加载之前预训练好的模型参数再训练直到收敛，此时收敛速度明显加快，迭代两万次左右达到收敛。使用验证集优化和调整训练中的超参数，学习率固定为0.0001。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
如下列步骤所述，选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述目标特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应扩展图像的图像特征之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
需要说明的是，在采用少量的医学图像进行二值掩模的图像处理后，输入训练好的图像部分生成网络中，将在遮挡部分生成多样的纹理特征，遮挡部分为随机，因此生成部分也是随机，可以实现任意指定数量的数据增强，且能够达到非常良好的视觉效果。应当注意人为控制生成面积的大小不大于病灶区面积的四分之一。为了避免将整个病灶区遮挡，生成模块将提取不到病灶特征就会默认生成正常组织，这样就将一张含有病变的医学图像变成一张正常的医学图像，反而达不到稀少病变图像增强目的。
如上述步骤S120所述，获取当前基础医学图像的当前目标特征；
如上述步骤S130所述，通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
例如：通过现有的仅有小量样本数据的医学图像进行依据不同目标特征的医学图像扩展。
由此，通过基于对应关系，根据当前选取的当前目标特征有效地生成当前扩展图像的图像特征，从而为小仅有样本的医学图像数据扩展出更多，并处于合理情况下的，医学图像数据，使现有的基于人工神经网络的检测方法对于该种仅有小量样本的特殊病种，能有更精确的判断结果。
在一个可选例子中，步骤S130中确定与所述目标特征对应的当前扩展图像的图像特征，可以包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
在一个可选例子中，步骤S130中确定与所述目标特征对应的当前扩展图像的图像特征，还可以包括：当所述对应关系可以包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。
例如，通过将基础医学图像进行部分遮盖/擦除，再对遮盖/擦除的部分进行基于所述对应关系的图像生成，从而实现部分生成的效果，获得的扩展图像可以在基础医学图像的基础上实现局部纹理变化，而不改变图像得整体结构，这样更加符合医学图像的实际情况，并且在细节处也可以达到良好的视觉效果，其中，所述基础医学图像的被遮盖/擦除区域位置，所述基础医学图像的被遮盖/擦除区域形状，以及所述基础医学图像的被遮盖/擦除区域大小；以及基础医学图像的图像结构，图像内容，以及图像纹理，为当前目标特征。
通过确定当前所述基础医学图像的被遮盖/擦除区域的位置，形状，以及大小，以及所述基础医学图像的图像结构，图像内容(是否含有病灶区域，病灶种类)，以及图像纹理，从而能够通过所述对应关系确认出，生成的扩展图像的图像特征，其中，扩展图像中需要进行生成的的部分仅为基础图像中被遮盖/擦除的部分区域，区域部分沿用所述基础医学图像的图像信息。
在一个可选实施方式中，还可以包括：验证所述当前扩展图像的图像特征与实际扩展图像的图像特征是否相符的过程。
可选地，可以接收到所述当前扩展图像的图像特征与实际扩展图像的图像特征不符的验证结果、和/或确定所述对应关系中没有与所述当前目标特征相同的目标特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：设备本身无法获知到实际扩展图像的图像特征，需要有医生的反馈操作才行，即如果设备智能判断出扩展图像的图像特征，医生通过操作反馈其与实际的状态不符，设备才能获知。
验证所述当前扩展图像的图像特征与实际扩展图像的图像特征是否相符(例如：可以通过AR显示模块对实际扩展图像的图像特征进行显示，以验证确定的所述当前扩展图像的图像特征与实际扩展图像的图像特征是否相符)。
当所述当前扩展图像的图像特征与实际扩展图像的图像特征不符、和/或所述对应关系中没有与所述当前目标特征相同的目标特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：可以根据维护后的对应关系，根据所述当前目标特征确定当前扩展图像的图像特征。例如：将维护后的所述对应关系中与所述当前目标特征相同的目标特征对应的扩展图像的图像特征，确定为当前扩展图像的图像特征。
由此，通过对确定的目标特征与扩展图像的图像特征之间的对应关系的维护，有利于提升对扩展图像的图像特征确定的精准性和可靠性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图4，示出了本申请一实施例提供的一种用于人工神经网络训练的医学图像数据的生成的检测装置，包括：
建立模块510，利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取模块520，用于获取当前基础医学图像的当前目标特征；
确定模块530，用于通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
在一实施例中，所述目标特征，包括：兴趣区图像序列中按设定规律提取的用于表示每个像素的运动模式；其中，
所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，
所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；
所述图像特征，包括：图像结构，图像内容，以及图像纹理；
和/或，
所述对应关系，包括：函数关系；所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；
确定与所述当前目标特征对应的当前扩展图像的图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。
在一实施例中，所述建立模块510，包括：
获取子模块，用于获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；
分析子模块，用于分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系。
在一实施例中，所述获取子模块，包括：
收集子模块，用于收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；
分析子模块，用于对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征；
样本数据生成子模块，用于将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。
在一实施例中，
所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一；
和/或，
所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
在一实施例中，
所述训练子模块，包括：
训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述目标特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应扩展图像的图像特征之间的实际训练误差是否满足预设训练误差；
训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
测试子模块，用于对所述网络结构和所述网络参数进行测试，所述测试子模块，包括：
测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述目标特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应扩展图像的图像特征之间的实际测试误差是否满足设定测试误差；
测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
在一实施例中，
所述训练子模块，还包括：
网络参数更新子模块，用于当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
第一重训练子模块，用于通过所述网络结构和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
所述测试子模块，还包括：
第二重训练子模块，用于当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
参照图5，示出了本发明的一种用于人工神经网络训练的医学图像数据的生成方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的用于人工神经网络训练的医学图像数据的生成方法。
也即，上述处理单元16执行上述程序时实现：利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的用于人工神经网络训练的医学图像数据的生成方法：
也即，给程序被处理器执行时实现：利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的用于人工神经网络训练的医学图像数据的生成方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种用于人工神经网络训练的医学图像数据的生成方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取当前基础医学图像的当前目标特征；
通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
2.根据权利要求1所述的方法，其特征在于，
所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，
所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；
所述图像特征，包括：图像结构，图像内容，以及图像纹理；
和/或，
所述对应关系，包括：函数关系；所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；
确定与所述当前目标特征对应的当前扩展图像的图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。
3.根据权利要求1所述的方法，其特征在于，所述建立目标特征与扩展图像的图像特征之间的对应关系的步骤，包括：
获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；
分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系。
4.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据的步骤，包括：
收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；
对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征；
将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。
5.根据权利要求4所述的方法，其特征在于，
所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一；
和/或，
所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
6.根据权利要求3-5任一项所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述目标特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应扩展图像的图像特征之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述目标特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应扩展图像的图像特征之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
7.根据权利要求6所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；
通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
8.一种用于人工神经网络训练的医学图像数据的生成装置，其特征在于，包括：
建立模块，用于利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取模块，用于获取当前基础医学图像的当前目标特征；
确定模块，用于通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066618.3A CN111275686B (zh) | 2020-01-20 | 2020-01-20 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066618.3A CN111275686B (zh) | 2020-01-20 | 2020-01-20 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275686A true CN111275686A (zh) | 2020-06-12 |
| CN111275686B CN111275686B (zh) | 2023-05-26 |
Family
ID=71003302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010066618.3A Active CN111275686B (zh) | 2020-01-20 | 2020-01-20 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275686B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN112259247A (zh) * | 2020-10-22 | 2021-01-22 | 平安科技（深圳）有限公司 | 对抗网络训练、医疗数据补充方法、装置、设备及介质 |
| CN112488937A (zh) * | 2020-11-27 | 2021-03-12 | 河北工业大学 | 针对分割任务的医学影像特征增强方法 |
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
| CN110400298A (zh) * | 2019-07-23 | 2019-11-01 | 中山大学 | 心脏临床指标的检测方法、装置、设备及介质 |
| CN110414607A (zh) * | 2019-07-31 | 2019-11-05 | 中山大学 | 胶囊内窥镜图像的分类方法、装置、设备及介质 |
| CN110458084A (zh) * | 2019-08-06 | 2019-11-15 | 南京邮电大学 | 一种基于倒置残差网络的人脸年龄估计方法 |
| CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN110517249A (zh) * | 2019-08-27 | 2019-11-29 | 中山大学 | 超声弹性图像的成像方法、装置、设备及介质 |
-
2020
- 2020-01-20 CN CN202010066618.3A patent/CN111275686B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN110400298A (zh) * | 2019-07-23 | 2019-11-01 | 中山大学 | 心脏临床指标的检测方法、装置、设备及介质 |
| CN110414607A (zh) * | 2019-07-31 | 2019-11-05 | 中山大学 | 胶囊内窥镜图像的分类方法、装置、设备及介质 |
| CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN110458084A (zh) * | 2019-08-06 | 2019-11-15 | 南京邮电大学 | 一种基于倒置残差网络的人脸年龄估计方法 |
| CN110517249A (zh) * | 2019-08-27 | 2019-11-29 | 中山大学 | 超声弹性图像的成像方法、装置、设备及介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN112259247A (zh) * | 2020-10-22 | 2021-01-22 | 平安科技（深圳）有限公司 | 对抗网络训练、医疗数据补充方法、装置、设备及介质 |
| CN112259247B (zh) * | 2020-10-22 | 2022-08-23 | 平安科技（深圳）有限公司 | 对抗网络训练、医疗数据补充方法、装置、设备及介质 |
| CN112488937A (zh) * | 2020-11-27 | 2021-03-12 | 河北工业大学 | 针对分割任务的医学影像特征增强方法 |
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN112541856B (zh) * | 2020-12-07 | 2022-05-03 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275686B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| US8204292B2 (en) | Feature based neural network regression for feature suppression | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| US20070223815A1 (en) | Feature Weighted Medical Object Contouring Using Distance Coordinates | |
| CN111524106A (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| CN111754453A (zh) | 基于胸透图像的肺结核检测方法、系统和存储介质 | |
| CN115601299A (zh) | 基于图像的肝硬化状态智能评估系统及其方法 | |
| CN111028940A (zh) | 肺结节多尺度检测方法、装置、设备及介质 | |
| Zhou et al. | Adaptive weighted locality-constrained sparse coding for glaucoma diagnosis | |
| CN111127400A (zh) | 一种乳腺病变检测方法和装置 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| Queiroz et al. | Endoscopy image restoration: A study of the kernel estimation from specular highlights | |
| Luo et al. | Infrared and visible image fusion based on VPDE model and VGG network | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN116543246A (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及设备 | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 | |
| CN112435284A (zh) | 图像配准方法、电子设备及存储介质 | |
| CN115578285B (zh) | 一种乳腺钼靶图像细节增强方法及系统 | |
| US20220254012A1 (en) | Methods, devices, and systems for determining presence of appendicitis | |
| Zhong et al. | Fingerprint image denoising and inpainting using generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |