CN113012249A - 一种在ct图像上生成病灶的方法、装置及存储介质 - Google Patents
一种在ct图像上生成病灶的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113012249A CN113012249A CN202110231170.0A CN202110231170A CN113012249A CN 113012249 A CN113012249 A CN 113012249A CN 202110231170 A CN202110231170 A CN 202110231170A CN 113012249 A CN113012249 A CN 113012249A
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- lesion
- focus
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003902 lesion Effects 0.000 claims abstract description 99
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 53
- 238000000265 homogenisation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 156
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 10
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种在CT图像上生成病灶的方法、装置及存储介质。方法包括：获取连续的原始CT图像和病灶生成数据；建立以病灶为中心的一级正方体；基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；将所述病灶CT图像插入原始CT图像中生成完整CT图像。本发明通过两个生成对抗网络模型，先生成病灶轮廓，再生成完整病灶，解决了其他生成病灶方法存在的过拟合与方形边缘明显的问题。
Description
技术领域
本发明涉及图像数据生成领域和及其学习领域，具体而言，尤其涉及一种在CT图像上生成病灶的方法、装置及存储介质。
背景技术
X射线计算机断层扫描(Computed Tomography，CT)技术已被广泛应用于医学诊断，是当今临床诊断不可或缺的医学成像技术之一。采用基于人工智能的方法辅助进行临床诊断，需要大量病灶CT图像和正常CT图像进行对照试验。一方面，在实际的图像采集过程中，具有病灶的图像相对较少。其次，人工进行标注，标注成本较高。另一方面，大量的医学图像获取会严重侵犯患者的隐私权。
现行的病灶生成方法是，在图像上用矩形将需要加入病灶的位置进行遮挡，然后进行病灶生成。这样操作的问题在于生成的病灶周围有较明显的矩形边缘，或产生较强的过拟合效果。
发明内容
针对生成的病灶周围有明显边缘或产生过拟合效果的问题，本发明提供了一种在CT图像上生成病灶的方法、装置及存储介质。以实现对病灶图像数据进行小样本扩充，进而基于扩充后的数据进行病灶轮廓及病灶内容识别模型训练，达到自动病灶识别的目的。
本发明采用的技术手段如下：
一种在CT图像上生成病灶的方法，包括：
获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值；
建立以病灶为中心的一级正方体，对所述连续的CT图像按照一级正方体进行图像切割，获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致；
基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；
基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；
将所述病灶CT图像插入原始CT图像中生成完整CT图像。
进一步地，基于切割后的CT图像、病灶生成数据和预先构建的第一生成对抗网络生成病灶轮廓mask，包括：
基于外接长方体生成范围mask；
基于范围mask对切割后的CT图像进行遮挡，获得范围遮挡CT图像；
建立多个以病灶为中心的二级正方体，所述二级正方体的数据维度与原始CT图像维度一致，其中每个二级正方体对应病灶的一个病灶属性，且每个二级正方体中所有数均等于其对应的病灶属性数值；
将范围遮挡CT图像和二级正方体数据按通道进行拼接，基于拼接后的数据和第一生成对抗网络，生成病灶轮廓mask。
进一步地，基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先构建的第二生成对抗网络生成病灶CT图像，包括：
基于病灶轮廓mask对切割后的CT图像进行遮挡处理，生成轮廓遮挡CT图像；
建立以病灶为中心的三级正方体，所述三级正方体的数据维度与原始CT图像维度一致，其中三级正方体对应病灶轮廓内的数值随机赋值，其他位置与对应位置的原始CT图像一致；
将轮廓遮挡CT图像、病灶轮廓mask和三级正方体数据按通道进行拼接，基于拼接后的数据和第二生成对抗网络，生成病灶CT图像。
进一步地，基于范围mask对切割后的CT图像进行遮挡，获得范围遮挡CT图像，包括：将所述外接长方体内的CT图像像素值置为1，其他位置不变。
进一步地，获取连续的原始CT图像，包括：通过均一化算法和均衡化算法对原始CT图像进行预处理；相应的，
将所述病灶CT图像插入原始CT图像中生成完整CT图像，包括：通过反均衡化算法和反均一化算法对病灶CT图像进行处理。
进一步地，还包括对所述第一生成对抗网络和第二生成对抗网络进行训练，包括：
获取训练数据集，所述训练数据集包括轮廓mask数据集、范围遮挡CT数据集、特征数据集、真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集；
将轮廓mask数据集、范围遮挡CT数据集以及特征数据集作为第一生成对抗网络的训练数据集；
将真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集以及特征数据集作为第二生成对抗网络的训练数据集。
进一步地，将轮廓mask数据集、范围遮挡CT数据集以及特征数据集作为第一生成对抗网络的训练数据集，包括：
将训练样本中的范围遮挡CT数据集和特征数据集按通道进行拼接，输入第一生成对抗网络的生成器中，生成出轮廓mask数据；
将所述轮廓mask数据、范围遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第一生成对抗网络的判别器；
将训练样本中的轮廓mask数据集、范围遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第一生成对抗网络的判别器；
训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
训练生成器使判别器将假样例判断成真实样本。
进一步地，将真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集以及特征数据集作为第二生成对抗网络的训练数据集，包括：
将训练样本中的轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，输入到第二生成对抗网络的生成器中，生成出完整的病灶图像；
将所述完整的病灶图像、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第二生成对抗网络的判别器；
将训练样本中的真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第二生成对抗网络的判别器；
训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
训练生成器使判别器将假样例判断成真实样本。
一种在CT图像上生成病灶的装置，包括：
数据获取模块，其用于获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值；
切割模块，其用于建立以病灶为中心的一级正方体，对所述连续的CT图像按照一级正方体进行图像切割，获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致；
病灶轮廓生成模块，其用于基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；
病灶内容生成模块，其用于基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；
插入模块，其用于将所述病灶CT图像插入原始CT图像中生成完整CT图像。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述任一项所述的在CT图像上生成病灶的方法。
较现有技术相比，本发明具有以下优点：
1、本发明通过两个生成对抗网络模型，先生成病灶轮廓，再生成完整病灶，解决了其他生成病灶方法存在的过拟合与方形边缘明显的问题。
2、本发明可通过调整所需生成病灶的属性生成不同属性的病灶。
3、通过本发明可以在无隐私问题的图像上生成病灶，从而获得既有病灶信息又无隐私问题的图像。
基于上述理由本发明可在医疗图像数据生成和识别等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明生成病灶方法流程图。
图2为实施例中生成结节的整体流程图。
图3为实施例中训练数据生成流程图。
图4为实施例中生成结节的具体流程图。
图5a为实施例中真实的无结节CT图像。
图5b为实施例中本申请方法加入两个不同磨玻璃效果的结节的CT图像。
图5c为实施例中带有真实结节的CT图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供了一种在CT图像上生成病灶的方法，该发明基于病灶轮廓被标注的样本，病灶是三维的病灶，即一个病灶在连续的CT图像上都有体现。如图1所示，包括对原始CT图像进行预处理，其中预处理过程包括图像均一化和均衡化。其中均一化可以采用将数值减去最小值，再除以最大值与最小值的差的方式实现，均衡化可以采用如直方图均衡化的方式实现。
S1：获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值。原始CT图像可以是来自临床的清晰胸部CT图像。该步骤还包括对原始CT图像进行
S2：建立以病灶为中心的一级正方体，对连续的CT图像按照一级正方体进行图像切割，将切割出的连续图像作为整体，从而获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致。本发明中涉及到的正方体均为三维矩阵，三维矩阵里的每个元素根据使用情况赋值。
S3：基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask。具体来说，包括：
S301：基于外接长方体生成范围mask。
S302：基于范围mask对切割后的CT图像进行遮挡，获得范围遮挡CT图像。具体为将外接长方体内的CT图像像素值置为1，其他位置不变。
S303：建立多个以病灶为中心的二级正方体，所述二级正方体的数据维度与原始CT图像维度一致，其中每个二级正方体对应病灶的一个病灶属性，且每个二级正方体中所有数均等于其对应的病灶属性数值。二级正方体中的各元素等于病灶属性数值。比如病灶的模糊程度为2，则二级正方体代表的三维矩阵中所有数都是2。
S304：将范围遮挡CT图像和二级正方体数据按通道进行拼接，基于拼接后的数据和第一生成对抗网络，生成病灶轮廓mask。
进一步地，第一生成对抗网络为预先训练的用于生成病灶轮廓的病灶轮廓GAN。构建病灶轮廓GAN包括训练数据集制作和训练两个部分。
训练数据集主要包括：轮廓mask数据集、范围遮挡CT数据集、特征数据集、真实CT数据集、轮廓mask数据集和随机数遮挡CT数据集。上述数据集的获取过程，包括：
1)对来自临床的连续CT图像进行归一化和均衡化。
2)建立以病灶为中心的第一正方体，对连续的CT图像按照正方体进行图像切割，切割出的连续图像作为整体加入训练集，称该数据集为真实CT数据集。其中正方体边长需固定，即对每个样本，正方体尺寸相同。
3)建立以病灶为中心的第二正方体，第二正方体的数据维度与其中的CT图像维度一致，在该正方体中，病灶的外接长方体内数值置为1，其他位置数值置为0，称该数据集为范围mask数据集。
4)将真实CT数据集中，对应到范围mask数据集值为1的位置同样置为1，得到新的数据集，称该数据集为范围遮挡CT数据集。
5)建立以病灶为中心的第三正方体，第三正方体的数据维度与其中的CT图像维度一致，在该正方体中，病灶轮廓内的数值置为1，其他位置数值置为0，称该数据集为轮廓mask数据集。
6)建立以病灶为中心的第四正方体，第四正方体的数据维度与其中的CT图像维度一致，在该正方体中，病灶轮廓内的数值随机赋值，其他位置与对应位置的CT图像一致，称该数据集为随机数遮挡CT数据集。
7)建立多个以病灶为中心的正方体，这些正方体的数据维度与其中的CT图像维度一致，即正方体的边长一致，每个正方体对应一个病灶需要关注的类别或程度信息，每个正方体中，所有数相等且等于其对应的类别或程度信息数值，称该数据集为特征数据集。
上述轮廓mask数据集、范围遮挡CT数据集、特征数据集、真实CT数据集、轮廓mask数据集一级随机数遮挡CT数据集之间互相有对应关系。
对病灶轮廓GAN进行训练主要利用轮廓mask数据集、范围遮挡CT数据集和特征数据集。具体地：
a.将训练样本中的范围遮挡CT数据集和特征数据集按通道进行拼接，输入第一生成对抗网络的生成器中，生成出轮廓mask数据；
b.将所述轮廓mask数据、范围遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第一生成对抗网络的判别器；
c.将训练样本中的轮廓mask数据集、范围遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第一生成对抗网络的判别器；
d.训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
e.训练生成器使判别器将假样例判断成真实样本。
反复执行上述步骤a-e，直到生成器生成较好的轮廓mask数据，评价生成数据的优劣可以依据生成的图像是否具有杂点、杂点数量以及轮廓边缘的连续程度判断，此处不做限制。
S4、基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像。具体包括：
S401：基于病灶轮廓mask对切割后的CT图像进行遮挡处理，生成轮廓遮挡CT图像；
S402：建立以病灶为中心的三级正方体，所述三级正方体的数据维度与原始CT图像维度一致，其中三级正方体对应病灶轮廓内的数值随机赋值，其他位置与对应位置的原始CT图像一致；
S403：将轮廓遮挡CT图像、病灶轮廓mask和三级正方体数据按通道进行拼接，基于拼接后的数据和第二生成对抗网络，生成病灶CT图像。
其中第二生成对抗网络为用于生成病灶最终图像的病灶内容GAN。构建病灶内容GAN同样包括训练数据集制作和训练两个部分。训练数据集的提取方式如上述步骤1)-7)，此处不再赘述。
对病灶内容GAN进行训练主要利用真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集和特征数据集。具体包括：
f.将训练样本中的轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，输入到第二生成对抗网络的生成器中，生成出完整的病灶图像；
g.将所述完整的病灶图像、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第二生成对抗网络的判别器；
h.将训练样本中的真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第二生成对抗网络的判别器；
i.训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
j.训练生成器使判别器将假样例判断成真实样本。
反复执行上述步骤f-j，直到生成器生成较好的CT病灶图像。
S5、将所述病灶CT图像插入原始CT图像中生成完整CT图像。具体包括：
S501、对病灶CT图像进行反均衡化和反均一化处理，生成待插入图像。
S502、将待插入图像插入原始CT图像中生成完整CT病灶图像。
本发明利用两个GAN(生成对抗网络)分步在CT图像上生成病灶：先生成病灶轮廓，再生成完整病灶。通过参数控制生成病灶的属性(类型或程度值)，通过GAN在不具有隐私问题的CT图像上生成病灶，解决带有病灶的样本因隐私不能公开的问题。
下面通过具体的应用实例对本发明的方案和效果做进一步说明。
该方法包含训练数据集制作、训练、生成三大部分，如图2所示，其中，训练分为病灶轮廓GAN(用于生成病灶轮廓)训练和病灶内容GAN(用于生成病灶最终图像)训练，生成分为病灶轮廓生成和病灶内容生成。训练数据制作流程如图3所示，生成流程如图4所示。
图5a-5c为生成的肺结节与真实肺结节对比，框中的白色部分为结节。其中，5a为真实的无结节CT图像，5b为通过本专利所述方法加入两个不同磨玻璃效果的结节的CT图像，5c为带有真实结节的CT图像。对比可见生成的结节与真实结节从肉眼难以区分，生成效果较好。
对应本申请中的在CT图像上生成病灶的方法，本申请还提供了一种在CT图像上生成病灶的装置，包括：
数据获取模块，其用于获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值；
切割模块，其用于建立以病灶为中心的一级正方体，对所述连续的CT图像按照一级正方体进行图像切割，获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致；
病灶轮廓生成模块，其用于基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；
病灶内容生成模块，其用于基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；
插入模块，其用于将所述病灶CT图像插入原始CT图像中生成完整CT图像。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述任一项所述的在CT图像上生成病灶的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种在CT图像上生成病灶的方法，其特征在于，包括：
获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值；
建立以病灶为中心的一级正方体，对所述连续的CT图像按照一级正方体进行图像切割，获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致；
基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；
基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；
将所述病灶CT图像插入原始CT图像中生成完整CT图像。
2.根据权利要求1所述的在CT图像上生成病灶的方法，其特征在于，基于切割后的CT图像、病灶生成数据和预先构建的第一生成对抗网络生成病灶轮廓mask，包括：
基于外接长方体生成范围mask；
基于范围mask对切割后的CT图像进行遮挡，获得范围遮挡CT图像；
建立多个以病灶为中心的二级正方体，所述二级正方体的数据维度与原始CT图像维度一致，其中每个二级正方体对应病灶的一个病灶属性，且每个二级正方体中所有数均等于其对应的病灶属性数值；
将范围遮挡CT图像和二级正方体数据按通道进行拼接，基于拼接后的数据和第一生成对抗网络，生成病灶轮廓mask。
3.根据权利要求2所述的在CT图像上生成病灶的方法，其特征在于，基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先构建的第二生成对抗网络生成病灶CT图像，包括：
基于病灶轮廓mask对切割后的CT图像进行遮挡处理，生成轮廓遮挡CT图像；
建立以病灶为中心的三级正方体，所述三级正方体的数据维度与原始CT图像维度一致，其中三级正方体对应病灶轮廓内的数值随机赋值，其他位置与对应位置的原始CT图像一致；
将轮廓遮挡CT图像、病灶轮廓mask和三级正方体数据按通道进行拼接，基于拼接后的数据和第二生成对抗网络，生成病灶CT图像。
4.根据权利要求2所述的在CT图像上生成病灶的方法，其特征在于，基于范围mask对切割后的CT图像进行遮挡，获得范围遮挡CT图像，包括：将所述外接长方体内的CT图像像素值置为1，其他位置不变。
5.根据权利要求1所述的在CT图像上生成病灶的方法，其特征在于，获取连续的原始CT图像，包括：通过均一化算法和均衡化算法对原始CT图像进行预处理；相应的，
将所述病灶CT图像插入原始CT图像中生成完整CT图像，包括：通过反均衡化算法和反均一化算法对病灶CT图像进行处理。
6.根据权利要求1所述的在CT图像上生成病灶的方法，其特征在于，还包括对所述第一生成对抗网络和第二生成对抗网络进行训练，包括：
获取训练数据集，所述训练数据集包括轮廓mask数据集、范围遮挡CT数据集、特征数据集、真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集；
将轮廓mask数据集、范围遮挡CT数据集以及特征数据集作为第一生成对抗网络的训练数据集；
将真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集以及特征数据集作为第二生成对抗网络的训练数据集。
7.根据权利要求6所述的在CT图像上生成病灶的方法，其特征在于，将轮廓mask数据集、范围遮挡CT数据集以及特征数据集作为第一生成对抗网络的训练数据集，包括：
将训练样本中的范围遮挡CT数据集和特征数据集按通道进行拼接，输入第一生成对抗网络的生成器中，生成出轮廓mask数据；
将所述轮廓mask数据、范围遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第一生成对抗网络的判别器；
将训练样本中的轮廓mask数据集、范围遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第一生成对抗网络的判别器；
训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
训练生成器使判别器将假样例判断成真实样本。
8.根据权利要求6所述的在CT图像上生成病灶的方法，其特征在于，将真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集以及特征数据集作为第二生成对抗网络的训练数据集，包括：
将训练样本中的轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，输入到第二生成对抗网络的生成器中，生成出完整的病灶图像；
将所述完整的病灶图像、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为假样例输入到第二生成对抗网络的判别器；
将训练样本中的真实CT数据集、轮廓mask数据集、随机数遮挡CT数据集和特征数据集按通道进行拼接，作为真样例输入到第二生成对抗网络的判别器；
训练判别器将假样例判断成非真实样本，将真样例判断成真实样本；
训练生成器使判别器将假样例判断成真实样本。
9.一种在CT图像上生成病灶的装置，其特征在于，包括：
数据获取模块，其用于获取连续的原始CT图像和病灶生成数据，其中病灶生成数据包括添加病灶的位置、外接长方体和病灶属性值；
切割模块，其用于建立以病灶为中心的一级正方体，对所述连续的CT图像按照一级正方体进行图像切割，获取切割后的CT图像，所述一级正方体的数据维度与原始CT图像维度一致；
病灶轮廓生成模块，其用于基于切割后的CT图像、病灶生成数据和预先训练的第一生成对抗网络生成病灶轮廓mask；
病灶内容生成模块，其用于基于切割后的CT图像、病灶生成数据、病灶轮廓mask和预先训练的第二生成对抗网络生成病灶CT图像；
插入模块，其用于将所述病灶CT图像插入原始CT图像中生成完整CT图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如权利要求1-8任一项所述的在CT图像上生成病灶的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231170.0A CN113012249B (zh) | 2021-03-02 | 2021-03-02 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231170.0A CN113012249B (zh) | 2021-03-02 | 2021-03-02 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012249A true CN113012249A (zh) | 2021-06-22 |
| CN113012249B CN113012249B (zh) | 2024-02-06 |
Family
ID=76402531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110231170.0A Active CN113012249B (zh) | 2021-03-02 | 2021-03-02 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012249B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538298A (zh) * | 2021-09-07 | 2021-10-22 | 北京大学深圳医院 | 病灶高清图像重建方法、装置、设备及存储介质 |
| CN114782799A (zh) * | 2022-02-10 | 2022-07-22 | 成都臻识科技发展有限公司 | 高位相机视角下大车遮挡的模拟方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872296A (zh) * | 2019-01-04 | 2019-06-11 | 中山大学 | 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 |
| CN109993733A (zh) * | 2019-03-27 | 2019-07-09 | 上海宽带技术及应用工程研究中心 | 肺部病灶的检测方法、系统、存储介质、终端及显示系统 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN111383215A (zh) * | 2020-03-10 | 2020-07-07 | 图玛深维医疗科技(北京)有限公司 | 一种基于生成对抗网络的病灶检测模型的训练方法 |
| CN111507937A (zh) * | 2020-03-03 | 2020-08-07 | 平安科技（深圳）有限公司 | 一种图像数据的生成方法及装置 |
-
2021
- 2021-03-02 CN CN202110231170.0A patent/CN113012249B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872296A (zh) * | 2019-01-04 | 2019-06-11 | 中山大学 | 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 |
| CN109993733A (zh) * | 2019-03-27 | 2019-07-09 | 上海宽带技术及应用工程研究中心 | 肺部病灶的检测方法、系统、存储介质、终端及显示系统 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN111507937A (zh) * | 2020-03-03 | 2020-08-07 | 平安科技（深圳）有限公司 | 一种图像数据的生成方法及装置 |
| CN111383215A (zh) * | 2020-03-10 | 2020-07-07 | 图玛深维医疗科技(北京)有限公司 | 一种基于生成对抗网络的病灶检测模型的训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 何校栋;邢海群;王瞳;霍力;李方;张辉;: "基于Adaboost算法的多特征融合肺部PET-CT图像的肿瘤分类方法", 中国医学装备, no. 08 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538298A (zh) * | 2021-09-07 | 2021-10-22 | 北京大学深圳医院 | 病灶高清图像重建方法、装置、设备及存储介质 |
| CN113538298B (zh) * | 2021-09-07 | 2024-01-05 | 北京大学深圳医院 | 病灶高清图像重建方法、装置、设备及存储介质 |
| CN114782799A (zh) * | 2022-02-10 | 2022-07-22 | 成都臻识科技发展有限公司 | 高位相机视角下大车遮挡的模拟方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012249B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| JP2022539162A (ja) | 画像識別方法およびその関連装置、機器 | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| CN113012249B (zh) | 一种在ct图像上生成病灶的方法、装置及存储介质 | |
| EP3910592A1 (en) | Image matching method, apparatus and device, and storage medium | |
| Pezeshk et al. | Seamless insertion of pulmonary nodules in chest CT images | |
| CN114365188A (zh) | 基于vrds ai下腔静脉影像的分析方法及产品 | |
| US7035445B2 (en) | Image position matching method, apparatus and storage medium | |
| CN112365493B (zh) | 用于眼底图像识别模型的训练数据生成方法及设备 | |
| Becker et al. | Segmentation of risk structures for otologic surgery using the Probabilistic Active Shape Model (PASM) | |
| CN112331311A (zh) | 一种腹腔镜手术中视频与术前模型融合显示的方法及装置 | |
| CN114742763A (zh) | 骨骼图像的识别优化方法、系统、存储介质及电子设备 | |
| CN111462067B (zh) | 图像分割方法及装置 | |
| CN112365959B (zh) | 修改三维图像的标注的方法及装置 | |
| WO2015175852A1 (en) | System and method for ct image synthesis from mri using generative sub-image synthesis | |
| CN111626972B (zh) | Ct图像重构方法、模型训练方法及设备 | |
| CN111613300B (zh) | 基于VRDS 4D医学影像的肿瘤与血管Ai处理方法及产品 | |
| CN114341996A (zh) | 基于vrds 4d的病情分析方法及相关产品 | |
| EP3928706A1 (en) | Ai identification method of embolism based on vrds 4d medical image, and product | |
| Purnama et al. | Non-compactness attribute filtering to extract retinal blood vessels in fundus images | |
| Miao et al. | Spinal neoplasm image inpainting with deep convolutional neutral networks | |
| CN114820591B (zh) | 图像处理方法、装置、电子设备及介质 | |
| Kassim et al. | A cell augmentation tool for blood smear analysis | |
| CN116344001B (zh) | 一种基于人工智能的医疗信息可视化管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province Applicant after: Neusoft Education Technology Group Co.,Ltd. Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |