CN111507937A - 一种图像数据的生成方法及装置 - Google Patents
一种图像数据的生成方法及装置 Download PDFInfo
- Publication number
- CN111507937A CN111507937A CN202010138075.1A CN202010138075A CN111507937A CN 111507937 A CN111507937 A CN 111507937A CN 202010138075 A CN202010138075 A CN 202010138075A CN 111507937 A CN111507937 A CN 111507937A
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- contour
- lesion
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000003902 lesion Effects 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 15
- 238000005266 casting Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 3
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 8
- 208000032843 Hemorrhage Diseases 0.000 description 6
- 230000000740 bleeding effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011049 filling Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241001272720 Medialuna californiensis Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010037394 Pulmonary haemorrhage Diseases 0.000 description 1
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像数据的生成方法及装置，涉及图像处理技术领域，为解决现有技术中数据生成方法不能为人工智能医疗影像分析过程提供有效的训练数据样本的问题而发明。该方法主要包括：获取无病灶图像；按照预置病灶轮廓，生成预测病灶掩膜；将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图片训练生成。本发明主要应用于扩展图像数据的过程中。
Description
技术领域
本发明涉及一种图像处理技术领域，特别是涉及一种图像数据的生成方法及装置。
背景技术
随着深度学习算法的不断提升与改进，在检测和识别病灶时可以通过人工智能医疗影像分析进行。人工智能医疗影像分析通常以数据驱动的监督式学习为主，该监督式学习采用基于各种特征的后验模型，该后验模型需要人工标注的大量数据进行训练。但是带疾病的阳性图像数据和人工标注都不易获取，造成人工智能医疗影像分析性能提升困难的问题。以脑出血数据为例，脑出血不是多发病，大部分头部CT影像为阴性，即使能收集到一定量的阳性数据，但标注脑出血数据区域会耗费医生大量时间。
针对训练数据和标注不足的问题，现有的技术一般采用数据扩增、数据叠加或数据生成来优化医疗影像分析的性能。数据扩增包含镜射、旋转、平移和形变等扩增方式，通过该方式产生的病灶多样性不足，不能有效提升人工智能医疗影像分析的性能。数据合成通过把病灶叠加到无病灶图像中，能利用海量的无病灶图像创造训练样本，但是该方式病灶被硬性叠加到另一张图像上，容易造成病灶周边区域不自认，产生与实际病灶图像中不存在的特征，误导网络学习。数据生成是通过对抗图像生成模型生成携带全新病灶的图像，但是对抗图像生成模型本省就需要大量数据才能稳定收敛，且生成的病灶带有随机性，可以出现在任意部位，与现实中人体发病部位分布不相符，不能为人工智能医疗影像分析提供有效的训练样本。
发明内容
有鉴于此，本发明提供一种图像数据的生成方法及装置，主要目的在于解决现有技术中数据生成方法不能为人工智能医疗影像分析过程提供有效的训练样本的问题。
依据本发明一个方面，提供了一种图像数据的生成方法，包括：
获取无病灶图像；
按照预置病灶轮廓，生成预测病灶掩膜；
将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
依据本发明另一个方面，提供了一种图像数据的生成装置，包括：
获取模块，用于获取无病灶图像；
生成模块，用于按照预置病灶轮廓，生成预测病灶掩膜；
计算模块，用于将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行如上述图像数据的生成方法对应的操作。
根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行上述图像数据的生成方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种图像数据的生成方法及装置，首先获取无病灶图像，然后按照预置病灶轮廓生成预测病灶掩膜，再将无病灶图像和预测病灶掩膜输入图像生成模型，生成预测病灶图像。与现有技术相比，本发明实施例通过预测病灶掩膜和图像生成模型生成预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据。通过本发明能够为人工智能医疗影像分析过程提供大量有效的训练样本，且训练样本的图像边界过度稳定与真实病灶图像相似度极高。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种图像数据的生成方法流程图；
图2示出了本发明实施例提供的另一种图像数据的生成方法流程图；
图3示出了本发明实施例提供的一种图像数据的生成装置组成框图；
图4示出了本发明实施例提供的另一种图像数据的生成装置组成框图；
图5示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
病灶数据和带标注的病灶数据的训练样本不足，是人工智能医疗影像分析性能提升的最大阻碍，以脑出血检测为例，脑出血不是多发病，大部分头部CT影像为阴性(未发病状态)，一个普通医院一年的脑出血病例大概为1000例，数据量较少，另外即使能收集到足够数量的阳性数据(发病状态的脑出血CT影像)，但标注脑出血区域会耗费医生大量时间，所以通过统计病例并标注现实病例的方式获取训练样本以提高人工智能医疗影像分析性能的方式基本不可行。由此，本发明实施例提供了一种图像数据的生成方法，如图1所示，该方法包括：
101、获取无病灶图像。
无病灶图像，是无病变的图像数据。无病灶图像可以为超声图像、CT图像、断层扫描图像等等，在本发明实施例中对病灶图像的图像类别不做限定。
102、按照预置病灶轮廓，生成预测病灶掩膜。
无病灶图像所对应的器官不同，不同的器官相对应，其产生的病灶轮廓也不相同。因此，在生成预测病灶掩膜之前，需要根据无病灶图像中包含的器官，设定预置病灶轮廓。示例性的，肺部疾病可以为肺炎、肺积水、肺结核和肺出血等等，不同种类的肺部疾病其病灶轮廓、病灶位置均不相同。示例性的，脑出血数据的出血病灶依据的种类不同会有不同的形态和出血位置，比如硬膜下外出血多沿着颅骨与脑实质交界处，蛛网膜下腔出血多出现在脑沟和脑裂中。
因此本发明针对特定位置或特定形态的病灶，设置预置病灶轮廓，然后根据预置病灶轮廓生成与其对应的预置病灶掩膜，为人工智能医疗影像分析提供更有针对性的海量的训练数据。以脑CT图像中硬膜下外出血为例，从一幅无病灶图像中，分割出颅骨与脑实质的交界线，以及脑沟和脑裂等轮廓，然后在颅骨与脑实质交界处，按照硬膜下外出血的半月形或者凸棱镜形等常见形态，创建掩膜，生成硬膜下外出血。
103、将所述无病灶图像和所述预测病灶掩膜输入所述图像生成模型，生成预测病灶图像。
其中，图像生成模型通过标记病灶训练图像训练生成。图像生成模型，是根据真实的带病灶的，并且医生标记病灶区域的标记病灶图像训练生成的。图像生成模型是通过将标记病灶图像中的病灶部分逐步去除，然后根据消除病灶之后的图像，反向病灶去除过程，学习病灶生成过程，以训练图像生成模型。
通过图像生成模型，能够实现采用渐变式图像填充方法，经预测病灶掩膜逐步填充至无病灶图像中得到预测病灶图像，同时确保预测病灶图像中的病灶周边过度地带充分自然，与真实的病灶足够相似。通过预测病灶掩膜方式，使得预测病灶图像具有特定病灶的特性。
通过预测病灶掩膜和图像生成模型计算预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据，有效均衡训练样本，提高训练样本量，并相应提高病灶检出率。
本发明提供了一种图像数据的生成方法，首先获取无病灶图像，然后按照预置病灶轮廓生成预测病灶掩膜，再将无病灶图像和预测病灶掩膜输入图像生成模型，生成预测病灶图像。与现有技术相比，本发明实施例通过预测病灶掩膜和图像生成模型生成预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据。通过本发明能够为人工智能医疗影像分析过程提供大量有效的训练样本，且训练样本的图像边界过度稳定与真实病灶图像相似度极高。
本发明实施例提供了另一种图像数据的生成方法，如图2所示，该方法包括：
201、获取无病灶图像。
无病灶图像，是无病变的图像数据。无病灶图像可以为超声图像、CT图像、断层扫描图像等等，在本发明实施例中对病灶图像的图像类别不做限定。
202、选取所述预测病灶轮廓的起始点。
无病灶图像所对应的器官不同，不同的器官相对应，其产生的病灶轮廓也不相同。因此，在生成预测病灶掩膜之前，需要根据无病灶图像中包含的器官，设定预置病灶轮廓。因此本发明针对特定位置或特定形态的病灶，设置预置病灶轮廓，然后根据预置病灶轮廓生成与其对应的预置病灶掩膜，为人工智能医疗影像分析提供更有针对性的海量的训练数据。
203、以所述起始点为中心，采用随机几何形状产生器生成几何轮廓图像，并确定所述几何轮廓图像为待定病灶轮廓。
通过随机几何形状产生器能够产生任意形状的几何轮廓图像，但是从任一像素点为起始点产生的几何轮廓图像，其轮廓范围也就待定病灶轮廓的范围。
其具体包括：获取与所述起始点临近的灰度值相同的第一邻接点；获取与所述起始点临近的灰度值相同的第二邻接点，所述第二邻接点与所述起始点和所述第一邻接点在同一直线上，并且与所述第一邻接点分布在所述起始点的两侧；以所述无病灶图像的坐标系为基础，以所述第一邻接点和所述第二邻接点为长轴，计算所述长轴的长轴斜率；以所述长轴斜率为最大的椭圆转动角度，生成所述几何轮廓图像，所述几何轮廓图像的形状是凸包形状；确定所述几何轮廓图像为所述待定病灶轮廓。
其具体还包括：获取所述无病灶图像的主图像边缘；采用图形学算法，以所述起始点为发散点，以所述主图像边缘为终止点，生成所述铸型图像；采用腐蚀算法，随机腐蚀所述铸型图像的边缘区域，生成所述几何轮廓图像，所述几何轮廓图像的形状是不对称铸型；确定所述几何轮廓图像为所述待定病灶轮廓。
204、根据所述起始点所在的位置，叠加所述无病灶图像和所述待定病灶轮廓，获取所述待定病灶轮廓中与所述无病灶图像重合的预置病灶轮廓。
待定病灶轮廓图像不一定能全部落入无病灶图像的范围内，所以将无病灶图像和待定病灶轮廓进行叠加，将位于无病灶图像内的待定病灶轮廓确定为预置病灶轮廓。在叠加过程中，无病灶图像和待定病灶轮廓具有相同的坐标系，也就是两者的零点位置相同，再叠加无病灶图像和待定病灶轮廓中的起始点，以实现无病灶图像和待定病灶轮廓的叠加。
205、根据所述预置病灶轮廓，生成预测病灶掩膜。
206、根据标记病灶图像，训练所述图像生成模型。
图像生成模型，是根据真实的带病灶的，并且医生标记病灶区域的标记病灶图像训练生成的。其训练过程具体包括：获取所述标记病灶图像，所述标记病灶图像是指携带病灶并且已经标记处病灶位置的图像；获取所述标记病灶图像中的实际病灶掩膜；以所述标记病灶图像和所述实际病灶掩膜为输入训练所述图像生成模型。训练图像生成模型采用渐近式清除病灶区域的方式进行训练，也就是在训练过程中逐步消除标记病灶图像中的实际病灶掩膜，以使得通过图像生成模型能通过渐近式填充方式生成不带标记的标记病灶图像。
其中，所述以所述标记病灶图像和所述实际病灶掩膜为输入训练所述图像图像生成模型，包括：提取所述标记病灶图像中的无病灶部分图像，所述无病灶部分图像是指所述标记病灶图像中剔除所述实际病灶掩膜部分的剩余图像；根据深度自编码器，逐层消减所述标记病灶图像的大小，直至所述实际病灶掩膜消失，并获取次第消失的渐变掩膜区域；将所述渐变掩膜区域依次加入所述图像生成模型，学习从所述无病灶部分图像到所述标记病灶图像的生成过程，训练所述图像生成模型。
应用深度自编码器，实现标记病灶图像的分解再重构，也就是通过学习标记病灶图像的编码过程和解码过程，训练生成模型。在深度自编码器的解码过程中，通过层层过滤，逐步消减标记病灶图像的图像大小和渐变掩膜区域大小，直至实际病灶掩膜消失。在缩小掩膜大小时，可对掩膜做腐蚀操作。如果深度自编码器网络进行2×2的下采样，每经过一层，标记病灶图像和实际病灶掩膜都在X方向和Y方向个缩小一半。在深度自编码器的编码过程中，从无病灶部分图像开始，随着网络层级的增加，采用与编码过程相反的顺序依次加入渐变掩膜区域，病灶掩膜将不断缩小，也就是病灶掩膜覆盖的区域内，病灶正在一圈一圈的生成，这种渐进时生成方式避免将病灶硬性叠加到另一张图像上，造成病灶周边区域不自然。只要网络层级足够多，实际病灶掩膜终将完全消失，也就是实际病灶掩膜覆盖区域都被填充，也就是还原出标记病灶图像。图像生成模型与深度自编码器的网络结构是对应，获取深度自编码器编码解码过程中的采用模块，采样层级等参数，依次作为图像生成模型的模型参数，以保证图像生成过程能够还原深度自编码器的编码过程。
207、以所述无病灶图像和所述预测病灶掩膜为输入，通过图像生成模型计算预测病灶图像。
由于无病灶图像很多，既能确保数据量，又能确保真实自然。病灶区域通常较小，不需要大量标注数据，且通过标记病灶图像训练图像生成模型，可以让病变区域与现实中人体发病部位分布尽可能相似。如此取长补短，用最少的数据量，获得最大的训练样本集。本方案使用渐变式图像填充的做法，确保病灶周边过度地带充分自然，与真实的病灶足够相似。
本发明提供了一种图像数据的生成方法，首先获取无病灶图像，然后按照预置病灶轮廓生成预测病灶掩膜，再将无病灶图像和预测病灶掩膜输入图像生成模型，生成预测病灶图像。与现有技术相比，本发明实施例通过预测病灶掩膜和图像生成模型生成预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据。通过本发明能够为人工智能医疗影像分析过程提供大量有效的训练样本，且训练样本的图像边界过度稳定与真实病灶图像相似度极高。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种图像数据的生成装置，如图3所示，该装置包括：
获取模块31，用于获取无病灶图像；
生成模块32，用于按照预置病灶轮廓，生成预测病灶掩膜；
计算模块33，用于将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
本发明提供了一种图像数据的生成装置，首先获取无病灶图像，然后按照预置病灶轮廓生成预测病灶掩膜，再将无病灶图像和预测病灶掩膜输入图像生成模型，生成预测病灶图像。与现有技术相比，本发明实施例通过预测病灶掩膜和图像生成模型生成预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据。通过本发明能够为人工智能医疗影像分析过程提供大量有效的训练样本，且训练样本的图像边界过度稳定与真实病灶图像相似度极高。
进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种图像数据的生成装置，如图4所示，该装置包括：
获取模块41，用于获取无病灶图像；
生成模块42，用于按照预置病灶轮廓，生成预测病灶掩膜；
计算模块43，用于将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
进一步的，所述生成模块42，包括：
选取单元421，用于选取所述预置病灶轮廓的起始点，所述起始点是随机选取所述无病灶图像中的任一像素点；
第一生成单元422，用于以所述起始点为中心，采用随机几何形状产生器生成几何轮廓图像，并确定所述几何轮廓图像为待定病灶轮廓；
获取单元423，用于根据所述起始点所在的位置，叠加所述无病灶图像和所述待定病灶轮廓，获取所述待定病灶轮廓中与所述无病灶图像重合的预置病灶轮廓；
第二生成单元424，用于根据所述预置病灶轮廓，生成预测病灶掩膜。
进一步的，所述第一生成单元422，包括：
获取子单元4221，用于获取与所述起始点临近的灰度值相同的第一邻接点；
所述获取子单元4221，还用于获取与所述起始点临近的灰度值相同的第二邻接点，所述第二邻接点与所述起始点和所述第一邻接点在同一直线上，并且与所述第一邻接点分布在所述起始点的两侧；
计算子单元4222，用于以所述无病灶图像的坐标系为基础，以所述第一邻接点和所述第二邻接点为长轴，计算所述长轴的长轴斜率；
生成子单元4223，用于以所述长轴斜率为最大的椭圆转动角度，生成所述几何轮廓图像，所述几何轮廓图像的形状是凸包形状；
确定子单元4224，用于确定所述几何轮廓图像为所述待定病灶轮廓。
进一步的，所述第一生成单元422，包括：
所述获取子单元4221，还用于获取所述无病灶图像的主图像边缘；
所述生成子单元4223，还用于采用图形学算法，以所述起始点为发散点，以所述主图像边缘为终止点，生成所述铸型图像；
所述生成子单元4223，还用于采用腐蚀算法，随机腐蚀所述铸型图像的边缘区域，生成所述几何轮廓图像，所述几何轮廓图像的形状是不对称铸型；
所述确定子单元，还用于确定所述几何轮廓图像为所述待定病灶轮廓。
进一步的，所述装置还包括：
训练模块44，用于将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像之前，根据标记病灶训练图像，训练所述图像生成模型。
进一步的，所述训练模块44，包括：
获取单元441，用于获取所述标记病灶图像，所述标记病灶图像是指携带病灶并且已经标记处病灶位置的图像；
所述获取单元441，还用于获取所述标记病灶图像中的实际病灶掩膜；
训练单元442，用于以所述标记病灶图像和所述实际病灶掩膜为输入训练所述图像生成模型。
进一步的，所述训练单元442，包括：
提取子单元4421，用于提取所述标记病灶图像中的无病灶部分图像，所述无病灶部分图像是指所述标记病灶图像中剔除所述实际病灶掩膜部分的剩余图像；
获取子单元4422，用于根据深度自编码器，逐层消减所述标记病灶图像的大小，直至所述实际病灶掩膜消失，并获取次第消失的渐变掩膜区域；
训练子单元4423，用于将所述渐变掩膜区域依次加入所述图像生成模型，学习从所述无病灶部分图像到所述标记病灶图像的生成过程，训练所述图像生成模型。
本发明提供了一种图像数据的生成装置，首先获取无病灶图像，然后按照预置病灶轮廓生成预测病灶掩膜，再将无病灶图像和预测病灶掩膜输入图像生成模型，生成预测病灶图像。与现有技术相比，本发明实施例通过预测病灶掩膜和图像生成模型生成预测病灶掩膜，其位置、大小和形态均可控，能够生成具有特定类型、部位和大小的病灶图像数据。通过本发明能够为人工智能医疗影像分析过程提供大量有效的训练样本，且训练样本的图像边界过度稳定与真实病灶图像相似度极高。
根据本发明一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像数据的生成方法。
图5示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图5所示，该计算机设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述图像数据的生成方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
获取无病灶图像；
按照预置病灶轮廓，生成预测病灶掩膜；
将所述无病灶图像和所述预测病灶掩膜输入所述图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
具体操作过程如上述方法及装置实施例所述，此处不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种图像数据的生成方法，其特征在于，包括：
获取无病灶图像；
按照预置病灶轮廓，生成预测病灶掩膜；
将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
2.如权利要求1所述的方法，其特征在于，所述按照预置病灶轮廓，生成预测病灶掩膜，包括：
选取所述预置病灶轮廓的起始点，所述起始点是随机选取所述无病灶图像中的任一像素点；
以所述起始点为中心，采用随机几何形状产生器生成几何轮廓图像，并确定所述几何轮廓图像为待定病灶轮廓；
根据所述起始点所在的位置，叠加所述无病灶图像和所述待定病灶轮廓，获取所述待定病灶轮廓中与所述无病灶图像重合的预置病灶轮廓；
根据所述预置病灶轮廓，生成预测病灶掩膜。
3.如权利要求2所述的方法，其特征在于，所述以所述起始点为中心，采用随机几何形状产生器生成几何轮廓图像，并确定所述几何轮廓图像为待定病灶轮廓，包括：
获取与所述起始点临近的灰度值相同的第一邻接点；
获取与所述起始点临近的灰度值相同的第二邻接点，所述第二邻接点与所述起始点和所述第一邻接点在同一直线上，并且与所述第一邻接点分布在所述起始点的两侧；
以所述无病灶图像的坐标系为基础，以所述第一邻接点和所述第二邻接点为长轴，计算所述长轴的长轴斜率；
以所述长轴斜率为最大的椭圆转动角度，生成所述几何轮廓图像，所述几何轮廓图像的形状是凸包形状；
确定所述几何轮廓图像为所述待定病灶轮廓。
4.如权利要求2所述方法，其特征在于，所述以所述起始点为中心，采用随机几何形状产生器生成几何轮廓图像，并确定所述几何轮廓图像为待定病灶轮廓，包括：
获取所述无病灶图像的主图像边缘；
采用图形学算法，以所述起始点为发散点，以所述主图像边缘为终止点，生成所述铸型图像；
采用腐蚀算法，随机腐蚀所述铸型图像的边缘区域，生成所述几何轮廓图像，所述几何轮廓图像的形状是不对称铸型；
确定所述几何轮廓图像为所述待定病灶轮廓。
5.如权利要求1所述的方法，其特征在于，将所述无病灶图像和所述预测病灶掩膜输入图像生成模型，生成预测病灶图像之前，所述方法还包括：
根据标记病灶训练图像，训练所述图像生成模型。
6.如权利要求5所述的方法，其特征在于，所述根据标记病灶训练图像，训练所述图像生成模型，包括：
获取所述标记病灶图像，所述标记病灶图像是指携带病灶并且已经标记处病灶位置的图像；
获取所述标记病灶图像中的实际病灶掩膜；
以所述标记病灶图像和所述实际病灶掩膜为输入训练所述图像生成模型。
7.如权利要6所述的方法，其特征在于，所述以所述标记病灶图像和所述实际病灶掩膜为输入训练所述图像图像生成模型，包括：
提取所述标记病灶图像中的无病灶部分图像，所述无病灶部分图像是指所述标记病灶图像中剔除所述实际病灶掩膜部分的剩余图像；
根据深度自编码器，逐层消减所述标记病灶图像的大小，直至所述实际病灶掩膜消失，并获取次第消失的渐变掩膜区域；
将所述渐变掩膜区域依次加入所述图像生成模型，学习从所述无病灶部分图像到所述标记病灶图像的生成过程，训练所述图像生成模型。
8.一种图像数据的生成装置，其特征在于，包括：
获取模块，用于获取无病灶图像；
生成模块，用于按照预置病灶轮廓，生成预测病灶掩膜；
计算模块，用于将所述无病灶图像和所述预测病灶掩膜为输入图像生成模型，生成预测病灶图像，其中，所述图像生成模型通过标记病灶训练图像训练生成。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的图像数据的生成方法对应的操作。
10.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像数据的生成方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010138075.1A CN111507937B (zh) | 2020-03-03 | 一种图像数据的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010138075.1A CN111507937B (zh) | 2020-03-03 | 一种图像数据的生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507937A true CN111507937A (zh) | 2020-08-07 |
| CN111507937B CN111507937B (zh) | 2024-05-10 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931772A (zh) * | 2020-09-18 | 2020-11-13 | 平安科技（深圳）有限公司 | 医学图像处理方法、装置、设备及存储介质 |
| CN113012249A (zh) * | 2021-03-02 | 2021-06-22 | 大连东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113284219A (zh) * | 2021-06-10 | 2021-08-20 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116739890A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创（北京）科技有限公司 | 对生成健康血管图像的生成模型进行训练的方法及设备 |
| WO2023242673A1 (en) * | 2022-06-14 | 2023-12-21 | 3M Innovative Properties Company | Artificial intelligence techniques for generating a predicted future image of a wound |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034079A (zh) * | 2009-09-24 | 2011-04-27 | 汉王科技股份有限公司 | 眼镜遮挡下的人脸识别方法和系统 |
| CN109377461A (zh) * | 2018-10-02 | 2019-02-22 | 浙江师范大学 | 一种基于nsct的乳腺x射线图像自适应增强方法 |
| CN109376454A (zh) * | 2018-11-12 | 2019-02-22 | 湘潭大学 | 一种基于超椭圆方程的随机孔洞缺陷材料离散元建模方法 |
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN110335212A (zh) * | 2019-06-28 | 2019-10-15 | 西安理工大学 | 基于条件对抗网络的缺损古籍汉字修复方法 |
| CN110598792A (zh) * | 2019-09-16 | 2019-12-20 | 福州大学 | 基于pggan迁移学习的排水管道缺陷检测训练数据生成方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034079A (zh) * | 2009-09-24 | 2011-04-27 | 汉王科技股份有限公司 | 眼镜遮挡下的人脸识别方法和系统 |
| CN109377461A (zh) * | 2018-10-02 | 2019-02-22 | 浙江师范大学 | 一种基于nsct的乳腺x射线图像自适应增强方法 |
| CN109376454A (zh) * | 2018-11-12 | 2019-02-22 | 湘潭大学 | 一种基于超椭圆方程的随机孔洞缺陷材料离散元建模方法 |
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN110335212A (zh) * | 2019-06-28 | 2019-10-15 | 西安理工大学 | 基于条件对抗网络的缺损古籍汉字修复方法 |
| CN110598792A (zh) * | 2019-09-16 | 2019-12-20 | 福州大学 | 基于pggan迁移学习的排水管道缺陷检测训练数据生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHANGHEE HAN ET AL.: "Learning More with Less: Conditional PGGAN-based Data Augmentation for Brain Metastases Detection Using Highly-Rough Annotation on MR Images", ARXIV:1902.09856V5 [CS.CV], pages 1 - 9 * |
| 陈彬: "基于低剂量场新一代CT的重建算法研究", 中国优秀硕士学位论文全文数据库医药卫生科技辑, no. 01, pages 060 - 324 * |
| 顾小东: "基于深度学习的小样本图像缺陷检测方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 02, pages 138 - 1697 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931772A (zh) * | 2020-09-18 | 2020-11-13 | 平安科技（深圳）有限公司 | 医学图像处理方法、装置、设备及存储介质 |
| CN113012249A (zh) * | 2021-03-02 | 2021-06-22 | 大连东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113012249B (zh) * | 2021-03-02 | 2024-02-06 | 东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113284219A (zh) * | 2021-06-10 | 2021-08-20 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| WO2023242673A1 (en) * | 2022-06-14 | 2023-12-21 | 3M Innovative Properties Company | Artificial intelligence techniques for generating a predicted future image of a wound |
| CN116739890A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创（北京）科技有限公司 | 对生成健康血管图像的生成模型进行训练的方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110934606B (zh) | 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质 | |
| CN107067398B (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
| Tajbakhsh et al. | Computer-aided pulmonary embolism detection using a novel vessel-aligned multi-planar image representation and convolutional neural networks | |
| Gerig et al. | Symbolic description of 3-D structures applied to cerebral vessel tree obtained from MR angiography volume data | |
| CN110249367B (zh) | 用于实时渲染复杂数据的系统和方法 | |
| CN110934608B (zh) | 脑卒中早期cta图像评估系统及评估方法、可读存储介质 | |
| CN111599432B (zh) | 一种三维颅面影像特征点标记分析系统及方法 | |
| Zhang et al. | Lesion synthesis to improve intracranial hemorrhage detection and classification for CT images | |
| Dai et al. | Locating anatomical landmarks on 2D lateral cephalograms through adversarial encoder-decoder networks | |
| Ciaparrone et al. | A comparative analysis of multi-backbone Mask R-CNN for surgical tools detection | |
| Qi et al. | Automatic lacunae localization in placental ultrasound images via layer aggregation | |
| CN114445431B (zh) | 一种医学三维影像任意切割的方法与装置 | |
| Eulzer et al. | Vessel Maps: A Survey of Map‐Like Visualizations of the Cardiovascular System | |
| Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
| CN111507937B (zh) | 一种图像数据的生成方法及装置 | |
| CN111507937A (zh) | 一种图像数据的生成方法及装置 | |
| CN108492299B (zh) | 一种三维图像的切割方法 | |
| Drakopoulos et al. | Tetrahedral image-to-mesh conversion software for anatomic modeling of arteriovenous malformations | |
| CN111626972B (zh) | Ct图像重构方法、模型训练方法及设备 | |
| WO2020246192A1 (ja) | 修正指示領域表示装置、方法およびプログラム | |
| Chen et al. | Computer-aided liver surgical planning system using CT volumes | |
| Kermi et al. | A 3D deformable model constrained by anthropometric knowledge for computerized facial reconstructions | |
| JP2003024300A (ja) | Ｍｒａ画像における脳血管抽出プログラム及び装置 | |
| Kermi et al. | 3D-Computerized facial reconstructions from 3D-MRI of human heads using deformable model approach | |
| Fang et al. | Curvature-enhanced implicit function network for high-quality tooth model generation from cbct images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |