CN112381771A - 一种医学影像针对病灶区域分割方法 - Google Patents
一种医学影像针对病灶区域分割方法 Download PDFInfo
- Publication number
- CN112381771A CN112381771A CN202011216791.3A CN202011216791A CN112381771A CN 112381771 A CN112381771 A CN 112381771A CN 202011216791 A CN202011216791 A CN 202011216791A CN 112381771 A CN112381771 A CN 112381771A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- training
- segmentation
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 201000010099 disease Diseases 0.000 claims abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于医学影像处理技术领域，具体为一种医学影像针对病灶区域分割方法，包括步骤一：获取训练数据，在训练阶段，训练数据采用无分割标签，仅有类别标签的患病无病两类图像集合；步骤二：对训练数据进行增强，包括适当的旋转平移缩放以消除患病无病两类数据中病灶大小、方向、位置等无关特征产生的负面影响步骤三：对训练数据进行建模并训练，模型中的各层网络搭建起连接两种数据集合的双向通路，其结构合理，能够实现利用原图给出合理预测，再将预测结果与分割标签通过损失函数的对比，找出网络预测的误差，将此误差通过梯度下降等方式，反向传播回神经网络的各层参数，使其与真实标签越来越相似。
Description
技术领域
本发明涉及医学影像处理技术领域，具体为一种医学影像针对病灶区域分割方法。
背景技术
CT、MRI等医学成像技术，作为最直观的获取患者患病部位结构信息的非入侵方法，已广泛应用于现代医疗临床诊断过程中。其实时性、无创性的特点，对无明显表征的患者进行疾病诊断，预测，以及后期的跟踪治疗有重要指导作用。在治疗阶段，医学专家根据获取到的医学影像，对患者病变组织、器官进行分割注释，借此判断病情发展时期，提出有针对性的治疗方案。分割的准确与否直接影响医生对病情的判断，是诊断过程中的重要步骤。
精确的分割注释依赖于专业医师的决策判断，当患者数量大，且单个患者就诊期内拍片频率较多时，这种传统的由人工完成的分割方式效率较低，且不可避免的会产生分割误差，达不到快速诊断的需求。近年来GPU算力的提高，使得深度学习技术对自然图像的处理能力上升到了可与大数据相结合的新台阶，也使得计算机从医学影像角度进行快速辅助诊断成为可能。针对某一特定类别的医学影像，深度学习模型通过搭建好的多层神经网络，结合损失函数的约束，对满足一定数量的输入数据集合进行优化训练，使得模型最终能够拥有识别医学影像的特有特征的能力，进而达到对输入数据的检测、分类、分割等目的。在节省了宝贵的专业医师人力资源的同时，又将误差量化在可接受的范围内，保证了下一步分析治疗的准确性。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
因此，本发明的目的是提供一种医学影像针对病灶区域分割方法，能够实现利用原图给出合理预测，再将预测结果与分割标签通过损失函数的对比，找出网络预测的误差，将此误差通过梯度下降等方式，反向传播回神经网络的各层参数，重新调整网络的预测，使其与真实标签越来越相似。
为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
一种医学影像针对病灶区域分割方法，其包括如下步骤：
步骤一：获取训练数据，在训练阶段，训练数据采用无分割标签，仅有类别标签的患病无病两类图像集合；
步骤二：对训练数据进行增强，包括适当的旋转平移缩放以消除患病无病两类数据中病灶大小、方向、位置等无关特征产生的负面影响；
步骤三：对训练数据进行建模并训练，模型中的各层网络搭建起连接两种数据集合的双向通路；
步骤四：载入新的病患数据，利用双向生成器完成两种源数据域的双向转换，在训练过程中循环往复，逐步达到稳定，使得整个网络模型能实现A、B两个数据集合之间变形过渡；
步骤五：建立有分割能力的模型，GycleGAN的循环过程中引入Attention机制，Attention机制被建模为神经网络中某一层或多层的中间特征图对应的连续的权重参数，其范围常在(0,1)区间内。在类别标签和损失的指导下，可以自动优化并关注到特征图中某一类别物体的位置，同时赋予此位置较高的权重，对于特征图中不是此类物体的区域，赋予较低的权重。最终将权重可视化后得到与特征图大小一致的连续的灰度图像，即Mask；
步骤六：对模型进行分割预测，拆分为生成器输出attention mask分支和粗糙生成图content分支，真实原图real和粗糙生成图content在attention mask指导下共同合成最终的转换后图像，当由损失约束的content趋于稳定时，attention mask被动关注到患病图像的病灶区域，达到分割的效果。
作为本发明所述的一种医学影像针对病灶区域分割方法的一种优选方案，其中：CycleGAN为两种数据域间转换的主流生成判别式神经网络模型，已在自然图像处理方面有实质进展，可实现诸如颜色填充、风格转换、面部表情转换等多种效果。
与现有技术相比，本发明的有益效果是：能够达到快速分割的目的，不仅可以代替医生耗时的手动注释分割，把时间缩短到秒级以内，而且可以一定程度控制误差，既保证了实时性，又保证了准确性，另外，在缺少分割标签的情况下，本发明优于常见的有监督分割模型，仍能利用临床中常见的简单的类别注释实施训练。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明步骤流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明提供如下技术方案：一种医学影像针对病灶区域分割方法，包括如下步骤：
步骤一：获取训练数据，在训练阶段，训练数据采用无分割标签，仅有类别标签的患病无病两类图像集合；
步骤二：对训练数据进行增强，包括适当的旋转平移缩放以消除患病无病两类数据中病灶大小、方向、位置等无关特征产生的负面影响；
步骤三：对训练数据进行建模并训练，模型中的各层网络搭建起连接两种数据集合的双向通路；
步骤四：载入新的病患数据，利用双向生成器完成两种源数据域的双向转换，在训练过程中循环往复，逐步达到稳定，使得整个网络模型能实现A、B两个数据集合之间变形过渡；
步骤五：建立有分割能力的模型，GycleGAN的循环过程中引入Attention机制，Attention机制被建模为神经网络中某一层或多层的中间特征图对应的连续的权重参数，其范围常在(0,1)区间内。在类别标签和损失的指导下，可以自动优化并关注到特征图中某一类别物体的位置，同时赋予此位置较高的权重，对于特征图中不是此类物体的区域，赋予较低的权重。最终将权重可视化后得到与特征图大小一致的连续的灰度图像，即Mask；
步骤六：对模型进行分割预测，拆分为生成器输出attention mask分支和粗糙生成图content分支，真实原图real和粗糙生成图content在attention mask指导下共同合成最终的转换后图像，当由损失约束的content趋于稳定时，attention mask被动关注到患病图像的病灶区域，达到分割的效果；
其中：Albumentations数据增强库的代码基于Pytorch框架，整体模型在配备Titan RTX显卡的Ubuntu 18.04.2LTS操作系统中执行。
其中：CycleGAN为两种数据域间转换的主流生成判别式神经网络模型，已在自然图像处理方面有实质进展，可实现诸如颜色填充、风格转换、面部表情转换等多种效果。
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。
Claims (2)
1.一种医学影像针对病灶区域分割方法，其特征在于：包括如下步骤：
步骤一：获取训练数据，在训练阶段，训练数据采用无分割标签，仅有类别标签的患病无病两类图像集合；
步骤二：对训练数据进行增强，包括适当的旋转平移缩放以消除患病无病两类数据中病灶大小、方向、位置等无关特征产生的负面影响；
步骤三：对训练数据进行建模并训练，模型中的各层网络搭建起连接两种数据集合的双向通路；
步骤四：载入新的病患数据，利用双向生成器完成两种源数据域的双向转换，在训练过程中循环往复，逐步达到稳定，使得整个网络模型能实现A、B两个数据集合之间变形过渡；
步骤五：建立有分割能力的模型，GycleGAN的循环过程中引入Attention机制，Attention机制被建模为神经网络中某一层或多层的中间特征图对应的连续的权重参数，其范围常在(0,1)区间内。在类别标签和损失的指导下，可以自动优化并关注到特征图中某一类别物体的位置，同时赋予此位置较高的权重，对于特征图中不是此类物体的区域，赋予较低的权重。最终将权重可视化后得到与特征图大小一致的连续的灰度图像，即Mask；
步骤六：对模型进行分割预测，拆分为生成器输出attention mask分支和粗糙生成图content分支，真实原图real和粗糙生成图content在attention mask指导下共同合成最终的转换后图像，当由损失约束的content趋于稳定时，attention mask被动关注到患病图像的病灶区域，达到分割的效果。
2.根据权利要求1所述的一种医学影像针对病灶区域分割方法，其特征在于：CycleGAN为两种数据域间转换的主流生成判别式神经网络模型，已在自然图像处理方面有实质进展，可实现诸如颜色填充、风格转换、面部表情转换等多种效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011216791.3A CN112381771B (zh) | 2020-11-04 | 2020-11-04 | 一种医学影像针对病灶区域分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011216791.3A CN112381771B (zh) | 2020-11-04 | 2020-11-04 | 一种医学影像针对病灶区域分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381771A true CN112381771A (zh) | 2021-02-19 |
| CN112381771B CN112381771B (zh) | 2022-08-05 |
Family
ID=74579640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011216791.3A Active CN112381771B (zh) | 2020-11-04 | 2020-11-04 | 一种医学影像针对病灶区域分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381771B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647684A (zh) * | 2018-05-02 | 2018-10-12 | 深圳市唯特视科技有限公司 | 一种基于引导注意力推理网络的弱监督语义分割方法 |
| US20190102878A1 (en) * | 2017-09-30 | 2019-04-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for analyzing medical image |
| US20190236782A1 (en) * | 2018-01-30 | 2019-08-01 | International Business Machines Corporation | Systems and methods for detecting an indication of malignancy in a sequence of anatomical images |
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN110807788A (zh) * | 2019-10-21 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
| CN111047608A (zh) * | 2019-12-26 | 2020-04-21 | 北京工业大学 | 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法 |
-
2020
- 2020-11-04 CN CN202011216791.3A patent/CN112381771B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102878A1 (en) * | 2017-09-30 | 2019-04-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for analyzing medical image |
| US20190236782A1 (en) * | 2018-01-30 | 2019-08-01 | International Business Machines Corporation | Systems and methods for detecting an indication of malignancy in a sequence of anatomical images |
| CN108647684A (zh) * | 2018-05-02 | 2018-10-12 | 深圳市唯特视科技有限公司 | 一种基于引导注意力推理网络的弱监督语义分割方法 |
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN110807788A (zh) * | 2019-10-21 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
| CN111047608A (zh) * | 2019-12-26 | 2020-04-21 | 北京工业大学 | 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| GUOTAI WANG等: "Interactive Medical Image Segmentation Using Deep Learning With Image-Specific Fine Tuning", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 程显毅等: "生成对抗网络GAN综述", 《计算机科学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381771B (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730497B (zh) | 一种基于深度迁移学习的血管内斑块属性分析方法 | |
| Tong et al. | 3D deeply-supervised U-net based whole heart segmentation | |
| Guo et al. | Multi-level semantic adaptation for few-shot segmentation on cardiac image sequences | |
| US20090154785A1 (en) | Method and system for dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging | |
| CN110070540A (zh) | 图像生成方法、装置、计算机设备及存储介质 | |
| Song et al. | Automatic coronary artery segmentation of CCTA images with an efficient feature-fusion-and-rectification 3D-UNet | |
| Trzupek et al. | Intelligent image content semantic description for cardiac 3D visualisations | |
| Zhou et al. | On the analysis of data augmentation methods for spectral imaged based heart sound classification using convolutional neural networks | |
| CN114171187B (zh) | 一种基于多模态深度学习的胃癌tnm分期预测系统 | |
| CN117076655A (zh) | 一种手术规划方案生成方法、系统、装置和介质 | |
| CN110400297A (zh) | 一种基于深度学习的肺癌分期预测方法 | |
| KR20200131020A (ko) | 의료기계 학습 시스템 | |
| Li et al. | Segmentation of human aorta using 3D nnU-net-oriented deep learning | |
| Lefebvre et al. | Lassnet: A four steps deep neural network for left atrial segmentation and scar quantification | |
| CN112381771B (zh) | 一种医学影像针对病灶区域分割方法 | |
| Oniga et al. | Applications of ai and hpc in the health domain | |
| Amini | Head circumference measurement with deep learning approach based on multi-scale ultrasound images | |
| Huang et al. | LRFNet: A deep learning model for the assessment of liver reserve function based on Child‐Pugh score and CT image | |
| Silva et al. | Artificial intelligence-based evaluation of patients with interstitial lung disease | |
| Allgöwer et al. | Liver Tumor Segmentation Using Classical Algorithms & Deep Learning | |
| Wang et al. | CT image liver segmentation based on improved Deeplabv3+ | |
| Wei et al. | Lesion segmentation method based on deep learning CT image of pulmonary tuberculosis | |
| CN118299006B (zh) | 一种基于qfr、ofr的多模态冠脉功能评估方法 | |
| Trzupek et al. | Intelligent image content description and analysis for 3D visualizations of coronary vessels | |
| Xu et al. | A Joint Representation Using Continuous and Discrete Features for Cardiovascular Diseases Risk Prediction on Chest CT Scans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241001 Address after: Room 402-2, 4th Floor, Building 7, Xiangyu Cross Strait Trade Center, 1588 Chuangye Road, Kunshan Development Zone, Suzhou City, Jiangsu Province 215300 Patentee after: Suzhou Yibo Medical Biopharmaceutical Technology Co.,Ltd. Country or region after: China Address before: 130012 School of computer science and technology, Jilin University, 2699 Qianjin Street, Jilin, Changchun Patentee before: Jilin University Country or region before: China |