CN109685809A - 一种基于神经网络的肝包虫病灶分割方法及系统 - Google Patents

一种基于神经网络的肝包虫病灶分割方法及系统 Download PDF

Info

Publication number
CN109685809A
CN109685809A CN201811548266.4A CN201811548266A CN109685809A CN 109685809 A CN109685809 A CN 109685809A CN 201811548266 A CN201811548266 A CN 201811548266A CN 109685809 A CN109685809 A CN 109685809A
Authority
CN
China
Prior art keywords
segmentation
lesion
liver
hydatid cyst
echinococcus hydatid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811548266.4A
Other languages
English (en)
Other versions
CN109685809B (zh
Inventor
王展
沈新科
胥瑾
辛盛海
樊海宁
王海久
周瀛
任利
阳丹才让
马洁
王志鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201811548266.4A priority Critical patent/CN109685809B/zh
Publication of CN109685809A publication Critical patent/CN109685809A/zh
Application granted granted Critical
Publication of CN109685809B publication Critical patent/CN109685809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于神经网络的肝包虫病灶分割方法及系统，方法包括：S1、训练并验证囊性包虫病灶分割模型；S2、训练并验证泡性包虫病灶分割模型；S3、从一包虫CT图像中获取分割后的肝脏区域，将肝脏区域输入病灶识别模型，得到识别结果；S4、当确定识别结果为囊性包虫病灶时，将VOI区输入囊性包虫病灶分割模型，得到第一分割结果；S5、当确定识别结果为泡性包虫病灶时，对VOI区进行血管识别与分割，将血管分割结果和VOI区输入泡性包虫病灶分割模型，得到第二分割结果。本发明提供的方法及系统，通过各种模型对多模态医学影像进行融合识别与特征提取，协助医生进行包虫病筛查工作，提高诊断效率和准确率。

Description

一种基于神经网络的肝包虫病灶分割方法及系统
技术领域
本发明涉及肝包虫检测技术领域，具体涉及一种基于神经网络的肝包虫病灶分割方法及系统。
背景技术
包虫病是一种危害严重的人兽共患寄生虫病，遍及世界各大陆。我国包虫病受威胁人口数和患者数居全球首位，其中青海省三江源地区的重灾区两性包虫的感染率在8.93-12.38％。该地区环境恶劣，医疗资源匮乏，医生水平非同质现象较为明显。包虫病主要分为囊性包虫及泡性包虫，囊性包虫对宿主的影响主要表现在对寄生的组织器官结构和功能的损伤，其膨胀性生长过程中对肝组织产生压迫症状，及其并发症都可对人体造成严重的危害。但部分囊性包虫患者可通过药物或提高自身免疫等方式让体内包虫失活，无需手术治疗，所以若能早期协助医生进行判断则可以大大减少医疗资源。
泡性包虫侵润式的增殖方式与"肝癌"类似，故被称为"虫癌"。若患有该病后未经正规治疗，5年和10年病死率分别高达70％和93％。泡型包虫病患者口服药物效果欠佳，必须通过手术切除才能达到根治的目的。肝脏肿瘤的切除与术式的选择常常与肿瘤在肝脏内的位置以及肿瘤与门静脉和肝静脉的关系相关，若能给通过机器学习给医生提供病灶占全肝的容积比、病灶与肝静脉及门静脉之间的关系则可大大减少医生工作量，尽早拟定初步的手术方案。
近年来，大数据与人工智能等前沿技术在医疗领域应用已经成为一种趋势，深度学习在医疗辅助诊断领域得到广泛应用。将深度学习应用于肝包虫病早期诊断中,可以缓解边远地区医疗资源匮乏的问题，挽救无数患者的生命。卷积神经网络在图像分类、检测等很多任务中相对传统模式识别方法取得了令人瞩目的突破。本发明拟运用卷积神经网络搭建肝包虫病辅助诊断模型，在增强CT上分割病灶、判断囊性包虫病灶是否有活性、泡性包虫病灶是否侵犯肝静脉与门静脉，协助医生进行包虫病的临床诊治工作，提高诊断效率和准确率，减少包虫病的漏诊、误诊现象。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于神经网络的肝包虫病灶分割方法及系统，通过该方法及系统可以对多模态医学影像进行融合识别与特征提取，服务于医生协助医生进行包虫病筛查工作，提高诊断效率和准确率，减少包疾病的漏诊、误诊情况。
为实现上述目的，本发明采用的技术方案如下：
一种基于神经网络的肝包虫病灶分割方法，包括：
S1、通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
S2、通过所述肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
S3、通过所述肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
S4、当确定所述识别结果为囊性包虫病灶时，将所述VOI区输入所述囊性包虫病灶分割模型，得到第一分割结果；
S5、当确定所述识别结果为泡性包虫病灶时，对所述VOI区进行血管识别与分割，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，得到第二分割结果。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割方法，所述囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，步骤S4包括：
S41、将所述VOI区的图像切片输入所述2D FCN分割网络，进行粗分割；
S42、将2D分割的结果堆叠成3D结构，与所述VOI区的3D图像整合后输入所述3DFCN分割网络，进行细分割；
S43、将所述VOI区的2D网络特征和3D网络特征输入所述特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
S44、通过3D全连接的条件随机场模型对所述第一分割结果进行优化。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割方法，步骤S6中，对所述VOI区进行血管识别与分割，包括：
对所述VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉；
进一步，如上所述的一种基于神经网络的肝包虫病灶分割方法，步骤S6中，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，具体包括：将血管分割结果的二值图像、所述VOI区的二值图像与CT图像输入所述泡性包虫病灶分割模型。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割方法，所述肝脏分割模型为全卷积神经网络模型，所述病灶识别模型为卷积神经网络模型，所述囊性包虫病灶分割模型为全卷积神经网络模型，所述泡性包虫病灶分割模型为非局部神经网络模型。
本发明还提供一种基于神经网络的肝包虫病灶分割系统，包括：
第一标注模块，用于通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
第二标注模块，用于通过所述肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
病灶识别模块，用于通过所述肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
第一病灶分割模块，用于当确定所述识别结果为囊性包虫病灶时，将所述VOI区输入所述囊性包虫病灶分割模型，得到第一分割结果；
第二病灶分割模块，用于当确定所述识别结果为泡性包虫病灶时，对所述VOI区进行血管识别与分割，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，得到第二分割结果。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割系统，所述囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，所述第一病灶分割模块具体用于：
将所述VOI区的图像切片输入所述2D FCN分割网络，进行粗分割；
将2D分割的结果堆叠成3D结构，与所述VOI区的3D图像整合后输入所述3D FCN分割网络，进行细分割；
将所述VOI区的2D网络特征和3D网络特征输入所述特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
通过3D全连接的条件随机场模型对所述第一分割结果进行优化。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割系统，所述第二病灶分割模块具体用于：
对所述VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉；
进一步，如上所述的一种基于神经网络的肝包虫病灶分割系统，所述第二病灶分割模块还用于：将血管分割结果的二值图像、所述VOI区的二值图像与CT图像输入所述泡性包虫病灶分割模型。
进一步，如上所述的一种基于神经网络的肝包虫病灶分割系统，所述肝脏分割模型为全卷积神经网络模型，所述病灶识别模型为卷积神经网络模型，所述囊性包虫病灶分割模型为全卷积神经网络模型，所述泡性包虫病灶分割模型为非局部神经网络模型。
本发明的有益效果在于：本发明所提供的方法及系统，对多模态医学影像进行融合识别与特征提取，服务于医生协助医生进行包虫病筛查工作，提高诊断效率和准确率，减少包疾病的漏诊、误诊情况。针对当前囊性包虫有无活性的临床特性，基于卷积神经网络的深度学习算法，对肝囊性包虫病灶进行分割后分类。针对泡性包虫斑片状钙化、中央型坏死等病变模式，基于深度学习的肝脏病灶定位与分割算法，精确量化病灶占全肝的容积比、病灶与肝静脉及门静脉之间的关系。
附图说明
图1为本发明实施例中提供的一种基于神经网络的肝包虫病灶分割方法的流程示意图；
图2为本发明实施例中提供的肝脏分割模型的结构示意图；
图3为本发明实施例中提供的病灶识别模型的结构示意图；
图4为本发明实施例中提供的囊性包虫病灶分割模型的结构示意图；
图5为本发明实施例中提供的泡性包虫病灶分割模型进行病灶分割的流程示意图；
图6为本发明实施例中提供的一种基于神经网络的肝包虫病灶分割系统的结构示意图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
如图1所示，一种基于神经网络的肝包虫病灶分割方法，包括：
S1、通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
S2、通过肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
S3、通过肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
S4、当确定识别结果为囊性包虫病灶时，将VOI区输入囊性包虫病灶分割模型，得到第一分割结果；
囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，步骤S4包括：
S41、将VOI区的图像切片输入2D FCN分割网络，进行粗分割；
S42、将2D分割的结果堆叠成3D结构，与VOI区的3D图像整合后输入3D FCN分割网络，进行细分割；
S43、将VOI区的2D网络特征和3D网络特征输入特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
S44、通过3D全连接的条件随机场模型对第一分割结果进行优化。
本发明将使用自行标注的200例囊性包虫CT训练并验证囊性包虫病灶分割模型，并用100例测试。在训练和测试中将分割后的肝脏区域作为VOI区输入模型。
囊性包虫病灶分割模型拟采用全卷积神经网络，拟尝试以下技术方案：
a)参考MICCAI 2017 LiTS竞赛肝肿瘤分割第一名算法。先将图像切片输入一个2DFCN分割网络，生成2D分割的粗标签，再将2D分割的结果堆叠成3D结构，与3D图像整合后输入到3D FCN分割网络中。最后将2D网络特征和3D网络特征输入特征融合层，分割时将有活性及无活性的病灶打上不同的标签，输出分割结果。网络训练时先训练2D分割网络，再将整个模型端到端训练进行微调。2D分割网络将首先在自然图像数据集上预训练。其网络结构如图4所示。研究中将尝试不同的骨架结构，包括VGG-Net,ResNet,ResNeXT,Inception-ResNet,DenseNet等。
b)对上述网络的输出结果使用3D全连接的条件随机场(CRF)模型进行优化。
S5、当确定识别结果为泡性包虫病灶时，对VOI区进行血管识别与分割，将血管分割结果和VOI区输入泡性包虫病灶分割模型，得到第二分割结果。
步骤S5中，对VOI区进行血管识别与分割，包括：
对VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉；
步骤S5中，将血管分割结果和VOI区输入泡性包虫病灶分割模型，具体包括：将血管分割结果的二值图像、VOI区的二值图像与CT图像输入泡性包虫病灶分割模型。
肝脏分割模型为全卷积神经网络模型，病灶识别模型为卷积神经网络模型，囊性包虫病灶分割模型为全卷积神经网络模型，泡性包虫病灶分割模型为非局部神经网络模型。
本发明将使用自行标注的200例泡性包虫CT训练并验证泡性包虫病灶分割模型，并用100例测试。分割方法同囊性包虫。此部分重点在于肝静脉与门静脉的分割，以确定病灶是否累积血管。鉴于肝血管分割尚无血管分割的公共数据集，进行人工标注需要耗费大量人力，本发明拟采用传统分割方法进行血管识别与分割。分割过程如图5所示。
血管分割拟采用的流程如下：首先，对CT图像进行血管增强处理。在血管增强中，将比较正则化的Perona Malik扩散滤波器(Regularized Perona-Malik DiffusionFilter)和Frangi方法(Frangi‘s approach)等方法。第二步，检测初始的血管边界。其中包括用简单的阈值分割方法先做初始的分割，再用膨胀腐蚀操作连接断点。第三步，使用level set方法或graph cut方法进行血管分割。第四部，利用距离投票方法鉴别肝静脉和门静脉。
分割血管后，由于血管与病灶的位置关系复杂，个体间血管形态差异较大，通过形态分析判断病灶是否侵及血管效果可能较差。因此，本发明拟使用神经网络对病灶是否侵及血管以及病灶位于左半肝或右半肝进行分类。该网络将血管分割结果的二值图像、病灶分割结果的二值图像与CT图像同时作为输入，用人工标记的病灶是否侵及血管标签以及病灶位于左半肝或右半肝的标签进行监督学习。网络结构将尝试DenseNet,ResNet等常用结构以及non-local neural network(血管和病灶的位置关系可能存在长程依赖)。
在步骤S1之前，还包括：
S0、基于公共数据集训练并验证得到肝脏分割模型，用以进行肝脏分割和肝脏体积定量，通过肝脏分割模型从包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证病灶识别模型，在训练和验证中进行囊性包虫病灶标注和泡性包虫病灶标注。
提供已确诊包虫病病例600例，其中囊性包虫300例，泡性包虫300例，每个病例均包含胸部平扫CT影像和增强CT影像。CT平扫影像的技术参数如下:CT选用Phillips 256层iCT扫描仪，扫描范围为膈顶至下腔静脉，扫描参数为管电压:120KV、电流:300mA、层厚:5mm、层间距:10mm。CT增强的影像技术参数如下:CT选用Phillips 256层iCT扫描仪，肝脏三期动态增强扫描时，扫描范围为膈顶至下腔静脉，随后造影剂由肘静脉注入后，分别于25-30s、50-55s、180s时开始动脉期、门脉期延迟期检查，扫描参数为管电压:120KV、电流:300mA、FOV:350mm、层厚:1mm、层间距:1mm、重建层厚:5mm，螺距:0.985；增强扫描所用造影剂为碘佛醇(碘含量370mg/mL)，用量为90ml，盐水40ml，造影剂和盐水注入速度为4.5ml/s。使用ITK-SNAP软件对包虫CT图像进行病灶标注。
为减少CT图像中肝脏周围组织对病灶分割算法的干扰，并定量肝脏体积，本发明将开发肝脏分割算法。本发明拟使用MICCAI 2017 Liver Tumor Segmentation(LiTS)公共数据集进行肝脏分割算法的训练与验证。该数据集共包含131个腹腔CT训练样本和70个测试样本。肝脏分割算法拟采用近年来在医疗图像领域广泛应用的全卷积神经网络算法(FCN)。算法具体实现拟参考MICCAI 2017 LiTS竞赛肝分割第一名算法，首先使用一个简化的FCN对降采样的CT图像进行肝脏定位和粗分割，再将粗分割后的图像肝脏区域输入到更深层的FCN中，该FCN拟采用较小的卷积核，从而在实现精细分割的同时减小参数量。其网络结构如图2所示，该模型包括两个路径，其中通过卷积和池化在卷积路径中的前后信息进行聚合，并且通过反卷积路径中的反卷积和上采样来恢复全图像的分辨率。在分割肝脏后，可以通过计算肝脏区域内的体素点个数来对肝脏体积进行定量。
在平扫CT上，将首先使用上述训练的肝脏粗分割模型找到肝脏的VOI区作为目标检测网络的输入。研究中拟尝试目标检测领域效果较好的SSD等模型。将囊性病灶与泡性病灶分别赋予不同的目标标签以训练目标检测模型，使其能够检出并判别两类病灶。其网络结构如图3所示。
SSD算法基准网络为VGG16，改变VGG16的全连接层为卷积层，将第五个池化层的参数由2×2的最大池化，步长为2，转变为3×3的最大池化，步长为1，外加一个填充。上述变化过程也会改变感受野，同时利用带孔(Hole algorithm)卷积将卷积核膨胀大，这样一来感受野也随之变大，因此，卷积之后保留的图像信息也会更加丰富。将300×300分辨率的图片作为输入，第一层有64个卷积滤波器，每个卷积核的大小是3×3，水平和垂直方向的滑动步长为1，以及尺寸为2×2的池化层池化操作之后形成150×150×64的输出，之后的层都是类似的过程。为建立真实标签框与默认框之间的关系，将真实框与默认框进行匹配，选取真实标签框与默认框的阈值高于0.5的默认框，这样可以产生多个重叠的默认框而不是只选取具有最大重叠的默认框，这样做可以获得更高的置信度。
在对肝包虫的检测识别中，使用标注数据训练上述网络。网络训练后可识别分类包虫病。
如图6所示，一种基于神经网络的肝包虫病灶分割系统，包括：
第一标注模块1，用于通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
第二标注模块2，用于通过肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
病灶识别模块3，用于通过肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
第一病灶分割模块4，用于当确定识别结果为囊性包虫病灶时，将VOI区输入囊性包虫病灶分割模型，得到第一分割结果；
第二病灶分割模块5，用于当确定识别结果为泡性包虫病灶时，对VOI区进行血管识别与分割，将血管分割结果和VOI区输入泡性包虫病灶分割模型，得到第二分割结果。
囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，第一病灶分割模块4具体用于：
将VOI区的图像切片输入2D FCN分割网络，进行粗分割；
将2D分割的结果堆叠成3D结构，与VOI区的3D图像整合后输入3D FCN分割网络，进行细分割；
将VOI区的2D网络特征和3D网络特征输入特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
通过3D全连接的条件随机场模型对第一分割结果进行优化。
第二病灶分割模块5具体用于：
对VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉；
第二病灶分割模块5还用于：将血管分割结果的二值图像、VOI区的二值图像与CT图像输入泡性包虫病灶分割模型。
肝脏分割模型为全卷积神经网络模型，病灶识别模型为卷积神经网络模型，囊性包虫病灶分割模型为全卷积神经网络模型，泡性包虫病灶分割模型为非局部神经网络模型。
本发明利用基于神经网络的肝包虫病灶分割系统，对多模态医学影像进行融合识别与特征提取，服务于医生协助医生进行包虫病筛查工作，提高诊断效率和准确率，减少包疾病的漏诊、误诊情况。
1、针对当前囊性包虫有无活性的临床特性，基于卷积神经网络的深度学习算法，对肝囊性包虫病灶进行分割后分类，设计基于CT影像的肝囊性包虫的分类系统。
2、针对泡性包虫斑片状钙化、中央型坏死等病变模式，基于深度学习的肝脏病灶定位与分割算法，精确量化病灶占全肝的容积比、病灶与肝静脉及门静脉之间的关系。
本发明将对肝包虫病的临床研究、诊断、治疗、预后判断提供重大帮助，在很大程度上可以帮助基层医生提高诊断准确率，减少医生的工作量。使患者更早得到明确的诊断及精准的治疗方案，具有重要的社会民生价值。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于神经网络的肝包虫病灶分割方法，其特征在于，包括：
S1、通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
S2、通过所述肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
S3、通过所述肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
S4、当确定所述识别结果为囊性包虫病灶时，将所述VOI区输入所述囊性包虫病灶分割模型，得到第一分割结果；
S5、当确定所述识别结果为泡性包虫病灶时，对所述VOI区进行血管识别与分割，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，得到第二分割结果。
2.根据权利要求1所述的一种基于神经网络的肝包虫病灶分割方法，其特征在于，所述囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，步骤S4包括：
S41、将所述VOI区的图像切片输入所述2D FCN分割网络，进行粗分割；
S42、将2D分割的结果堆叠成3D结构，与所述VOI区的3D图像整合后输入所述3D FCN分割网络，进行细分割；
S43、将所述VOI区的2D网络特征和3D网络特征输入所述特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
S44、通过3D全连接的条件随机场模型对所述第一分割结果进行优化。
3.根据权利要求1所述的一种基于神经网络的肝包虫病灶分割方法，其特征在于，步骤S5中，对所述VOI区进行血管识别与分割，包括：
对所述VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉。
4.根据权利要求3所述的一种基于神经网络的肝包虫病灶分割方法，其特征在于，步骤S5中，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，具体包括：将血管分割结果的二值图像、所述VOI区的二值图像与CT图像输入所述泡性包虫病灶分割模型。
5.根据权利要求1所述的一种基于神经网络的肝包虫病灶分割方法，其特征在于，所述肝脏分割模型为全卷积神经网络模型，病灶识别模型为卷积神经网络模型，所述囊性包虫病灶分割模型为全卷积神经网络模型，所述泡性包虫病灶分割模型为非局部神经网络模型。
6.一种基于神经网络的肝包虫病灶分割系统，其特征在于，包括：
第一标注模块，用于通过肝脏分割模型从囊性包虫CT图像集中获取分割后的肝脏区域，基于肝脏分割结果训练并验证囊性包虫病灶分割模型，在训练和验证中对病灶是否有活性进行标注；
第二标注模块，用于通过所述肝脏分割模型从泡性包虫CT图像集中获取分割后的肝脏区域，对获取到的肝脏区域进行血管识别与分割，基于血管分割结果和肝脏分割结果训练并验证泡性包虫病灶分割模型，在训练和验证中对病灶是否侵及血管以及病灶位于左半肝或右半肝进行标注；
病灶识别模块，用于通过所述肝脏分割模型从一包虫CT图像中获取分割后的肝脏区域，在平扫CT上将获取到的肝脏区域作为VOI区输入病灶识别模型，得到识别结果；
第一病灶分割模块，用于当确定所述识别结果为囊性包虫病灶时，将所述VOI区输入所述囊性包虫病灶分割模型，得到第一分割结果；
第二病灶分割模块，用于当确定所述识别结果为泡性包虫病灶时，对所述VOI区进行血管识别与分割，将血管分割结果和所述VOI区输入所述泡性包虫病灶分割模型，得到第二分割结果。
7.根据权利要求6所述的一种基于神经网络的肝包虫病灶分割系统，其特征在于，所述囊性包虫病灶分割模型包括2D FCN分割网络、3D FCN分割网络以及特征融合层，所述第一病灶分割模块具体用于：
将所述VOI区的图像切片输入所述2D FCN分割网络，进行粗分割；
将2D分割的结果堆叠成3D结构，与所述VOI区的3D图像整合后输入所述3D FCN分割网络，进行细分割；
将所述VOI区的2D网络特征和3D网络特征输入所述特征融合层，在分割时将有活性及无活性的病灶打上不同的标签，输出第一分割结果；
通过3D全连接的条件随机场模型对所述第一分割结果进行优化。
8.根据权利要求6所述的一种基于神经网络的肝包虫病灶分割系统，其特征在于，所述第二病灶分割模块具体用于：
对所述VOI区的CT图像进行血管增强处理；
检测初始的血管边界，包括通过阈值分割方法对血管进行初始分割，通过膨胀腐蚀操作连接断点；
通过level set方法或graph cut方法进行血管分割；
通过距离投票方法鉴别肝静脉和门静脉。
9.根据权利要求8所述的一种基于神经网络的肝包虫病灶分割系统，其特征在于，所述第二病灶分割模块还用于：将血管分割结果的二值图像、所述VOI区的二值图像与CT图像输入所述泡性包虫病灶分割模型。
10.根据权利要求6所述的一种基于神经网络的肝包虫病灶分割系统，其特征在于，所述肝脏分割模型为全卷积神经网络模型，病灶识别模型为卷积神经网络模型，所述囊性包虫病灶分割模型为全卷积神经网络模型，所述泡性包虫病灶分割模型为非局部神经网络模型。
CN201811548266.4A 2018-12-18 2018-12-18 一种基于神经网络的肝包虫病灶分割方法及系统 Active CN109685809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811548266.4A CN109685809B (zh) 2018-12-18 2018-12-18 一种基于神经网络的肝包虫病灶分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811548266.4A CN109685809B (zh) 2018-12-18 2018-12-18 一种基于神经网络的肝包虫病灶分割方法及系统

Publications (2)

Publication Number Publication Date
CN109685809A true CN109685809A (zh) 2019-04-26
CN109685809B CN109685809B (zh) 2020-11-17

Family

ID=66186219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811548266.4A Active CN109685809B (zh) 2018-12-18 2018-12-18 一种基于神经网络的肝包虫病灶分割方法及系统

Country Status (1)

Country Link
CN (1) CN109685809B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276755A (zh) * 2019-06-25 2019-09-24 广东工业大学 一种肿瘤位置定位系统及相关装置
CN110599447A (zh) * 2019-07-29 2019-12-20 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 一种肝癌病灶数据的处理方法、系统和存储介质
CN111402207A (zh) * 2020-03-02 2020-07-10 中山大学附属第一医院 一种基于复合神经网络的超声造影视频数据分析方法
CN112330731A (zh) * 2020-11-30 2021-02-05 深圳开立生物医疗科技股份有限公司 图像处理装置、方法、设备、超声系统及可读存储介质
CN112465779A (zh) * 2020-11-26 2021-03-09 中国科学院苏州生物医学工程技术研究所 腹部ct中胆总管囊肿病灶全自动检测分割方法及系统
US11348228B2 (en) 2017-06-26 2022-05-31 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
US20220277459A1 (en) * 2019-07-09 2022-09-01 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
CN115439445A (zh) * 2022-09-05 2022-12-06 青岛埃米博创医疗科技有限公司 一种肝血管及肝肿瘤识别系统
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090136103A1 (en) * 2005-06-24 2009-05-28 Milan Sonka System and methods for image segmentation in N-dimensional space
CN103679810A (zh) * 2013-12-26 2014-03-26 海信集团有限公司 肝部ct图像的三维重建方法
US20160307319A1 (en) * 2013-12-06 2016-10-20 The Johns Hopkins University Gross feature recognition of anatomical images based on atlas grid
CN106470595A (zh) * 2014-07-01 2017-03-01 3M创新有限公司 利用口内3d扫描图检测牙齿磨损
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090136103A1 (en) * 2005-06-24 2009-05-28 Milan Sonka System and methods for image segmentation in N-dimensional space
US20160307319A1 (en) * 2013-12-06 2016-10-20 The Johns Hopkins University Gross feature recognition of anatomical images based on atlas grid
CN103679810A (zh) * 2013-12-26 2014-03-26 海信集团有限公司 肝部ct图像的三维重建方法
CN106470595A (zh) * 2014-07-01 2017-03-01 3M创新有限公司 利用口内3d扫描图检测牙齿磨损
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOMENG LI 等: "H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation From CT Volumes", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
温浩 等: "包虫病影像诊断技术和手术治疗进展", 《国际医学寄生虫病杂志》 *
胡彦婷 等: "基于Bayes分类算法和活动轮廓模型的新疆肝包虫CT图像分割方法", 《科技导报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348228B2 (en) 2017-06-26 2022-05-31 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
CN110276755A (zh) * 2019-06-25 2019-09-24 广东工业大学 一种肿瘤位置定位系统及相关装置
US20220277459A1 (en) * 2019-07-09 2022-09-01 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
CN110599447A (zh) * 2019-07-29 2019-12-20 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 一种肝癌病灶数据的处理方法、系统和存储介质
CN110599447B (zh) * 2019-07-29 2023-10-20 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 一种肝癌病灶数据的处理方法、系统和存储介质
CN111402207B (zh) * 2020-03-02 2023-05-30 中山大学附属第一医院 一种基于复合神经网络的超声造影视频数据分析方法
CN111402207A (zh) * 2020-03-02 2020-07-10 中山大学附属第一医院 一种基于复合神经网络的超声造影视频数据分析方法
CN112465779A (zh) * 2020-11-26 2021-03-09 中国科学院苏州生物医学工程技术研究所 腹部ct中胆总管囊肿病灶全自动检测分割方法及系统
CN112465779B (zh) * 2020-11-26 2024-02-27 中国科学院苏州生物医学工程技术研究所 腹部ct中胆总管囊肿病灶全自动检测分割方法及系统
CN112330731A (zh) * 2020-11-30 2021-02-05 深圳开立生物医疗科技股份有限公司 图像处理装置、方法、设备、超声系统及可读存储介质
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN115439445A (zh) * 2022-09-05 2022-12-06 青岛埃米博创医疗科技有限公司 一种肝血管及肝肿瘤识别系统
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN115831329B (zh) * 2022-12-21 2023-08-18 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质

Also Published As

Publication number Publication date
CN109685809B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN109685809A (zh) 一种基于神经网络的肝包虫病灶分割方法及系统
CN109685810A (zh) 一种基于深度学习的肝包虫病灶识别方法及系统
Xu et al. DW-Net: A cascaded convolutional neural network for apical four-chamber view segmentation in fetal echocardiography
Huang et al. Fully automatic liver segmentation in CT images using modified graph cuts and feature detection
CN105719295B (zh) 一种基于三维超体素的颅内出血区域分割方法及系统
CN105447872A (zh) 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN104143035B (zh) 一种分割乳腺病灶的方法
CN105139377B (zh) 一种腹部ct序列图像肝脏的快速鲁棒自动分割方法
Xu et al. Convolutional-neural-network-based approach for segmentation of apical four-chamber view from fetal echocardiography
CN102027479A (zh) 用于基于成像的器官动态功能估计的基于计算机的方法和系统
CN109166104A (zh) 一种病变检测方法、装置及设备
Pan et al. Classification of liver tumors with CEUS based on 3D-CNN
CN106651874B (zh) 基于多模态mri数据的脑瘤术后空间域分割方法
Qiu et al. Lung Nodules Detection in CT Images Using Gestalt‐Based Algorithm
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
Feinstein et al. Comparison of contrast echocardiography versus cardiac catheterization for detection of pulmonary arteriovenous malformations
CN109658377B (zh) 一种基于多维度信息融合的乳腺mri病变区域检测方法
Shimoda et al. Development of new software enabling automatic identification of the optimal anatomical liver resectable region, incorporating preoperative liver function
Affane et al. Robust deep 3-d architectures based on vascular patterns for liver vessel segmentation
Chen et al. Detection of local lesions in tongue recognition based on improved faster R-CNN
Al-Kadi Tumour grading and discrimination based on class assignment and quantitative texture analysis techniques
Araujo et al. Computer aided detection of deep inferior epigastric perforators in computed tomography angiography scans
Jia et al. Monitoring of thermal lesions in ultrasound using fully convolutional neural networks: A preclinical study
Mi et al. Detecting carotid intima-media from small-sample ultrasound images
Zhang et al. Segmentation of liver region with tumorous tissues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant