CN113706541A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN113706541A CN113706541A CN202010430223.7A CN202010430223A CN113706541A CN 113706541 A CN113706541 A CN 113706541A CN 202010430223 A CN202010430223 A CN 202010430223A CN 113706541 A CN113706541 A CN 113706541A
- Authority
- CN
- China
- Prior art keywords
- image
- lung
- training
- dimensional
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 210000004072 lung Anatomy 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 68
- 210000003484 anatomy Anatomy 0.000 claims abstract description 18
- 210000003437 trachea Anatomy 0.000 claims abstract description 16
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 14
- 238000002591 computed tomography Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 57
- 210000000038 chest Anatomy 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000010008 shearing Methods 0.000 claims description 4
- 230000007306 turnover Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 31
- 238000010586 diagram Methods 0.000 description 19
- 238000002372 labelling Methods 0.000 description 13
- 230000002685 pulmonary effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 210000001147 pulmonary artery Anatomy 0.000 description 8
- 210000003492 pulmonary vein Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 208000019693 Lung disease Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000011885 synergistic combination Substances 0.000 description 1
- 238000013185 thoracic computed tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种图像处理方法及装置,用以实现对肺部图像中微小复杂管状结构的更加精准的分割,得到更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。本申请提供的图像处理方法,包括:将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
Description
技术领域
本申请涉及图像技术领域,尤其涉及一种图像处理方法及装置。
背景技术
目前,计算机断层扫描(Computed Tomography,CT)影像中肺部微小复杂管状结构(主要为肺气管树、肺动脉树和肺静脉树)的分割方法相对较少,主要是因为受之前计算机算力的限制及如今样本人工标注样本的限制,现有方法多为采用传统的分割算法实现,主要包括基于区域生长、基于水平集以及基于管状滤波增强。但是,这些方法都有各自的缺陷:基于区域生长分割算法对噪声十分敏感,对于末端细小、解剖结构多变的管状结构识别率低,分割效果较差;基于水平集分割算法的分割精度较高,但过分率也较高,且计算量大;基于管状滤波函数分割算法主要是通过对Hessian矩阵进行分析,从而得到肺部管状结构候选区域,但是这类算法容易在管状结构分叉处产生断裂,影响最终的分割结果。
发明内容
本申请实施例提供了一种图像处理方法及装置,用以实现对肺部图像中微小复杂管状结构的更加精准的分割,得到更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
本申请实施例提供的一种图像处理方法,包括:
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
通过该方法,将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像,从而实现了对肺部图像中微小复杂管状结构的更加精准的分割,得到了更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
可选地,所述模型是采用如下方式训练得到的:
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像,及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜,将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值,并按照临床肺窗要求,处理为适用于观察肺部结构的CT图像;
基于所述CT图像进行模型训练。
可选地,该方法还包括对所述CT图像进行如下预处理:
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切,得到包含肺部实质图像的三维长方体图像;
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中,得到样本数据。
可选地,基于所述CT图像进行模型训练,具体包括:
将所述样本数据分成训练集和测试集,进行模型训练。
可选地,在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地,该方法还包括:
得到多次经翻转处理后的预测结果;
对多次预测结果求平均,最终输出平均结果。
本申请实施例提供的一种图像处理装置,包括:
第一单元,用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
第二单元,用于对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
本申请另一实施例提供了一种计算设备,其包括存储器和处理器,其中,所述存储器用于存储程序指令,所述处理器用于调用所述存储器中存储的程序指令,按照获得的程序执行上述任一种方法。
本申请另一实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的训练模型的输出结果未进行后处理时的示意图;
图1b为本申请实施例提供的训练模型的输出结果经过后处理之后的示意图;
图2a为肺部支气管树分割情况下的医师标注标签结果示意图;
图2b为将本申请实施例提供的技术方案应用于肺部支气管树分割的实例结果示意图;
图3a为肺部动静脉血管树分割情况下的医师标注标签结果示意图;
图3b为将本申请实施例提供的技术方案应用于肺部动静脉血管树分割的实例结果示意图;
图4为本申请实施例提供的一种图像处理方法的流程示意图;
图5为本申请实施例提供的一种图像处理装置的结构示意图;
图6为本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着医疗需求的不断增长,计算机断层扫描(CT)设备的成像技术不断发展,肺部CT检查是目前临床上最常做的检查之一。肺部CT可以准确的显示肺部组织的三维解剖结构,经过有针对性的分割处理后,肺部CT图像中肺实质、肺气管树、肺血管树的三维结构信息就可以直观的呈现。临床医生可以通过气管参数和分级信息对常见呼吸系统疾病展开病理分析和跟踪研究,根据气管树分布,可以将肺实质进行肺叶、肺段等亚级肺结构分割,显示出不同的解剖学结构,可以在疾病的治疗过程中指导手术规划并为介入手术提供实时导航,避免或减少手术过程中对器官的损伤;根据肺血管树的解剖结构信息可以实现肺灌注研究、间质性肺病研究以及肺部肿瘤量化研究等,定位肺部疾病位置、评估肺部疾病等级,进而结合肺叶信息实施精准治疗;因此从肺部CT影像中获取精准的肺部支气管树结构、实现肺动脉和肺静脉精准分割对肺部疾病精准诊疗有着重要的意义。
本申请实施例提供了一种图像处理方法及装置,通过对肺部CT图像中微小复杂管状结构的全自动精准分割,直观展示了肺实质、肺气管树、肺血管树的三维解剖结构信息,有望帮助医生改进临床肺部疾病的诊断、治疗和预后。
其中,方法和装置是基于同一申请构思的,由于方法和装置解决问题的原理相似,因此装置和方法的实施可以相互参见,重复之处不再赘述。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
为了直观展示了肺实质、肺气管树、肺血管树的三维解剖结构信息,针对现有技术中从CT影像中分割肺动脉和肺静脉的方法准确度不够,难以满足临床应用需求的问题,本申请实施例提供了一种采用三维深度学习模型全自动实现肺部CT图像中微小复杂管状结构的全自动精准分割的方法。该技术方案涵盖从数据预处理,到模型训练,再到数据后处理的过程,利用整体的框架和流程来完成对于胸腔支气管和动静脉的细小复杂结构的分割。具体实现步骤,例如包括以下步骤:
a、获取受检者薄层胸腔CT原始医学数字成像和通信(Digital Imaging andCommunications in Medicine,DICOM)影像,临床专家在原始CT影像中逐层标注管腔结构(主要指支气管、肺动脉和肺静脉),获取管腔结构的掩膜;
b、基于受检者的胸腔CT原始DICOM影像,及步骤a中临床专家在原始图像上人工标注的管状结构掩膜(称为人工标注标签),将CT原始DICOM影像像素的灰度值按照(式1)转换成亨氏单位(Hounsfield Unit,HU)值,按照临床肺窗(窗位-450—-600HU,窗宽1500—2000HU)要求,处理为适用于观察肺部结构的CT图像;
HU=pixel_value*RescaleSlope+RescaleIntercept (式1)
式1中:pixel_value为CT原始DICOM影像中每个像素的灰度值,RescaleSlope和RescaleIntercept取自CT原始DICOM影像的头文件信息。CT原始DICOM影像的头文件信息中都会有RescaleSlope和RescaleIntercept这两项参数,表示了CT图像重建过程中,是如何将CT值(即HU值)转换成像素值进行存储的。具体地,RescaleSlope为缩放斜率,RescaleIntercept为缩放截距。
c、为了降低CT数据本身对模型的影响、减少计算量和聚焦感兴趣区域(Region OfInterest,ROI),基于上述步骤b的图像灰度处理结果,对CT图像和对应的人工标注标签进行了如下预处理:
①将CT图像和对应的人工标注标签按照肺区边缘进行剪切,得到包含肺部实质图像的三维长方体图像(具体可以采用现有技术实现,此处不再赘述)。
②由于CT影像样本数据来源于不同的医院,不同的机器和技师,因此CT影像的体素大小有所差异,为了消除CT体素对模型的影像,在①处理的基础上,使用三阶样条插值对所有训练数据(包括CT图像和对应的人工标注标签)进行重采样,将所有的数据统一到相同的间距参数中(例如1.0mm*0.75mm*0.75mm大小)。其中,三阶样条插值是一种常用的插值算法;所述间距参数是指图像的平面分辨率和层间距,例如层间距为1mm,平面分辨率为0.75mm*0.75mm;
本申请实施例中所使用的图像为三维立体图像,三维立体图像是由一个个体素组成的;并且不同的患者,其图像的体素大小会有所差异,为了降低这种差异对算法效果的影响,可以先对所有的图像进行统一的预处理,将所有患者的影像体素统一。给出层间距和平面分辨率,就给出了预处理后所有患者图像体素大小,例如本申请实施例中给出的体素大小是1.0mm*0.75mm*0.75mm。
d、基于上述预处理结果,将所得样本数据分成训练集和测试集,其中训练集用于模型的训练,测试集用于模型性能测试。为了提升模型性能的稳定性,选择K折交叉验证方法进行模型的训练,即采用无放回的随机抽样方法进行模型的训练,保证了训练过程中训练集和测试集没有交叉,是相互独立的,具体地,例如将训练数据分为等量的5份,每次随机的抽取其中4份作为训练集,余下的1份作为测试集,进行模型的训练。例如,可以采用分割模型3D U-net深度神经网络,但不局限于该网络模型进行模型的训练。
进一步,为了增加所得模型的泛化性,在训练过程中对训练数据可以进行3D数据增强,包括对数据进行一定范围内的角度旋转、灰度拉升变化以及翻转操作。
e、为了得到可以满足临床需求的分割效果,对分割模型3D U-net深度神经网络进行一些优化处理,概括起来主要包括如下三个方面:
①损失函数的设计:每次训练输出的损失函数(Loss Function)受分类交叉熵和两个集合的相似性系数(Dice,此处具体是指:分割算法所用label(又称ground-truth)和分割算法预测结果之间的相似性)的约束,数学表达式如下面的式2所示。
②优化器的选择:采用Ranger(目前最强的深度学习优化器)作为优化算子,Ranger优化器是RAdam与LookAhead的协同组合,兼得二者优点。其中,RAdam利用一个动态整流器来根据变化调整Adam的自适应动量,针对当前数据集,有效地提供了一个自动热身(warm up),以确保可以得到一个扎实的训练开头。LookAhead考虑到最近对深度神经网络损失曲面的理解,并为在整个训练过程中进行健壮和稳定的探索提供了突破。
③学习率的设置和学习策略:采用学习率热身(warm up)优化策略,在初始值1*10-4的基础上,先逐步上升再逐步下降的方式来进行训练。
其中,yi与分别表示像素i在医生标签下的标准结果和网络模型的预测结果。Loss Function(即损失函数)是用来估计模型的预测值与真实值(yi)的不一致程度的。其中LCross-Entropy为二者的交叉熵,LDice为Dice指数,均为分割模型效果评价常用指标,本申请实施例中将这两种评价指标联合使用。式2最后一个等号后面的两项分别是交叉熵和Dice指数的定义。其中,N为一患者胸腔CT图像的所有像素点数目,i为当前像素点,yi为当前像素点在医生所给标签下的标准结果,为训练模型输出的预测结果。
f、由于受制于显卡显存大小(例如11G),为了防止数据整体载入引起的显存溢出现象,并且考虑到训练区块大小其实是对于图像视野的关键参数,本申请实施例进一步将数据训练区块大小设置为64*64*64以及128*128*128两个档位,并通过实验数据验证128为更优选择。若是显存容量够大,也可尝试使用其他训练块大小设置。
其中,关于训练区块,一个数据原始基本上是512*512*200大小,预处理(即插值)后大约大于400*400*300,因为受显卡显存大小的限制,不可能一次将整个数据放入模型中进行训练,需要通过使用滑动窗将数据分成许多个相同大小的区块,一块块的放入训练模型;训练区块大小对训练效果影响很大,对于不同的数据集并不是区块越大越好。
g、采用上述设置对模型进行训练后,得到的模型输出结果中,在一定程度上能够获得分割的细节信息,但是在分支上会出现断裂以及动静脉分类错误的情况,为了减少模型预测的错误,使得模型细节更加鲁棒,本申请实施例进一步对模型输出结果进行后处理,所述后处理主要是将训练模型输出的预测数据进行适当的翻转,从不同的角度进行多次预测,对结果进行平均。
具体地,一般情况下采用训练好的模型对新的样本进行预测时,不需要对样本进行诸如翻转之类的操作;但是由于本申请实施例为了尽可能多的分割出微小结构,且尽量改善其不连续的情况,对数据进行适当的翻转,可以获取不同角度下的图像细节,从而可改善单一视角下的预测结果;并且,对多次预测结果进行平均,一定程度上也可以减少假阳性结果的出现。如图1a和图1b所示,其中,图1a为后处理之前的结果,图1b为经过所述后处理之后的结果,图1a为只采用一个视角下的图像进行预测的结果,可以看到末枝有很多枝节不连续(如图中圈圈中的部分);图1b为将预测数据进行适当的翻转,从不同的角度进行多次预测,对结果进行平均的结果,可以看到其末端几乎没有不连续的枝节的存在。说明后处理方法适用于这种微小复杂管状结构的分割。
本申请实施例提供的技术方案实例输出结果如图2a和图2b、图3a和图3b所示。其中,图2a和图2b为同一名患者的基于胸部CT影像的支气管分割三维结果图。图2a为肺部支气管树分割情况下的医师标注标签结果,图2b为将本申请实施例提供的技术方案应用于肺部支气管树分割的实例结果图;通过对比可以发现,模型预测结果完全可以和医生人工标注效果相媲美,甚至某些细节优于人工标注(见图中红色圈圈中区域)。图3a为肺部动静脉血管树分割情况下的医师标注标签结果,图3b为将本申请实施例提供的技术方案应用于肺部动静脉血管树分割的实例结果图。模型预测结果优于医生人工标注结果这一现象在图3a和图3b中更为明显,对照图3a和图3b中圈圈中的地方(实际为右下肺动静脉)可以明显看出。
由此可见,本申请实施例提供的技术方案的处理结果不管是在形态上,还是细节上都已经达到甚至超过了医生标签的结果。
综上所述,参见图4,本申请实施例提供的一种图像处理方法包括:
S101、将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
所述模型,即上述步骤g之前训练得到的模型,采用训练好的模型对待测样本进行检测。
S102、对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
所述翻转处理,即上述步骤g中所述的后处理中的翻转。
可选地,所述模型是采用如下方式训练得到的:
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像,及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜,将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值,并按照临床肺窗要求,处理为适用于观察肺部结构的CT图像;
基于所述CT图像进行模型训练。
可选地,该方法还包括对所述CT图像进行如下预处理:
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切,得到包含肺部实质图像的三维长方体图像;
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中,得到样本数据。
可选地,基于所述CT图像进行模型训练,具体包括:
将所述样本数据分成训练集和测试集,进行模型训练。
例如,可以采用分割模型3D U-net深度神经网络进行训练。所述3D U-net深度神经网络还可以是经过上述步骤e优化后的3D U-net深度神经网络。
可选地,在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地,该方法还包括:
得到多次经翻转处理后的预测结果;
对多次预测结果求平均,即上述步骤g所述的后处理中的求平均,最终输出平均结果。
参见图5,本申请实施例提供的一种图像处理装置包括:
存储器11和处理器12,其中,所述存储器11用于存储程序指令,所述处理器12用于调用所述存储器11中存储的程序指令,按照获得的程序执行:
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
可选地,处理器12还用于采用如下方式训练得到所述模型:
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像,及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜,将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值,并按照临床肺窗要求,处理为适用于观察肺部结构的CT图像;
基于所述CT图像进行模型训练。
可选地,处理器12还用于对所述CT图像进行如下预处理:
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切,得到包含肺部实质图像的三维长方体图像;
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中,得到样本数据。
可选地,基于所述CT图像进行模型训练,具体包括:
将所述样本数据分成训练集和测试集,进行模型训练。
可选地,在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地,处理器12还用于:
得到多次经翻转处理后的预测结果;
对多次预测结果求平均,最终输出平均结果。
处理器12可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)。
参见图6,本申请实施例提供的另一种图像处理装置包括:
第一单元21,用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
第二单元22,用于对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算设备,该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等。该计算设备可以包括中央处理器(Center Processing Unit,CPU)、存储器、输入/输出设备等,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中,存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令,处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质,用于储存为上述本申请实施例提供的装置所用的计算机程序指令,其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
上述方法处理流程可以用软件程序实现,该软件程序可以存储在存储介质中,当存储的软件程序被调用时,执行上述方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种图像处理方法,其特征在于,该方法包括:
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
2.根据权利要求1所述的方法,其特征在于,所述模型是采用如下方式训练得到的:
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像,及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜,将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值,并按照临床肺窗要求,处理为适用于观察肺部结构的CT图像;
基于所述CT图像进行模型训练。
3.根据权利要求2所述的方法,其特征在于,该方法还包括对所述CT图像进行如下预处理:
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切,得到包含肺部实质图像的三维长方体图像;
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中,得到样本数据。
4.根据权利要求3所述的方法,其特征在于,基于所述CT图像进行模型训练,具体包括:
将所述样本数据分成训练集和测试集,进行模型训练。
5.根据权利要求4所述的方法,其特征在于,在所述模型训练的过程中所使用的训练区块大小为128*128*128。
6.根据权利要求1所述的方法,其特征在于,该方法还包括:
得到多次经翻转处理后的预测结果;
对多次预测结果求平均,最终输出平均结果。
7.一种图像处理装置,其特征在于,包括:
第一单元,用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中,输出预测结果;其中,所述待测样本包括待测者的人体胸腔三维立体图像;
第二单元,用于对所述预测结果进行翻转处理,得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
8.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至6任一项所述的方法。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010430223.7A CN113706541B (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010430223.7A CN113706541B (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706541A true CN113706541A (zh) | 2021-11-26 |
CN113706541B CN113706541B (zh) | 2024-04-19 |
Family
ID=78645574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010430223.7A Active CN113706541B (zh) | 2020-05-20 | 2020-05-20 | 一种图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706541B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147359A (zh) * | 2022-06-06 | 2022-10-04 | 北京医准智能科技有限公司 | 肺叶分割网络模型训练方法、装置、电子设备及存储介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1447772A1 (en) * | 2003-02-11 | 2004-08-18 | MeVis GmbH | A method of lung lobe segmentation and computer system |
CN106133790A (zh) * | 2014-03-28 | 2016-11-16 | 皇家飞利浦有限公司 | 用于在组织种类分离的帮助下基于磁共振图像生成一幅或多幅计算机断层摄影图像的方法和设备 |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
CN107507197A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种基于聚类算法和卷积神经网络的肺实质提取方法 |
CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
US20190005644A1 (en) * | 2017-06-30 | 2019-01-03 | Canon Medical Systems Corporation | Image processing apparatus, medical image diagnostic apparatus, and program |
WO2019048418A1 (en) * | 2017-09-05 | 2019-03-14 | Koninklijke Philips N.V. | DETERMINATION OF REGIONS OF HYPERDENSE PULMONARY TISSUE IN AN IMAGE OF A LUNG |
CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
US20190139227A1 (en) * | 2017-06-30 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image segmentation |
CN109993733A (zh) * | 2019-03-27 | 2019-07-09 | 上海宽带技术及应用工程研究中心 | 肺部病灶的检测方法、系统、存储介质、终端及显示系统 |
CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
CN110458801A (zh) * | 2019-06-24 | 2019-11-15 | 深圳市未来媒体技术研究院 | 一种3d双路径神经网络及基于该网络的肺部结节检测方法 |
CN110738652A (zh) * | 2019-10-17 | 2020-01-31 | 青岛海信医疗设备股份有限公司 | 一种肺部动静脉分离方法及装置 |
CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械(集团)有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
CN111028248A (zh) * | 2019-12-19 | 2020-04-17 | 杭州健培科技有限公司 | 一种基于ct图像的静动脉分离方法及装置 |
CN111127482A (zh) * | 2019-12-20 | 2020-05-08 | 广州柏视医疗科技有限公司 | 基于深度学习的ct影像肺气管的分割方法及系统 |
-
2020
- 2020-05-20 CN CN202010430223.7A patent/CN113706541B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1447772A1 (en) * | 2003-02-11 | 2004-08-18 | MeVis GmbH | A method of lung lobe segmentation and computer system |
CN106133790A (zh) * | 2014-03-28 | 2016-11-16 | 皇家飞利浦有限公司 | 用于在组织种类分离的帮助下基于磁共振图像生成一幅或多幅计算机断层摄影图像的方法和设备 |
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
US20190139227A1 (en) * | 2017-06-30 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image segmentation |
US20190005644A1 (en) * | 2017-06-30 | 2019-01-03 | Canon Medical Systems Corporation | Image processing apparatus, medical image diagnostic apparatus, and program |
CN107507197A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种基于聚类算法和卷积神经网络的肺实质提取方法 |
WO2019048418A1 (en) * | 2017-09-05 | 2019-03-14 | Koninklijke Philips N.V. | DETERMINATION OF REGIONS OF HYPERDENSE PULMONARY TISSUE IN AN IMAGE OF A LUNG |
CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
CN109993733A (zh) * | 2019-03-27 | 2019-07-09 | 上海宽带技术及应用工程研究中心 | 肺部病灶的检测方法、系统、存储介质、终端及显示系统 |
CN110458801A (zh) * | 2019-06-24 | 2019-11-15 | 深圳市未来媒体技术研究院 | 一种3d双路径神经网络及基于该网络的肺部结节检测方法 |
CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
CN110738652A (zh) * | 2019-10-17 | 2020-01-31 | 青岛海信医疗设备股份有限公司 | 一种肺部动静脉分离方法及装置 |
CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械(集团)有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
CN111028248A (zh) * | 2019-12-19 | 2020-04-17 | 杭州健培科技有限公司 | 一种基于ct图像的静动脉分离方法及装置 |
CN111127482A (zh) * | 2019-12-20 | 2020-05-08 | 广州柏视医疗科技有限公司 | 基于深度学习的ct影像肺气管的分割方法及系统 |
Non-Patent Citations (6)
Title |
---|
A.A. PALUMBO,ET AL: ""Three-dimensional quantitative assessment of lung parenchyma in cystic fibrosis: preliminary results"", 《CHEST RADIOLOGY RADIOLOGIA TORACICA》, 31 December 2007 (2007-12-31) * |
HUAN GENG, ET AL: ""Fully Automatic Extraction of Lung parenchyma from CT Scans"", 《IEEE》, 31 December 2014 (2014-12-31) * |
PIETRO NARDELLI,ET AL: ""Pulmonary Artery–Vein Classification in CT Images Using Deep Learning"", 《IEEE》, 31 December 2018 (2018-12-31) * |
常莎;王瑞平;: "基于CT三维图像的肺结节良恶性鉴别研究", 北京生物医学工程, no. 01, 15 February 2013 (2013-02-15) * |
林桢哲;王桂棠;陈建强;符秦沈;: "基于残差网络深度学习的肺部CT图像结节良恶性分类模型", 仪器仪表学报, no. 03, 15 March 2020 (2020-03-15) * |
段海峰;贾永军;于勇;杨创勃;田骞;田欣;贺太平;: "能谱CT单能量图像在诊断中央型肺癌与阻塞性肺实变中的价值", 陕西医学杂志, no. 01, 5 January 2016 (2016-01-05) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147359A (zh) * | 2022-06-06 | 2022-10-04 | 北京医准智能科技有限公司 | 肺叶分割网络模型训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113706541B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
US10339648B2 (en) | Quantitative predictors of tumor severity | |
Cheung et al. | A computationally efficient approach to segmentation of the aorta and coronary arteries using deep learning | |
EP3043318A1 (en) | Analysis of medical images and creation of a report | |
US11688110B2 (en) | Systems and methods for evaluating image quality | |
Kurugol et al. | Automated quantitative 3D analysis of aorta size, morphology, and mural calcification distributions | |
WO2012138871A2 (en) | Image analysis for specific objects | |
US11241190B2 (en) | Predicting response to therapy for adult and pediatric crohn's disease using radiomic features of mesenteric fat regions on baseline magnetic resonance enterography | |
CN106709920B (zh) | 血管提取方法及其装置 | |
CN113066061A (zh) | 一种基于mra的动脉瘤检测方法、系统、终端及介质 | |
CN107481254A (zh) | 医学图像的处理方法、装置、介质和电子设备 | |
Park | Connectivity-based local adaptive thresholding for carotid artery segmentation using MRA images | |
CN112184690A (zh) | 冠脉血管走向的预测方法、预测模型的训练方法及装置 | |
Gu et al. | Segmentation of coronary arteries images using global feature embedded network with active contour loss | |
Hao et al. | Juxta‐vascular pulmonary nodule segmentation in PET‐CT imaging based on an LBF active contour model with information entropy and joint vector | |
Soomro et al. | Segmenting MR images by level-set algorithms for perspective colorectal cancer diagnosis | |
Dillman et al. | Current and emerging artificial intelligence applications for pediatric abdominal imaging | |
CN110234270B (zh) | 提供器官定量体积图或器官健康状况评估的方法和装置 | |
CN112116623B (zh) | 图像分割方法及装置 | |
CN113706541B (zh) | 一种图像处理方法及装置 | |
CN116309551B (zh) | 确定病灶取样区的方法、装置、电子设备及可读介质 | |
Zahel et al. | Rapid assessment of liver volumetry by a novel automated segmentation algorithm | |
CN111971751A (zh) | 用于评估动态数据的系统和方法 | |
CN114708973B (zh) | 一种用于对人体健康进行评估的设备和存储介质 | |
CN114049282B (zh) | 一种冠状动脉的构建方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |