CN111784704A - Mri髋关节炎症分割与分类自动定量分级序贯方法 - Google Patents
Mri髋关节炎症分割与分类自动定量分级序贯方法 Download PDFInfo
- Publication number
- CN111784704A CN111784704A CN202010589474.XA CN202010589474A CN111784704A CN 111784704 A CN111784704 A CN 111784704A CN 202010589474 A CN202010589474 A CN 202010589474A CN 111784704 A CN111784704 A CN 111784704A
- Authority
- CN
- China
- Prior art keywords
- mri
- coxitis
- segmentation
- classification
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010003246 arthritis Diseases 0.000 title claims abstract description 220
- 230000011218 segmentation Effects 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 69
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims description 22
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 320
- 238000013145 classification model Methods 0.000 claims abstract description 42
- 210000001624 hip Anatomy 0.000 claims abstract description 33
- 210000004394 hip joint Anatomy 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 29
- 206010061218 Inflammation Diseases 0.000 claims description 24
- 230000004054 inflammatory process Effects 0.000 claims description 24
- 238000012706 support-vector machine Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 21
- 208000007353 Hip Osteoarthritis Diseases 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 201000008482 osteoarthritis Diseases 0.000 claims description 16
- 201000005671 spondyloarthropathy Diseases 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 28
- 238000011002 quantification Methods 0.000 abstract description 20
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 11
- 230000002757 inflammatory effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 238000013399 early diagnosis Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000011800 void material Substances 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 208000018937 joint inflammation Diseases 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000007156 Spondylarthritis Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002917 arthritic effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000011541 total hip replacement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种MRI髋关节炎症分割与分类自动定量分级序贯方法，解决了髋关节形状、大小、体素值分布不均匀致髋关节炎症区域定量、分级困难的问题,实现髋关节炎症区域自动化精确定量及分级评估。本发明根据体素值大小以反指数比例修改髋关节炎症区域标签值，减轻髋关节炎症区域体素值差异大导致的分割结果差的问题；本发明设计多尺度卷积模块GMS提升形状尺寸差异大的髋关节炎症区域的分割效果；针对占比小的髋关节炎症区域难以分类的问题，本发明融合了分割模型与分类模型以提升分类精度。本发明实现对多尺度、体素值差异大的髋关节炎症区域的一体化自动定量分级，提升定量分级效率。可用于MRI髋关节炎症区域定量和分级自动化处理。
Description
技术领域
本发明属于图像处理技术领域，主要涉及核磁共振MRI髋关节炎症病灶的分割和分类，具体是一种MRI髋关节炎症分割与分类自动定量分级序贯方法，可用于脊柱关节炎中MRI图像髋关节炎症的自动化定量和分级。
背景技术
脊柱关节炎是一种慢性、炎症性和致残性疾病，髋关节损害是导致脊柱关节炎致残的主要原因，全髋关节置换术的年总发生率为0.17％～5％，因此，准确而早期的发现脊柱关节炎中髋关节的损害，有助于评估整体病情和制定诊疗计划，从而降低致残率。影像手段已成为早期诊断和评估脊柱关节炎的主要方法，核磁共振成像(MRI)由于对软组织病变的早期识别、实时成像、无辐射等原因，被广泛应用于脊柱关节炎的早期诊断中。它可以帮助医生在诊断中定位病变区域，并为早期诊断提供引导。
目前对脊柱关节炎MRI图像上炎症的评估主要依赖于临床医师的主观临床经验做判断。由于MRI图像上炎症区域的表现：形状、大小、分布均不规则，同时不同级别的临床医师的对MRI图像的临床判读结果存在严重程度不一致的问题，这些因素均影响了临床医生阅片分析的困难性和客观性，并且医生在对MRI定量分析时需要进行手工标注，及图像处理，这一过程将耗费医生大量的工作时间，严重影响工作效率和准确率。因此采用成熟的精准的计算机算法精确定量及分级评估MRI髋关节炎症区域，可以提高早期诊断的精度和准确率，是当前研究的热点和难点。其中MRI髋关节炎症区域定量分级技术是本研究的关键技术。
至今尚无脊柱关节炎髋关节的MRI图像定量、分级自动化处理工作的发表。然而，用于自动检测和分割结构和病理的各种深度学习方法已经被提出来，由于它们的通用性以及产生的实际应用效果而被广泛使用。2019年《Progress in Biomedical Optics andImaging》上发表的“Semi-automatic segmentation of JIA-induced inflammation inMRI images of ankle joints”中提出了一种基于阈值的炎症分割方法，利用MRI炎症的先验信息来设定阈值对炎症进行分割，该方法对炎症区域的体素值一致性要求较高，由于MRI数据中的炎症区域体素分布不均匀，利用该方法会导致炎症区域的分割效果差，影响定量精度。基于深度学习模型UNet进行病变分析的方法近年来被广泛使用，但由于脊柱关节炎MRI髋关节炎症区域具有尺度、形状、强度值、位置分布随机等特点，导致利用原始UNet方法无法充分获取MRI髋关节炎症区域准确的位置信息，容易出现漏检、错检的问题，导致最终的定量结果较差。同时，由于MRI髋关节炎症区域通常在MRI髋关节图像中占比较小，常见的图像分类模型对于MRI髋关节炎症区域的分级结果较差，因此对于形状尺寸差异大、占比小MRI髋关节炎症区域的准确分割和分类还未达到可实用的程度，需要进一步解决。
发明内容
本发明的目的在于针对现有技术的不足，提出一种更精准的自动化定量分级MRI髋关节炎症区域的MRI髋关节炎症分割与分类自动定量分级序贯方法。
本发明是一种MRI髋关节炎症分割与分类自动定量分级序贯方法，其特征在于，包括有如下步骤：
(1)划分训练、验证和测试样本集：获取带有人工标注的脊柱关节炎患者的核磁共振影像MRI数据，将核磁共振影像MRI图像数据变换到同一空间分辨率；选择一个直方图分布均匀的MRI数据作为模板数据，对剩余MRI图像数据进行直方图匹配，增强数据的连续性；将完成直方图匹配的MRI图像数据以5：1：4的比例随机划分为MRI训练样本集、验证样本集和测试样本集；
(2)修改MRI髋关节炎症区域标签值：用获取的MRI数据的体素值大小修改MRI髋关节炎症区域标签值，根据体素值大小按照反指数比例对MRI髋关节炎症区域标签值进行修改，得到修改后的MRI髋关节炎症区域标签值；
(3)搭建能够自动定量分级的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：利用3DResUnet、ResNet-50和支撑矢量机构建定量分级模型，用不同空洞率和不同大小卷积核构成多尺度卷积模块GMS，用GMS取代3DResUnet中用单个卷积核或单个类型卷积核组合构成的高层卷积层，即将3DResUnet的最后两层卷积层替换为GMS模块进行髋关节炎症区域分割；设计一个ResNet-50网络与支撑矢量机集成分类器，用3DResUnet的解码层提取得到的深度特征作为集成分类器的输入，搭建一种基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，实现髋关节MRI数据一体化炎症自动分割与分类，简称定量分级序贯模型；
(4)网络训练：用MRI训练样本集和修改后的MRI髋关节炎症区域标签值训练定量分级序贯模型，将训练后的网络参数保存在定量分级序贯模型中，得到训练后的定量分级序贯模型；
(5)得到定量分级结果：用MRI测试样本集输入到训练后的定量分级序贯模型中，得到所获取的MRI测试样本集髋关节炎症区域的定量结果和分级结果。
本发明构建了基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，用该模型实现了对多尺度MRI髋关节炎症区域的自动分割和定量，完成对占比小的MRI髋关节炎症区域的自动分类和分级，实现了对MRI髋关节炎症区域的一体化自动定量和分级。
本发明与现有技术相比具有以下优点：
提升多尺度、体素值差异大MRI髋关节炎症区域的分割效果：通过设计的多尺度GMS模块和修改的MRI髋关节炎症区域标签值，使得分割模型很好的适应MRI髋关节炎症区域多尺度、体素值差异大的特性，提升分割模型对MRI髋关节炎症区域的分割效果和定量精度。
提高占比小的MRI髋关节炎症区域的分类精度：通过设计将ResNet-50网络与支撑矢量机构建集成分类器，充分利用了深度模型与传统模型各自优势以及集成学习对于分类的增益，以提升对分类的效果；同时通过将原始MRI数据和3DResUNet解码层最后一层提取得到的网络深度特征沿轴向拼接的数据输入到集成分类器，将MRI髋关节炎症区域大小和位置信息传递到集成分类器中，辅助分类模型对原始数据中占比较小的MRI髋关节炎症区域的分类，提升分类模型对MRI髋关节炎症区域的分类效果和分级效果。
自动化定量和分级MRI髋关节炎症区域：通过构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，实现对形状尺寸差异大、体素值分布不均匀和整体占比小的MRI髋关节炎症的一体化自动定量和分级，提高分类模型对定量结果的利用率，同时提升分类模型的分类准确性。
附图说明
图1是本发明的流程框图。
图2是现有技术对MRI影像的预处理结果，图2(a)为原始影像，图2(b)为利用现有技术对图2(a)调整分辨率的结果，图2(c)为利用现有技术直方图对图2(b)匹配的结果。
图3为某一例MRI示例数据，虚线框为炎症区域所在位置。
图4为现有分割UNet方法对图3虚线框内的炎症区域的分割结果图，其中实线内为标签区域，灰色区域为预测结果。
图5为本发明对图3虚线框内的炎症区域的分割结果图，其中实线内为标签区域，灰色区域为预测结果。
具体实施方式
下面结合附图对本发明及其实施步骤做详细描述。
实施例1
随着影像技术的发展，为医生对病人的患病情况提供了新的方式，医生能够结合影像资料对脊柱关节炎有更多的认识，利用MRI数据，医生可以对脊柱关节炎患者的患病程度有更全面的判断，但是在利用图像处理算法对MRI图像进行MRI髋关节炎症区域分割和分类时，MRI髋关节炎症的炎症区域形状尺寸差异大导致分割效果不佳，MRI髋关节炎症区域整体占比小导致对MRI髋关节炎症的分类效果差。针对现状，本发明经过思考、探索和实验，提出一种将分割与分类结合的一体化自动的定量分级方法，即MRI髋关节炎症分割与分类自动定量分级序贯方法，用于MRI髋关节炎症区域的定量和分级。
本发明是一种MRI髋关节炎症分割与分类自动定量分级序贯方法。
参见图1，包括有如下步骤：
(1)划分训练、验证和测试样本集：首先从医院获取已经标注完成的脊柱关节炎患者的核磁共振影像MRI数据，用于样本集的构建。核磁共振影像MRI图像数据变换到同一空间分辨率以减小数据的空间分辨率差异性，提高数据的一致性。选择不同的空间分辨率会影响实验结果，可通过分析MRI数据分布特性调整空间分辨率，确定使得定量分级结果最佳的目标空间分辨率。
原始MRI数据由于采集设备不同，存在质量差异大的问题，本发明为减小数据之间的差异性，采用直方图匹配技术。从所有原始MRI数据中选择一个直方图分布均匀的MRI数据作为模板数据，剩余MRI图像数据根据模板数据进行直方图匹配，用于增强数据的连续性。
将完成直方图匹配的MRI图像数据应用随机选择的方法按照5：1：4的比例划分为训练样本集、验证样本集和测试样本集，用于定量分级模型的性能估计。
本发明中也可根据实际情况和需要对数据划分方式和比例进行调整，如可利用顺序选择替代随机选择，训练样本集、验证样本集和测试样本集的划分比例可调整为其他比例，从而测试模型在不同数据划分方式和比例中的性能，用于确定使得定量分级模型性能最佳的划分方式和比例。
(2)修改MRI髋关节炎症区域标签值：在获取的MRI髋关节炎症数据中，髋关节炎症区域的体素值差异较大，在一定程度上导致最终的分割效果差。本发明利用MRI数据的体素值大小差异明显的特性，根据髋关节炎症区域体素值大小以反指数比例修改MRI髋关节炎症区域标签值，得到修改的MRI髋关节炎症区域标签值，减轻MRI髋关节炎症区域体素值差异大对分割效果的影响。
(3)构建能够自动化定量MRI髋关节炎症区域的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：利用3DResUnet、ResNet-50和支撑矢量机构建定量分级模型，用不同空洞率和不同大小卷积核构成多尺度卷积模块GMS，用GMS取代基础分割模型中用单个卷积核或单个类型卷积核组合构成的高层卷积层，即将3DResUnet的基础分割模型最后两层卷积层替换为GMS模块，用可获取多尺度信息的多尺度卷积模块GMS参与构建定量分级模型，用于分割尺寸形状差异大的MRI髋关节炎症区域。利用深度学习骨干网络ResNet-50网络和支撑矢量机构建集成分类器，用集成分类器与构造的基于深度学习的MRI髋关节炎症区域3DResUnet构建定量分级序贯模型，取代单模型的一般做法，用3DResUnet的解码层提取得到MRI髋关节炎症区域的深度特征，结合髋关节原始MRI数据作为集成分类器的输入，对原始数据中占比小的MRI髋关节炎症区域准确分类。
常规模型中一般将分割和分类分别独立进行，减小了分割模型和分类模型的关联性，在一定程度上损害了分类模型或分割模型的精度。本发明中，首先考虑使用集成学习的思想集成不同的学习模型进行分类，即将ResNet-50网络和支撑矢量机构建集成分类器，同时考虑将分割模型和分类模型进行组合，即用3DResUnet的解码层提取得到的深度特征作为集成分类器的输入层，搭建成能够自动化定量分级MRI髋关节炎症区域的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，使得分类模型能够利用分割模型的分割特征，充分利用分割模型的优势完成分类任务，提升分类模型的分类精度。同时，将分割模型和分类模型进行融合，实现MRI髋关节炎症区域定量和分级一体化自动处理，提升定量分级的效率和准确率。
(4)网络训练：用划分完成的MRI影像数据训练样本集，和根据MRI髋关节炎症区域体素值修改的MRI髋关节炎症区域标签值训练定量分级序贯模型。将训练完成后的网络参数保存在MRI髋关节炎症区域定量分级序贯模型中，得到训练完成的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，训练完成的定量分级序贯模型实现对MRI髋关节炎症区域的自动定量和分级。
(5)得到定量分级结果：将划分完成的MRI测试样本集输入到训练后的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型中，定量分级序贯模型能够自动输出MRI髋关节炎症区域的分割结果和分类结果，利用分割结果和分类结果能够得到MRI髋关节炎症区域的定量结果和分级结果。
临床医生在对MRI髋关节炎症区域进行定量分析时需要对MRI髋关节炎症区域进行手动勾画，再通过计算MRI髋关节炎症区域的面积体积等实现定量和分级，这一过程需要耗费医生大量的时间。同时MRI数据中髋关节炎症区域普遍存在形状尺寸差异大、体素值分布不均匀的问题，给医生手动勾画进行定量分级带来了一定困难，导致医生在进行病例分析时较为低效。本发明考虑到医生在手动勾画MRI髋关节炎症区域时遇到的问题，通过利用深度学习方法，结合数据特征采用新的分割模块，提升常规分割模型的分割效果，实现对病灶区域的自动分割定量。同时设计基于深度学习和机器学习的集成学习分类器，利用分割模型的提取的MRI数据的深度特征，辅助分类模型对MRI髋关节炎症区域的分类，提升了分类精度，完成对MRI髋关节炎症区域的一体化自动定量和分级，辅助医生进行繁杂的标注工作，节约医生大量时间，帮助医生进行高效的定量分级分析。
本发明的思路：针对获取的MRI数据中MRI髋关节炎症区域体素值差异大的情况，对MRI髋关节炎症区域的标签值进行修改，即根据MRI髋关节炎症区域的体素值对MRI髋关节炎症区域标签值进行修改，以平衡MRI髋关节炎症区域体素值差异给分割模型带来的不利影响。同时针对MRI髋关节炎症区域形状尺寸差异大的问题，通过将不同空洞率和不同尺寸的卷积核进行组合并融入到分割模型中，用于提取MRI髋关节炎症区域的多尺度信息，以提升分割模型对多尺度MRI髋关节炎症区域的分割结果和定量结果。针对常规分类模型仅利用原始MRI数据导致分类效果不佳的问题，本发明通过利用集成学习的思想将深度学习模型ResNet-50和机器学习模型支撑矢量机构成集成分类器，同时用3DResUnet的解码层提取得到的深度特征作为集成分类器的输入，与MRI数据结合进行分类，完成定量分级序贯模型的构建，高效利用分割模型对MRI数据的分割特征，提升分类模型对MRI髋关节炎症区域的分类精度，并且能够完成MRI髋关节炎症区域定量和分级的一体化自动处理，实现定量和分级的高效处理。
实施例2
MRI髋关节炎症分割与分类自动定量分级序贯方法同实施例1，本发明步骤(3)中的构建能够自动化定量MRI髋关节炎症区域的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，用于多尺度MRI髋关节炎症区域的自动定量分级，包括有如下步骤：
(3.1)构建基于深度学习的分割分类模型和多尺度卷积模块：首先利用深度学习主流分割网络3DResUNet和分类网络ResNet-50、支撑矢量机，构建MRI髋关节炎症区域的分割分类模型。针对炎症区域形状尺度大小差异大的问题，将可提取不同尺度信息的不同空洞率和不同尺寸卷积核组合构成多尺度卷积模型GMS，与分割网络3DResUNet结合，用于分割形状尺寸差异大的MRI髋关节炎症区域。多尺度卷积模块GMS由9个不同空洞率和不同尺寸的常用卷积核并行连接，再与一个空间卷积核串行连接构成。选取的9个卷积核分别为空洞率为2、4、6，卷积核大小为3*3*3、5*5*5的6种空洞卷积核，卷积核大小为1*1*1、3*3*3、5*5*5，空洞率为1的3种传统卷积核。9个卷积核并行连接，再与一个卷积核大小为1*1*1，空洞率为1的卷积核串行连接，得到多尺度卷积模块GMS，可用于提取MRI髋关节炎症区域的多尺度信息。
多尺度卷积模块GMS构成的卷积核尺寸和空洞率大小可根据实际情况进行调整，可选用更大的卷积核尺寸如7*7*7、9*9*9，选用更大的空洞率如8、10等，更大尺寸的卷积核和空洞率能够提取更多病灶的尺寸信息，同时会增大模型的参数量，需要根据仿真条件进行合理选择。
(3.2)构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：针对分割网络3DResUNet难以提取MRI髋关节炎症区域多尺度信息的问题，在3DResUNet中引入构建的多尺度卷积模块GMS，帮助分割网络3DResUNet处理形状尺寸差异大的MRI髋关节炎症区域。将多尺度卷积模块GMS替换分割网络3DResUNet最后两层编码层，使得分割网络3DResUNet更好的处理MRI髋关节炎症区域。
在分割网络3DResUNet的基础上构造对MRI髋关节炎症区域进行自动分割分类的定量分级序贯模型。利用集成学习方法将深度学习分类模型ResNet-50和支撑矢量机集成，与分割网络3DResUNet融合用于MRI髋关节炎症区域的分割分类。常规模型中一般使用单个模型和原始数据进行分类，为充分利用MRI髋关节炎症区域的分割网络3DResUNet，帮助集成分类器精确分级占比小的MRI髋关节炎症区域，对集成分类器进行改造，将原始MRI数据和3DResUNet解码层最后一层提取得到的网络深度特征沿轴向拼接的数据，作为集成分类器的输入，输出原始MRI数据的分级结果，能够自动精确分级占比小MRI髋关节炎症区域。
针对传统模型中分割和分类模型相互独立导致无法充分利用分割模型的结果指导分类模型的情况，本发明通过构建基于深度学习和机器学习的集成分类器并与3DResUNet融合，得到基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，使得集成分类器能够充分利用分割模型的分割结果，以提升集成分类器的分类精度。将MRI数据输入到基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，定量分级模型输出MRI数据的自动定量结果和分级结果，实现MRI髋关节炎症区域的一体化自动定量和分级。
(3.3)设置基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数：基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数由两个模型的损失函数组成，其中一个是3D ResUNet部分的损失函数Lseg，另一个是ResNet-50和支撑矢量机集成分类器部分的损失函数Lclass。
获取的MRI髋关节炎症数据中，髋关节炎症区域的形状尺寸差异较大。针对髋关节炎症区域多尺度的特性，本发明利用能够提取不同尺度炎症信息的不同空洞率和不同大小卷积核进行组合，取代常规模型中使用单个尺寸卷积核或单个类型的卷积核组合的方式，构建可用于处理形状尺寸差异大髋关节炎症区域的多尺度卷积模块GMS，能够提取更丰富的病灶多尺度信息。基于多尺度卷积模块GMS构建3DResUNet分割模型，可准确分割尺寸形状差异大的MRI髋关节炎症区域，用分割模型对MRI髋关节炎症数据处理得到的分割结果，可实现形状尺寸差异大的MRI髋关节炎症区域的自动定量分析。由于MRI髋关节炎症区域较MRI数据占比小，且炎症区域不明显，与周围区域对比度低，利用常规深度学习模型构建MRI髋关节炎症区域的分类模型的分类精度较低。常规模型仅使用MRI髋关节炎症原始数据进行分类，本发明结合MRI髋关节炎症区域的先验信息，即基于多尺度卷积模块GMS构建3DResUNet分割模型对MRI髋关节炎症区域提取的深度特征，构建ResNet-50和支撑矢量机集成分类器，结合髋关节原始MRI数据对MRI髋关节炎症区域进行分类，实现对在原始数据中占比小的MRI髋关节炎症区域的准确分类，完成对MRI髋关节炎症区域的自动精确分级。本发明将分割与分类融合构建定量分级序贯模型，充分利用分割模型对MRI髋关节炎症区域的特征信息，将MRI髋关节炎症区域的特征信息传递给分类模型以提升分类模型对占比小的MRI髋关节炎症区域的分类精度，实现了对MRI髋关节炎症区域定量和分级的一体化全自动处理，提升了定量分级的效率。
实施例3
MRI髋关节炎症分割与分类自动定量分级序贯方法同实施例1-2，本发明步骤(3.3)中所述的两个模型的损失函数，用于对基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的训练，其表示如下：
其中，3DResUNet部分的损失函数Lseg表示如下：
Lseg＝Ldice+λ*Lwce
分割模型的损失函数Lseg由两种损失函数结合构成，分别是医学数据分割网络的dice损失函数Ldice和加权交叉熵损失函数Lwce。其中，C表示最大标签类别数目，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10，log为对数函数。
ResNet-50和支撑矢量机集成分类器部分的损失函数Lclass表示如下：
集成分类器的损失函数Lclass选用ResNet-50分类模型原始的多类交叉熵损失函数。其中，C表示MRI髋关节炎症分级标签总类别数目，c表示类别序号，log为对数函数，pc表示当前输入MRI数据属于第c类的集成分类器概率值，gc表示当前输入MRI数据的真实标签，若当前输入MRI数据属于第c类，则gc＝1，否则gc＝0。
通过利用dice损失函数和交叉熵损失函数组合构成分割模型的损失函数，分割模型能够聚焦于MRI数据中髋关节炎症区域的学习，减小背景与髋关节炎症区域的比例不平衡对训练的损害。而训练分类模型时MRI数据类别较为均衡，使用交叉熵损失函数能够最大限度提升分类模型的分类性能。
本发明提出的MRI髋关节炎症分割与分类自动定量分级序贯方法通过构建基于多尺度卷积核核集成学习的MRI髋关节炎症区域定量分级序贯模型，能够应对形状尺寸差异大、体素值分布不均匀的MRI髋关节炎症区域的准确分割，提升MRI髋关节炎症区域的定量精度。通过构建基于深度学习和机器学习的集成分类器，用3DResUnet的解码层提取得到的深度特征作为集成分类器的输入，高效的利用了分割模型对MRI髋关节炎症区域的分割特征，提升了分类模型对占比小的MRI髋关节炎症区域的分级精度。本发明将分割模型和分类模型融合，实现了对MRI髋关节炎症区域一体化自动定量和分级，提高了定量和分级的效率。
下面给出一个整合在一起的例子对本发明进一步说明。
实施例4
MRI髋关节炎症分割与分类自动定量分级序贯方法同实施例1-3，参照图1，本实例核磁共振影像MRI髋关节炎症分割与分类自动定量分级序贯方法，其实现步骤如下：
步骤1构建样本集：首先从医院收集标注完成的AS病人的MRI数据。为提升数据之间的连续性，将MRI数据重采样到同一空间分辨率1*1*5下，可选择其他的空间分辨率，本实例中空间分辨率设置为1*1*5达到了较好的分割效果。从中选择一个体素值分布均匀的MRI数据作为模板，对其他MRI数据进行直方图匹配，以保证MRI数据之间的一致性，预处理结果如图2所示，其中图2(a)为调整分辨率之前的MRI影像数据，图2(b)为调整分辨率之后的MRI影像数据，图2(c)为进行直方图匹配之后的MRI影像数据。
将所有MRI影像数据以5：1：4的比例进行随机划分训练样本集、验证样本集和测试样本集，用于模型性能评估。
数据划分方式和比例可根据需要进行一定的调整，本发明在实验中3：1：1和5：1：4均能取得较好的结果。
步骤2修改MRI髋关节炎症区域标签值：针对MRI髋关节炎症区域的体素值分布不均匀导致分割效果不佳的问题，根据体素值大小以反指数比例对MRI髋关节炎症区域的标签值进行修改。修改策略如下：
其中yn为原始标签值，y′n为修改后的标签值，σ为加权值，本实例中设置为σ＝0.9，取得了最佳的效果，σ值不宜过大或过小，过大的值会降低体素约束策略的效果，过小的值会因为损失函数中的log对数函数影响模型训练，Pn为第n个MRI数据的体素的数值，ρ为超参数保证分母不为零。
针对MRI髋关节炎症区域的体素值差异大导致的MRI髋关节炎症区域分割效果差的问题，根据MRI髋关节炎症区域体素值大小来修改MRI髋关节炎症区域的标签值，平衡MRI髋关节炎症区域体素值分布不均匀对分割结果的影响，提升分割效果，有效解决了MRI髋关节炎症区域体素值差异大的问题。
步骤3构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：使用不同尺寸和空洞率的卷积核组合构成能够提取多尺度信息的多尺度卷积模块GMS，用于处理形状尺寸差异大MRI髋关节炎症区域的分割。使用常用的医学图像分割网络3DResUNet，将多尺度卷积模块GMS替换分割网络3DResUNet编码层最后两层，处理形状尺寸差异大的MRI髋关节炎症区域的分割。
(3.1)构建基于深度学习的分割分类模型和多尺度卷积模块：使用深度学习主流分割网络3DResUNet和分类网络ResNet-50、支撑矢量机构建分割分类模型。针对MRI髋关节炎症区域形状差异大的特性，利用不同大小卷积核能够提取不同尺度信息的属性，将9个不同空洞率和不同尺寸的卷积核并行连接，再与一个空间卷积核串行连接组成GMS模块，用于MRI髋关节炎症区域多尺度信息的提取。
(3.2)构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：针对MRI髋关节炎症区域多尺度的特性，将构建的多尺度卷积模块GMS引入到3DResUNet中，帮助分割网络3DResUNet提取多尺度信息，使得3DResUNet能够处理形状尺寸差异大的MRI髋关节炎症区域。为最大化利用3DResUNet的浅层网络提取的特征信息，将多尺度卷积模块GMS替换分割网络3DResUNet最后两层编码层，从而提取MRI髋关节炎症区域的多尺度信息，实现对进行MRI髋关节炎症区域自动的分割定量。
针对单模型对MRI髋关节炎症区域分类效果不佳的问题，采用深度学习分类模型ResNet-50与机器学习支撑矢量机集成构成集成分类器，将ResNet-50与支撑矢量机输出概率平均作为集成分类器的输出。针对分割和分类相互独立的常规模型导致的分割结果不能充分利用的问题，以及MRI髋关节炎症区域占比小导致的分类效果差的问题，对集成分类器进行改造，融合3DResUNet网络，将原始MRI数据和3DResUNet解码层最后一层提取得到的网络深度特征沿轴向拼接的数据作为集成分类器的输入，集成分类器输出原始MRI数据的分级结果，以实现集成分类器对占比小的MRI髋关节炎症区域的精确分类。
通过设计基于深度学习ResNet-50和机器学习模型支撑矢量机的集成分类器，结合3DResUNet构成基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，实现3DResUNet与ResNet-50、支撑矢量机模型的融合，将MRI髋关节炎症区域大小和位置信息传递到集成分类器中，辅助集成分类器对原始数据中占比较小的MRI髋关节炎症区域的分类，提升定量分级序贯模型对MRI髋关节炎症区域的分类效果和分级效果。
(3.3)设置基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数：基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数为组成定量分级模型的两个模型的损失函数，其中一个是3DResUNet部分的损失函数Lseg，另一个是ResNet-50和支撑矢量机集成分类器部分的分类模型的损失函数Lclass。
其中，3DResUNet部分的损失函数Lseg表示如下：
Lseg＝Ldice+λ*Lwce
用医学数据分割网络的dice损失函数Ldice和加权交叉熵损失函数Lwce共同构成基于深度学习的MRI髋关节炎症区域的分割模型的损失函数Lseg，dice损失函数Ldice和加权交叉熵损失函数Lwce。其中，C表示最大标签类别数目，log为对数函数，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10。
ResNet-50和支撑矢量机集成分类器部分的损失函数Lclass表示如下：
选用ResNet-50分类模型常用的多类交叉熵损失函数作为基于深度学习的MRI髋关节炎症区域的分类模型的损失函数Lclass，其中，C表示MRI髋关节炎症分级标签类别总数目，c表示类别序号，log为对数函数，pc表示当前输入MRI数据属于第c类的集成分类器概率值，gc表示当前输入MRI数据的真实标签，若当前输入MRI数据属于第c类，则gc＝1，否则gc＝0。
步骤4对基于分割与分类的MRI髋关节炎症区域定量分级序贯模型进行训练：
(4.1)设置模型训练方式：
使用截断的正态分布对分割网络和分类网络的权重进行初始化，将训练的初始学习率设置为0.001，训练epoch设置为200，每一个epoch设置2000次迭代，过小的迭代次数会导致训练不充分，过大的迭代次数会导致分割模型过拟合，影响最终的分割性能。批数目大小和输入数据尺寸由仿真平台决定，在平台性能允许范围内，大的批数目和输入数据尺寸能增强网络的最终性能，在本仿真平台中每一代的批数目设置为4，输入数据尺寸为128*128*8。
(4.2)训练模型：
将划分的MRI训练样本集和MRI验证样本集用于定量分级序贯模型的训练，使用Adam优化算法优化步骤3中设置的两个模型的损失函数。每隔10个epoch验证样本集指标不提升则衰减一次学习率至当前学习率的0.1。不同的学习率设置和衰减方式对模型的训练影响很大，本实例中的学习率和衰减方式为多次实验得到的最优配置。将训练完成的模型参数保存在基于分割与分类的MRI髋关节炎症区域定量分级序贯模型中。
步骤5对划分的MRI测试样本集进行MRI髋关节炎症区域的定量和分级：
将划分的MRI测试数据集输入到训练完成的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，定量分级序贯模型自动输出MRI髋关节炎症区域的分割结果和分类结果，得到MRI髋关节炎症区域的定量和分级结果。
本发明通过构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，实现对形状尺寸差异大、体素值分布不均匀和整体占比小的MRI髋关节炎症的自动化定量和分级，提高分类模型对分割模型特征的利用率，同时提升分类模型的分类准确性。
本发明解决了现有方法对形状尺寸差异大、体素值分布不均匀的MRI髋关节炎症区域定量分级结果差的问题。本发明根据体素值大小以反指数比例修改髋关节炎症区域的标签值，减轻髋关节炎症区域体素值差异大导致的分割结果差的问题；本发明设计多尺度卷积模块GMS提升形状尺寸差异大的髋关节炎症区域的分割效果；针对占比小的髋关节炎症区域难以分类的问题，本发明设计集成分类器和利用分割特征辅助分类模型分类，提升分类精度。可用于MRI髋关节炎症区域定量和分级自动化处理。
实施例5
以下结合仿真实验结果对本发明的技术效果进行验证性说明。
MRI髋关节炎症分割与分类自动定量分级序贯方法同实施例1-4。
仿真条件：
本实例中仿真数据来自第四军医大学西京医院放射科获取的的髋关节病人MRI数据，一共包括101例MRI影像数据，第四军医大学西京医院临床医生标注了所有数据。本实例的示例数据为所有病人MRI数据中选取的一例MRI数据，从选取的MRI数据选取一张切面示例数据展示，如图3所示。
本实例中仿真试验平台是Intel Core i7-9700K CPU 3.6GHz的PC机，显卡为Nvidia RTX2080Ti，内存为128GB，仿真平台为Ubuntu18.04操作系统，使用Tensorflow深度学习框架，采用Python语言实现。
仿真内容及结果分析：
本实例中分别利用常规的分割模型UNet方法、分类模型ResNet方法和本发明，对图3所示的MRI数据进行MRI髋关节炎症区域分割和分类，图3中虚线方框框选区域为示例MRI髋关节炎症区域，其中图4为现有技术UNet方法对图3虚线方框内的分割结果，图5为用本发明对图3虚线方框内的分割结果。
参见图4，图4为利用现有技术UNet方法对图3虚线方框内炎症区域的分割结果，为展示分割标签在图4中标注白色框，白色框内区域为炎症区域，图4中灰色区域为现有医学影像分割技术UNet方法的分割结果，图4中右下角的炎症区域UNet方法成功检出，图4中右上角的炎症区域UNet方法未标注为炎症区域，结果显示未检出。
从图4的结果可以看出，UNet方法在分割MRI髋关节炎症区域时容易对部分炎症区域产生漏分割现象。
参见图5，图5为本发明中的分割模型对图3虚线方框内炎症区域的分割结果，为展示分割标签在图5中标注白色框，白色框内区域为炎症区域，图5中灰色区域为本发明中的分割模型检出结果，参照图4中利用常规的UNet方法对图3中MRI髋关节炎症区域的分割结果，本发明和UNet方法均能够对图3右下角MRI髋关节炎症区域进行分割。图5右上角MRI髋关节炎症区域与周围正常区域区分不明显，平均体素值与周围区域接近，分割模型难以区分MRI髋关节炎症区域，本发明中针对体素值差异大的炎症区域修改标签值，增强了对该区域的分割效果。图5中利用本发明中的分割模型能够对右上角的MRI髋关节炎症区域实现准确分割，而图4中利用常规UNet方法未检出右上角的MRI髋关节炎症区域。
从图5的结果可以看出，本发明中的分割模型能够处理体素值差异大的炎症区域的分割，提升分割模型对炎症区域的分割效果。将本发明的仿真结果与真实标注结果进行对比，本发明的dice指标由现有技术UNet方法的63.9％提高到了69.5％。
在分类过程中，本实例中利用现有分类技术ResNet和本发明中的集成分类器模型分别对图3所示MRI髋关节炎症区域进行分类，图3所示的MRI髋关节炎症严重程度为轻度。图3所示的MRI数据中MRI髋关节炎症区域占比较小，且MRI髋关节炎症区域的体素值整体较低，与周围区域接近，对一般的分类模型难以分类。利用ResNet直接对MRI数据分类的结果为正常，而利用本发明中的集成分类器模型对MRI数据的分类结果为轻度。本发明中的集成分类器模型通过利用分割模型的深度特征信息，将MRI髋关节炎症区域位置信息和大小信息传递给集成分类器模型，提升了本发明对MRI髋关节炎症区域的分类精度即分级精度，同时完成了MRI髋关节炎症区域的定量分级的一体化自动处理。将本发明的仿真结果与真实标注结果进行对比，本发明的分类精度指标由现有技术ResNet方法的51.8％提高到了64.8％。
综上，本发明提出的MRI髋关节炎症分割与分类自动定量分级序贯方法，利用多尺度卷积模块处理形状尺度差异大的MRI髋关节炎症区域，提升了定量分级序贯模型对MRI髋关节炎症区域的分割效果以提升定量精度。同时，设计基于深度学习ResNet-50和机器学习支撑矢量机的集成分类器，改造集成分类器的输入为原始MRI数据和3DResUNet解码层最后一层提取得到的网络深度特征沿轴向拼接的数据，帮助分定量分级序贯模型利用MRI髋关节炎症区域的位置和大小信息，提升了定量分级序贯模型对MRI髋关节炎症区域的分类精度。本发明提出的MRI髋关节炎症分割与分类自动定量分级序贯方法，通过利用集成学习思想设计集成分类器，将MRI髋关节炎症区域的分割和分类融合，使得分类模型能够利用分割模型的深度特征提升分类精度，同时相较于常规模型，能够完成MRI髋关节炎症区域定量和分级的一体化自动处理，提高定量分级的效率。
Claims (3)
1.一种MRI髋关节炎症分割与分类自动定量分级序贯方法，其特征在于，包括如下步骤：
(1)划分训练、验证和测试样本集：获取带有人工标注的脊柱关节炎患者的核磁共振影像MRI数据，将核磁共振影像MRI图像数据变换到同一空间分辨率；选择一个直方图分布均匀的MRI数据作为模板数据，对剩余MRI图像数据进行直方图匹配，增强数据的连续性；将完成直方图匹配的MRI图像数据以5：1：4的比例随机划分为MRI训练样本集、验证样本集和测试样本集；
(2)修改MRI髋关节炎症区域标签值：用获取的MRI数据的体素值大小修改MRI髋关节炎症区域标签值，根据体素值大小按照反指数比例对MRI髋关节炎症区域标签值进行修改，得到修改后的MRI髋关节炎症区域标签值；
(3)搭建能够自动定量分级的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：利用3DResUnet、ResNet-50和支撑矢量机构建定量分级模型，用不同空洞率和不同大小卷积核构成多尺度卷积模块GMS，用GMS取代3DResUnet中用单个卷积核或单个类型卷积核组合构成的高层卷积层，即将3DResUnet的最后两层卷积层替换为GMS模块进行髋关节炎症区域分割；设计一个ResNet-50网络与支撑矢量机集成分类器，用3DResUnet的解码层提取得到的深度特征作为集成分类器的输入，搭建一种基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，实现髋关节MRI数据一体化炎症自动分割与分类，简称定量分级序贯模型；
(4)网络训练：用MRI训练样本集和修改后的MRI髋关节炎症区域标签值训练定量分级序贯模型，将训练后的网络参数保存在定量分级序贯模型中，得到训练后的定量分级序贯模型；
(5)得到定量分级结果：用MRI测试样本集输入到训练后的定量分级序贯模型中，得到所获取的MRI测试样本集髋关节炎症区域的定量结果和分级结果。
2.根据权利要求1所述的MRI髋关节炎症分割与分类自动定量分级序贯方法，其特征在于，步骤(3)中所述的构建基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，包括有如下步骤：
(3.1)构建基于深度学习的分割分类模型和多尺度卷积模块：构建深度学习主流分割网络3DResUNet和分类网络ResNet-50、支撑矢量机，作为MRI髋关节炎症区域分割分类模型的基础模型，用不同空洞率和不同尺寸卷积核处理形状尺寸差异大的MRI髋关节炎症区域的分割，将常用卷积核尺寸为1、3、5，空洞率为2、4、6的不同卷积核进行组合，构成多尺度卷积模块GMS；使用多空洞率卷积核模块和多尺寸卷积核模块进行组合，首先选取卷积核大小为3*3*3、5*5*5，空洞率d＝2、4、6的6种卷积核作为多空洞率卷积核模块，再选取卷积核大小为1*1*1、3*3*3、5*5*5，空洞率固定为1的3种卷积核作为多尺寸卷积核模块，将多空洞率卷积核模块和多尺寸卷积核模块进行并行组合，选择空洞率为1卷积核大小为1*1*1的卷积核与并行组合的多空洞率卷积核模块和多尺寸卷积核模块串行连接，构成可处理形状尺寸差异大MRI髋关节炎症的多尺度卷积核GMS；
(3.2)构建基于分割与分类的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型：将构建完成的多尺度卷积核GMS融入到构建完成的基础模型3DResUNet，将基础模型3DResUNet最后两层编码层移除，将多尺度卷积模块GMS添加到基础模型3DResUNet最后两层编码层；设计由深度学习骨干网络ResNet-50网络和支撑矢量机构成的集成分类器，改造集成分类器的输入为原始MRI数据和3DResUNet解码层最后一层提取得到的网络深度特征沿轴向拼接的数据，完成分级；输入原始MRI数据，输出MRI髋关节炎症区域定量分级结果，完成能够自动分级MRI髋关节炎症区域的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的构建。
(3.3)设置基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数L：基于分割与分类的MRI髋关节炎症区域定量分级序贯模型的损失函数为L＝Lseg+αLclass，Lseg为3DResUNet部分的损失函数，Lclass为ResNet-50和支撑矢量机集成分类器部分的损失函数，α为加权系数。
3.根据权利要求3所述的基于分割与分类的MRI髋关节炎症区域定量分级序贯模型，其特征在于，步骤(3.3)中所述的损失函数L：
L＝Lseg+αLclass
其中，3DResUNet部分的损失函数Lseg表示如下：
Lseg＝Ldice+λ*Lwce
用医学数据分割网络的dice损失函数Ldice和加权交叉熵损失函数Lwce共同构成分割模型3DResUNet的损失函数Lseg，其中，C表示最大标签类别数目，log为对数函数，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10。
ResNet-50和支撑矢量机集成分类器部分的损失函数Lclass表示如下：
选用ResNet-50分类模型常用的多类交叉熵损失函数作为集成分类器的损失函数Lclass，其中，C表示MRI髋关节炎症分级标签类别数目，c表示类别序号，log为对数函数，pc表示当前输入MRI数据属于第c类的集成分类器概率值，gc表示当前输入MRI数据的真实标签，若当前输入MRI数据属于第c类，则gc＝1，否则gc＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589474.XA CN111784704B (zh) | 2020-06-24 | 2020-06-24 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589474.XA CN111784704B (zh) | 2020-06-24 | 2020-06-24 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784704A true CN111784704A (zh) | 2020-10-16 |
| CN111784704B CN111784704B (zh) | 2023-11-24 |
Family
ID=72759868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010589474.XA Active CN111784704B (zh) | 2020-06-24 | 2020-06-24 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784704B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
| CN112766333A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像处理模型训练方法、医学影像处理方法及装置 |
| CN113256616A (zh) * | 2021-06-23 | 2021-08-13 | 北京大学第三医院（北京大学第三临床医学院） | 膝关节mri影像的分类方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109363640A (zh) * | 2018-12-04 | 2019-02-22 | 北京贝叶科技有限公司 | 基于皮肤病理图像的识别方法及系统 |
| CN110363088A (zh) * | 2019-06-12 | 2019-10-22 | 南京理工大学 | 基于多特征融合的自适应皮肤炎症区域检测方法 |
| WO2019200747A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| WO2019231844A1 (en) * | 2018-05-27 | 2019-12-05 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| US20200129114A1 (en) * | 2018-10-25 | 2020-04-30 | The Chinese University Of Hong Kong | Automatic computerized joint segmentation and inflammation quantification in mri |
| CN111127431A (zh) * | 2019-12-24 | 2020-05-08 | 杭州求是创新健康科技有限公司 | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 |
-
2020
- 2020-06-24 CN CN202010589474.XA patent/CN111784704B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| WO2019200747A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| WO2019231844A1 (en) * | 2018-05-27 | 2019-12-05 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| US20200129114A1 (en) * | 2018-10-25 | 2020-04-30 | The Chinese University Of Hong Kong | Automatic computerized joint segmentation and inflammation quantification in mri |
| CN109363640A (zh) * | 2018-12-04 | 2019-02-22 | 北京贝叶科技有限公司 | 基于皮肤病理图像的识别方法及系统 |
| CN110363088A (zh) * | 2019-06-12 | 2019-10-22 | 南京理工大学 | 基于多特征融合的自适应皮肤炎症区域检测方法 |
| CN111127431A (zh) * | 2019-12-24 | 2020-05-08 | 杭州求是创新健康科技有限公司 | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴永娟;王敬忠;: "计算机体层摄影和核磁共振成像对强直性脊柱炎髋关节改变的对比分析", 新乡医学院学报, no. 06 * |
| 袁琼雯;余磊;刘岩;: "LCI图像病变检测的全卷积网络算法研究", 信号处理, no. 03 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| CN112766333A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像处理模型训练方法、医学影像处理方法及装置 |
| CN112766333B (zh) * | 2021-01-08 | 2022-09-23 | 广东中科天机医疗装备有限公司 | 医学影像处理模型训练方法、医学影像处理方法及装置 |
| CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
| CN113256616A (zh) * | 2021-06-23 | 2021-08-13 | 北京大学第三医院（北京大学第三临床医学院） | 膝关节mri影像的分类方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784704B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784704B (zh) | Mri髋关节炎症分割与分类自动定量分级序贯方法 | |
| CN104751178B (zh) | 基于形状模板匹配结合分类器的肺结节检测装置及方法 | |
| CN111340130B (zh) | 一种基于深度学习和影像组学的泌尿结石检测分类方法 | |
| WO2024065987A1 (zh) | 一种基于影像、病理和基因多组学的肺癌预后预测系统 | |
| CN110490892A (zh) | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 | |
| Abdullah et al. | Automatic detection and classification of knee osteoarthritis using deep learning approach | |
| CN108062749B (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| Hu et al. | Segmentation of brain from computed tomography head images | |
| CN110503635B (zh) | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 | |
| US20100220907A1 (en) | Pathology indicating measure related to cartilage structure and automatic quantification thereof | |
| CN110415234A (zh) | 基于多参数磁共振成像的脑部肿瘤分割方法 | |
| Han et al. | Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning | |
| CN108230301A (zh) | 一种基于主动轮廓模型的脊柱ct图像自动定位分割方法 | |
| US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
| CN112215799A (zh) | 一种磨玻璃肺结节自动分类方法及系统 | |
| CN113744183A (zh) | 肺结节检测方法及系统 | |
| CN115393351B (zh) | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN115115841A (zh) | 一种阴影斑点图像处理分析方法及系统 | |
| CN111383222A (zh) | 一种基于深度学习的椎间盘mri图像智能诊断系统 | |
| Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
| CN113643297A (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN111784652B (zh) | 基于强化学习多尺度神经网络的mri分割方法 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |