CN111784652B - 基于强化学习多尺度神经网络的mri分割方法 - Google Patents
基于强化学习多尺度神经网络的mri分割方法 Download PDFInfo
- Publication number
- CN111784652B CN111784652B CN202010591088.4A CN202010591088A CN111784652B CN 111784652 B CN111784652 B CN 111784652B CN 202010591088 A CN202010591088 A CN 202010591088A CN 111784652 B CN111784652 B CN 111784652B
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- data
- mri
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 218
- 230000002787 reinforcement Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 51
- 238000002595 magnetic resonance imaging Methods 0.000 title description 100
- 230000002757 inflammatory effect Effects 0.000 claims abstract description 97
- 206010061218 Inflammation Diseases 0.000 claims abstract description 92
- 230000004054 inflammatory process Effects 0.000 claims abstract description 88
- 239000006185 dispersion Substances 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 44
- 239000003623 enhancer Substances 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 22
- 238000010276 construction Methods 0.000 claims description 16
- 239000011800 void material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000005481 NMR spectroscopy Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 31
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 206010002556 Ankylosing Spondylitis Diseases 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000003709 image segmentation Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 206010051763 Bone marrow oedema Diseases 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 206010051728 Bone erosion Diseases 0.000 description 2
- 210000000845 cartilage Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 210000003131 sacroiliac joint Anatomy 0.000 description 2
- 201000005671 spondyloarthropathy Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 1
- 201000002661 Spondylitis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001188 articular cartilage Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000005222 synovial tissue Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于强化学习多尺度神经网络的MRI分割方法，解决了现有方法对多尺度、模糊和弥散MRI炎症区域易错分割和漏分割的问题。本发明采用根据体素值修改炎症区域标签值的体素约束策略，提升分割模型对体素值差异大炎症区域的分割效果；本发明针对形状尺寸差异大的炎症区域设计多尺度卷积模块GMS，提升分割模型对多尺度炎症区域的分割效果；针对分割模型对弥散模糊炎症区域难以识别的问题，本发明利用强化学习网络进行数据增强，提升分割模型对弥散模糊炎症区域的判别性能。本发明减小对多尺度、模糊弥散的炎症区域的错分割和漏分割，提升对MRI炎症区域的分割效果。可用于MRI炎症区域分割和定量分析自动化处理。
Description
技术领域
本发明是属于图像处理技术领域，主要涉及核磁共振炎症病灶的单模态影像分割，具体是一种基于强化学习多尺度神经网络的MRI分割方法，可用于髋关节核磁共振影像MRI中的炎症区域数据分割。
背景技术
强直性脊柱炎(AS)包括一组相互关联的，以骶髂关节和脊柱、外周关节和肌腱附着点等部位的炎症为特征的疾病。AS病因复杂，发病机制尚不清楚，患者早期临床表现不典型，传统放射学检查不敏感，缺乏特异的实验室指标等特点都为临床医生早期准确判断AS造成了很大的障碍，诊断治疗不及时往往又会造成严重的后果，给患者带来不可逆的骨破坏，甚至导致终生残疾。
目前临床上常用的影像学检查方法有X线、计算机X线断层扫描术(CT)、磁共振成像(MRI)、超声、放射学核素骨显像检查。MRI是目前唯一可以观察到关节软骨破坏及活动性炎症改变的影像学检查。影像学检查结果不仅可以显示骨的结构形态变化，如骨质侵蚀、硬化、关节强直、关节间隙增宽或狭窄，而且可以反映X线和CT不能显示的软组织和软骨的病变，如骶髂关节和脊柱关节旁骨髓水肿(BME)、软骨异常改变和脂肪沉积，研究发现骨髓水肿与骨侵蚀破坏有明显的相关性，同时，MRI还具有无创伤、无辐射、多平面成像等优点，所以MRI可作为早期诊断AS及判断病情活动、进行疗效评估及判断预后的首选方法。
由于炎症区域在核磁共振影像MRI数据上表现为形状、大小、分布不规则，导致临床医生在用MRI数据对病人分析时存在无法量化、评判严重程度不一致等问题，同时由于受到影像科不同医生、不同设备的差异性导致的MRI数据质量差异，更增加了临床医生的阅片困难性。
现有的医学影像分割算法在对炎症区域分割时会有严重的漏分割和错分割问题，严重影响医生的判断和对病人的定量分析，导致制定错误的治疗方案，有学者在MagneticResonance In Medicine2019发表的Measurement of synovial tissue volume in kneeosteoarthritis using a semiautomated MRI-based quantitative approach，利用炎症区域数据先验信息和阈值分割方法实现炎症区域的分割，但由于缺乏对炎症区域多尺度特性的考虑，导致炎症区域的分割效果不佳。
发明内容
本发明的目的在于针对现有技术的不足，提出一种能够处理形状尺寸差异大且弥散模糊的炎症区域的基于强化学习多尺度神经网络的MRI分割方法。
本发明是一种基于强化学习多尺度神经网络的MRI分割方法，其特征在于，包括有如下步骤：
(1)划分训练、验证和测试样本集：获取AS病人的核磁共振影像MRI数据，构建训练样本集和测试样本集，将核磁共振影像MRI数据变换到同一空间分辨率，选择一个体素值分布均匀的MRI数据作为模板数据，对剩余MRI数据进行直方图匹配，减少数据之间的差异性；应用随机选择的方法按照3：1：1的比例划分MRI影像数据的训练样本集，验证样本集和测试样本集；
(2)设置MRI炎症区域标签值：采用体素约束策略，根据MRI数据的体素值大小修改体素的炎症区域标签值，得到修改的炎症区域标签值；
(3)搭建能够处理多尺度和弥散模糊炎症区域的基于强化学习多尺度神经网络的MRI分割模型LGR-Net：设计不同空洞率和不同尺寸卷积核构成的多尺度卷积模块GMS，用多尺度卷积模块GMS构建用于处理炎症区域形状尺寸差异大的多尺度分割子网络，构建能够处理弥散模糊炎症区域的基于强化学习的数据增强子网络，将构建好的多尺度分割子网络和数据增强子网络并行连接搭建成基于强化学习多尺度神经网络的MRI分割模型，简称分割模型；
(4)网络训练：用MRI影像数据训练样本集和修改的炎症区域标签值训练分割模型，将训练后的网络参数保存在分割模型中，得到训练后的分割模型；
(5)得到分割结果：将MRI测试样本集输入到训练后的分割模型中，得到炎症区域的分割结果、分割精度和炎症区域的定量结果。
本发明通过基于设计的多尺度卷积模块GMS的多尺度分割子网络，提升对形状尺寸差异大的炎症区域的分割结果，同时提出了基于强化学习的数据增强子网络，提升对模糊弥散炎症区域的分割精度。两个子网络结合能够提高分割模型对多尺度和弥散模糊的炎症区域的识别能力，从而提升炎症区域的分割精度。
本发明与现有技术相比具有如下优点：
能够处理形状尺寸差异大的炎症区域：本发明通过引入多尺度卷积核GMS，引入更多的不同尺寸和空洞率的卷积核，与主流的分割网络3D ResUNet构成多尺度分割网络，能学习丰富的炎症区域多尺度信息，能够更好的解决炎症区域的形状、尺寸差异大的问题。
处理弥散模糊的炎症区域：本发明通过引入强化学习机制，加强网络模型对于弥散和模糊炎症区域数据的挖掘，从而增强对弥散和模糊炎症区域的学习，提升网络对弥散模糊炎症区域的分割效果。
处理体素值差异大的炎症区域：本发明通过引入体素约束策略，自适应的解决炎症区域中体素值差异较大的问题，使得网络能够准确识别不同体素值的炎症区域，提升对体素值分布差异大的炎症区域的分割效果。
附图说明
图1是本发明的流程框图。
图2是现有技术对MRI影像的预处理结果，图2(a)为原始影像，图2(b)为利用现有技术对图2(a)调整分辨率的结果，图2(c)为利用现有技术直方图对图2(b)匹配的结果。
图3为某一例MRI示例数据，虚线框为炎症区域所在位置。
图4为现有分割UNet方法对图3虚线框内的炎症区域的分割结果图，其中实线内为标签区域，灰色区域为预测结果。
图5为本发明对图3虚线框内的炎症区域的分割结果图，其中实线内为标签区域，灰色区域为预测结果。
具体实施方式
下面结合附图对本发明及其实施步骤做详细描述。
实施例1
随着科学技术发展，人类对于脊柱关节炎有了更多的认识，通过单模态影像核磁共振图像MRI可以发现脊柱关节炎的更多炎症区域信息，但是在利用图像分割算法对MRI图像进行炎症区域分割时，往往由于MRI图像数据中炎症区域形状尺寸差异大导致分割效果不佳。针对现状，本发明经过探索和实验，提出了一种基于强化学习多尺度神经网络的MRI分割方法，用于单模态影像MRI炎症区域的分割。
本发明是一种基于强化学习多尺度神经网络的MRI分割方法。
参见图1，包括有如下步骤：
(1)划分训练、验证和测试样本集：首先从医院获取AS病人的核磁共振影像MRI原始数据用于构建数据集验证提出的方法。针对数据的空间分辨率差异较大的问题，将核磁共振影像MRI数据的空间分辨率一致化，即将所有MRI数据的空间分辨率变化到同一空间分辨率。变化的空间分辨率的选择对实验结果有一定影响，在一定范围内变化会导致实验结果的波动，可针对数据特性进行一定的调整，以获得最佳的分割结果。
针对数据质量差异大的问题，本发明对数据进行直方图匹配操作来减小数据的差异性，即选择一个体素值分布均匀的MRI数据作为模板数据，对剩余MRI数据进行直方图匹配，以提高数据的一致性。模板数据的选择可根据数据集的具体分布进行调整，选择与整体数据分布契合度最高的数据作为模板数据可增强数据之间的一致性。
最后进行数据划分，应用随机选择的方法按照3：1：1的比例划分MRI影像数据的训练样本集，验证样本集和测试样本集。
本发明中各样本集之间数据划分的比例也可进行适当调整，如训练样本集，验证样本集和测试样本集分别为5：1：4，用于测试模型在不同数据划分中的性能，找到发挥分割模型最佳性能的划分方式。
(2)体素约束策略设置MRI炎症区域标签值：针对炎症区域中体素值分布差异大导致分割效果不佳的问题，本发明提出一种体素约束策略，根据MRI数据的体素值大小自适应的对炎症区域的标签值进行修改，解决对体素值差异大的炎症区域的分割。
(3)构建用于处理形状尺寸差异大和弥散模糊炎症区域的基于强化学习多尺度神经网络的MRI分割模型LGR-Net：本发明首先针对炎症区域的多尺度特性，提出一种利用不同空洞率和不同尺寸卷积核组合构成的多尺度卷积模块GMS，取代很多模型使用的利用单个卷积核或不同的单个类型的卷积核的组合，能够提取更多炎症区域的尺度信息。用多尺度卷积模块GMS构建用于处理炎症区域形状尺寸差异大的多尺度分割子网络，用于多尺度炎症区域的分割。其次针对弥散模糊的困难炎症区域数据，本发明提出利用强化学习网络挖掘困难样本。通过搭建基于强化学习的数据增强子网络，用于处理弥散模糊炎症区域。搭建完成的多尺度分割子网络和数据增强子网络进行并行连接，构成基于强化学习多尺度神经网络的MRI分割模型用于多尺度和弥散模糊炎症的分割。
(4)训练分割模型：用划分完成的MRI影像数据训练样本集，和经体素约束策略修改的炎症区域标签值训练分割模型，训练完成后将训练后的网络参数保存在基于强化学习多尺度神经网络的MRI分割模型中，利用训练完成的模型实现对炎症区域的自动分割。
(5)测试分割模型：用划分完成的MRI测试样本集输入到训练后的基于强化学习多尺度神经网络的MRI分割模型中，分割模型能够自动输出炎症区域的分割结果，根据分割结果得到炎症区域的定量结果。
由于炎症区域在MRI数据中表现存在形状、大小、分布等不均匀的问题，临床医生在对MRI炎症区域进行定量分析时需要对炎症区域进行手动标注，而炎症区域的形状和分布的随机性给医生手动标注带来了困难，同时需要耗费大量的时间，针对该问题本发明利用深度学习方法对病灶区域进行自动分割，同时结合数据特征提出了新的分割模型以提升分割效果，减轻医生分析的负担同时节约医生手动标注的时间，辅助医生进行高效的定量分析。
本发明的思路：首先考虑到炎症区域体素值差异大的问题，提出体素约束的策略，即通过修改体素的标签值实现对体素值的约束。针对炎症区域的形状尺寸差异大的特性提出了基于多尺度卷积模块GMS的神经网络分割模型，提出的GMS由9个不同空洞率和不同尺寸的卷积核并行连接，再与一个空间卷积核串行连接组成，用于分割多尺度炎症区域。同时针对弥散模糊的炎症区域，利用强化学习技术提出了基于强化学习的数据增强网络模型，引入到神经网络的分割模型中，对弥散和模糊的困难样本进行挖掘学习，以减小炎症区域的漏检和错检。
实施例2
基于强化学习多尺度神经网络的MRI分割方法同实施例1，本发明步骤(2)中所述的体素约束策略设置MRI炎症区域标签值。本发明提出的体素约束策略是针对炎症区域中体素值分布差异大导致分割效果不佳的问题，根据MRI数据的体素值对炎症区域标签值进行修改，将炎症区域标签值自适应的根据炎症区域体素值大小进行调整为：
通过上式根据MRI数据的体素值大小对原始炎症区域标签值修改，其中yn为原始标签值，y′n为修改后的标签值，σ为加权值，pmax为当前MRI数据的最大体素值，pn为第n个MRI数据的体素的数值，ρ为超参数保证分母不为零。
相比于传统方法中修改标签值的标签平滑方法，具体操作为对全部的标签值进行同样的修改操作，如整体降低0.1等，本发明提出的体素约束方法能够根据炎症区域体素值自适应的调整标签值，以提升对体素值分布差异大的炎症区域的分割效果，提高对体素值差异大的炎症区域的分割性能。
本发明与现有医学影像分割方法相比，通过引入体素约束策略，针对炎症区域体素值差异大的现象，自适应的对炎症区域的标签值进行修改，使得不同体素值的炎症区域有不同的标签值。
实施例3
基于强化学习多尺度神经网络的MRI分割方法同实施例1-2，本发明步骤(3)中所述的构建用于处理形状尺寸差异大和弥散模糊炎症区域的基于强化学习多尺度神经网络的MRI分割模型LGR-Net，解决了多尺度和弥散模糊炎症区域的分割。包括有如下步骤：
(3.1)构建多尺度分割子网络：首先针对炎症区域形状尺度大小差异大的问题，构建多尺度卷积模块GMS用于提取多尺度信息，考虑到网络大小限制和常用的卷积核尺寸，设计9个不同空洞率d和不同尺寸k的常用卷积核并行连接，再与一个空间卷积核串行连接组成多尺度卷积模块GMS。本发明提出的GMS模块的设计考虑到了常用的不同尺寸卷积核和不同空洞率卷积核的不同组合，使用了9个不同空洞率d和不同尺寸k的卷积核达到了较好的效果，同时兼顾了模型的大小，使用更多卷积核能够获取更多尺度信息，同时也增加了模型的大小，不利于模型的训练。
本发明针对单模态影像病灶的分割，使用主流的卷积神经网络中骨干网络3DResUNet作为基础网络，本发明考虑了3DResVNet作为骨干网络，得到的分割效果相较于3DResUNet较差，最终确定3DResUNet作为骨干网络。将3D ResUNet最后两层编码层中的卷积层，替换成多尺度卷积模块GMS，提取最优的数据特征，完成多尺度分割子网络的构建，能够处理多尺度炎症区域。
(3.2)构建数据增强子网络：针对分割模型对弥散模糊的炎症分割效果不佳的问题，使用强化学习网络对弥散模糊炎症进行挖掘学习。强化学习的主要网络包含DQN、A3C、DDPG等，本发明中数据增强子网络考虑了数据增强的序列决策属性和整体网络模型的大小，最终考虑使用A3C网络搭建数据增强子网络。首先利用强化学习的主流网络A3C搭建强化学习网络A3C，为帮助强化学习网络提取最优的数据特征信息，该强化学习网络的输入为多尺度分割子网络编码层的最后一层GMS模块的输出特征图，该网络的输出为数据增强方式，用于对数据的增强，完成能够处理弥散模糊炎症区域的数据增强子网络的构建，用于确定对输入数据的增强方式。
(3.3)完成分割模型的构建：完成多尺度分割子网络和数据增强子网络的搭建后，由构建完成的多尺度分割子网络和数据增强子网络并行连接，完成基于强化学习多尺度神经网络的MRI分割模型LGR-Net的构建，分割模型LGR-Net的输入为MRI数据，输出为MRI数据的分割结果。结合多尺度卷积模块和强化学习网络，分割模型LGR-Net能够处理形状大小差异大、弥散模糊的炎症区域。
(3.4)设置整体损失函数：完成分割模型LGR-Net的搭建后，为了训练网络以达到最优的性能，合理设置强化学习多尺度神经网络的MRI分割模型LGR-Net的整体损失函数L。分割模型LGR-Net的整体损失函数包括两部分，即基于多尺度分割子网络的损失函数Lseg和基于强化学习的数据增强子网络的损失函数Lrl，两个损失函数共同构成分割模型LGR-Net的整体损失函数L。
本发明构建多尺度分割子网络和强化学习数据增强子网络，两个子网络共同构成基于强化学习和多尺度卷积模块GMS分割模型LGR-Net。与现有的图像分割算法相比，更适用于解决多尺度炎症区域和难以识别的弥散模糊的炎症区域，从而提升炎症区域的分割精度和定量结果，实现对髋关节核磁共振影像MRI炎症区域的自动分割。其中多尺度分割子网络能够处理形状尺度差异大炎症的自动分割，数据增强子网络能够准确分割弥散、模糊的炎症区域，两者结合减小了对炎症区域的漏检和错检，提高对炎症区域的分割精度和定量分析精度。
实施例4
基于强化学习多尺度神经网络的MRI分割方法同实施例1-3，本发明步骤(3.1)中所述的构建多尺度分割子网络，用于多尺度炎症区域的分割，包括有如下步骤：
(3.1.1)设计多尺度卷积模块GMS：对比常用的不同尺寸和空洞率的卷积核，结合网络的大小限制，利用常用的空洞率d＝2、4、6，卷积核大小为3*3*3、5*5*5的6种卷积核和空洞率为d＝1，卷积核大小为1*1*1、3*3*3、5*5*5的3种卷积核进行并行组合，这种组合能够最大限度的提取多尺度信息同时控制网络大小，更大的卷积核和更多的卷积核个数能够帮助网络获取更多的尺度信息，同时也会增加网络的大小，导致网络训练难度加大。最后与一个1*1*1的卷积核串行组合，完成GMS模块搭建，GMS模块可用于多尺度信息的提取。
(3.1.2)构建多尺度的分割子网络：使用医学影像分割的主流网络3D ResUNet作为基础网络，该网络较3DResVNet对炎症区域的分割效果更佳。为了最大化利用3D ResUNet的浅层提取的数据特征信息，将3D ResUNet最后两层编码层中的卷积层，替换成GMS模块，能够最佳平衡浅层特征和多尺度特征的提取，替换浅层的卷积层会导致由于基础特征提取不充分，使得模型无法提取充分的高层多尺度的信息，而若替换解码层的卷积核，则会导致模型对高层的多尺度信息解译不够，影响分割精度。完成多尺度分割子网络的构建，用于形状尺寸差异大的炎症区域的分割。
本发明通过利用多尺度卷积模块GMS，分割网络能够自适应的应对形状尺寸差异大的炎症区域，准确识别不同尺寸的炎症区域，提升炎症区域的分割效果。
实施例5
基于强化学习多尺度神经网络的MRI分割方法同实施例1-4，本发明步骤(3.2)中所述的构建数据增强子网络，用于解决弥散、模糊炎症区域的分割，包括有如下步骤：
(3.2.1)利用强化学习构建数据增强子网络：考虑模型对数据增强的决策的序列性和当前整个模型的复杂性，采用强化学习的主流网络A3C用于对数据的增强，首先从整图MRI数据中的取块MRI数据x输入到多尺度分割子网络，得到GMS模块的输出特征图s，该特征图包含丰富的尺度信息和浅层特征，输出特征图s输入到强化学习网络A3C中，能够帮助强化学习网络A3C充分提取数据的信息。本发明从强化学习网络A3C的策略网络输出该取块MRI数据的增强方式a，增强方式a策略网络的输出结果，增强方式a包括旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本，用于对数据的增强。本发明在选择候选的数据增强方式时，考虑了数据的特性，由于数据集的质量、尺寸、亮度等差异较大，因此针对数据的特性选择了上述增强方式，帮助模型更好的适应数据的特征。
传统的数据增强方式一般是随机选择一种数据增强方式，本发明使用网络选择数据增强方式，帮助分割模型根据输入数据的特性选择最适合分割模型训练的数据增强方式。从强化学习网络的估计值函数网络输出对当前特征图的评价值估计v，用于强化学习损失函数的构建。
(3.2.2)设置强化学习的数据增强子网络的输出：设置强化学习的数据增强子网络的输出为增强方式a，用于对取块MRI数据x进行增强得到增强后的取块MRI数据x'，将增强后的数据输入到多尺度分割子网络继续训练网络，帮助网络充分学习弥散模糊样本，提升网络对弥散模糊样本的学习。
(3.2.3)设置强化学习的数据增强子网络的奖励信号：为帮助强化学习的数据增强子网络训练，使得数据增强子网络能够正确挖掘困难样本，将强化学习的数据增强子网络的奖励信号rt设置为数据增强取块MRI数据x分割结果的Dicet-1指标值与数据增强后的MRI数据x'的分割结果的Dicet指标值的差值，使得数据增强子网络聚焦于困难样本的挖掘：
rt＝Dicet-1-Dicet
训练数据的loss值变化量也可作为数据增强子网络的指标值，与Dice值的效果类似但不等价，最终的实验结果有一定差异。
(3.2.4)数据增强子网络搭建完成：将强化学习数据增强子网络的输入设置为多尺度分割子网络的GMS模块输出特征图，完成分割子网络和数据增强子网络的串联，设置数据增强子网络的输出为取块MRI数据的增强方式，完成数据增强子网络的搭建。
本发明利用强化学习和分割网络相结合，能够对弥散、模糊的炎症区域数据进行充分训练，相比现有的分割算法能够更好的识别弥散模糊的炎症区域，进而达到对炎症区域的准确分割。
实施例6
基于强化学习多尺度神经网络的MRI分割方法同实施例1-5，本发明步骤(3.4)中所述的多尺度分割子网络的损失函数Lseg，用于对分割子网络的训练，其表示如下：
Lseg＝Ldice+λ*Lwce
使用两种损失函数结合有利于网络对占比小的炎症区域充分学习，将dice损失函数Ldice和加权交叉熵损失函数Lwce结合构成基于多尺度分割子网络的损失函数Lseg。式中，C表示最大标签类别数目，log为对数函数，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10。
通过利用dice损失函数和交叉熵损失函数，分割模型能够很好的应对炎症区域占比小的问题，减小由于炎症区域和背景之间的数据不平衡带来的分割结果不佳的影响，同时针对多尺度炎症区域能够充分学习，提升分割模型对多尺度炎症区域的分割效果。
实施例7
基于强化学习多尺度神经网络的MRI分割方法同实施例1-6，步骤(3.4)中所述的设置整体损失函数，其中的数据增强子网络的损失函数Lrl，用于对强化学习数据增强子网络的训练，其表示如下：
Lrl＝LP+LV
LP＝logπ(at|st；θp)(Rt-V(st；θv))+βH(π(at|st；θp))
LV＝(Rt-V(st；θv))2
基于强化学习的数据增强网络中包含策略网络和值估计网络，损失函数Lrl由两个网络的损失函数LP和LV共同构成，有利于强化学习网络充分利用历史决策和当前估值对网络进行更新。其中，LP是数据增强子网络的策略网络的损失函数，LV是数据增强子网络的估计值网络的损失函数。
π(at|st；θp)为是数据增强子网络的策略函数，取值为0～1之间，表示数据增强子网络输出某种数据增强方式at的概率，at表示一种数据增强方式，考虑了数据集特性后确定的取值空间为旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本；V(st；θv)表示当前值估计网络模型对输入特征图st的评价值估计；θp表示数据增强子网络的策略网络的参数，st表示当前数据增强子网络的输入特征图，st+k表示t+k时刻子网络的输入特征图，V(st+k；θv)表示当前值估计网络模型对输入特征图st+k的评价值估计，θv表示数据增强子网络的估计值网络的参数，log表示对数计算方式。Rt表示从t到t+k的时间间隔内的估计折扣奖励，γ表示折扣因子，rt+i表示在t+i时刻数据增强子网络得到的奖励信号；H(π(at|st；θp))为决策的熵值；β因子控制着熵正则化项的比重。
通过设计强化学习网络模型的损失函数为训练数据dice值的前后变化，使得数据增强子网络能够更好的针对数据中的困难样本，如弥散、模糊的数据进行充分学习，使得分割子网络对弥散模糊的数据有更好的分割结果。
本发明提出的基于强化学习多尺度神经网络的MRI分割模型LGR-Net通过利用提出的多尺度卷积模块GMS，较好的解决了炎症区域分割中存在的由于尺度、大小、位置的不规则导致的分割效果差的问题，提升了多尺度炎症区域的分割性能。同时，通过引入强化学习的数据增强网络，使得分割模型LGR-Net关注模糊、弥散炎症区域样本的学习，减少了对模糊弥散炎症区域的漏检错检现象，进一步提升了分割模型LGR-Net对于炎症区域的分割性能。同时考虑炎症区域中体素值分布不均匀的问题，提出了一种体素约束策略，提升分割网络LGR-Net对体素值差异大的炎症区域的分割效果。本发明提出的基于强化学习多尺度神经网络的MRI分割模型LGR-Net能够适应炎症区域形状尺度差异大、弥散模糊的特点，对炎症区域进行准确分割。
下面给出一个整合在一起的例子对本发明进一步说明。
实施例8
基于强化学习多尺度神经网络的MRI分割方法同实施例1-7，参照图1，本实例基于强化学习的多尺度神经网络的核磁共振影像MRI影像炎症区域分割方法，其实现步骤如下：
步骤1构建样本集：首先从医院获取AS病人的MRI数据。为了保持数据的空间分辨率一致性，将全部核磁共振影像MRI变换到同一空间分辨率1*1*5下，也可变换到其他的空间分辨率，在本实例中空间分辨率设置为1*1*5取得了较好的效果。为保证数据的质量连续性对数据进行直方图匹配，选择一个体素值分布均匀的MRI影像数据作为模板，对其他数据进行直方图匹配，如图2所示，其中图2(a)为调整分辨率之前的MRI影像数据，图2(b)为调整分辨率之后的MRI影像数据，图2(c)为进行直方图匹配之后的MRI影像数据。
为帮助网络训练和测试，对所有MRI影像数据以3：1：1的比例进行随机划分训练集、验证集和测试集，不同的数据划分方式对结果有一定影响，本发明中3：1：1和5：1：4均能取得较好的结果。
步骤2根据炎症区域体素值修改炎症区域标签值：设置体素约束策略下的炎症区域标签值，其中yn为原始标签值，y′n为修改后的标签值，σ为加权值，本实例中设置为σ＝0.9，取得了最佳的效果，过小的值会因为损失函数中的log对数函数而损害模型的训练，过大的值会降低体素约束策略的效果，pmax为当前MRI数据的最大体素值，pn为第n个MRI数据的体素的数值，ρ为超参数保证分母不为零：
由于炎症区域的体素值差异大导致的炎症区域分割效果差，结合炎症区域特性设计一种体素约束策略来修改炎症区域的标签值，从而提高体素值差异大的炎症区域的分割效果。
步骤3构造基于强化学习多尺度神经网络分割模型LGR-Net：针对炎症区域形状尺寸差异大导致分割效果不佳的问题，利用不同尺寸和空洞率的卷积核组合构成能够处理形状尺寸不同的多尺度卷积模块GMS。利用主流的医学图像分割网络3D ResUNet，在原始3DResUNet网络结构基础上，引入多尺度卷积模块GMS，用于获取MRI数据中炎症区域的区域多尺度特性，降低由于炎症区域尺度差异导致的漏分割问题。同时为了解决炎症区域中的模糊和弥散的问题，在分割模型中引入强化学习机制，强化对模糊和弥散样本的学习，以解决对弥散模糊样本分割不佳的问题。
3.1)搭建多尺度分割子网络：结合不同大小卷积核能够提取不同尺度信息的属性，提出由9个不同空洞率和不同尺寸的卷积核并行连接，再与一个空间卷积核串行连接组成的GMS模块，主要用于炎症区域多尺度信息的提取。采用主流的深度全卷积神经网络的骨干网络3D ResUNet，将多尺度卷积模块GMS替换3D ResUNet编码层最后两层，最大化利用3DResUNet的浅层网络提取的特征信息，从而提取炎症区域的多尺度信息，完成多尺度分割子网络的搭建。
3.2)搭建强化学习的数据增强子网络：针对分割模型对模糊弥散炎症分割效果差的现象，利用主流的强化学习网络A3C，构建强化学习网络模型A3C，用于炎症区域中弥散模糊样本的挖掘。以3D ResUNet编码层的最后一层GMS模块的输出特征图s作为强化学习网络模型的输入，帮助强化学习网络更好利用炎症区域的多尺度信息，输出对数据的增强方式，完成强化学习的数据增强子网络的搭建。
3.3)设置分割模型整体损失函数：设置基于强化学习多尺度神经网络分割模型LGR-Net的整体损失函数L，考虑分割模型的结构特性，设置整体损失函数由基于多尺度分割子网络的损失函数Lseg和基于强化学习数据增强子网络的损失函数Lrl两部分构成，设置两部分的损失函数分别为：
3.3.1)设置基于多尺度分割子网络的损失函数Lseg：
Lseg＝Ldice+λ*Lwce
利用不同的损失函数组合能够帮助网络充分利用不同损失函数的优势，对炎症区域进行充分学习，dice损失函数和交叉熵损失函数是常用的医学图像分割损失函数。设置基于多尺度分割子网络的损失函数Lseg由dice损失函数Ldice和加权交叉熵损失函数Lwce两部分构成。C表示最大标签类别数目，log为对数函数，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10，不同的取值影响分割结果，在本实例中λ＝10取得了最好的结果。
3.3.2)设置基于强化学习的数据增强子网络的损失函数Lrl如下：
Lrl＝LP+LV
LP＝logπ(at|st；θp)(Rt-V(st；θv))+βH(π(at|st；θp))
LV＝(Rt-V(st；θv))2
结合强化学习数据增强子网络的特性，将数据增强子网络的策略函数和估计值函数对应的损失函数结合共同协助网络的训练，以帮助网络利用历史决策信息和状态估计信息完成对网络的训练。设置损失函数Lrl由LP和LV两部分构成，LP是数据增强子网络的策略网络的损失函数，LV是数据增强子网络的估计值网络的损失函数。π(at|st；θp)表示数据增强网络模型输出某种数据增强方式at的概率，取值为0～1之间；V(st；θv)表示当前值估计网络模型对输入特征图st的评价值估计；at取值空间为旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本，表示一种数据增强方式，本发明中尝试减少数据增强方式，导致最终的分割性能有一定下降。st表示当前子网络的输入特征图，st+k表示t+k时刻子网络的输入特征图；θp表示数据增强子网络的策略网络的参数，θv表示数据增强子网络的估计值网络的参数；log表示对数计算方式。Rt表示从t到t+k的时间间隔内的估计折扣奖励，γ表示折扣因子，rt+i表示在t+i时刻数据增强子网络得到的奖励信号；V(st+k；θv)表示当前值估计网络模型对输入特征图st+k的评价值估计；H(π(at|st；θp))为决策的熵值；β因子控制着熵正则化项的比重。
步骤4对基于强化学习多尺度神经网络分割模型LGR-Net进行训练：
4.1)设置网络训练方式：
使用截断的正态分布对网络权重进行初始化，将训练的初始学习率设置为0.001，训练epoch设置为200，每一个epoch设置2000次迭代，过大的迭代次数会导致分割模型过拟合，影响最终的分割性能，过小的迭代次数会导致模型不收敛。批数目大小和输入数据尺寸由仿真平台决定，在平台性能允许范围内，大的批数目和输入数据尺寸能增强网络的最终性能，在本仿真平台中每一代的批数目设置为4，输入数据尺寸为128*128*8。
4.2)训练：
使用步骤1得到的MRI影像数据对网络进行训练，训练时随机选取MRI影像数据，使用该影像数据输入到强化学习数据增强子网络中得到下一步数据增强方式。使用Adam优化算法优化步骤3中设置的损失函数L，每隔10个epoch验证样本集指标不提升则衰减一次学习率至当前学习率的0.1，不同的学习率设置和衰减方式对模型的训练影响很大，本实例中的学习率和衰减方式为多次实验得到的最优配置。训练完成后得到训练好的基于强化学习多尺度神经网络分割模型LGR-Net网络参数保存到基于强化学习多尺度神经网络分割模型LGR-Net模型中。
步骤5对MRI影像数据进行炎症区域分割，得到炎症区域的分割区域、分割精度和炎症区域定量结果：
将步骤1中划分的测试数据集输入到步骤4中训练完成的基于强化学习空间多尺度神经网络分割模型LGR-Net，输出测试数据的炎症区域分割结果，得到测试数据的分割精度和定量结果。
以下结合仿真实验结果对本发明的技术效果再做说明：
实施例9
基于强化学习多尺度神经网络的MRI分割模型LGR-Net同实施例1-8。
仿真条件：
仿真实验采用第四军医大学西京医院放射科采集的脊椎关节炎病人3D影像数据，共101例MRI影像数据，所有数据由第四军医大学西京医院临床医生标注。本实例从所有病人MRI数据中选取一例MRI数据作为测试，选取一张切面示例数据展示，如图3所示。
本发明的仿真试验平台是Intel Core i7-9700K CPU 3.6GHz，内存为128GB，显卡为Nvidia RTX2080Ti的PC机，仿真平台为Ubuntu18.04操作系统，使用Tensorflow深度学习框架，采用Python语言实现。
仿真内容及结果分析：
分别利用现有医学影像分割技术UNet方法和本发明，对图3所示的MRI示例数据进行炎症区域分割，图3中虚线方框内为炎症所在区域，图4为现有技术UNet方法对图3虚线方框内的分割结果，图5为用本发明对图3虚线方框内的分割结果。
参见图4，图4为UNet方法对图3虚线方框内炎症区域的分割结果，图4中白色框选区域为炎症区域，白色框是本发明为展示结果手工标注的，图4中灰色区域为UNet方法的检出结果，图4中左上角的炎症区域UNet方法成功检出，图4中左下角两个炎症区域UNet方法未标注为炎症区域，结果显示未检出。
从图4的结果可以看出，UNet方法在分割炎症区域时容易产生漏检、错检的问题。
参见图5，图5为本发明对图3虚线方框内炎症区域的分割结果，图5中白色框选区域为炎症区域，白色框是本发明为展示结果手工标注的，图5中灰色区域为本发明检出结果，图5左下角炎症区域由于整体体素值较低，与周围正常区域区分不明显，一般分割方法难以区分，本发明能够应对体素值低炎症区域的识别，对图5中左上角和左下角的炎症区域本发明均能检出。图4和图5为不同方法对图3中同一炎症区域的分割结果，本发明和现有分割方法均能够对图3左上角炎症区域进行准确分割，对图3中左下角炎症区域，图4中UNet方法未能分割出炎症区域，图5中利用本发明能够对左下角的炎症区域实现准确分割。
从图5的结果可以看出，本发明提高了分割模型对多尺度炎症区域的分割能力，减小了漏检、错检的发生。将本发明的仿真结果与真实标注结果进行对比，本发明的dice指标由现有技术UNet方法的63.9％提高到了71.4％。
综上，本发明提出的基于强化学习多尺度神经网络的MRI分割模型LGR-Net通过利用提出的多尺度卷积模块GMS，较好的解决了炎症区域分割中存在的由于尺度、大小、位置的不规则导致的分割效果差的问题，提升了多尺度炎症区域的分割性能。同时，通过引入强化学习的数据增强网络，使得分割模型LGR-Net关注模糊、弥散炎症区域样本的学习，减少了对模糊弥散炎症区域的漏检错检现象，进一步提升了分割模型LGR-Net对于炎症区域的分割性能。同时考虑炎症区域中体素值分布不均匀的问题，提出了一种体素约束策略，提升分割网络LGR-Net对体素值差异大的炎症区域的分割效果。本发明提出的基于强化学习多尺度神经网络的MRI分割模型LGR-Net能够适应炎症区域形状尺度差异大、弥散模糊的特点，对炎症区域进行准确分割。
Claims (6)
1.一种基于强化学习多尺度神经网络的MRI分割方法，其特征在于，包括有如下步骤：
(1)划分训练、验证和测试样本集：获取AS病人的核磁共振影像MRI数据，构建训练样本集和测试样本集，将核磁共振影像MRI数据变换到同一空间分辨率，选择一个体素值分布均匀的MRI数据作为模板数据，对剩余MRI数据进行直方图匹配，减少数据之间的差异性；应用随机选择的方法按照3：1：1的比例划分MRI影像数据的MRI训练样本集，验证样本集和测试样本集；
(2)设置MRI炎症区域标签值：采用体素约束策略，根据获取的MRI数据的体素值大小以反指数比例修改体素的炎症区域标签值，得到修改的炎症区域标签值；
(3)搭建能够处理多尺度和弥散模糊炎症区域的基于强化学习多尺度神经网络的MRI分割模型LGR-Net：设计不同空洞率和不同尺寸卷积核构成的多尺度卷积模块GMS，用多尺度卷积模块GMS构建用于处理炎症区域形状尺寸差异大的多尺度分割子网络，构建能够处理弥散模糊炎症区域的基于强化学习的数据增强子网络，将构建好的多尺度分割子网络和数据增强子网络并行连接搭建成基于强化学习多尺度神经网络的MRI分割模型，简称分割模型；搭建基于强化学习多尺度神经网络的MRI分割模型LGR-Net，包括有如下步骤：
(3.1)构建多尺度分割子网络：首先由9个不同空洞率和不同尺寸的卷积核并行连接，再与一个空间卷积核串行连接组成多尺度卷积模块GMS，把卷积神经网络中骨干网络3DResUNet最后两层编码层中的卷积层，替换成多尺度卷积模块GMS，构建成多尺度分割子网络；
(3.2)构建数据增强子网络：首先搭建强化学习网络A3C，该强化学习网络的输入为多尺度分割子网络编码层的最后一层GMS模块的输出特征图，该网络的输出为数据增强方式，构建成能够处理弥散模糊炎症区域的数据增强子网络，输出对输入数据的增强方式；
(3.3)完成分割模型的构建：由构建完成的多尺度分割子网络和数据增强子网络并行连接完成基于强化学习多尺度神经网络的MRI分割模型LGR-Net的构建，输入MRI数据，输出MRI数据的分割结果；
(3.4)设置损失函数：设置强化学习多尺度神经网络的MRI分割模型LGR-Net的整体损失函数L，整体损失函数包括两部分，其中一个是多尺度分割子网络的损失函数Lseg，另一个是数据增强子网络的损失函数Lrl；
(4)网络训练：用MRI影像数据训练样本集和修改的炎症区域标签值训练分割模型，将训练后的网络参数保存在分割模型中，得到训练后的分割模型；
(5)得到分割结果：将MRI测试样本集输入到训练后的分割模型中，得到所获取的MRI测试样本集的分割结果、分割精度和炎症区域的定量结果。
2.根据权利要求1所述的基于强化学习多尺度神经网络的MRI分割方法，其特征在于，步骤(2)中所述的体素约束策略是通过MRI数据的体素值修改炎症区域标签值，具体是将原始炎症区域标签值根据MRI数据的体素值进行修改：
根据MRI数据的体素值大小修改原始炎症区域标签值，其中yn为原始标签值，y′n为修改后的标签值，σ为加权值，pmax为当前MRI数据的最大体素值，pn为第n个MRI数据的体素的数值，ρ为超参数保证分母不为零。
3.根据权利要求1或2所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net，其特征在于，步骤(3.1)中所述的构建多尺度分割子网络，包括有如下步骤：
(3.1.1)将空洞率d＝2、4、6，卷积核大小为3*3*3、5*5*5的6种卷积核和空洞率为d＝1，卷积核大小为1*1*1、3*3*3、5*5*5的3种卷积核进行并行组合，再与一个1*1*1的卷积核串行组合，组成GMS模块；
(3.1.2)将骨干网络3D ResUNet最后两层编码层中的卷积层，替换成GMS模块，完成多尺度分割子网络的构建。
4.根据权利要求1或2所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net，其特征在于，步骤(3.2)中所述的构建数据增强子网络，包括有如下步骤：
(3.2.1)将从整图MRI数据中的取块MRI数据x输入到多尺度分割子网络，得到GMS模块的输出特征图s，输入到强化学习网络A3C，从强化学习网络的策略网络输出该取块MRI数据的增强方式a，包括旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本，从强化学习网络的估计值函数网络输出对当前特征图的评价值估计v；
(3.2.2)利用该增强方式a对取块MRI数据x进行增强，增强后的取块MRI数据x'输入到多尺度分割子网络继续训练网络；
(3.2.3)设置强化学习子网络的奖励信号为数据增强取块MRI数据x分割结果的Dicet-1指标值与数据增强后的MRI数据x'的分割结果的Dicet指标值的差值：
rt＝Dicet-1-Dicet
(3.2.4)完成数据增强子网络的搭建。
5.根据权利要求1或2所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net，其特征在于，步骤(3.4)中所述的多尺度分割子网络的损失函数Lseg，其表示如下：
Lseg＝Ldice+λ*Lwce
基于多尺度分割子网络的损失函数Lseg由dice损失函数Ldice和加权交叉熵损失函数Lwce两部分构成，其中，C表示最大标签类别数目，log为对数函数，N表示像素点总个数，c表示类别序号，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0，ε是常数，防止dice损失函数Ldice分母为0，一般取ε＝10-5，λ为比例系数，权衡两个损失函数的比例关系，这里取λ＝10。
6.根据权利要求1或2所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net，其特征在于，步骤(3.4)中所述的数据增强子网络的损失函数Lrl，其表示如下：
Lrl＝LP+LV
LP＝logπ(at|st；θp)(Rt-V(st；θv))+βH(π(at|st；θp))
LV＝(Rt-V(st；θv))2
其中，损失函数Lrl由LP和LV两部分构成，LP是数据增强子网络的策略网络的损失函数，LV是数据增强子网络的估计值网络的损失函数；
π(at|st；θp)取值为0～1之间，表示数据增强子网络输出某种数据增强方式at的概率；V(st；θv)表示当前值估计网络模型对输入特征图st的评价值估计；at表示一种数据增强方式，取值空间为旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本；st表示当前子网络的输入特征图，st+k表示t+k时刻子网络的输入特征图；θp表示数据增强子网络的策略网络的参数，θv表示数据增强子网络的估计值网络的参数；log表示对数计算方式；
Rt表示从t到t+k的时间间隔内的估计折扣奖励，γ表示折扣因子，rt+i表示在t+i时刻数据增强子网络得到的奖励信号；V(st+k；θv)表示当前值估计网络模型对输入特征图st+k的评价值估计；H(π(at|st；θp))为决策的熵值；β因子控制着熵正则化项的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010591088.4A CN111784652B (zh) | 2020-06-24 | 2020-06-24 | 基于强化学习多尺度神经网络的mri分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010591088.4A CN111784652B (zh) | 2020-06-24 | 2020-06-24 | 基于强化学习多尺度神经网络的mri分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784652A CN111784652A (zh) | 2020-10-16 |
| CN111784652B true CN111784652B (zh) | 2024-02-06 |
Family
ID=72759776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010591088.4A Active CN111784652B (zh) | 2020-06-24 | 2020-06-24 | 基于强化学习多尺度神经网络的mri分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784652B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362350B (zh) * | 2021-07-26 | 2024-04-02 | 海南大学 | 癌症病历图像的分割方法、装置、终端设备和存储介质 |
| CN114897922B (zh) * | 2022-04-03 | 2024-04-26 | 西北工业大学 | 一种基于深度强化学习的组织病理图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110659692A (zh) * | 2019-09-26 | 2020-01-07 | 重庆大学 | 基于强化学习和深度神经网络的病理图像自动标注方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
-
2020
- 2020-06-24 CN CN202010591088.4A patent/CN111784652B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN110659692A (zh) * | 2019-09-26 | 2020-01-07 | 重庆大学 | 基于强化学习和深度神经网络的病理图像自动标注方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 颜宇 ; 陈帆 ; 和红杰 ; .基于边界增强损失的海马体分割算法.光电子・激光.2020,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784652A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862066B (zh) | 基于深度学习的脑瘤图像分割方法、装置、设备及介质 | |
| Pauchard et al. | Interactive graph-cut segmentation for fast creation of finite element models from clinical ct data for hip fracture prediction | |
| CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| CN110110723B (zh) | 一种图像中目标区域自动提取的方法及装置 | |
| CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
| CN111784704B (zh) | Mri髋关节炎症分割与分类自动定量分级序贯方法 | |
| CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
| CN111784652B (zh) | 基于强化学习多尺度神经网络的mri分割方法 | |
| Langner et al. | Kidney segmentation in neck-to-knee body MRI of 40,000 UK Biobank participants | |
| Liu et al. | Auxiliary segmentation method of osteosarcoma MRI image based on transformer and U-Net | |
| CN116703901B (zh) | 肺部医学ct影像分割及分类装置及设备 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN112802025A (zh) | 一种ct图像下肝脏肿瘤的分割方法与装置 | |
| CN115100310A (zh) | 一种磁共振磁敏感伪影的自动提示方法及系统 | |
| CN116228767B (zh) | 基于计算机视觉的x光肺部肿块图像处理方法 | |
| CN111325758A (zh) | 肺部图像分割方法及装置、图像分割模型的训练方法 | |
| CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| CN111292304A (zh) | 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| CN114842960A (zh) | 一种基于ct影像和临床数据评估新冠患者病情进展和预后的方法 | |
| CN114331996A (zh) | 基于自编码解码器的医学影像分型方法及系统 | |
| CN113450306A (zh) | 提供骨折检测工具的方法 | |
| CN116051467B (zh) | 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置 | |
| CN115359060B (zh) | 一种肺炎ct影像的病灶实例分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |