CN113706491B - 基于混合注意力弱监督迁移学习的半月板损伤分级方法 - Google Patents
基于混合注意力弱监督迁移学习的半月板损伤分级方法 Download PDFInfo
- Publication number
- CN113706491B CN113706491B CN202110958505.9A CN202110958505A CN113706491B CN 113706491 B CN113706491 B CN 113706491B CN 202110958505 A CN202110958505 A CN 202110958505A CN 113706491 B CN113706491 B CN 113706491B
- Authority
- CN
- China
- Prior art keywords
- meniscus
- attention
- image
- network
- injury
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010072970 Meniscus injury Diseases 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013508 migration Methods 0.000 title description 5
- 230000005012 migration Effects 0.000 title description 5
- 230000005499 meniscus Effects 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000006378 damage Effects 0.000 claims abstract description 27
- 238000003745 diagnosis Methods 0.000 claims abstract description 21
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 20
- 208000014674 injury Diseases 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 238000003759 clinical diagnosis Methods 0.000 claims abstract description 10
- 238000013526 transfer learning Methods 0.000 claims abstract description 5
- 210000000629 knee joint Anatomy 0.000 claims description 40
- 210000003127 knee Anatomy 0.000 claims description 37
- 238000012360 testing method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000005315 distribution function Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 206010061245 Internal injury Diseases 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 claims 1
- 238000006467 substitution reaction Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005481 NMR spectroscopy Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 32
- 230000000694 effects Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000002679 ablation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 208000016593 Knee injury Diseases 0.000 description 1
- 208000026137 Soft tissue injury Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合注意力弱监督迁移学习的半月板损伤分级方法，主要解决现有方法对半月板损伤程度分级难度大且缺乏临床可解释性的问题。其方案是：通过目标检测网络对半月板区域定位生成半月板区域图像数据集；再对上述数据进行二维直方图均衡化增强操作；然后利用迁移学习预训练网络提取增强后图像的显著性特征，生成特征图，同时利用弱监督注意力学习，生成增强后图像的注意力地图；最后通过双线性注意力池化算法，结合特征图和注意地图对半月板损伤等级进行分类，得到可视化的半月板损伤分级结果。本发明实现了临床上对半月损伤分级自动化诊断的需求，提高了深度学习在临床诊断上的可解释性，可用于对核磁共振病灶的图像检测和分类。
Description
技术领域
本发明是属于图像处理技术领域，主要涉及一种人体膝盖半月板定位与损伤分级方法，可用于对核磁共振病灶的图像检测和分类。
背景技术
膝关节是人体最复杂的关节，在负重和多轴运动中起着重要作用。因此损伤的概率较高，而半月板损伤是膝关节损伤中最常见的一种。生理状态下的半月板在维持膝关节稳定、缓冲冲击、润滑关节等方面起着重要作用。受伤的半月板会引起膝关节疼痛、肿胀和关节锁定，严重限制了患者的活动能力。
磁共振成像MRI是对组织具有最高分辨率的影像学检查方法。与x线片和CT检查相比，MRI在诊断膝关节软组织损伤，尤其是半月板和韧带的微小结构损伤方面具有明显优势，是膝关节半月板损伤影像学诊断的“金标准”。在诊断准确率方面，主要依赖医生的经验和水平，临床研究结果显示，目前在临床医生进行人工阅片时，利用MRI影像对半月板的诊断准确率仅在75％以上，这种低准确率的原因主要是低年资医生缺乏诊断经验。在诊断效率的问题上，由于膝关节MRI影像数据量巨大且半月板区域非常小，医生诊断的过程非常耗费时间和精力。为了解决这种传统人工查阅 MRI影像数据进行诊断的方法中存在的这些问题，结合先进的计算机技术来实现自动化诊断为临床诊断膝盖半月板损伤提供了新的思路。
近年来，膝关节半月板损伤的计算机辅助诊断系统不断被提出并优化。早期提出的膝盖半月板损伤自动检测方法大多基于传统的机器学习方法。如SaygiliA、Albayrak S等人在2017年和2018年运用膝关节MRI影像对半月板损伤进行检测和分类，分别采用了模糊c均值法和梯度方向直方图法。虽然这些方法可以有效地自动检测半月板损伤，但该方法只能对是否有损伤进行判断，而且方法过于传统，诊断精度和效率均有限。
后来随着人工智能技术的快速迭代和成熟，越来越多的方法被应用于医学，特别是在影像学诊断上获得了良好的辅助效果，为临床诊断提供了定量和自动化解决方案。通过参考近年来发表的一些关于膝关节半月板损伤自动诊断的文章，他们的目标基本都只是对膝关节半月板的检测和损伤的二值分类，即无损伤和有损伤。2019年CouteauxV、Si-Mohamed S等人提出了使用Mask-RCNN网络实现膝关节半月板撕裂的自动检测和方向分类。同年，Roblo TV等人针对类似的问题和相同的公共数据集，也提出了半月板撕裂的深度卷积神经网络的二值分类方法。除此之外，Bien等人提出了他们用于检测半月板撕裂的深度卷积神经网络模型MRNET，在检测半月板撕裂的结果上，其工作特征曲线指标AUC为0.847，是目前效果最好的方法之一。虽然上述关于深度学习在膝盖半月板损伤的诊断上已经达到理想的精度和自动化程度，但是他们的解决方案只局限于半月板损伤的二值分类上且不具有可解释性，不能满足临床上更高的需求。
在临床实践中，医生不仅需要诊断半月板是否有损伤，还需要描述损伤的严重程度，从而指导临床决策，为下一步提出合理的治疗方案提供依据。因此迫切需要一种能进行膝关节半月板损伤程度更细致分析的自动诊断和分级方法，使医生能够在更短的时间内对患者提供更准确、一致的评估。此外，标准放射学报告中结果数据越详细越丰富，对转诊医生和患者描述解剖和病理的可视化表述就越有用。
综上所述，不管是传统的机器学习方法还是目前效果较好的深度卷积神经网络方法，虽然都能够实现自动化诊断膝盖半月板损伤，但在实际临床应用中依然缺乏可解释性和实用性。一方面是因为这些方法的整个处理流程属于一个黑盒，诊断过程无法可视化缺乏可靠性，其诊断结果使医生和患者都难以理解和信任；另一方面这些方法只解决了是否有损伤的二分类问题，没有对损伤的严重程度区分等级，无法满足临床诊断和治疗的需求。
发明内容
本发明的目的在于提出一种基于混合注意力弱监督迁移学习的半月板损伤分级方法，以解决现有技术不能对膝盖半月板损伤的严重程度进行等级区分的问题，并通过对膝盖半月板内部损伤情况的可视化展示，提高可解释性，为临床诊断提供更可靠的依据。
为实现上述目的，本发明的实现方案包括如下：
(1)获取膝关节MRI影像的数据集：
(1a)从获取到的2000例膝关节MRI影像检查数据中剔除有手术史、有关节内固定病史这些不满足临床诊断膝盖半月板损伤要求的数据；
(1b)从(1a)选出的数据中利用矢状位和冠状位切片图像，组成用于半月板区域定位的数据集，并将其中的60％作为训练集，40％作为测试集；
(1c)对(1b)获得的半月板区域定位数据集中所有的膝关节MRI影像，标注出半月板的标签及它们所在的位置信息，生成xml格式文件，再将其制作成VOC2007格式的数据集；
(2)将(1b)中所得训练集的膝关节MRI影像和(1c)中获得的VOC2007格式的半月板样本标签及它们的位置信息输入到现有的Faster R-CNN网络中进行训练，得到膝关节半月板检测网络的训练模型；
(3)获取半月板区域的数据集：
(3a)将(1b)中测试集的膝关节MRI影像作为输入，利用(2)中得到的模型进行测试，获得目标检测结果，即半月板及周围小范围区域及它们对应的位置坐标信息(xaya,xbya,xayb,xbyb)；
(3b)对(3a)中获得的半月板及周围小范围区域进行裁剪和尺度变换，得到用于对半月板内部损伤进行分级的图像数据集；
(4)对半月板图像进行数据增强：
(4a)将(3b)中获得的图像数据集进行二维直方图均衡化操作，生成增强后的半月板图像数据集；
(4b)根据Fischer分级诊断标准，将增强后的半月板数据集中的图像标记为半月板损伤程度0级、I级、II级、III级这四个类别标签信息；
(4c)将已获得类别标签的半月板图像数据集按照6:4的比例划分为半月板损伤分类的训练集和测试集；
(5)构建由特征提取模块、弱监督注意力模块和双线性注意池化模块依次级联，且弱监督注意力模块的输出反馈到特征提取模块前组成的核心网络W；
(6)训练后膝盖半月板损伤分级模型：
(6a)设定学习率为0.001，动量为0.9，批量大小为8，重量衰减为0.00001，注意力地图数量为128，将(4c)中得到的半月板损伤分类的训练集及其对应的类别标签输入到核心网络W中训练；
(6b)使用随机梯度下降优化器，每次从训练集中随机选择一个样本进行学习来更新模型参数，经过40次迭代训练后获得膝盖半月板损伤分级模型；
(7)将(4c)中半月板损伤分类的测试集数据输入到膝盖半月板损伤分级模型中进行测试，得到预测的类别结果，同时输出损伤信号可视化的注意力热图。
本发明与现有技术相比具有如下优点：
第一，临床实用性强。本发明通过对半月板损伤程度进行四个等级的分类，解决了现有方法仅局限于是否有损伤的二分类问题，在临床实践中，医生不仅需要诊断半月板是否有损伤，还需要描述损伤的严重程度，从而指导临床决策，为下一步提出合理的治疗方案提供依据，因此对半月板损伤程度进行精细的等级分类更符合临床诊断需求；
第二，具有可解释性。本发明通过利用迁移学习和弱监督注意力学习精准关注到具有可区别性的信号，并输出可视化的结果，即临床上用于判断损伤程度的特征性信号，有效解决了现有方法缺乏对临床可解释性的问题，更利于患者了解自身半月板损伤的程度。
附图说明
图1是本发明的实现流程框图；
图2是本发明中构建的核心网络架构图。
图3图2中特征提取模块的网络结构图。
图4是用本发明对膝盖半月板定位的可视化结果图。
图5是用本发明对膝盖半月板内部损伤信号进行等级分类的注意力热图。
具体实施方式
下面结合附图对本发明实施例和效果进行详细描述。
参照图1，本实施例的实现步骤包括如下：
步骤1.获取膝关节MRI影像的数据集。
1.1)从三级甲等医院的影像科获取2000例膝关节MRI影像检查的数据，并剔除有手术史、有关节内固定病史这些不满足临床诊断膝盖半月板损伤要求的数据；
1.2)从1.1)选出的数据中利用矢状位和冠状位切片图像，组成用于半月板区域定位的数据集，并将其中的60％作为训练集，40％作为测试集；
1.3)对1.2)获得的半月板区域定位数据集中所有的膝关节MRI影像，标注出半月板的标签及它们所在的位置信息，生成xml格式文件，再将其制作成VOC2007格式的数据集。
步骤2.利用获取膝关节MRI影像的数据集对现有的Faster R-CNN网络进行训练，得到膝关节半月板检测网络的训练模型。
所述FasterR-CNN网络由卷积神经网络特征提取模块、区域候选网络RPN模块、边框回归网络模块和二分类网络模块级联组成。
本步骤的具体实现如下：
2.1)将1.2)中所得训练集的膝关节MRI影像和1.3)中获得的VOC2007格式的半月板样本标签及它们的位置信息输入到该FasterR-CNN网络中；
2.2)通过该FasterR-CNN网络中的卷积神经网络特征提取模块，获取膝关节MRI影像的特征图，再通过特征图经过区域候选网络RPN模块，生成每个像素点映射到输入原图像中的锚点，再以每个锚点为中心设置九个候选框，并通过二分类网络确定每个候选框中是否包含目标，输出包含目标的概率值；
2.3)通过边框回归网络模块的回归分支对二分类网络模块确定的目标候选框位置与标签标注的目标位置进行差值，计算得到两者之间的偏差，获得候选框所需要的平移量以及变换尺度大小；
2.4)根据2.3)中得到的候选框所需要的平移量以及变换尺度大小，对候选框平移量和变化尺度大小进行变换，再由区域候选网络模块的提取层得到平移和尺度变换后更精确的候选框，并保留在该位置处由二分类网络模块给出概率最高的候选框，其坐标信息为(xaya,xbya,xayb,xbyb)，其中xaya、xbya、xayb、xbyb这些值分别代表候选框的上下左右四个点在图像中的坐标；
2.5)分别计算二分类网络的交叉熵损失函数Lcls(pi,pi *)和边框回归网络的平滑正则项损失函数将这两个函数进行相加，得到损失函数LF：
其中，λ为权重参数，取值为10，σ为控制平滑正则项损失函数平滑程度的参数，取值为3，Ncls为候选框的个数，Nreg为特征图的大小，pi表示第i个候选框被二分类网络预测为包含目标的概率，表示第i个候选框中只包含目标为1的真实标签，ti表示边框回归网络预测的第i个候选框的偏移量，/>表示第i个候选框相对于标注的区域的真实偏移量；
2.6)使用Adam优化器最小化(2e)得到的损失函数LF，再通过优化器对损失函数 LF进行反向传播，以实现对二分类网络和边框回归网络的优化，直到损失函数LF收敛，得到训练好的膝关节半月板检测网络模型。
步骤3.获取半月板损伤分级的图像数据集。
3.1)将1.2)中测试集的膝关节MRI影像作为输入，利用膝关节半月板检测网络模型进行测试，获得半月板及周围小范围区域的位置坐标信息(xaya,xbya,xayb,xbyb)，如图4，其中方框所示位置即为该模型定位到的半月板及周围小范围区域；
3.2)利用3.1)中获得的半月板及周围小范围区域的位置坐标信息(xaya,xbya,xayb,xbyb)，计算得到裁剪块的大小：s＝width·hight，其中，width＝xb-xa表示裁剪块的宽度，hight＝yb-ya表示裁剪块的高度；
3.3)根据裁剪块的大小s，将半月板及周围小范围区域从目标检测的候选框中裁剪出来，生成半月板分类图像并另存为新的数据文件；
3.4)对3.3)中生成的数据文件中的半月板分类图像进行尺度变换，将图像尺度统一调整为224×224×3，形成半月板损伤分级的图像数据集。
步骤4.对半月板损伤分级的图像进行数据增强，获得半月板损伤分类数据集。
4.1)对3.4)获得的半月板损伤分级的图像数据集中的半月板及周围小范围区域图像x，计算其二维直方图hx(m,n)：
上式中x(·)表示像素值，其中k＝-[ω/2]，l＝-[ω/2]，ω是奇数，确定ω×ω大小的像素，(i,j),(i+k,j+l)表示像素点在半月板及周围小范围区域图像x中的坐标，xm,xn分别表示图像x中任意两个像素点的值，K表示灰度级总数，/>为二元函数，如下式所示：
4.2)对二维直方图进行归一化，得到累积分布函数：其中 hx(i,j)是坐标为(i,j)的像素点的二值直方图，m表示该区域图像x中的第m个像素点；
4.3)计算二维目标最优概率分布函数ht：
ht＝{hl(m′,n′)＝1/L2|1≤m′≤L,1≤n′≤L}
其中L表示该区域图像的灰度级总数，m′,n′分别表示区域图像x横坐标和纵坐标，hl(m′,n′)表示坐标为(m′,n′)的像素点的二值直方图；
4.4)再将二维目标最优概率分布函数ht代入累计分布函数Px(m)中，得到二维目标的累积分布函数：其中，ht(i,j)表示坐标为(i,j)像素点的最优概率分布函数，通过该二维目标累积分布函数Pt(m′)实现半月板区域图像x的概率密度均匀分布，使像素从原灰度空间映射到二维直方图均衡化后的灰度空间，得到二维直方图均衡化增强后的半月板损伤分类数据；
4.5)根据Fischer分级诊断标准，将增强后的半月板损伤分类数据集中的图像标记为半月板损伤程度0级、I级、II级、III级这四个类别标签信息；
4.6)将已获得类别标签的半月板损伤分类数据集按照6:4的比例划分为半月板损伤分类的训练集和测试集；
步骤5.构建核心网络W。
参照图2，本步骤构建的核心网络W包括建立特征提取模块、弱监督注意力模块和双线性注意池化模块，各模块的结构及功能如下：
5.1)建立特征提取模块：用于提取半月板分类图像的特征并生成特征地图F其结构由第一卷积层Conv3×3、16个移动翻转瓶颈卷积层MBConv、第二卷积层Conv 和全局平均池化层Pooling依次级联构成，如图3(a)所示，其中第一卷积层的卷积核大小为3×3，第二卷积层的卷积核大小为1×1，每个移动翻转瓶颈卷积层由升维卷积层、切除卷积层、压缩激发层和降维卷积层级联构成，如图3(b)和图3(c)所示，其中图3(b)是卷积核大小为1×1的移动翻转瓶颈卷积层结构，图3(c)是卷积核大小为6×6的移动翻转瓶颈卷积层结构；
5.2)建立弱监督注意力模块：用于生成注意力地图A、裁剪掩膜和下降掩膜；其结构由卷积核大小为1×1的卷积层、注意力裁剪操作算子Ck(i,j)和注意力下降操作算子Dk(i,j)构成；
5.2.1)弱监督注意力模块中的注意力裁剪操作算子Ck(i,j)和注意力下降操作算子 Dk(i,j)，分别表示如下：
其中θc、θd分别表示注意力裁剪和注意力下降的阈值，设定为θc∈[0,1],θd∈[0,1]，(i,j)表示注意图的坐标参数，Ak *为注意力地图A归一化后的增强注意力地图，Ak *(i,j)表示坐标参数为(i,j)的增强注意力地图。
5.3)建立双线性注意池化模块：用于得到半月板损伤分类图像的特征矩阵及分类结果，其结构由一个双线性注意池化层和全连接层构成。
5.4)将上述的特征提取模块、弱监督注意力模块和双线性注意池化模块依次级联，并将弱监督注意力模块的输出反馈到特征提取模块前，由此组成核心网络W。
步骤6.对核心网络W进行训练，获得膝盖半月板损伤分级模型。
6.1)设定学习率为0.001，动量为0.9，批量大小为8，重量衰减为0.00001，注意力地图数量为128，将4.6)中得到的半月板损伤分类的训练集及其对应的类别标签输入到核心网络W中；
6.2)使用随机梯度下降优化器，每次从训练集中随机选择一个样本进行学习来更新模型参数；
6.3)重复步骤6.2)，直到达到设定的40次迭代训练后，获得膝盖半月板损伤分级模型。
步骤7.对膝盖半月板损伤分级模型进行测试。
7.1)将4.6)中半月板损伤分类的测试集数据输入到膝盖半月板损伤分级模型中进行测试，得到半月板损伤分类图像的特征矩阵，再通过双线性注意池化模块的全连接层，得到预测的类别结果；
7.2)同时由核心网络W中的弱监督注意力模块生成注意力地图A，以指导半月板损伤分类模型关注半月板损伤图像中医生用于判断损伤程度的特征性信号；
7.3)使用注意力裁剪操作算子Ck(i,j)进行注意力裁剪，调整注意力增强地图Ak *的大小，以提取更详细的特征，得到裁剪掩膜Ck；
7.4)使用注意力下降操作算子Dk(i,j)进行注意力下降，鼓励注意力地图关注半月板损伤分类图像更多的部分，得到下降掩膜Dk；
(7d)将注意力地图A、裁剪掩膜Ck、下降掩膜Dk的特征性信号映射到半月板损伤图像样本中，输出注意力热图，显示出临床上用于判断损伤程度的特征性信号，如图5所示，其中5(a)和5(c)表示不同的半月板损伤图像样本，包括四个损伤等级，5(b)和5(d)表示对应样本的注意力热图。
本发明的效果可以通过以下仿真实验进一步说明：
一、仿真条件：
本发明的仿真试验平台是Intel Core i7-9700K CPU 3.6GHz，内存为128GB，显卡为Nvidia RTX2080Ti的PC机，仿真平台为Ubuntu18.04操作系统，使用LabelImage 软件和Tensorflow、Pytorch深度学习框架，采用Python语言实现。
数据来源：2018年2月至2021年3月在空军军医大学第一附属医院进行膝关节 MRI检查的2000例患者影像学资料。患者年龄17～78岁，平均为45.5±3.4岁。膝关节MRI采用Siemens Essenza800 1.5 TMRI扫描仪和膝关节专用线圈进行。患者平卧位，足前伸，膝关节自然伸直，无负重。扫描序列包括：矢状面质子加权成像为TR 3030ms、TE12ms、层厚3mm，冠状面T2脂肪压缩成像为TR4500ms、TE 67ms、层厚4mm，矢状面T1加权成像为TR420ms、TE12ms、3mm和横向T1加权成像为TR 597ms、TE 13ms、4mm。由于临床上诊断半月板损伤基本只看冠状位和矢状位的切片信息，且必须满足无手术治疗史、膝关节内固定史，膝关节MRI图像清晰，无伪影，未出现先天性膝关节、半月板发育异常和诊断不明确的条件。因此根据上述要求，从2000例膝关节MRI检查患者的图像数据中选择符合诊断要求的膝关节MRI数据，构建用于半月板定位的数据集。
二.仿真内容及结果分析：
仿真1，用本发明与其他目标检测算法对半月板区域进行定位，即将上述半月板定位数据集中完整的膝关节MRI影像和标注好的半月板位置标签输入本发明使用的 FasterR-CNN网络中进行训练，得到本发明所使用的膝关节半月板检测网络模型；将同一批数据输入到现有方法使用的Retinanet网络中进行训练，得到现有方法的膝关节半月板检测网络模型。分别对上述两种网络的训练模型进行测试，得到半月板区域的定位结果，如图4所示，图中方框所在位置即定位到的半月板区域。其中：
图4(a)为本发明在三张不同的完整膝关节MRI影像样本中进行定位的结果；
图4(b)为本发明在三张经过随机裁剪后的膝关节MRI影像样本中进行定位的结果；
图4(c)为现有的方法在三张不同的完整膝关节MRI影像样本中进行定位的结果；
图4(d)为现有方法在另外三张不同的完整膝关节MRI影像样本中进行定位的结果。
从图4中可见，两种方法都可以准确定位到完整膝关节MRI影像中半月板的位置，但本发明方法可以在经过随机裁剪后的膝关节MRI影像样本上也具有较好的定位效果。
对仿真1的结果进行均衡平均精确度mAP评价，公式为：
其中，K为类别数，APi为第i种类别的平均精确度，该值范围为0-1，其值越高，半月板检测定位效果越好，结果如下表1所示：
表1半月板区域目标定位结果表
从表1可见，通过不同的目标检测网络都可以定位到膝关节MRI影像中分半月板的位置，但使用本发明的方法，定位半月板区域的mAP值可以达到0.9738，与现有的Retinanet方法相比，定位半月板区域的效果更好。
仿真2，对本发明提出的方法进行消融实验，验证二维直方图均衡化的有效性。将二维直方图均衡化增强前和增强后的半月板损伤分类图像数据，分别作为核心网络 W的输入，得到二维直方图均衡化增强前和增强后的两个半月板损伤分类模型。再将测试数据样本作为这两个模型的输入，得到不同的半月板损伤分类结果。并采用平均准确率Mean_Acc指标来评价该不同的分类效果，平均准确率Mean_Acc计算公式为：
其中，K为类别数，测试样本被分为正类和负类，当测试样本是正类也被预测成正类，即为真正类TP；测试样本是负类被预测成正类，为假正类FP；测试样本是负类被预测成负类，为真负类TN；测试样本是正类被预测成负类，为假负类FN。 Mean_Acc值的范围为0-1，其值越高，分级效果越好，评价结果如表2。
表2二维直方图均衡化对半月板损伤分类效果的影响
| 方法 | Mean-Acc |
| 二维直方图均衡化操作增强前 | 0.8307 |
| 本发明中采用二维直方图均衡化操作增强后 | 0.8629 |
由表2可见，本发明进行二维直方图均衡化操作增强后的半月板损伤分类效果好于增强前的分类效果，平均准确率Mean-Acc指标提高了3％，这说明本发明中提出的对膝盖半月板损伤分类图像进行二维直方图均衡化操作可提高半月板损伤的分类准确率。
仿真3，设置生成注意力地图的数量分别为64、128和256，将相同数据作为输入，在核心网络W中进行训练，其他参数设置保持一致，只改变注意力地图的数量，对本发明提出的方法进行消融实验，即评估核心网络W的弱监督注意力模块中不同注意力地图数量对分类效果的影响，得到的半月板分类平均准确率如表3所示：
表3注意力地图的数量对半月板损伤分类效果的影响
| 注意力地图的数量 | Mean-Acc |
| 64 | 0.7888 |
| 128 | 0.8629 |
| 256 | 0.8449 |
由表3可见，在保证其他实验条件一致的基础上，只改变核心网络W中弱监督注意力模块的注意力地图数量会影响半月板分类的平均准确率。当注意力地图数量设置为128时，可以达到最好的分类效果，其平均准确率Mean-Acc高于另外两种情况，说明半月板损伤分类模型能更好地关注到临床上用于判断损伤程度的特征性信号。
仿真4，在保证注意力地图数量都为128且均进行二维直方图均衡化图像增强操作的情况下，利用迁移学习的方法，将本发明所用上述半月板损伤分类数据集在不同的预训练好的网络中进行训练和测试，包括现有的InceptionV3、VGG16、VGG19、 Resnet101和EfficientnetB0这5种预训练网络，以及本发明所用的EfficientnetB7预训练网络，对本发明提出的方法进行消融实验，评估迁移学习采用不同预训练网络对半月板损伤分类效果的影响，评价指标采用平均准确率Mean_Acc，该值范围为0-1，其值越高，分级效果越好，得到的实验结果如表4所示：
表4不同迁移学习网络对半月板损伤分类效果的影响
由表4可见，通过本发明核心网络W训练的半月板损伤分级模型对半月板损伤程度进行自动诊断，准确率可以达到86.29％，该诊断的准确率已经高于临床上的低年资骨科住院医师。其中，本发明提出的核心网络中特征提取模块采用EfficientnetB7 预训练网络作为特征提取器，与现有的InceptionV3、VGG16、VGG19、Resnet101和EfficientnetB0这5种预训练网络作对比，可以实现最好的分类效果。
Claims (7)
1.一种基于混合注意力弱监督迁移学习的半月板损伤分级方法，其特征在于，包括：
(1)获取膝关节MRI影像的数据集：
(1a)从获取到的2000例膝关节MRI影像检查数据中剔除有手术史、有关节内固定病史这些不满足临床诊断膝盖半月板损伤要求的数据；
(1b)从(1a)选出的数据中利用矢状位和冠状位切片图像，组成用于半月板区域定位的数据集，并将其中的60％作为训练集，40％作为测试集；
(1c)对(1b)获得的半月板区域定位数据集中所有的膝关节MRI影像，标注出半月板的标签及它们所在的位置信息，生成xml格式文件，再将其制作成VOC2007格式的数据集；
(2)将(1b)中所得训练集的膝关节MRI影像和(1c)中获得的VOC2007格式的半月板样本标签及它们的位置信息输入到现有的Faster R-CNN网络中进行训练，得到膝关节半月板检测网络的训练模型；
(3)获取半月板区域的数据集：
(3a)将(1b)中测试集的膝关节MRI影像作为输入，利用(2)中得到的模型进行测试，获得目标检测结果，即半月板及周围小范围区域及它们对应的位置坐标信息(xaya,xbya,xayb,xbyb)；
(3b)对(3a)中获得的半月板及周围小范围区域进行裁剪和尺度变换，得到用于对半月板内部损伤进行分级的图像数据集；
(4)对半月板图像进行数据增强：
(4a)将(3b)中获得的图像数据集进行二维直方图均衡化操作，生成增强后的半月板图像数据集；
(4b)根据Fischer分级诊断标准，将增强后的半月板数据集中的图像标记为半月板损伤程度0级、I级、II级、III级这四个类别标签信息；
(4c)将已获得类别标签的半月板图像数据集按照6:4的比例划分为半月板损伤分类的训练集和测试集；
(5)构建由特征提取模块、弱监督注意力模块和双线性注意池化模块依次级联，且弱监督注意力模块的输出反馈到特征提取模块前组成的核心网络W；
(6)训练后膝盖半月板损伤分级模型：
(6a)设定学习率为0.001，动量为0.9，批量大小为8，重量衰减为0.00001，注意力地图数量为128，将(4c)中得到的半月板损伤分类的训练集及其对应的类别标签输入到核心网络W中训练；
(6b)使用随机梯度下降优化器，每次从训练集中随机选择一个样本进行学习来更新模型参数，经过40次迭代训练后获得膝盖半月板损伤分级模型；
(7)将(4c)中半月板损伤分类的测试集数据输入到膝盖半月板损伤分级模型中进行测试，得到预测的类别结果，同时输出损伤信号可视化的注意力热图。
2.根据权利要求1所述的方法，其特征在于，(2)中对现有的Faster R-CNN网络进行训练，所述Faster R-CNN网络由卷积神经网络特征提取模块、区域候选网络RPN模块、边框回归网络模块和二分类网络模块级联组成，其训练过程如下：
(2a)将(1b)中所得训练集的膝关节MRI影像和(1c)中获得的VOC2007格式的半月板样本的标签及它们的位置信息作为网络的输入；
(2b)通过卷积神经网络获取膝关节MRI影像的特征图，并使该特征图经过区域候选网络，生成每个像素点映射到原图像中的锚点，再以每个锚点为中心设有九个候选框，并通过二分类网络确定每个候选框中是否包含目标，输出包含目标的概率值；
(2c)通过边框回归网络的回归分支对二分类网络确定的目标候选框位置与标签标注的目标位置之间的偏差进行差值计算，得到候选框所需要的平移量以及变换尺度大小；
(2d)根据(2c)中得到的候选框所需要的平移量以及变换尺度大小，对候选框平移量和变化尺度大小进行变换，再由区域候选网络模块的提取层得到平移和尺度变换后更精确的候选框，只保留在该位置处由二分类网络给出概率最高的候选框，其坐标信息为(x'a y'a,x'by'a,x'ay'b,x'by'b)，其中x'a y'a,x'by'a,x'a y'b,x'by'b这些值分别代表候选框的上下左右四个点在图像中的坐标；
(2e)分别计算二分类网络的交叉熵损失函数和边框回归网络的平滑正则项损失函数/>将这两个函数进行相加，得到损失函数LF：
其中，λ为权重参数，取值为10，σ为控制平滑正则项损失函数平滑程度的参数，取值为3，Ncls为候选框的个数，Nreg为特征图的大小，pi表示第i个候选框被二分类网络预测为包含目标的概率，表示第i个候选框中只包含目标为1的真实标签，ti表示边框回归网络预测的第i个候选框的偏移量，/>表示第i个候选框相对于标注的区域的真实偏移量；
(2f)使用Adam优化器最小化(2e)得到的损失函数LF，再通过优化器对损失函数LF进行反向传播，以实现对二分类网络和边框回归网络的优化，直到损失函数LF收敛，得到训练好的膝关节半月板检测网络模型。
3.根据权利要求1所述的方法，其特征在于，(3b)中对半月板及周围小范围区域进行裁剪和尺度变换，实现如下：
(3b1)循环处理每个样本中的目标候选框，获取每个候选框的坐标，即(3a)中得到的半月板及周围小范围区域在整张MRI影像中的坐标信息(xaya,xbya,xayb,xbyb)，计算得到裁剪块的大小：s＝width·hight，
其中，width＝xb-xa表示候选框的宽度，hight＝yb-ya表示候选框的高度；
(3b2)根据裁剪块的大小s，将半月板及周围小范围区域从目标检测的候选框中裁剪出来，生成半月板分类图像并另存为新的数据文件；
(3b3)对(3b2)中生成的数据文件中的半月板分类图像进行尺度变换，将图像尺度统一调整为224×224×3，形成半月板损伤分级的图像数据集。
4.根据权利要求1所述的方法，其特征在于，(4a)中对(3b)获得的图像数据集进行二维直方图均衡化操作，实现如下：
(4a1)对半月板及周围小范围区域图像x，计算其二维直方图hx(m,n)，如下式：
上式中x(·)表示像素值，其中k＝-[ω/2]，l＝-[ω/2]，ω是奇数，确定ω×ω大小的像素，(i,j),(i+k,j+l)表示像素点在半月板及周围小范围区域图像x中的坐标，xm,xn分别表示图像x中任意两个像素点的值，K表示灰度级总数，/>为二元函数，如下式所示：
(4a2)将二维直方图归一化得到累积分布函数：其中hx(i,j)是坐标为(i,j)的像素点的二值直方图，m表示该区域图像x中的第m个像素点；
(4a3)计算二维目标最优概率分布函数ht：
ht＝{hl(m′,n′)＝1/L2|1≤m′≤L,1≤n′≤L}
其中L表示该区域图像的灰度级总数，m′,n′分别表示区域图像x横坐标和纵坐标，hl(m′,n′)表示坐标为(m′,n′)的像素点的二值直方图；
(4a4)再将二维目标最优概率分布函数ht代入累积分布函数Px(m)中，得到二维目标的累积分布函数：通过该二维目标累积分布函数Pt(m′)实现半月板区域图像x的概率密度均匀分布，使像素从原灰度空间映射到二维直方图均衡化后的灰度空间，其中，ht(i,j)表示坐标为(i,j)像素点的最优概率分布函数。
5.根据权利要求1所述的方法，其特征在于，(5)中构成核心网络W的各模块结构及功能如下：
所述特征提取模块，用于提取半月板分类图像的特征并生成特征地图F，其结构由第一卷积层、16个移动翻转瓶颈卷积层、第二卷积层和全局平均池化层依次级联构成，其中第一卷积层的卷积核大小为3×3，第二卷积层的卷积核大小为1×1，每个移动翻转瓶颈卷积层由升维卷积层、切除卷积层、压缩激发层和降维卷积层级联构成；
所述弱监督注意力模块，用于生成注意力地图A、裁剪掩膜和下降掩膜，其结构由卷积核大小为1×1的卷积层、注意力裁剪操作算子Ck(i,j)和注意力下降操作算子Dk(i,j)构成；
所述双线性注意池化模块，用于得到半月板损伤分类图像的特征矩阵及分类结果，其结构由一个双线性注意池化层和全连接层构成。
6.根据权利要求5所述的方法，其特征在于，所述弱监督注意力模块中的注意力裁剪操作算子Ck(i,j)和注意力下降操作算子Dk(i,j)，分别表示如下：
其中θc、θd分别表示注意力裁剪和注意力下降的阈值，设定为θc∈[0,1],θd∈[0,1]，(i,j)表示注意图的坐标参数，Ak *为注意力地图A归一化后的增强注意力地图，Ak *(i,j)表示坐标参数为(i,j)的增强注意力地图。
7.根据权利要求1所述的方法，其特征在于，(7)中输出损伤信号可视化的注意力热图，其实现过程如下：
(7a)由核心网络W中的弱监督注意力模块生成注意力地图A指导半月板损伤分类模型关注半月板损伤图像中医生用于判断损伤程度的特征性信号；
(7b)使用注意力裁剪操作算子Ck(i,j)进行注意力裁剪，调整注意力增强地图Ak *的大小，以提取更详细的特征，得到裁剪掩膜Ck；
(7c)使用注意力下降操作算子Dk(i,j)进行注意力下降，鼓励注意力地图关注半月板损伤分类图像更多的部分，得到下降掩膜Dk；
(7d)将注意力地图A、裁剪掩膜Ck、下降掩膜Dk的特征性信号映射到半月板损伤图像样本中，输出注意力热图，显示出临床上用于判断损伤程度的特征性信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958505.9A CN113706491B (zh) | 2021-08-20 | 2021-08-20 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958505.9A CN113706491B (zh) | 2021-08-20 | 2021-08-20 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706491A CN113706491A (zh) | 2021-11-26 |
| CN113706491B true CN113706491B (zh) | 2024-02-13 |
Family
ID=78653930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110958505.9A Active CN113706491B (zh) | 2021-08-20 | 2021-08-20 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706491B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115119052B (zh) * | 2022-04-29 | 2023-10-24 | 河海大学 | 基于注意力机制与空间冗余的图像数据压缩方法及系统 |
| CN114972812B (zh) * | 2022-06-02 | 2024-06-18 | 华侨大学 | 一种基于结构相似度的非局部注意力学习方法 |
| CN115049898A (zh) * | 2022-07-05 | 2022-09-13 | 西安电子科技大学 | 基于区域块特征增强与抑制的腰椎间盘退变自动分级方法 |
| CN115331220B (zh) * | 2022-07-29 | 2024-04-02 | 江苏迪赛特医疗科技有限公司 | 基于目标检测和热图回归的宫颈念珠菌感染筛查方法 |
| CN117352120B (zh) * | 2023-06-05 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 基于gpt的膝关节病变诊断智能自生成方法、装置及设备 |
| CN116740714B (zh) * | 2023-06-12 | 2024-02-09 | 北京长木谷医疗科技股份有限公司 | 一种基于无监督学习的髋关节疾病智能自标注方法及装置 |
| CN116894973B (zh) * | 2023-07-06 | 2024-05-03 | 北京长木谷医疗科技股份有限公司 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809740A (zh) * | 2015-05-26 | 2015-07-29 | 重庆大学 | 基于svm与弹性区域生长的膝软骨图像自动分割方法 |
| CN106650195A (zh) * | 2016-05-26 | 2017-05-10 | 张余 | 一种辅助筛查半月板损伤的步态分析方法 |
| CN109636846A (zh) * | 2018-12-06 | 2019-04-16 | 重庆邮电大学 | 基于循环注意力卷积神经网络的目标定位方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| KR20200065777A (ko) * | 2018-11-30 | 2020-06-09 | 서울여자대학교 산학협력단 | 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201009101D0 (en) * | 2010-06-01 | 2010-07-14 | Nordic Bioscience As | Computer based analysis of MRI images |
-
2021
- 2021-08-20 CN CN202110958505.9A patent/CN113706491B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809740A (zh) * | 2015-05-26 | 2015-07-29 | 重庆大学 | 基于svm与弹性区域生长的膝软骨图像自动分割方法 |
| CN106650195A (zh) * | 2016-05-26 | 2017-05-10 | 张余 | 一种辅助筛查半月板损伤的步态分析方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| KR20200065777A (ko) * | 2018-11-30 | 2020-06-09 | 서울여자대학교 산학협력단 | 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 |
| CN109636846A (zh) * | 2018-12-06 | 2019-04-16 | 重庆邮电大学 | 基于循环注意力卷积神经网络的目标定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706491A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706491B (zh) | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 | |
| CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| Zhang et al. | Detection of ovarian tumors in obstetric ultrasound imaging using logistic regression classifier with an advanced machine learning approach | |
| Jafarzadeh Ghoushchi et al. | An extended approach to the diagnosis of tumour location in breast cancer using deep learning | |
| EP3657433B1 (en) | Medical image data | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN111340827A (zh) | 一种肺部ct影像数据处理分析方法及系统 | |
| CN111986177A (zh) | 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 | |
| CN110189293A (zh) | 细胞图像处理方法、装置、存储介质及计算机设备 | |
| Włodarczyk et al. | Spontaneous preterm birth prediction using convolutional neural networks | |
| Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
| Li et al. | Deep learning-based end-to-end diagnosis system for avascular necrosis of femoral head | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN110459303A (zh) | 基于深度迁移的医疗影像异常检测装置 | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| CN113011514B (zh) | 基于双线性池化应用于ct影像的颅内出血亚类型分类算法 | |
| Sha et al. | The improved faster-RCNN for spinal fracture lesions detection | |
| CN117095241A (zh) | 一种耐药性肺结核类别的筛查方法、系统、设备及介质 | |
| Chen et al. | Deep learning to assist composition classification and thyroid solid nodule diagnosis: a multicenter diagnostic study | |
| Azli et al. | Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries | |
| CN113469942B (zh) | 一种ct图像病变检测方法 | |
| CN115049898A (zh) | 基于区域块特征增强与抑制的腰椎间盘退变自动分级方法 | |
| Rohini et al. | Digital transformation technology and tools: shaping the future of primary health care | |
| Mughal et al. | Early lung cancer detection by classifying chest CT images: a survey | |
| An et al. | Faster R-CNN for detection of carotid plaque on ultrasound images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |