CN110660480A - 脊骨脱位辅助诊断方法及系统 - Google Patents

脊骨脱位辅助诊断方法及系统 Download PDF

Info

Publication number
CN110660480A
CN110660480A CN201910912803.7A CN201910912803A CN110660480A CN 110660480 A CN110660480 A CN 110660480A CN 201910912803 A CN201910912803 A CN 201910912803A CN 110660480 A CN110660480 A CN 110660480A
Authority
CN
China
Prior art keywords
information
spine
activation
sliding window
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910912803.7A
Other languages
English (en)
Other versions
CN110660480B (zh
Inventor
王延峰
赖柏霖
张小云
张娅
赵晖
顾一峰
李跃华
姚光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910912803.7A priority Critical patent/CN110660480B/zh
Publication of CN110660480A publication Critical patent/CN110660480A/zh
Application granted granted Critical
Publication of CN110660480B publication Critical patent/CN110660480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种脊骨脱位辅助诊断方法及系统，所述方法包括：粗分割网络训练步骤：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；滑窗提取步骤：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；特征提取步骤：对于输入的医疗影像通过深度神经网络提取高层语义特征；类别激活图生成步骤：利用分类网络中已有的参数生成类别激活图；专家知识引导步骤：利用分割网络得到粗略分割结果定位前后边缘的大致位置，并以此约束神经网络类别激活图中的概率分布。本发明对于脊骨脱位诊断的准确率和可解释性，并且在数据量较小时能保持很好的性能。

Description

脊骨脱位辅助诊断方法及系统
技术领域
本发明涉及计算机辅助诊断领域，具体地，涉及一种脊骨脱位辅助诊断方法及系统，尤其涉及一种基于专家先验知识引导的脊骨脱位计算机辅助诊断方法及系统。
背景技术
计算机辅助诊断时计算机视觉中的一个重要任务，它的目标是对医学影像进行计算分析，模拟医生的诊断过程，给出最终的诊断结果，而脊骨的脱位检测是计算机辅助诊断中的重要部分之一。脊骨脱位是一种严重的疾病，是导致瘫痪的常见因素之一，在脱位早期发现病症对于患者及时接受治疗有着重要作用，现在常用的脱位诊断方法是影像学专家通过检查CT或MRI图像得出结果。随着深度神经网络在医疗图像处理领域逐渐发展，现在较为成熟的计算机诊断技术，基本上都是基于深度学习的方法。然而，现在还没有专门针对脊骨脱位的诊断方法，脊骨脱位的诊断依据通常是相邻两块脊骨是否对齐，边缘是否光滑，通常脱位的脊骨和健康的脊骨差异很小，而颈椎、胸椎、腰椎、尾椎的脊骨本身的形态差异非常大，这就导致脊骨脱位检测具有很明显的细粒度分类特征，即类内差距大于类间差距。现在已有的计算机辅助诊断技术基本上都是基于只基于大量数据训练而没有人为的先验知识，这导致模型往往难以捕捉到脱位这样微弱的特征，而医疗图像数据的稀缺更加剧了这一困难。因此，将医生的专家知识引入网络辅助训练的方法成为大家关注的焦点。在计算机辅助诊断领域，针对细粒度分类的问题，最初的研究工作是基于局部特征和全局特征融合的方法，通过多实例学习、取滑窗、增强学习等方法得到医学影像中每个局部位置的特征图，再结合整张图像的特征图一起输入网络进行分类，此类方法操作繁琐，并且在提取局部特征时不同位置的特征是割裂的，相邻区域的特征存在不连续性。之后的大部分工作致力于在整张输入图像上同时提取所有的局部特征，或者使用包围框或像素的分割标注来辅助诊断，然而使用包围框或像素的分割标注耗费大量标注时间，同时提取所有的局部特征虽然考虑到了不同部位特征上的连续性，但依然只依赖网络自身从数据中提取需要关注的局部区域。
专利文献CN109416933A公开了一种用于从至少一个已确定的病征开始并且基于包含医学本体的计算机化知识数据库来辅助建立患者的诊断的方法，所述医学本体包含：形成“病征”类别的病征列表，形成“病理状态”类别的病理状态列表，以及所述病征与所述病理状态之间的第一组逻辑关系，每个逻辑关系建立病征与病理状态之间的相关联系。根据本发明的方法包括：借助第一组逻辑关系来搜索与至少一个已确定的病征有联系的潜在的病理状态的步骤，以及确定潜在的病征的步骤，其中对于每个潜在的病理状态，借助第一组逻辑关系来确定通过相关联系与所述潜在的病理状态有联系的所有病征，该方法并不能很好得适用于脊骨脱位辅助诊断中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种脊骨脱位辅助诊断方法及系统。本发明能够有效结合医生的先验知识和神经网络本身的学习能力，通过粗略的分割网络提取得到脊骨前后边缘的位置，通过类别激活图将前后边缘位置的约束引入神经网络，从而实现专家知识对神经网络的引导，提升模型对于脊骨脱位诊断的准确率和可解释性，并且在数据量较小时能保持很好的性能。
根据本发明提供的一种脊骨脱位辅助诊断方法，包括：粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
优选地，粗分割网络训练步骤包括：分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取步骤包括：滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。
优选地，类别激活图生成步骤包括：
激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
Figure BDA0002215193680000031
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；
梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
Figure BDA0002215193680000032
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
Figure BDA0002215193680000033
获取梯度计算结果信息；
类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度
Figure BDA0002215193680000034
全局平均池化得到的权重；获取生成类别激活图结果信息。
优选地，知识引导步骤包括：专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure BDA0002215193680000041
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。
优选地，诊断结果获取步骤包括：全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
根据本发明提供的一种脊骨脱位辅助诊断系统，包括：粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
优选地，粗分割网络训练模块包括：分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取模块包括：滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。
优选地，类别激活图生成模块包括：
激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；
梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
Figure BDA0002215193680000052
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
获取梯度计算结果信息；
类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度
Figure BDA0002215193680000054
全局平均池化得到的权重；获取生成类别激活图结果信息。
优选地，知识引导模块包括：专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure BDA0002215193680000055
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。
优选地，诊断结果获取模块包括：全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
与现有技术相比，本发明具有如下的有益效果：
1、本发明对于输入图像通过粗分割网络得到分割图，从中定位脊骨边缘的大致位置，之后通过设计空间正则化项来约束类别激活图上的数值分布，从而将脊骨边缘的位置信息引入分类网络中；
2、本发明中使用标准的分类网络作为骨干网络，充分利用已有模型逐层提取高层语义特征的能力，与此同时将网络生成的类别激活图视作分类网络独有的特征图，通过约束类别激活图上的数值分布将脊骨前后边缘的位置信息引入网络中，最后通过设置阈值的方式在一定程度上将空间正则化项的约束能力控制在一个合适的范围，使得模型对于边缘位置信息中的噪声有更好的鲁棒性；
3、本发明能够提升脊骨脱位诊断的准确率和可解释性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明方法流程示意图。
图2为本发明系统框图示意图。
图3为本发明实施例中方法具体流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种脊骨脱位辅助诊断方法，包括：粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
优选地，粗分割网络训练步骤包括：分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取步骤包括：滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。
优选地，类别激活图生成步骤包括：
激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
Figure BDA0002215193680000071
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；
梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
Figure BDA0002215193680000072
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
Figure BDA0002215193680000081
获取梯度计算结果信息；
类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度
Figure BDA0002215193680000082
全局平均池化得到的权重；获取生成类别激活图结果信息。
优选地，知识引导步骤包括：专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure BDA0002215193680000083
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。
优选地，诊断结果获取步骤包括：全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
如图3所示，具体地，在一个实施例中，一种基于专家先验知识引导的脊骨脱位计算机辅助诊断方法使用少量有弱标注的训练数据训练一个粗分割网络，从分割结果中提取出脊骨前后边缘的大致位置，通过标准分类网络中的权重参数显示地计算生成类别激活图，设计空间正则化项约束类别激活图上的数值分布，使得边缘附近的数值趋近于1，其余位置趋近于0，从而将脊骨的位置信息引入分类网络中，提升网络的准去率和可解释性。
所述方法包括如下步骤：
粗分割网络训练步骤：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；
滑窗提取步骤：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；
特征提取步骤：对于输入的医疗影像通过深度神经网络提取高层语义特征；
类别激活图生成步骤：利用分类网络中的权重参数生成类别激活图；
专家知识引导步骤：利用分割网络得到粗略分割结果并定位前后边缘的大致位置，以此约束神经网络类别激活图中的概率分布。
所述的粗分割网络训练步骤，将少量有标注了四个顶点的数据中四个顶点连接起来作为分割网络的标注，使用强监督训练的方式可以训练得到一个粗略的分割网络，对于任意输入的脊骨矢状面图片提取0到1之间浮点数组成的粗略分割图。
所述的滑窗提取步骤，训练数据通过滑窗提取来进行数据增广，利用粗分割网络到的分割结果，根据影像中脊骨的大小选择滑窗的尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗提取进行数据增广，以此克服数据量小的困难。
所述的特征提取步骤，深度神经网络采用标准的分类网络作为骨干网络，输出分类结果的同时生成0-1之间浮点数组成的类别激活图。
所述类别激活图生成步骤，直接使用模型的权重参数显示地计算出输出对于最后一层卷积层特征图的梯度，加速类别激活图生成的过程并且便于实现与部署。对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，可以将非线性层写作线性运算：
Figure BDA0002215193680000091
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值。整个模型的全连接层的运算可以写作：
Figure BDA0002215193680000092
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出。输出对最后一层卷积层输出的特征图的梯度可以显示地写作：
Figure BDA0002215193680000093
最终的类别激活图的计算可以写作：
Figure BDA0002215193680000094
其中，wk是梯度
Figure BDA0002215193680000101
全局平均池化得到的权重。
所述专家知识引导步骤，利用脊骨脱位主要判别依据在于脊骨前后边缘是否光滑，根据粗分割网络的结果大致定位前后边缘的位置，在骨干网络的基础上通过空间正则化项约束类别激活图上的数值分布，使得脊骨边缘附近的数值增大，其余位置数值减小。
所述专家知识引导中，通过空间正则化项约束激活图上的数值分布。提取得到的脊骨边缘位置信息是一张二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，分别使用ei,j和pi,j表示二值图和激活图上的数值，空间正则化项具体可写作：
Figure BDA0002215193680000102
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}。由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性。
总的训练损失函数可以写作：
Lcls＝LBCE+λRspatial
其中，LBCE为二元的交叉熵损失函数，Rspatial为空间正则化项，Lcls表示网络总的分类损失函数，λ表示二元交叉熵损失函数和空间正则化项之间的平衡系数。
在训练阶段，从分割图中得到边缘粗略的定位信息后，骨干网络的梯度由二元交叉熵损失函数和空间正则化项共同计算得到。在测试阶段，不再生成分割图和类别激活图，只由训练好的分类网络直接输出诊断结果。
综上，本发明使用少量有弱标注的训练数据训练一个粗分割网络，从分割结果中提取出脊骨前后边缘的大致位置，通过标准分类网络中的权重参数显示地计算生成类别激活图，设计空间正则化项约束类别激活图上的数值分布，使得边缘附近的数值趋近于1，其余位置趋近于0，从而将脊骨的位置信息引入分类网络中，提升网络的准去率和可解释性。
根据本发明提供的一种脊骨脱位辅助诊断系统，包括：粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
优选地，粗分割网络训练模块包括：分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取模块包括：滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。
优选地，类别激活图生成模块包括：
激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
Figure BDA0002215193680000111
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；
梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
Figure BDA0002215193680000112
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
Figure BDA0002215193680000121
获取梯度计算结果信息；
类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度全局平均池化得到的权重；获取生成类别激活图结果信息。
优选地，知识引导模块包括：专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure BDA0002215193680000123
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。
优选地，诊断结果获取模块包括：全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
具体地，在一个实施例中，一种基于专家先验知识引导的脊骨脱位计算机辅助诊断系统，包括：
粗分割网络训练模块：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；
滑窗提取模块：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；
特征提取模块：对于输入的医疗影像通过深度神经网络提取高层语义特征；
类别激活图生成模块：利用分类网络中的权重参数生成类别激活图；
专家知识引导模块：利用分割网络得到粗略分割结果并定位前后边缘的大致位置，以此约束神经网络类别激活图中的概率分布。
上述基于专家先验知识引导的脊骨脱位计算机辅助诊断系统各个模块实现的技术特征可以与上述基于专家先验知识引导的脊骨脱位计算机辅助诊断方法中对应步骤实现的技术特征相同。
本发明对于输入图像通过粗分割网络得到分割图，从中定位脊骨边缘的大致位置，之后通过设计空间正则化项来约束类别激活图上的数值分布，从而将脊骨边缘的位置信息引入分类网络中；本发明中使用标准的分类网络作为骨干网络，充分利用已有模型逐层提取高层语义特征的能力，与此同时将网络生成的类别激活图视作分类网络独有的特征图，通过约束类别激活图上的数值分布将脊骨前后边缘的位置信息引入网络中，最后通过设置阈值的方式在一定程度上将空间正则化项的约束能力控制在一个合适的范围，使得模型对于边缘位置信息中的噪声有更好的鲁棒性；本发明能够提升脊骨脱位诊断的准确率和可解释性。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种脊骨脱位辅助诊断方法，其特征在于，包括：
粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；
滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；
特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；
类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；
知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；
诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
2.根据权利要求1所述的脊骨脱位辅助诊断方法，其特征在于，
粗分割网络训练步骤包括：
分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；
分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；
滑窗提取步骤包括：
滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；
标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；
根据滑窗标签信息，获取滑窗提取结果信息。
3.根据权利要求1所述的脊骨脱位辅助诊断方法，其特征在于，
类别激活图生成步骤包括：
激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
Figure FDA0002215193670000021
其中，x表示非线性激活层的输入，ReLU(x)表示非线性激活函数，abs(·)表示逐元素取绝对值，diag表示对角矩阵，上式中可以将激活函数显示地写成矩阵乘法，将其记为R；获取激活函数线性表示信息；
梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
Figure FDA0002215193670000022
其中，Ri和Wi分别表示全连接层和非线性层的参数，Wn表示最后一层全连接层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
获取梯度计算结果信息；
类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度
Figure FDA0002215193670000024
全局平均池化得到的权重，Ak表示第k个通道的特征图；获取生成类别激活图结果信息。
4.根据权利要求1所述的脊骨脱位辅助诊断方法，其特征在于，
知识引导步骤包括：
专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；
空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure FDA0002215193670000031
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；获取知识引导结果信息。
5.根据权利要求1所述的脊骨脱位辅助诊断方法，其特征在于，诊断结果获取步骤包括：
全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
6.一种脊骨脱位辅助诊断系统，其特征在于，包括：
粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；
滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；
特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；
类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；
知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；
诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。
7.根据权利要求6所述的脊骨脱位辅助诊断系统，其特征在于，
粗分割网络训练模块包括：
分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；
分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；
滑窗提取模块包括：
滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；
标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；
根据滑窗标签信息，获取滑窗提取结果信息。
8.根据权利要求6所述的脊骨脱位辅助诊断系统，其特征在于，
类别激活图生成模块包括：
激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：
Figure FDA0002215193670000041
其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；
梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：
其中，Ri和Wi分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：
Figure FDA0002215193670000043
获取梯度计算结果信息；
类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：
L＝ReLU(∑kwk·Ak)；
其中，wk是梯度
Figure FDA0002215193670000044
全局平均池化得到的权重；获取生成类别激活图结果信息。
9.根据权利要求6所述的脊骨脱位辅助诊断系统，其特征在于，
知识引导模块包括：
专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；
空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用ei,j和pi,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：
Figure FDA0002215193670000051
其中，S1表示激活图上数值小于阈值T的区域，而S2则表示激活图上数值大于阈值T的区域，即S1＝{(i,j)|pi,j<T},S2＝{(i,j)|pi,j>T}；获取知识引导结果信息。
10.根据权利要求6所述的脊骨脱位辅助诊断系统，其特征在于，诊断结果获取模块包括：
全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。
CN201910912803.7A 2019-09-25 2019-09-25 脊骨脱位辅助诊断方法及系统 Active CN110660480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910912803.7A CN110660480B (zh) 2019-09-25 2019-09-25 脊骨脱位辅助诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910912803.7A CN110660480B (zh) 2019-09-25 2019-09-25 脊骨脱位辅助诊断方法及系统

Publications (2)

Publication Number Publication Date
CN110660480A true CN110660480A (zh) 2020-01-07
CN110660480B CN110660480B (zh) 2023-05-26

Family

ID=69039528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912803.7A Active CN110660480B (zh) 2019-09-25 2019-09-25 脊骨脱位辅助诊断方法及系统

Country Status (1)

Country Link
CN (1) CN110660480B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445440A (zh) * 2020-02-20 2020-07-24 上海联影智能医疗科技有限公司 一种医学图像分析方法、设备和存储介质
CN111951952A (zh) * 2020-07-17 2020-11-17 北京欧应信息技术有限公司 一种基于医疗影像信息自动诊断骨科疾病的装置
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN113673607A (zh) * 2021-08-24 2021-11-19 支付宝(杭州)信息技术有限公司 图像标注模型的训练及图像标注的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096332A (zh) * 2015-08-25 2015-11-25 上海联影医疗科技有限公司 医学图像分割方法和装置
US20170185893A1 (en) * 2014-05-22 2017-06-29 3M Innovative Properties Company Neural network-based confidence assessment module for healthcare coding applications
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
CN110177492A (zh) * 2016-11-18 2019-08-27 斯特赖克公司 用于治疗关节的方法和设备，包括髋关节中的凸轮型股骨髋臼撞击症和髋关节中的钳夹型股骨髋臼撞击症的治疗
CN110265141A (zh) * 2019-05-13 2019-09-20 上海大学 一种肝脏肿瘤ct影像计算机辅助诊断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170185893A1 (en) * 2014-05-22 2017-06-29 3M Innovative Properties Company Neural network-based confidence assessment module for healthcare coding applications
CN105096332A (zh) * 2015-08-25 2015-11-25 上海联影医疗科技有限公司 医学图像分割方法和装置
CN110177492A (zh) * 2016-11-18 2019-08-27 斯特赖克公司 用于治疗关节的方法和设备，包括髋关节中的凸轮型股骨髋臼撞击症和髋关节中的钳夹型股骨髋臼撞击症的治疗
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
CN110265141A (zh) * 2019-05-13 2019-09-20 上海大学 一种肝脏肿瘤ct影像计算机辅助诊断方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BOLEI ZHOU 等: ""Learning Deep Features for Discriminative Localization"", 《CVPR 2016》 *
KAREN J. KOWALSKE等: ""Spinal Cord Injury Syndrome with Motor Sparing in the Absence of All Sensation"" *
RAMPRASAATH R. SELVARAJU等: ""Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization"", 《ICCV 2017》 *
刘忠利等: "基于深度学习的脊柱CT图像分割", 《计算机应用与软件》 *
刘远平 等: ""基于深度学习的髋关节应力分布算法研究"", 《智能科学与技术学报》 *
赵冰等: "基于深度学习的铁路图像场景分类优化研究", 《计算机系统应用》 *
黄斌等: "SR-CNN融合决策的眼部状态识别方法", 《哈尔滨工程大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445440A (zh) * 2020-02-20 2020-07-24 上海联影智能医疗科技有限公司 一种医学图像分析方法、设备和存储介质
CN111445440B (zh) * 2020-02-20 2023-10-31 上海联影智能医疗科技有限公司 一种医学图像分析方法、设备和存储介质
CN111951952A (zh) * 2020-07-17 2020-11-17 北京欧应信息技术有限公司 一种基于医疗影像信息自动诊断骨科疾病的装置
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN112016634B (zh) * 2020-09-30 2023-07-28 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN113673607A (zh) * 2021-08-24 2021-11-19 支付宝(杭州)信息技术有限公司 图像标注模型的训练及图像标注的方法及装置

Also Published As

Publication number Publication date
CN110660480B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
CN110660480B (zh) 脊骨脱位辅助诊断方法及系统
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN111192248B (zh) 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
Kapur Model based three dimensional medical image segmentation
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
Khan et al. Classification and region analysis of COVID-19 infection using lung CT images and deep convolutional neural networks
CN114998220A (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN114863348A (zh) 基于自监督的视频目标分割方法
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
Bigolin Lanfredi et al. Interpretation of disease evidence for medical images using adversarial deformation fields
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN113222903A (zh) 一种全切片组织病理图像分析方法及系统
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
Hao et al. Radiographs and texts fusion learning based deep networks for skeletal bone age assessment
Abdulah et al. Cxr-net: An artificial intelligence pipeline for quick covid-19 screening of chest x-rays
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN111459050B (zh) 一种基于双网互联的智慧仿真型护理教学系统及教学方法
CN109697713B (zh) 基于深度学习和空间关系推理的椎间盘定位标注方法
CN106709921A (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN112614092A (zh) 脊柱检测方法和装置
CN116824139B (zh) 一种基于边界监督和时序关联的内窥镜息肉分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant