CN116797545A - 一种脊柱侧弯度检测方法、计算机设备及存储介质 - Google Patents

一种脊柱侧弯度检测方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN116797545A
CN116797545A CN202310551517.9A CN202310551517A CN116797545A CN 116797545 A CN116797545 A CN 116797545A CN 202310551517 A CN202310551517 A CN 202310551517A CN 116797545 A CN116797545 A CN 116797545A
Authority
CN
China
Prior art keywords
network model
spine
training
vertebra
scoliosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310551517.9A
Other languages
English (en)
Inventor
王宇
刘天宇
漆龙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University First Hospital
Original Assignee
Peking University First Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University First Hospital filed Critical Peking University First Hospital
Priority to CN202310551517.9A priority Critical patent/CN116797545A/zh
Publication of CN116797545A publication Critical patent/CN116797545A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种脊柱侧弯度检测方法、计算机设备及存储介质，其中方法包括：采用数据训练集对预设识别网络模型进行训练，以得到预训练识别网络模型，其中所述训练采用设有基于解剖学先验约束的正则化惩罚项的损失函数；采用所述预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点；根据各所述角点计算所述脊柱的Cobb角。本发明所提供的技术方案，能够可以提高所得到的Cobb角的准确性。

Description

一种脊柱侧弯度检测方法、计算机设备及存储介质
技术领域
本发明涉及脊柱侧弯度检测技术领域，具体涉及一种脊柱侧弯度检测方法、计算机设备及存储介质。
背景技术
脊柱侧弯是一种常见的脊柱疾病，主要发生在青少年阶段，其表现特征为脊柱成“C”形或者“S”形，并且该疾病的诊断和后期治疗的效果取决于脊柱弯曲的严重程度。目前，通常采用Cobb角作为衡量脊柱曲率的指标，现有技术中获取脊柱的Cobb角的方法为：通过冠状或者胸腔镜获取脊柱的X射线图像，然后选择倾斜的椎骨进行Cobb角的测量。但是脊柱的X射线图像显示的组织间的对比度较低，椎骨内变化较大，如果准确地测量出脊柱的Cobb角是一项难题。
为了减轻工作人员的负担，可以采用基于机器学习算法对X射线图像中脊柱的Cobb角进行测量。并且在采用基于机器学习算法对X射线图像中脊柱的Cobb角进行测量，可以直接测量脊柱的Cobb角，也可以对X射线进行前置处理，例如定位椎骨的标签、分隔椎体或者提取脊柱曲线，以得到更为准确的Cobb角。对于椎骨标签的定位，回归标签是一种直观的方法，然而全连接层中的密集连接和精细空间细节的丢失会损害泛化性能。目前，基于热力图的算法在标签定位中得到了广泛的应用，该算法可以间接地从关键点热力图中提取到标签，以各像素的值代表成为椎骨的标签的概率。
尽管热力图估计方法在脊柱标签的检测方面有广泛的应用，但大多数方法在实践中缺乏足够的可靠性，其主要原因在于没有考虑解剖学特性，这对于产生有解剖学意义的结果至关重要。多通道关键点热力图代表不同通道中的不同椎骨，其中热力图的每个相邻通道显示相似的模式，这导致检测到的标签重叠或相邻标签之间有相当大的间隙，影响对脊柱Cobb角检测的准确性。
发明内容
本发明的目的在于提供一种脊柱侧弯度检测方法、计算机设备及存储介质，用以解决现有技术中对脊柱的Cobb角检测不准确的问题。
为实现上述目的，本发明提供了一种脊柱侧弯度检测方法，包括：
采用数据训练集对预设识别网络模型进行训练，以得到预训练识别网络模型，其中所述训练采用设有基于解剖学先验约束的正则化惩罚项的损失函数；
采用所述预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点；
根据各所述角点计算所述脊柱的Cobb角。
根据本发明的一个实施例，所述采用所述预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点，包括：
对所述脊柱图像进行特征提取，以得到对应的特征图；
根据所述特征图，按照预设顺序识别出各所述椎骨的中心点；
根据各所述中心点，得到各所述角点。
根据本发明的一个实施例，在所述对所述脊柱图像进行特征提取前，还包括：
采用第一预设数量的卷积层对所述脊柱图像进行下采样处理。
根据本发明的一个实施例，所述损失函数包括焦点损失项、残差损失项、角偏移损失项和所述正则化惩罚项。
根据本发明的一个实施例，所述正则化惩罚项包括通过弹性网络正则化计算出的三个相邻的椎骨的中心点的损失。
根据本发明的一个实施例，所述预设识别网络模型为基于HRNet的神经网络模型。
根据本发明的一个实施例，所述基于HRNet的神经网络模型包括第三预设数量的并行子网络，且各所述子网络设有不同的分辨率。
根据本发明的一个实施例，所述基于HRNet的神经网络模型的深度方向分为四个连续的阶段，其中第一阶段包括第四预设数量的瓶颈残差块和一个卷积单元，其他阶段分别包含相应数量的交换模块。
另一方面，本发明还提供了一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据上述任一项实施例所述的脊柱侧弯度检测方法。
又一方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据上述任一项实施例所述的脊柱侧弯度检测方法。
本发明所提供的技术方案具有如下优点：
本发明所提供的技术方案，在训练预设识别网络模型以得到预训练识别网络模型时，在损失函数中设有基于解剖学先验约束的正则化惩罚项，可以所得到的预训练识别网络模型的准确度，从而在采用该预训练识别网络模型对脊柱图像进行识别时，可以准确地获取脊柱中各椎骨的角点，进而在根据各椎骨的角点计算脊柱的Cobb角时，可以提高所得到的Cobb角的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1是根据本发明的一个实施例的一种脊柱侧弯度检测方法的示意性流程图；
图2是根据本发明的一个实施例的一种脊柱图像的示意图；
图3是根据本发明的一个实施例的采用预训练识别网络模型对脊柱图像进行识别的示意性流程图；
图4是根据本发明的一个实施例的识别概率热力图中椎骨的中心点位置的示意图；
图5是根据本发明的一个实施例的基于HRNet的神经网络模型的示意图；
图6是根据本发明的一个实施例的识别脊柱角点的的整体示意图；
图7是根据本发明的一个实施例的多个训练算法的标签的预测值和注释的真实值进行定性比较的示意图；
图8是根据本发明的一个实施例的多通道方案中使用的解剖学先验约束的损失示意图；
图9是根据本发明的一个实施例的多通道方案中使用的解剖辅助推理示意图。
具体实施方式
下面将结合具体实施方案对本发明的技术方案进行清楚、完整的描述，但是本领域技术人员应当理解，下文所述的实施方案仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方案，都属于本发明保护的范围。
下面将结合实施例对本发明的优选实施方式进行详细说明。需要理解的是以下实施例的给出仅是为了起到说明的目的，并不是用来限制本发明的保护范围。本领域的技术人员在不背离本发明的宗旨和精神的情况下，可以对本发明进行各种修改和替换，所有这些修改和替换都落入了本发明权利要求书请求保护的范围内。
下述实施例中所使用的实验方法如无特殊说明均为常规方法。下述实施例中所用的材料、试剂等，如无特殊说明，均可通过商业途径获得。
本实施例所提供的一种脊柱侧弯度检测方法，其流程如图1所示，包括如下步骤：
步骤S1：采用数据训练集对预设识别网络模型进行训练，以得到预训练识别网络模型，并且在训练过程中所采用的损失函数设有基于解剖学先验约束的正则化惩罚项；
步骤S2：采用预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点；
步骤S3：根据各椎骨的角点计算脊柱的Cobb角。
在上述步骤S1中，预设识别网络模型可以为基于神经网络的网络模型，数据训练集可以为从指定医院(如北京大学第一医院)或者指定平台获取的多张预设脊柱图像。在对预设识别网络模型进行训练时，首先对各预设脊柱图像中各椎骨的角点进行标注，然后采用标注后的预设脊柱图像对预设识别网络模型进行训练以固化其中的参数，得到预训练识别网络模型，并且采用设有基于解剖学先验约束的正则化惩罚项的损失函数计算训练过程中的损失，提高预训练识别网络模型的准确性。
在本实施例中，解剖学先验约束是指各椎骨按照预设顺序进行分布，并且相邻椎骨之间的距离在预设范围内。以图2所示出的脊柱图像为例，设横向为x轴方向，纵向为y轴方向，则解剖学先验约束可以包括：各椎骨的中心点之间的距离在预设范围内，并且各椎骨中心点的在y轴方向上依次分布。
例如，设图2中从上到下分布的第i+1个椎骨的中心点和第i个椎骨的中心点为分别为和/>则各椎骨的中心点之间的距离在预设范围内可以表示为：
其中，a和b分别为第一阈值和第二阈值，可以根据热力图的尺寸进行确定，例如，对于尺寸为128×64的热力图，a的取值可以为1.42，b的取值可以为11.50。各椎骨中心点的在y轴方向上依次分布可以表示为：
其中和/>分别为第i+1个椎骨的中心点的y轴坐标和第i个椎骨的中心点的y轴坐标，通过该位置关系可以保证第i+1个椎骨的中心点位于第i个椎骨的中心点的下方。由于在对脊柱的椎骨进行识别的过程中添加了距离约束，因此可以防止对椎骨的识别出现错误，提高对各椎骨识别的准确性。
在上述步骤S2中，脊柱图像为通过X射线摄影技术采集到的脊柱的X射线图像，所得到的脊柱中各椎骨的角点包括各椎骨的四个拐角。以人体的脊柱为例，由于人的脊柱具有17个椎骨，每个椎骨具有四个角点，因此可以得到68个角点。
在上述步骤S3中，可以采用现有技术中的方法，根据各椎骨的角点计算脊柱的Cobb角，例如先根据各脊骨的四个角点确定各椎骨的位置和姿态，以得到脊柱的整体形态，然后计算出脊柱的Cobb角。
本实施例的技术方案，在训练预设识别网络模型以得到预训练识别网络模型时，所采用的损失函数中引入了设有基于解剖学先验约束的正则化惩罚项，可以提高所得到的预训练识别网络模型的准确度，从而在采用该预训练识别网络模型对脊柱图像进行识别时，可以准确地获取脊柱中各椎骨的角点，进而在根据各椎骨的角点计算脊柱的Cobb角时，可以提高所得到的Cobb角的准确性。
在本发明的一个实施例中，步骤S2的采用预训练识别网络模型对脊柱图像进行识别的流程如图3所示，包括：
步骤S21：对脊柱图像进行特征提取，以得到对应的特征图；
步骤S22：按照预设顺序对上述特征图中的各椎骨的中心点依次进行识别；
步骤S23：根据各椎骨的中心点，得到各椎骨的角点。
在上述步骤S21中，预设神经网络模型可以对脊柱图像进行特征提取，以得到包含脊柱图像的低级空间细节信息和高级语义信息的特征图。
在上述步骤S22中，可以采用预设激活函数(如sigmoid激活函数)对所得到的特征图进行激活，以得到多个通道的概率热力图。与现有技术中采用单通道(即将各椎骨视为一个类别)不同，本实施例中通道的数量与椎骨的数量相同，由于人体椎骨的数量为17，因此所得到的是17个通道的概率热力图，以便于从y轴的方向上按照预设顺序分离出各椎骨，该过程也称为顺序推理，并且引入基于解剖学先验约束的顺序推理需满足如下条件：
其中Δymin、Δymax和Δxmax为超参数，且Δymin为相邻两个椎骨的中心点在y轴坐标上距离的最小阈值，Δymax为相邻两个椎骨的中心点在y轴坐标上距离的最大阈值，Δxmax为相邻两个椎骨的中心点在x轴坐标上距离的最大阈值
在得到多个通道的概率热力图后，可以获取各概率热力图中各像素点可以作为椎骨的中心点的概率，并将其中概率大于设定概率的像素点作为椎骨的中心点，从而实现对各椎骨的中心点的预测。并且在识别过程中，在y轴方向上按照预设顺序一次识别出各概率热力图中的椎骨的中心点，从而实现对各椎骨的中心点进行顺序识别。
在上述步骤S23中，可以根据各椎骨的中心点与各角点之间的距离，得到各椎骨的角点。例如，对于一个椎骨的中心点，可以获取其左上方最近的角点、右上方最近的角点、左下方最近的角点和右下方最近的角点以作为该椎骨的四个角点。
通过本实施例的设置方式，可以按照预设顺序依次准确地识别出各椎骨的中心点，然后再根据各椎骨的中心点准确地获取各椎骨的角点，因此可以提高对各椎骨的角点识别的准确性，以根据该角点准确地计算出脊柱的Cobb角。
在本发明的一个实施例中，步骤S2的采用预训练识别网络模型对脊柱图像进行识别时，在上述步骤S21的采用预设神经网络模型对所述脊柱图像进行特征提取前，还包括：采用第一预设数量的卷积层对脊柱图像进行下采样处理。
在本实施例中，第一预设数量为4，卷积层的尺寸为3×3，即采用3×3对脊柱图像进行连续4次的下采样，以增大脊柱图像的感受视野，便于对脊柱图像中的特征进行提取。
在本发明的一个实施例中，上述步骤S1中所采用的损失函数，包括焦点损失项、残差损失项、角偏移损失项和基于解剖学先验约束的正则化惩罚项。
在本实施例中，在对预设识别网络模型进行训练的过程中，采用真实热力图Y监督对概率热力图中椎骨中心点的提取，其中真实热力图Y中设置有各椎骨的新店的真实标签。对于真实热力图Y，其中各通道中每个椎骨按比例缩小的真实中心点/>周围放置一个遵循3σ验证法则的非归一化二维高斯椭圆，该椭圆的跨度即为高斯分布的标准差，其将由椎骨的面积决定，因此可能会出现σx≠σy。第i个椎骨的中心点在上述二维高斯椭圆中像素的权重值为：
其中σx为x轴方向上的标准差，σy为y轴方向上的标准差，表示第i个椎骨的真实中心点，/>和/>分别为第i个椎骨的真实中心点在x轴上的x坐标和在y轴上的坐标，xi和yi分别为第i个椎骨的预测中心点在x轴上的x坐标和在y轴上的坐标。通过调整了计算的焦点损失，以减少对高斯椭圆内部浮点的处罚，这些点也是脊骨的中心点的候选点。在本实施例中，通过如下计算公式获取焦点损失项：
其中为概率热力图/>中第i个椎骨的中心点像素的权重值，α为第一超参数，可以取值2；β为第二超参数，可以取值4；N为椎骨的数量。
在对脊柱图像进行4次下采样操作时，对于第i个椎骨的中心点，其会被缩放为因此会造成舍入误差/>其中Pi为在下采样处理前的脊柱图像中第i个椎骨的中心点。本实施例中在2通道特征映射/>上提取各椎骨的中心点的预测值，设预测得到的第i个椎骨的中心点为/>为了补偿上述下采样造成的误差，可以将该误差作为偏移量添加到缩放后的中心点中，以得到各椎骨的最终的中心点，其中第i个椎骨的最终中心点为
因此，可以得到因此残差损失项为：
为了获取各椎骨的角点，需要估计各椎骨的四个角点的相对坐标，这些角点由一个长度为8的向量表示，该向量由对应的中心点处从特征映射Fc中提取。将角度偏移量添加到中心点上，以生成对应的角点。例如，第i个椎骨左上角的角点为：
则可以通过如下计算公式得到椎骨的角偏移损失项Lc：
其中di表示长度为8的角偏移向量，并且预测偏移量由生成。
通过本实施例，所得到的损失函数为：
L＝Lh+La+Lc+λLtri
其中Ltri为基于解剖学先验约束的正则化惩罚项，λ为该正则化惩罚项的权重。
通过本实施例的设置方式，可以减少训练过程中对脊骨的中心点定位的损失、下采样过程中造成的损失和对各角点定位的损失，以提高所得到的预训练识别网络模型的准确性。
在本发明的一个实施例中，基于解剖学先验的正则化惩罚项包括通过弹性网络正则化计算出的三个相邻的椎骨的中心点的损失。
为了在训练过程中同时考虑到解剖学先验约束中的位置约束和距离约束，本实施例中采用Soft-argmax函数估计概率热力图的峰值位置以对中心点的位置进行推断，涉及了一个与解剖学先验知识相关的正则化惩罚项，并将该正则化惩罚项添加到损失函数中。
通常情况下，提取像素峰值位置的操作是不可以微变体的。因此在训练过程中梯度不能通过argmax函数进行反向传播，相反，本实施例中采用Soft-argmax函数，即
由于argmax函数操作是可以微变体，在训练过程中从概率热力图的第i个通道中提取峰值位置，如图4所示，并以此为基础计算正则惩罚项，是在二维窗口Wi中对像素计算的空间argmax函数，以实际峰值位置/>为第i个椎骨的中心点。在上述公式中:
在上述公式中，t为可学习的参数，用于调整像素之间的差异
在本实施例中，第二预设数量为3，即考虑到椎骨之间的解剖关系，将三个相邻的椎骨作为一体，中间椎骨的中心点的标签放置在相邻的两个标签的中心点附近，将实际峰值位置代入/>可以得到/>的预测值：
并且基于解剖学先验约束的正则化惩罚项，包括正则化惩罚项包括通过弹性网络正则化计算出的三个相邻的椎骨的中心点的损失，并且正则化惩罚项的计算公式为：
通过本实施例的设置方式，可以将基于解剖学先验约束的正则化惩罚项添加到损失函数中，并且通过该损失函数训练预设识别网络模型，可以提高所得到的预训练识别网络模型的准确度。
在本发明的一个实施例中，预设神经网络模型为基于HRNet的神经网络模型。
由于基于HRNet的神经网络模型可以进行多分辨率之间的频繁融合和交互，进而保留多尺度信息，因此，本实施例的设置方式可以提高对各椎骨的角点识别的准确性。
在本发明的一个实施例中，基于HRNet的神经网络模型包括第三预设数量的子网络，各子网络并行设置，且具有不同的分辨率。
在本实施例中，第三预设数量可以为4，HRNet由四个并行的高到低分辨率子网组成，每个子网通过前向传播保持分辨率。四个子网的分辨率依次减半，而宽度逐渐翻倍。
在本发明的一个实施例中，HRNet的网络的深度方向可以分为第四预设数量个阶段，图5所示，其中第一阶段包括4个瓶颈残差块和1个3×3卷积单元，拥有最高的分辨率。对于接下来的三个阶段，分别包含1个、4个和3个交换模块，多分辨率子网使用多个下采样和上采样步骤逐渐交换和融合特征。HRNet的最终输出将在第四阶段从最高分辨率的子网中提取。并且HRNet可以采用HRNet-48变体，最高分辨率子网的宽度将被设置为48。相应地，其他三个子网的通道数将分别为96、192和384。
通过本实施例的设置方式，可以在特征图的提取过程中进行多分辨率之间的融合和交互，以使特征图可以保留脊柱图像的多尺度信息，进而提高对椎骨的角点识别的准确性。
综上所述，本发明所提供的技术方案的整体如图6所示，可以先通过3×3的卷积层对脊柱图像进行下采样，然后再采用基于HRNet网络的预训练识别网络模型对下采样后的脊柱图像进行处理，以识别其中各椎骨的角点。并且在对预设识别网络模型进行训练以得到预训练识别网络模型时，采用的损失函数包括焦点损失项Lh、残差损失项La、角偏移损失项Lc和基于解剖学先验约束的正则化惩罚项Ltri，以提高预训练识别网络模型的精准度，进而提高对脊柱的Cobb角计算的准确性。
下面结合具体的实验验证本申请的技术方案的技术效果。
在本实验中清理后的脊柱X射线图像数据集包括从北京大学第一医院收集的819张自注释图像和从SpinalWeb上的数据集16中选择的591张图像，总共有1410张不同尺度的基于X射线的脊柱图像，各脊柱图像中17个椎骨的68个角落标签人工注释。此外，各椎骨的中心点是通过对各椎骨的真是中心点的坐标求平均值来计算的。所有的注释都通过了健全性检查测试，使得附近的四个角点紧密聚集在一起代表一个椎骨，相邻的椎体满足解剖学先验约束，椎体标签按照椎体中心点沿y轴从上到下排序。
本实验中的度量指标包括基本度量指标和解剖学相关指标，其中基本度量包括定位误差和平均绝对百分比误差。定位误差是指通过计算标签的真实位置和预测位置之间的平均L2距离，以评估标签检测的准确性。可以通过如下公式计算对椎骨的中心点或者角点的定位误差
在上述公式中，k为corner或者center，当k为corner时，为脊柱图像中各椎骨的角点的定位误差，di和gi分别为第i个角点在脊柱图像原始分辨率下的检测位置和真实位置，M表示测试数据集中椎骨的角点的标签的总数。当k为center时，/>为脊柱图像中各椎骨中心点定位误差，di和gi分别为第i个椎骨中心点在脊柱图像原始分辨率下的检测位置和真实位置，M表示测试数据集中椎骨的中心点的标签的总数。
除了定位误差，本实验还采用对称平均绝对百分比误差，即
根据AASCE MICCAI 2019挑战赛的方案评估Cobb角。通过AASCE挑战赛提供的算法，NI表示测试图像的总数，表示第i张测试图像中脊柱的第j种Cobb角类型的预测值，第i张测试图像中脊柱的第j种Cobb角类型的真实值。本实验中Cobb角有三种类型，它们指的是脊柱的近端胸椎(PT)、主胸椎(MT)和胸腰椎(TL)，各部位对应的SMAPE指标分别命名为SMAPEPT、SMAPEMT、SMAPETL。
解剖学相关指标:除了采用基本指标外，我们还提出了解剖学相关指标，以定量地衡量标签预测如何符合解剖学先验，而不仅仅是通过视觉质量观察。
在本实施例中，将区间定义为从第i个椎骨初步的预测结果，我们将区间/>定义为从第i个椎骨中心点/>指向后一个中心点/>的向量，即:
每张脊柱图像中的17个椎骨之间存在16个间隔，本实验将或者/>的中心点作为距离不符合解剖学知识先验的中心点，并采用Nfmin和Nfmax分别表示/>的中心点数量和/>的中心点数量。
对于顺序不符合解剖学先验的中心点，即中心点的y轴坐标或者/>将其中/>的中心点的数量计为Neq，/>的中心点数量记为Nneg。此外，对于那些具有负y轴值的区间的中心点，我们计算/>的平均值，并将记为/>并将其中的最小值记为min(yneg)。
由于在单通道热力图上采用排列操作，相邻的椎骨将始终满足顺序约束，即导致顺序相关指标的有效性丧失。因此，我们主要使用与解剖相关的指标来评估基于多通道热力图的算法上的解剖学关系。
我们进行5倍交叉验证实验来扫描整个数据集。数据集的分割将是train:val:test＝3:1:1，其中train表示训练图像的数量，val表示验证图像的数量，test表示测试图像的数量据。我们将所有输入图像的大小调整为512×256的固定分辨率，因此输出热力图的比例尺为128×64。常见的还采用了水平翻转、通道洗牌、对比度和亮度偏移等数据论证技术。我们使用Adam优化网络，初始学习率为10-4。当定位误差超过20个训练epoch仍不能降低时，学习率将降低10。一旦学习率达到10-9，训练过程就会终止。训练epoch的最大值被限制在[200,400]以内。所有的实验都遵循相同的训练设置。
基于解剖学约束的正则化惩罚项的权重λ设为0.15。在Soft-argmax函数中使用大小为40的均匀窗口，同时我们将t赋值为0.005。至于推理，我们在所有训练epoch中选择验证数据集上定位误差最小的模型。对于输出的大小为128×64的热力图，与解剖学相关的超参数将被设置为：
Δymin＝2，Δymax＝10，Δxmax＝7
本实验的算法主要与基于热力图的基线模型进行了比较，所得到的数据如表1、表2、表3和表4所示，其中表1中的数据是基本指标，表2中的数据是解剖学相关指标，表3是采用不同主架构网络的识别模型的基本指标，表4是不同脊柱的解剖学相关指标。在上述表1、表2、表3和表4中，Heatmap-based是基于热力图的预设识别网络模型，Heatmap-based+Ltri是引入基于解剖学先验约束的正则化惩罚项的热力图的预设识别网络模型，Heatmap-based+Ltri+Sequentual Inference是引入基于解剖学先验约束的正则化惩罚项和顺序推理的热力图的预设识别网络模型。本实验中的热力图，是指对脊柱图像进行特征提取并得到相应的特征图后，采用激活函数对特征图进行激活处理以得到的热力图。
表1
表2
表3
表4
本实验得到的基础指标和解剖学相关指标的可视化结果如图7、图8和图9所示。在图7是多个训练算法的标签的预测值和注释的真实值进行定性比较的示意图，a部分为热力图的关键点检测算法得到的检测结果，b为基于单通道热力图和HRNet网络的预设识别网络模型得到的检测结果，c为基于多通道热力图和HRNet网络的预设识别网络模型得到的检测结果，d基于多通道热力图、HRNet网络和引入基于解剖学先验约束的正则化惩罚项的预设识别网络模型得到的检测结果，e部分是基于多通道热力图、HRNet网络、引入基于解剖学先验约束的正则化惩罚项和顺序推理的预设识别网络模型得到的检测结果。对于包括基线模型在内的所有算法，输入分辨率设置为512×256。
图8示出的是多通道方案中使用的解剖学先验约束的损失示意图，其中a部分为基于多通道热力图和HRNet网络的预设识别网络模型得到的示意图，b部分为基于多通道热力图和HRNet网络，且引入基于解剖学先验约束的正则化惩罚项得到的示意图。
图9所示出的是多通道方案中使用的解剖辅助推理示意图，其中a部分为基于多通道热力图和HRNet网络，且引入基于解剖学先验约束的正则化惩罚项得到的示意图，b部分为基于多通道热力图和HRNet网络，且引入基于解剖学先验约束的正则化惩罚项和顺序推理得到的示意图。
为了与不同的新数据集上的基线模型进行公平比较，我们使用的代码在我们的混合数据集上重新训练基线模型，保持输入分辨率和训练设置与我们的算法相同，而不是直接列出结果。
与输入分辨率为512×256的基线模型相比，我们的算法在添加所有设计组件后，对低方差的角点和中心标签都实现了最低的检测误差。此外，SMAPE数值也有不同程度的下降。我们提出的算法在标签定位和Cobb角估计上都比基线模型具有更好的精度和稳定性。
1)HRNet上的消融:从类似U-Net的主网络切换到HRNet-48后，标签检测误差从39.67/36.61显著下降到35.89/32.89；同时，Cobb角估计的精度也得到了提升。HRNet成为的标签检测任务中性能最优的骨干网络，是由于多分辨率之间频繁的融合和交互，从而保留了多尺度信息。
2)多通道热力图上的消融:当通过对沿纵轴排列最高的选定点从单通道热力图推断出所有17个椎骨时，清晰的脊柱图像上可能会出现明显的异常值。当应用多通道方案时，由于对不同椎骨的个体监督，不合理的预测减少了。
仅通过改变通道数量，定量检测误差将从39.67/36.61减少到36.88/33.81，如表3中的数据所示。HRNet-48骨干网采用多通道方案(35.89/32.89→34.97/31.88)时，检测误差呈现一致的下降趋势。
3)解剖约束损失的消融:对于使用多通道热力图的算法，存在相当多的异常点阈值预测，这些预测不符合解剖学先验，如表2和表4所示。基于对输出图像的大量观察，1或2个异常椎骨可能出现在解剖学上不可信的图像上。如图8中的a部分所示，预测的椎骨显示出严重的紊乱和不均匀的椎骨分布。当在训练目标中加入设计的解剖学约束损失时，里程碑式预测被约束为符合图8中的b所示的解剖学先验。根据表2中自设计的指标，异常值的数量下降幅度相对较大(超过1/3，甚至接近1/2)，而和min(yneg)也减少了。除此之外，随着解剖约束的正则化，检测误差也减少了。
为了验证我们设计的惩罚在不同骨干网上的有效性，我们将提出的惩罚纳入其骨干网基于ResNet34的基线模型中。解剖约束损失在解剖相关指标方面带来了显著的改进，同时保持了表3和表4中标签和Cobb角的准确性，这表明所提出的惩罚是一个通用的、灵活的正则化项，与不同的特征提取器兼容。
4)解剖辅助推理上的消融:对于解剖相关训练惩罚正则化后仍然存在解剖问题的标本，如图7中的d部分或者图9中的a部分；我们在推理时间内根据解剖先验校准预测，如图7中的e部分和图9中的b部分。通过提出的后处理步骤，在使用解剖约束损失的基础上，解剖相关的性能将得到进一步提升。异常椎间隙的数量减少了近30～40％，同时保持了标签定位精度的表现。此外，所设计的调整程序的通用性在不同的主干上得到了证明，如表2和表4所示。
本实施例还提供了一种机器可读存储介质和计算机设备，其中计算机设备可以包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一实施例的脊柱侧弯度检测方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
就本实施例的描述而言，机器可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。
计算机设备可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备可以是云计算节点。计算机设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
计算机设备可以包括适于执行存储的指令的处理器、在操作期间为所述指令的操作提供临时存储空间的存储器。处理器可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。
处理器可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备的内置组件，或者可以是外部连接到计算设备的设备。
处理器也可以通过系统互连链接到适于将计算机设备连接到显示设备的显示接口。显示设备可以包括作为计算机设备的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备的计算机监视器、电视机或投影仪等。此外，网络接口控制器(networkinterface controller，NIC)可以适于通过系统互连将计算机设备连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。
本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种脊柱侧弯度检测方法，其特征在于，包括：
采用数据训练集对预设识别网络模型进行训练，以得到预训练识别网络模型，其中所述训练采用设有基于解剖学先验约束的正则化惩罚项的损失函数；
采用所述预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点；
根据各所述角点计算所述脊柱的Cobb角。
2.根据权利要求1所述的脊柱侧弯度检测方法，其特征在于，
所述采用所述预训练识别网络模型对脊柱图像进行识别，以得到脊柱中各椎骨的角点，包括：
对所述脊柱图像进行特征提取，以得到对应的特征图；
根据所述特征图，按照预设顺序识别出各所述椎骨的中心点；
根据各所述中心点，得到各所述角点。
3.根据权利要求2所述的脊柱侧弯度检测方法，其特征在于，
在所述对所述脊柱图像进行特征提取前，还包括：
采用第一预设数量的卷积层对所述脊柱图像进行下采样处理。
4.根据权利要求3所述的脊柱侧弯度检测方法，其特征在于，
所述损失函数包括焦点损失项、残差损失项、角偏移损失项和所述正则化惩罚项。
5.根据权利要求1所述的脊柱侧弯度检测方法，其特征在于，
所述正则化惩罚项包括通过弹性网络正则化计算出的三个相邻的椎骨的中心点的损失。
6.根据权利要求1所述的脊柱侧弯度检测方法，其特征在于，
所述预设识别网络模型为基于HRNet的神经网络模型。
7.根据权利要求6所述的脊柱侧弯度检测方法，其特征在于，
所述基于HRNet的神经网络模型包括第二预设数量的并行子网络，且各所述子网络设有不同的分辨率。
8.根据权利要求6所述的脊柱侧弯度检测方法，其特征在于，
所述基于HRNet的神经网络模型的深度方向分为四个连续的阶段，其中第一阶段包括第三预设数量的瓶颈残差块和一个卷积单元，其他阶段分别包含相应数量的交换模块。
9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的脊柱侧弯度检测方法。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的脊柱侧弯度检测方法。
CN202310551517.9A 2023-05-16 2023-05-16 一种脊柱侧弯度检测方法、计算机设备及存储介质 Pending CN116797545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310551517.9A CN116797545A (zh) 2023-05-16 2023-05-16 一种脊柱侧弯度检测方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310551517.9A CN116797545A (zh) 2023-05-16 2023-05-16 一种脊柱侧弯度检测方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116797545A true CN116797545A (zh) 2023-09-22

Family

ID=88036972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310551517.9A Pending CN116797545A (zh) 2023-05-16 2023-05-16 一种脊柱侧弯度检测方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116797545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117257455A (zh) * 2023-11-21 2023-12-22 中国人民解放军总医院第一医学中心 一种腰椎手术固定棒预弯方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117257455A (zh) * 2023-11-21 2023-12-22 中国人民解放军总医院第一医学中心 一种腰椎手术固定棒预弯方法及装置
CN117257455B (zh) * 2023-11-21 2024-02-20 中国人民解放军总医院第一医学中心 一种腰椎手术固定棒预弯方法及装置

Similar Documents

Publication Publication Date Title
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
Maiora et al. Random forest active learning for AAA thrombus segmentation in computed tomography angiography images
Hogeweg et al. Clavicle segmentation in chest radiographs
JP2021535482A (ja) 深層学習ベースのコレジストレーション
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
Angelopoulou et al. 3D reconstruction of medical images from slices automatically landmarked with growing neural models
CN111402278B (zh) 分割模型训练方法、图像标注方法及相关装置
Wang et al. Automatic vertebra localization and identification in CT by spine rectification and anatomically-constrained optimization
Zhang et al. MPF-net: An effective framework for automated cobb angle estimation
Zhang et al. An automated cobb angle estimation method using convolutional neural network with area limitation
Cunningham et al. Fully automated image-based estimation of postural point-features in children with cerebral palsy using deep learning
WO2019064599A1 (ja) 異常検知装置、異常検知方法、及びコンピュータ読み取り可能な記録媒体
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
CN116797545A (zh) 一种脊柱侧弯度检测方法、计算机设备及存储介质
US8340378B2 (en) Ribcage segmentation
CN111539349A (zh) 姿态识别模型的训练方法及装置、姿态识别方法及其装置
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
Damopoulos et al. Automatic localization of the lumbar vertebral landmarks in CT images with context features
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
US20100098305A1 (en) Multi-image correlation
Zhang et al. Intelligent measurement of spinal curvature using cascade gentle AdaBoost classifier and region-based DRLSE
Mo et al. Focusing Intracranial Aneurysm Lesion Segmentation by Graph Mask2Former with Local Refinement in DSA Images
Gorodissky et al. Large field and high resolution: Detecting needle in haystack
Zhang et al. Automatic Lenke classification of adolescent idiopathic scoliosis with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination