CN115705635A - 一种脊柱弯曲角计算方法、装置及计算机设备 - Google Patents

Abstract

本发明涉及机器学习图像处理技术领域，特别是一种脊柱弯曲角的计算方法及装置。其中所述方法包括如下：将脊柱医学图像输入预设神经网络获取脊柱图像特征；将脊柱图像特征输入Transformer模型获取脊柱中心线拟合参数；计算脊椎中心线位置信息；计算脊柱弯曲Cobb角，如此技术方案能够定位脊柱中心线，依据中心线计算脊椎弯曲Cobb角。本发明方法能够高效且精准地确定脊柱中心线，确定出用于评估脊柱弯曲程度的Cobb角。本发明基于图像特征信息直接拟合定位脊柱中心线，有效减少各脊椎体定位、分割等中间过程导致脊柱Cobb角计算错误，同时避免人为手动标记工作，节省测量脊柱弯曲Cobb角的时间成本和人力成本。

Description

一种脊柱弯曲角计算方法、装置及计算机设备

技术领域

本申请涉及深度学习图像处理领域，尤其涉及一种脊柱中心线拟合、脊柱Cobb角计算方法，模型训练的方法、系统、装置以及计算机可读存储介质。

背景技术

近年来脊椎侧弯在人群中出现的比例在逐年增加，对患者的工作和生活造成影响。在影像临床诊断中，医生需要逐个标记脊椎椎骨上下边缘方向，根据脊椎边缘方向计算脊柱Cobb角，用来评估脊椎侧弯的情况。目前现有技术对脊柱图像Cobb角计算，大多采用基于神经网络模型进行脊柱的椎体分割或椎体边界关键点定位，再根据关键点计算脊柱弯曲Cobb角，也存在根据脊柱中心区域分割提取结果进行多项式曲线拟合脊柱中心线，计算Cobb角。

Transformer模型是Google的团队在2017年提出的一种用于自然语言处理(NLP)的经典模型，用于处理NLP中常见的序列信号。与顺序处理序列信号的循环神经网络(RNN)相比，它使用了自注意力Self-Attention机制，使得模型可以对序列信号进行并行化处理，并拥有全局信息，可以快速地对序列进行处理。Facebook在2020年将其引入了视觉领域，其后，Transformer又被引入到目标跟踪、目标检测等领域，并且都取得了较好的效果。

上述内容仅用于辅助理解本申请的技术方案，不代表承认上述内容是现有技术。

发明内容

基于此，对于上述技术问题，提出一种更优的脊柱弯曲角度Cobb角的测量方法、装置、计算机设备，用于节省测量脊柱弯曲角度Cobb角的人工成本。同时减少多块脊椎骨骼的定位、分割等步骤，图像卷积神经网络后获取的图像特征通过transformer模型，直接获取脊柱中心线多项式拟合参数，计算脊椎弯曲Cobb角，提升精度，节省成本。

于是，在本申请的一个实施例中，提供一种脊柱弯曲Cobb角计算方法。该方法包括：

确定第一神经网络模型；

将包含有脊柱区域的待处理图像输入所述第一神经网络模型，获得所述待处理图像的脊柱中心线拟合参数；

计算第一模块；

基于所述确定第一神经网络获取脊柱中心线拟合参数，拟合脊柱中心线位置，计算各脊柱弯曲Cobb角度。

在本申请的又一实施例中，提出了一种脊柱弯曲中心线拟合模型训练方法。该方法，包括；

将包含脊柱区域的样本图像输入确定第一神经网络模型。获得所述样本图像的脊柱中心线拟合参数结果；

根据所述脊柱中心线拟合参数结果与所述样本脊柱图像的中心线期望结果，对所述确定第一神经网络模型进行参数优化。

在本申请的又一实施例中，提供了一种脊柱弯曲Cobb角度测量装置，包括：

预处理模块，将所述包含预设的脊柱感兴趣区域的待测量图像调整为统一的图像尺寸和窗宽窗位；

特征提取模块，将调整后的所述待检测脊柱图像输入预设神经网络模型，获取脊柱图像的图像特征；

特征Transformer确定模块，将所述脊柱图像特征向量信息输入Transformer确定模块，获取脊柱中心线拟合参数；

Cobb角确定模块，根据所述脊柱中心线拟合参数，拟合脊柱中心线位置，确定出各脊柱弯曲Cobb角。

在本申请的又一实施例中，提供了一种计算机设备。该设备包括存储器、处理器以及存储，在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述脊柱弯曲角度测量方法。

在本申请的又一实施例中，提供了一种计算机可读取存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述脊柱弯曲角度测量方法。

上述脊柱弯曲角度Cobb角的测量方法、装置、计算机设备及存储介质，使用卷积神经网络模型和Transformer模型相结合，直接定位脊柱中心线，并基于拟合的脊柱中心线计算出Cobb角。相比现有的基于分割、定位多块感兴趣脊椎骨，计算多块脊椎骨位置信息组合计算的Cobb角具有更好的鲁棒性性，减少脊椎骨关键点定位、脊椎骨分割误差对Cobb角计算的准确性影响。相比现有的人工手动测量方法，减少计算手动测量的成本，提高脊柱弯曲Cobb角的测量一致性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对本发明实施例的描述中所需要使用的附图进行简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明一实施例中脊柱弯曲角度示意图。

图2是本发明一实施例中脊柱弯曲角度计算流程图；

图3是本发明一实施例中Transformer模块结构图；

图4是本发明一实施例中脊柱弯曲角度计算装置模块图；

图5是本发明一实施例中计算机设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

在一实施例中，如图2所示，提供一种脊柱弯曲Cobb角度测量方法，包括如下步骤：

S10, 获取包含脊柱感兴趣区域的脊柱冠状位图像，将所述脊柱图像调整为统一要求的图像尺寸和图像窗宽窗位；

可以理解地，所述脊柱冠状位图像需要包含脊柱区域，其中待测量脊柱图像支持多种模态数据（如computed tomography, 简称CT,digital radiography简称DR），如所述待检测图像为CT数据，则需要采用前后方向的最大密度投影图像作为待检测图像，如所述待检测图像为DR数据，直接采用DR图像数据作为所述待检测图像。其中所述待检测图像支持多尺度图像，本实施例通过预处理的方式（图像插值和图像填充的方式）将待检测图像调整为统一预设尺寸（如1024*512像素），将所述待检测图像按照有利于骨骼结构观察的窗宽窗位（窗宽是指医学影像数据的灰度显示范围，窗位是指影像数据灰度窗的中心位值）进行调节，本实施例通过窗宽窗位调整手段将不同成像设备形成的脊柱影像数据转换为统一的有利于表现脊柱骨骼特征的待检测图像，以便后续能够得到统一具有脊柱骨骼影像特征图像。

S20 将调整后的所述待检测脊柱图像输入到预设的主干卷积神经网络（backbone）模型，得到所述脊柱图像的图像特征信息。

需要说明的是，特征图像(image features)主要有图像的灰度特征、纹理特征、图形特征(形状特征)和空间关系特征。

需要补充的是，上述主干卷积神经网络包括包括：卷积层、下采样层、上采样层、激活层等等。多个网络层处理过程可参见现有技术，在此不做具体限定。

可以理解地，预设主干神经网络模型包括但不限于ResNet模型、EfficientNet模型、VggNet模型等，该预设神经网络模型能够得到脊柱图像的特征数据矩阵，本实施例优选ResNet18残差网络模型，由残差网络进行图像中脊柱特征的计算，且残差网络计算得到脊柱图像特征后，可将脊柱图像残差网络特征值作为目标图像中脊柱图像特征对应的预设向量。

S30，将所述脊柱图像特征预设向量作为Transformer模型的输入向量，其中所述Transformer模型如图3所示包括编码层（Encoding）和解码层（Decoding），每个编码子模块包含一个多头自注意力模块和一个前馈神经网络，每个解码器包括任意数量的解码子模块，每个解码子模块包括两个多头自注意力模块和一个前馈神经网络。

所述解码层（Decoding）有两个标准层。与编码器不同的是，每一层都插入另一个注意模块，该模块期望编码器的输出，使编码器能够对包含空间信息的特征执行注意机制，从而与最相关的特征元素相关联，获取扁平特征序列。

将所述解码层获取的特征输入到FFNs（Feed Forward Network）网络模型，获得脊柱中心曲线拟合参数，所述FFNs网络模型由全链接层和激活层组成。

所述脊柱中心线由多项式拟合计算得到，其中脊柱中心线由

拟合得到脊柱位置信息，所述FFNs网络模型得到的曲 线拟合参数包括：曲线拟合参数（a, b, c, d）、脊柱中心线起始位置、脊柱中心线结束位 置。

S40，根据所述脊柱中心线拟合参数和起止位置拟合脊柱中心线位置，等间距采样脊柱中心线位置点，基于曲线拟合参数计算各采样点法线方向，计算所述任意两点采样点位置法线方向之间形成的夹角，得到一个包含所述夹角的矩阵，从所述矩阵中选取其中两个位置的法向量之间形成的目标夹角作为脊椎弯曲Cobb角。

可理解地，本实施例中以1cm为采样间隔距离进行脊柱中心线位置点采样，每个采样点可根据拟合曲线参数计算采样点位置的法方向向量，每一个采样点法向量与所有采样点法方向向量之间的夹角形成夹角矩阵；如图1所示，倾斜角度最大的两个法方向向量之间所形成的夹角为主胸夹角（Main Thoracic，MT）。近胸夹角（Proximal Thoracic，PT）和腰部夹角（Thoraco Lumbar，TL）通过形成目标夹角通过主胸夹角采样位置和其他采样点法方向的之间的夹角所形成。

进一步地，所述计算获取的脊柱弯曲Cobb角度后，可根据所述Cobb角评估脊柱完成角度和脊椎弯曲程度的问题。

所述预设网络模型参数优化由已标记的脊柱图像和对应脊柱中心线坐标数据集训练得到，其中所述网络模型的训练过程如下：将包含样本对影像的样本图像输入神经网络模型中并添加带有脊柱中心线坐标信息的附加通道；并基于添加所述附加通道的输入数据，确定所述神经网络模型输出数据；根据所述预测脊柱中心线参数拟合脊柱中心线与所述样本图像的期望中线线坐标，对所述神经网络模型进行参数优化。

进一步的，所述预测脊柱中线线参数拟合脊柱中心线与所述样本图像的期望坐标对所述神经网络模型进行参数优化的步骤具体可以为：将所述预测脊柱中心线起始位置和结束位置坐标信息与期望脊柱中心线起始和结束位置坐标作为L1 Loss损失函数的输入，执行L1 Loss损失函数得到起止位置损失值；将所述预测脊柱中心线位置与所述期望脊柱中心线位置作为L1 Loss损失函数的输入，执行L1 Loss损失函数得到中心线位置损失值。根据起止位置中心线位置损失值，对所述神经网络进行参数优化。损失值大于或等于损失阈值，则根据损失值，对所诉神经网络模型进行参数优化；损失值小于损失阈值，则停止训练，得到预设神经网络模型。

综上所述，上述提供了一种脊柱弯曲Cobb角度测量方法，使用多种模型结合去定位拟合脊柱中心线，并基于脊柱中心线位置计算出脊柱弯曲Cobb角，相比现有基于多块脊椎骨关键点检测、脊椎骨分割检测方法，能够减少脊椎骨关键点或脊椎骨分割等中间过程误差导致的Cobb角计算错误，也不受脊椎骨边缘定位的准确性影响Cobb角计算精度。相比现有的人工手动测量，减少人工成本和时间成本，可见本Cobb角计算方法相交现有方法能够减少检测步骤，提升算法的鲁棒性和Cobb角计算精度，并能有效降低人工成本和时间成本。

应理解，上述实施例中各步骤的序号的大小并不意味着执行的先后顺序，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限制。

在一实施例中，提供一种脊柱弯曲Cobb角测量装置，该脊柱弯曲Cobb角度测量装置与上述实施例中脊柱弯曲Cobb角度计算方法一一对应。如图4所示，该脊柱弯曲角度测量装置包括处理模块11,、特征提取模块12、特征Transoform模块13、Cobb角确定模块14。各功能模块详细说明如下。

处理模块11，用于处理脊柱冠状位图像，将获取的所述待测量脊柱冠状位图像调整为统一的图像尺寸和窗宽窗位；

进一步的，所述处理模块用于对所诉待检测脊柱图像进行差值方法调整为规定一致的图像大小。归一化调，根据成像设备信息将待处理图像数据调整为统一的窗宽窗位图像数据。

特征提取模块12，用于将调整后的待检测图像输入预设神经网络模型，得到待检测脊柱图像的特征信息；

进一步的，所述特征提取模块用于利用卷积神经网络CNN的卷积层从包含所述预设感兴趣区域的待测量脊柱图像中获取特征信息。

特征Transform模块13，将所述待检测图像特征信息输入预设Transform网络模型，获取脊柱中心线曲线定位拟合相关参数。

进一步的，所述特征Transform模块包括：

编码器模块，将所述脊柱图像特征信息输入到编码器，每个编码器由一个带自注意力模块Self-Attention的残差结构和带全链接网络的残差结构组成，特征经过多个编码器后，将计算结果分别输入多个编码器中进行后续的计算。

解码器模块，将所编码述特征值输入到解码器的残差结构中，得到输出特征值和所述编码器输出一起输入到解码器残差结构中，实现编码器输出所述特征值的关联。

FFN（Feed Forward Network）网络模块，将所述解码的特征分别输入到全连接网络中，得到脊柱中心线拟合参数，包括曲线类型概率、曲线起始位置、曲线结束位置、曲线拟合参数。

可选的，如图3，Transformer模型包含6层编码器，以及6层解码器，输入脊柱图像特征对应的预设向量。

应当理解的是，第一层解码器无需处理上一层解码器的输出值，只需处理编码器的输出值。即编码-解码注意力层用于处理编码器和输出值和/或上一层解码器的输出值。这样通过利用Transformer模型高效率的数据处理能力，实现对脊柱中心线的拟合定位。

Cobb角确定模块14，通过所述曲线拟合参数获取脊柱中心曲线位置信息，获取脊柱中心线等间距采样点，基于脊柱中心线参数计算各采样点法方向向量。

进一步的，所述Cobb角确定模块包括：

中心线确定模块，用于根据所述脊柱中心线拟合参数确定脊柱中心线位置，其中包括脊柱中心线起始位置和中心线结束位置。

采样点确定模块，用于根据所述脊柱中心线位置信息，获得等间隔脊柱中线采样点位置，确定采样点法方向向量。

采样点夹角计算模块，等间距采样脊椎中心线的控制点，计算所述各采样控制点法向量。控制点法向量夹角计算模块，逐一计算采样点与其他采样点法向量的夹角，形成采样点夹角矩阵。

Cobb角确定模块，从所述采用控制点法向量夹角矩阵中依次选择确定主胸夹角、近胸夹角、腰部夹角等Cobb夹角。

关于脊柱弯曲角度测量装置的具体限定可以参见上文中对脊椎弯曲Cobb角度测量方法的限定，在此不再赘述。上述脊柱弯曲测量Cobb角计算装置中的各个模块可以通过全部或者部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌或独立计算设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储脊柱弯曲角度测量方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种脊柱弯曲角度测量方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种脊柱弯曲角的计算装置及方法，其特征在于，包括：

确定第一神经网络模型；

将包含有脊柱区域的待处理图像输入所述神经网络模型，获得所述待处理图像的脊柱中心线拟合参数结果；

计算第一模块；

通过所述确定第一神经网络模型获取的脊柱中心线定位拟合参数，定位拟合脊柱弯曲中心线位置，计算各脊柱弯曲Cobb角。

2.根据权利要求1所述的脊柱弯曲角计算方法，其特征在于，所述待处理图像为包含脊柱区域的冠状位图像，

对所述待检测脊柱图像调整为统一图像尺寸，对所述待检测脊柱图像灰度值调整为统一的窗宽窗位。

3.根据权利要求1所述第一确定神经网络包括卷积神经网络，其特征在于利用所述卷积神经网络获取预设脊柱图像的特征信息。

4.根据权利要求1所述第一确定神经网络包括Transformer模型，其特征在于所述脊柱图像特征信息通过Transformer模型，获取所述脊柱中心线的拟合参数和位置信息。

5.根据权利要求1所述计算第一模块，所述脊柱中心线拟合方程为

，所述拟合参数包括脊柱中心线拟合参数、脊柱中心线起 始位置、脊柱中心线结束位置。

6.根据权利要求1所述计算第一模块，计算各脊柱弯曲Cobb角，其特征在于对脊柱中心线位置进行采样，计算采样点法线方向向量夹角矩阵，确定法线方向最大夹角为胸弯Cobb角。

7.一种模型训练方式，其特征在于，包括：

将包含有脊柱样本图像输入神经网络模型，获得所述样本图像的脊柱中心线拟合参数预测结果；

根据所述脊柱拟合参数拟合脊柱中心线，根据所述拟合脊柱中心线结果与所述样本图像脊柱中心线期望结果，对所述神经网络进行参数优化；

根据所述脊柱中心线分类预测结果与所诉脊柱分类期望结果，计算第一损失值；

根据所述脊柱中心线参数拟合的中心线起始、结束位置预测结果与所述脊柱中心线起始、结束位置期望结果，计算第二损失值；

根据所述脊柱中心线参数拟合中心线位置与所述脊柱中心线的位置期望结果，计算第三损失值。

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1至6中任意一项所述脊椎Cobb角的测量方法。

9.一种计算机可读存储介质，所述计算机可读介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述脊椎Cobb角的测量方法。

Images