CN114359472A - 一种脊柱三维模型的重构方法及系统 - Google Patents

Abstract

本发明提供一种脊柱三维模型的重构方法及系统，涉及医学图像处理技术领域，包括：采集一患者的脊柱正面图像和脊柱侧面图像，并根据所述脊柱正面图像和所述脊柱侧面图像处理得到所述患者的脊柱中每节椎骨的三维体素模型以及每节所述椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；根据对应的各所述三维坐标分别处理得到每节椎骨的旋转角度，并根据所述三维体素模型、各所述三维坐标以及各所述旋转角度生成所述患者的脊柱三维模型。有益效果是不需要人工参与，能够有效避免人工参与过多带来的标记、计算误差等问题，能够较为精确的还原患者真实的椎骨三维模型和脊柱形状。

Description

一种脊柱三维模型的重构方法及系统

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种脊柱三维模型的重构方法及系统。

背景技术

脊柱侧弯是一种常见的青少年疾病。病人的三维脊柱模型对于病人的诊断、手术方案确定和矫正效果的评估具有重要的意义。传统医疗检测中，通常采用基于MRI和CT的三维重构方法，但该方案存在着对患者的辐射量大，难以获取患者站立姿势下的脊柱影像等问题，因此不适合周期性的矫正效果检验。相比于MRI、CT成像，X光检测具有成像辐射量小、易于获取患者站姿，在现实应用中广泛应用等特点。然而，传统X光检测是二维成像方式，难以得到脊柱三维信息，本发明提供一种基于二维X光检测的个性化三维重构方式。

在过去的二十年里，涌现出了许多基于双平面X光图像的脊柱三维重构方法，其中主流方案是基于几何和人工参与标注的半自动方法以及基于深度学习网络的全自动重构方法。Humbert et al.l等人使用参数模型提出了一种基于统计推断方法，利用各节椎骨之间的几何关系对椎骨的位置进行统计学推理，以此来重构脊柱的三维模型。Dumas et al.等人提出了一种半自动重构方法，该方法对双平面X光片上C7椎骨和L5椎骨的位置进行插值并且利用C7和L5的轮廓信息对重构结果进行优化。然而这种方法为获得较为精确的结果，需要在重构脊柱三维模型之后，需要进行人工调整，十分费时。Benameur et al.提出了一种方法，将重构出来的三维模型投影到双平面上不断拟合X光平面上的二维脊柱形状。Hamadel et al提出了一种对于目标X光片区域和三维表面模型重投影之间的配准方法，但该方法的初始化依赖于椎骨的精确分割。目前对于椎骨的精确分割同样是一大挑战。

本文提出一种基于双平面X光图像的个性化脊柱3D重建方法，该方法相较于其他方法具有无需人工干预自动实现重建、个性化、用时短和精度高等优点。

发明内容

针对现有技术中存在的问题，本发明提供一种脊柱三维模型的重构方法，包括：

步骤S1，采集一患者的脊柱正面图像和脊柱侧面图像，并根据所述脊柱正面图像和所述脊柱侧面图像处理得到所述患者的脊柱中每节椎骨的三维体素模型以及每节所述椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

步骤S2，根据对应的各所述三维坐标分别处理得到每节椎骨的旋转角度，并根据所述三维体素模型、各所述三维坐标以及各所述旋转角度生成所述患者的脊柱三维模型。

优选的，所述步骤S1包括：

步骤S11，采用预先训练得到的一分割网络分别分割得到所述脊柱正面图像和所述脊柱侧面图像中的每节所述椎骨对应的椎骨正面图像和椎骨侧面图像；

步骤S12，采用预先训练得到的一椎骨特征点标注网络分别于所述椎骨正面图像和所述椎骨侧面图像上进行特征点标注得到标注出的每个所述椎骨特征点在所述脊柱正面图像和所述脊柱侧面图像中的椎骨特征点二维坐标；

步骤S13，根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标；

步骤S14，将各节所述椎骨的所述椎骨正面图像和所述椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节所述椎骨的所述三维体素模型。

优选的，步骤S13包括：

步骤S131，根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的椎骨特征点物理三维坐标；

步骤S132，获取对应的所述脊柱正面图像和所述脊柱侧面图像中的脊柱高度，并根据各所述脊柱高度分别对相应的所述椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

步骤S133，采用预先构建的一线性生成模型对各所述归一化三维坐标进行优化处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标。

优选的，所述椎骨特征点包括胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点。

优选的，执行所述步骤S11之前，还包括一坐标系构建过程，包括：

步骤A1，将所述脊柱正面图像和所述脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到所述脊柱正面图像和所述脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，所述坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

步骤A2，根据各所述坐标系特征点二维坐标处理得到所述颈椎第七节中心点、所述股骨头中心点和所述骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各所述坐标系特征点物理三维坐标构建得到所述脊柱形状坐标系。

本发明还提供一种脊柱三维模型的重构系统，应用上述的重构方法，所述重构系统包括：

图像处理模块，用于采集一患者的脊柱正面图像和脊柱侧面图像，并根据所述脊柱正面图像和所述脊柱侧面图像处理得到所述患者的脊柱中每节椎骨的三维体素模型以及每节所述椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

模型重构模块，连接所述图像处理模块，用于根据对应的各所述三维坐标分别处理得到每节椎骨的旋转角度，并根据所述三维体素模型、各所述三维坐标以及各所述旋转角度生成所述患者的脊柱三维模型。

优选的，所述图像处理模块包括：

图像分割单元，用于采用预先训练得到的一分割网络分别分割得到所述脊柱正面图像和所述脊柱侧面图像中的每节所述椎骨对应的椎骨正面图像和椎骨侧面图像；

特征点标注单元，连接所述图像分割单元，用于采用预先训练得到的一椎骨特征点标注网络分别于所述椎骨正面图像和所述椎骨侧面图像上进行特征点标注得到标注出的每个所述椎骨特征点在所述脊柱正面图像和所述脊柱侧面图像中的椎骨特征点二维坐标；

坐标转换单元，连接所述特征点标注单元，用于根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标；

椎骨重建单元，连接所述图像分割单元，用于将各节所述椎骨的所述椎骨正面图像和所述椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节所述椎骨的所述三维体素模型。

优选的，所述坐标转换单元包括：

第一转换子单元，用于根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的椎骨特征点物理三维坐标；

第二转换子单元，连接所述第一转换子单元，用于获取对应的所述脊柱正面图像和所述脊柱侧面图像中的脊柱高度，并根据各所述脊柱高度分别对相应的所述椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

优化处理子单元，连接所述第二转换子单元，用于采用预先构建的一线性生成模型对各所述归一化三维坐标进行优化处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标。

优选的，所述椎骨特征点包括从胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点。

优选的，所述图像处理模块还包括一坐标系构建单元，连接所述坐标转换单元，所述坐标系构建单元包括：

检测子单元，用于将所述脊柱正面图像和所述脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到所述脊柱正面图像和所述脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，所述坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

坐标处理子单元，连接所述检测子单元，用于根据各所述坐标系特征点二维坐标处理得到所述颈椎第七节中心点、所述股骨头中心点和所述骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各所述坐标系特征点物理三维坐标构建得到所述脊柱形状坐标系。

上述技术方案具有如下优点或有益效果：不需要人工参与，能够有效避免人工参与过多带来的标记、计算误差等问题，能够较为精确的还原患者真实的椎骨三维模型和脊柱形状。

附图说明

图1为本发明的较佳的实施例中，一种脊柱三维模型的重构方法的流程示意图；

图2为本发明的较佳的实施例中，坐标系构建过程的流程示意图；

图3为本发明的较佳的实施例中，步骤S1的子流程示意图；

图4为本发明的较佳的实施例中，步骤S13的子流程示意图；

图5为本发明的较佳的实施例中，DRR生成的示意图；

图6为本发明的较佳的实施例中，encoder(编码器)的网络结构的示意图；

图7为本发明的较佳的实施例中，dencoder(解码器)的网络结构的示意图；

图8为本发明的较佳的实施例中，refiner(精化器)的网络结构的示意图；

图9为本发明的较佳的实施例中，一种脊柱三维模型的重构系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种脊柱三维模型的重构方法，如图1所示，包括：

步骤S1，采集一患者的脊柱正面图像和脊柱侧面图像，并根据脊柱正面图像和脊柱侧面图像处理得到患者的脊柱中每节椎骨的三维体素模型以及每节椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

步骤S2，根据对应的各三维坐标分别处理得到每节椎骨的旋转角度，并根据三维体素模型、各三维坐标以及各旋转角度生成患者的脊柱三维模型。

具体地，本实施例中，上述脊柱正面图像和脊柱侧面图像为采用X光成像技术采集得到的X光图像。可以采用两台X光机A和X光机B采集患者的脊柱正面图像和脊柱侧面图像，在采集图像之前，需要对两台X光机进行校准。其中，校准X光机和采集脊柱正面图像和脊柱侧面图像的过程如下：

固定好X光机位置之后，使用事先制作好的标定板进行标定，其中，该标定板为一块表面平整的亚克力板，标定板上放置钢珠，标定板大小300mm*300mm，钢珠直径3mm，每块标定板上均匀分布着9*9共81个钢珠，钢珠之间间距30mm。每个钢珠的位置是提前确定好的，之后同时利用X光机A和X光机B拍摄标定板的正面图像和侧面图像，然后改变标定板的姿态之后，再利用X光机A和X光机B进行拍摄，以上步骤重复15-20次，之后使用张正友标定法，利用获得的标定板的X光正面图像以及X光侧面图像光对X光机A以及X光机B的参数进行相机内参标定。

在相机内参标定完成后，将两块标定板垂直放置构成立体校准装置，保持该装置竖直方向和水平方向各有20°-45°的倾角，以保证可以在X光机A和X光机B拍摄的立体校准装置的图像中能够清晰的分辨出立体校准装置中钢珠的位置。然后我们利用获得的立体校准装置的X光图像，采用DLT算法对X光机A以及X光机B的外参进行估计，其中在估计X光机A和X光机B的外参时，使用X光机A和X光机B拍摄的X光图像中的80％的标定点作为校准点，20％的标定点用于测试校准外参的误差。

进一步地，可以使用bundle-adjustment算法对上一步中得到的X光机A的相机外参以及X光机B的相机外参进行优化。

针对两台已经校准好的X光机A和X光机B，其中，X光机A在患者正前方成像，X光机B在患者侧方向成像，两台X光机同时成像分别获得多个患者在站立姿态下的脊柱正面X光图像和脊柱侧面X光图像。随后将各患者的脊柱正面X光图像和脊柱侧面X光图像加入X光图像原始数据集，并通过经验丰富的脊柱矫形科医生分别对X光图像原始数据集中的各脊柱正面X光图像和各脊柱侧面X光图像进行颈椎第七节中心点、胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点、股骨头中心点、骶骨第一节的端板中心点，以及每节椎骨的四个角点的标注，得到X光图像标注数据集。

本发明的较佳的实施例中，还包括一坐标系构建过程，如图2所示，包括：

步骤A1，将脊柱正面图像和脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到脊柱正面图像和脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

步骤A2，根据各坐标系特征点二维坐标处理得到颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各坐标系特征点物理三维坐标构建得到脊柱形状坐标系。

具体地，本实施例中，坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点。利用X光图像标注数据集中标注有颈椎第七节中心点，股骨头中心点，以及骶骨第一节的端板中心点的各脊柱正面X光图像和各脊柱侧面X光图像，训练得到能够自动检测X光图像中颈椎第七节中心点，股骨头中心点，以及骶骨第一节的端板中心点的坐标系特征点检测网络；其中该坐标系特征点检测网络为Mask RCNN网络。

作为优选，基于患者的脊柱正面图像和脊柱侧面图像，并利用坐标系特征点检测网络检测颈椎第七节中心点、股骨头中心点，以及骶骨第一节的端板中心点位置，进而将脊柱形状坐标系的坐标系原点定为脊柱正面图像和脊柱侧面图像中两个股骨头的中点，将z轴的方向定为坐标系原点到颈椎第七节中心点的连线方向，将y轴的方向定为两个股骨头的连线方向，将x轴的方向定位垂直于y轴和z轴形成的平面方向。

在采集得到待进行脊柱三维模型重构的患者的脊柱正面图像和脊柱侧面图像以及在建立完成脊柱形状坐标系后，能够进一步处理得到患者的脊柱中每节椎骨的三维体素模型以及每节椎骨包含的预设的多个脊柱特征点在一脊柱形状坐标系中的三维坐标，具体地，如图3所示，步骤S1包括：

步骤S11，采用预先训练得到的一分割网络分别分割得到脊柱正面图像和脊柱侧面图像中的每节椎骨对应的椎骨正面图像和椎骨侧面图像；

具体地，该分割网络可以是Faster-RCNN网络，首先将标注有从胸椎第一节至最后一节腰椎的每节椎骨四个角点的各正面X光图像和各侧面X光图像送入Faster-RCNN网络中训练该网络，其次将脊柱正面图像与脊柱侧面图片输入训练好的分割网络自动将脊柱正面图像和脊柱侧面图像中的每一节椎骨的图像分割出来。

步骤S12，采用预先训练得到的一椎骨特征点标注网络分别于椎骨正面图像和椎骨侧面图像上进行特征点标注得到标注出的每个椎骨特征点在脊柱正面图像和脊柱侧面图像中的椎骨特征点二维坐标；

具体地，椎骨特征点包括胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点，步骤S12中的椎骨特征点标注网络可以是Densenet网络。S12具体过程如下：

首先将X光图像标注数据集中脊柱正面X光图像和脊柱侧面X光图像按照标注的每节椎骨的四个角点坐标将每节椎骨分割出来，然后将标注有椎骨特征点二维坐标的每节椎骨图片输入椎骨特征点标注网络训练，得到能够自动检测X光图像中胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点的椎骨特征点检测网络。

其次将S11中分割网络得到的每节椎骨的图片输入训练好的椎骨特征点标注网络得到标注出的每个椎骨特征点在脊柱正面图像和脊柱侧面图像中的椎骨特征点二维坐标，其中各椎骨特征点的椎骨特征点二维坐标可以采用形状向量p^I表征，其中，p^I＝[u₁,u₂,…,u₁₁₉,v₁,v₂,…,v₁₁₉]^T，其中，u₁至u₁₁₉分别对应表示各椎骨特征点的图像横坐标，v₁至v₁₁₉分别对应表示各椎骨特征点的图像纵坐标。

步骤S13，根据各椎骨特征点二维坐标处理得到各椎骨特征点在脊柱形状坐标系中的三维坐标；

具体地，如图4所示，步骤S13包括：

步骤S131，根据各椎骨特征点二维坐标处理得到各椎骨特征点在脊柱形状坐标系中的椎骨特征点物理三维坐标；

步骤S132，获取对应的脊柱正面图像和脊柱侧面图像中的脊柱高度，并根据各脊柱高度分别对相应的椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

步骤S133，采用预先构建的一线性生成模型对各归一化三维坐标进行优化处理得到各特征点在脊柱形状坐标系中的三维坐标。

具体地，本实施例中，采用三角形法根据各椎骨特征点二维坐标处理到的各椎骨特征点在脊柱形状坐标系中的椎骨特征点物理三维坐标，各椎骨特征点的椎骨特征点物理三维坐标可以采用三维形状向量s表示，其中，s＝[x₁,x₂,…x₁₁₉,y₁,y₂,…y₁₁₉,z₁,z₂,…z₁₁₉]，其中，x₁至x₁₁₉分别对应表示各椎骨特征点在脊柱形状坐标系中的x轴坐标，y₁至y₁₁₉分别对应表示各椎骨特征点在脊柱形状坐标系中的y轴坐标，z₁至z₁₁₉分别对应表示各椎骨特征点在脊柱形状坐标系中的z轴坐标。

在处理得到上述三维形状向量s后，再根据对应的脊柱正面图像和脊柱侧面图像中的脊柱高度对三维形状向量s中各椎骨特征点物理三维坐标进行施密特归一化，随后将施密特归一化处理得到的包含各归一化三维坐标的初始脊柱形状向量s′送入线性生成模型中得到经过优化后的脊柱形状向量，该优化后的脊柱形状向量包含各椎骨特征点在脊柱形状坐标系中的三维坐标。其中，上述脊柱高度优选为脊柱形状坐标系中原点到第七节颈椎中心点的距离。

进一步具体地，通过对已有的先验数据运用主成分分析法得到上述线性生成模型，该线性生成模型的表达式如下：

其中，先验数据为事前采集好的先验数据集，该先验数据集中包括多个患者的实际脊柱特征点在脊柱形状坐标系中的实际三维坐标，B用于表示主成分分析的基，

用于表示脊柱平均模型，m是一个能代表99％的数据方差的变形模型的向量。

上述线性生成模型的构建过程包括：

首先计算先验数据集的协方差矩阵，并对协方差矩阵求特征值和特征向量，选取能够代表99％的样本方差的特征向量构成矩阵B。随后将初始形状向量s′输入目标函数，计算最优变形向量m。

更进一步地，令

其中，i∈[1,|Q|]是脊柱形状向量的坐标参数的下标，t∈R^|Q|为包含从正侧位图片中目标点坐标的稀疏矩阵。

采用以下目标函数最小化输出的脊柱形状向量与目标之间的距离：

其中，w∈[0,1]是一个权重向量，用来作为模型变形过程中调整每个检测点的约束；常数λ是一个正则化参数，用来平衡上述公式左边的拟合误差和公式右边的模型与脊柱平均模型

之间的马氏距离。通过求解上述目标函数得到如下公式：

其中，B_Q为B的包含集合Q的行的子矩阵，W是包含权重w的对角矩阵，最终得到上述线性生成模型。

步骤S14，将各节椎骨的椎骨正面图像和椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节椎骨的三维体素模型。

具体地，在步骤S14中，在获取各节椎骨的椎骨正面图像和椎骨侧面图像之后，还包括将其分别输入预先训练得到的椎骨重建网络得到每节椎骨的三维体素模型。具体地，可以利用现有的开源CT数据集，利用脊柱分割网络从开源CT数据集中的人体CT数据中得到其中脊柱的三维模型，再进一步分割获取每一节椎骨的三维模型，同时将脊柱分割网络得到的脊柱中每节椎骨的三维模型使用光线追踪的方式，生成每节椎骨的三模型在正侧面的投影图像。然后将获得的每节椎骨的投影图像作为椎骨重建网络的输入，将每节椎骨的三维体素模型作为输出训练椎骨重建网络，使椎骨重建网络可以在输入一节椎骨的正面X光图像和侧面X光图像后，可以输出该椎骨的三维体素模型。

进一步具体地，上述人体CT数据中不仅包含人体脊柱的坐标信息，还包含其他人体组织的坐标信息，所以需要利用脊柱分割网络从人体CT数据中分割出人体脊柱的坐标信息。其中，脊柱分割网络可以包括依次连接的第一模块、第二模块和第三模块，第一模块和第三模块可以采用U-net网络，第二模块可以采用SC-net网络。首先利用第一模块在人体CT数据中大致定位人体脊柱的位置，再利用第二模块由第一模块的输出图像中识别每一节椎骨的大致位置，最后利用第三模块由第二模块的输出图像中进行脊柱的分割，以将脊柱中的每一节椎骨分割出来。随后再进一步进行分割得到每一节椎骨的三维体素模型，优选采用公式ver＝mask*mask[label＝＝n]进行分割，其中，mask指的是分割出来的脊柱标签，n指的是当前第几节椎骨，分割出来的椎骨被保存为体素格式，得到每一节椎骨的三维体素模型。随后使用光线追踪的方式，生成每节椎骨的三维模型在正面和侧面的投影图像。其中，光线追踪的过程可以是DRR生成过程，DRR(数字重建放射影像)生成是一个模拟X光线穿透CT体元，经过衰减和吸收后投影到成像平面后累加的过程。DRR生成的示意图如图5所示，基本可以分为五个步骤：

1)建立一个CT图像组的三维体素矩阵。

2)沿虚源向CT图像组发出若干条投影线，射线数量与DRR平面的像素个数相同。

3)获得每条投影线通过此体素矩阵的交点，将这些点的电子密度值累加。

4)求投影线通过体素矩阵的有效射线长度。

5)将电子密度累加值与射线长度相乘，求出的值按灰度显示，即为DRR图像，该DRR图像即为上述投影图像。

随后基于各节椎骨的两个平面的投影图像和对应的每节椎骨的三维体素模型训练得到椎骨重建网络。其中，椎骨重建网络包括encoder(编码器)、decoder(解码器)和refiner(精化器)，训练分为两个阶段，在第一阶段，通过encoder(编码器)获取正交双平面X光片，即每节椎骨的正面和侧面的投影图像中脊柱的特征得到二维特征图，接着利用decoder(解码器)将二维特征图的信息转换成椎骨三维体，此时得到粗略的椎骨模型，在第二阶段，利用refiner(精化器)以自适应方式从不同的粗略的椎骨模型中为每个部分选择高质量的重建，得到精化后的椎骨三维模型，优选的，可以采用以下公式进行精化：

其中，(i,j,k)表示体素的位置；m_r表示第r个体素，s_r表示第r个体素的权重，v^f表示最终的三维体素模型。通过公式一得到每个体素的权重。再利用公式二，将每个体素的权重与原有的体素进行点乘操作，得到最终的三维体素模型。

作为优选，如图6所示，上述encoder(编码器)的网络结构包括依次连接的卷积层conv2D、最大池化层、7个依次连接的Resnet 50网络中的Resblock模块、卷积层conv2D、最大池化层、卷积层conv2D、最大池化层和卷积层conv2D。如图7所示，上述decoder(解码器)的网络结构包括依次连接的5个反卷积层dconv3D和激活函数Sigmoid。如图8所示，上述refiner(精化器)包括依次连接的第一卷积层conv3D、最大池化层、第二卷积层conv3D、最大池化层、第三卷积层conv3D、最大池化层、两个全连接层，其中，第三卷积层conv3D的输出和后一个全连接层的输出叠加后作为第一反卷积层dconv3D的输入，第一反卷积层dconv3D的输出和第二卷积层conv3D的输出叠加后作为第二反卷积层dconv3D的输入，第一卷积层conv3D的输出与第二反卷积层dconv3D的输出叠加后作为第三反卷积层dconv3D的输入，decoder(解码器)的输出和第三反卷积层dconv3D的输出叠加后作为refiner(精化器)的输出。

最后，根据对应的每节椎骨的各三维坐标，也就是各节椎骨的上下端板的中心、左右椎弓根的上下端点、棘突端点在脊柱坐标系中的坐标信息。假设在椎骨不发生旋转的情况下椎骨上下端板的中心点的连线与脊柱形状坐标系中的z轴平行，左右椎弓根的上下端点的中点连线与脊柱形状坐标系中的y轴平行，根据旋转后两条直线与初始状态的关系即可求得椎骨的旋转角度。然后使用得到的各节椎骨的三维体素模型、各三维坐标和旋转角度构建患者的真实的脊柱三维模型。

本发明还提供一种脊柱三维模型的重构系统，应用上述的重构方法，如图9所示，重构系统包括：

图像处理模块1，用于采集一患者的脊柱正面图像和脊柱侧面图像，并根据脊柱正面图像和脊柱侧面图像处理得到患者的脊柱中每节椎骨的三维体素模型以及每节椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

模型重构模块2，连接图像处理模块1，用于根据对应的各三维坐标分别处理得到每节椎骨的旋转角度，并根据三维体素模型、各三维坐标以及各旋转角度生成患者的脊柱三维模型。

本发明的较佳的实施例中，图像处理模块1包括：

图像分割单元11，用于采用预先训练得到的一分割网络分别分割得到脊柱正面图像和脊柱侧面图像中的每节椎骨对应的椎骨正面图像和椎骨侧面图像；

特征点标注单元12，连接图像分割单元11，用于采用预先训练得到的一椎骨特征点标注网络分别于椎骨正面图像和椎骨侧面图像上进行特征点标注得到标注出的每个椎骨特征点在脊柱正面图像和脊柱侧面图像中的椎骨特征点二维坐标；

坐标转换单元13，连接特征点标注单元12，用于根据各椎骨特征点二维坐标处理得到各椎骨特征点在脊柱形状坐标系中的三维坐标；

椎骨重建单元14，连接图像分割单元11，用于将各节椎骨的椎骨正面图像和椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节椎骨的三维体素模型。

本发明的较佳的实施例中，坐标转换单元13包括：

第一转换子单元131，用于根据各椎骨特征点二维坐标处理得到各椎骨特征点在脊柱形状坐标系中的椎骨特征点物理三维坐标；

第二转换子单元132，连接第一转换子单元131，用于获取对应的脊柱正面图像和脊柱侧面图像中的脊柱高度，并根据各脊柱高度分别对相应的椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

优化处理子单元133，连接第二转换子单元132，用于采用预先构建的一线性生成模型对各归一化三维坐标进行优化处理得到各椎骨特征点在脊柱形状坐标系中的三维坐标。

本发明的较佳的实施例中，椎骨特征点包括从胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点。

本发明的较佳的实施例中，图像处理模块1还包括一坐标系构建单元15，连接坐标转换单元13，坐标系构建单元15包括：

检测子单元151，用于将脊柱正面图像和脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到脊柱正面图像和脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

坐标处理子单元152，连接检测子单元151，用于根据各坐标系特征点二维坐标处理得到颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各坐标系特征点物理三维坐标构建得到脊柱形状坐标系。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种脊柱三维模型的重构方法，其特征在于，包括：

步骤S1，采集一患者的脊柱正面图像和脊柱侧面图像，并根据所述脊柱正面图像和所述脊柱侧面图像处理得到所述患者的脊柱中每节椎骨的三维体素模型以及每节所述椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

步骤S2，根据对应的各所述三维坐标分别处理得到每节椎骨的旋转角度，并根据所述三维体素模型、各所述三维坐标以及各所述旋转角度生成所述患者的脊柱三维模型。

2.根据权利要求1所述的重构方法，其特征在于，所述步骤S1包括：

步骤S11，采用预先训练得到的一分割网络分别分割得到所述脊柱正面图像和所述脊柱侧面图像中的每节所述椎骨对应的椎骨正面图像和椎骨侧面图像；

步骤S12，采用预先训练得到的一椎骨特征点标注网络分别于所述椎骨正面图像和所述椎骨侧面图像上进行特征点标注得到标注出的每个所述椎骨特征点在所述脊柱正面图像和所述脊柱侧面图像中的椎骨特征点二维坐标；

步骤S13，根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标；

步骤S14，将各节所述椎骨的所述椎骨正面图像和所述椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节所述椎骨的所述三维体素模型。

3.根据权利要求2所述的重构方法，其特征在于，步骤S13包括：

步骤S131，根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的椎骨特征点物理三维坐标；

步骤S132，获取对应的所述脊柱正面图像和所述脊柱侧面图像中的脊柱高度，并根据各所述脊柱高度分别对相应的所述椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

步骤S133，采用预先构建的一线性生成模型对各所述归一化三维坐标进行优化处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标。

4.根据权利要求1或2或3所述的重构方法，其特征在于，所述椎骨特征点包括胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点。

5.根据权利要求2所述的重构方法，其特征在于，执行所述步骤S11之前，还包括一坐标系构建过程，包括：

步骤A1，将所述脊柱正面图像和所述脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到所述脊柱正面图像和所述脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，所述坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

步骤A2，根据各所述坐标系特征点二维坐标处理得到所述颈椎第七节中心点、所述股骨头中心点和所述骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各所述坐标系特征点物理三维坐标构建得到所述脊柱形状坐标系。

6.一种脊柱三维模型的重构系统，其特征在于，应用如权利要求1-5中任意一项所述的重构方法，所述重构系统包括：

图像处理模块，用于采集一患者的脊柱正面图像和脊柱侧面图像，并根据所述脊柱正面图像和所述脊柱侧面图像处理得到所述患者的脊柱中每节椎骨的三维体素模型以及每节所述椎骨包含的预设的多个椎骨特征点在一脊柱形状坐标系中的三维坐标；

模型重构模块，连接所述图像处理模块，用于根据对应的各所述三维坐标分别处理得到每节椎骨的旋转角度，并根据所述三维体素模型、各所述三维坐标以及各所述旋转角度生成所述患者的脊柱三维模型。

7.根据权利要求6所述的重构系统，其特征在于，所述图像处理模块包括：

图像分割单元，用于采用预先训练得到的一分割网络分别分割得到所述脊柱正面图像和所述脊柱侧面图像中的每节所述椎骨对应的椎骨正面图像和椎骨侧面图像；

特征点标注单元，连接所述图像分割单元，用于采用预先训练得到的一椎骨特征点标注网络分别于所述椎骨正面图像和所述椎骨侧面图像上进行特征点标注得到标注出的每个所述椎骨特征点在所述脊柱正面图像和所述脊柱侧面图像中的椎骨特征点二维坐标；

坐标转换单元，连接所述特征点标注单元，用于根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标；

椎骨重建单元，连接所述图像分割单元，用于将各节所述椎骨的所述椎骨正面图像和所述椎骨侧面图像分别输入预先训练得到的一椎骨重建网络得到每节所述椎骨的所述三维体素模型。

8.根据权利要求7所述的重构系统，其特征在于，所述坐标转换单元包括：

第一转换子单元，用于根据各所述椎骨特征点二维坐标处理得到各所述椎骨特征点在所述脊柱形状坐标系中的椎骨特征点物理三维坐标；

第二转换子单元，连接所述第一转换子单元，用于获取对应的所述脊柱正面图像和所述脊柱侧面图像中的脊柱高度，并根据各所述脊柱高度分别对相应的所述椎骨特征点物理三维坐标进行归一化处理得到归一化三维坐标；

优化处理子单元，连接所述第二转换子单元，用于采用预先构建的一线性生成模型对各所述归一化三维坐标进行优化处理得到各所述椎骨特征点在所述脊柱形状坐标系中的所述三维坐标。

9.根据权利要求6或7或8所述的重构系统，其特征在于，所述椎骨特征点包括胸椎第一节至最后一节腰椎的每节椎骨的上下端板的中心点、棘突端点、左右椎弓根的上下端点。

10.根据权利要求7所述的重构系统，其特征在于，所述图像处理模块还包括一坐标系构建单元，连接所述坐标转换单元，所述坐标系构建单元包括：

检测子单元，用于将所述脊柱正面图像和所述脊柱侧面图像输入预先训练得到的一坐标系特征点检测网络中得到所述脊柱正面图像和所述脊柱侧面图像中的坐标系特征点的坐标系特征点二维坐标，所述坐标系特征点包括颈椎第七节中心点、股骨头中心点和骶骨第一节的端板中心点；

坐标处理子单元，连接所述检测子单元，用于根据各所述坐标系特征点二维坐标处理得到所述颈椎第七节中心点、所述股骨头中心点和所述骶骨第一节的端板中心点在成像空间的坐标系特征点物理三维坐标，并根据各所述坐标系特征点物理三维坐标构建得到所述脊柱形状坐标系。

Images