CN114511561A - 脊柱矢状位形态预测方法、装置、设备及存储介质 - Google Patents

脊柱矢状位形态预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114511561A
CN114511561A CN202210406375.2A CN202210406375A CN114511561A CN 114511561 A CN114511561 A CN 114511561A CN 202210406375 A CN202210406375 A CN 202210406375A CN 114511561 A CN114511561 A CN 114511561A
Authority
CN
China
Prior art keywords
sagittal
image
spine
pelvis
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210406375.2A
Other languages
English (en)
Other versions
CN114511561B (zh
Inventor
宋凯
王征
齐欢
马驰
吕维加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bone's Biological Technology Shenzhen Co ltd
Original Assignee
Bone's Biological Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bone's Biological Technology Shenzhen Co ltd filed Critical Bone's Biological Technology Shenzhen Co ltd
Priority to CN202210406375.2A priority Critical patent/CN114511561B/zh
Publication of CN114511561A publication Critical patent/CN114511561A/zh
Application granted granted Critical
Publication of CN114511561B publication Critical patent/CN114511561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Abstract

本发明涉及人工智能领域，公开了一种脊柱矢状位形态预测方法、装置、设备及存储介质，用于提高脊柱矢状位形态序列预测的准确率及形态可视化呈现。所述脊柱矢状位形态预测方法包括：根据样本图像对训练模型进行训练，得到形态预测模型；获取待处理的对站立位X线矢状位图像，对站立位X线矢状位图像进行预处理并标注骨盆关键点对应的空间坐标；根据空间坐标计算与站立位X线矢状位图像对应的骨盆关键点热图；将骨盆关键点热图输入形态预测模型进行形态计算，得到关键点热图对应的预测结果；对预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据脊柱关键点空间坐标生成脊柱矢状位形态曲线。

Description

脊柱矢状位形态预测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种脊柱矢状位形态预测方法、装置、设备及存储介质。
背景技术
骨盆矢状位形态序列对脊柱矢状位形态序列起到重要的调节作用。骨盆序列参数与脊柱序列参数（例如，骨盆入射角与腰椎前凸角）之间的相关性受到了临床研究的广泛关注，并逐渐被应用于脊柱矫形相关手术的术前规划中。现有方案通常对解剖角度进行建模分析，仅凭角度信息无法直观地展现脊柱序列的空间形态，可视化效果较差，不利于开展与疾病诊断和矫形相关的术前规划和方案讨论。
现有方案局限于既定的序列角度参数，无法建立相对完整的形态序列几何模型，可扩展性较差，不利于开展前瞻性研究，无法使用既有角度模型研究新的序列角度及距离相关参数，即现有方案的准确率低。
发明内容
本发明提供了一种脊柱矢状位形态预测方法、装置、设备及存储介质，用于提高脊柱矢状位形态序列预测的准确率及形态可视化呈现。
本发明第一方面提供了一种脊柱矢状位形态预测方法，所述脊柱矢状位形态预测方法包括：获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
可选的，在本发明第一方面的第一种实现方式中，所述获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标，包括：从预置的医疗数据库中查询待处理的站立位X线矢状位图像；采用预置的numpy工具包对所述站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；提取所述调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据所述骨盆矢状位结构走势对所述站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
可选的，在本发明第一方面的第二种实现方式中，所述根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图，包括：获取与所述站立位X线矢状位图像的长宽尺寸相同的原始图像，并对所述原始图像进行初始化处理，得到初始化图像；按照所述空间坐标对所述初始化图像进行像素值设置，得到目标图像；基于预置的欧式距离对所述目标图像进行距离变换，得到所述目标图像对应的二维距离场；根据所述二维距离场和预置的公式构建所述站立位X线矢状位图像对应的骨盆关键点热图。
可选的，在本发明第一方面的第三种实现方式中，所述将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果，包括：对预置的二维网格坐标和所述骨盆关键点热图进行叠加，得到多维数组；将所述多维数组输入预置的形态预测模型进行形态计算，得到所述关键点热图对应的预测结果。
可选的，在本发明第一方面的第四种实现方式中，所述对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线，包括：对所述预测结果进行局部搜索，得到脊柱关键点空间坐标；通过三次多项式拟合法对所述脊柱关键点空间坐标进行曲线拟合，得到三次多项式参数；根据所述三次多项式参数生成脊柱矢状位形态曲线。
可选的，在本发明第一方面的第五种实现方式中，所述获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型，包括：获取样本图像和训练模型，并根据预置的标记策略对所述样本图像进行信息标注，得到带有标签的样本图像；对所述样本图像进行数据增广并计算与所述样本图像对应的样本骨盆关键点热图；将所述样本骨盆关键点热图输入所述训练模型进行形态计算，得到样本预测结果；调用预置的损失函数计算所述样本预测结果的梯度值，并根据所述梯度值对所述训练模型进行参数更新，以及将参数更新后的训练模型作为形态预测模型。
本发明第二方面提供了一种脊柱矢状位形态预测装置，所述脊柱矢状位形态预测装置包括：训练模块，用于获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；获取模块，用于获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；计算模块，用于根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；预测模块，用于将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；生成模块，用于对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：从预置的医疗数据库中查询待处理的站立位X线矢状位图像；采用预置的numpy工具包对所述站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；提取所述调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据所述骨盆矢状位结构走势对所述站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
可选的，在本发明第二方面的第二种实现方式中，所述计算模块具体用于：获取与所述站立位X线矢状位图像的长宽尺寸相同的原始图像，并对所述原始图像进行初始化处理，得到初始化图像；按照所述空间坐标对所述初始化图像进行像素值设置，得到目标图像；基于预置的欧式距离对所述目标图像进行距离变换，得到所述目标图像对应的二维距离场；根据所述二维距离场和预置的公式构建所述站立位X线矢状位图像对应的骨盆关键点热图。
可选的，在本发明第二方面的第三种实现方式中，所述预测模块具体用于：对预置的二维网格坐标和所述骨盆关键点热图进行叠加，得到多维数组；将所述多维数组输入预置的形态预测模型进行形态计算，得到所述关键点热图对应的预测结果。
可选的，在本发明第二方面的第四种实现方式中，所述生成模块具体用于：对所述预测结果进行局部搜索，得到脊柱关键点空间坐标；通过三次多项式拟合法对所述脊柱关键点空间坐标进行曲线拟合，得到三次多项式参数；根据所述三次多项式参数生成脊柱矢状位形态曲线。
可选的，在本发明第二方面的第五种实现方式中，所述训练模块具体用于：获取样本图像和训练模型，并根据预置的标记策略对所述样本图像进行信息标注，得到带有标签的样本图像；对所述样本图像进行数据增广并计算与所述样本图像对应的样本骨盆关键点热图；将所述样本骨盆关键点热图输入所述训练模型进行形态计算，得到样本预测结果；调用预置的损失函数计算所述样本预测结果的梯度值，并根据所述梯度值对所述训练模型进行参数更新，以及将参数更新后的训练模型作为形态预测模型。
本发明第三方面提供了一种脊柱矢状位形态预测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述脊柱矢状位形态预测设备执行上述的脊柱矢状位形态预测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的脊柱矢状位形态预测方法。
本发明提供的技术方案中，获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；对站立位X线矢状位图像数据进行预处理后，根据手动标注的骨盆关键点空间坐标，计算生成与站立位X线矢状位图像相对应的骨盆关键点热图，并将骨盆关键点热图输入到预先训练的形态预测模型，采用的模型可以是深度卷积神经网络模型，模型输出站立位脊柱关键点热图的预测结果，然后根据所述脊柱关键点热图预测结果，局部搜索得到脊柱关键点空间坐标，并以此拟合脊柱矢状位形态曲线，完成脊柱矢状位形态预测。以关键点热图回归的方式建模空间坐标预测问题，能有效地利用深度卷积神经网络的高鲁棒性和泛化性，减少离群点对模型训练的负面影响，使得预测结果更加精确，有效提高了脊柱矢状位形态预测的准确率。
附图说明
图1为本发明实施例中脊柱矢状位形态预测方法的一个实施例示意图；
图2为本发明实施例中脊柱矢状位形态预测装置的一个实施例示意图；
图3为本发明实施例中脊柱矢状位形态预测装置的另一个实施例示意图；
图4为本发明实施例中脊柱矢状位形态预测设备的一个实施例示意图；
图5为本发明实施例中脊柱矢状位形态预测方法的预处理过程示意图；
图6为本发明实施例中骨盆定位标签的示意图；
图7为本发明实施例中脊柱椎体点位的示意图。
具体实施方式
本发明实施例提供了一种脊柱矢状位形态预测方法、装置、设备及存储介质，用于提高脊柱矢状位形态序列预测的准确率及形态可视化呈现。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中脊柱矢状位形态预测方法的第一个实施例包括：
101、获取样本图像和训练模型，并对样本图像进行信息标注，得到带有标签的样本图像，以及根据带有标签的样本图像对训练模型进行训练，得到形态预测模型；
可以理解的是，本发明的执行主体可以为脊柱矢状位形态预测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，本发明中形态预测模型的模型构建过程具体包括：服务器获取样本图像和训练模型，并根据预置的标记策略对所述样本图像进行信息标注，得到带有标签的样本图像；服务器对所述样本图像进行数据增广并计算与所述样本图像对应的样本骨盆关键点热图；服务器将所述样本骨盆关键点热图输入所述训练模型进行形态计算，得到样本预测结果；服务器调用预置的损失函数计算所述样本预测结果的梯度值，并根据所述梯度值对所述训练模型进行参数更新，以及将参数更新后的训练模型作为形态预测模型。其中，预置的标记策略具体为：按照骨盆点位和脊柱椎体点位对样本图像进行标记，具体骨盆定位标签如图6所示，关键点1-24为骨盆角点，关键圆1-2为髋轴轮廓，其中，关键点1-13为骶、尾骨角点，关键点14-24为髂、坐骨角点，关键圆1-2为双侧髋轴轮廓（关键圆包含的信息为髋轴中心空间坐标和半径）。它们分别为：骶、尾骨角点：1、骶1椎体终板后缘；2、骶骨岬；3、骶2椎体上终板后缘；4、骶2椎体上终板前缘；5、骶3椎体上终板后缘；6、骶3椎体上终板前缘；7、骶4椎体上终板后缘；8、骶4椎体上终板前缘；9、骶5椎体上终板后缘；10、骶5椎体上终板前缘；11、尾1椎体上终板后缘；12、尾1椎体上终板前缘；13、尾1椎体-尾2椎体绞链中心；髂、坐骨角点：14、髂后上嵴连线中点；15、髂后下嵴连线中点；16、坐骨大切迹顶点连线中点；17、坐骨棘连线中点；18、坐骨结节后上缘连线中点；19、坐骨结节前下缘连线中点；20、耻骨联合；21、髂前下棘连线中点；22、髂前上棘连线中点；23、髂前上棘-髂嵴顶点中间髂嵴连线中点；24、髂嵴顶点连线中点；关键圆：1、左（右）髋轴中心及半径；2、右（左）髋轴中心及半径。脊柱椎体点位如图7所示，其中，关键点1-46为胸腰椎角点。
具体的，服务器为有效训练形态预测模型，其中，该模型可以为深度卷积神经网络模型，该模型需要构建回归目标，即训练标签。其中，训练标签为站立位脊柱关键点热图，构建标签的方法与骨盆关键点热图类似。具体地，使用预处理方法调节站立位X线矢状位图像数据对比度，使得脊柱区域关键点较原始图像更加清晰可见；随后，根据图像中的脊柱矢状位结构走势，依次手动标注出脊柱关键点的空间坐标，作为脊柱定位标签。其中，关键点为脊柱胸腰椎角点，由于腰椎椎间隙较大，而胸椎椎间隙较小，服务器对腰椎椎体的四个角点进行了标注，而对胸椎上下椎体角点的中点位置进行了标注，考虑保留脊柱形态走势完整性的同时，也缩减了关键点数量，降低了训练模型的难度；然后，服务器将脊柱关键点的空间坐标计算生成与站立位X线矢状位图像相对应的脊柱关键点热图，将它们叠加为一个46通道的多维数组，即可作为训练模型的训练标签。为增强形态预测模型的泛化能力，应对更广泛的临床场景，服务器使用一系列数据增广方法来扩充训练样本量。服务器采用numpy工具包对形态预测模型的训练数据进行平移、旋转、缩放、弹性形变、数值扰动等随机操作。服务器数据增广后，训练数据集的多样性得到了增强，有利于训练得到性能更优的形态预测模型。服务器通过计算训练模型输出与标签的损失函数，得到该函数相对于模型参数的梯度值，服务器根据该梯度值迭代更新模型参数。此外，采用L1/L2混合损失函数。
102、获取待处理的站立位X线矢状位图像，对站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；
可选的，服务器从预置的医疗数据库中查询待处理的站立位X线矢状位图像，其中，该医疗数据库是由医疗场所上传的患者的医疗数据组成；服务器采用预置的numpy工具包对站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；服务器提取调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据骨盆矢状位结构走势对站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
具体的，服务器从预置的医疗数据库中查询待处理的站立位X线矢状位图像，服务器在得到站立位X线矢状位图像数据后，首先对其进行预处理，服务器采用numpy工具包对X线矢状位图像进行对比度调节，目的是使骨盆关键点清晰可见。图5展示了一个预处理实例，经预处理调节对比度后，骨盆区域关键点较原始输入图像更加清晰可见。随后，根据图像中的骨盆矢状位结构走势，依次手动标注出骨盆关键点的空间坐标，作为骨盆定位标签。
103、根据空间坐标计算与站立位X线矢状位图像对应的骨盆关键点热图；
可选的，服务器获取与站立位X线矢状位图像的长宽尺寸相同的原始图像，并对原始图像进行初始化处理，得到初始化图像；服务器按照空间坐标对初始化图像进行像素值设置，得到目标图像；服务器基于预置的欧式距离对目标图像进行距离变换，得到目标图像对应的二维距离场；服务器根据二维距离场和预置的公式构建站立位X线矢状位图像对应的骨盆关键点热图。
具体的，服务器根据骨盆关键点的空间坐标计算生成与站立位X线矢状位图像相对应的骨盆关键点热图。其中，关键点热图是一种可视化的表示方法，能直观地显示关键点之间的相对位置。进一步地，关键点热图构建方法包括：给定关键点的空间坐标以及站立位X线矢状位图像的长宽尺寸，可生成与站立位X线矢状位图像相对应的骨盆关键点热图。服务器首先初始化一个与站立位X线矢状位图像的长宽尺寸相同的原始图像，并对原始图像进行初始化处理，得到初始化图像，该初始化图像所有像素点的初始值均为1；然后服务器按照给定关键点的空间坐标位置，将初始化图像中的对应位置的像素值设为0，得到目标图像；服务器对该目标图像进行基于欧式距离的距离变换，得到与该图像相对应的二维距离场d，描述了图像中每个像素到最近的0值像素的距离；使用如下公式构建关键点热图H：
Figure 897000DEST_PATH_IMAGE001
；
其中，i表示像素索引；d i 表示二维距离场d中像素i的对应值；A i 为放大系数，决定热图的峰值大小；σ i 为扩散系数，决定热图以关键点为中心的区域扩散范围。服务器计算生成与站立位X线矢状位图像相对应的关键点热图，每张关键点热图均对应一个关键点。采用关键点热图的方式，能将空间坐标数值进行图像化，减少卷积神经网络对数据样本量的依赖，防止过拟合。
104、将骨盆关键点热图输入形态预测模型进行形态计算，得到关键点热图对应的预测结果；
可选的，服务器对预置的二维网格坐标和骨盆关键点热图进行叠加，得到多维数组；服务器将多维数组输入预置的形态预测模型进行形态计算，得到关键点热图对应的预测结果。
具体的，服务器将骨盆关键点热图输入到预先训练好的形态预测模型，得到站立位脊柱关键点热图预测结果。具体地，服务器在计算生成26张骨盆关键点热图后，将它们叠加为一个26通道的多维数组。服务器将二维网格坐标与骨盆关键点热图叠加起来，以加速训练形态预测模型，使其对空间坐标更具敏感度。因此，最终输入到形态预测模型的是一个28通道的多维数组，并得到站立位脊柱关键点热图预测结果。
需要说明的是，服务器采用的神经网络结构为U型网络结构，通过跳跃连接的方式，使较高分辨率的特征图信息能在网络中有效传递，从而减少局部信息的缺失，提高模型训练的效率，提升预测性能。
105、对预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据脊柱关键点空间坐标生成脊柱矢状位形态曲线。
可选的，服务器对预测结果进行局部搜索，得到脊柱关键点空间坐标；服务器通过三次多项式拟合法对脊柱关键点空间坐标进行曲线拟合，得到三次多项式参数；服务器根据三次多项式参数生成脊柱矢状位形态曲线。
具体的，服务器根据脊柱关键点热图预测结果局部搜索得到脊柱关键点空间坐标，并拟合脊柱矢状位形态曲线，完成脊柱矢状位形态预测。具体地，形态预测模型可输出一个46通道的多维数组，即脊柱关键点热图预测结果，每个通道对应一个脊柱关键点。对46个通道的热图预测结果依次使用局部搜索方法得到每个通道的热图峰值点，共计得到46个脊柱关键点空间坐标。服务器通过三次多项式拟合法对46个空间坐标进行曲线拟合，得到三次多项式参数，完成脊柱矢状位形态预测。
本发明实施例中，获取样本图像和训练模型，并对样本图像进行信息标注，得到带有标签的样本图像，以及根据带有标签的样本图像对训练模型进行训练，得到形态预测模型；对站立位X线矢状位图像数据进行预处理后，根据手动标注的骨盆关键点空间坐标，计算生成与站立位X线矢状位图像相对应的骨盆关键点热图，并将骨盆关键点热图输入到预先训练的形态预测模型，采用的模型可以是深度卷积神经网络模型，模型输出站立位脊柱关键点热图的预测结果，然后根据脊柱关键点热图预测结果，局部搜索得到脊柱关键点空间坐标，并以此拟合脊柱矢状位形态曲线，完成脊柱矢状位形态预测。以关键点热图回归的方式建模空间坐标预测问题，能有效地利用深度卷积神经网络的高鲁棒性和泛化性，减少离群点对模型训练的负面影响，使得预测结果更加精确，有效提高了脊柱矢状位形态预测的准确率。
上面对本发明实施例中脊柱矢状位形态预测方法进行了描述，下面对本发明实施例中脊柱矢状位形态预测装置进行描述，请参阅图2，本发明实施例中脊柱矢状位形态预测装置第一个实施例包括：
训练模块201，用于获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；
获取模块202，用于获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；
计算模块203，用于根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；
预测模块204，用于将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；
生成模块205，用于对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
本发明实施例中，获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；对站立位X线矢状位图像数据进行预处理后，根据手动标注的骨盆关键点空间坐标，计算生成与站立位X线矢状位图像相对应的骨盆关键点热图，并将骨盆关键点热图输入到预先训练的形态预测模型，采用的模型可以是深度卷积神经网络模型，模型输出站立位脊柱关键点热图的预测结果，然后根据所述脊柱关键点热图预测结果，局部搜索得到脊柱关键点空间坐标，并以此拟合脊柱矢状位形态曲线，完成脊柱矢状位形态预测。以关键点热图回归的方式建模空间坐标预测问题，能有效地利用深度卷积神经网络的高鲁棒性和泛化性，减少离群点对模型训练的负面影响，使得预测结果更加精确，有效提高了脊柱矢状位形态预测的准确率。
请参阅图3，本发明实施例中脊柱矢状位形态预测装置第二个实施例包括：
训练模块201，用于获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；
获取模块202，用于获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；
计算模块203，用于根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；
预测模块204，用于将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；
生成模块205，用于对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
可选的，获取模块202具体用于：从预置的医疗数据库中查询待处理的站立位X线矢状位图像；采用预置的numpy工具包对所述站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；提取所述调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据所述骨盆矢状位结构走势对所述站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
可选的，计算模块203具体用于：获取与所述站立位X线矢状位图像的长宽尺寸相同的原始图像，并对所述原始图像进行初始化处理，得到初始化图像；按照所述空间坐标对所述初始化图像进行像素值设置，得到目标图像；基于预置的欧式距离对所述目标图像进行距离变换，得到所述目标图像对应的二维距离场；根据所述二维距离场和预置的公式构建所述站立位X线矢状位图像对应的骨盆关键点热图。
可选的，预测模块204具体用于：对预置的二维网格坐标和所述骨盆关键点热图进行叠加，得到多维数组；将所述多维数组输入预置的形态预测模型进行形态计算，得到所述关键点热图对应的预测结果。
可选的，生成模块205具体用于：对所述预测结果进行局部搜索，得到脊柱关键点空间坐标；通过三次多项式拟合法对所述脊柱关键点空间坐标进行曲线拟合，得到三次多项式参数；根据所述三次多项式参数生成脊柱矢状位形态曲线。
可选的，训练模块201具体用于：获取样本图像和训练模型，并根据预置的标记策略对所述样本图像进行信息标注，得到带有标签的样本图像；对所述样本图像进行数据增广并计算与所述样本图像对应的样本骨盆关键点热图；将所述样本骨盆关键点热图输入所述训练模型进行形态计算，得到样本预测结果；调用预置的损失函数计算所述样本预测结果的梯度值，并根据所述梯度值对所述训练模型进行参数更新，以及将参数更新后的训练模型作为形态预测模型。
本发明实施例中，获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；对站立位X线矢状位图像数据进行预处理后，根据手动标注的骨盆关键点空间坐标，计算生成与站立位X线矢状位图像相对应的骨盆关键点热图，并将骨盆关键点热图输入到预先训练的形态预测模型，采用的模型可以是深度卷积神经网络模型，模型输出站立位脊柱关键点热图的预测结果，然后根据所述脊柱关键点热图预测结果，局部搜索得到脊柱关键点空间坐标，并以此拟合脊柱矢状位形态曲线，完成脊柱矢状位形态预测。以关键点热图回归的方式建模空间坐标预测问题，能有效地利用深度卷积神经网络的高鲁棒性和泛化性，减少离群点对模型训练的负面影响，使得预测结果更加精确，有效提高了脊柱矢状位形态预测的准确率。
上面图2和图3从模块化功能实体的角度对本发明实施例中的脊柱矢状位形态预测装置进行详细描述，下面从硬件处理的角度对本发明实施例中脊柱矢状位形态预测设备进行详细描述。
图4是本发明实施例提供的一种脊柱矢状位形态预测设备的结构示意图，该脊柱矢状位形态预测设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）410（例如，一个或一个以上处理器）和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430（例如一个或一个以上海量存储设备）。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对脊柱矢状位形态预测设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在脊柱矢状位形态预测设备400上执行存储介质430中的一系列指令操作。
脊柱矢状位形态预测设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的脊柱矢状位形态预测设备结构并不构成对脊柱矢状位形态预测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种脊柱矢状位形态预测设备，所述脊柱矢状位形态预测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述脊柱矢状位形态预测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述脊柱矢状位形态预测方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种脊柱矢状位形态预测方法，其特征在于，所述脊柱矢状位形态预测方法包括：
获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；
获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；
根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；
将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；
对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
2.根据权利要求1所述的脊柱矢状位形态预测方法，其特征在于，所述获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标，包括：
从预置的医疗数据库中查询待处理的站立位X线矢状位图像；
采用预置的numpy工具包对所述站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；
提取所述调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据所述骨盆矢状位结构走势对所述站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
3.根据权利要求1所述的脊柱矢状位形态预测方法，其特征在于，所述根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图，包括：
获取与所述站立位X线矢状位图像的长宽尺寸相同的原始图像，并对所述原始图像进行初始化处理，得到初始化图像；
按照所述空间坐标对所述初始化图像进行像素值设置，得到目标图像；
基于预置的欧式距离对所述目标图像进行距离变换，得到所述目标图像对应的二维距离场；
根据所述二维距离场和预置的公式构建所述站立位X线矢状位图像对应的骨盆关键点热图。
4.根据权利要求1所述的脊柱矢状位形态预测方法，其特征在于，所述将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果，包括：
对预置的二维网格坐标和所述骨盆关键点热图进行叠加，得到多维数组；
将所述多维数组输入预置的形态预测模型进行形态计算，得到所述关键点热图对应的预测结果。
5.根据权利要求1所述的脊柱矢状位形态预测方法，其特征在于，所述对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线，包括：
对所述预测结果进行局部搜索，得到脊柱关键点空间坐标；
通过三次多项式拟合法对所述脊柱关键点空间坐标进行曲线拟合，得到三次多项式参数；
根据所述三次多项式参数生成脊柱矢状位形态曲线。
6.根据权利要求1-5中任一项所述的脊柱矢状位形态预测方法，其特征在于，所述获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型，包括：
获取样本图像和训练模型，并根据预置的标记策略对所述样本图像进行信息标注，得到带有标签的样本图像；
对所述样本图像进行数据增广并计算与所述样本图像对应的样本骨盆关键点热图；
将所述样本骨盆关键点热图输入所述训练模型进行形态计算，得到样本预测结果；
调用预置的损失函数计算所述样本预测结果的梯度值，并根据所述梯度值对所述训练模型进行参数更新，以及将参数更新后的训练模型作为形态预测模型。
7.一种脊柱矢状位形态预测装置，其特征在于，所述脊柱矢状位形态预测装置包括：
训练模块，用于获取样本图像和训练模型，并对所述样本图像进行信息标注，得到带有标签的样本图像，以及根据所述带有标签的样本图像对所述训练模型进行训练，得到形态预测模型；
获取模块，用于获取待处理的站立位X线矢状位图像，对所述站立位X线矢状位图像进行预处理，并在预处理后的站立位X线矢状位图像中标注骨盆关键点对应的空间坐标；
计算模块，用于根据所述空间坐标计算与所述站立位X线矢状位图像对应的骨盆关键点热图；
预测模块，用于将所述骨盆关键点热图输入所述形态预测模型进行形态计算，得到所述关键点热图对应的预测结果；
生成模块，用于对所述预测结果进行局部搜索，得到脊柱关键点空间坐标，并根据所述脊柱关键点空间坐标生成脊柱矢状位形态曲线。
8.根据权利要求7所述的脊柱矢状位形态预测装置，其特征在于，所述获取模块具体用于：
从预置的医疗数据库中查询待处理的站立位X线矢状位图像；
采用预置的numpy工具包对所述站立位X线矢状位图像进行对比度调节，得到调节后的站立位X线矢状位图像；
提取所述调节后的站立位X线矢状位图像中的骨盆矢状位结构走势，并根据所述骨盆矢状位结构走势对所述站立位X线矢状位图像进行骨盆关键点进行标注，得到骨盆关键点对应的空间坐标。
9.一种脊柱矢状位形态预测设备，其特征在于，所述脊柱矢状位形态预测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述脊柱矢状位形态预测设备执行如权利要求1-6中任一项所述的脊柱矢状位形态预测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的脊柱矢状位形态预测方法。
CN202210406375.2A 2022-04-18 2022-04-18 脊柱矢状位形态预测方法、装置、设备及存储介质 Active CN114511561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210406375.2A CN114511561B (zh) 2022-04-18 2022-04-18 脊柱矢状位形态预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210406375.2A CN114511561B (zh) 2022-04-18 2022-04-18 脊柱矢状位形态预测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114511561A true CN114511561A (zh) 2022-05-17
CN114511561B CN114511561B (zh) 2022-06-17

Family

ID=81554980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210406375.2A Active CN114511561B (zh) 2022-04-18 2022-04-18 脊柱矢状位形态预测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114511561B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934859A (zh) * 2023-09-18 2023-10-24 博志生物科技(深圳)有限公司 基于矢状位图的关键点识别方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544536A (zh) * 2018-11-26 2019-03-29 中国科学技术大学 髋关节x光图像快速自动分析方法
WO2019068085A1 (en) * 2017-09-29 2019-04-04 K2M, Inc. SYSTEMS AND METHODS FOR SIMULATING PATHOLOGIES OF THE VERTEBRAL SYSTEM AND SKELETAL
US20200202515A1 (en) * 2018-12-21 2020-06-25 General Electric Company Systems and methods for deep learning based automated spine registration and label propagation
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
US11000334B1 (en) * 2017-07-12 2021-05-11 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
CN113223072A (zh) * 2021-03-31 2021-08-06 首都医科大学附属北京朝阳医院 一种脊柱Cobb角测量方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000334B1 (en) * 2017-07-12 2021-05-11 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
WO2019068085A1 (en) * 2017-09-29 2019-04-04 K2M, Inc. SYSTEMS AND METHODS FOR SIMULATING PATHOLOGIES OF THE VERTEBRAL SYSTEM AND SKELETAL
CN109544536A (zh) * 2018-11-26 2019-03-29 中国科学技术大学 髋关节x光图像快速自动分析方法
US20200202515A1 (en) * 2018-12-21 2020-06-25 General Electric Company Systems and methods for deep learning based automated spine registration and label propagation
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
CN113223072A (zh) * 2021-03-31 2021-08-06 首都医科大学附属北京朝阳医院 一种脊柱Cobb角测量方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JEFFREY PIKE: "Human spine behaviour under thoracic and pelvic lateral impacts – comparison with WorldSID dummy behaviour", 《 LUMBAR INJURY BIOMECHANICS》 *
MCKAY G ET.AL.: "The relationship between sacral kyphosis and pelvic incidence", 《ASIAN SPINE》 *
宋凯等: "骶骨形态与脊柱骨盆矢状位参数的相关性研究", 《中国脊柱脊髓杂志 》 *
张子方等: "成人脊柱畸形术前冠状面失平衡及其与脊柱-骨盆影像学参数的关系", 《中国脊柱脊髓杂志》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934859A (zh) * 2023-09-18 2023-10-24 博志生物科技(深圳)有限公司 基于矢状位图的关键点识别方法及相关装置
CN116934859B (zh) * 2023-09-18 2024-01-05 博志生物科技(深圳)有限公司 基于矢状位图的关键点识别方法及相关装置

Also Published As

Publication number Publication date
CN114511561B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
US9672617B2 (en) Methods and systems for producing an implant
Rouet et al. Genetic algorithms for a robust 3-D MR-CT registration
Fornefett et al. Radial basis functions with compact support for elastic registration of medical images
Cootes et al. A unified framework for atlas matching using active appearance models
Shen et al. Modeling three-dimensional morphological structures using spherical harmonics
Hill et al. Model-based interpretation of 3d medical images.
US20080205719A1 (en) Method of Model-Based Elastic Image Registration For Comparing a First and a Second Image
WO2011021181A1 (en) Assessment of spinal anatomy
Liu et al. Landmarks detection with anatomical constraints for total hip arthroplasty preoperative measurements
CN114511561B (zh) 脊柱矢状位形态预测方法、装置、设备及存储介质
Forsberg et al. Model-based registration for assessment of spinal deformities in idiopathic scoliosis
Jacinto et al. Multi-atlas automatic positioning of anatomical landmarks
Lin et al. Multitask deep learning for segmentation and lumbosacral spine inspection
CN116934859B (zh) 基于矢状位图的关键点识别方法及相关装置
Boisvert et al. Principal spine shape deformation modes using Riemannian geometry and articulated models
Wilson et al. Voyaging into the third dimension: A perspective on virtual methods and their application to studies of juvenile sex estimation and the ontogeny of sexual dimorphism
Liu et al. Sparse intervertebral fence composition for 3D cervical vertebra segmentation
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
Dam et al. Prostate shape modeling based on principal geodesic analysis bootstrapping
Zhang et al. A Spine Segmentation Method under an Arbitrary Field of View Based on 3D Swin Transformer
Tapp et al. Generation of patient-specific, ligamentoskeletal, finite element meshes for scoliosis correction planning
Joshi et al. A landmark-free method for quantifying biological shape variation
CN113256693A (zh) 基于K-means与正态分布变换的多视角配准方法
Kadoury Three-dimensional spine reconstruction from radiographs
Jobidon-Lavergne et al. Biomechanically driven intraoperative spine registration during navigated anterior vertebral body tethering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant