CN114299015A - 一种确定脊柱侧弯角度的方法及装置 - Google Patents

Abstract

本申请涉及一种确定脊柱侧弯角度的方法及装置，其中，所述方法包括：获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；根据所述投影图像，确定所述脊柱的拟合曲线；根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。本申请实施例至少解决相关技术中无法确定脊柱侧弯角度的问题。

Description

一种确定脊柱侧弯角度的方法及装置

技术领域

本申请涉及超声成像技术领域，尤其涉及确定脊柱侧弯角度的方法及装置。

背景技术

脊柱侧弯是目前比较流行的骨科疾病，尽早发现脊柱侧弯疾病并及时治疗是保持骨骼健康的关键。超声检查具有无辐射、价格公道等优势，经常用于获取人体脊柱的超声图像。相关技术中，医生在获取到患者的超声图像之后，往往只是通过肉眼观察得到脊柱侧弯程度。但是在实际场景下，可能还需要进一步了解到患者脊柱精确的弯曲参数，以制作矫形器等辅助器以供用户使用。

目前，相关技术中还未出现利用超声图像获取精确的脊柱弯曲参数的方式。

发明内容

本申请实施例提供了一种确定脊柱侧弯角度的方法及装置，以至少解决相关技术中无法确定脊柱侧弯角度的问题。

第一方面，本申请实施例提供了一种确定脊柱侧弯角度的方法，包括：

获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；

根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；

根据所述投影图像，确定所述脊柱的拟合曲线；

根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

可选的，在本申请的一个实施例中，所述根据所述投影图像，确定所述脊柱的拟合曲线，包括：

将所述投影图像输入至椎板对检测模型中，经所述椎板对检测模型输出所述投影图像中椎板对的检测框，其中，所述椎板对检测模型利用多个脊柱冠状面超声样本图像训练得到，所述脊柱冠状面超声样本图像标注有椎板对的位置；

根据各个所述检测框的中心点，拟合得到所述脊柱的拟合曲线。

可选的，在本申请的一个实施例中，所述椎板对检测模型包括区域生成网络和目标检测网络，所述区域生成网络的输出端与所述目标检测网络的输入端连接，其中，

所述区域生成网络用于从所述投影图像中确定各个椎板对的至少一个候选检测框；

所述目标检测网络用于从各个椎板对的所述至少一个候选检测框中确定出所述椎板对的检测框。

可选的，在本申请的一个实施例中，所述根据所述拟合曲线确定所述脊柱的至少一个侧弯角度，包括：

确定所述拟合曲线的至少一个极值点；

分别获取所述拟合曲线在所述至少一个极值点两侧的相邻拐点；

将各个极值点两侧的相邻拐点处的切线之间的夹角作为所述极值点处的侧弯角度。

可选的，在本申请的一个实施例中，所述获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像，包括：

利用二维超声仪的探头获取被测用户的多个二维超声图像以及所述探头的位置信息；

根据所述探头的位置信息，分别确定所述多个二维超声图像与预设三维空间之间的变换关系；

根据所述变换关系，将所述多个二维超声图像转换至所述预设三维空间中，获取所述被测用户的三维超声图像。

可选的，在本申请的一个实施例中，还包括：

展示所述脊柱在冠状面上的投影图像、所述椎板对的检测框以及所述至少一个侧弯角度。

第二方面，本申请实施例还提供一种确定脊柱侧弯角度的装置，包括：

超声图像获取模块，用于获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；

冠状面图像确定模块，用于根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；

拟合曲线确定模块，用于根据所述投影图像，确定所述脊柱的拟合曲线；

侧弯角度确定模块，用于根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

第三方面，本申请实施例还提供一种确定脊柱侧弯角度的设备，其特征在于，包括超声仪、处理器、显示器，其中，

所述超声仪，用于扫描被测用户的超声图像；

所述处理器，用于根据所述超声图像重建得到所述被测用户的三维超声图像，并执行时实现所述确定脊柱侧弯角度的方法；

所述显示器，用于展示所述投影图像和/或所述至少一个侧弯角度。

第四方面，本申请实施例还提供一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述的方法。

第五方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行所述的方法。

本申请实施例提供一种确定脊柱侧弯角度的方法及装置，首先，根据被测用户的三维超声图像确定脊柱的侧弯角度，利用超声仪直接获取或者间接获取所述三维超声图像，对人体无辐射，且成本较低，符合患有脊柱侧弯的用户需要经常观察的需求。其次，在三维超声图像中，将脊柱投影至冠状面上的图像可以全面、准确地反应脊柱的状态，能够拟合得到比较准确的脊柱曲线，进而获取到更加准确的脊柱侧弯角度。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例提供的确定脊柱侧弯角度方法的方法流程图；

图2是本申请实施例提供的确定侧弯角度的示意图；

图3是本申请实施例提供的场景示意图；

图4是本申请实施例提供的软件使用流程图；

图5是本申请实施例提供的用户界面500；

图6是本申请实施例提供的确定脊柱侧弯角度方法的方法流程图；

图7是本申请实施例提供的确定脊柱侧弯角度装置700的模块结构示意图；

图8是本申请实施例提供的处理设备1200的模块结构示意图；

图9是本申请实施例提供的计算机程序产品1300的概念性局部视图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

下面结合附图对本申请所述的确定脊柱侧弯角度方法进行详细的说明。图1是本申请提供的确定脊柱侧弯角度方法的一种实施例的流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的确定脊柱侧弯角度过程中或者方法执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的，本申请提供的确定脊柱侧弯角度方法的一种实施例如图1所示，所述方法可以包括：

S101：获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像。

本申请实施例中，超声成像是指利用超声扫描仪发出的超声声束扫描人体，并通过对人体反射的信号进行接收、处理得到的图像。相对于二维超声图像，三维超声图像的组织结构与液体灰阶反差较大，可清晰地显示扫描对象的立体形态、表面特征、空间位置关系等。本申请各个实施例需要确定人体脊柱的侧弯角度，但是由于脊柱具有弯曲属性，因此无法从一个平面图像中确定脊柱的侧弯角度。基于此，在本申请实施例中，可以首先获取到脊柱的三维超声图像，再根据所述三维超声图像确定脊柱的侧弯角度。

在本申请的一个实施例中，可以通过二维超声图像重建得到所述三维超声图像，具体来说，所述获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像，包括：

S201：利用二维超声仪的探头获取被测用户的多个二维超声图像以及所述探头的位置信息；

S203：根据所述探头的位置信息，分别确定所述多个二维超声图像与预设三维空间之间的变换关系；

S205：根据所述变换关系，将所述多个二维超声图像转换至所述预设三维空间中，获取所述被测用户的三维超声图像。

本申请实施例中，根据工作原理的不同，所述二维超声仪可以包括A型、M型、B型、D型等多种类型的超声仪。从仪器体积来说，所述二维超声仪可以包括传统的大型超声仪，还可以包括手持式二维超声仪，手持式二维超声仪具有成像快、体积小、重量轻、便于携带的优势，本申请对于二维超声仪的类型不做限制。在本申请实施例中，不仅可以利用所述二维超声仪的探头获取被测用户的多个二维超声图像，还可以获取到所述探头的位置信息。在一种可能的实施例中，可以利用定位模块获取到所述探头的位置信息，所述定位模块可以集成于所述二维超声仪的内部，也可以设置于所述二维超声仪外部并能跟踪所述探头的任何位置处。在一个示例中，所述定位模块可以包括具有六个自由度的位置传感器，那么，获取的探头位置例如可以包括笛卡尔坐标(x,y,z)和欧拉角(A,E,R)。

根据所述探头的位置信息，可以分别确定所述多个二维超声图像与预设三维空间之间的变换关系。具体来说，在重建所述三维超声图像的过程中，涉及到二维超声图像坐标系、定位模块的源坐标系以及观察者坐标系，其中，所述三维超声图像基于所述观察者坐标系。基于此，在本申请实施例中，根据所述源坐标系中的至少三个校准点，可以确定变换矩阵M1，利用所述变换矩阵M1，可以将二维超声图像从所述二维超声图像坐标系转换至所述源坐标系。然后，基于转换至所述源坐标系的二维超声图像和所述观察者坐标系的参数，可以确定变换矩阵M2，通过所述变换矩阵M2，可以将所述二维超声图像从所述源坐标系转换至所述观察者坐标系的预设三维空间内。所述预设三维空间可以包括用于放置所述多个二维超声图像的映射空间。利用上述方式，可以将所述多个二维超声图像中的每个像素点转换至所述观察者坐标系中，得到所述被测用户的三维超声图像。

通过上述实施例，可以记录二维超声仪的探头运动时的位置信息并用以重建所述三维超声图像，不仅可以使得操作人员可以随意调整扫描角度和扫描速度，还可以利用上述重建方法实时获取到被测用户脊柱的三维超声图像。

当然，在其他实施例中，所述三维超声图像还可以利用立体超声仪直接采集得到，或者利用其他三维超声图像重建方式重建得到，本申请在此不做限制。

S103：根据所述三维超声图像确定所述脊柱在冠状面上的投影图像。

在人体结构中，从侧面观察人体脊柱，脊柱是有曲度的，因此，无法通过一副冠状面图像获取到从人体后视角度观察的完整的脊柱图像。其中，所述冠状面图像可以指沿左右方向将人体纵切为前后两部分的断面图像。基于此，在本申请实施例中，可以根据所述三维超声图像确定所述脊柱在冠状面上的投影图像。具体来说，可以从所述三维超声图像中提取出所述脊柱的三维图像，并将所述脊柱的三维图像投影至冠状面上，获取到所述脊柱在所述冠状面上的投影图像，该投影图像可以从后视角度全面地展示被测用户脊柱的骨骼结构。

S105：根据所述投影图像，确定所述脊柱的拟合曲线。

由于脊柱具有线条结构，因此，在所述投影图像中，所述脊柱可以对应于一条拟合曲线，那么，通过所述拟合曲线，可以确定所述脊柱的至少一个侧弯角度。那么，首先需要获取到该拟合曲线的表达方式，该表达方式例如可以包括曲线方程。为了能够获取到所述拟合曲线准确的表达方式，在本申请实施例中，可以利用椎板对(lamina pair)的位置确定所述拟合曲线的表达方式。在脊柱的结构中，从人体后视角度观察，椎板对位于脊柱的中心位置处，因此，确定椎板对的位置，并根据椎板对的位置，能够准确地确定脊柱对应的拟合曲线。在本申请的一个实施例中，可以利用机器学习的方式检测椎板对的位置。具体来说，所述根据所述投影图像，确定所述脊柱的拟合曲线，可以包括：

S301：将所述投影图像输入至椎板对检测模型中，经所述椎板对检测模型输出所述投影图像中椎板对的检测框，其中，所述椎板对检测模型利用多个脊柱冠状面超声样本图像训练得到，所述脊柱冠状面超声样本图像标注有椎板对的位置；

S303：根据各个所述检测框的中心点，拟合得到所述脊柱的拟合曲线。

在本申请实施例中，所述椎板对检测模型可以利用机器学习方式训练得到，具体地，所述椎板对检测模型利用多个脊柱冠状面投影样本图像训练得到，所述脊柱冠状面头投影样本图像标注有椎板对的位置。所述脊柱冠状面投影样本图像可以在训练所述椎板对检测模型之前获取的训练样本，该训练样本可以包括与上述实施例同样的方式获取到的脊柱在冠状面上的投影图像。当然，所述训练样本还可以通过医学图像数据库中获取，本申请对于获取所述训练样本的方式不做限制。所述脊柱冠状面超声样本图像可以标注有椎板对的位置，例如可以利用边界框(bounding box)在样本图像中框出各个椎板对的图像。

在本申请的一个实施例中，在构建所述椎板对检测模型的过程中，首先，可以构建椎板对检测模型的初始模型，所述初始模型中设置有训练参数。然后，可以分别将所述多个脊柱冠状面超声样本图像输入至所述构建椎板对检测模型中，生成预测结果。最后，基于所述预测结果与标注的所述椎板对的位置之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。这样，可以生成所述椎板对检测模型。需要说明的是，对所述椎板对检测模型的机器学习方式可以包括任何基于神经网络的目标检测算法，例如可以包括Yolo(You Only Look Once:Unified,Real-Time Object Detection)、检测转换器(DEtection Transformer，DETR)、区域卷积神经网络(Region-Convolutional NeuralNetwork，R-CNN)、快速区域卷积神经网络(Fast Region-Convolutional Neural Network，Fast R-CNN)、AlexNet、LeNet、ResNet、ResNet1001(pre-activation)等等，本申请在此不做限制。

本申请实施例中，利用基于机器学习的方式检测脊柱中椎板对的位置，可以避免不同被测用户之间的差异性，可以更鲁棒的监测相同被测用户在不同时期的脊柱侧弯角度。

在检测出所述投影图像中椎板对对应的检测框之后，可以根据各个所述检测框的中心点，拟合得到所述脊柱的拟合曲线。由于椎板对位于所述脊柱的中心位置，那么，椎板对对应的中心点，也是脊柱在冠状面上的中心点，因此，根据所述检测框的中心点，可以准确地拟合得到所述脊柱的拟合曲线。

进一步地，为了提升所述椎板对检测模型的检测效率，可以在所述椎板对检测模型中设置用于生成候选检测框的区域生成模块(RPN)。基于此，在本申请的一个实施例中，所述椎板对检测模型包括区域生成网络和目标检测网络，所述区域生成网络的输出端与所述目标检测网络的输入端连接，其中，

S401：所述区域生成网络用于从所述投影图像中各个椎板对的至少一个候选检测框；

S403：所述目标检测网络用于从所述至少一个候选检测框中确定出所述椎板对的检测框。

在本申请的一个实施例中，所述区域生成网络具有耗时短，且易于与目标检测模块耦合的优势，可以快速地获取所述投影图像中各个椎板对的至少一个候选检测框。基于所述至少一个候选检测框，所述目标检测网络可以更快地确定各个椎板对的检测框，在效率和准确性方面都可以得到提升。

本申请实施例中，在确定用于拟合曲线的关键点，如各个所述检测框的中心点之后，可以根据所述关键点完成曲线拟合。在其中的一个实施例中，所述拟合曲线可以包括五次幂曲线。经过多次实验发现，利用五次幂曲线能够更加准确地表达脊柱曲线。当然，在其他实施例中，本申请对于脊柱的拟合曲线的最高次幂不做限制，例如可以根据被测用户实际的脊柱特征确定拟合曲线的最高次幂。

需要说明的是，在确定所述脊柱的拟合曲线的过程中，可能出现短曲线的现象，短曲线是指在两个拐点之间的椎板对数量小于预设数量阈值，例如短曲线中所包含的椎板对数量小于等于五个椎板对。短曲线现象可能是因为图像缺失、重建误差等原因产生，在这种情况下，可以在短曲线之间增加一些关键点，例如采用插值的方式增加一些点，然后，再重新确定所述脊柱的拟合曲线。另外，在所述短曲线出现在所述脊柱的两端的情况下，可以在脊柱的延长线上增加一些关键点，并增加所述拟合曲线的最高次幂之后再重新拟合，例如将拟合曲线从五幂调整至六次幂，符合脊柱的实际特征。

S107：根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

健康的脊柱状态是从人体后视角度观察基本呈一条直线，但是在发生脊柱侧弯的情况下，脊柱呈现的状态可能包括一个或者多个侧弯弧度，因此，根据所述脊柱的拟合曲线获取到这些侧弯弧度的角度，即可以确定所述脊柱的至少一个侧弯角度。在本申请的一个实施例中，可以根据拟合曲线的极值点和拐点，确定所述脊柱的至少一个侧弯角度。具体来说，所述根据所述拟合曲线确定所述脊柱的至少一个侧弯角度，可以包括：

S501：确定所述拟合曲线的至少一个极值点；

S503：分别获取所述拟合曲线在所述至少一个极值点两侧的相邻拐点；

S505：将各个极值点两侧的相邻拐点处的切线之间的夹角作为所述极值点处的侧弯角度。

如图2所示，对于所述拟合曲线中的一段曲线，确定极值点为A，点A两侧的相邻拐点为B点和C点。确定所述拟合曲线在B点和C点处的切线，那么，这两条切线之间的夹角α即等于脊柱在点A处的侧弯角度β。需要说明的是，在计算脊柱末端的侧弯角度时需要对拐点进行特殊处理，例如可以使用拉格朗日均值方法计算得到的平均值点(端点与临近拐点的中值)代替拐点来准确地计算侧弯角度。

当然，在其他实施例中，还可以通过其他方式确定脊柱侧弯角度。在确定所述拟合曲线之后，可以确定所述拟合曲线上的拐点，然后，确定每个拐点在所述拟合曲线上的切线。将相邻切线的夹角作为脊柱的侧弯角度，本申请对于确定侧弯角度的方式不做限制。

本申请实施例提供一种确定脊柱侧弯角度的方法，首先，根据被测用户的三维超声图像确定脊柱的侧弯角度，利用超声仪直接获取或者间接获取所述三维超声图像，对人体无辐射，且成本较低，符合患有脊柱侧弯的用户需要经常观察的需求。其次，在三维超声图像中，将脊柱投影至冠状面上的图像可以全面、准确地反应脊柱的状态，能够拟合得到比较准确的脊柱曲线，进而获取到更加准确的脊柱侧弯角度。

需要说明的是，如图3所示，上述任一实施例所述的确定脊柱侧弯角度方法所得到的最终结果或者间接结果可以通过客户端301的用户界面展示，进一步地，还可以通过客户端301用户界面中的控件触发动作的开始和结束。在所述客户端301和所述超声仪303具有数据处理能力的情况下，所述客户端301可以与超声仪303相耦合，由具有数据处理能力的一方完成三维超声图像的重建、脊柱侧弯角度的确定等工作。具体耦合的方式可以包括有线连接，也可以包括无线连接。其中，所述有线连接可以包括利用同轴电缆、光纤、双绞线等数据传输线连接所述超声仪303和所述客户端301。所述无线连接可以包括于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在己知或将来开发的无线连接方式。当然，在需要处理器305对超声仪303所获取的二维超声图像进行三维重建之后才可以获取到所述三维超声图像的情况下，如图3所示，还可以将所述客户端301与所述处理器305相耦合。可选的，在其中的一个实施例中，所述处理器305和所述客户端301可以是集成于一体的具有数据传输能力、数据处理能力和数据显示功能的电子设备，该电子设备例如包括移动智能电话、计算机(包括笔记本电脑，台式电脑)、平板电子设备、个人数字助理(PDA)或者智能可穿戴设备等，本申请在此不做限制。这样，可以将所述客户端301与所述处理器305与不同的超声仪完成匹配，在较低的成本之下，即可实现功能的提升。可选的，在其中的一个实施例中，所述客户端301、所述超声仪303和所述处理器305可以是集成于一体的具有超声扫描能力、数据传输能力、数据处理能力和数据显示功能的电子设备。

下面结合软件的使用方式说明上述控制和展示的方式。软件中可以包括多个控件，下面利用下表1说明所述多个控件的功能。

表1控件及功能说明

下面结合图4所示的软件使用流程，对上述控件的使用方式进行说明。

如图4所示，工作人员在启动软件之后，可以利用控件401与超声仪303建立连接。建立成功之后，可以通过控件403开始预扫描环节，以确定后续正式扫描时的扫描范围。当然，如果连接不成功，可以提示工作人员连接失败。当然，还可以展示预扫描界面，在预扫描界面中，工作人员可以设置扫描体素尺寸(Voxel Size)，具体包括体素的宽度(Width)、高度(Height)和深度(Depth)。另外，还可以设置在预扫描确定的扫描范围的基础上可扩大的范围(Enlarge the volume)，以增加一定的包容性，防止扫描过程中扩大了扫描范围。例如，设置可扩大的范围为1mm，那么，可以在预扫描确定的扫描范围上下左右前后各个方向上可扩展1mm。

如图4所示，预扫描之后工作人员可通过控件402控制所述超声仪303进入正式扫描阶段，也可以通过控件402暂停所述超声仪303的扫描工作。在扫描过程中，工作人员可以通过控件408实时重建得到所述三维超声图像。图5展示了在扫描过程中的4个时刻重建得到的三维超声图像，如用户界面500所示，工作人员分别在自开始扫描时刻的13s、27s、40s、54s四个时刻实时重建得到被测用户的三维超声图像。通过实时展示被测用户的三维超声图像，可以帮助工作人员实时了解被测用户的脊柱健康状态。

软件的用户界面中可以包括多个数据展示区域，其中，第一数据展示区域可以用于实时展示所述三维超声图像的横断面图像，第二数据展示区域可以用于实时展示所述三维超声图像的冠状面图像，第三数据展示区域可以用于实时展示所述三维超声图像的矢状面图像，这样，可以从多角度全方位地展示所述三维超声图像的状态。另外，设置的分割(Segmentation)控件可以用于将所述三维超声图像中的肌肉层去除，只展示骨骼部分，符合本申请实施例观察脊柱部分的用户需求。

如图4所示，在扫描完成之后，可以通过控件409对扫描结果进行保存，帮助建立被测用户的档案资料。在触发控件409之后，软件的用户界面可以跳转至数据保存界面，在数据保存界面中，可以设置数据保存的路径、被测用户的标识信息、数据名称等信息。另外，在所述数据保存界面中，还可以选择需要保存的数据类型，其中，所述数据类型可以包括实时重建的三维超声图像、二维横断面图像(横断面的位置可以由工作人员自定义)、所述三维超声图像的位置信息(例如三维超声图像中各个体素的空间坐标)、重建后的冠状面图像中的至少一种数据。

如图4所示，在保存数据之后，可以进行两个工作，分别是自动检测与测量和精准重建。其中，自动检测与测量即为本申请各个实施例主要说明的脊柱侧弯角度的确定过程。基于此，软件还提供了侧弯角度展示界面，在侧弯角度展示界面中，在获取侧弯角度之前，需要导入一些基础数据。所述基础数据可以包括用于检测椎板对位置的椎板对检测模型、脊柱在冠状面上的投影图像以及自动检测和测量的程序指令。在所述侧弯角度展示界面可以包括三个数据展示区域。其中，第一数据展示区域用于展示原始的脊柱在冠状面上的投影图像。第二数据展示区域用于展示从所述投影图像中检测到的椎板对的检测框201，还可以展示根据椎板对检测框201中心点拟合得到的拟合曲线上拐点的位置。第三数据展示区域用于展示根据拐点得到的侧弯角度。

本申请实施例中，精准重建是指在扫描完成之后，可以根据选择需要的算法重新进行三维重建，软件在跳转至精准重建的用户界面之后，工作人员可以定义重建的三维图像的体素尺寸，还可以选择三维重建的算法，例如体素最近邻法((Voxel NearestNeighbor，VNN)、多平面图像2(Multiplane Image2，MPI2)、多平面图像4(MultiplaneImage4，MPI4)、像素最近邻法(Pixel Nearest Neighbor，PNN)等算法，以确定更加符合精准的三维超声图像。

下面结合图6从整体上说明本申请确定脊柱侧弯角度方法的一种具体应用场景。如图6所示，获取到所述投影图像之后，可以先判断所述投影图像中是否存在关键部分(例如脊柱端点)的缺失，缺少关键部分的投影图像无法放入程序中运行，需要重新构建三维超声图像。

若所述投影图像完整，可以利用所述椎板对检测模型对所述投影图像进行椎板检测，确定所述投影图像中椎板对的检测框。在检测出椎板对的检测框之后，可以检查检测到的椎板对是否正确。如果存在任何椎板对未检测到或检测结果有偏差的情况，可以手动调整这些椎板对的检测框。当然，还需要基于椎板对的检测框，确定脊柱是否存在短曲线。如果不存在短曲线，可以采用五次幂函数对检测框的中心点进行曲线拟合，得到脊柱的拟合曲线。如果存在短曲线，这里主要包含两种情况，第一种情况，如果存在短曲线(≤5对椎板)，则可以在所述短曲线中的椎板对之间添加关键点。第二种情况，如果短曲线在整个脊柱的两端，则需要在脊柱延长线上加1-2个关键点，并采用六次幂拟合函数进行曲线拟合，得到脊柱的拟合曲线。

最后，确定所述拟合曲线中的拐点，并确定所有拐点处的切线。通过计算每对相邻拐点切线的夹角来确定脊柱的弯曲角度。需要注意的是，在计算脊柱端部的弯曲角度时需要对拐点进行特殊处理，例如可以使用由拉格朗日均值方法计算的平均值点(端点与临近拐点的中值)代替拐点来准确地计算脊柱的弯曲角度。

上文详细描述了本申请所提供的确定脊柱侧弯角度的方法，下面将结合附图7，描述根据本申请所提供的确定脊柱侧弯角度装置700，包括：

超声图像获取模块701，用于获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；

冠状面图像确定模块703，用于根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；

拟合曲线确定模块705，用于根据所述投影图像，确定所述脊柱的拟合曲线；

侧弯角度确定模块707，用于根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

可选的，在本申请的一个实施例中，所述拟合曲线确定模块705，具体用于：

将所述投影图像输入至椎板对检测模型中，经所述椎板对检测模型输出所述投影图像中椎板对的检测框，其中，所述椎板对检测模型利用多个脊柱冠状面超声样本图像训练得到，所述脊柱冠状面超声样本图像标注有椎板对的位置；

根据各个所述检测框的中心点，拟合得到所述脊柱的拟合曲线。

可选的，在本申请的一个实施例中，所述椎板对检测模型包括区域生成网络和目标检测网络，所述区域生成网络的输出端与所述目标检测网络的输入端连接，其中，

所述区域生成网络用于从所述投影图像中确定各个椎板对的至少一个候选检测框；

所述目标检测网络用于从各个椎板对的所述至少一个候选检测框中确定出所述椎板对的检测框。

可选的，在本申请的一个实施例中，所述侧弯角度确定模块707，具体用于：

确定所述拟合曲线的至少一个极值点；

分别获取所述拟合曲线在所述至少一个极值点两侧的相邻拐点；

将各个极值点两侧的相邻拐点处的切线之间的夹角作为所述极值点处的侧弯角度。

可选的，在本申请的一个实施例中，所述超声图像获取模块701，具体用于：

利用二维超声仪的探头获取被测用户的多个二维超声图像以及所述探头的位置信息；

根据所述探头的位置信息，分别确定所述多个二维超声图像与预设三维空间之间的变换关系；

根据所述变换关系，将所述多个二维超声图像转换至所述预设三维空间中，获取所述被测用户的三维超声图像。

可选的，在本申请的一个实施例中，还包括：

显示器，用于展示所述脊柱在冠状面上的投影图像、所述椎板对的检测框以及所述至少一个侧弯角度。

根据本申请实施例的确定脊柱侧弯角度装置700可对应于执行本申请实施例中描述的方法，并且确定脊柱侧弯角度装置700中的各个模块的上述和其它操作和/或功能分别为了实现上述各个实施例提供的方法的相应流程，为了简洁，在此不再赘述。

另外需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

本申请的实施例还提供了一种确定脊柱侧弯角度的设备，所述设备包括超声仪、处理器、显示器，其中，

所述超声仪，用于扫描被测用户的超声图像；

所述处理器，用于执行时实现上述任意一实施例所述的确定脊柱侧弯角度的方法；

所述显示器，用于展示所述投影图像和/或所述至少一个侧弯角度。

本申请的实施例还提供了一种处理设备，处理设备可以是物理设备或物理设备集群，也可以是虚拟化的云设备，如云计算集群中的至少一个云计算设备。为了便于理解，本申请以处理设备为独立的物理设备对该处理设备的结构进行示例说明。

如图8所示，处理设备1200包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述装置。处理设备1200包括存储器1201、处理器1203、总线1205和通信接口1207。存储器1201、处理器1203和通信接口1207之间通过总线1201通信。总线1205可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1207用于与外部通信。

其中，处理器1203可以为中央处理器(central processing unit，CPU)。存储器1201可以包括易失性存储器(volatile memory)，例如随机存取存储器(random accessmemory，RAM)。存储器1201还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器，HDD或SSD。

存储器1201中存储有可执行代码，处理器1203执行该可执行代码以执行前述测试场景构建方法。

本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图9示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图，所述示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中，示例计算机程序产品1300是使用信号承载介质1301来提供的。所述信号承载介质1301可以包括一个或多个程序指令1303，其当被一个或多个处理器运行时可以提供以上针对图1描述的功能或者部分功能。此外，图9中的程序指令1303也描述示例指令。

在一些示例中，信号承载介质1301可以包含计算机可读介质1305，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等等。在一些实施方式中，信号承载介质1301可以包含计算机可记录介质1307，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1301可以包含通信介质1305,诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1301可以由无线形式的通信介质1309(例如，遵守IEEE802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令1303可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，诸如针对图2描述的计算设备的计算设备可以被配置为，响应于通过计算机可读介质1305、计算机可记录介质1307、和/或通信介质1309中的一个或多个传达到计算设备的程序指令1303，提供各种操作、功能、或者动作。应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。

附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种确定脊柱侧弯角度的方法，其特征在于，包括：

获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；

根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；

根据所述投影图像，确定所述脊柱的拟合曲线；

根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述投影图像，确定所述脊柱的拟合曲线，包括：

将所述投影图像输入至椎板对检测模型中，经所述椎板对检测模型输出所述投影图像中椎板对的检测框，其中，所述椎板对检测模型利用多个脊柱冠状面超声样本图像训练得到，所述脊柱冠状面超声样本图像标注有椎板对的位置；

根据各个所述检测框的中心点，拟合得到所述脊柱的拟合曲线。

3.根据权利要求2所述的方法，其特征在于，所述椎板对检测模型包括区域生成网络和目标检测网络，所述区域生成网络的输出端与所述目标检测网络的输入端连接，其中，

所述区域生成网络用于从所述投影图像中确定各个椎板对的至少一个候选检测框；

所述目标检测网络用于从各个椎板对的所述至少一个候选检测框中确定出所述椎板对的检测框。

4.根据权利要求1所述的方法，其特征在于，所述根据所述拟合曲线确定所述脊柱的至少一个侧弯角度，包括：

确定所述拟合曲线的至少一个极值点；

分别获取所述拟合曲线在所述至少一个极值点两侧的相邻拐点；

将各个极值点两侧的相邻拐点处的切线之间的夹角作为所述极值点处的侧弯角度。

5.根据权利要求1所述的方法，其特征在于，所述获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像，包括：

利用二维超声仪的探头获取被测用户的多个二维超声图像以及所述探头的位置信息；

根据所述探头的位置信息，分别确定所述多个二维超声图像与预设三维空间之间的变换关系；

根据所述变换关系，将所述多个二维超声图像转换至所述预设三维空间中，获取所述被测用户的三维超声图像。

6.根据权利要求2所述的方法，其特征在于，还包括：

展示所述脊柱在冠状面上的投影图像、所述椎板对的检测框以及所述至少一个侧弯角度。

7.一种确定脊柱侧弯角度的装置，其特征在于，包括：

超声图像获取模块，用于获取被测用户的三维超声图像，所述三维超声图像至少包括脊柱的图像；

冠状面图像确定模块，用于根据所述三维超声图像确定所述脊柱在冠状面上的投影图像；

拟合曲线确定模块，用于根据所述投影图像，确定所述脊柱的拟合曲线；

侧弯角度确定模块，用于根据所述拟合曲线确定所述脊柱的至少一个侧弯角度。

8.一种确定脊柱侧弯角度的设备，其特征在于，包括超声仪、处理器、显示器，其中，

所述超声仪，用于扫描被测用户的超声图像；

所述处理器，用于根据所述超声图像重建得到所述被测用户的三维超声图像，并执行时实现权利要求1-6中任意一项所述的方法；

所述显示器，用于展示所述投影图像和/或所述至少一个侧弯角度。

9.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-6中任意一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述权利要求1-6中任意一项所述的方法。

Images