CN115797698B

CN115797698B - 一种骨骼矢状位平衡参数检测系统

Info

Publication number: CN115797698B
Application number: CN202211606751.9A
Authority: CN
Inventors: 李危石; 吴及; 许南方; 刘杉杉; 郭辰仪; 姚锐杰
Original assignee: Tsinghua University; Peking University Third Hospital Peking University Third Clinical Medical College
Current assignee: Tsinghua University; Peking University Third Hospital Peking University Third Clinical Medical College
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-07-14
Anticipated expiration: 2042-12-13
Also published as: WO2024124790A1; CN115797698A

Abstract

本发明涉及一种骨骼矢状位平衡参数检测系统，解决了现有技术中检测准确率低、对位置和弯曲姿态识别准确性差、检测可靠性及鲁棒性差的问题，包括：采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注的前处理模块；对人体骨骼轮廓DR影像检测模型进行训练，对未标注的人体骨骼轮廓DR影像进行检测，获取具有骨骼候选框的特征区域，以及置信度、语义分割结果的模型训练模块；基于置信度以及语义分割结果进行后处理得到人体骨骼轮廓的后处理模块；判断人体骨骼轮廓的朝向的朝向判断、计算矢状位平衡参数的矢状位平衡参数计算模块。本发明通过优化标注方式可以获取更准确的检测数据和矢状位平衡参数。

Description

一种骨骼矢状位平衡参数检测系统

技术领域

本发明涉及医学影像智能识别技术领域，具体涉及一种骨骼矢状位平衡参数检测系统。

背景技术

临床上通过DR影像获取人体骨骼矢状位平衡参数(矢状位C7与骶股距离比Barreyindex、矢状位C2倾斜角C2 slope)，存在耗时长和受主观判断影响大的问题。一方面，临床中对于DR影像进行全面的临床指标分析费时费力，降低了诊疗效率；另一方面，DR影像中往往存在骨骼边界模糊甚至部分缺失的问题，仅仅凭借医生的经验进行想象和主观判断，为诊断引入了人为误差，降低了诊断准确率。

现有技术中，已有的矢状位平衡参数计算方法虽然基于AI检测技术降低了对医生的经验依赖度和诊断的人为误差，但存在以下缺陷：骨骼检测适用范围窄，例如脊椎检测只专注于腰椎部分，对椎骨密集的颈椎和胸椎识别准确率较差；对脊椎的位置和弯曲姿态识别准确性差；AI检测系统数据提取损失较大，存在“失真”现象，数据集检测效果的可靠性和鲁棒性较差。

发明内容

鉴于上述分析，为解决现有技术中骨骼检测方法检测准确率低、可靠性及鲁棒性差，并由此导致的矢状位参数计算精确度低的技术问题，本发明提供了一种骨骼矢状位平衡参数检测系统，包括：

前处理模块：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；

模型训练模块：基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；

后处理模块：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据；

矢状位平衡参数计算模块：基于人体骨骼轮廓数据和人体骨骼DR影像获取矢状位平衡参数。

优选的，所述矢状位平衡参数计算模块包括朝向判断子模块和计算子模块；所述朝向判断子模块用于根据人体骨骼轮廓DR影像中的头部影像检测人体骨骼轮廓的朝向；所述计算子模块用于根据人体骨骼轮廓数据和人体骨骼轮廓的朝向计算矢状位平衡参数。

优选的，所述朝向判断子模块采用二分类网络检测人体骨骼轮廓的朝向。

优选的，所述人体骨骼轮廓数据中包括24个矩形、一个三角形和一个或两个圆形，以及各个矩形、三角形的顶点坐标及一个或两个圆形的圆心坐标；其中，每个矩形所在区域代表颈椎、胸椎、腰椎中的一个椎体所在区域，三角形所在区域代表骶骨所在区域，圆形所在区域代表股骨头所在区域。

优选的，所述计算子模块采用如下方式计算矢状位平衡参数：

对人体骨骼轮廓数据中各矩形、三角形和圆形按照矩形、三角形和圆形的中心的纵坐标的大小进行排序；

将人体骨骼轮廓中第1至第7矩形作为第1至第7颈椎；将人体骨骼轮廓中第8至第19矩形作为第1至第12胸椎；将人体骨骼轮廓中第20至第24矩形作为第1至第5腰椎；将三角形作为骶骨；将圆形的中心作为股骨头。

优选的，所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；

所述采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息的实现方式，包括：

采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；采用圆形对DR影像中的股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息。

优选的，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述RD影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述RD影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练，利用所述RD影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。

优选的，所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜，所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。

优选的，基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据的实现方式，包括：

基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述三个模型的候选特征区域；

对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；

对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；

对于股骨头：选取置信度最高的候选特征区域作为股骨头区域，基于股骨头区域中的圆形掩膜，获取圆形掩膜的圆心坐标；

将所述矩形、三角形及其顶点坐标、圆形及其圆心坐标作为人体骨骼轮廓数据。

优选的，所述后处理模块中还设置有第一处理单元，所述第一处理单元用于在形成各候选特征区域的矩形之后和得到人体骨骼轮廓数据之间执行如下步骤：

根据矩形的顶点坐标，计算任意两个矩形的IOU值；

获取IOU值大于IOU阈值的矩形，形成待选矩形集合；

根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线，根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；

计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；

将待选矩形集合之外的其他矩形和被选矩形作为最终确定的矩形输出。本发明具有以下技术效果：

(1)本发明采用对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，可以更好的记录和反映骨骼的姿态和位置关系，对人体骨骼DR影像识别具有更高的准确度；具体的，本发明对不同区域骨骼的轮廓采用矩形、三角形顶点标注和圆形标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映骨骼的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对脊椎骨相对位置关系不敏感、对骶骨和脊椎骨连接区域区分度较差和对骶骨和股骨头连接区域区分度较差的缺陷，可以获取更为准确的矢状位参数，克服了点标注无法计算矢状位参数的缺陷；同时现有技术的点标注无法对脊椎骨、骶骨的复杂几何轮廓进行处理，无法得到准确的几何中心，本发明采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，因而较现有技术更容易确认脊椎骨和股骨头的几何中心，进而得到更为准确的矢状位参数。

(2)与现有技术相比，本发明基于预测的骨骼区域与标注的骨骼区域的坐标构建回归分类器损失函数，模型整体的损失函数包括分数分类器损失函数、回归分类器损失函数以及掩膜参数损失函数，通过上述损失函数能够训练出更优化的模型参数，使得模型预测准确率大幅提高。

(3)本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术中回归分类器损失函数的缺陷。进一步地，本发明的回归分类器损失函数L_box在引入IOU损失同时保留了基于特征区域变量相互独立假设的smooth_L1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征L_box的缺陷。

(4)本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠的特征区域进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书中所特别指出的内容来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。

其中：

图1为本发明一种骨骼矢状位平衡参数检测系统的结构示意图；

图2为本发明一种实施方式中骨骼矢状位平衡参数检测系统训练标注示意图；

图3为本发明一种实施方式中脊椎骨轮廓矩形掩膜及其外接候选框的示意图；

图4为本发明一种实施方式中脊椎骨、骶骨轮廓检测结果示意图；

图5为本发明一种实施方式中脊椎骨轮廓预测模型输出的置信度大于置信度阈值的矩形轮廓示意图；

图6为本发明一种实施方式中拟合出的第一曲线和第二曲线示意图；

图7为本发明一种实施方式中矢状位平衡参数示意图。

具体实施方式

下面对本发明的优选实施方式进行具体描述，其用于阐释本发明的原理，并非用于限定本发明的范围。

为了准确阐述本发明的实施方案，对相关专业术语做进一步的说明：

Cascade Mask R-CNN网络结构模型

Cascade Mask R-CNN沿用了Faster RCNN的思想，特征提取采用ResNNet-FPN的架构，输出端增加了对掩膜参数预测，可以完成对图像中特定区域识别。

候选框提取网络(RPN)

候选框提取网络(RPN)全称是Region Proposal Network，用来提取候选框的网络，在Faster RCNN网络结构模型用于对特征图片的构建候选框识别区域。

终板线：椎体在生长发育过程中，椎体上下面的骨骺板骨化停止后形成骨板所在平面在图像里显示的直线。

椎体前缘：人体骨骼侧向轮廓中，人面朝向一侧的椎骨侧边缘；

椎体后缘：人体骨骼侧向轮廓中，人面背向一侧的椎骨侧边缘；

C代表颈椎，T代表胸椎，L代表腰椎，S代表骶骨；Cn代表从上往下数第n个颈椎，Tn代表从上往下数第n个胸椎；Ln代表从上往下数第n个腰椎；Sn代表从上往下数第n个骶椎。

矢状位C7与骶骨距离比(Barrey index)：第七颈椎(C7)铅垂线与骶骨后上缘之间的水平距离和第七颈椎(C7)铅垂线同股骨头中线点之间水平距离的比值；

矢状位C2-T1骨盆角(CTPA)：C2椎体下终板中点与股骨头中心连线中点的连线和T1椎体上终板中点与股骨头中心连线中点的连线的夹角；

矢状位C2骨盆倾斜角(CPT)：S1上终板中点和双侧股骨头中心连线中点的连线与C2椎体后缘所在直线所成的角；

矢状位C2倾斜角(C2 slope)：C2椎体的上终板的切线与水平面之间的夹角；

矢状位C7倾斜角(C7 slope)：C7椎体的上终板的切线与水平面之间的夹角；

矢状位C7垂直倾斜角(C7VT)：为C7椎体中心和股骨头中点连线与过C7椎体中心的铅垂线的夹角；

矢状位颈椎前凸角(CL)：自C2、C7椎体后缘作切线，取两线间的夹角；

矢状位脊柱倾斜角(GT)：为C7椎体中心和股骨头中点连线，同股骨头中点和骶骨上终板中点连线之间的夹角；

矢状位L4-S1前凸角(L4-S1 lordosis)：L4上终板与S1上终板间的夹角；

矢状位L4入射角(L4 incidence)：L4上终板中点与股骨头中点连线与过L5上终板中点并垂直于L4上终板的直线之间的夹角；

矢状位L5入射角(L5 incidence)：L5上终板中点与股骨头中点连线与过L5上终板中点并垂直于L5上终板的直线之间的夹角。L1上终板与S1上终板间夹角；

矢状位腰椎前凸角(LL)：L1上终板与S1上终板间夹角；

矢状位腰椎骨盆角(LPA)：L1椎体中心和股骨头中点连线，同股骨头中点和骶骨上终板中点连线之间的夹角；

矢状位腰骶角(LSA)：S1上终板线和L5下终板线所成的夹角

矢状位骨盆入射角(PI)：于S1上中板中点和双侧股骨头中心连线中点作一条直线,该线与S1上终板垂线的夹角；

矢状位骨盆倾斜角(PT)：于S1上终板中点和双侧股骨头中心连线中点作一直线,该线与铅垂线的夹角；

矢状位骶骨骨盆角(SPA)：股骨头连线中点至骶骨后上角的连线与骶骨上终板垂线的夹角；

矢状位骶骨倾斜角(SS)：为S1上终板切线与水平线的夹角；

矢状位脊柱骶骨角(SSA)：C7椎体的中心与S1上终板中点的连线与S1上终板切线的夹角；

矢状位骶骨平台角(STA)：骶骨终板线和沿着S1椎体后部绘制的线所成的角；

矢状位C7-S1矢状面轴向距离(SVA)：S1后上缘与经C7椎体中心所做的铅垂线；

矢状位C2-C7矢状面轴向距离(cSVA)：C2(第二颈椎)椎体几何中心的铅垂线到C7(第七颈椎)终板的上后角的水平距离；

矢状位T1骨盆角(T1 pelvic angle)：为T1椎体中心和股骨头中点连线，同股骨头中点和骶骨上终板中点连线之间的夹角；

矢状位T1倾斜角(T1 slope)：T1椎体的上终板的切线与水平面之间的夹角；

矢状位T9倾斜角(T9 slope)：T9椎体的上终板的切线与水平面之间的夹角；

矢状位T1脊柱骨盆倾斜角(T1SPI)：两股骨头中心连线中点与T1椎体中心与铅垂线夹角；

矢状位胸骶角(TSA)：T10上终板线和L2下终板线所成的夹角；

矢状位胸椎后凸角(TK)：T4上终板与T12下终板间夹角；

矢状位整体胸椎后凸角(GTK)：T1上终板与T12下终板间夹角；

矢状位主要胸椎后凸角(MTK)：T5上终板与T12下终板间夹角；

矢状位上胸椎后凸角(UTK)：T1上终板与T5下终板间夹角。

本发明公开一种骨骼矢状位平衡参数检测系统，如图1所示，包含以下模块：

后处理模块：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓；具体的，基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较大的结果，将优选后的特征区特征区域构建完整的人体骨骼轮廓数据；

与现有技术相比，本发明对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，有利于准确记录和反映骨骼的姿态和骨骼间相对位置关系，对人体骨骼DR影像轮廓识别具有更高的准确度。

与现有技术相比，本发明基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较小的结果，可以有效改善特征区域检测数据与对应的目标坐标区域真实数据值的偏差，提高人体骨骼DR影像检测模型的检测准确率。

具体的，前处理模块中，根据人体骨骼在其DR影像中轮廓线，得到与骨骼轮廓最接近的几何图形，采用与骨骼轮廓最接近的几何图形对其进行标注；

具体的，前处理模块中采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，包括：

a、采用矩形对DR影像中的脊椎骨进行标注，各椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息。

具体的，以脊椎骨轮廓线中相距最远的一组端点作为对角顶点，选取脊椎骨轮廓线中另一组端点作为第二组对角顶点。

与现有技术相比，本发明对脊椎骨的轮廓采用矩形的四个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映脊椎骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对脊椎骨相对位置关系不敏感的缺陷，对脊椎骨的增生、错位等问题的识别具有更高的准确度。

b、采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；

具体的，选取距离骶骨轮廓中心最远三个端点作为三角形三个顶点。

与现有技术相比，本发明对骶骨的轮廓采用三角形的三个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映骶骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对骶骨和脊椎骨连接区域区分度较差的缺陷，对骶骨和脊椎骨连接区域的识别具有更高的准确度。

c、采用圆形对股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息。

具体的，以股骨头中心为圆心，以距离股骨头中心距离最大的轮廓线端点和圆心的距离为半径作圆，取圆形弧线上多个离散点坐标作为股骨头标注信息。

与现有技术相比，本发明对股骨头的轮廓采用圆形弧线上多个离散点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映股骨头的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对骶骨和股骨头连接区域区分度较差的缺陷，对骶骨和股骨头连接区域的识别具有更高的准确度。

具体的，如图2所示，展示了对各个骨骼的标注。

可以理解的，由于脊椎骨中的颈椎、胸椎、腰椎在DR影像中呈现出矩形轮廓，所以采用矩形对脊椎骨进行标注；骶骨在DR影像中呈现出三角形轮廓，所以采用三角形对骶骨进行标注；股骨头在DR影像中呈现出圆形轮廓，因此采用圆形对股骨头进行标注。

实施时，将上述脊椎骨标注信息、骶骨标注信息以及股骨头标注信息采用CoCo数据集的形式进行存储。

具体的，所述人体骨骼轮廓DR影像检测模型包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；上述三个子模型分别用于检测脊椎骨、骶骨、股骨头的轮廓。

具体的，模型训练模块中对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述DR影像和不同骨骼标注信息对对应的骨骼轮廓DR影像检测模型进行训练；

具体的，利用所述DR影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练；利用所述DR影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练；利用所述DR影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。

可以理解的，当对人体骨骼轮廓DR影像检测模型进行训练时，输入到三个子模型的DR图像是相同的，只是标注信息不同。

实施时，所述三个子模型即脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的结构相同，均采用Cascade Mask R-CNN网络。

所述Cascade Mask R-CNN网络结构设有CNN卷积网络、与CNN卷积网络连接的RPN网络、以及与CNN卷积网络及RPN网络连接的RoIAlign layer、与RoIAlign layer连接的全连接层和掩膜预测模块。

具体的，CNN卷积网络用于提取DR影像的特征，输出特征图；RPN网络用于生成特征图的候选框；所述RoIAlign layer基于所述候选框和特征图，输出具有固定尺寸的特征区域，所述全连接层基于所述固定尺寸的特征区域，生成特征区域的置信度以及掩膜的外接矩形的坐标，所述掩膜预测模型基于所述固定尺寸的特征区域生成该区域的掩膜。

具体的，DR影像经过所述Cascade Mask R-CNN网络后，在输出端会输出多个具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；

具体的，所述置信度是指该候选框框出的区域是真实骨骼的概率，置信度越高，说明该区域为骨骼区域的概率越大；所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜；

可以理解的，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜；所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜；所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。

如图3所示，脊椎骨轮廓DR影像检测模型输出的特征区域中，所述矩形掩膜如图中所示的实心矩形区域，所述矩形掩膜所在位置即为脊椎骨所在区域，所述候选框是指矩形掩膜的外接四边形，模型输出还包括外接四边形的四个顶点坐标；

对于骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型，掩膜分别为三角形掩膜和圆形掩膜，所述候选框是指三角形、圆形的外接四边形，模型输出还包括外接四边形的四个顶点坐标。

与现有技术相比，本发明通过设立三个子模型分别预测不同骨骼的区域，对同一DR影像中不同骨骼区域(脊椎、骶骨和股骨头)实现骨轮廓DR影像检测，拓展了骨骼检测范围。

具体的，后处理模块基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓，包括：

首先，基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述三个模型的候选特征区域；

具体的，可以根据三个子模型的检测精度分别设置三个子模型对应的置信度阈值，示例性的，将脊椎骨模型轮廓DR影像检测模型的置信度阈值设置为0.8，将骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值设置为0.9；

通过利用置信度阈值对特征区域筛选，能够去除非骨骼区域的特征区域，从而保留具有骨骼区域的特征区域作为候选特征区域。

其次，对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；

具体的，在模型训练模块所述未标注的人体骨骼轮廓DR影像构建和前处理模块所述人体骨骼轮廓DR影像相同的坐标系；

在得到人体骨骼轮廓后，可将上述骨骼轮廓数据即得到的各矩形、三角形的顶点坐标以及圆形掩膜的圆心坐标显示在DR影像上，即将矩形、三角形的顶点坐标以及圆形掩膜的圆心的坐标在后处理模块所述未标注的人体骨骼轮廓DR影像中依次标出获得圆形掩膜的圆心及矩形、三角形的各顶点；将同一矩形和三角形中各顶点连接获得相应的骨骼轮廓，如图4所示：矩形区域表示脊椎；三角形区域表示骶骨；圆形的圆心表示股骨头的中心。

由于脊椎骨数量为24块，所以可能存在候选区域中的矩形相重叠的情况，即对于一块椎体存在两个对应的矩形，所以要从相重叠的两个矩形中选取一个作为骨骼所在区域，因此优选的，对于脊椎骨在后处理模块中还设置有第一处理单元，所述第一处理单元用于在形成各候选特征区域的矩形之后和得到人体骨骼轮廓数据之间执行如下步骤：

S321、根据矩形的顶点坐标，计算任意两个矩形的IOU值；

具体的，IOU满足以下公式：

IOU＝S_交/S_并，其中S_交为两个矩形的交集面积，S_并为两个矩形的并集面积；

S322、获取IOU值大于IOU阈值的矩形，形成待选矩形集合；具体的，IOU阈值设置为0.5；

具体的，如果两个矩形不存在重叠则其IOU值为零，如果两个矩形存在重叠，则IOU值大于零；需要说明的是，IOU值大于0.5的两个矩形有极大概率对应于一块椎体，因而将IOU阈值设置为0.5；

作为举例，如图5所示，由于矩形a和矩形b存在重叠，因此矩形a和矩形b的IOU值大于阈值0.5，因此根据IOU阈值能够筛选出矩形a和矩阵b，矩形a和矩形b形成待选矩形集合。

S323、根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线；根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；

具体的，如图6所示，根据除矩形a和b之外的其他矩形拟合出两条曲线，即代表了脊柱的走向曲线；示例性的，当脊柱曲线如图6所示时，以各矩形的左下坐标拟合出第一条曲线，以各矩形的右上坐标拟合出第二曲线；当脊柱曲线沿相反方向弯曲时，则以各矩形的左上坐标你和第一曲线，以各矩形的右下坐标拟合第二曲线；

S324、计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；

具体的，根据待选矩形的四个顶点坐标和第一曲线和第二曲线的拟合函数获取待选矩形在第一曲线和第二曲线形成的中间区域中的面积。如图6所示，根据计算得到矩形a在两个曲线形成的中间区域的面积比矩形b在两个曲线形成的中间区域的面积要大，因此选择a作为被选矩形，舍弃矩形b；

S325、将待选矩形集合之外的其他矩形和被选矩形作为最终确定的矩形输出。

若采用现有技术中的极大值抑制方法NMS，则会选取置信度较大的矩形b作为被选矩形，本发明通过对脊椎骨轮廓DR影像检测模型的检测数据拟合脊柱曲线，选择出符合脊柱曲线走势的矩形a，因此能够获得更符合脊椎自然弯曲的脊椎骨轮廓DR影像检测数据，使得检测数据更加精确。

与现有技术相比，本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠矩形进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。

具体的，模型训练模块中所述损失函数L，满足以下公式：

L＝L_cls+L_box+L_mask；

其中，L_cls为分数分类器损失函数，L_box为回归分类器损失函数，L_mask为掩膜参数损失函数。

具体的，L_cls满足以下公式：

其中，P(x)为真实置信度；q(x)为预测置信度，x为RoIAlign layer输入的固定尺寸的特征图。

具体的，L_msk满足以下公式：

其中，k＝1，y_ij为位置(i，j)的mask值(0，1二值表示)，数据

为预测mask值；i表示像素横坐标，j表示像素纵坐标；m表示掩膜区域外接矩形的边长；

其中y_ij满足以下公式：

具体的，回归分类器损失函数L_box，满足以下公式：

其中，intersection()为对两个区域求交集面积；Union()为对两个区域求并集面积；P_预测为特征区域的预测框；P_真实为特征区域对应的原始标注区域；smooth_L1为离散点损失函数；t_i为特征区域对应原始标准坐标特征集，

为特征区域预测坐标特征集；

其中，t_i满足以下公式：

t_i＝[t_x；t_y；t_w；t_h]；

其中，

满足以下公式：

其中，t_x满足以下公式：

t_x＝(x-x_a)/w_a；

t_y满足以下公式：

t_y＝(y-y_a)/h_a；

t_w满足以下公式：

t_w＝log(w/w_a)；

t_h满足以下公式：

t_h＝log(h/h_a)；

满足以下公式：

满足以下公式：

满足以下公式：

满足以下公式：/>

其中，(x；y)为特征区域的掩膜区域最小外接矩形的中心点坐标，W为特征区域的掩膜区域最小外接矩形的长度，h为特征区域的掩膜区域最小外接矩形的宽度；(x_a；y_a)为Cascade Mask R-CNN结构R-CNN单元中anchors集合中特征区域对应的候选框中心点坐标，W_a为Cascade Mask结构R-CNN单元中anchors集合中特征区域对应的候选框的长度，h_a为Cascade Mask R-CNN结构RPN单元中anchors集合中特征区域对应的候选框的宽度(x^*；y^*)为回归分类器前连的全连接层输出的特征区域中心点预测坐标，w^*为回归分类器前连的全连接层输出的特征区域长度，h^*为回归分类器前连的全连接层输出的特征区域宽度。

现有技术中，回归分类器损失函数L_box通过回归表征一个特征区域的四个变量，并假设特征区域的四个变量相互独立，从而进行线性回归预测。实际上，特征区域的四个变量之间是相互关联的，现有技术采用的简单的分开计算每个变量的回归loss得方法无法反映这种相关性，因而在计算损失函数时无法客观反映模型训练程度，降低了模型最终预测准确度。

与现有技术相比，本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术回归分类器损失函数的缺陷。

进一步地，本发明的回归分类器损失函数L_box在引入IOU损失同时保留了基于特征区域变量相互独立假设的smooth_L1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征L_box的缺陷。

具体的，本发明涉及的人体骨骼轮廓DR影像均包含头部影像；

所述矢状位平衡参数计算模块包括朝向判断子模块和计算子模块；所述朝向判断子模块用于根据人体骨骼轮廓DR影像中的头部影像检测人体骨骼轮廓的朝向；所述计算子模块用于根据人体骨骼轮廓数据和人体骨骼轮廓的朝向计算矢状位平衡参数。

具体的，所述朝向判断子模块采用二分类网络检测人体骨骼轮廓的朝向，获取人体骨骼轮廓面向左或人体骨骼轮廓面向右的分类结果。

优选的，二分类网络选用ResNet50网络。

具体的，提取DR影像中的头部图像，并标注好朝向信息；利用头部图像和标注的朝向信息对ResNet50网络进行训练，训练好之后即可输入待预测的DR影像的头部图像进行朝向检测。

具体的，所述人体骨骼轮廓为人体侧视骨骼轮廓；所述矢状位平衡参数，包括：矢状位C7与骶股距离比、矢状位C2-T1骨盆角、矢状位C2骨盆倾斜角、矢状位C2倾斜角、矢状位C7倾斜角、矢状位C7垂直倾斜角、矢状位颈椎前凸角、矢状位脊柱倾斜角、矢状位L4-S1前凸角、矢状位L4入射角、矢状位L5入射角、矢状位腰椎前凸角LL、矢状位腰椎骨盆角、矢状位腰骶角、矢状位骨盆入射角、矢状位骨盆倾斜角、矢状位骶骨骨盆角、矢状位骶骨倾斜角、矢状位脊柱骶骨角、矢状位骶骨平台角、矢状位C7-S1矢状面轴向距离、矢状位C2-C7矢状面轴向距离、矢状位T1骨盆角、矢状位T1倾斜角、矢状位T9倾斜角、矢状位T1脊柱骨盆倾斜角、矢状位胸骶角、矢状位胸椎后凸角、矢状位整体胸椎后凸角、矢状位主要胸椎后凸角和矢状位上胸椎后凸角。

具体的，所述计算子模块采用如下方式计算矢状位平衡参数：

S41、对人体骨骼轮廓数据中各矩形和三角形按照矩形、三角形、圆形的中心的纵坐标的大小进行排序；

具体的，各矩形的中心的纵坐标获取方法为：取各矩形两对对角顶点的纵坐标的均值作为各矩形的中心的纵坐标。三角形的中心的纵坐标获取方法为：取三角形顶点纵坐标、底边所在的两个端点的纵坐标平均值，对顶点纵坐标和所述纵坐标平均值再求平均作为三角形中心点的纵坐标；圆形的中心的纵坐标即为圆心纵坐标。

具体的，作为举例，以人体骨骼轮廓DR影像左上顶点为原点的平面坐标系中(x轴沿水平方向，向右为正；y轴沿竖直方向，向下为正)中确认脊椎特征矩形的左上顶点、右上顶点、右下顶点及左下顶点的实现方式为：

(1)比较特征矩形四个顶点坐标值之和(x+y)，选取最小的顶点作为左上顶点；

(2)以左上顶点为起点，通过比较坐标(x，y)顺时针排序获得：右上顶点、右下顶点和左下顶点。

S42、将第1至第7矩形作为第1至第7颈椎，将第8至第19矩形作为第1至第12胸椎，将第20至第24矩形作为第1至第5腰椎，将三角形作为骶骨，将圆形作为股骨头，得到各颈椎、胸椎、腰椎、骶骨以及股骨头的坐标数据；

需要说明的是，由于DR影像中人体两侧股骨头不重合，如图4所示：人体骨骼轮廓中呈现两个圆心作为人体左右两侧的股骨头。

S43、基于各骨骼对应的的坐标数据、编号以及人体骨骼轮廓的朝向，计算矢状位平衡参数。

以矢状位C2倾斜角(C2 slope)的计算作为举例，如图7所示：

由人体骨骼轮廓DR影像按照上述方法获取人体骨骼轮廓；

以人体骨骼轮廓中C2椎体(第2块颈椎)的上终板做切线，并测量该切线与水平面之间的夹角α(锐角)，其中L0为水平线；其中C2椎体的上终板的切线可由C2椎体对应的坐标数据得到，即采用C2椎体对应矩形的左下顶点和右下顶点坐标值可计算出上终板切线；

若二分类网络输出的人体骨骼轮廓面向左，则根据矢状位C2倾斜角定义获得C2slope，且C2 slope满足：C2 slope＝α；

若二分类网络输出的人体骨骼轮廓面向右，则根据矢状位C2倾斜角定义获得C2slope，且C2 slope满足：C2 slope＝-α；二分类网络输出结果决定矢状位参数的正负；

在得到骨骼的坐标数据、编号及朝向后，矢状位参数的计算都属于本领域的公知常识，因此不予赘述。

与现有技术相比，上述标注方式可以准确反映脊椎骨的姿态变化，清晰标注出弯曲区域端点脊椎骨的上下边缘，获取更为准确的矢状位参数，克服了点标注无法计算矢状位参数的缺陷；同时现有技术的点标注无法对脊椎骨、骶骨的复杂几何轮廓进行处理，无法得到准确的几何中心，本发明采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，因而较现有技术更容易确认脊椎骨和股骨头的几何中心，进而得到更为准确的矢状位参数。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种骨骼矢状位平衡参数检测系统，其特征在于，包含：

矢状位平衡参数计算模块：基于人体骨骼轮廓数据和人体骨骼DR影像获取矢状位平衡参数；

所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；

采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；采用圆形对DR影像中的股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息；

基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据的实现方式，包括：

基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的候选特征区域；

将所述矩形、三角形及其顶点坐标、圆形及其圆心坐标作为人体骨骼轮廓数据；

所述后处理模块中还设置有第一处理单元，所述第一处理单元用于在形成各候选特征区域的矩形之后和得到人体骨骼轮廓数据之间执行如下步骤：根据矩形的顶点坐标，计算任意两个矩形的IOU值；

获取IOU值大于IOU阈值的矩形，形成待选矩形集合；

将待选矩形集合之外的其他矩形和被选矩形作为最终确定的矩形输出。

2.根据权利要求1所述的骨骼矢状位平衡参数检测系统，其特征在于，所述矢状位平衡参数计算模块包括朝向判断子模块和计算子模块；所述朝向判断子模块用于根据人体骨骼轮廓DR影像中的头部影像检测人体骨骼轮廓的朝向；所述计算子模块用于根据人体骨骼轮廓数据和人体骨骼轮廓的朝向计算矢状位平衡参数。

3.根据权利要求2所述的骨骼矢状位平衡参数检测系统，其特征在于，所述朝向判断子模块采用二分类网络检测人体骨骼轮廓的朝向。

4.根据权利要求3所述的骨骼矢状位平衡参数检测系统，其特征在于，所述人体骨骼轮廓数据中包括24个矩形、一个三角形、一个或两个圆形，以及各个矩形、三角形的顶点坐标及一个或两个圆形的圆心坐标；其中，每个矩形所在区域代表颈椎、胸椎、腰椎中的一个椎体所在区域，三角形所在区域代表骶骨所在区域，圆形所在区域代表股骨头所在区域。

5.根据权利要求4所述的骨骼矢状位平衡参数检测系统，其特征在于，所述计算子模块采用如下方式计算矢状位平衡参数：

将人体骨骼轮廓中第1至第7矩形作为第1至第7颈椎；将人体骨骼轮廓中第8至第19矩形作为第1至第12胸椎；将人体骨骼轮廓中第20至第24矩形作为第1至第5腰椎；将三角形作为骶骨；将圆形作为股骨头。

6.根据权利要求1所述的骨骼矢状位平衡参数检测系统，其特征在于，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述DR影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述DR影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练，利用所述DR影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。

7.根据权利要求6所述的骨骼矢状位平衡参数检测系统，其特征在于，所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜，所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。