CN117426781A - 一种双解码正面脊柱侧弯的自动评估方法 - Google Patents
一种双解码正面脊柱侧弯的自动评估方法 Download PDFInfo
- Publication number
- CN117426781A CN117426781A CN202310629468.6A CN202310629468A CN117426781A CN 117426781 A CN117426781 A CN 117426781A CN 202310629468 A CN202310629468 A CN 202310629468A CN 117426781 A CN117426781 A CN 117426781A
- Authority
- CN
- China
- Prior art keywords
- vertebra
- feature
- prediction
- double
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010039722 scoliosis Diseases 0.000 title claims abstract description 33
- 238000011156 evaluation Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000006835 compression Effects 0.000 claims abstract description 4
- 238000007906 compression Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 210000000115 thoracic cavity Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 238000011511 automated evaluation Methods 0.000 claims 1
- 239000011436 cob Substances 0.000 description 23
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000002972 idiopathic scoliosis Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000021642 Muscular disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 201000010829 Spina bifida Diseases 0.000 description 1
- 208000006097 Spinal Dysraphism Diseases 0.000 description 1
- 208000020307 Spinal disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 201000000585 muscular atrophy Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 208000002320 spinal muscular atrophy Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种双解码正面脊柱侧弯的自动评估方法，包括：步骤S1，获取至少一X射线图像；步骤S2，输入至双解码网络模型中，通过编码器进行特征提取得到不同尺度的特征图，并通过中间解码器对各特征图进行椎骨区域分割、特征压缩及特征融合得到分割预测图，以及通过尾部解码器对分割预测图进行特征增强及特征解耦得到椎骨中心点预测热图和椎骨倾斜向量预测图。有益效果是本发明能够通过双解码网络模型对X射线图像进行椎骨区域的精确提取，并在此基础上计算得到能体现出椎骨倾斜度的椎骨倾斜向量预测图以及能体现出椎骨位置的椎骨中心点预测热图供医生分析患者椎骨问题，能够减少医生工作量且同时提高分析准确性。
Description
技术领域
本发明涉及脊柱侧弯评估的技术领域，具体而言，涉及一种双解码正面脊柱侧弯的自动评估方法。
背景技术
脊柱侧弯是一种常见的脊柱疾病，是指人体脊柱中的一个或多个椎体向一侧弯曲并伴有椎体旋转畸形，脊柱侧弯可按病因分为：特发性、先天性或神经肌肉性，特发性脊柱侧弯约占所有病例的80％，青少年特发性脊柱侧弯是最常见的脊柱侧弯类型，通常在青春期被诊断出来，先天性脊柱侧弯是由椎体胚胎畸形引起的一种脊柱侧弯，可以发生在脊柱的任何部位，这些畸形在出生时已经存在，因此通常在更小的年龄被发现，神经肌肉性脊柱侧弯是指继发于神经系统或肌肉疾病的脊柱侧弯，如与脑瘫、脊髓创伤、肌肉萎缩症、脊髓肌肉萎缩症和脊柱裂有关的脊柱侧弯，这种类型的脊柱侧弯通常比特发性脊柱侧弯进展得更快，而且往往需要手术治疗，研究表明，脊柱侧弯影响3％的人口，其主要发病年龄为10岁至15岁，且男女发病率均等。
脊柱是人体的基本骨骼，所有其他的骨骼都与之相连，脊柱的正常位置、形状和发育不仅为身体提供了正常的直立对称图形，而且对邻近骨骼和内脏的发育也是必不可少的，脊柱侧弯会影响婴幼儿及青少年的生长发育，使身体变型，严重的情况下可能还会影响心脏和肺功能，以及神经受压，引起手臂、腿部和脚部的疼痛和麻木感，因此，准确的定量估计脊柱弯曲度是脊柱侧弯临床评估和治疗计划的重要任务。
临床上，X射线图像通常用于脊柱侧弯诊断，在脊柱侧弯的诊断和治疗决策中，X射线图像中的Cobb角的测量至关重要，其通常用于衡量脊柱侧弯程度，如图1所示，临床上Cobb角是上端椎上缘与下端椎下缘的引线夹角。
当前临床上，医生需要选择最倾斜的椎骨之间的角度作为Cobb角，由于X射线图像对比度低，最倾斜椎骨的选择易受到主观影响，导致不同医生对同一脊柱侧弯Cobb角的评估结果可能产生5-10度的差异，此外，医生还需要手动标记椎骨角点来计算Cobb角，大批量的手工检测脊柱侧弯任务是非常耗时和繁琐的，会大大增加医生的工作量。
脊柱侧弯自动评估上提出的方法主要可以分为两大类：一类是基于传统方法：分割过滤和机器学习；另一类是基于当前流行的深度学习，基于传统的方法需要精确的脊椎分割和特征工程，这使得它们的计算成本很高，而且容易受到X射线图像变化造成的误差的影响，因此基于深度学习的方法由于其自动化提取特征且鲁棒性强成为研究的重点，基于深度学习的方法可以划分为三大类：直接回归Cobb角的方法、基于椎骨关键点检测的方法和基于椎骨分割的方法，直接回归Cobb角的方法通过学习脊柱整体形状与Cobb角之间的隐含关系，直接输出三个Cobb角作为网络的预测目标，这些方法只能获得三个Cobb角，而构成这些Cobb角的椎骨位置无法准确获取，并且由于X射线图像中器官和组织的重叠和遮挡问题，椎骨的标志可能被遮挡，坐标预测结果通常存在误差，导致椎骨倾斜度都不准确，因此存在椎骨位置无法获取、椎骨倾斜度不准确的问题。
发明内容
本发明要解决的问题是：提供一种双解码正面脊柱侧弯的自动评估方法，能够准确提供椎骨位置并计算出椎骨倾斜度，可以减少医生工作量且同时提高分析准确性。
为解决上述问题，本发明提供一种双解码正面脊柱侧弯的自动评估方法，包括以下步骤：
步骤S1，获取至少一包含多个椎骨的X射线图像；
步骤S2，将所述X射线图像输入至预先构建得到的一双解码网络模型中，通过所述双解码网络模型中的编码器对所述X射线图像进行特征提取得到不同尺度的特征图，并通过所述双解码网络模型中的中间解码器对各所述特征图进行椎骨区域分割、特征压缩及特征融合得到对应的一分割预测图，以及通过所述双解码网络模型中的尾部解码器对所述分割预测图进行特征增强及特征解耦得到对应的一椎骨中心点预测热图和一椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
优选的，所述X射线图像中的每个所述椎骨均有四个角坐标，所述步骤S2包括：
步骤S21，将所述X射线图像输入至所述双解码网络模型中，通过所述双解码网络模型中的所述编码器对所述X射线图像进行特征提取得到不同尺度的所述特征图；
步骤S22，针对每个所述特征图，通过所述双解码网络模型中的所述中间解码器对每个所述椎骨的四个所述角坐标分别进行识别相连形成对应的边界，以使每个所述椎骨的边界相连将所述特征图分割形成多个椎骨区域；
步骤S23，通过所述双解码网络模型中的所述中间解码器对每个所述特征图进行线性插值并进行上采样得到对应的多个第一特征，随后对各所述第一特征进行压缩得到对应的多个第二特征，以及对各所述第二特征进行特征融合得到对应的所述分割预测图；
步骤S24，通过所述双解码网络模型中的所述尾部解码器对所述分割预测图进行特征增强及特征解耦得到对应的所述椎骨中心点预测热图和所述椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
优选的，每个所述椎骨的四个所述角坐标分别为左上角坐标、左下角坐标、右上角坐标和右下角坐标，所述步骤S22中，针对每个所述椎骨，通过所述中间解码器将所述椎骨对应的所述左上角坐标和所述左下角坐标连结形成左边界，并将所述椎骨对应的所述左上角坐标和所述右上角坐标连结形成上边界，随后将所述椎骨对应的所述右上角坐标和右下角坐标连结形成右边界，以及将所述椎骨对应的所述左下角坐标和所述右下角坐标连结形成下边界，通过所述左边界、所述上边界、所述右边界和所述下边界连结形成单个所述椎骨区域。
优选的，所述步骤S23中对各所述第二特征进行特征融合的计算公式如下所示：
其中，
Si表示所述分割预测图；
Conv(·)表示带有ReLU的3×3卷积操作；
U(·)表示所述线性插值；
表示不同所述第二特征之间的元素相加操作；
Ei表示第i个所述第二特征；
Ei+1表示第i+1个所述第二特征。
优选的，所述步骤S24中，对所述分割预测图进行特征增强的计算公式如下所示：
Gj＝(S0⊙Ej)+Ej，j＝0，1，2，3
其中，
Gj表示特征增强后得到的增强特征图；
S0表示i为0时的所述分割预测图；
Ej表示第j个所述特征图中的特征；
⊙表示元素点乘操作。
优选的，所述步骤S24包括：
步骤S241，通过所述双解码网络模型中的所述尾部解码器对所述分割预测图进行特征增强得到对应的增强特征图；
步骤S242，针对每个所述增强特征图，根据所述增强特征图中各所述椎骨的中心点坐标得到对应的一中心点热图，并将各所述中心点热图整合为所述椎骨中心点预测热图；
步骤S243，根据所述椎骨中心点预测热图中各所述椎骨的中心点坐标和各所述椎骨的左右中心点得到所述椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
优选的，所述步骤S242中，所述中心点热图的计算公式如下所示：
其中，
Hn(X，Y)表示所述中心点热图；
(X，Y)表示所述椎骨在所述增强特征图中的像素位置；
(xn，yn)表示第n个所述椎骨的所述中心点坐标；
σ表示预设常量，用于控制峰值的传播，所述计算公式中设为20。
优选的，所述步骤S243中，所述椎骨倾斜向量预测图的计算公式如下所示：
其中，
V[xn，yn]表示所述椎骨倾斜向量预测图；
(xn，yn)表示第n个所述椎骨的所述中心点坐标；
kn，r表示第n个所述椎骨的左中心点；
kn，l表示第n个所述椎骨的右中心点。
优选的，所述步骤S1中，每个所述X射线图像内均包含17个椎骨，分别为12个胸椎和5个腰椎，则所述步骤S242中，将17个所述中心点热图整合为所述椎骨中心点预测热图。
优选的，执行所述步骤S2之后还包括一模型纠正过程，所述模型纠正过程包括：
步骤A1，获取所述椎骨中心点预测热图对应的一椎骨中心点实际热图，根据所述椎骨中心点预测热图中每个像素的预测值、所述椎骨中心点预测热图的像素总数、所述椎骨中心点实际热图中每个像素的实际值得到均方误差损失；
步骤A2，根据所述椎骨倾斜向量预测图获取对应的一椎骨倾斜向量实际图，根据所述椎骨倾斜向量预测图中的椎骨预测倾斜向量和所述椎骨倾斜向量实际图中的椎骨实际倾斜向量得到平均绝对误差损失；
步骤A3，根据所述均方误差损失和所述平均绝对误差损失对所述双解码网络模型中的所述编码器、所述中间解码器和所述尾部解码器进行计算逻辑纠正。
本发明具有以下有益效果：本发明中采用编码器、中间解码器和尾部解码器构建得到的双解码网络模型对X射线图像进行分析，回归单个椎骨的倾斜程度作为模型预测目标，利用椎骨中心点，对椎骨位置进行准确定位，此外，椎骨中心点定位和椎骨倾斜度估计是对椎骨局部形状信息的解释，缓解了椎骨边界的模糊或者椎骨的局部遮挡带来的不利影响，使得能够准确提供椎骨位置并计算出椎骨倾斜度，可以减少医生工作量且同时提高分析准确性。
附图说明
图1为本发明的Cobb角的示意图；
图2为本发明的步骤流程图；
图3为本发明的双解码网络模型的结构示意图；
图4为本发明的步骤S2的具体流程图；
图5为本发明的椎骨区域的分割示意图；
图6为本发明的步骤S24的具体流程图；
图7为本发明的实施例一中的Cobb角对比结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种双解码正面脊柱侧弯的自动评估方法，如图2所示，包括以下步骤：
步骤S1，获取至少一包含多个椎骨的X射线图像；
步骤S2，将X射线图像输入至预先构建得到的一双解码网络模型中，通过双解码网络模型中的编码器对X射线图像进行特征提取得到不同尺度的特征图，并通过双解码网络模型中的中间解码器对各特征图进行椎骨区域分割、特征压缩及特征融合得到对应的一分割预测图，以及通过双解码网络模型中的尾部解码器对分割预测图进行特征增强及特征解耦得到对应的一椎骨中心点预测热图和一椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
具体地，本实施例中，如图1所示，Cobb角计算的具体流程如下：
1、使用X射线图像确定侧弯范围，找到此弯的上下端椎，上、下端椎是指侧弯中，向脊柱侧弯凹侧倾斜度最大的椎体；
2、在上端椎的椎体上缘和下端椎椎体的下缘各做一条横线，然后通过这两条横线画两条垂直线；
3、两条垂直线的交角就是Cobb角，对于较大的侧弯，上述两横线的直接交角亦等同于Cobb角。
具体地，本实施例中，本发明提出了一个特殊的双解码网络框架(DDEW-net)即双解码网络模型，如图4所示，由三个部分组成，包括编码器、中间解码器和尾部解码器，用于在X射线图像中实现高精度Cobb角自动评估得到椎骨中心点预测热图和椎骨倾斜向量预测图。
本发明的较佳的实施例中，X射线图像中的每个椎骨均有四个角坐标，步骤S2如图4所示，包括：
步骤S21，将X射线图像输入至双解码网络模型中，通过双解码网络模型中的编码器对X射线图像进行特征提取得到不同尺度的特征图；
步骤S22，针对每个特征图，通过双解码网络模型中的中间解码器对每个椎骨的四个角坐标分别进行识别相连形成对应的边界，以使每个椎骨的边界相连将特征图分割形成多个椎骨区域；
步骤S23，通过双解码网络模型中的中间解码器对每个特征图进行线性插值并进行上采样得到对应的多个第一特征，随后对各第一特征进行压缩得到对应的多个第二特征，以及对各第二特征进行特征融合得到对应的分割预测图；
步骤S24，通过双解码网络模型中的尾部解码器对分割预测图进行特征增强及特征解耦得到对应的椎骨中心点预测热图和椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
具体地，本实施例中，编码器由编码模块组成，用于提取脊柱图像中的语义信息，生成不同尺度的特征图Ei∈Ci×Hi×Wi,i∈(0,1,2,3,4)，为了减少参数大小和硬件占用，编码模块通过添加跨层连接能够更加深入地学习数据中的特征，提高模型的性能和泛化能力。
优选的，双解码器由中间解码器和尾部解码器组成，本发明提出的双解码器结构遵循从粗到细的策略来进行椎骨检测，从全局到局部的学习过程，有效的发挥了分割任务引导网络定位椎骨区域的作用，提高椎骨中心点和椎骨倾斜度检测精度，双解码器由中间解码器和尾部解码器组成，其基本拓扑结构是基于FPN中提出的特征融合。
优选的，中间解码器采用深度监督策略进行椎骨分割任务，用于在图像中找到椎骨区域，由于特征图的空间大小不同，首先进行线性插值对特征图进行上采样，然后对特征进行压缩得到第二特征，抑制通道维度上的不相关信息，降低计算量，在解码模块中将压缩后的第二特征分别在信道维度上进行相加，并经过一个卷积核大小为3×3的卷积，实现特征融合。
本发明的较佳的实施例中，每个椎骨的四个角坐标分别为左上角坐标、左下角坐标、右上角坐标和右下角坐标，步骤S22中，针对每个椎骨，通过中间解码器将椎骨对应的左上角坐标和左下角坐标连结形成左边界，并将椎骨对应的左上角坐标和右上角坐标连结形成上边界，随后将椎骨对应的右上角坐标和右下角坐标连结形成右边界，以及将椎骨对应的左下角坐标和右下角坐标连结形成下边界，通过左边界、上边界、右边界和下边界连结形成单个椎骨区域。
具体地，本实施例中，考虑到脊柱所占面积比例相对较小的问题，本发明引入了椎骨分割任务，引导网络关注脊柱区域信息，如图5所示，每个椎体都是由四个坐标相对于四个角定位的，顺序是左上、右上、左下和右下，整个脊柱的左边界是由左角连接在一起产生的，右边界同样如此，然后可以得到所有脊柱的分割边界，相连结后后可以得到所有脊柱的椎骨区域。
本发明的较佳的实施例中，步骤S23中对各第二特征进行特征融合的计算公式如下所示：
其中，
Si表示分割预测图；
Conv(·)表示带有ReLU的3×3卷积操作；
U(·)表示线性插值；
表示不同第二特征之间的元素相加操作；
Ei表示第i个第二特征；
Ei+1表示第i+1个第二特征。
本发明的较佳的实施例中，步骤S24中，对分割预测图进行特征增强的计算公式如下所示：
Gj＝(S0⊙Ej)+Ej，j＝0，1，2，3
其中，
Gj表示特征增强后得到的增强特征图；
S0表示i为0时的分割预测图；
Ej表示第j个特征图中的特征；
⊙表示元素点乘操作。
具体地，本实施例中，优选的，在中间解码器中引入增强模块，细化原始特征表示，有助于尾部解码器检测椎骨中心点和倾斜度，具体来说，为了加强椎骨空间区域信息，增强模块将分割预测S0与原始编码特征Ej进行元素乘法，接着将计算结果与Ej进行元素相加。
本发明的较佳的实施例中，如图6所示，步骤S24包括：
步骤S241，通过双解码网络模型中的尾部解码器对分割预测图进行特征增强得到对应的增强特征图；
步骤S242，针对每个增强特征图，根据增强特征图中各椎骨的中心点坐标得到对应的一中心点热图，并将各中心点热图整合为椎骨中心点预测热图；
步骤S243，根据椎骨中心点预测热图中各椎骨的中心点坐标和各椎骨的左右中心点得到椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
本发明的较佳的实施例中，步骤S242中，中心点热图的计算公式如下所示：
其中，
Hn(X，Y)表示中心点热图；
(X，Y)表示椎骨在增强特征图中的像素位置；
(xn，yn)表示第n个椎骨的中心点坐标；
σ表示预设常量，用于控制峰值的传播，计算公式中设为20。
具体地，本实施例中，中心点热图的真实标签通过非归一化高斯核生成，由于只需要区分椎骨和背景，各椎骨的中心点热图被整合到单通道的椎骨中心点预测热图H中，表达式如下所示：
H＝Max(H1，H2，...，H17)。
本发明的较佳的实施例中，步骤S243中，椎骨倾斜向量预测图的计算公式如下所示：
其中，
V[xn，yn]表示椎骨倾斜向量预测图；
(xn，yn)表示第n个椎骨的中心点坐标；
kn,r表示第n个椎骨的左中心点；
kn,l表示第n个椎骨的右中心点。
具体地，本实施例中，利用尾部解码器预测得到椎骨中心点预测热图和椎骨倾斜度向量预测图，尾部解码器利用增强后的特征，恢复椎骨局部细节信息，通过两个独立的映射对上述语义特征解耦，实现精准的椎骨中心点定位和椎骨倾斜度估计，其具体过程如下：
H＝Ω(Γ(P1))
V＝Γ(P1)
其中，Ω为sigmod激活函数，H指的是椎骨中心点预测热图，V是椎骨倾斜向量预测图，Γ在图3中表示为卷积模块，由一个大小为3×3的卷积和一个大小为1×1的卷积组成，其步长都为1。
本发明的较佳的实施例中，步骤S1中，每个X射线图像内均包含17个椎骨，分别为12个胸椎和5个腰椎，则步骤S242中，将17个中心点热图整合为椎骨中心点预测热图。
具体地，本实施例中，本发明所使用的X射线图像包含12个胸椎和5个腰椎，每个椎骨有四个角坐标，一张X射线图像包含68个角坐标，Cobb角计算的本质是获取椎骨之间的最大倾斜度，因此回归单个椎骨的倾斜程度作为模型预测目标，而不是其他椎骨特征，不同于直接回归Cobb角的方法，该方法无法给出可视化解释，本发明利用椎骨中心点，对椎骨位置进行准确定位，此外，椎骨中心点定位和椎骨倾斜度估计是对椎骨局部形状信息的解释，缓解了椎骨边界的模糊或者椎骨的局部遮挡带来的不利影响。
优选的，椎骨中心点预测热图被用于定位椎骨中心点。
本发明的较佳的实施例中，执行步骤S2之后还包括一模型纠正过程，包括：
步骤A1，获取椎骨中心点预测热图对应的一椎骨中心点实际热图，根据椎骨中心点预测热图中每个像素的预测值、椎骨中心点预测热图的像素总数、椎骨中心点实际热图中每个像素的实际值得到均方误差损失；
步骤A2，根据椎骨倾斜向量预测图获取对应的一椎骨倾斜向量实际图，根据椎骨倾斜向量预测图中的椎骨预测倾斜向量和椎骨倾斜向量实际图中的椎骨实际倾斜向量得到平均绝对误差损失；
步骤A3，根据均方误差损失和平均绝对误差损失对双解码网络模型中的编码器、中间解码器和尾部解码器进行计算逻辑纠正。
具体地，本实施例中，利用多任务损失函数进行网络训练，在DDEW-net中，需要进行多任务学习，对于分割任务，利用交叉熵损失：
其中，yi表示样本i的label，正类为1，负类为0，pi表示样本i预测为正类的概率。
优选的，对于椎骨中心点预测热图回归而言，使用均方误差损失(MSE)：
其中，pi和yi指的是椎骨中心点预测热图和椎骨中心点实际热图上每个像素的预测值和真实值；i是热图中每个位置的索引；N是椎骨中心点预测热图中的像素总数。
优选的，对于椎骨倾斜度方向本发明采用椎骨倾斜平均绝对误差损失函数：
其中，Vecgt是椎骨实际倾斜向量，Vecpred是椎骨预测倾斜向量。
优选的，网络的总损失可以定义为：
其中，是控制热图回归损失相对重要性的比例因子，本实施例中设置为5。
实施例一：进行消融实验，将编码器和尾部解码器构成的简单的U-net框架作为基线，验证本发明所提模块的有效性，如表1所示：
表1消融实验结果
添加椎骨分割辅助任务以后，Cobb角的SMAPE和CMAE相比于基线下降了0.53％和0.11°，椎骨的中心点误差以及倾斜度估计误差降低了1.24和0.29，这说明椎骨分割潜在的引导网络关注椎骨区域，进而提高了椎骨中心点定位和椎骨倾斜度估计的准确性，由中间解码器与尾部解码器组成的双解码器结构，更进一步的减小了网络的预测误差，Cobb角的SMAPE和CMAE减小到6.42％和3.01°，对于椎骨的中心点误差以及倾斜度估计误差仅20.41和3.12，这证明了双解码器能够使分割任务更好的发挥作用，辅助椎骨中心点定位和椎骨倾斜度估计，隐式地引导网络关注椎骨区域的同时，利用分割结果细化特征，有效的提高了预测Cobb角的准确性，图7中的(a)-(f)来自三个不同的案例，每个案例都显示了椎体中心点和Cobb角的对比结果，红色表示真实标签，黄色表示预测结果。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种双解码正面脊柱侧弯的自动评估方法，其特征在于，包括以下步骤：
步骤S1，获取至少一包含多个椎骨的X射线图像；
步骤S2，将所述X射线图像输入至预先构建得到的一双解码网络模型中，通过所述双解码网络模型中的编码器对所述X射线图像进行特征提取得到不同尺度的特征图，并通过所述双解码网络模型中的中间解码器对各所述特征图进行椎骨区域分割、特征压缩及特征融合得到对应的一分割预测图，以及通过所述双解码网络模型中的尾部解码器对所述分割预测图进行特征增强及特征解耦得到对应的一椎骨中心点预测热图和一椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
2.根据权利要求1所述的自动评估方法，其特征在于，所述X射线图像中的每个所述椎骨均有四个角坐标，所述步骤S2包括：
步骤S21，将所述X射线图像输入至所述双解码网络模型中，通过所述双解码网络模型中的所述编码器对所述X射线图像进行特征提取得到不同尺度的所述特征图；
步骤S22，针对每个所述特征图，通过所述双解码网络模型中的所述中间解码器对每个所述椎骨的四个所述角坐标分别进行识别相连形成对应的边界，以使每个所述椎骨的边界相连将所述特征图分割形成多个椎骨区域；
步骤S23，通过所述双解码网络模型中的所述中间解码器对每个所述特征图进行线性插值并进行上采样得到对应的多个第一特征，随后对各所述第一特征进行压缩得到对应的多个第二特征，以及对各所述第二特征进行特征融合得到对应的所述分割预测图；
步骤S24，通过所述双解码网络模型中的所述尾部解码器对所述分割预测图进行特征增强及特征解耦得到对应的所述椎骨中心点预测热图和所述椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
3.根据权利要求2所述的自动评估方法，其特征在于，每个所述椎骨的四个所述角坐标分别为左上角坐标、左下角坐标、右上角坐标和右下角坐标，所述步骤S22中，针对每个所述椎骨，通过所述中间解码器将所述椎骨对应的所述左上角坐标和所述左下角坐标连结形成左边界，并将所述椎骨对应的所述左上角坐标和所述右上角坐标连结形成上边界，随后将所述椎骨对应的所述右上角坐标和右下角坐标连结形成右边界，以及将所述椎骨对应的所述左下角坐标和所述右下角坐标连结形成下边界，通过所述左边界、所述上边界、所述右边界和所述下边界连结形成单个所述椎骨区域。
4.根据权利要求2所述的自动评估方法，其特征在于，所述步骤S23中对各所述第二特征进行特征融合的计算公式如下所示：
其中，
Si表示所述分割预测图；
Conv(·)表示带有ReLU的3×3卷积操作；
U(·)表示所述线性插值；
表示不同所述第二特征之间的元素相加操作；
Ei表示第i个所述第二特征；
Ej+1表示第i+1个所述第二特征。
5.根据权利要求2所述的自动评估方法，其特征在于，所述步骤S24中，对所述分割预测图进行特征增强的计算公式如下所示：
Gj＝(S0⊙Ej)+Ej，j＝0，1，2，3
其中，
Gj表示特征增强后得到的增强特征图；
S0表示i为0时的所述分割预测图；
Ej表示第j个所述特征图中的特征；
⊙表示元素点乘操作。
6.根据权利要求2所述的自动评估方法，其特征在于，所述步骤S24包括：
步骤S241，通过所述双解码网络模型中的所述尾部解码器对所述分割预测图进行特征增强得到对应的增强特征图；
步骤S242，针对每个所述增强特征图，根据所述增强特征图中各所述椎骨的中心点坐标得到对应的一中心点热图，并将各所述中心点热图整合为所述椎骨中心点预测热图；
步骤S243，根据所述椎骨中心点预测热图中各所述椎骨的中心点坐标和各所述椎骨的左右中心点得到所述椎骨倾斜向量预测图，以辅助医生进行脊柱侧弯评估。
7.根据权利要求6所述的自动评估方法，其特征在于，所述步骤S242中，所述中心点热图的计算公式如下所示：
其中，
Hn(X,Y)表示所述中心点热图；
(X,Y)表示所述椎骨在所述增强特征图中的像素位置；
(xn,yn)表示第n个所述椎骨的所述中心点坐标；
σ表示预设常量，用于控制峰值的传播，所述计算公式中设为20。
8.根据权利要求6所述的自动评估方法，其特征在于，所述步骤S243中，所述椎骨倾斜向量预测图的计算公式如下所示：
其中，
V[xn,yn]表示所述椎骨倾斜向量预测图；
(xn,yn)表示第n个所述椎骨的所述中心点坐标；
kn,r表示第n个所述椎骨的左中心点；
kn,l表示第n个所述椎骨的右中心点。
9.根据权利要求6所述的自动评估方法，其特征在于，所述步骤S1中，每个所述X射线图像内均包含17个椎骨，分别为12个胸椎和5个腰椎，则所述步骤S242中，将17个所述中心点热图整合为所述椎骨中心点预测热图。
10.根据权利要求6所述的自动评估方法，其特征在于，执行所述步骤S2之后还包括一模型纠正过程，所述模型纠正过程包括：
步骤A1，获取所述椎骨中心点预测热图对应的一椎骨中心点实际热图，根据所述椎骨中心点预测热图中每个像素的预测值、所述椎骨中心点预测热图的像素总数、所述椎骨中心点实际热图中每个像素的实际值得到均方误差损失；
步骤A2，根据所述椎骨倾斜向量预测图获取对应的一椎骨倾斜向量实际图，根据所述椎骨倾斜向量预测图中的椎骨预测倾斜向量和所述椎骨倾斜向量实际图中的椎骨实际倾斜向量得到平均绝对误差损失；
步骤A3，根据所述均方误差损失和所述平均绝对误差损失对所述双解码网络模型中的所述编码器、所述中间解码器和所述尾部解码器进行计算逻辑纠正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629468.6A CN117426781A (zh) | 2023-05-31 | 2023-05-31 | 一种双解码正面脊柱侧弯的自动评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629468.6A CN117426781A (zh) | 2023-05-31 | 2023-05-31 | 一种双解码正面脊柱侧弯的自动评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117426781A true CN117426781A (zh) | 2024-01-23 |
Family
ID=89550441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310629468.6A Pending CN117426781A (zh) | 2023-05-31 | 2023-05-31 | 一种双解码正面脊柱侧弯的自动评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117426781A (zh) |
-
2023
- 2023-05-31 CN CN202310629468.6A patent/CN117426781A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Anatomical prior based vertebra modelling for reappearance of human spines | |
| CN111047572B (zh) | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 | |
| US6608916B1 (en) | Automatic detection of spine axis and spine boundary in digital radiography | |
| JP5603859B2 (ja) | 対象脊椎の側面図のデジタル化された画像を自動的に解析する解析システムの制御方法 | |
| CN113205535B (zh) | 一种x光片脊椎自动分割及标识方法 | |
| US20100177946A1 (en) | Semi-automatic contour detection | |
| CN108109170B (zh) | 医学图像扫描方法及医学影像设备 | |
| CN112184617A (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| Kim et al. | Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector | |
| CN115222937A (zh) | 一种脊柱侧弯检测方法及装置 | |
| Kanavati et al. | Automatic L3 slice detection in 3D CT images using fully-convolutional networks | |
| CN112365438A (zh) | 一种基于目标检测神经网络的骨盆参数自动测量方法 | |
| CN112686875A (zh) | 基于神经网络的pet-ct图像的肿瘤预测方法及计算机可读存储介质 | |
| CN115187606A (zh) | 一种青少年特发性脊柱侧凸pumc分型方法 | |
| CN113515875B (zh) | 基于多模态图像的骨生物力学建模方法、系统及装置 | |
| CN114881957A (zh) | 一种基于深度学习的脊柱侧弯Cobb角自动评估的方法 | |
| Kumar et al. | A Critical Analysis on Vertebra Identification and Cobb Angle Estimation Using Deep Learning for Scoliosis Detection | |
| Qin et al. | Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling | |
| US20240164755A1 (en) | Method and system for cross-referencing of two-dimensional (2d) ultrasound scans of a tissue volume | |
| WO2023183699A9 (en) | Method and system for cross-referencing of two-dimensional (2d) ultrasound scans of a tissue volume | |
| CN117426781A (zh) | 一种双解码正面脊柱侧弯的自动评估方法 | |
| CN115829920A (zh) | 用于根据图像自动确定脊柱变形的方法和设备 | |
| Cui et al. | Cobb Angle Measurement Method of Scoliosis Based on U-net Network | |
| US10733728B2 (en) | Device and method for automation of mean axis of rotation (mar) analysis | |
| Wang et al. | Automatic image segmentation and cobb measurement of spine base on u-net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |