CN113781453B - 一种基于x线片的脊柱侧凸进展预测及方法和装置 - Google Patents
一种基于x线片的脊柱侧凸进展预测及方法和装置 Download PDFInfo
- Publication number
- CN113781453B CN113781453B CN202111078322.4A CN202111078322A CN113781453B CN 113781453 B CN113781453 B CN 113781453B CN 202111078322 A CN202111078322 A CN 202111078322A CN 113781453 B CN113781453 B CN 113781453B
- Authority
- CN
- China
- Prior art keywords
- scoliosis
- ray
- training
- prediction
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010039722 scoliosis Diseases 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 28
- 239000011436 cob Substances 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 210000002411 hand bone Anatomy 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000005855 radiation Effects 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 201000002972 idiopathic scoliosis Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000014461 bone development Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000003275 diaphysis Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000002745 epiphysis Anatomy 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Abstract
本发明公开一种基于X线片的脊柱侧凸进展预测方法和装置，包括：获取并预处理病人预设时间段内的脊柱X线片数据和手部X线片；根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展。采用本发明的技术方案，实现自动智能化脊柱侧凸进展预估可以替代人工快速、精准处理、分析医学影像，可弥补多学科交叉时代影像科医师竞争力弱和医师人员短缺问题，同时也可以减少X线片辐射对患儿身体机能的影响。
Description
技术领域
本发明属于深度学习技术领域，尤其涉及一种基于X线片的脊柱侧凸进展预测方法和装置。
背景技术
脊柱侧凸是一种脊柱三维畸形，包括冠状位、矢状位和轴位上的序列异常。脊柱侧凸是青少年和儿童的常见疾病，发病率约为2％-3％，脊柱侧凸可能影响患儿的生长发育，造成躯干失衡，严重者可以影响心肺功能，甚至累及脊髓，造成瘫痪。特发性脊柱侧凸(idiopathic scoliosis,IS)是最常见的脊柱侧凸之一，临床上推荐Cobb角大于20°且未发育成熟的IS患者采用支具保守治疗。Cobb角介于10°～20°或已发育成熟的IS患者，需坚持每6个月左右到医院随访复查,若侧凸进展过快则需考虑进行保守治疗。因此预估脊柱侧凸进展对于及早治疗有重要的临床意义。
传统评估脊柱侧凸进展的方法是使用立位全脊柱正侧位X线片观察并测量患者Cobb角的度数增长。目前仍然缺乏实用的基于X线片进行脊柱侧凸角度测量的模型和工具；医生使用X线片判断脊柱侧凸时，通常通过手动测量Cobb角，对于角度小于10°的人群诊断为正常，角度在10°到20°的诊断为轻度侧凸，20°以上的诊断为侧凸。
现有方法的主要缺点如下：
(1)评估的主观性强和精确性低，除非是专家级医生，不同医生评测同一张X光片的结果往往不一致，或者同一个医生在不同时间评测同一张X光片Cobb角的结果也往往不同。手动测量一致性较差，不够精确，受评估者水平的影响。
(2)患儿处于生长发育的高峰期，骨骼尚未发育成熟，需要密切观察其脊柱生长状况，而频繁拍摄X线片所接受的辐射量会对身体机能造成伤害，尤其是对年龄较小的患者。
(3)这种方法无法预测脊柱侧凸进展，只能计算当前的脊柱侧凸程度，即Cobb角。
(4)骨龄评测需要很强的专业知识，需要经过长时间严格的训练，且评测过程耗时较长。清晰度低，不准确，评价标准太复杂，实际使用难度高。
发明内容
针对基于人工视觉读片的影像脊柱侧凸进展评估机械、费时、主观性强，各家采用方法和参照标准不一，受限于医师的经验与水平，且标准图谱准确性、人群普适性存疑，致使其技术效率低下、结果误差大的问题，本发明提供一种基于X线片的脊柱侧凸进展预测方法和装置，实现自动智能化脊柱侧凸进展预估可以替代人工快速、精准处理、分析医学影像，可弥补多学科交叉时代影像科医师竞争力弱和医师人员短缺等问题，同时也可以减少X线片辐射对患儿身体机能的影响。
为实现上述目的，本发明采用如下的技术方案：
一种基于X线片的脊柱侧凸进展预测方法，包括以下步骤：
步骤S1、获取并预处理患者预设时间段内的脊柱X线片数据和手部X线片；
步骤S2、根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展。
作为优选，所述评估脊柱侧凸程度包括：
将脊柱X线片作为训练数据和性别、年龄先验信息组合成多模态的特征集合；
根据多模态的特征集合得到脊柱侧凸程度，即预测Cobb角。
作为优选，所述得到脊柱侧凸程度具体包括：
将特征集合输入神经网络Resnet101进行前向传播，得到脊柱侧凸程度的预测值；
根据得到的脊柱侧凸程度预测值和对应的脊柱侧凸程度确定值以损失函数为标准进行误差计算；
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练；
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化的脊柱侧凸程度预测回归最优化的模型；
将训练后得到的脊柱侧凸程度预测回归最优化的模型作为脊柱侧凸程度预测模型；
获取患者的脊柱、手部X线片和患者的性别、年龄信息并作为待预测数据集合；
将待预测参数集合输入脊柱侧凸程度预测模型，得到对应的脊柱侧凸程度预测值并输出。
作为优选，所述得到脊柱侧凸程度具体包括
将脊柱X线片作为训练数据，组成数据集并分成训练样本集和测试集；
基于所述训练样本集和所述测试集，使用u-Net关键点检测模型进行训练并验证，得到激活图预测模型；
获取待测试者的脊柱X线片并预处理；
将预处理后的待预测X线片输入激活图预测模型，得到预测的26个脊椎锥体中心点及其标注；
选取测算Cobb角所需锥体中心点并连线，同时计算交角角度，即Cobb角，由此判断脊柱侧凸程度。
作为优选，得到激活图预测模型具体包括：
使用U-net训练关键点定位模型，采用多通道激活图回归方法生成26个椎体中心激活图；其中，多通道激活图的标注值为在椎体中心空间坐标上生成的高斯分布；
计算预测激活图和标注激活图之间的L2损失，进一步训练模型以最小化该损失；
完成训练后得到可预测26个椎体中心点的激活图预测模型。
作为优选，所述预测脊柱侧凸进展具体包括：
将手部X线片作为训练数据和性别、年龄先验信息组合成多模态的特征集合；标注值为患者预设时间段内脊柱X线片经过医生评估所得Cobb角变化，即脊柱侧凸程度进展；
将特征集合输入神经网络Resnet101进行前向传播，得到脊柱侧凸进展程度的预测值；
根据得到的脊柱侧凸进展预测值和对应的脊柱侧凸进展确定值以损失函数为标准进行误差计算；
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练。
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化的脊柱侧凸进展预测回归最优化的模型；
将完成训练的脊柱侧凸进展预测回归最优化的模型作为脊柱侧凸进展预测模型；
获取待患者的手部X线片和患者的性别、年龄信息并作为一待预测数据集合；
将待预测参数集合输入脊柱侧凸进展预测回归最优化的模型，得到一对应的脊柱侧凸进展预测值并输出。
作为优选，在所述完成训练的脊柱侧凸进展预测回归最优化模型包含一特征提取器，所述特征提取采用目标检测算法自动对每张手骨片中17块骨头的感兴趣特征区域进行标定和切割，并对图片进行随机旋转、随机平移裁剪、随机中心裁剪的组合操作。
作为优选，所述随机旋转过程为：使用随机角度的旋转，旋转角度在[-10°,10°]中随机选取，步长为1°。
作为优选，所述随机平移裁剪为：随机平移的方向为上下和左右，每次选其中各一个方向进行平移，平移范围根据不同骨头的大小进行调整；再将使用前述特征图中网络响应最高的两个区域作为最有识别性的ROI区域，裁剪出的两个最具有识别性的ROI区域拼接为特征集合，作为新的训练数据。
本发明还提供一种基于X线片的脊柱侧凸进展预测装置，包括：
获取模块，用于获取并预处理病人预设时间段内的脊柱X线片数据和手部X线片；
预测模块，用于根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展。
本发明技术方案采用深度学习技术，通过定位、识别、提取手部影像传统重点关注的ROI区域深度学习特征和性别、年龄先验信息融合的多模态高阶视觉特征，训练脊柱侧凸进展回归模型，成功实现了人工智能脊柱侧凸进展评估。
附图说明
图1为本发明实施例1基于X线片的脊柱侧凸进展预测方法的流程图；
图2为本发明实施例1中通过定位脊柱关键点后计算Cobb角度的流程图；
图3为本发明实施例2基于X线片的脊柱侧凸进展预测方法流程图；
图4为本发明基于X线片的脊柱侧凸进展预测装置结构图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
实施例1：
如图1所示，本发明提供一种基于X线片的脊柱侧凸进展预测方法，包括以下步骤：
步骤S1、收集数据
采集同一病人相隔半年时间的两张立为全脊柱X线片和左手正位X线片。纳入标准为:(1)包含手掌骨、指骨、腕骨以及尺桡骨远侧骨干3-4cm的正位X线片，(2)手部拍摄体位及投射点正确，无骨骺缺失的DICOM格式图像，(3)年龄:0-18岁，(4)无手部或腕部结构包含不全。总数据中的80％数据用作训练集，以建立训练深度学习模型；20％用作验证集，用以调整超参数，找到适用于模型的最佳参数，并确认其方法的有效性。
步骤S2、数据预处理
由4名儿童影像学科专科医师对患者脊柱侧凸进展程度进行根据病人两张脊柱X线片进行评估，具体评估以下四项：
-半年前X线片分别所示的Cobb角(即脊柱侧凸程度)
-半年后X线片分别所示的Cobb角(即脊柱侧凸程度)
-上述X线片锥体中心点
-半年时间内的Cobb角变化
为了减少不同专科医师的不同意见对训练和验证AI模型产生影响，将4名专科医师标记结果的平均值作为标注值，并用以训练和验证AI模型。
由于原始DICOM图像有明显的强度、对比度、灰度及背景变化，采用pydicom工具包对DR图像进行合适预处理，以防止算法学习无意义特征。因此，在将数据输入并训练模型之前应预先通过预处理图像达到标准化图像数据的目的。
图像预处理大致包括以下几个步骤:(1)转化图像:将DICOM格式的影像转换为JPG格式的影像。(2)标化图像:通过图像裁剪处理，凸显手腕部区域影像。由于影像中手部所占比例往往不同，因此先把手部区域裁剪出来会产生较好的检测结果。运用目标检测算法(如YOLO等)检测手部区域，并裁剪出检测到的区域。(3)直方图匹配:找到一张质量好(对比度、亮度合适的清晰图像)的图像，作为模板图像，运用python的工具包如opencv中的直方图匹配算法将所有图像的灰度分布匹配到与此相似。(4)归一化:为使数据集图像的灰度分布趋于一致、对比更加明显，将图像灰度归一化为0到1。
步骤S3、构建深度学习模型
本发明利用脊柱和手部X线片评估脊柱侧凸程度并预测进展，具体分为脊柱侧凸程度评估和脊柱侧凸进展预测部分，分别构建两个深度学习模型以实现全自动预测脊柱侧凸程度及进展。具体包括：
步骤S31、脊柱侧凸程度评估
步骤S311、预处理脊柱X线片作为训练数据和性别、年龄先验信息组合成多模态的特征集合；其中，同一病人不同时间的X线片作为不同的训练数据输入而非成组输入，标注值为该X线片所示的Cobb角。
步骤S312、自动化预测脊柱侧凸程度，即预测Cobb角。可通过以下两种方法中任意一种实现：
方法一：通过CNN网络预测
选取神经网络例如Resnet101用于训练，在训练过程中运用对称、旋转数据增强操作，增加模型的泛化性。
将特征集合输入上述神经网络训练脊柱侧凸进展的回归模型，具体为：
将特征集合输入神经网络进行前向传播，得到脊柱侧凸程度的预测值。以tanh函数作为激活函数为例：
其中，x为特征集合。
根据得到的脊柱侧凸程度预测值和对应的脊柱侧凸程度确定值(即上述标注值)以损失函数为标准进行误差计算。以平均绝对误差(Mean Absolute Error，MAE)为例，损失函数可被定义为：
其中，yi为脊柱侧凸程度预测值；为脊柱侧凸程度确定值；m为预设训练集中经过训练过程的X光图片的数量。
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练。
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化(与医师读片计算所得脊柱侧凸程度进行比较)的脊柱侧凸程度预测回归最优化的模型，以得到最为精准的脊柱侧凸程度预测。
将训练后得到的脊柱侧凸程度预测回归最优化的模型作为脊柱侧凸程度预测模型输出；
训练形成脊柱侧凸程度预测模型后，将该脊柱侧凸程度预测模型应用于脊柱侧凸进展程度预测方法中，预测过程具体包括：
(1)获取待患者的脊柱、手部X线片和待患者的性别、年龄等信息并作为待预测数据集合；
(2)预处理上述预测数据集合，得到相应的待预测参数集合；
(3)将待预测参数集合输入该预测模型，得到对应的脊柱侧凸程度预测值并输出。
方法二：定位脊柱关键点后计算角度，如图2所示，具体包括：
预处理脊柱X线片作为训练数据，组成数据集并分成训练样本集和测试集。
基于所述训练样本集和所述测试集，使用u-Net关键点检测模型进行训练并验证，生成用于检测脊柱椎骨中心及识别其标注的模型；其中，共有26个脊柱椎体标注。
将脊柱X线片输入u-Net关键点检测模型，该u-Net关键点检测模型输出26个椎体中心点。
具体训练过程如下：
1.使用U-net训练关键点定位模型，生成26个椎体中心激活图；
2.其中训练过程可采用多通道激活图回归方法；
3.多通道激活图的标注值为在椎体中心空间坐标上生成的高斯分布；
4.计算预测激活图和标注激活图之间的L2损失(L2 loss)，进一步训练模型以最小化该损失；
5.完成训练后得到可预测26个椎体中心点的激活图预测模型(即脊柱侧凸程度预测模型)。
将判断Cobb角所需定位的椎体中心点进行连线，由计算机计算交角角度，即Cobb角。
训练形成该脊柱侧凸程度预测模型后，将该脊柱侧凸程度预测模型应用于脊柱侧凸程度预测方法中，预测过程具体包括：
(1)获取待患者的脊柱X线片并预处理；
(2)将预处理后的待预测X线片输入该预测模型，得到预测的26个脊椎锥体中心点及其标注。
(3)选取测算Cobb角所需锥体中心点并连线，由计算机计算交角角度，即Cobb角，由此判断脊柱侧凸程度。
步骤S32、脊柱侧凸进展预测
(1)预处理手部X线片作为训练数据和性别、年龄先验信息组合成多模态的关键特征集合；标注值为该病人半年前后脊柱X线片经过医生评估所得Cobb角变化，即脊柱侧凸程度进展。
(2)选取神经网络例如Resnet101用于训练，在训练过程中运用对称、旋转数据增强操作，增加模型的泛化性。
(3)将特征集合输入上述神经网络训练脊柱侧凸进展的回归模型：
将特征集合输入神经网络进行前向传播，得到脊柱侧凸进展程度的预测值。以tanh函数作为激活函数为例：
其中，x为特征集合。
根据得到的脊柱侧凸进展预测值和对应的脊柱侧凸进展确定值以损失函数为标准进行误差计算。以平均绝对误差(Mean Absolute Error，MAE)为例，损失函数可被定义为：
其中，yi为脊柱侧凸进展预测值；为脊柱侧凸进展确定值；m为预设训练集中经过训练过程的X光图片的数量。
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练。
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化(与医师读片计算所得脊柱侧凸进展进行比较)的脊柱侧凸进展预测回归最优化的模型，以得到最为精准的脊柱侧凸进展预测。
将完成训练的脊柱侧凸进展预测回归最优化的模型作为脊柱侧凸进展预测模型输出；
训练形成脊柱侧凸进展程度预测模型后，将该模型应用于脊柱侧凸进展程度预测方法中，预测过程具体包括：
(1)获取待患者的手部X线片和待患者的性别、年龄等信息并作为一待预测数据集合；
(2)预处理上述预测数据集合，得到相应的待预测参数集合；
(3)将待预测参数集合输入该预测模型，得到一对应的脊柱侧凸进展预测值并输出。
集合上述两部分的预测结果，得到当前的脊柱侧凸程度及预测脊柱侧凸程度进展值。
实施例1的有益效果：
本发明通过建立手腕部各骨发育期图像的数字化标准，人工智能预测脊柱侧凸进展系统利用计算机数字影像及模式识别技术，对图像进行预处理、分割、特征提取等，将得到的数据与标准数据库进行对比，实现自动预测脊柱侧凸进展。
本发明所构建的基于深度学习的脊柱侧凸进展评估方法，评估特发性脊柱侧凸进展有较高准确性和较小偏差，随着样本数据的增加和深度学习方法的进一步发展，自动脊柱侧凸进展评估模型的精确性和高效性将会进一步提高。
该方法可以准确、快捷的提取关键特征区域，极大的降低工作强度，并且能够实现脊柱侧凸进展预测。
实施例2：
如图3所示，在实施例1中增加：
步骤S4、在所述完成训练的脊柱侧凸进展预测回归最优化模型包含一特征提取器和脊柱侧凸进展程度预测网络。
采用目标检测算法例如YOLO方法自动对每张手骨片中17块骨头的感兴趣特征区域(ROI)进行标定和切割，并对图片进行随机旋转、随机平移裁剪、随机中心裁剪的组合操作实现数据增强；
将图片通过特征提取器后提取特征图(feature map),再通过CAM(ClassActivation Mapping)注意力机制得到注意力图(attention map)。
根据热力值大小，从该通道的热力图中检测出2个热力值最高的区域作为最具有识别性的ROI区域，将其切割。
在上述方法中，所述切割规则为：
每块骨头都用适合的固定大小框进行区域切割，每块骨头切割框大小要确保每张手骨中的该骨头的ROI，但尽量包含少的干扰区域。
所述随机旋转过程为：使用随机角度的旋转，旋转角度在[-10°,10°]中随机选取，步长为1°。
所述随机平移裁剪为：随机平移的方向为上下和左右，每次选其中各一个方向进行平移，范围根据不同骨头的大小进行调整；再将裁剪出的两个最具有识别性的ROI区域拼接为特征集合，作为新的训练数据。
步骤S5、网络再训练
将步骤4中裁剪、拼接、预处理后的训练数据和性别、年龄等先验信息组合成多模态的特征集合。
将特征集合输入上述卷积神经网络训练脊柱侧凸进展的回归模型：
将特征集合输入选取神经网络例如Resnet101等进行前向传播，得到脊柱侧凸进展程度的预测值，以tanh函数作为激活函数为例：
其中，x为特征集合。
根据得到的脊柱侧凸进展预测值和对应的脊柱侧凸进展确定值以损失函数为标准进行误差计算。以平均绝对误差(Mean Absolute Error，MAE)为例，损失函数可被定义为：
其中，yi为脊柱侧凸进展预测值；为脊柱侧凸进展确定值；m为预设训练集中经过训练过程的X光图片的数量。
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练。
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化(与医师读片计算所得脊柱侧凸进展进行比较)的脊柱侧凸进展预测回归最优化的模型，以得到最为精准的脊柱侧凸进展预测。
训练形成脊柱侧凸进展程度预测模型后，将该模型应用于脊柱侧凸进展程度预测方法中，预测过程具体包括：
获取待患者的X光图片和待患者的性别、年龄等信息并作为一待预测数据集合；
根据上述标准，使用YOLO方法对上述两个特征区域ROI进行标定和切割，提取所关注的2个重点特征区域的深度学习特征，作为预测数据；
预处理上述预测数据集合，输出相应的带预测参数集合；
将待预测参数集合输入该预测模型，得到一对应的脊柱侧凸进展预测值并输出；
集合上述两部分的预测结果，得到当前的脊柱侧凸程度及预测脊柱侧凸程度进展值。
实施例2的有益效果(在实施例1的有益效果基础上)：
深度学习技术运用在脊柱侧凸进展预测领域中使得模型预测速度以及准确度都有所提升，但是实施例1没有使得模型关注到对于脊柱侧凸进展预测的关键骨骼区域，使得模型鲁棒性以及可解释性较差，并且在准确率上仍然有可以优化空间，而实施例2可以解决上述问题，通过关注最具有识别性的ROI区域提高模型鲁棒性和解释性，并且提高准确率。
如图4所示，本发明还公开一种基于X线片的脊柱侧凸进展预测装置，实现上述脊柱侧凸进展预测方法，包括：
获取模块，用于获取并预处理病人预设时间段内的脊柱X线片数据和手部X线片；
预测模块，用于根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于X线片的脊柱侧凸进展预测方法，其特征在于，包括以下步骤：
步骤S1、获取并预处理患者预设时间段内的脊柱X线片数据和手部X线片；
步骤S2、根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展；
所述评估脊柱侧凸程度包括：
将脊柱X线片作为训练数据和性别、年龄先验信息组合成多模态的特征集合；
根据多模态的特征集合得到脊柱侧凸程度，即预测Cobb角；
所述得到脊柱侧凸程度具体包括：
将特征集合输入神经网络Resnet101进行前向传播，得到脊柱侧凸程度的预测值；
根据得到的脊柱侧凸程度预测值和对应的脊柱侧凸程度确定值以损失函数为标准进行误差计算；
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练；
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化的脊柱侧凸程度预测回归最优化的模型；
将训练后得到的脊柱侧凸程度预测回归最优化的模型作为脊柱侧凸程度预测模型；
获取患者的脊柱、手部X线片和患者的性别、年龄信息并作为待预测数据集合；
将待预测参数集合输入脊柱侧凸程度预测模型，得到对应的脊柱侧凸程度预测值并输出；
或者，所述得到脊柱侧凸程度具体包括：
将脊柱X线片作为训练数据，组成数据集并分成训练样本集和测试集；
基于所述训练样本集和所述测试集，使用基于U-Net的关键点检测模型进行训练并验证，得到激活图预测模型；
获取患者的脊柱X线片并预处理；
将预处理后的待预测X线片输入激活图预测模型，得到预测的26个脊椎锥体中心点及其标注；
选取测算Cobb角所需锥体中心点并连线，同时计算交角角度，即Cobb角，由此判断脊柱侧凸程度；
所述预测脊柱侧凸进展具体包括：
将手部X线片作为训练数据和性别、年龄先验信息组合成多模态的特征集合；标注值为患者预设时间段内脊柱X线片经过医生评估所得Cobb角变化，即脊柱侧凸程度进展；
将特征集合输入神经网络Resnet101进行前向传播，得到脊柱侧凸进展程度的预测值；
根据得到的脊柱侧凸进展预测值和对应的脊柱侧凸进展确定值以损失函数为标准进行误差计算；
根据该损失函数得到损失函数梯度，根据损失函数梯度神经网络进行反向传播，并更新参数，以完成一次训练；
重复上述训练过程，通过最小化损失优化参数，训练出使验证集整体MAE最小化的脊柱侧凸进展预测回归最优化的模型；
将完成训练的脊柱侧凸进展预测回归最优化的模型作为脊柱侧凸进展预测模型；
获取待患者的手部X线片和患者的性别、年龄信息并作为一待预测数据集合；
将待预测参数集合输入脊柱侧凸进展预测回归最优化的模型，得到一对应的脊柱侧凸进展预测值并输出。
2.如权利要求1所述的基于X线片的脊柱侧凸进展预测方法，其特征在于，得到激活图预测模型具体包括：
使用U-net训练关键点定位模型，采用多通道激活图回归方法生成26个椎体中心激活图；其中，多通道激活图的标注值为在椎体中心空间坐标上生成的高斯分布；
计算预测激活图和标注激活图之间的L2损失，进一步训练模型以最小化该损失；
完成训练后得到可预测26个椎体中心点的激活图预测模型。
3.如权利要求1所述的基于X线片的脊柱侧凸进展预测方法，其特征在于，在所述完成训练的脊柱侧凸进展预测回归最优化模型包含一特征提取器，所述特征提取采用目标检测算法自动对每张手骨片中17块骨头的感兴趣特征区域进行标定和切割，并对图片进行随机旋转、随机平移裁剪、随机中心裁剪的组合操作。
4.如权利要求3所述的基于X线片的脊柱侧凸进展预测方法，其特征在于，所述随机旋转过程为：使用随机角度的旋转，旋转角度在[-10°,10°]中随机选取，步长为1°。
5.如权利要求3所述的基于X线片的脊柱侧凸进展预测方法，其特征在于，所述随机平移裁剪为：随机平移的方向为上下和左右，每次选其中各一个方向进行平移，平移范围根据不同骨头的大小进行调整；再将使用特征图中网络响应最高的两个区域作为最有识别性的ROI区域，裁剪出的两个最具有识别性的ROI区域拼接为特征集合，作为新的训练数据。
6.一种实现权利要求1至5任意一项的基于X线片的脊柱侧凸进展预测方法的基于X线片的脊柱侧凸进展预测装置，其特征在于，包括：
获取模块，用于获取并预处理病人预设时间段内的脊柱X线片数据和手部X线片；
预测模块，用于根据预处理后的脊柱X线片数据和手部X线片，构建深度学习模型实现评估脊柱侧凸程度并预测脊柱侧凸进展。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078322.4A CN113781453B (zh) | 2021-09-15 | 2021-09-15 | 一种基于x线片的脊柱侧凸进展预测及方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078322.4A CN113781453B (zh) | 2021-09-15 | 2021-09-15 | 一种基于x线片的脊柱侧凸进展预测及方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781453A CN113781453A (zh) | 2021-12-10 |
| CN113781453B true CN113781453B (zh) | 2024-04-02 |
Family
ID=78843962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111078322.4A Active CN113781453B (zh) | 2021-09-15 | 2021-09-15 | 一种基于x线片的脊柱侧凸进展预测及方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781453B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946370A (en) * | 1998-04-15 | 1999-08-31 | International Business Machines Corporation | System and method for accessing the three-dimensional geometry of large objects using X-ray based method subject to limitations on radiation doses |
| US9386939B1 (en) * | 2007-05-10 | 2016-07-12 | Fonar Corporation | Magnetic resonance imaging of the spine to detect scoliosis |
| CN109464148A (zh) * | 2018-11-12 | 2019-03-15 | 深圳码隆科技有限公司 | 测量脊柱弯曲的装置及系统 |
| CN110175502A (zh) * | 2019-04-03 | 2019-08-27 | 中国科学院深圳先进技术研究院 | 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备 |
| CN110458831A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市智影医疗科技有限公司 | 一种基于深度学习的脊柱侧弯图像处理方法 |
| WO2020044346A1 (en) * | 2018-08-28 | 2020-03-05 | Technion Research & Development Foundation Limited | Detecting spinal shape from optical scan |
| WO2020259600A1 (en) * | 2019-06-24 | 2020-12-30 | Conova Medical Technology Limited | A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person |
| CN112381757A (zh) * | 2020-10-09 | 2021-02-19 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法 |
| CN112734757A (zh) * | 2021-03-29 | 2021-04-30 | 成都成电金盘健康数据技术有限公司 | 一种脊柱X光图像cobb角测量方法 |
| CN112950631A (zh) * | 2021-04-13 | 2021-06-11 | 西安交通大学口腔医院 | 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3873387A4 (en) * | 2018-10-30 | 2022-08-03 | Mehmet Erdem Ay | BODY ENGAGEMENT DEVICES AND METHODS OF USE |
| US11423574B2 (en) * | 2019-12-17 | 2022-08-23 | Emma Ruccio | Method and apparatus for detecting scoliosis |
-
2021
- 2021-09-15 CN CN202111078322.4A patent/CN113781453B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946370A (en) * | 1998-04-15 | 1999-08-31 | International Business Machines Corporation | System and method for accessing the three-dimensional geometry of large objects using X-ray based method subject to limitations on radiation doses |
| US9386939B1 (en) * | 2007-05-10 | 2016-07-12 | Fonar Corporation | Magnetic resonance imaging of the spine to detect scoliosis |
| WO2020044346A1 (en) * | 2018-08-28 | 2020-03-05 | Technion Research & Development Foundation Limited | Detecting spinal shape from optical scan |
| CN109464148A (zh) * | 2018-11-12 | 2019-03-15 | 深圳码隆科技有限公司 | 测量脊柱弯曲的装置及系统 |
| CN110175502A (zh) * | 2019-04-03 | 2019-08-27 | 中国科学院深圳先进技术研究院 | 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备 |
| WO2020199694A1 (zh) * | 2019-04-03 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备 |
| WO2020259600A1 (en) * | 2019-06-24 | 2020-12-30 | Conova Medical Technology Limited | A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person |
| CN110458831A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市智影医疗科技有限公司 | 一种基于深度学习的脊柱侧弯图像处理方法 |
| CN112381757A (zh) * | 2020-10-09 | 2021-02-19 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法 |
| CN112734757A (zh) * | 2021-03-29 | 2021-04-30 | 成都成电金盘健康数据技术有限公司 | 一种脊柱X光图像cobb角测量方法 |
| CN112950631A (zh) * | 2021-04-13 | 2021-06-11 | 西安交通大学口腔医院 | 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 |
Non-Patent Citations (5)
| Title |
|---|
| Fully-Automated Analysis of Scoliosis from Spinal X-Ray Images;A. -A. -Z. Imran et al.;《2020 IEEE 33rd International Symposium on Computer-Based Medical Systems (CBMS)》;全文 * |
| R. H. Alharbi,et.al..Deep Learning Based Algorithm For Automatic Scoliosis Angle Measurement.《2020 3rd International Conference on Computer Applications & Information Security (ICCAIS)》.2020,全文. * |
| 儿童直接数字X线脊柱全长正侧位摄影的图像质量;边传振;姜辉;杨明;高峰;张楠;刘鹏;;临床放射学杂志(07);全文 * |
| 基于X线片的十二等分法评估全椎弓根螺钉固定矫形术治疗青少年特发性脊柱侧凸的置钉准确性;何中等;《中国脊柱脊髓杂志》;全文 * |
| 基于深度学习的医学图像处理问题研究;何克磊;《中国博士学位论文全文数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781453A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161290B (zh) | 一种图像分割模型的构建方法、图像分割方法及系统 | |
| CN105513077B (zh) | 一种用于糖尿病性视网膜病变筛查的系统 | |
| CN112734757B (zh) | 一种脊柱X光图像cobb角测量方法 | |
| CN108309334B (zh) | 一种脊柱x线影像的数据处理方法 | |
| CN112037200A (zh) | 一种医学影像中解剖特征自动识别与模型重建方法 | |
| KR20180064863A (ko) | 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(ｓｍｉ) 자동 분석방법 | |
| CN111008974A (zh) | 多模型融合的股骨颈骨折区域定位和分割方法及系统 | |
| Lee et al. | Deep learning based cephalometric landmark identification using landmark-dependent multi-scale patches | |
| CN115880281B (zh) | 一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法 | |
| CN113139962B (zh) | 用于脊柱侧凸概率评估的系统和方法 | |
| CN112802019B (zh) | 一种基于脊柱AIS影像的lenke分型方法 | |
| CN115187606A (zh) | 一种青少年特发性脊柱侧凸pumc分型方法 | |
| CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统 | |
| US11704796B2 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| CN111275754B (zh) | 一种基于深度学习的脸部痘印比例计算方法 | |
| CN110895818B (zh) | 一种基于深度学习的膝关节轮廓特征提取方法和装置 | |
| CN113781453B (zh) | 一种基于x线片的脊柱侧凸进展预测及方法和装置 | |
| TWI663960B (zh) | 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法 | |
| US20220198696A1 (en) | System for determining body measurement from images | |
| EP3858245B1 (en) | Automatic recognition method for measurement point in cephalo image | |
| CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| CN109509189B (zh) | 一种基于多个子区域模板的腹部肌肉标注方法及标注装置 | |
| Wang et al. | Automatic Image Segmentation and Cobb Measurement of Spine Base on U-Net | |
| CN112435255B (zh) | 一种畸形长骨形状自动分析方法 | |
| CN117731244B (zh) | 一种基于红外热成像的脊柱侧弯风险预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |