CN112734757A - 一种脊柱X光图像cobb角测量方法 - Google Patents

一种脊柱X光图像cobb角测量方法 Download PDF

Info

Publication number
CN112734757A
CN112734757A CN202110333637.2A CN202110333637A CN112734757A CN 112734757 A CN112734757 A CN 112734757A CN 202110333637 A CN202110333637 A CN 202110333637A CN 112734757 A CN112734757 A CN 112734757A
Authority
CN
China
Prior art keywords
image
vertebral body
centrum
cobb
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110333637.2A
Other languages
English (en)
Other versions
CN112734757B (zh
Inventor
曲建明
蒲立新
曹旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Chengdian Jinpan Health Data Technology Co ltd
Original Assignee
Chengdu Chengdian Jinpan Health Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Chengdian Jinpan Health Data Technology Co ltd filed Critical Chengdu Chengdian Jinpan Health Data Technology Co ltd
Priority to CN202110333637.2A priority Critical patent/CN112734757B/zh
Publication of CN112734757A publication Critical patent/CN112734757A/zh
Application granted granted Critical
Publication of CN112734757B publication Critical patent/CN112734757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种脊柱X光图像cobb角测量方法，包括：椎体关键点检测；输入Dicom图像或者通用图像，进行预处理后得到椎体区域图像，将椎体区域影像输入到椎体关键点检测模型识别椎体关键点；计算生成椎体夹角波形图；根据关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，即可得多个角度，然后按照一定的顺序绘制椎体夹角波形图；求解Cobb角；通过步骤S2中得到的椎体夹角波形图，分析计算得到目标Cobb角。本发明构建了图像深度学习识别算法结合人工的Cobb角的智能测量算法，智能测量上胸弯、胸弯、胸腰/腰弯的Cobb角，符合临床Cobb角测试要求。

Description

一种脊柱X光图像cobb角测量方法
技术领域
本发明属于脊柱畸形测量技术领域，具体涉及一种脊柱X光图像cobb角测量方法。
背景技术
脊柱畸形是常见的脊柱疾患，其中以脊柱侧凸最为常见。根据病因的不同又可分为：特发性脊柱侧凸，先天性脊柱侧凸，神经肌肉性脊柱侧凸，退变性脊柱侧凸等，其中特发性脊柱侧凸占80％左右。特发性脊柱侧凸(Idiopathic scoliosis IS)病因不明，国际脊柱侧凸协会(Scoliosis Research Society)规定：脊柱冠状面侧方弯曲，按Cobb角测量超过1O度，即称为脊柱侧凸。它常合并脊柱矢状面的异常及椎体轴面的旋转畸形。根据发病年龄不同分为婴儿型、儿童型和青少年型(Adolescent Idiopathic Scoliosis AIS)三类，其中以青少年型最为常见，占发病总数的85％以上。此病危害极大，如不及时发现并加以治疗，大部分将发展加重，轻者引起躯体畸形，重者不仅导致严重的躯体畸形，还会对心肺功能和神经系统产生影响，甚至导致残废和截瘫，给家庭和社会带来沉重的负担。较严重的患者往往需要手术治疗，脊柱侧凸矫形手术是脊柱外科手术中最为复杂、风险最高且并发症多的手术之一，手术成功与否与基础理论、矫形策略密切相关，同时选择正确的内固定器械、决定恰当的手术方式及入路。
脊柱侧凸的严重程度大多数通过脊柱侧弯曲角度来判断，临床上常采用是Cobb角测量法，目前，影像学医师测量Cobb角时大多通过手动选择脊柱中向脊柱侧弯凹侧倾斜最严重的脊椎骨作为上下端椎，后使用量角器测量脊柱上下端椎之间的夹角。因此，目前，影像学医师测量Cobb角时大多通过手动选择脊柱中向脊柱侧弯凹侧倾斜最严重的脊椎骨作为上下端椎,后使用量角器测量脊柱上下端椎之间的夹角。因此，Cobb角测量的准确性较大程度取决于影像科医师的主观经验。研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断；此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗；脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。
发明内容
本发明目的在于提供一种脊柱X光图像cobb角测量方法，用于解决上述现有技术中存在的技术问题之一，如：研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断；此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗；脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。
为实现上述目的，本发明的技术方案是：
一种脊柱X光图像cobb角测量方法，包括以下步骤：
S1：椎体关键点检测；
输入医学Dicom图像或者通用图像，进行预处理后得到椎体区域图像，将椎体区域影像输入到椎体关键点检测模型识别椎体关键点；
S2：计算生成椎体夹角波形图；
根据步骤S1检测到的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，即可得多个角度，然后按照一定的顺序绘制椎体夹角波形图；
S3：求解cobb角；
通过步骤S2中得到的椎体夹角波形图，分析计算得到目标cobb角。
进一步的，步骤S1包括以下子步骤：
S11：输入医学Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，寻找最大的连通区域，利用cv2.findContours寻找所有的轮廓，轮廓集合中存在所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标；其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数；
S12：利用步骤S11，生成只有人体区域的人体前景图像，然后对椎体T1-T12和L1-L5的椎体的四个顶点进行标注；
S13：cobb测量是针对椎体区域，对人体前景图像中的椎体进行分割，然后得到椎体区域图像；
S14：将椎体区域图像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体关键点，即椎体的四个顶点以及椎体的中心。其中，U-net是基于全卷积网络下一个语义分割应用于生物医学的深度学习网络；backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图feature map；Resnet101为101层的深度残差网络。
进一步的，步骤S13包括以下子步骤：
S131：生成椎体分割数据集，将标注的数据集进行处理生成椎体区域的掩码图像；
S132：训练阶段，模型采用HRNet作为分割模型，HRNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即可学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001，损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss；其中，HRNet即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互；
S133：推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。
进一步的，步骤S14包括以下子步骤：
S141：生成椎体关键点数据集，将标注的数据集，经过步骤S13，得到椎体区域图像，重新计算生成关键点的坐标；
S142：训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值；网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001，损失函数采用关键点回归的L1损失函数；其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值；
S143：推理阶段，送入椎体关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点以及椎体的中心。
进一步的，步骤S2具体如下：
根据检测到T1-T12，L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12，L1-L5的顺序，绘制椎体夹角波形图。
进一步的，步骤S3包括以下子步骤：
S31：搜索椎体夹角波形图上所有的波峰和波谷；
S32：找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的cobb角，同时记录对应的端椎索引；
S33：从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的cobb角，已经对应的端椎索引；
S34：PT端椎的索引范围（T1-T5），MT端椎的索引范围（T6-T12），TL/L端椎的索引范围（L1-L5），将步骤S33中主弯和两个代偿弯的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。
与现有技术相比，本发明所具有的有益效果为：
本方案的一个创新点在于，开发了一种针对X光脊柱全长正位片，构建了图像深度学习识别算法结合人工的Cobb角的智能测量算法，智能测量上胸弯（Proximal thoracic，PT）、胸弯（Main thoracic，MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角，符合临床Cobb角测试要求。
附图说明
图1是本发明具体实施方式的Cobb角测量示意图。
图2是本发明具体实施方式的步骤流程示意图。
图3是本发明具体实施方式的椎体关键点检测流程图。
图4是本发明具体实施方式的椎体T1-T12和L1-L5的椎体的四个顶点进行标注示意图。
具体实施方式
下面结合本发明的附图1-4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断。此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗。脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。
因此，设计出计算机辅助测量Cobb角，利用其较少依赖先验知识和个人操作并能得到较稳定的测量结果是现阶段亟待研究的。
随着人工智能技术的逐渐成熟，利用AI辅助测量技术，进行X光脊柱全长正位片Cobb角的智能测量，智能测量上胸弯（Proximal thoracic, PT）、胸弯（Main thoracic,MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角。Cobb角测量如图1所示。
如图2所示，现提出一种脊柱X光图像cobb角测量方法；流程分为三部分，一）椎体关键点检测模型；二）计算生成椎体夹角波形图；三）求解Cobb角度。即，正位片Cobb检测流程，输入原始图像，经过椎体检测模块，得到椎体的关键点，计算椎体与水平线的夹角，生成波形图像，采用波峰波谷的思想，计算出主弯以及两个代偿弯，然后映射到PT、MT和TL/L的Cobb角。具体如下：
第一步：椎体关键点检测模型；
如图3所示；输入医学Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，然后寻找最大的连通区域，利用cv2.findContours寻找所有的轮廓，轮廓集合中所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标。其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数。
首先利用前面第一步的预处理算法，将收集的数据进行预处理，生成只有人体区域的数据集，对椎体T1-T12和L1-L5的椎体的四个顶点进行标注，如下图4所示。
Cobb测量是针对椎体区域，为了减少人体其他区域的干扰，同时为了减轻系统输入数据的复杂度，首先设计了一个椎体分割网络，对椎体进行分割。
3.1）生成椎体分割数据集，将标注的数据集，进行处理生成椎体区域的掩码图像。
3.2）训练阶段，模型采用HRNet作为分割模型，HrNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，由此产生的高分辨率表示不仅信息丰富而且空间精确，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即可学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001, 损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss。其中，HRNet即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互。
3.3）推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。
4）将椎体区域影像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体的四个顶点以及椎体的中心。其中，U-net是基于全卷积网络下一个语义分割应用于生物医学的深度学习网络；backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图feature map；Resnet101为101层的深度残差网络。
4.1）生成椎体关键点数据集，将标注的数据集，经过第三步，得到椎体区域图像，重新计算生成关键点的坐标。
4.2）训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值。网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001, 损失函数采用关键点回归的L1损失函数。其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值。
4.3）推理阶段，送入关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点。
第二步：计算生成椎体夹角波形图；
根据前面步骤检测到T1-T12,L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12,L1-L5的顺序，绘制波形图。
第三步：求解Cobb角度。
搜索波形图上所有的波峰和波谷。
找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的cobb角，同时记录对应的端椎索引。
从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的cobb角，已经对应的端椎索引。
PT端椎的索引范围（T1-T5）,MT端椎的索引范围（T6-T12）,TL/L端椎的索引范围（L1-L5）,将第三步主弯和两个代偿的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。
其中，在输入医学Dicom图像或者通用图像时，先对输入的图像进行识别并提取图像的实时格式信息，将实时格式信息与预设的与医学Dicom图像或者通用图像对应的标准格式信息进行第一次格式匹配判断，若第一次格式匹配判断结果为二者匹配，则对输入的图像进行预处理；若第一次格式匹配判断结果为二者不匹配，则先暂存输入的图像，并更换识别方式，对暂存的输入图像按照新的识别方式进行第二次识别并提取其新的实时格式信息，将新的实时格式信息与标准格式信息进行第二次格式匹配判断，若第二次格式匹配判断结果为二者匹配，则对输入的图像进行预处理，否则直接舍弃先前暂存的输入图像。采用这种方式，可以快速有效的筛选出本方案所需的医学Dicom图像或者通用图像，避免其他干扰图像对本方案的影响，如果起始步骤就是对错误数据的处理，那么动作均为无用功；同时，当首次判断出现不匹配情况时，暂存图像并进行第二次判断，根据第二次判断的结果选择或者舍弃输入的图像，避免了偶然误差将有效图像忽视。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种脊柱X光图像cobb角测量方法，其特征在于，包括以下步骤：
S1：椎体关键点检测；
输入医学Dicom图像或者通用图像，进行预处理后得到椎体区域图像，将椎体区域影像输入到椎体关键点检测模型识别椎体关键点；
S2：计算生成椎体夹角波形图；
根据步骤S1检测到的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，即得多个角度，然后按照一定的顺序绘制椎体夹角波形图；
S3：求解cobb角；
通过步骤S2中得到的椎体夹角波形图，分析计算得到目标cobb角。
2.如权利要求1所述的一种脊柱X光图像cobb角测量方法，其特征在于，步骤S1包括以下子步骤：
S11：输入医学Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，寻找最大的连通区域，利用cv2.findContours寻找所有的轮廓，轮廓集合中存在所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标；其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数；
S12：利用步骤S11，生成只有人体区域的人体前景图像，然后对椎体T1-T12和L1-L5的椎体的四个顶点进行标注；
S13：cobb测量是针对椎体区域，对人体前景图像中的椎体进行分割，然后得到椎体区域图像；
S14：将椎体区域图像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体关键点，即椎体的四个顶点以及椎体的中心；其中，U-net是基于全卷积网络下一个语义分割应用于生物医学的深度学习网络；backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图feature map；Resnet101为101层的深度残差网络。
3.如权利要求2所述的一种脊柱X光图像cobb角测量方法，其特征在于，步骤S13包括以下子步骤：
S131：生成椎体分割数据集，将标注的数据集进行处理生成椎体区域的掩码图像；
S132：训练阶段，模型采用HRNet作为分割模型，HRNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001，损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss；其中，HRNet即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互；
S133：推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。
4.如权利要求3所述的一种脊柱X光图像cobb角测量方法，其特征在于，步骤S14包括以下子步骤：
S141：生成椎体关键点数据集，将标注的数据集，经过步骤S13，得到椎体区域图像，重新计算生成关键点的坐标；
S142：训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值；网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001，损失函数采用关键点回归的L1损失函数；其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值；
S143：推理阶段，送入椎体关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点以及椎体的中心。
5.如权利要求4所述的一种脊柱X光图像cobb角测量方法，其特征在于，步骤S2具体如下：
根据检测到T1-T12，L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12，L1-L5的顺序，绘制椎体夹角波形图。
6.如权利要求5所述的一种脊柱X光图像cobb角测量方法，其特征在于，步骤S3包括以下子步骤：
S31：搜索椎体夹角波形图上所有的波峰和波谷；
S32：找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的cobb角，同时记录对应的端椎索引；
S33：从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的cobb角，已经对应的端椎索引；
S34：PT端椎的索引范围T1-T5，MT端椎的索引范围T6-T12，TL/L端椎的索引范围L1-L5，将步骤S33中主弯和两个代偿弯的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的cobb角大小。
CN202110333637.2A 2021-03-29 2021-03-29 一种脊柱X光图像cobb角测量方法 Active CN112734757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110333637.2A CN112734757B (zh) 2021-03-29 2021-03-29 一种脊柱X光图像cobb角测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110333637.2A CN112734757B (zh) 2021-03-29 2021-03-29 一种脊柱X光图像cobb角测量方法

Publications (2)

Publication Number Publication Date
CN112734757A true CN112734757A (zh) 2021-04-30
CN112734757B CN112734757B (zh) 2021-06-25

Family

ID=75595981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110333637.2A Active CN112734757B (zh) 2021-03-29 2021-03-29 一种脊柱X光图像cobb角测量方法

Country Status (1)

Country Link
CN (1) CN112734757B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706600A (zh) * 2021-08-19 2021-11-26 北京欧应信息技术有限公司 用于测量身体部位的关键尺寸的方法、设备和介质
CN113781453A (zh) * 2021-09-15 2021-12-10 南京大学 一种基于x线片的脊柱侧凸进展预测及方法和装置
CN113850763A (zh) * 2021-09-06 2021-12-28 中山大学附属第一医院 一种脊柱Cobb角测量方法、装置、设备及介质
CN114081471A (zh) * 2021-11-11 2022-02-25 宜宾显微智能科技有限公司 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
CN114287915A (zh) * 2021-12-28 2022-04-08 深圳零动医疗科技有限公司 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统
CN114494271A (zh) * 2022-02-18 2022-05-13 芙索特(上海)医疗科技有限公司 一种人体背部atr角度计算方法
WO2023197924A1 (zh) * 2022-04-14 2023-10-19 深圳市第二人民医院(深圳市转化医学研究院) 一种基于三维超声的智能化脊柱侧弯Cobb角测量方法
CN117426920A (zh) * 2023-06-14 2024-01-23 溧阳市中医医院 一种骨科脊柱康复全方位矫正系统
KR102671359B1 (ko) 2022-02-18 2024-05-30 건양대학교 산학협력단 흉부 X-ray 영상을 이용한 척추측만증 조기 스크리닝 시스템

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969756A (zh) * 2005-09-07 2007-05-30 美国西门子医疗解决公司 用图像和测角来计算机辅助检测脊柱弯曲度的系统和方法
CN102727200A (zh) * 2011-03-31 2012-10-17 深圳迈瑞生物医疗电子股份有限公司 脊柱椎体和椎间盘分割方法、装置、磁共振成像系统
CN103300856A (zh) * 2012-03-13 2013-09-18 深圳迈瑞生物医疗电子股份有限公司 Mri图像的颈椎椎体轴线及相关组织的定位方法与装置
US20170296249A1 (en) * 2007-10-30 2017-10-19 Nuvasive Specialized Orthopedics, Inc. Skeletal Manipulation Method
CN107358613A (zh) * 2017-08-15 2017-11-17 上海斐讯数据通信技术有限公司 肺部区域分割方法及其系统
CN110175502A (zh) * 2019-04-03 2019-08-27 中国科学院深圳先进技术研究院 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备
CN110458831A (zh) * 2019-08-12 2019-11-15 深圳市智影医疗科技有限公司 一种基于深度学习的脊柱侧弯图像处理方法
CN111671454A (zh) * 2020-06-08 2020-09-18 平安科技（深圳）有限公司 脊柱弯曲角度测量方法、装置、计算机设备及存储介质
CN112233083A (zh) * 2020-10-13 2021-01-15 沈阳先进医疗设备技术孵化中心有限公司 脊椎检测方法、装置、电子设备及存储介质
CN112270213A (zh) * 2020-10-12 2021-01-26 萱闱(北京)生物科技有限公司 一种基于注意力机制的改进HRnet
CN112349392A (zh) * 2020-11-25 2021-02-09 北京大学第三医院（北京大学第三临床医学院） 一种人体颈椎医学图像处理系统
CN112381757A (zh) * 2020-10-09 2021-02-19 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法
CN112529860A (zh) * 2020-12-04 2021-03-19 中国科学院深圳先进技术研究院 脊柱图像处理方法、装置、电子设备及存储介质
CN112535489A (zh) * 2020-12-25 2021-03-23 四川大学华西医院 一种利用波形图测量脊柱侧弯Cobb角的方法及其系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969756A (zh) * 2005-09-07 2007-05-30 美国西门子医疗解决公司 用图像和测角来计算机辅助检测脊柱弯曲度的系统和方法
US20170296249A1 (en) * 2007-10-30 2017-10-19 Nuvasive Specialized Orthopedics, Inc. Skeletal Manipulation Method
CN102727200A (zh) * 2011-03-31 2012-10-17 深圳迈瑞生物医疗电子股份有限公司 脊柱椎体和椎间盘分割方法、装置、磁共振成像系统
CN102727200B (zh) * 2011-03-31 2016-03-30 深圳迈瑞生物医疗电子股份有限公司 脊柱椎体和椎间盘分割方法、装置、磁共振成像系统
CN103300856A (zh) * 2012-03-13 2013-09-18 深圳迈瑞生物医疗电子股份有限公司 Mri图像的颈椎椎体轴线及相关组织的定位方法与装置
CN103300856B (zh) * 2012-03-13 2015-11-25 深圳迈瑞生物医疗电子股份有限公司 Mri图像的颈椎椎体轴线及相关组织的定位方法与装置
CN107358613A (zh) * 2017-08-15 2017-11-17 上海斐讯数据通信技术有限公司 肺部区域分割方法及其系统
CN110175502A (zh) * 2019-04-03 2019-08-27 中国科学院深圳先进技术研究院 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备
CN110458831A (zh) * 2019-08-12 2019-11-15 深圳市智影医疗科技有限公司 一种基于深度学习的脊柱侧弯图像处理方法
CN111671454A (zh) * 2020-06-08 2020-09-18 平安科技（深圳）有限公司 脊柱弯曲角度测量方法、装置、计算机设备及存储介质
CN112381757A (zh) * 2020-10-09 2021-02-19 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法
CN112270213A (zh) * 2020-10-12 2021-01-26 萱闱(北京)生物科技有限公司 一种基于注意力机制的改进HRnet
CN112233083A (zh) * 2020-10-13 2021-01-15 沈阳先进医疗设备技术孵化中心有限公司 脊椎检测方法、装置、电子设备及存储介质
CN112349392A (zh) * 2020-11-25 2021-02-09 北京大学第三医院（北京大学第三临床医学院） 一种人体颈椎医学图像处理系统
CN112529860A (zh) * 2020-12-04 2021-03-19 中国科学院深圳先进技术研究院 脊柱图像处理方法、装置、电子设备及存储介质
CN112535489A (zh) * 2020-12-25 2021-03-23 四川大学华西医院 一种利用波形图测量脊柱侧弯Cobb角的方法及其系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BINOSHI SAMUVEL等: "A Mask Based Segmentation Algorithm for Automatic Measurement of Cobb Angle from Scoliosis X- Ray Image", 《2012 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING AND COMMUNICATIONS》 *
GEORGE PAPANDREOU等: "Towards Accurate Multi-person Pose Estimation in the Wild", 《THE COMPUTER VISON FOUNDATION》 *
KAILIN CHEN等: "Accurate Automated Keypoint Detections for Spinal Curvature Estimation", 《SPRINGER NATURE SWITZERLAND AG 2020》 *
OLAF RONNEBERGER等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV:1505.04597V1 [CS.CV]》 *
涂勇成: "脊柱侧凸影像Cobb角计算机辅助测量算法研究", 《中国优秀硕士学位论文全文数据库·信息科技辑 》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706600A (zh) * 2021-08-19 2021-11-26 北京欧应信息技术有限公司 用于测量身体部位的关键尺寸的方法、设备和介质
CN113850763B (zh) * 2021-09-06 2024-01-23 脊客医疗科技(广州)有限公司 一种基于脊柱医学影像的图像处理方法、装置、设备及介质
CN113850763A (zh) * 2021-09-06 2021-12-28 中山大学附属第一医院 一种脊柱Cobb角测量方法、装置、设备及介质
CN113781453A (zh) * 2021-09-15 2021-12-10 南京大学 一种基于x线片的脊柱侧凸进展预测及方法和装置
CN113781453B (zh) * 2021-09-15 2024-04-02 南京大学 一种基于x线片的脊柱侧凸进展预测及方法和装置
CN114081471B (zh) * 2021-11-11 2024-02-09 宜宾显微智能科技有限公司 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
CN114081471A (zh) * 2021-11-11 2022-02-25 宜宾显微智能科技有限公司 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
CN114287915A (zh) * 2021-12-28 2022-04-08 深圳零动医疗科技有限公司 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统
CN114287915B (zh) * 2021-12-28 2024-03-05 深圳零动医疗科技有限公司 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统
CN114494271A (zh) * 2022-02-18 2022-05-13 芙索特(上海)医疗科技有限公司 一种人体背部atr角度计算方法
KR102671359B1 (ko) 2022-02-18 2024-05-30 건양대학교 산학협력단 흉부 X-ray 영상을 이용한 척추측만증 조기 스크리닝 시스템
WO2023197924A1 (zh) * 2022-04-14 2023-10-19 深圳市第二人民医院(深圳市转化医学研究院) 一种基于三维超声的智能化脊柱侧弯Cobb角测量方法
CN117426920A (zh) * 2023-06-14 2024-01-23 溧阳市中医医院 一种骨科脊柱康复全方位矫正系统
CN117426920B (zh) * 2023-06-14 2024-04-05 溧阳市中医医院 一种骨科脊柱康复全方位矫正系统

Also Published As

Publication number Publication date
CN112734757B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN112734757B (zh) 一种脊柱X光图像cobb角测量方法
CN111047572B (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
CN112184617B (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
CN115880281B (zh) 一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法
CN108491770B (zh) 一种基于骨折影像的数据处理方法
CN114494192B (zh) 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法
Maaliw et al. A deep learning approach for automatic scoliosis Cobb Angle Identification
CN108309334B (zh) 一种脊柱x线影像的数据处理方法
CN112802019B (zh) 一种基于脊柱AIS影像的lenke分型方法
CN115187606B (zh) 一种青少年特发性脊柱侧凸pumc分型方法
CN115222937A (zh) 一种脊柱侧弯检测方法及装置
CN113284090A (zh) 一种脊柱侧弯检测方法与医疗平台
US11980491B2 (en) Automatic recognition method for measurement point in cephalo image
CN117274270A (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN111524188A (zh) 腰椎定位点获取方法、设备及介质
CN114287915A (zh) 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统
CN110427987A (zh) 一种关节炎患者的足底压力特征识别方法和系统
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN115602320B (zh) 一种困难气道评估方法和系统
CN110895818A (zh) 一种基于深度学习的膝关节轮廓特征提取方法和装置
CN112837264B (zh) 肋骨定位、骨折临床结局预测装置及自动诊断系统
CN109978861B (zh) 骨髓灰质检测方法、装置、设备和计算机可读存储介质
Makhdoomi et al. Development of Scoliotic Spine Severity Detection using Deep Learning Algorithms
CN111640127A (zh) 一种用于骨科的精准临床诊断导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant