CN113674261B - 骨骼检测方法、系统、电子设备和存储介质 - Google Patents

骨骼检测方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN113674261B
CN113674261B CN202110990749.5A CN202110990749A CN113674261B CN 113674261 B CN113674261 B CN 113674261B CN 202110990749 A CN202110990749 A CN 202110990749A CN 113674261 B CN113674261 B CN 113674261B
Authority
CN
China
Prior art keywords
bone
information
fracture degree
image
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110990749.5A
Other languages
English (en)
Other versions
CN113674261A (zh
Inventor
康单
张兆刚
章振林
王鑫琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiyinghui Intelligent Technology Co ltd
Original Assignee
Shanghai Jiyinghui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiyinghui Intelligent Technology Co ltd filed Critical Shanghai Jiyinghui Intelligent Technology Co ltd
Priority to CN202110990749.5A priority Critical patent/CN113674261B/zh
Publication of CN113674261A publication Critical patent/CN113674261A/zh
Application granted granted Critical
Publication of CN113674261B publication Critical patent/CN113674261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种骨骼检测方法、系统、电子设备和存储介质，该方法包括获取待检测图像；将待检测图像中输入至骨骼信息预测模型，以获取待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息。本发明基于深度卷积神经网络建立用于预测骨骼位置、骨骼类别以及骨折程度类别的预测模型，实现对于任意输入的待检测图像，能够直接自动地输出并标注出各个骨骼的位置以及类别、骨折程度类别，大大地优化了对脊柱骨折病例分析处理流程，保证了病例诊断效率以及准确率，也减轻了医护人员的负担并降低了误诊率；另外结合骨骼关键点判定骨折程度类别，进一步地保证了骨骼检测的准确性。

Description

骨骼检测方法、系统、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种骨骼检测方法、系统、电子设备和存储介质。
背景技术
目前，骨质疏松性脊柱骨折主要通过X线片进行评估，其中获得标准X线片是非常重要的。X线片的质量主要决定于以下三个方面：1、机器的性质及胶片的质量；2、照相技术员的水平；3、病人的正确体位。目前，Genant半定量法是常用的骨质疏松性脊柱骨折的分类方法，椎体变形并非均由骨折所致，而椎体骨折则一定存在不同程度的椎体变形，Genant半定量法采用肉眼观察X线片，此检测方法虽然较为简便，但是存在效率低、准确率不高、人工高成本较高等问题。
发明内容
本发明要解决的技术问题是为了克服现有技术中骨骼检测方式存在准确率较低、检测效率低、人工成本较高等缺陷，提供一种骨骼检测方法、系统、电子设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种骨骼检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像中输入至骨骼信息预测模型，以获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息。
较佳地，所述方法还包括：
根据所述骨骼位置信息从所述待检测图像中提取出不同骨骼所在区域对应的骨骼图像；
将所述骨骼图像输入至骨折程度预测模型，以获取所述骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
根据所述第一骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，当所述骨骼图像中骨骼对应椎骨时，所述方法还包括：
对所述骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；
其中，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点。
较佳地，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处的四个位置点；或，
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处和中心位置处的六个位置点。
较佳地，所述获取每个椎骨对应的多个骨骼关键点的步骤包括：
对所述骨骼图像进行边缘检测处理以获取所述角点；
对所述骨骼图像进行边缘检测处理计算得到每个所述设定位置点的第一位置信息；
基于所述角点的位置信息估算得到每个所述设定位置点的第二位置信息；
根据所述第一位置信息和/或所述第二位置信息确定每个所述设定位置点的所在位置。
较佳地，所述方法还包括：
基于多个所述骨骼关键点确定所述骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
根据所述第二骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，所述基于多个所述骨骼关键点确定所述骨骼图像中的骨骼的第二骨折程度信息的步骤包括：
获取多个所述角点形成的第一区域；
获取所有所述骨折关键点形成的第二区域；
基于所述第一区域和所述第二区域，计算得到所述骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
根据所述第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的所述第一设定区间对应不同的骨折程度类别。
较佳地，所述方法还包括：
计算两组相对应的所述角点和/或所述设定位置点的第一距离信息和第二距离信息；
计算得到所述第一距离信息和所述第二距离信息之间的第二差距信息；
根据所述第二差距信息对应的第二设定区间，确定对应骨骼在每种骨折程度类别下对应的第三骨折程度信息；
其中，不同的所述第二设定区间对应不同的骨折程度类别；
根据所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，所述方法还包括：
根据所述第一骨折程度信息获取骨骼在每种骨折程度类别下对应的第一得分；
根据所述第二骨折程度信息获取骨骼在每种骨折程度类别下对应的第二得分；
根据所述第三骨折程度信息获取骨骼在每种骨折程度类别下对应的第三得分；
所述根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分和所述第二得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分、所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；
选取最高总得分或者排序靠前的任意一个总得分对应的骨折程度类别作为每个骨骼对应的目标骨折程度类别。
较佳地，建立所述骨骼信息预测模型的步骤包括：
获取若干张样本图像；
提取出所述样本图像中标注的样本骨骼信息，所述样本骨骼信息包括样本骨骼位置信息和样本骨骼类别信息；
将每张所述样本图像作为输入，对应的所述样本骨骼信息作为输出，建立所述骨骼信息预测模型。
较佳地，所述方法还包括：
采用所述骨骼信息预测模型输出每个所述样本图像对应的样本骨骼图像；
建立所述骨折程度预测模型的步骤包括：
获取若干张所述样本骨骼图像；
提取出所述骨骼图像中标注的样本骨折程度信息；
将每张所述样本图像作为输入，对应的所述样本骨折程度信息作为输出，建立所述骨折程度预测模型。
较佳地，所述获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息的步骤包括：
获取不同骨骼对应的骨骼位置概率值；
选取最高骨骼位置概率值或者排序靠前的任意一个骨骼位置概率值对应的骨骼位置作为骨骼的所述骨骼位置信息；和/或，
获取不同的所述骨骼位置信息的骨骼对应的骨骼类别概率值；
选取最高骨骼类别概率值或者排序靠前的任意一个骨骼类别概率值对应的骨骼类别作为不同的所述骨骼位置信息的骨骼的所述骨骼类别信息。
较佳地，所述待检测图像包括X线片图像。
本发明还提供一种骨骼检测系统，所述系统包括：
待检测图像获取模块，用于获取待检测图像；
骨骼信息获取模块，用于将所述待检测图像中输入至骨骼信息预测模型，以获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息。
较佳地，所述系统还包括：
骨骼图像提取模块，用于根据所述骨骼位置信息从所述待检测图像中提取出不同骨骼所在区域对应的骨骼图像；
第一骨折信息获取模块，用于将所述骨骼图像输入至骨折程度预测模型，以获取所述骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
骨折程度类别确定模块，用于根据所述第一骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，当所述骨骼图像中骨骼对应椎骨时，所述系统还包括：
关键点获取模块，用于对所述骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；
其中，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点。
较佳地，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处的四个位置点；或，
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处和中心位置处的六个位置点。
较佳地，所述关键点获取模块包括：
角点获取单元，用于对所述骨骼图像进行边缘检测处理以获取所述角点；
第一位置信息计算单元，用于对所述骨骼图像进行边缘检测处理计算得到每个所述设定位置点的第一位置信息；
第二位置信息计算单元，用于基于所述角点的位置信息估算得到每个所述设定位置点的第二位置信息；
设定位置点获取单元，用于根据所述第一位置信息和/或所述第二位置信息确定每个所述设定位置点的所在位置。
较佳地，所述系统还包括：
第二骨折信息获取模块，用于基于多个所述骨骼关键点确定所述骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
骨折程度类别确定模块，用于根据所述第二骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块，用于根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，所述第二骨折信息获取模块包括：
第一区域获取单元，用于获取多个所述角点形成的第一区域；
第二区域获取单元，用于获取所有所述骨折关键点形成的第二区域；
第一差距信息计算单元，用于基于所述第一区域和所述第二区域，计算得到所述骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
第二骨折程度信息确定单元，用于根据所述第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的所述第一设定区间对应不同的骨折程度类别。
较佳地，所述系统还包括：
距离信息计算模块，用于计算两组相对应的所述角点和/或所述设定位置点的第一距离信息和第二距离信息；
第二差距信息计算模块，用于计算得到所述第一距离信息和所述第二距离信息之间的第二差距信息；
第三骨折程度信息获取模块，用于根据所述第二差距信息对应的第二设定区间，确定对应骨骼在每种骨折程度类别下对应的第三骨折程度信息；
其中，不同的所述第二设定区间对应不同的骨折程度类别；
骨折程度类别确定模块，用于根据所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块，用于根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块，用于根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块，用于根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别。
较佳地，所述骨折程度类别确定模块包括：
得分获取单元，用于根据所述第一骨折程度信息获取骨骼在每种骨折程度类别下对应的第一得分；
得分获取单元，用于根据所述第二骨折程度信息获取骨骼在每种骨折程度类别下对应的第二得分；
得分获取单元，用于根据所述第三骨折程度信息获取骨骼在每种骨折程度类别下对应的第三得分；
求和计算单元，用于对所述第一得分和所述第二得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对所述第一得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对所述第一得分、所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；
骨折程度类别确定单元，用于选取最高总得分或者排序靠前的任意一个总得分对应的骨折程度类别作为每个骨骼对应的目标骨折程度类别。
较佳地，所述系统还包括：
样本图像获取模块，用于获取若干张样本图像；
样本骨骼信息提取模块，用于提取出所述样本图像中标注的样本骨骼信息，所述样本骨骼信息包括样本骨骼位置信息和样本骨骼类别信息；
骨骼信息预测模型建立模块，用于将每张所述样本图像作为输入，对应的所述样本骨骼信息作为输出，建立所述骨骼信息预测模型。
较佳地，所述系统还包括：
样本骨骼图像输出模块，用于采用所述骨骼信息预测模型输出每个所述样本图像对应的样本骨骼图像；
样本骨骼图像获取模块，用于获取若干张所述样本骨骼图像；
样本骨折程度提取模块，用于提取出所述骨骼图像中标注的样本骨折程度信息；
骨折程度预测模型建立模块，用于将每张所述样本图像作为输入，对应的所述样本骨折程度信息作为输出，建立所述骨折程度预测模型。
较佳地，所述骨骼信息获取模块包括：
骨骼位置概率值获取单元，用于获取不同骨骼对应的骨骼位置概率值；
骨骼位置信息获取单元，用于选取最高骨骼位置概率值或者排序靠前的任意一个骨骼位置概率值对应的骨骼位置作为骨骼的所述骨骼位置信息；和/或，
骨骼类别概率值获取单元，用于获取不同的所述骨骼位置信息的骨骼对应的骨骼类别概率值；
骨骼类别信息获取单元，用于选取最高骨骼类别概率值或者排序靠前的任意一个骨骼类别概率值对应的骨骼类别作为不同的所述骨骼位置信息的骨骼的所述骨骼类别信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的骨骼检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的骨骼检测方法。
在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
本发明的积极进步效果在于：
(1)基于深度卷积神经网络建立用于预测骨骼位置、骨骼类别的预测模型，实现对于任意输入的待检测图像(例如X线片图像)，能够直接自动地输出并标注出各个骨骼的位置以及类别，大大地优化了对脊柱骨折病例分析处理流程，提高了病例诊断效率，减轻了医护人员的负担并降低了误诊率；(2)基于人工提取或者上述预测骨骼位置、骨骼类别的预测模型提取出待检测图像中的骨骼图像，采用深度卷积神经网络建立用于预测骨折程度类别的预测模型，能够自动输出当前待检测图像中每个骨骼对应的骨折程度类别，提高了骨骼骨折情况检测的准确度和处理效率；(3)结合图像形态学、边缘检测等技术对骨骼图像进行处理以检测得到每个骨骼上的多个骨骼关键点(例如包括4个角点以及中间4个1/4位置点)，能够尽可能准确得到每个骨骼所在区域面积的减少情况，以结合上述预测模型确定每个骨骼对应的骨折程度类别，从而进一步地提高了骨骼检测结果的准确度，提高了图像处理效率；(4)获取任意两组相对的骨骼关键点的差距信息，根据差距大小确定对应骨骼位置的减少情况，进一步地提高了骨骼检测结果的准确度，提高了图像处理效率。
附图说明
图1为本发明实施例1的骨骼检测方法的流程图。
图2为本发明实施例1的骨质疏松性脊柱骨折实例对应的流程图。
图3为本发明实施例2的骨骼检测方法的第一流程图。
图4为本发明实施例2的骨骼检测方法的第二流程图。
图5为本发明实施例2的骨骼检测方法的第三流程图。
图6为本发明实施例2的骨质疏松性脊柱骨折实例对应的流程图。
图7为本发明实施例2中骨骼图像中骨骼对应的骨骼关键点示意图。
图8为本发明实施例3的骨骼检测系统的模块示意图。
图9为本发明实施例4的骨骼检测系统的模块示意图。
图10为本发明实施例5的实现骨骼检测方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的骨骼检测方法包括：
S101、获取待检测图像；
其中，待检测图像包括但不限于X线片图像，X线片图像中对应脊柱骨。
S102、将待检测图像中输入至骨骼信息预测模型，以获取待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息。
可以根据实际需求在待检测图像中的每个骨骼位置处自动标注出骨骼位置信息、骨骼类别信息，以便于医护人员、患者等相关人员能够直观地了解待检测图像中的每个骨骼的具体参数情况，优化了诊断流程，同时也提升了患者的就诊体验。
其中，获取待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息的步骤包括：
获取不同骨骼对应的骨骼位置概率值；
选取最高骨骼位置概率值或者排序靠前的任意一个骨骼位置概率值对应的骨骼位置作为骨骼的骨骼位置信息；优选地，采用选取最高骨骼位置概率值对应的骨骼位置作为骨骼位置信息，这样能够更准确地得到获取骨骼位置结果。
获取不同的骨骼位置信息的骨骼对应的骨骼类别概率值；
选取最高骨骼类别概率值或者排序靠前的任意一个骨骼类别概率值对应的骨骼类别作为骨骼类别信息。
优选地，采用选取最高骨骼类别概率值对应的骨骼位置作为骨骼位置信息，这样能够更准确地得到获取骨骼类别结果。
具体地，本实施例中建立骨骼信息预测模型的步骤包括：
获取若干张样本图像；
提取出样本图像中标注的样本骨骼信息，样本骨骼信息包括样本骨骼位置信息和样本骨骼类别信息；
将每张样本图像作为输入，对应的样本骨骼信息作为输出，采用深度卷积神经网络建立骨骼信息预测模型。当然，也可以采用其他的机器学习算法训练模型，只要预测效果能够满足实际图像诊断需求即可。
为了达到更优的模型训练效果，需要对所有的样本图像进行预处理如归一化尺寸等。
另外，本实施例优选应用在骨质疏松性脊柱骨折情况的检测场景，当然也适用于其他类型的骨骼骨折检测场景。
下面骨质疏松性脊柱骨折为例(结合图2)，具体说明本实施例的骨骼检测方法对应的工作原理：
(1)构建骨骼信息预测模型
标注的样本图像来自于社区医院中收集的若干骨质疏松性脊柱骨折病例(如14075例)，全部病例均获得明确的病理诊断结果；主要是由放射科医师阅片评估X线片影像学特点，根据Genant半定量法判断并标注出患者的骨骼位置和骨骼类别；
对所有样本图像进行预处理，例如先进行尺寸归一化处理，将所有输入模型的图像尺寸统一变换到640*640像素大小；
将预处理后的样本图像转换为数字信号并输入到卷积神经网络中进行训练；其中，以32张图片为一个批次输入，本实施例选用的卷积神经网络模型是深度残差网络模型(Resnet-101)，坐标回归的代价函数选取smooth L1 loss，类别预测的代价函数选取交叉熵损失；
将每一批次前向传播的结果进行预测结果和目标的代价函数的计算，并以梯度反向传播的方式更新模型权重参数；
判断是否满足指定的迭代次数，指定迭代次数为200个epoch，1个epoch指代所有的训练数据送入模型中并完成模型权重超参数调整，当模型的训练没有达到设定迭代次数时，继续输入样本图像以调整模型权重超参数，如果达到设定的迭代次数则停止训练；
最终选取最佳的模型权重参数，模型停止训练后，会根据每个epoch的识别准确率的计算结果筛选出最佳的权重参数，并且将权重参数保存到文件中。
(2)待检测图像中骨骼位置、骨骼类别检测
对待检测的X线片图像进行预处理，例如先进行尺寸归一化处理，将所有输入模型的图像尺寸变换到640*640像素大小；
将预处理后的X线片图像转换为数字信号并输入到卷积神经网络中进行预测，该步骤采用的是和上述步骤(1)中训练学习阶段相同的深度残差网络模型，不过模型的权重参数不需要再次通过训练调整，而是通过将上述输出的最佳权重参数加载到骨骼信息预测模型中，用来预测出输入X线片图像的椎骨骨骼位置；
通过骨骼信息预测模型输出不同骨骼对应的骨骼位置概率值(或称概率得分/分值)，选取最高骨骼位置概率值对应的骨骼位置作为骨骼位置信息；
上述步骤(1)的类别信息通过Softmax(一种激活函数)激活函数将卷积神经网络的输出转换成各个椎骨骨骼类别的概率分布，可以根据预测概率值最高的椎骨骨骼类别来确定椎骨骨骼类别，并将该概率值作为预测得分。
本实施例中，基于深度卷积神经网络建立用于预测骨骼位置、骨骼类别的预测模型，实现对于任意输入的待检测图像，能够直接自动地输出并标注出各个骨骼的位置以及类别，大大地优化了对脊柱骨折病例分析处理流程，进而保证了后续病例诊断效率以及准确率，同时也减轻了医护人员的负担并降低了误诊率。
实施例2
本实施例的骨骼检测方法是对实施例1的进一步改进，具体地：
如图3所示，步骤S102之后还包括：
S103、根据骨骼位置信息从待检测图像中提取出不同骨骼所在区域对应的骨骼图像；
S104、将骨骼图像输入至骨折程度预测模型，以获取骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
S105、根据第一骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，建立骨折程度预测模型的步骤包括：
采用骨骼信息预测模型输出每个样本图像对应的样本骨骼图像；
获取若干张样本骨骼图像；
提取出骨骼图像中标注的样本骨折程度信息；
将每张样本图像作为输入，对应的样本骨折程度信息作为输出，采用深度卷积神经网络建立骨折程度预测模型。当然，也可以采用其他的机器学习算法训练模型，只要预测效果能够满足实际图像诊断需求即可。
在一可实施例的方案中，当骨骼图像中骨骼对应椎骨时，如图4所示，步骤S103之后还包括：
S106、对骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；同时考虑结合图像形态学等图像处理技术处理得到骨骼关键点。
其中，多个骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点。
多个骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于延伸方向上两个角点之间四分之一处的四个位置点；或，
多个骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于延伸方向上两个角点之间四分之一处和中心位置处的六个位置点。
具体地，获取每个椎骨对应的多个骨骼关键点的步骤包括：
对骨骼图像进行边缘检测处理以获取角点；
对骨骼图像进行边缘检测处理计算得到每个设定位置点的第一位置信息；
基于角点的位置信息估算得到每个设定位置点的第二位置信息；
根据第一位置信息和/或第二位置信息确定每个设定位置点的所在位置。
S107、基于多个骨骼关键点确定骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
S108、根据第二骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据第一骨折程度信息和第二骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，步骤S107包括：
获取多个角点形成的第一区域；
获取所有骨折关键点形成的第二区域；
基于第一区域和第二区域，计算得到骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
根据第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的第一设定区间对应不同的骨折程度类别。
第一差距信息可以根据基于第一区域和第二区域各自对应的面积的差值得到椎骨的实际面积，进而计算该实际面积与设定面积两者之间的差值以作为该第一差距信息；或者计算椎骨的实际面积与设定面积两者之间的比值，根据该比值的大小以作为该第一差距信息。
在一可实施例的方案中，如图5所示，本实施例的方法还包括：
S109、计算两组相对应的角点和/或设定位置点的第一距离信息和第二距离信息；
S1010、计算得到第一距离信息和第二距离信息之间的第二差距信息；
S1011、根据第二差距信息对应的第二设定区间，确定对应骨骼在每种骨折程度类别下对应的第三骨折程度信息；
其中，不同的第二设定区间对应不同的骨折程度类别；
S1012、根据第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据第一骨折程度信息和第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据第二骨折程度信息和第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据第一骨折程度信息、第二骨折程度信息和第三骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，本实施例的方法包括：
根据第一骨折程度信息获取骨骼在每种骨折程度类别下对应的第一得分；
根据第二骨折程度信息获取骨骼在每种骨折程度类别下对应的第二得分；
根据第三骨折程度信息获取骨骼在每种骨折程度类别下对应的第三得分；
根据第一骨折程度信息和第二骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对第一得分和第二得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
根据第一骨折程度信息和第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对第一得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
根据第二骨折程度信息和第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对第二得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
根据第一骨折程度信息、第二骨折程度信息和第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对第一得分、第二得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；
选取最高总得分或者排序靠前的任意一个总得分对应的骨折程度类别作为每个骨骼对应的目标骨折程度类别。
下面骨质疏松性脊柱骨折为例(结合图6)，具体说明本实施例的骨骼检测方法对应的工作原理：
(1)构建骨折程度预测模型
根据骨骼位置信息从样本图像中提取出不同骨骼对应的骨骼图像以作为样本骨骼图像，或者通过人工方式从样本图像中扣取不同骨骼所在区域对应的骨骼图像以作为样本骨骼图像；然后通过人工方式标注出不同骨骼对应的骨折程度；
例如，可以基于Genant半定量法判断标准：标准侧位X线片上，如T4-L4椎体的形态及大小正常，则为0级(正常)；椎体高度降低20％-25％和椎体投影面积降低10％-20％，为Ⅰ级(轻度变形或Ⅰ度骨折)；椎体高度降低25％-40％和椎体投影面积降低20％-40％，为2级(中度变形或Ⅱ度骨折)；椎体高度和椎体投影面积降低大于40％，为3级(严重变形或Ⅲ度骨折)。
对所有样本骨骼图像进行预处理，例如先进行尺寸归一化处理，将所有输入模型的图像尺寸统一变换到480*240像素大小；
将预处理后的图像转换为数字信号，输入到卷积神经网络中进行训练，其中，以64张图片为一个批次输入，本实施例中选用的卷积神经网络模型是深度残差网络模型(Resnet-34)，骨折程度预测的代价函数选取交叉熵损失；
将每一批次前向传播的结果，进行预测结果和目标的代价函数的计算，并以梯度反向传播的方式更新模型权重参数；
判断是否满足指定的迭代次数：指定迭代次数为100个epoch，1个epoch指代所有的训练数据送入模型中并完成模型权重超参数调整，当模型的训练没有达到设定迭代次数时，继续输入图像调整模型权重超参数，如果达到设定的迭代次数则停止训练；
最终选取最佳的模型权重参数，模型停止训练后，会根据每个epoch的识别准确率的计算结果筛选出最佳的权重参数，并且将权重参数保存到文件中。
(2)待检测图像中骨骼骨折类别的检测
基于待检测图像中的骨骼位置信息提取出待检测的骨骼图像；
对骨骼图像进行预处理，例如先进行尺寸归一化处理，将所有输入模型的图像尺寸变换到480*240像素大小；
将预处理后的骨骼图像转换为数字信号并输入到卷积神经网络中进行预测，该步骤采用的是和上述学习阶段相同的深度残差网络模型，不过模型的权重参数不需要再次通过训练调整，而是通过将上述输出的最佳权重参数加载到模型中，用来预测出输入的骨骼图像的椎骨骨折程度；
上述步骤的类别信息通过Softmax激活函数将神经网络的输出转换成各个椎骨骨折程度类别的概率分布，将各个概率值作为各个骨折程度的预测得分。
为了进一步地提高了椎骨骨折程度类别的检测准确度，结合计算骨骼面积情况以及骨骨骼关键点间距情况进行判定：
对于每个骨骼而言，参见图7所示，均对应骨骼关键点(对应图中的“×”，包括4个角点和4个设定位置点，A对应角点，B对应1/4设定位置点)，当然也可以根据实际需求在边缘线上选取更多的边缘点作为骨骼关键点；基于骨骼关键点所组成的多边形区域以及四个角点形成的最小外接矩形区域，分别计算两个区域对应的面积信息以确定骨骼区域对应的面积信息，进而根据确定骨骼区域对应的面积信息与设定面积之间的差距以确定骨骼骨折程度。其中，可以直接计算确定骨骼区域对应的面积信息与设定面积两者之间的差值来确定骨骼面积减小情况；或者通过计算骨骼区域对应的面积信息与最小外接矩形区域的比值以得到骨骼面积占比(骨骼面积比：SRatio＝S骨骼/S最小外接矩形)，根据骨骼面积占比与预设面积占比之间的差距确定骨骼面积减小情况。
另外，采用Genant半定量法数学模型获取骨骼关键点的位置信息，以得到每个骨骼关键点的位置信息，计算两组相对应的角点和/或设定位置点的距离信息第一距离信息和第二距离信息，并计算得到第一距离信息和第二距离信息之间的差距信息，差距信息越大表明该椎骨骨骼对应的骨折程度越严重。
通过比较相对应骨骼关键点的间距信息、面积区域缺失比对椎体T4-L4的骨折程度进行分级，详细的定量方法如下：无正常直接椎体测量(0级)，轻微变形(1级，前、中和后高度降低约20-25％，面积减少10-20％)，轻度变形(2级，任何高度降低约25-40％，区域减少20-40％)，严重变形(3级，任何高度和区域减少约40％以上)；
将骨骼面积情况以及骨骼关键点间距情况获取的数值归一化至0-1区间，获取每个骨骼对应的每种骨折程度类别的计算分数；
将卷积神经网络输出的各个骨折程度类别的预测得分和上一步的利用关键点信息(对应骨骼面积情况以及骨骼关键点间距情况)计算出的分数进行加权求和，预测出最可能的骨折程度类别，即通过机器学习方法快速、有效地识别出骨质疏松性脊柱骨折程度类别，实现精准诊断，辅助医生进行术前规划以及术后结果预测，有助于提高诊断效率，同时减少医护人员的负担并降低误诊率。
可以根据实际需求在待检测图像中直接自动标注出对应的骨折程度类别，即本实施例实现对任意输入的待检测图像，可以直接输出并标注出其对应每块骨骼的骨骼位置、骨骼类别、骨折程度类别，大大地提高了图像的阅片效率。
本实施例中，基于人工提取或者上述预测骨骼位置、骨骼类别的预测模型提取出待检测图像中的骨骼图像，采用深度卷积神经网络建立用于预测骨折程度类别的预测模型，能够自动输出当前待检测图像中每个骨骼对应的骨折程度类别，提高了骨骼骨折情况检测的准确度，从而提高了图像处理效率；结合图像形态学、边缘检测等技术对骨骼图像进行处理以检测得到每个骨骼上的多个骨骼关键点，能够尽可能准确得到每个骨骼所在区域面积的减少情况，以结合上述预测模型确定每个骨骼对应的骨折程度类别，从而进一步地提高了骨骼检测结果的准确度，提高了图像处理效率；获取任意两组相对的骨骼关键点的差距信息，根据差距大小确定对应骨骼位置的减少情况，进一步地提高了骨骼检测结果的准确度，提高了图像处理效率。
实施例3
如图8所示，本实施例的骨骼检测系统包括：
待检测图像获取模块1，用于获取待检测图像；
其中，待检测图像包括但不限于X线片图像，X线片图像中对应脊柱骨。
骨骼信息获取模块2，用于将待检测图像中输入至骨骼信息预测模型，以获取待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息。
可以根据实际需求在待检测图像中的每个骨骼位置处自动标注出骨骼位置信息、骨骼类别信息，以便于医护人员、患者等相关人员能够直观地了解待检测图像中的每个骨骼的具体参数情况，优化了诊断流程，同时也提升了就诊体验。
其中，本实施例的骨骼信息获取模块2包括：
骨骼位置概率值获取单元，用于获取不同骨骼对应的骨骼位置概率值；
骨骼位置信息获取单元，用于选取最高骨骼位置概率值或者排序靠前的任意一个骨骼位置概率值对应的骨骼位置作为骨骼的骨骼位置信息；优选地，采用选取最高骨骼位置概率值对应的骨骼位置作为骨骼位置信息，这样能够更准确地得到获取骨骼位置结果。
骨骼类别概率值获取单元，用于获取不同的骨骼位置信息的骨骼对应的骨骼类别概率值；
骨骼类别信息获取单元，用于选取最高骨骼类别概率值或者排序靠前的任意一个骨骼类别概率值对应的骨骼类别作为骨骼类别信息。
优选地，采用选取最高骨骼类别概率值对应的骨骼位置作为骨骼位置信息，这样能够更准确地得到获取骨骼类别结果。
具体地，本实施例中的系统还包括：
样本图像获取模块3，用于获取若干张样本图像；
样本骨骼信息提取模块4，用于提取出样本图像中标注的样本骨骼信息，样本骨骼信息包括样本骨骼位置信息和样本骨骼类别信息；
骨骼信息预测模型建立模块5，用于将每张样本图像作为输入，对应的样本骨骼信息作为输出，采用深度卷积神经网络建立骨骼信息预测模型。当然，也可以采用其他的机器学习算法训练模型，只要预测效果能够满足实际图像诊断需求即可。
为了达到更优的模型训练效果，需要对所有的样本图像进行预处理如归一化尺寸等。
另外，本实施例优选应用在骨质疏松性脊柱骨折情况的检测场景，当然也适用于其他类型的骨骼骨折检测场景。
本实施例的骨骼检测系统对应的工作原理可以参见实施例1中的具体实例，因此在此就不再赘述。
本实施例中，基于深度卷积神经网络建立用于预测骨骼位置、骨骼类别的预测模型，实现对于任意输入的待检测图像，能够直接自动地输出并标注出各个骨骼的位置以及类别，大大地优化了对脊柱骨折病例分析处理流程，进而保证了后续病例诊断效率以及准确率，同时也减轻了医护人员的负担并降低了误诊率。
实施例4
如图9所示，本实施例的骨骼检测系统是对实施例3的进一步改进，具体地：
本实施例的系统还包括：
骨骼图像提取模块6，用于根据骨骼位置信息从待检测图像中提取出不同骨骼对应的骨骼图像；
第一骨折信息获取模块7，用于将骨骼图像输入至骨折程度预测模型，以获取骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
骨折程度类别确定模块8，用于根据第一骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，本实施例的系统还包括：
样本骨骼图像输出模块9，用于采用骨骼信息预测模型输出每个样本图像对应的样本骨骼图像；
样本骨骼图像获取模块10，用于获取若干张样本骨骼图像；
样本骨折程度提取模块11，用于提取出骨骼图像中标注的样本骨折程度信息；
骨折程度预测模型建立模块12，用于将每张样本图像作为输入，对应的样本骨折程度信息作为输出，建立骨折程度预测模型。当然，也可以采用其他的机器学习算法训练模型，只要预测效果能够满足实际图像诊断需求即可。
在一可实施例的方案中，本实施例的系统还包括：
关键点获取模块13，关键点获取模块，用于对所述骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；
其中，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点。
优选地，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处的四个位置点；或，
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处和中心位置处的六个位置点。
具体地，关键点获取模块13包括：
角点获取单元，用于对骨骼图像进行边缘检测处理以获取角点；
第一位置信息计算单元，用于对骨骼图像进行边缘检测处理计算得到每个设定位置点的第一位置信息；
第二位置信息计算单元，用于基于角点的位置信息估算得到每个设定位置点的第二位置信息；
设定位置点获取单元，用于根据第一位置信息和/或第二位置信息确定每个设定位置点的所在位置。
第二骨折信息获取模块14，用于基于多个骨骼关键点确定骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
骨折程度类别确定模块8，用于根据第二骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块8，用于根据第一骨折程度信息和第二骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，本实施例的第二骨折信息获取模块15包括：
第一区域获取单元，用于获取多个角点形成的第一区域；
第二区域获取单元，用于获取所有骨折关键点形成的第二区域；
第一差距信息计算单元，用于基于第一区域和第二区域，计算得到骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
第二骨折程度信息确定单元，用于根据第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的第一设定区间对应不同的骨折程度类别。
在一可实施例的方案中，本实施例的系统还包括：
距离信息计算模块15，用于计算两组相对应的所述角点和/或所述设定位置点的第一距离信息和第二距离信息；
第二差距信息计算模块16，用于计算得到所述第一距离信息和所述第二距离信息之间的第二差距信息；
第三骨折程度信息获取模块17，用于根据所述第二差距信息对应的第二设定区间，确定对应骨骼在每种骨折程度类别下对应的第三骨折程度信息；
其中，不同的所述第二设定区间对应不同的骨折程度类别；
骨折程度类别确定模块8，用于根据所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块8，用于根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块8，用于根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
骨折程度类别确定模块8，用于根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别。
具体地，本实施例的骨折程度类别确定模块8包括：
得分获取单元，用于根据第一骨折程度信息获取骨骼在每种骨折程度类别下对应的第一得分；
得分获取单元，用于根据第二骨折程度信息获取骨骼在每种骨折程度类别下对应的第二得分；
得分获取单元，用于根据第三骨折程度信息获取骨骼在每种骨折程度类别下对应的第三得分；
求和计算单元，用于对第一得分和第二得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对第一得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对第二得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
求和计算单元，用于对第一得分、第二得分和第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；
骨折程度类别确定单元，用于选取最高总得分或者排序靠前的任意一个总得分对应的骨折程度类别作为每个骨骼对应的目标骨折程度类别。
本实施例的骨骼检测系统对应的工作原理类似，因此在此就不再赘述。
本实施例中，基于人工提取或者上述预测骨骼位置、骨骼类别的预测模型提取出待检测图像中的骨骼图像，采用深度卷积神经网络建立用于预测骨折程度类别的预测模型，能够自动输出当前待检测图像中每个骨骼对应的骨折程度类别，提高了骨骼骨折情况检测的准确度，从而提高了图像处理效率；结合图像形态学、边缘检测等技术对骨骼图像进行处理以检测得到每个骨骼上的多个骨骼关键点，能够尽可能准确得到每个骨骼所在区域面积的减少情况，以结合上述预测模型确定每个骨骼对应的骨折程度类别，从而进一步地提高了骨骼检测结果的准确度，提高了图像处理效率；获取任意两组相对的骨骼关键点的差距信息，根据差距大小确定对应骨骼位置的减少情况，进一步地提高了骨骼检测结果的准确度，提高了图像处理效率。
实施例5
图10为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任意一实施例中的骨骼检测方法。图10显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备30可以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任意一实施例中的骨骼检测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图10所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中任意一实施例中的骨骼检测方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的骨骼检测方法中的步骤。
其中，可以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种骨骼检测方法，其特征在于，所述方法包括：
获取待检测图像；
所述待检测图像包括X线片图像，且对应包含多种类型骨骼的脊柱骨；
将所述待检测图像输入至骨骼信息预测模型，以获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息；
根据所述骨骼位置信息从所述待检测图像中提取出不同骨骼所在区域对应的骨骼图像；
将所述骨骼图像输入至骨折程度预测模型，以获取所述骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
当所述骨骼图像中骨骼对应椎骨时，所述方法还包括：
对所述骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；
其中，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点；
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处的四个位置点；或，
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处和中心位置处的六个位置点；
所述方法还包括：
基于多个所述骨骼关键点确定所述骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的目标骨折程度类别；
所述基于多个所述骨骼关键点确定所述骨骼图像中的骨骼的第二骨折程度信息的步骤包括：
获取多个所述角点形成的第一区域；
获取所有所述骨骼关键点形成的第二区域；
基于所述第一区域和所述第二区域，计算得到所述骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
根据所述第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的所述第一设定区间对应不同的骨折程度类别。
2.如权利要求1所述的骨骼检测方法，其特征在于，所述获取每个椎骨对应的多个骨骼关键点的步骤包括：
对所述骨骼图像进行边缘检测处理以获取所述角点；
对所述骨骼图像进行边缘检测处理计算得到每个所述设定位置点的第一位置信息；
基于所述角点的位置信息估算得到每个所述设定位置点的第二位置信息；
根据所述第一位置信息和/或所述第二位置信息确定每个所述设定位置点的所在位置。
3.如权利要求1所述的骨骼检测方法，其特征在于，所述方法还包括：
计算两组相对应的所述角点和/或所述设定位置点的第一距离信息和第二距离信息；
计算得到所述第一距离信息和所述第二距离信息之间的第二差距信息；
根据所述第二差距信息对应的第二设定区间，确定对应骨骼在每种骨折程度类别下对应的第三骨折程度信息；
其中，不同的所述第二设定区间对应不同的骨折程度类别；
根据所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别；或，
根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的目标骨折程度类别。
4.如权利要求3所述的骨骼检测方法，其特征在于，所述方法还包括：
根据所述第一骨折程度信息获取骨骼在每种骨折程度类别下对应的第一得分；
根据所述第二骨折程度信息获取骨骼在每种骨折程度类别下对应的第二得分；
根据所述第三骨折程度信息获取骨骼在每种骨折程度类别下对应的第三得分；
所述根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分和所述第二得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第一骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；或，
所述根据所述第一骨折程度信息、所述第二骨折程度信息和所述第三骨折程度信息确定骨骼对应的骨折程度类别的步骤包括：
对所述第一得分、所述第二得分和所述第三得分进行归一化处理，并对归一化处理后的结果进行求和处理，以得到骨骼在同一骨折程度类别下对应的总得分；
选取最高总得分或者排序靠前的任意一个总得分对应的骨折程度类别作为每个骨骼对应的目标骨折程度类别。
5.如权利要求1所述的骨骼检测方法，其特征在于，建立所述骨骼信息预测模型的步骤包括：
获取若干张样本图像；
提取出所述样本图像中标注的样本骨骼信息，所述样本骨骼信息包括样本骨骼位置信息和样本骨骼类别信息；
将每张所述样本图像作为输入，对应的所述样本骨骼信息作为输出，建立所述骨骼信息预测模型。
6.如权利要求5所述的骨骼检测方法，其特征在于，所述方法还包括：
采用所述骨骼信息预测模型输出每个所述样本图像对应的样本骨骼图像；
建立所述骨折程度预测模型的步骤包括：
获取若干张所述样本骨骼图像；
提取出所述骨骼图像中标注的样本骨折程度信息；
将每张所述样本图像作为输入，对应的所述样本骨折程度信息作为输出，建立所述骨折程度预测模型。
7.如权利要求1所述的骨骼检测方法，其特征在于，所述获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息的步骤包括：
获取不同骨骼对应的骨骼位置概率值；
选取最高骨骼位置概率值或者排序靠前的任意一个骨骼位置概率值对应的骨骼位置作为骨骼的所述骨骼位置信息；和/或，
获取不同的所述骨骼位置信息的骨骼对应的骨骼类别概率值；
选取最高骨骼类别概率值或者排序靠前的任意一个骨骼类别概率值对应的骨骼类别作为不同的所述骨骼位置信息的骨骼的所述骨骼类别信息。
8.一种骨骼检测系统，其特征在于，所述系统包括：
待检测图像获取模块，用于获取待检测图像；
所述待检测图像包括X线片图像，且对应包含多种类型骨骼的脊柱骨；
骨骼信息获取模块，用于将所述待检测图像输入至骨骼信息预测模型，以获取所述待检测图像中不同骨骼对应的骨骼位置信息和/或骨骼类别信息；
所述系统还包括：
骨骼图像提取模块，用于根据所述骨骼位置信息从所述待检测图像中提取出不同骨骼所在区域对应的骨骼图像；
第一骨折信息获取模块，用于将所述骨骼图像输入至骨折程度预测模型，以获取所述骨骼图像中的骨骼在每种骨折程度类别下的第一骨折程度信息；
当所述骨骼图像中骨骼对应椎骨时，所述系统还包括：
关键点获取模块，用于对所述骨骼图像进行边缘检测处理，以获取每个椎骨对应的多个骨骼关键点；
其中，多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧的至少四个设定位置点；
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处的四个位置点；或，
多个所述骨骼关键点对应椎骨上的四个角点、以及对称分布在椎骨延伸方向两侧且位于所述延伸方向上两个所述角点之间四分之一处和中心位置处的六个位置点；第二骨折信息获取模块，用于基于多个所述骨骼关键点确定所述骨骼图像中的骨骼在每种骨折程度类别下对应的第二骨折程度信息；
骨折程度类别确定模块，用于根据所述第一骨折程度信息和所述第二骨折程度信息确定骨骼对应的目标骨折程度类别；
所述第二骨折信息获取模块包括：
第一区域获取单元，用于获取多个所述角点形成的第一区域；
第二区域获取单元，用于获取所有所述骨骼关键点形成的第二区域；
第一差距信息计算单元，用于基于所述第一区域和所述第二区域，计算得到所述骨骼类别信息下椎骨的设定面积与实际面积的第一差距信息；
第二骨折程度信息确定单元，用于根据所述第一差距信息对应的第一设定区间，确定对应骨骼在每种骨折程度类别下对应的第二骨折程度信息；
其中，不同的所述第一设定区间对应不同的骨折程度类别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-7中任一项所述的骨骼检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的骨骼检测方法。
CN202110990749.5A 2021-08-26 2021-08-26 骨骼检测方法、系统、电子设备和存储介质 Active CN113674261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110990749.5A CN113674261B (zh) 2021-08-26 2021-08-26 骨骼检测方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110990749.5A CN113674261B (zh) 2021-08-26 2021-08-26 骨骼检测方法、系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113674261A CN113674261A (zh) 2021-11-19
CN113674261B true CN113674261B (zh) 2023-05-09

Family

ID=78546843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990749.5A Active CN113674261B (zh) 2021-08-26 2021-08-26 骨骼检测方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113674261B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN110503624A (zh) * 2019-07-02 2019-11-26 平安科技（深圳）有限公司 骨龄检测方法、系统、设备及可读存储介质
CN111325745A (zh) * 2020-03-09 2020-06-23 北京深睿博联科技有限责任公司 骨折区域分析方法和装置、电子设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0705881D0 (en) * 2007-03-27 2007-05-02 Nordic Bioscience As Vertebral fracture prediction
CN108520519B (zh) * 2018-04-11 2022-09-16 上海联影医疗科技股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN108596904B (zh) * 2018-05-07 2020-09-29 北京长木谷医疗科技有限公司 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
EP3657391B1 (en) * 2018-11-21 2023-07-26 Siemens Healthcare GmbH Processing a medical image
CN110400316A (zh) * 2019-04-19 2019-11-01 杭州健培科技有限公司 一种基于深度学习的骨科影像测量方法及装置
US11321456B2 (en) * 2019-05-16 2022-05-03 Nxp B.V. Method and system for protecting a machine learning model against extraction
CN111667474A (zh) * 2020-06-08 2020-09-15 杨天潼 骨折识别方法、装置、设备和计算机可读存储介质
CN111986177B (zh) * 2020-08-20 2023-06-16 太原科技大学 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN110503624A (zh) * 2019-07-02 2019-11-26 平安科技（深圳）有限公司 骨龄检测方法、系统、设备及可读存储介质
CN111325745A (zh) * 2020-03-09 2020-06-23 北京深睿博联科技有限责任公司 骨折区域分析方法和装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113674261A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US7065235B2 (en) Radiographic scoring method
CN110021025B (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
CN113052795B (zh) 一种x射线胸片图像质量确定方法及装置
Pietka et al. Integration of computer assisted bone age assessment with clinical PACS
US20090297012A1 (en) Methods of and System for Detection and Tracking of Osteoporosis
US20040101186A1 (en) Initializing model-based interpretations of digital radiographs
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111340827A (zh) 一种肺部ct影像数据处理分析方法及系统
CN111047611A (zh) 病灶体积测量方法和装置
CN112184617A (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
CN110992376A (zh) 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN115797730B (zh) 模型训练方法及装置、头影测量关键点定位方法及装置
CN111986182A (zh) 辅助诊断方法、系统、电子设备及存储介质
CN112508902A (zh) 白质高信号分级方法、电子设备及存储介质
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN113674261B (zh) 骨骼检测方法、系统、电子设备和存储介质
CN112233126B (zh) 医学图像的加窗方法及装置
CN113269783A (zh) 一种基于三维注意力机制的肺结节分割方法及装置
Fatema et al. Development of an automated optimal distance feature-based decision system for diagnosing knee osteoarthritis using segmented X-ray images
CN113657558B (zh) 一种针对骶髂关节ct图像的分类评级方法及装置
CN116759052B (zh) 一种基于大数据的图像存储管理系统及方法
CN114359197A (zh) 颈椎图像的质量评价方法、电子设备及存储介质
CN117037013A (zh) 超声波医学图像的自动选帧方法、装置、电子设备、介质
CN113781453A (zh) 一种基于x线片的脊柱侧凸进展预测及方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant