CN112598661A - 一种基于机器学习的踝骨折及韧带损伤诊断方法 - Google Patents

一种基于机器学习的踝骨折及韧带损伤诊断方法 Download PDF

Info

Publication number
CN112598661A
CN112598661A CN202011592286.9A CN202011592286A CN112598661A CN 112598661 A CN112598661 A CN 112598661A CN 202011592286 A CN202011592286 A CN 202011592286A CN 112598661 A CN112598661 A CN 112598661A
Authority
CN
China
Prior art keywords
fracture
ankle
tibiofibular
injury
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011592286.9A
Other languages
English (en)
Other versions
CN112598661B (zh
Inventor
孙昊
吴梦坤
孙振辉
段伦辉
谭英伦
崔睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202011592286.9A priority Critical patent/CN112598661B/zh
Publication of CN112598661A publication Critical patent/CN112598661A/zh
Application granted granted Critical
Publication of CN112598661B publication Critical patent/CN112598661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于机器学习的踝骨折及韧带损伤诊断方法，该方法确定计算机特征提取的区域，在每个区域中分别对所有X光影像骨折类型的分类进行标记，同时对该张X光影像标记对应病人的韧带损伤类型，即有损伤和无损伤；对X光影像进行预处理获取踝骨骼的前景图像；建立基于BoVW+SVM算法的踝骨折预测模型，通过Apriori算法寻找病例中骨损伤与韧带损伤之间的频繁项集，挖掘事务之间的关联规则，并将SVM分类得到的骨损伤结果作为前项输入，预测韧带损伤以及隐匿性骨损伤。通过该方法可以辅助外科医生对踝骨骼X光影像进行自动读片，节省诊治时间，提高踝损伤的诊治效果。

Description

一种基于机器学习的踝骨折及韧带损伤诊断方法
技术领域
本发明属于图像诊断领域，涉及机器学习技术，尤其是一种基于机器学习的踝骨折及韧带损伤诊断方法。
背景技术
在行走运动时踝关节需要承受1.5倍的体质量，而在跑步时需要承受8倍的体质量，所以在日常生活中踝关节非常容易受到损伤，约占全身骨折的9％。临床实践中对踝骨折的精准治疗极为困难，一是踝骨折本身损伤类型的多样性，二是除了损伤骨骼本身，韧带也会受到损伤，绝大多数医生都可以准确辨别是否存在骨折，但是经验不足的医生很难对踝损伤位置及损伤类型做出准确的判断。由于踝关节手术的不可逆性，失败的治疗方式可能会引起踝关节不稳定及关节面不匹配，继而出现关节疼痛、活动受限、早期创伤性退性变等，关节面的细微改变都会引起关节接触压力的巨大变化，严重影响患者的术后的生活质量。另外，一套完整的诊断结果需要X光、CT、MRI等多种影像，对患者而言也是高昂的医疗消费。
由于骨折损伤的多样性和个性差异性等因素，对骨折的快速准确的检测仍存在较大困难，很难准确地发现和定位骨折，也很难确定损伤的严重程度，不论是从踝关节骨折的发生率还是成功治愈率来看，足踝情况在临床中不容乐观，所以如何对踝关节骨折及时的诊断和治疗是一个急需解决的问题。
机器学习疾病诊断成为现代骨科研究的热点。2019年Kitamura等(GeneKitamura,Chul Y.Chung,Barry E.Moore.Ankle Fracture Detection Utilizing aConvolutional Neural Network Ensemble Implemented with a Small Sample,De NovoTraining,and Multiview Incorporation[J].Journal ofDigital Imaging,2019,32(4).)采用卷积神经网络(CNN)、Pinto等(Daniel Pinto dos Santos,Sebastian Brodehl,Bettina Baeβler,GordonArnhold,Thomas Dratsch,Seung-Hun Chon,PeterMildenberger,Florian Jungmann.Structured report data can be used to developdeep learning algorithms:a proofofconcept in ankle radiographs[J].Insightsinto Imaging,2019,10(1).)采用结构报告数据(SRD)完成了X线踝骨折识别，但目前对踝骨折自动诊断的研究仍停留在对骨折本质的识别，机器学习领域的分型种类不能用于踝骨折的精确分类，也无韧带损伤诊断的研究。
发明内容
针对现有的技术问题，本发明提供一种基于机器学习的踝骨折及韧带损伤诊断方法。通过该方法可以通过X光影像实现对踝骨折的自动诊断和韧带损伤、隐匿性骨折的预测，大大提高了医生的工作效率和质量，同时节省了病人的治疗时间和成本。
本发明解决其技术问题是采取以下技术方案实现的：提供一种基于机器学习的踝骨折及韧带损伤诊断方法，其特征在于，该方法包括以下内容：
第一步，获取X光影像的足踝前景图像，X光影像包括正位片和侧位片，确定计算机特征提取的区域为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝，获取骨折大致位置；
在每个区域中分别对所有X光影像骨折类型的分类进行标记，同时对该张X光影像标记对应病人的韧带损伤类型，即有损伤和无损伤；获得踝骨折X光影像的样本数据集D，数据集中样本数量n；
下胫腓联合以上胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、撕脱骨折、无骨折；
下胫腓联合水平胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以下胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以上腓骨区域骨折类型包括螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合水平腓骨区域骨折类型包括螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合以下腓骨区域骨折类型包括横行骨折、斜行骨折、无骨折；
后踝区域骨折类型包括累及关节面25％以下骨折、累及关节面25％以上骨折、无骨折；
前踝区域骨折类型包括存在骨折、无骨折；
第二步、建立基于BoVW+SVM算法的踝骨折预测模型，
采用BoVW模型进行前景图像的特征工程提取，包括特征提取和建立视觉词袋模型：
对每个区域利用HOG对前景图像进行特征提取，利用提取的特征进行字典学习，对字典中的向量进行K-means聚类，生成视觉词袋，建立不同区域的视觉词袋模型，获取X光影像对应的视觉词袋直方图；
将不同区域的视觉词袋模型分别连接一个SVM分类器，构成BoVW+SVM算法的踝骨折预测模型；BoVW+SVM算法的踝骨折预测模型的输入为前景图像，输出为输出踝骨折骨损伤的位置和类型；
第三步、通过Apriori算法挖掘所有X光影像所对应病人的病例数据，寻找病例中骨损伤与韧带损伤之间的频繁项集，挖掘事务之间的关联规则，预测骨损伤与骨损伤之间的内在联系、骨损伤与韧带损伤之间的内在联系；
第四步、输入待预测的X光影像到BoVW+SVM算法的踝骨折预测模型中，得到当前病例的踝骨折骨损伤的位置和类型，将踝骨折骨损伤的位置和类型作为前项输入到相应的关联规则中，输出X光影像中没有识别出的隐匿性骨折情况以及有无韧带损伤情况，并确定隐匿性骨折的位置和类型。
上述前景图像的获得方式是：对X光影像进行预处理，包括灰度变换归一化和随机森林处理，采用随机森林算法提取踝骨骼的前景图像，得到最佳的边缘轮廓。
一种适用于机器的踝骨折分型系统，该分型系统的构建方法是：
(1)获取足踝的X光影像，确定计算机特征提取的区域为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝，获取骨折位置；
(2)在每个区域中利用计算机通过SVM分类器对进行X光影像的骨折类型进行分类，每个区域使用一个SVM分类器，每个SVM分类器的输出对应是：
下胫腓联合以上胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、撕脱骨折、无骨折；
下胫腓联合水平胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以下胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以上腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合水平腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合以下腓骨区域骨折类型为横行骨折、斜行骨折、无骨折；
后踝区域骨折类型为累及关节面25％以下骨折、累及关节面25％以上骨折、无骨折；
前踝区域骨折类型为存在骨折、无骨折。
与现有技术相比，本发明的有益效果是：
本发明具有以下突出性质特点：
(1)传统的图像处理方法完成骨骼的提取和有效边缘的检测常用Sobel边缘检测，基于面积阈值的二值化等等，但是这类图像分割的难点在于边缘模糊，组织之间分界不明显，单独的使用传统的数字图像处理算法难以获得真实的边缘。本发明采用基于随机森林算法进行图像的预处理，对骨骼图像进行边缘提取，实现足踝轮廓提取，融合多种滤波器，将滤波器卷积而来的图像作为数据构造决策树，多棵决策树构成随机森林，通过对多个决策树的结果进行集合，既减少过拟合又可以保持模型的性能。
(2)本发明方法既结合足踝科医生的建议，又考虑了现有多种分型的不足，确定了特定的特征提取区域，既能完成骨折分型预测又能对韧带损伤情况做出预测。
本发明的显著进步如下：
(1)本发明整合了临床上现有的多种踝骨折分型方法，建立了一套完备的用于计算机的踝骨折分型系统，也能满足临床使用；实现了对骨折区域的细化、量化损伤指标，能辅助医生对踝骨折损伤有更系统、准确的认知，降低经验欠缺的医生的误诊率、误治率。
(2)传统的视觉词袋模型(BoVW)采用SIFT特征提取，但是SIFT适用于复杂环境下物体的特征提取，对刚性物体的提取效果不佳。本发明改进视觉词袋模型算法，将SIFT特征提取换成HOG特征提取，HOG特征提取忽略了光照颜色对图像造成的影响，使得图像所需要的表征数据的维度降低了，可以更好的表征X光影像中局部像素点之间的关系；
(3)由于骨结构损伤数据的类别繁杂、信息量巨大，单一的分类器训练效果不佳，本发明采用改进BoVW+SVM模型，依据特征提取区域，在多个踝骨折区域构建SVM分类器，对于不同关键区域分别进行SVM分类器的训练，整合多区域的SVM分类结果，得到踝骨折损伤的精确描述，实现多区域多目标的踝骨折自动诊断。
(4)本发明采用关联规则的算法找出病例中频繁项集，在频繁项集中挖掘踝骨折骨损伤与韧带损伤之间的关联关系，通过分类识别的骨损伤来预测韧带损伤，为踝骨折的自动诊断提出了一种新方法，为踝骨折全修复手术奠定诊断基础，对提高踝骨折诊治效果、降低手术并发症具有重要意义；同时对涉及软骨-韧带损伤的复杂关节周围骨折机器学习诊断奠定理论与技术基础，对提高我国创伤骨科诊疗水平、推动数字化医疗进步、改善国民健康具有重大而深远的意义。
(5)本发明分型系统能够提供踝骨折诊断可信赖的分型标准，并能获得可靠的数据集，用于后期的研究。
附图说明
图1是本发明方法一种实施例的整体流程示意图；
图2是本发明方法一种实施例的机器分型系统思维导图；
图3是本发明方法一种实施例的基于随机森林算法的特征重要性排序图；
图4是本发明方法一种实施例的基于分水岭算法的图像预处理的前景提取结果图像；
图5是本发明方法一种实施例的基于随机森林算法的图像预处理的前景提取结果图像；
图6是本发明方法一种实施例的HOG特征提取结果图像；
图7是本发明方法一种实施例的基于关联规则的实验结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案做进一步的阐述。
如图1所示，本发明提出了一种基于机器学习的踝骨折及韧带损伤诊断方法，其特征在于，该方法的具体步骤如下：
第一步，对X光影像进行预处理：包括灰度变换归一化和随机森林处理，采用随机森林算法提取踝骨骼的前景图像，得到最佳的边缘轮廓；
收集医院影像科的踝骨折X光影像，对X光影像进行预处理包括灰度变换归一化和随机森林处理，采用随机森林算法提取踝骨骼的前景图像，建立预处理后的样本数据集D，本实施例中预处理后的数据集大小为500-600，
第二步，获得标记数据集：
获取X光影像的足踝前景图像，X光影像包括正位片和侧位片，确定计算机特征提取的区域为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝，获取骨折大致位置；
在每个区域中分别对所有X光影像骨折类型的分类进行标记，同时对该张X光影像标记对应病人的韧带损伤类型，即有损伤和无损伤，获得标记数据集。
整合现有的Lauge-Hansen、AO、Bartonicek等多种踝骨折分型方式，参考足踝科医生的临床建议，踝骨折多发于胫骨、腓骨中下1/3段，由于现临床上踝损伤的诊断以Lauge-Hansen为主，Lauge-Hansen分型根据受伤时时足位置(旋前、旋后)和破坏力方向(内收、外展、外旋、背伸)分为5型，能够初步预测韧带损伤，但Lauge-Hansen着重于损伤机制，对于损伤位置及类型没有做到准确量化，
本发明确定特征提取的分区为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝以及前踝八个特征区域，以及长螺旋骨折、短螺旋骨折、横行骨折、纵行骨折、斜形骨折、粉碎骨折、压缩骨折、撕脱骨折、累及关节面25％以下骨折、累及关节面25％以上骨折等多种骨折类型，最后将特征区域与骨折类型进行配对组合，既考虑了腓骨骨折高度、下胫腓联合以及胫距关系又考虑了后踝骨折的量化。
根据踝关节解剖结构，韧带主要分为踝韧带和下胫腓联合韧带，其中踝韧带包括距腓前韧带、距腓后韧带、跟腓韧带、三角韧带、骨间韧带；下胫腓联合韧带包括下胫腓前联合韧带、下胫腓后联合韧带。特征均选取韧带损伤和无损伤。
第三步，建立基于BoVW+SVM算法的踝骨折预测模型，
采用BoVW模型对第二步进行标记数据集的前景图像进行特征工程提取，包括特征提取和建立视觉词袋模型：
对每个区域利用HOG对前景图像进行特征提取，利用提取的特征进行字典学习，对字典中的向量进行K-means聚类，生成视觉词袋，建立不同区域的视觉词袋模型，获取X光影像对应的视觉词袋直方图；
将不同区域的视觉词袋模型分别连接一个SVM分类器，构成BoVW+SVM算法的踝骨折预测模型；BoVW+SVM算法的踝骨折预测模型的输入为前景图像，输出为输出踝骨折骨损伤的位置和类型；
在Windows上搭建scikit-learn机器学习框架，建立基于BoVW+SVM算法的踝骨折预测模型，将标记数据集的80％作为训练集对基于BoVW+SVM算法的踝骨折预测模型进行训练，并用余下的20％作为测试集对训练好的基于BoVW+SVM算法的踝骨折预测模型进行调参、测试，得到训练好的基于BoVW+SVM算法的踝骨折预测模型；
本发明选择HOG进行特征提取，实现了刚性物体的特征提取，并在踝骨折的多个区域分别构建SVM分类器，最后整合多个SVM分类结果，实现多区域多目标的踝骨折自动诊断。即针对下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝、前踝八个关键位置分别使用SVM分类器进行训练。将HOG特征信息及分类标签输入SVM训练后让机器自动寻找不同骨折类型特征之间的关系方程，并不断优化SVM参数。
第四步、通过Apriori算法挖掘所有X光影像所对应病人的病例数据(该病例数据包括核磁数据、骨损伤、韧带损伤情况)，寻找病例中骨损伤与韧带损伤之间的频繁项集，挖掘事务之间的关联规则，预测骨损伤与骨损伤之间的内在联系、骨损伤与韧带损伤之间的内在联系；
第五步、输入待预测的X光影像的前景图像到BoVW+SVM算法的踝骨折预测模型中，得到当前病例的踝骨折骨损伤的位置和类型，将踝骨折骨损伤的位置和类型作为前项输入到相应的关联规则中，输出X光影像中没有识别出的隐匿性骨折情况以及有无韧带损伤情况，并确定隐匿性骨折的位置和类型。本发明方法能够识别X光影像中没有识别出的隐匿性骨折情况。
对X光影像进行预处理的过程为：首先对从医院直接获得的每张X光影像按照下式进行灰度变换归一化，
Figure BDA0002867237510000061
上述公式中G表示原始图像的灰度值，G籨表示灰度变换归一化后图像的灰度值，Gmax和Gmin分别表示原图像的最大灰度值和最小灰度值。
将每个X光影像分别作为一个样本集，在样本集中，每个像素点构成一个样本，将每个X光影像提取若干像素点，每个像素点通过手动绘图进行人工分割标记像素点分别属于骨骼(前景)还是背景；用人工分割标记了前景和背景的X光影像训练随机森林模型，所述随机森林模型采用9种滤波器构成，分别为Gabor、Canny、Roberts、Sobel、Scharr、Prewitt、Gaussian、Variance以及中值滤波器，分析随机森林模型中每个特征(这里的特征是指每个像素点，特征是随机森林模型随机选取的，随机森林中的子树的每个分裂过程是从所有待选特征中随机选取一定特征，对随机森林中每棵树的各特征进行重要性的计算，由于每个特征在多棵树中出现，取这个特征值在多棵树中重要性的均值，作为该特征在随机森林的特征重要性)的重要性程度，并将森林中所有树的特征重要性求和并取平均值，得到随机森林的特征重要性。
滤波器的选择不固定，本发明选择这9种常见的滤波器构造决策树，得到最佳的边缘轮廓，效果好。这些决策树彼此完全独立，随机森林算法对每个树进行不同的随机选择，以确保树与树之间的区别。每棵树的预测情况都可能较好，但是会存在过拟合，如果每棵树的训练数据有所不同，那么可以通过最终结果取平均来降低过拟合，这样就可以即减少过拟合又可以保持模型的性能，
表1随机森林中的滤波器详情
Figure BDA0002867237510000062
Figure BDA0002867237510000071
决策树是构成随机森林的基本单元，对于一项分类任务，决策树通过不断询问产生子节点来达到分类目的。子节点所使用特征的选择有多种方法，可以用GINI系数测量不纯度，也可以用CART方法。
上述GINI系数G公式为：
Figure BDA0002867237510000072
上述公式中，pi，c是第i个节点上、类别数为c的训练实例占比，nc为类别总数
如果某个特征其实例只有一个类别，那么其基尼系数就是纯的，也就是Gi＝0，决策树会将这样的特征节点放在相对靠近根部的位置。
CART方法是一种贪婪算法，他从顶层开始搜索最优分裂，然后每层重复该过程以求得分类器性能最优。首先使用单个特征f和阈值tf，来训练分裂成为两个子集，通过计算产生目前最适合的节点，CART分类成本函数为：
Figure BDA0002867237510000073
上述公式中，Gleft、Gright分别为左、右两个子集的基尼不纯度，m为集合内样本数量，mleft、mright分别为左、右子集的样本数量，J为CART分类成本函数。
随机森林命名来源于将随机性添加到树的构建之中，构造过程可以选择对每棵树以不同的特征，或选择予以每棵树不同的数据样本。
随机森林的分类与回归性能非常强大，通过分析模型中每个特征的重要性程度，可以看出哪些特征是模型认为重要的特征，然后将森林中所有树的特征重要性求和并取平均值，得到随机森林的特征重要性。这种特征重要性大小的分析过程有利于理解模型的运作规律，剔除不重要的特征，把握整体特征，比单棵树给出的特征重要性更可靠。本申请创造性地采用多种滤波器，构造内部决策树，利用随机森林的集成功能，对多个决策树的结果进行集合，实现图像分割处理，获得最佳前景图像。
采用BoVW模型进行前景图像的特征工程提取的处理过程为：HOG是一个局部特征，所以首先需要把图像分割成很多像素矩阵块，然后对每一块计算HOG特征。然后计算每个区块的方向梯度直方图，利用Sobel梯度算子对每个小块进行卷积，计算得到每个像素点处的梯度方向和幅值，再将360度(2π)根据需要分割成若干份，然后根据每个像素点的梯度方向，利用双线性插值法将其幅值累加到直方图中。
上述Sobel梯度算子包含两组3×3的矩阵，分别为横向和纵向，将其与图像分别作卷积，即可得到横向和纵向边缘检测的图像梯度值，Sobel算子的卷积公式为：
Figure BDA0002867237510000081
Figure BDA0002867237510000082
其中Gx为原始像素点经过Sobel梯度算子卷积后得到的x方向的梯度值，Gy为原始像素点经过Sobel梯度算子卷积后得到的y方向的梯度值，A为以原始像素点为中心的3×3大小的原图像像素矩阵块。
建立不同区域的视觉词袋模型的具体步骤为：利用HOG特征提取得到的特征向量集，抽取其中有代表性的向量作为单词，形成视觉词袋，对图像进行视觉单词的统计，判断图像的局部区域和某一单词的相似性是否超过某一阈值(阈值一般设为0.5％)。这样即可将图像表示成单词的分布，即完成了图像的表示。
由于踝骨折损伤类型繁多，全局词袋对于视觉单词的辨别能力会有所下降，本发明采用针对不同类别的聚类方式，对不同区域进行采样分块，设视觉词袋为{m1，m2，m3，...，mk},计算HOG提取的样本特征向量与每个视觉单词之间的欧式距离，从而将特征vi用距离其最近的视觉单词代替。
采用K-means聚类生成下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝及前踝的多个视觉词袋模型，最终组合成一个踝骨折联合词袋。
上述K-means聚类算法是一种无监督的聚类分析算法，适用于处理大规模数据，处理效果较好,其原理是在特征点集X＝{x1，x2，x3，...，xn}中得到v个聚类中心{μ1，μ2，μ3，...，μv}，满足特征点集合中的特征点到所属聚类中心的距离平方和最小，其目标函数表达式为：
Figure BDA0002867237510000083
上述公式中，n为样本数，v为聚类中心数，i为随机特征点为随机参数，j为随机聚类中心。
建立基于BoVW+SVM算法的踝骨折预测模型，由于使用单一的分类器容易导致机器学习分类效果不佳，影响识别效果，本发明采用多个SVM分类器对内踝、外踝、后踝的多个骨区域进行分类训练，利用SVM构造多分类器的具体步骤为：对于每个区域设有M个类别的样本，对每个类别的样本分别构造二分类器，通过输入正样本和其他类别样本训练模型，得到M个二分类器，然后用训练得到的M个二分类器对该区域内所有样本进行分类，得到不同的分类结果，取结果最大的分类器正样本作为当前未知样本的诊断结果。
上述提到的核支持向量机(SVM)是一种有监督的分类回归学习模型，SVM学习每个训练数据点对于两个类别之间的决策边界的重要性，其目标函数表达式为：
Figure BDA0002867237510000091
上述公式中，w是参数向量，x是特征向量，b是截距，n为样本数，i是随机样本，yi是样本i的真实标签，定义当实例为负类时，yi＝0，当实例为正类时，yi＝1。
挖掘事务之间的关联规则的具体步骤为：
确定关联规则中的字段为下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝、前踝、距腓前韧带、距腓后韧带、跟腓韧带、三角韧带、骨间韧带、下胫腓前联合韧带、下胫腓后联合韧带。
并确定每个字段的属性，即各区域对应的骨折类型、以及标记的有无骨折情况。根据所有病例数据建立特征集，并通过Apriori算法挖掘特征集中各属性之间的关联关系，关联分析出形如“由于某些事件的发生而引起另外一些事件的发生”之类的规则，通过设置支持度，找出满足最小支持度的所有频繁项集，利用频繁1-项集进行项集的过滤，循环遍历数据集，直到生成频繁k-项集，其中已不再生成可能满足最小支持度的(k+1)项集，使用得到的频繁项集中挖掘事务之间的关联规则，从而预测骨损伤与骨损伤之间、骨损伤与韧带损伤之间的内在联系。本发明中挖掘的规则不一定，根据数据集的不同，病例中挖掘的频繁项集会有所不同，关联规则是在频繁项集中挖掘的，表示出前件、后件同时出现的概率。
首先是从项集中找出所有支持度不小于最小支持度阈值的频繁项集，统计所有含一个元素的项集出现的概率，将不小于最小支持度的1-项集作为频繁项集并保留，通过定义最小支持度实现对项集的过滤，然后利用频繁1-项集自身进行连接和剪枝，产生候选2-项集，遍历数据集统计候选2-项集的支持度，将不小于最小支持度的2-项集作为频繁2-项集并保留，重复步骤生成频繁k-项集。接下来是设定置信度，本实施例中支持度为0.3，置信度为0.6，选出不小于最小置信度的频繁项集产生关联规则集。
上述关联规则中支持度的计算公式为：
Figure BDA0002867237510000092
置信度的计算公式为：
Figure BDA0002867237510000093
上述公式中，X、Y表示两个项集，N为事务集，σ(X∪Y)表示X与Y同时出现的概率，σ(X)表示出现X的概率。
图2显示了本发明方法整合Lauge-Hansen、AO、Bartonicek等多种踝骨折分型，建立机器分型系统的思维导图。踝骨折机器分型系统包括踝韧带、下胫腓联合韧带、内踝、外踝、后踝、前踝。对应的踝骨折机器分型系统还包括踝韧带和下胫腓联合韧带，将韧带损伤情况分成有无损伤。确定特征提取的分区为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝以及前踝八个特征区域，根据每个特征区域骨折类型的不同，细化分型，确定下胫腓联合以上胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、撕脱骨折、无骨折；下胫腓联合水平胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；下胫腓联合以下胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；下胫腓联合以上腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；下胫腓联合水平腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；下胫腓联合以下腓骨区域骨折类型为横行骨折、斜行骨折、无骨折；后踝区域骨折类型为累及关节面25％以下骨折、累及关节面25％以上骨折、无骨折；前踝区域骨折类型为存在骨折、无骨折。以此构建了一种适用于机器的踝骨折分型系统。
如图3所示，本发明方法一种实施例的基于随机森林算法的特征重要性排序的实现过程为；将踝骨折X光影像数据作为原始数据集(该原始数据集中标记了前景和背景)，训练随机森林模型以得到特征重要性，利用sklearn工具包调用函数，即可实现基于随机森林的特征重要性排序。图中横纵坐标分别代表滤波器类别以及每个特征所占的比重，特征重要性排序是随机森林算法中的一步，通过分析特征重要性可以看出哪些特征是模型认为重要的特征，这样又便于理解模型的运作规律，并剔除那些不重要的特征，优化模型。
图4显示了传统采用分水岭算法的对X光影像进行预处理时结果图像，用于对比实验，可以看出传统的图像处理方法的分割效果不佳，虽然保持了骨骼形状，但丢失了骨折线细节，由于测试图片亮度不均，骨骼内部存在较多分类失误的点，没有完整的提取出骨骼特征；采用分水岭做对比实验，以突出本申请采用的随机森林算法的显著效果。
图5显示了本发明方法采用随机森林算法对X光影像进行预处理时结果图像，考虑到每张X光影像的灰度阈值，由于每张影像阈值设定不同，传统图像处理无法很好的分割，所以采用随机森林算法，该方法不需要设定阈值。由于传统的图像处理方法很难完整的提取骨骼前景图像，所以本发明基于随机森林算法对图像进行预处理，该图即为基于随机森林算法的图像预处理的前景提取结果图像。
图6显示了本发明方法的特征工程结果图像，从该图可以看出利用HOG特征提取可以很好的提取出指定区域图像信息。
图7是本发明方法一种实施例的基于关联规则的实验结果示意图，该图是输入少量病例，支持度为0.3，置信度为0.6时的实验结果。输入测试病例，病例信息包括踝骨折骨损伤及韧带损伤情况，根据分型系统，选择关联规则的字段为下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝、距腓前韧带、距腓后韧带、跟腓韧带、三角韧带、骨间韧带、下胫腓前联合韧带、下胫腓后联合韧带，再依次选择字段的属性，即骨折类型。韧带损伤类型为有损伤和无损伤。通过设定支持度0.3，可以对测试病例进行初步筛选，找出频繁项集，即踝骨折病例中多次出现的损伤类型，然后通过设定置信度0.6，在频繁项集中挖掘关联规则，求解两事务或多事务之间同时出现的概率，从而实现预测。如骨折类型与韧带损伤情况对应的关联规则。
本发明的基于机器学习的踝骨折及韧带损伤诊断方法，通过随机森林算法进行图像预处理，在BoVW+SVM算法的基础上进行了改进，将原模型中的SIFT特征提取算子换成HOG，并在踝骨折的多个区域分别构建SVM分类器，最后整合多个SVM分类结果，然后整合多个SVM分类器对骨损伤的分类结果，实现多区域多目标的机器，完成踝骨折骨损伤的精确诊断，然后通过关联规则挖掘骨损伤与韧带损伤的联系，从而达到了踝骨折及韧带损伤诊断的目的，仅通过X光影像即可实现踝骨折及韧带损伤的诊断，提高了踝骨折在临床上的诊治效果，具有非常大的应用价值。
实施例
本实施例的一种基于机器学习的踝骨折及韧带损伤诊断方法，具体步骤如下：
第一步，整合现有的踝骨折分型方式，建立适用于机器的踝骨折分型系统；
整合现有的Lauge-Hansen、AO、Bartonicek等多种踝骨折分型方式，参考足踝科医生的临床建议，由于现临床上踝损伤的诊断以Lauge-Hansen为主，Lauge-Hansen分型根据受伤时时足位置(旋前、旋后)和破坏力方向(内收、外展、外旋、背伸)分为5型，能够初步预测韧带损伤，但Lauge-Hansen着重于损伤机制，对于损伤位置及类型没有做到准确量化，所以本发明是在Lauge-Hansen基础上，参考AO中对于腓骨骨折高度、下胫腓联合以及胫距关系的研究、Bartonicek对于后踝骨折的量化研究，确定特征提取的分区为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝以及前踝八个特征区域，以及长螺旋骨折、短螺旋骨折、横行骨折、纵行骨折、斜形骨折、粉碎骨折、压缩骨折、撕脱骨折、累及关节面25％以下骨折、累及关节面25％以上骨折多种骨折类型。最后将特征区域与骨折类型进行配对组合，构建了一种适用于机器的踝骨折分型系统。
第二步，收集医院影像科的踝骨折X光影像，建立数据集，对X光影像进行预处理，采用随机森林算法提取踝骨骼的前景图像，得到样本数据集D，大小为n；
对数据集预处理的过程为：将每张图片进行灰度变换归一化处理，然后将每个像素点通过手动绘图进行人工分割标记像素点分别属于骨骼还是背景，构建样本集，选取Gabor、Canny、Roberts、Sobel、Scharr、Prewitt、Gaussian、Variance以及中值滤波器构建随机森林模型，分析模型中每个特征的重要性程度，并将森林中所有树的特征重要性求和并取平均值，得到随机森林的特征重要性。
灰度变换归一化是利用灰度拉伸的方法将原图像中的灰度分布扩展到具有整个灰度级的图像。例如，采集到的手背静脉图像是8位的灰度图像，应有256个灰度级，但往往由于采集时光照等因素的影响，图像的灰度级集中在一个或者几个灰度级区段，这时可以采用灰度拉伸的方法将图像扩展到256个灰度级。
上述灰度变化归一化公式为：
Figure BDA0002867237510000111
上述公式中G表示原始图像的灰度值，G籨表示灰度变换归一化后图像的灰度值，Gmax和Gmin分别表示原图像的最大灰度值和最小灰度值。
子节点所使用特征的选择有多种方法，可以用GINI系数测量不纯度，也可以用CART方法。
上述GINI系数公式为：
Figure BDA0002867237510000121
上述公式中，pi，c是第i个节点上、类别数为c的训练实例占比，nc为类别总数。
如果某个特征其实例只有一个类别，那么其基尼系数就是纯的，也就是Gi＝0，决策树会将这样的特征节点放在相对靠近根部的位置。
CART方法是一种贪婪算法，他从顶层开始搜索最优分裂，然后每层重复该过程以求得分类器性能最优。首先使用单个特征f和阈值tf，来训练分裂成为两个子集，通过计算产生目前最适合的节点，CART分类成本函数为：
Figure BDA0002867237510000122
上述公式中,Gleft、Gright分别为左、右两个子集的基尼不纯度，m为集合内样本数量，mleft、mright分别为左、右子集的样本数量，J为CART分类成本函数
第三步，通过HOG进行踝骨折的特征工程处理，利用提取的特征进行字典学习，对字典中的向量进行K-means聚类，生成视觉词袋，根据视觉词袋模型，获取X光影像对应的视觉词袋直方图；
通过HOG进行特征工程的处理过程为：HOG是一个局部特征，所以首先需要把图像分割成很多像素矩阵块，然后对每一块计算HOG特征。然后计算每个区块的方向梯度直方图，利用Sobel梯度算子对每个小块进行卷积，计算得到每个像素点处的梯度方向和幅值，再将360度(2π)根据需要分割成若干份，然后根据每个像素点的梯度方向，利用双线性插值法将其幅值累加到直方图中。
上述Sobel梯度算子包含两组3×3的矩阵，分别为横向和纵向，将其与图像分别作卷积，即可得到横向和纵向边缘检测的图像梯度值，Sobel算子的卷积公式为：
Figure BDA0002867237510000123
Figure BDA0002867237510000124
其中Gx为原始像素点经过Sobel梯度算子卷积后得到的x方向的梯度值，Gy为原始像素点经过Sobel梯度算子卷积后得到的y方向的梯度值，A为以原始像素点为中心的3×3大小的原图像像素矩阵块。
构建视觉词袋模型的具体步骤为：利用HOG特征提取得到的特征向量集，抽取其中有代表性的向量作为单词，形成视觉词袋，对图像进行视觉单词的统计，判断图像的局部区域和某一单词的相似性是否超过某一阈值，这样即可将图像表示成单词的分布，即完成了图像的表示。
上述HOG特征的基本思想是图像中对象的局部形状和外观可以使用边缘方向的分布来表示。
由于踝骨折损伤类型繁多，全局词袋对于视觉单词的辨别能力会有所下降，本发明采用针对不同类别的聚类方式，结合第一步建立的机器分型系统进行手动区分。然后进行采样分块，设视觉词袋为{m1，m2，m3，...，mk},计算样本特征与每个视觉单词之间的欧式距离，从而将特征用距离其最近的视觉单词代替。
采用K-means聚类生成下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝及前踝的多个视觉词袋，最终组合成一个踝骨折联合词袋。
上述K-means聚类算法是一种无监督的聚类分析算法，适用于处理大规模数据，处理效果较好，其原理是在特征点集X＝{x1，x2，x3，...，xn中得到v个聚类中心{μ1，μ2，μ3，...，μv}，满足特征点集合中的特征点到所属聚类中心的距离平方和最小，其目标函数表达式为：
Figure BDA0002867237510000131
上述公式中，n为样本数，v为聚类中心数，i为随机特征点，j为随机聚类中心。
第四步，在Windows上搭建scikit-learn机器学习框架，建立基于BoVW+SVM算法的踝骨折预测模型，将数据集的80％作为训练集,并用余下的20％作为测试集，得到踝骨折的预测结果；
由于使用单一的分类器容易导致机器学习分类效果不佳，影响识别效果，本发明采用多个SVM分类器对内踝、外踝、后踝的多个骨区域进行分类训练，利用SVM构造多分类器的具体步骤为：设有N个类别的样本，对每个类别的样本分别构造二分类器，通过输入正样本和其他类别样本训练模型，得到N个二分类器，然后用训练得到的N个二分类器对所有样本进行分类，得到不同的分类结果，取结果最大的分类器正样本作为当前未知样本的诊断结果。
上述提到的核支持向量机(SVM)是一种有监督的分类回归学习模型，SVM学习每个训练数据点对于两个类别之间的决策边界的重要性，只输出类别。当wTx+b为正时，预测属于正类，当wTx+b为负时，预测属于负类。
其目标函数表达式为：
Figure BDA0002867237510000132
上述公式中，w为参数向量，x为特征向量，b为截距，n为样本数，i是样本，yi是样本i的真实标签，定义当实例为负类时，yi＝0，当实例为正类时，yi＝1。
SVM的一个重要创新就是核技巧，核技巧是一种能够使用数据原始空间中的向量计算来表示升维后的空间中的点积结果的数学方式。本发明使用的核函数为高斯径向基函数，表达式为：
K(u，v)＝N(u-v；0，σ2I)
上述公式中，N(x；μ，Σ)为标准正态密度，u-v为核函数中心，σ为函数的宽度参数。
第五步，通过Apriori算法挖掘病例数据，寻找病例中骨损伤与韧带损伤之间的频繁项集，挖掘事务之间的关联规则；
通过挖掘关联规则的具体步骤为：根据病例建立特征集，并通过Apriori算法挖掘特征集中各属性之间的关联关系，关联分析出形如“由于某些事件的发生而引起另外一些事件的发生”之类的规则，通过设置支持度，找出满足最小支持度的所有频繁项集，利用频繁1-项集进行项集的过滤，循环遍历数据集，直到生成频繁k-项集，其中已不再生成可能满足最小支持度的(k+1)项集，使用得到的频繁项集中挖掘事务之间的关联规则，表示出前件、后件同时出现的概率，从而预测骨损伤与骨损伤之间、骨损伤与韧带损伤之间的内在联系。
首先是从项集中找出所有支持度不小于最小支持度阈值的频繁项集，统计所有含一个元素的项集出现的概率，将不小于最小支持度的1-项集作为频繁项集并保留，通过定义最小支持度实现对项集的过滤，然后利用频繁1-项集自身进行连接和剪枝，产生候选2-项集，遍历数据集统计候选2-项集的支持度，将不小于最小支持度的2-项目集作为频繁2-项集并保留，重复步骤生成频繁k-项集。接下来是设定置信度，选出不小于最小置信度的频繁项集产生关联规则集。
上述关联规则中支持度的计算公式为：
Figure BDA0002867237510000141
置信度的计算公式为：
Figure BDA0002867237510000142
上述公式中，X、Y表示两个项集，N为事务集，σ(X∪Y)表示X与Y同时出现的概率，σ(X)表示出现X的概率。
第六步，将第三步中SVM分类得到的踝骨折的结果作为前项输入，后项输出为韧带损伤的预测结果，以及X光影像中没有识别出的隐匿性骨折情况分析，整理得到踝骨折及韧带损伤诊断结果。
上述实施例中，所述随机森林算法、HOG特征提取、BoVW模型、Apriori算法挖掘关联规则是本领域公知的方法。
本发明中踝骨折机器学习影像特征提取更多关注多结构骨损伤特点，通过多结构信息把握整体并据此量化评估韧带损伤。本发明方法可以辅助外科医生对踝骨骼X光影像进行自动读片，实现骨折的自动检测和及韧带损伤的预测，可以极大程度上缩短踝骨折患者在临床上的诊断及治疗时间，对提高踝骨折诊治效果、降低手术并发症具有重要意义。
本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于机器学习的踝骨折及韧带损伤诊断方法，其特征在于，该方法包括以下内容：
对X光影像进行预处理获取踝骨骼的前景图像；
确定计算机特征提取的区域为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝，获取骨折大致位置；
在每个区域中分别对所有X光影像骨折类型的分类进行标记，同时对该张X光影像标记对应病人的韧带损伤类型，即有损伤和无损伤；
下胫腓联合以上胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、撕脱骨折、无骨折；
下胫腓联合水平胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以下胫骨区域骨折类型包括横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以上腓骨区域骨折类型包括螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合水平腓骨区域骨折类型包括螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合以下腓骨区域骨折类型包括横行骨折、斜行骨折、无骨折；
后踝区域骨折类型包括累及关节面25％以下骨折、累及关节面25％以上骨折、无骨折；
前踝区域骨折类型包括存在骨折、无骨折；
建立基于BoVW+SVM算法的踝骨折预测模型：
采用BoVW模型进行前景图像的特征工程提取，包括特征提取和建立视觉词袋模型：
对每个区域利用HOG对前景图像进行特征提取，利用提取的特征进行字典学习，对字典中的向量进行K-means聚类，生成视觉词袋，建立不同区域的视觉词袋模型，获取X光影像对应的视觉词袋直方图；
将不同区域的视觉词袋模型分别连接一个SVM分类器，构成BoVW+SVM算法的踝骨折预测模型；BoVW+SVM算法的踝骨折预测模型的输入为前景图像，输出为输出踝骨折骨损伤的位置和类型；所述SVM分类器为多分类器；
通过Apriori算法挖掘所有X光影像所对应病人的病例数据，寻找病例中骨损伤与韧带损伤之间的频繁项集，挖掘事务之间的关联规则，预测骨损伤与骨损伤之间的内在联系、骨损伤与韧带损伤之间的内在联系；
输入待预测的X光影像到BoVW+SVM算法的踝骨折预测模型中，得到当前病例的踝骨折骨损伤的位置和类型，将踝骨折骨损伤的位置和类型作为前项输入到相应的关联规则中，输出X光影像中没有识别出的隐匿性骨折情况以及有无韧带损伤情况，并确定隐匿性骨折的位置和类型。
2.根据权利要求1所述的诊断方法，其特征在于所述X光影像包括正位片和侧位片，所述预处理包括灰度变换归一化和随机森林处理，采用随机森林算法提取踝骨骼的前景图像；
预处理的具体步骤是：对每张图片进行灰度变换归一化，提取每张图片的若干像素点，每个像素点通过手动绘图进行人工标记出骨骼和背景，然后构建随机森林模型进行多种滤波器的学习，保留重要特征，训练出最优的随机森林模型；
上述灰度变换归一化公式为：
Figure FDA0002867237500000021
上述公式中G表示原始图像的灰度值，G′表示灰度变换归一化后图像的灰度值，Gmax和Gmin分别表示原图像的最大灰度值和最小灰度值；
所述随机森林模型采用9种滤波器构成，分别为Gabor、Canny、Roberts、Sobel、Scharr、Prewitt、Gaussian、Variance以及中值滤波器。
3.根据权利要求1所述的诊断方法，其特征在于，HOG对前景图像进行特征提取的过程是：首先需要把图像分割成很多像素矩阵块，然后对每一块计算HOG特征；然后计算每个区块的方向梯度直方图，利用Sobel梯度算子对每个小块进行卷积，计算得到每个像素点处的梯度方向和幅值，再将360度(2π)根据需要分割成若干份，然后根据每个像素点的梯度方向，利用双线性插值法将其幅值累加到直方图中；
上述Sobel梯度算子包含两组3×3的矩阵，分别为横向和纵向，将其与图像分别作卷积，即得到横向和纵向边缘检测的图像梯度值，Sobel算子的卷积公式为：
Figure FDA0002867237500000022
Figure FDA0002867237500000023
上述公式中Gx为原始像素点经过Sobel梯度算子卷积后得到的x方向的梯度值，Gy为原始像素点经过Sobel梯度算子卷积后得到的y方向的梯度值，A为以原始像素点为中心的3×3大小的原图像像素矩阵块。
4.根据权利要求1所述的诊断方法，其特征在于，所述视觉词袋模型的构建步骤包括：利用HOG特征提取得到的特征向量集，抽取其中有代表性的向量作为单词，形成视觉词袋，对图像进行视觉单词的统计，判断图像的局部区域和某一单词的相似性是否超过某一阈值，这样即完成了图像的表示；采用针对不同类别的聚类方式，整理踝骨折损伤的分型方式以及数据集中骨折的坐标位置和类型，进行手动区分；然后进行采样分块，形成特征描述子，采用K-means聚类生成下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝及前踝的多个视觉词袋模型，多个视觉词袋模型最终组合成一个踝骨折联合词袋。
5.根据权利要求1所述的诊断方法，其特征在于，每个分类器中结果最大的正样本作为当前未知样本的诊断结果，其中SVM分类器的目标函数表达式为：
Figure FDA0002867237500000031
上述公式中，w是参数向量，x是特征向量，b是截距，n为样本数，yi是样本i的真实标签，定义当实例为负类时，yi＝0，当实例为正类时，yi＝1。
6.根据权利要求1所述的诊断方法，其特征在于，关联规则的挖掘步骤包括：确定关联规则中的字段为下胫腓联合以上胫骨、下胫腓联合水平胫骨、下胫腓联合以下胫骨、下胫腓联合以上腓骨、下胫腓联合水平腓骨、下胫腓联合以下腓骨、后踝、前踝、踝韧带和下胫腓联合，其中踝韧带的属性包括距腓前韧带损伤、跟腓韧带损伤、距腓后韧带损伤、三角韧带损伤、骨间韧带损伤；下胫腓联合的属性包括下胫腓前联合韧带损伤、下胫腓后联合韧带损伤；
根据病例建立特征集，并通过Apriori算法挖掘特征集中各属性之间的关联关系，通过设置支持度，找出满足最小支持度的所有频繁项集，利用频繁1-项集进行项集的过滤，循环遍历数据集，直到生成频繁k-项集，其中已不再生成能满足最小支持度的(k+1)项集，然后通过设置置信度，在已经得到的频繁项集中挖掘事务之间的关联规则，从而预测骨损伤与骨损伤之间、骨损伤与韧带损伤之间的内在联系。
7.一种适用于机器的踝骨折分型系统，其特征在于，该分型系统的构建方法是：
(1)获取足踝的X光影像，确定计算机特征提取的区域为下胫腓联合以下胫骨、下胫腓联合水平胫骨、下胫腓联合以上胫骨、下胫腓联合以下腓骨、下胫腓联合水平腓骨、下胫腓联合以上腓骨、后踝、前踝，获取骨折位置；
(2)在每个区域中利用计算机通过SVM分类器对进行X光影像的骨折类型进行分类，每个区域使用一个SVM分类器，每个SVM分类器的输出对应是：
下胫腓联合以上胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、撕脱骨折、无骨折；
下胫腓联合水平胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以下胫骨区域骨折类型为横行骨折、斜行骨折、纵行骨折、粉碎骨折、无骨折；
下胫腓联合以上腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合水平腓骨区域骨折类型为螺旋行骨折、横行骨折、斜行骨折、粉碎骨折、压缩骨折、无骨折；
下胫腓联合以下腓骨区域骨折类型为横行骨折、斜行骨折、无骨折；
后踝区域骨折类型为累及关节面25％以下骨折、累及关节面25％以上骨折、无骨折；
前踝区域骨折类型为存在骨折、无骨折。
CN202011592286.9A 2020-12-29 2020-12-29 一种基于机器学习的踝骨折及韧带损伤诊断方法 Active CN112598661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011592286.9A CN112598661B (zh) 2020-12-29 2020-12-29 一种基于机器学习的踝骨折及韧带损伤诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011592286.9A CN112598661B (zh) 2020-12-29 2020-12-29 一种基于机器学习的踝骨折及韧带损伤诊断方法

Publications (2)

Publication Number Publication Date
CN112598661A true CN112598661A (zh) 2021-04-02
CN112598661B CN112598661B (zh) 2022-07-22

Family

ID=75204096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011592286.9A Active CN112598661B (zh) 2020-12-29 2020-12-29 一种基于机器学习的踝骨折及韧带损伤诊断方法

Country Status (1)

Country Link
CN (1) CN112598661B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570579A (zh) * 2021-07-29 2021-10-29 广州东利运动科技有限公司 一种判断足踝异常旋转机制的图像检测识别方法
CN113576661A (zh) * 2021-08-03 2021-11-02 天津大学 面向骨折手术机器人的踝关节骨折术后早期量化康复方法
CN115292828A (zh) * 2022-07-12 2022-11-04 中国人民解放军总医院第四医学中心 一种治疗干骺端骨折的解剖型钢板及其形态设计方法及装置
CN115331825A (zh) * 2022-07-26 2022-11-11 上海交通大学医学院附属新华医院 一种基于大数据多层次特征挖掘的骨折风险预测模型
CN115409834A (zh) * 2022-10-30 2022-11-29 四川大学华西医院 一种用于跟腱病诊断的特征提取方法、系统和存储介质
CN117437392A (zh) * 2023-12-15 2024-01-23 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107591200A (zh) * 2017-08-25 2018-01-16 卫宁健康科技集团股份有限公司 基于深度学习及影像组学的骨龄标记识别评估方法及系统
CN108171714A (zh) * 2017-11-13 2018-06-15 合肥阿巴赛信息科技有限公司 一种基于成对比较的骨折区域识别方法和系统
CN108564111A (zh) * 2018-03-26 2018-09-21 太原理工大学 一种基于邻域粗糙集特征选择的图像分类方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN111325745A (zh) * 2020-03-09 2020-06-23 北京深睿博联科技有限责任公司 骨折区域分析方法和装置、电子设备及可读存储介质
CN112017204A (zh) * 2020-07-08 2020-12-01 温州大学 一种基于边缘标记图神经网络的刀具状态图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107591200A (zh) * 2017-08-25 2018-01-16 卫宁健康科技集团股份有限公司 基于深度学习及影像组学的骨龄标记识别评估方法及系统
CN108171714A (zh) * 2017-11-13 2018-06-15 合肥阿巴赛信息科技有限公司 一种基于成对比较的骨折区域识别方法和系统
CN108564111A (zh) * 2018-03-26 2018-09-21 太原理工大学 一种基于邻域粗糙集特征选择的图像分类方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN111325745A (zh) * 2020-03-09 2020-06-23 北京深睿博联科技有限责任公司 骨折区域分析方法和装置、电子设备及可读存储介质
CN112017204A (zh) * 2020-07-08 2020-12-01 温州大学 一种基于边缘标记图神经网络的刀具状态图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAHMOUD AL-AYYOUB: "Determing the type of long bone fractures in X-Ray images", 《WSEAS TRANSACTIONS ON INFORMATION SCIENCE AND APPLICATIONS》 *
MUHAMMAD JUNAID UMER等: "Estimation of Ground Contacts from Human Gait by a Wearable Inertial Measurement Unit using machine learning", 《ARXIV.ORG》 *
李建涛: "基于大数据和机器学习的转子间骨折新型三维分型系统的构建及评估研究", 《中国优秀博硕士学位论文全文数据库（博士） 社会科学辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570579A (zh) * 2021-07-29 2021-10-29 广州东利运动科技有限公司 一种判断足踝异常旋转机制的图像检测识别方法
CN113576661A (zh) * 2021-08-03 2021-11-02 天津大学 面向骨折手术机器人的踝关节骨折术后早期量化康复方法
CN113576661B (zh) * 2021-08-03 2023-07-14 天津大学 面向骨折手术机器人的踝关节骨折术后早期量化康复方法
CN115292828A (zh) * 2022-07-12 2022-11-04 中国人民解放军总医院第四医学中心 一种治疗干骺端骨折的解剖型钢板及其形态设计方法及装置
CN115331825A (zh) * 2022-07-26 2022-11-11 上海交通大学医学院附属新华医院 一种基于大数据多层次特征挖掘的骨折风险预测模型
CN115409834A (zh) * 2022-10-30 2022-11-29 四川大学华西医院 一种用于跟腱病诊断的特征提取方法、系统和存储介质
CN115409834B (zh) * 2022-10-30 2023-02-28 四川大学华西医院 一种用于跟腱病诊断的特征提取方法、系统和存储介质
CN117437392A (zh) * 2023-12-15 2024-01-23 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统
CN117437392B (zh) * 2023-12-15 2024-03-26 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统

Also Published As

Publication number Publication date
CN112598661B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN112598661B (zh) 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
Brahim et al. A decision support tool for early detection of knee OsteoArthritis using X-ray imaging and machine learning: Data from the OsteoArthritis Initiative
Lee et al. Random forest based lung nodule classification aided by clustering
Melo et al. Microaneurysm detection in color eye fundus images for diabetic retinopathy screening
Susomboon et al. A hybrid approach for liver segmentation
Oliver et al. A comparison of breast tissue classification techniques
Srilatha et al. A comparative study on tumour classification
Antony et al. Feature learning to automatically assess radiographic knee osteoarthritis severity
Sahu et al. Recent advancements in machine learning and deep learning-based breast cancer detection using mammograms
CN113408603B (zh) 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法
Mahbub et al. A modified CNN and fuzzy AHP based breast cancer stage detection system
Jaffery et al. Performance analysis of image segmentation methods for the detection of masses in mammograms
Rathore et al. CBISC: a novel approach for colon biopsy image segmentation and classification
Taboada-Crispi et al. Anomaly detection in medical image analysis
Wisaeng et al. Brain tumor segmentation using fuzzy otsu threshold morphological algorithm
Bhaskar et al. Pulmonary lung nodule detection and classification through image enhancement and deep learning
Suresha et al. Relieff feature selection based Alzheimer disease classification using hybrid features and support vector machine in magnetic resonance imaging
Vaidehi et al. An intelligent content based image retrieval system for mammogram image analysis
Vijayadeep et al. A hybrid feature extraction based optimized random forest learning model for brain stroke prediction
Antani et al. Vertebra shape classification using MLP for content-based image retrieval
Zaitoon et al. Enhanced Brain Tumor Detection and Classification in MRI Scans using Convolutional Neural Networks
Ruikar et al. DNN-based knee OA severity prediction system: pathologically robust feature engineering approach
Guo et al. A novel 2D ground-glass opacity detection method through local-to-global multilevel thresholding for segmentation and minimum bayes risk learning for classification
Kaoungku et al. Colorectal Cancer Histology Image Classification Using Stacked Ensembles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant