CN113838048B - 一种十字交叉韧带术前止点中心定位及韧带长度计算方法 - Google Patents

一种十字交叉韧带术前止点中心定位及韧带长度计算方法 Download PDF

Info

Publication number
CN113838048B
CN113838048B CN202111188089.5A CN202111188089A CN113838048B CN 113838048 B CN113838048 B CN 113838048B CN 202111188089 A CN202111188089 A CN 202111188089A CN 113838048 B CN113838048 B CN 113838048B
Authority
CN
China
Prior art keywords
bone tissue
knee joint
dimensional model
cruciate ligament
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111188089.5A
Other languages
English (en)
Other versions
CN113838048A (zh
Inventor
刘斌
杨梁
刘卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Second Hospital of Dalian Medical University
Original Assignee
Dalian University of Technology
Second Hospital of Dalian Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Second Hospital of Dalian Medical University filed Critical Dalian University of Technology
Priority to CN202111188089.5A priority Critical patent/CN113838048B/zh
Publication of CN113838048A publication Critical patent/CN113838048A/zh
Application granted granted Critical
Publication of CN113838048B publication Critical patent/CN113838048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种十字交叉韧带术前止点中心定位及韧带长度计算方法,包括分别对三种人体膝关节核磁共振图像韧带区域和骨组织进行标注;搭建U‑Net网络模型,对标注好的数据集进行训练;基于VTK重建十字交叉韧带三维模型、膝关节骨组织三维模型和CT骨组织三维模型;基于FPFH算法提取模型几何特征;基于RANSAC算法对模型粗配准;基于ICP算法对模型精配准;对十字交叉韧带三维模型按照配准结果进行变换,基于K‑Means算法获取人体膝关节十字交叉韧带止点粗中心的定位结果;基于轮廓点法向量均值获取人体膝关节十字交叉韧带止点中心的定位结果;基于DICOM文件信息,获取人体膝关节十字交叉韧带长度信息。

Description

一种十字交叉韧带术前止点中心定位及韧带长度计算方法
技术领域
本发明涉及医学图像处理领域,尤其涉及一种人体膝关节十字交叉韧带术前止点中心定位及韧带长度计算方法。
背景技术
随着一些先进的医疗设备,如CT、MRI等的广泛应用,软组织重建成为近年来越来越重要的研究课题。软组织重建可以在很大程度上帮助医生检测和诊断某些疾病。十字交叉韧带是维持膝关节稳定性的重要结构。十字交叉韧带损伤后,对日常行走功能影响不大,但是对患者运动功能会造成明显影响。运动员十字交叉韧带损伤后,除少数人能够继续运动外,大部分都不能进行跑步、跳跃、急停等动作,即使能够运动也是以损伤关节软骨、半月板为代价。要恢复运动能力和水平,防止关节过早病损,需要进行十字交叉韧带重建。目前对于人体膝关节十字交叉韧带术前止点中心定位及韧带长度计算的相关研究,没有已知且有效的计算机自动处理办法,很多韧带重建手术都是根据医生的经验进行的,这需要专业的知识储备,并且也无法保证所选取止点的准确性,误差在所难免。
发明内容
根据现有技术存在的问题,本发明公开了一种十字交叉韧带术前止点中心定位及韧带长度计算方法,具体包括如下步骤:
获取包含矢状面、冠状面及横断面的人体膝关节核磁共振图像,从中选取含有人体膝关节十字交叉韧带的图像对韧带区域进行标注获得韧带标注图像;
将韧带标注图像、原人体膝关节核磁共振图像以及图像的相关信息进行数据转化构成待训练数据集;
搭建改良的U-Net网络模型,对待训练数据集进行训练,获得该网络模型对待训练数据集的权重;
基于所述权重信息将待分割人体膝关节十字交叉韧带图像输入至网络模型中得到人体膝关节十字交叉韧带结果图像;
对核磁共振图像中的股骨和胫骨进行标注获得骨组织标注图像;
调整网络模型的训练参数,采用与对韧带标注图像相同的方式对骨组织标注图像进行训练并对待分割骨组织图像进行预测得到人体膝关节骨组织结果图像;
对人体膝关节十字交叉韧带结果图像和人体膝关节骨组织结果图像进行三维重建获得十字交叉韧带三维模型和膝关节骨组织三维模型;
获取包含横断面的人体膝关节CT图像,对CT图像进行轮廓提取和填充得到骨组织结果图像,对该骨组织结果图像进行三维重建得到CT骨组织三维模型;
基于点快速特征直方图原理分别提取CT骨组织三维模型和膝关节骨组织三维模型的几何特征;
基于上述几何特征采用随机抽样一致算法对CT骨组织三维模型和膝关节骨组织三维模型进行粗配准获得粗配准结果矩阵;
基于粗配准结果矩阵采用迭代最近点算法对CT骨组织三维模型和膝关节骨组织三维模型进行精配准获得精配准结果矩阵;
将十字交叉韧带三维模型按照精配准结果矩阵进行旋转平移变换,并提取人体膝关节十字交叉韧带止点轮廓得到止点信息,利用止点信息采用K-Means算法计算止点粗中心的定位结果;
提取CT骨组织三维模型上止点轮廓法向量的平均值,对止点的粗中心点按照法向量均值生成直线,提取直线与CT骨组织三维模型的交点,得到位于CT骨组织三维模型上的人体膝关节十字交叉韧带止点中心的定位结果;
连接人体膝关节十字交叉韧带止点中心点得到十字交叉韧带重建结果,其中十字交叉韧带重建结果包括前交叉韧带重建结果和后交叉韧带重建结果,对后交叉韧带重建结果进行碰撞检测,若与CT骨组织三维模型碰撞,则求止点中心点与CT骨组织三维模型切线,再以折线代替曲线方式求两切点间距离,得到后交叉韧带重建结果;
根据CT横断面DICOM文件信息比例尺系数,获得十字交叉韧带长度信息。
进一步的,分别将人体膝关节十字交叉韧带矢状面、冠状面和横断面核磁共振图像输入至改良的U-Net网络模型中,设定训练参数后,利用交叉熵损失方法进行损失计算从而优化网络模型,其中每代训练结束后保存权重信息,选取损失最小值的权重信息作为该网络模型对待训练数据集的权重。
进一步的,获取人体膝关节十字交叉韧带结果图像时:利用卷积对网络模型的最终特征层的通道数进行调整,将通道数调整成标签个数,其中标签为人体膝关节核磁共振图像待分割的种类个数;将待分割的人体膝关节核磁共振图像输入至网络模型中,利用获得的权重信息对待分割数据进行预测,得到五个有效特征层,利用获得的最后一个有效特征层对待分割数据的每一个特征点进行分类预测,完成预测后选取每个像素点对应的最大概率的标签,将不同的标签赋予不同的颜色,从而获取人体膝关节十字交叉韧带结果图像。
进一步的,获取CT骨组织三维模型时:首先读取人体膝关节CT横断面图像,对该图像进行二值化处理,再对二值化图像进行轮廓发现,根据轮廓面积剔除干扰轮廓,遍历图像像素点,将剩余轮廓内的点置成非背景色,采用面绘制方法对CT横断面进行三维重建,从而得到CT骨组织三维模型。
进一步的,提取CT骨组织三维模型和膝关节骨组织三维模型的几何特征时:其中膝关节骨组织三维模型包括矢状面膝关节骨组织三维模型、冠状面膝关节骨组织三维模型和横断面膝关节骨组织三维模型;使用体素化网格方法分别对CT骨组织三维模型和膝关节骨组织三维模型进行下采样,利用FPFH算法对每个模型分别计算查询点的k邻域中每个点的简化点特征直方图,再将所有的SPFH加权成最后的快速点特征直方图,从而得到每个模型的几何特征。
进一步的,将获得的CT骨组织三维模型和膝关节骨组织三维模型作为待配准数据,利用RANSAC算法和待配准数据的几何特征,通过反复选择待配准数据中的一组随机子集来达成配准目标,得到矢状面粗配准矩阵,采用相同的方式分别得到冠状面粗配准矩阵和横断面粗配准矩阵。
进一步的,将获得的CT骨组织三维模型和膝关节骨组织三维模型作为待配准数据,利用ICP算法和上述获得的粗配准矩阵,按照一定的约束条件找到最邻近点从而计算出最优匹配参数,控制误差函数最小从而获得矢状面精配准矩阵;采用上述同样的方式获得冠状面精配准矩阵和横断面精配准矩阵。
进一步的,根据矢状面精配准矩阵信息、冠状面精配准矩阵信息和横断面精配准矩阵信息旋转十字交叉韧带三维模型,得到十字交叉韧带旋转结果模型,提取十字交叉韧带旋转结果模型与CT骨组织三维模型的轮廓点,基于K-Means算法将轮廓点聚成四类,得到人体膝关节十字交叉韧带止点的粗中心的定位结果。
进一步的,计算CT骨组织三维模型上轮廓点的法向量平均值,对粗中心点按照平均值生成穿过CT骨组织三维模型的直线,提取直线与该模型的交点,得到位于CT骨组织三维模型表面上的人体膝关节十字交叉韧带止点中心的定位结果。
进一步的,将人体膝关节十字交叉韧带止点的中心点连线得到十字交叉韧带重建结果,对后交叉韧带重建结果进行碰撞检测,若与CT骨组织三维模型发生碰撞,则向上移动位于胫骨的中心点,得到股骨与碰撞区域的切线和切点,再向上移动股骨与碰撞区域的切点,得到胫骨与碰撞区域的切线和切点,将两个切点连成直线,向上移动直至与CT骨组织三维模型无交点,获取交点并连成折线,得到碰撞区域重建结果,将股骨与碰撞区域切线、胫骨与碰撞区域切线和碰撞区域重建结果合并得到后交叉韧带重建结果。
计算十字交叉韧带像素长度,提取CT横断面DICOM文件信息,将长度单位转化成毫米,得到十字交叉韧带长度信息。
由于采用了上述技术方案,本发明提供的一种十字交叉韧带术前止点中心定位及韧带长度计算方法,该方法在实施过程中只需要用户给出人体膝关节核磁共振图像和对应的CT图像,即可得到所需的十字交叉韧带止点中心的定位结果和长度信息。该方法实现了精准定位十字交叉韧带止点中心点,减少了需要医生手工来定位及标记止点中心点的操作,从而减少一些由于人工失误导致的误差,使得准确性和效率提高。提高穿孔准确性使膝关节性能得到更好的恢复,可避免二次手术。另外,提前定位穿孔位置还可以减少手术时间,避免空气感染。并且该方法的计算机程序占用内存较小,运行时间较快。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法实现的流程图。
图2为本发明中输入的人体膝关节核磁共振图像。
图3为本发明中韧带标注图像。
图4为本发明中人体膝关节十字交叉韧带结果图像。
图5为本发明中骨标注图像。
图6为本发明中人体膝关节骨组织结果图像。
图7为本发明中人体膝关节CT图像。
图8为本发明中人体膝关节CT骨组织二值图像。
图9为本发明中膝关节骨组织三维模型。
图10为本发明中CT骨组织三维模型。
图11为本发明中膝关节骨组织三维模型和CT骨组织三维模型粗配准结果。
图12为本发明中膝关节骨组织三维模型和CT骨组织三维模型精配准结果。
图13为本发明中十字交叉韧带旋转结果模型。
图14为本发明中人体膝关节十字交叉韧带止点轮廓。
图15为本发明中人体膝关节十字交叉韧带止点粗中心定位结果。
图16为本发明中人体膝关节十字交叉韧带止点中心定位结果。
图17为本发明中人体膝关节十字交叉韧带重建结果。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1所示的一种十字交叉韧带术前止点中心定位及韧带长度计算方法,获取人体膝关节核磁共振图像,如图2所示。利用Label对人体膝关节核磁共振图像的矢状面、冠状面和横断面中的十字交叉韧带进行标注并制作数据集,如图3所示。使用改良的U-Net网络结构对数据集训练。训练后得到损失最小的的权重信息,并利用该权重对待分割图像进行预测,如图4所示。对人体膝关节核磁共振图像的矢状面、冠状面和横断面的骨组织进行标注,如图5所示。调整U-Net网络模型训练参数,以同样的方式得到人体膝关节骨组织结果图像,如图6所示。获取人体膝关节CT横断面图像,如图7所示。对人体膝关节CT横断面图像进行二值化处理并进行轮廓发现,剔除干扰轮廓并进行轮廓填充,如图8所示。对人体膝关节骨组织结果图像进行三维重建,如图9所示。对CT骨组织结果图像进行三维重建。结果如图10所示。将CT骨组织三维模型和膝关节骨组织三维模型转化为点云数据,并利用FPFH提取几何特征。利用RANSAC算法对CT骨组织三维模型和膝关节骨组织三维模型进行粗配准,如图11所示。利用ICP算法和粗配准结果矩阵对CT骨组织三维模型和膝关节三维模型进行精配准,如图12所示。将核磁共振矢状面、冠状面和横断面十字交叉韧带三维模型分别按照精配准矩阵进行变换,如图13所示。提取十字交叉韧带旋转结果模型与CT骨组织三维模型的轮廓点,如图14所示。对轮廓点基于K-Means算法进行聚类得到人体膝关节十字交叉韧带止点粗中心的定位结果,如图15所示。对粗中心点按照轮廓点法向量均值生成直线,提取直线与CT骨组织三维模型交点,得到人体膝关节十字交叉韧带止点中心的定位结果,如图16所示。对止点中心点连接和碰撞检测得到十字交叉韧带重建结果,如图17所示。利用CT横断面DICOM文件信息获取十字交叉韧带长度信息。本发明公开的方法具体步骤如下:
S1:所述U-Net网络模型采用如下方式搭建:
S11.搭建主干特征提取网络,五个有效特征层由如下方式获取:
第一个有效特征层:进行两次卷积核为[3,3]的64通道的卷积,获得一个[512,512,64]的初步有效特征层,再进行2×2最大池化,获得一个[256,256,64]的特征层;
第二个有效特征层:进行两次卷积核为[3,3]的128通道的卷积,获得一个[256,256,128]的初步有效特征层,再进行2×2最大池化,获得一个[128,128,128]的特征层;
第三个有效特征层:进行三次卷积核为[3,3]的256通道的卷积,获得一个[128,128,256]的初步有效特征层,再进行2×2最大池化,获得一个[64,64,256]的特征层;
第四个有效特征层:进行三次卷积核为[3,3]的512通道的卷积,获得一个[64,64,512]的初步有效特征层,再进行2×2最大池化,获得一个[32,32,512]的特征层;
第五个有效特征层:进行三次卷积核为[3,3]的512通道的卷积,获得一个[32,32,512]的特征层。
S12.构建加强特征提取网络,利用上述获得的五个初步的有效特征层进行特征融合,特征融合即对特征层进行上采样并且进行堆叠。
第一个上采样层:对上述获得的第五个有效特征层进行卷积核为[2,2]的上采样,获得一个[64,74,512]的第一个上采样层;
第二个上采样层:对上述获得的第四个有效特征层与第一个上采样层进行融合,获得一个[64,64,1024]的初步上采样层。再进行两次卷积核为[3,3]的512通道的卷积,获得一个[64,64,512]的上采样层。最后进行卷积核为[2,2]的上采样,获得一个[128,128,512]的第二个上采样层;
第三个上采样层:对上述获得的第三个有效特征层与第二个上采样层进行融合,获得一个[128,128,768]的初步上采样层。再进行两次卷积核为[3,3]的256通道的卷积,获得一个[128,128,256]的上采样层。最后进行卷积核为[2,2]的上采样,获得一个[256,256,256]的第三个上采样层;
第四个上采样层:对上述获得的第二个有效特征层与第三个上采样层进行融合,获得一个[256,256,384]的初步上采样层。再进行两次卷积核为[3,3]的128通道的卷积,获得一个[256,256,128]的上采样层。最后进行卷积核为[2,2]的上采样,获得一个[512,512,128]的第四个上采样层;
第五个上采样层:对上述获得的第一个有效特征层与第四个上采样层进行融合,获得一个[512,512,192]的初步上采样层。再进行两次卷积核为[3,3]的64通道的卷积,获得一个[512,512,64]的第五个上采样层。
最后对第五个上采样层进行卷积核为[1,1],通道数与分类数相同的卷积,获得最终的上采样层。
S13.上针对述的卷积操作,其中激活函数采用ReLU函数(Rectified LinearUnits):
ReLU=max(0,x)
与之不同的是,加强特征提取网络最后一层卷积核为[1,1]的卷积的激活函数采用了Sigmoid函数:
针对上述的卷积操作,其中padding值设为SAME:
针对上述的最大池化操作,其中水平滑动步长和垂直滑动步长都为2。
S2:所述搭建的U-Net网络模型训练结果获取采用如下方式:
S21.获取上述模型文件,加载初始权重信息,输入数据集。先对数据集训练50次,学习率为1e-4,每次训练放入2个数据。训练50次后冻结训练。再对数据集训练50次,学习率为1e-5,每次训练放入2个数据。针对不同数据集要修改学习率以达到最佳效果。每次训练后保存权重信息。选取损失最小的权重信息作为最终结果。
S22.训练中使用交叉熵损失方法进行损失计算来优化网络:
其中M表示类别的数量,yic表示符号函数(0或1),pic表示观测样本i属于类别c的预测概率。
S3:获取所述人体膝关节十字交叉韧带结果图像采用如下方式:
S31.获取上述模型文件和训练后的权重信息,利用1×1卷积对通道数进行调整,将最终特征层的通道数调整成标签个数,其中标签为人体膝关节核磁共振图像待分割的种类个数。
S32.输入待分割的人体膝关节核磁共振图像。对该图像进行复制,计算输入图像的高和宽,对图像在不失真的条件下修改图像大小为512×512。
S33.对图像进行归一化后传入网络中,采用上述获得的权重信息进行预测,得到五个有效特征层。利用最后一个有效特征层对每一个特征点进行分类预测。完成预测后选取出每个像素点对应的最大概率的标签。
S34.创建一张与原图同尺寸图像,将前交叉韧带像素点置成(255,0,0),后交叉韧带像素点置成(0,255,0),背景像素点置成(0,0,0)。即可获取人体膝关节十字交叉韧带结果图像。
S4:获取所述人体膝关节骨组织结果图像采用如下方式:
S41.输入人体膝关节核磁共振图像,使用Labelme标注工具对核磁共振图像中股骨与胫骨进行标注,并制作膝关节骨组织数据集。
S42.输入膝关节骨组织数据集。修改训练参数,对数据集进行训练,使用交叉熵进行损失计算并保存损失最低的权重信息。不同数据集学习率如表1所示。
表1不同数据集对应的学习率
S43.获取上述训练结果权重信息。对待分割骨组织图像进行预测,股骨像素点置成(255,0,0),胫骨像素点置成(0,255,0),背景像素点置成(0,0,0)。即可获得人体膝关节骨组织结果图像。
S5:获取所述CT骨组织三维模型和膝关节骨组织三维模型采用如下方式:
S51.输入包含横断面的人体膝关节CT图像。首先将图像转化为灰度图像:遍历图像的每个像素点的像素值(rk,gk,bk)(k=0...num,num为像素点的个数),计算出的灰度值为:
grayk=0.299*rk+0.587*gk+0.114*bk
rk=grayk,gk=grayk,bk=grayk
通过对每个像素点进行处理,即可将图像转换为灰度图。
再对图像进行二值化处理,采用自适应阈值的方式,将大于阈值的像素点的值设为255,小于阈值的像素点的值设为0。
S52.对二值图像进行轮廓发现。设置一个轮廓面积阈值,将小于该阈值的轮廓舍弃,即可根据轮廓面积剔除干扰轮廓。遍历图像像素点,将剩余轮廓内的点置成255。
S53.输入上述CT横断面二值图像和人体膝关节骨组织结果图像,使用面绘制进行重建,使用vtkContourFilter提取等值面,设置值范围为(0,170);使用vtkSmoothPolyDataFilter进行网格平滑,迭代次数设置为300次;使用vtkPolyDataNormals计算法向量,特征角设置为30;使用vtkStripper将三角网格连接起来。最终通过VTK的管线进行渲染,并保存为stl文件。从而得到CT骨组织三维模型和膝关节骨组织三维模型。
S6:获取所述CT骨组织三维模型和膝关节骨组织三位模型的几何特征采用如下方式:
S61.输入CT骨组织三维模型和膝关节骨组织三维模型,其中膝关节骨组织三维模型包括矢状面膝关节骨组织三维模型、冠状面膝关节骨组织三维模型和横断面膝关节骨组织三维模型。将上述模型数据格式由stl格式转化为pcd格式。
S62.使用体素化网格方法分别对上述四个模型进行下采样,先将点云分块,然后逐块进行降采样,以达到减少点云数据。其中向下采样的体素大小设置为3。
S63.利用点快速特征直方图(Fast Point Feature Histogram,FPFH)算法获得上述四个模型的几何特征。首先为查询点求得它和其k邻域内每个点之间的三个特征元素值,然后统计成一个SPFH。再分别对k邻域中的每个点确定k邻域,按上一步分别形成自己的SPFH。最后对邻域中的各个SPFH进行加权统计:
其中权重wk表示查询点p与给定度量空间中的近邻点pk之间的距离。
S7:获取所述CT骨组织三维模型和膝关节骨组织三位模型粗配准结果矩阵采用如下方式:
S71.输入膝关节骨组织三维模型和CT骨组织三维模型及其各自的几何特征。
S72.使用随机抽样一致(Random Sample Consensus,RANSAC)算法,随机采样K个点,对该K个点拟合模型。计算其它点到拟合模型的距离,若小于一定阈值则当作内点,统计内点个数。将上述步骤重复M次,选择内点最多的模型。最后利用所有的内点重新估计模型,即可得到粗配准矩阵,:
z=1-(1-pK)M
其中K表示求解模型需要最少的点个数,P表示内点的概率,z表示M次采样至少有一次成功的概率。
S8:获取所述CT骨组织三维模型和膝关节骨组织三维模型精配准结果矩阵采用如下方式:
S81.输入膝关节骨组织三维模型和CT骨组织三维模型及上述获得的粗配准结果矩阵。
S82.使用迭代最近点(Iterative Closest Point,ICP)算法,在目标点云中取点集,找出源点云中的对应点集,使其满足:
min(||qi-pi||)
计算旋转矩阵R和平移矩阵t,使得误差函数最小:
对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换,的到新的对应点集pi’。计算pi’与对应点击qi的平均距离:
如果d小于某一给定的阈值或者大于预设的最大迭代次数,则停止迭代计算。否则继续计算,直到满足收敛条件为止。即可得到精配准矩阵
S9:获取所述人体膝关节十字交叉韧带止点粗中心点采用如下方式:
S91.输入上述人体膝关节十字交叉韧带结果图像。使用面绘制进行重建,使用vtkContourFilter提取等值面,设置值范围为(0,170);使用vtkSmoothPolyDataFilter进行网格平滑,迭代次数设置为300次;使用vtkPolyDataNormals计算法向量,特征角设置为30;使用vtkStripper将三角网格连接起来。最终通过VTK的管线进行渲染得到人体膝关节十字交叉韧带的重建结果并保存为STL文件。
S92.按照矢状面精配准矩阵信息、冠状面精配准矩阵信息和横断面精配准矩阵信息分别变换对应的膝关节骨组织三维模型。其中利用vtkMatrix4x4存储精配准结果矩阵,利用vtkTransform进行变换,变换结果存至vtkTransformPolyDataFilter中。
S93.利用vtkIntersectionPolyDataFilter提取十字交叉韧带旋转结果模型与CT骨组织三维模型的轮廓点。输出为点云数据。
S94.基于K-Means算法分别计算前后交叉韧带止点中心点,得到四个不同止点中心。选取模型点坐标之间的距离进行聚类,两点间距离计算如下:
其中(x1,y1,z1),(x2,y2,z2)分别表示当前点坐标和中心点坐标。
根据每个韧带含有上下两个止点,故选取k=2,即划分为2簇。(
采用点坐标最大值和最小值的差值计算簇中心。以避免所有像素点都集中在最大值附近而造成分类误差:
聚类达到收敛后获得的四个中心点即为止点粗中心点。最终得到十字交叉韧带止点粗中心的定位结果。
S10.获取所述人体膝关节十字交叉韧带止点中心点采用如下方式:
S101.根据上述获得的轮廓点,利用KdTree查找CT骨组织三维模型中离目标轮廓点最近的点ID。
S102.根据上述获得的点ID,利用vtkPolyDataNormals,开启点法向量计算,关闭单元法向量计算。对每个点法向量求平均值,得到止点法向量:
其中,a为止点法向量,xi为轮廓点法向量,n为轮廓点个数。
S103.对止点粗中心点按照止点法向量生成穿过CT骨组织三维模型的直线。利用OBBTree提取直线与CT骨组织三维模型的交点,得到人体膝关节十字交叉韧带止点中心的定位结果,其中包含前交叉韧带止点中心的定位结果和后交叉韧带止点中心的定位结果。
S11.获取所述十字交叉韧带重建结果及长度信息采用如下方式:
S111.连接前交叉韧带股骨止点中心点和胫骨止点中心点,得到前交叉韧带重建结果。
S112.连接后交叉韧带股骨止点中心点和胫骨止点中心点,利用OBBTree提取中心点连线与CT骨组织三维模型交点个数,当交点个数等于2时,未发生碰撞,该连线作为后交叉韧带重建结果。当交点个数大于2时,发生碰撞,重新生成后交叉韧带重建结果。
S113.重新生成后交叉韧带重建结果如下:向上移动胫骨止点中心点,当交点个数从大于2变成小于2时,降低移动精度。移动直交点个数等于2或者精度等于10-5时停止移动。从交点中选取距离胫骨止点中心点最近的点作为股骨切点,连接股骨切点和股骨止点中心点作为股骨切线。连接切点和胫骨止点中心点,以同样的方式找到胫骨切点,连接胫骨切点和胫骨止点中心点作为胫骨切线。
S114.连接股骨切点与胫骨切点,同时向上移动两个切点,直至与CT骨组织三维模型无交点。提取该过程中所有交点并按照y值排序。将交点连接成折线,以折线代替曲线的方式,将折线作为碰撞区域的重建结果。将股骨切线、胫骨切线和碰撞区域的重建结果作为后交叉韧带重建结果。
S115.计算十字交叉韧带像素长度,提取CT横断面DICOM文件信息,将长度单位转化成毫米,得到十字交叉韧带长度信息。
本发明是公开的一种人体膝关节十字交叉韧带术前止点中心定位及韧带长度计算方法,该方法无需手工标注,直接自动定位人体膝关节十字交叉韧带止点中心并计算韧带长度的方法;该方法将替代原来的必须通过人工标记才能定位人体膝关节十字交叉韧带止点中心的方式。本方法只需要用户输入人体膝关节核磁共振图像和人体膝关节CT图像,减少了日常生活中需要医生手工寻找止点的操作,从而减少一些由于人工失误导致的误差,使得准确性和效率提高;本方法不需要有相应的医学技术就可以操作,占用内存较小,运行时间快。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种十字交叉韧带术前止点中心定位及韧带长度计算方法,其特征在于包括:
获取包含矢状面、冠状面及横断面的人体膝关节核磁共振图像,从中选取含有人体膝关节十字交叉韧带的图像对韧带区域进行标注获得韧带标注图像;
将韧带标注图像、原人体膝关节核磁共振图像以及图像的相关信息进行数据转化构成待训练数据集;
搭建改良的U-Net网络模型,对待训练数据集进行训练,获得该网络模型对待训练数据集的权重;
基于所述权重信息将待分割人体膝关节十字交叉韧带图像输入至网络模型中得到人体膝关节十字交叉韧带结果图像;
对核磁共振图像中的股骨和胫骨进行标注获得骨组织标注图像;
调整网络模型的训练参数,采用与对韧带标注图像相同的方式对骨组织标注图像进行训练并对待分割骨组织图像进行预测得到人体膝关节骨组织结果图像;
对人体膝关节十字交叉韧带结果图像和人体膝关节骨组织结果图像进行三维重建获得十字交叉韧带三维模型和膝关节骨组织三维模型;
获取包含横断面的人体膝关节CT图像,对CT图像进行轮廓提取和填充得到骨组织结果图像,对该骨组织结果图像进行三维重建得到CT骨组织三维模型;
基于点快速特征直方图原理分别提取CT骨组织三维模型和膝关节骨组织三维模型的几何特征;
基于上述几何特征采用随机抽样一致算法对CT骨组织三维模型和膝关节骨组织三维模型进行粗配准获得粗配准结果矩阵;
基于粗配准结果矩阵采用迭代最近点算法对CT骨组织三维模型和膝关节骨组织三维模型进行精配准获得精配准结果矩阵;
将十字交叉韧带三维模型按照精配准结果矩阵进行旋转平移变换,并提取人体膝关节十字交叉韧带止点轮廓得到止点信息,利用止点信息采用K-Means算法计算止点粗中心的定位结果;
提取CT骨组织三维模型上止点轮廓法向量的平均值,对止点的粗中心点按照法向量均值生成直线,提取直线与CT骨组织三维模型的交点,得到位于CT骨组织三维模型上的人体膝关节十字交叉韧带止点中心的定位结果;
连接人体膝关节十字交叉韧带止点中心点得到十字交叉韧带重建结果,其中十字交叉韧带重建结果包括前交叉韧带重建结果和后交叉韧带重建结果,对后交叉韧带重建结果进行碰撞检测,若与CT骨组织三维模型碰撞,则求止点中心点与CT骨组织三维模型切线,再以折线代替曲线方式求两切点间距离,得到后交叉韧带重建结果;
根据CT横断面DICOM文件信息比例尺系数,获得十字交叉韧带长度信息。
2.根据权利要求1所述的方法,其特征在于:分别将人体膝关节十字交叉韧带矢状面、冠状面和横断面核磁共振图像输入至改良的U-Net网络模型中,设定训练参数后,利用交叉熵损失方法进行损失计算从而优化网络模型,其中每代训练结束后保存权重信息,选取损失最小值的权重信息作为该网络模型对待训练数据集的权重。
3.根据权利要求2所述的方法,其特征在于:获取人体膝关节十字交叉韧带结果图像时:利用卷积对网络模型的最终特征层的通道数进行调整,将通道数调整成标签个数,其中标签为人体膝关节核磁共振图像待分割的种类个数;将待分割的人体膝关节核磁共振图像输入至网络模型中,利用获得的权重信息对待分割数据进行预测,得到五个有效特征层,利用获得的最后一个有效特征层对待分割数据的每一个特征点进行分类预测,完成预测后选取每个像素点对应的最大概率的标签,将不同的标签赋予不同的颜色,从而获取人体膝关节十字交叉韧带结果图像。
4.根据权利要求1所述的方法,其特征在于:获取CT骨组织三维模型时:首先读取人体膝关节CT横断面图像,对该图像进行二值化处理,再对二值化图像进行轮廓发现,根据轮廓面积剔除干扰轮廓,遍历图像像素点,将剩余轮廓内的点置成非背景色,采用面绘制方法对CT横断面进行三维重建,从而得到CT骨组织三维模型。
5.根据权利要求4所述的方法,其特征在于:提取CT骨组织三维模型和膝关节骨组织三维模型的几何特征时:其中膝关节骨组织三维模型包括矢状面膝关节骨组织三维模型、冠状面膝关节骨组织三维模型和横断面膝关节骨组织三维模型;使用体素化网格方法分别对CT骨组织三维模型和膝关节骨组织三维模型进行下采样,利用FPFH算法对每个模型分别计算查询点的k邻域中每个点的简化点特征直方图,再将所有的SPFH加权成最后的快速点特征直方图,从而得到每个模型的几何特征。
6.根据权利要求5所述的方法,其特征在于:将获得的CT骨组织三维模型和膝关节骨组织三维模型作为待配准数据,利用RANSAC算法和待配准数据的几何特征,通过反复选择待配准数据中的一组随机子集来达成配准目标,得到矢状面粗配准矩阵,采用相同的方式分别得到冠状面粗配准矩阵和横断面粗配准矩阵。
7.根据权利要求6所述的方法,其特征在于:将获得的CT骨组织三维模型和膝关节骨组织三维模型作为待配准数据,利用ICP算法和上述获得的粗配准矩阵,按照一定的约束条件找到最邻近点从而计算出最优匹配参数,控制误差函数最小从而获得矢状面精配准矩阵;采用上述同样的方式获得冠状面精配准矩阵和横断面精配准矩阵。
8.根据权利要求7所述的方法,其特征在于:根据矢状面精配准矩阵信息、冠状面精配准矩阵信息和横断面精配准矩阵信息旋转十字交叉韧带三维模型,得到十字交叉韧带旋转结果模型,提取十字交叉韧带旋转结果模型与CT骨组织三维模型的轮廓点,基于K-Means算法将轮廓点聚成四类,得到人体膝关节十字交叉韧带止点的粗中心的定位结果。
9.根据权利要求8所述的方法,其特征在于:计算CT骨组织三维模型上轮廓点的法向量平均值,对粗中心点按照平均值生成穿过CT骨组织三维模型的直线,提取直线与该模型的交点,得到位于CT骨组织三维模型表面上的人体膝关节十字交叉韧带止点中心的定位结果。
10.根据权利要求9所述的方法,其特征在于:将人体膝关节十字交叉韧带止点的中心点连线得到十字交叉韧带重建结果,对后交叉韧带重建结果进行碰撞检测,若与CT骨组织三维模型发生碰撞,则向上移动位于胫骨的中心点,得到股骨与碰撞区域的切线和切点,再向上移动股骨与碰撞区域的切点,得到胫骨与碰撞区域的切线和切点,将两个切点连成直线,向上移动直至与CT骨组织三维模型无交点,获取交点并连成折线,得到碰撞区域重建结果,将股骨与碰撞区域切线、胫骨与碰撞区域切线和碰撞区域重建结果合并得到后交叉韧带重建结果。
CN202111188089.5A 2021-10-12 2021-10-12 一种十字交叉韧带术前止点中心定位及韧带长度计算方法 Active CN113838048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188089.5A CN113838048B (zh) 2021-10-12 2021-10-12 一种十字交叉韧带术前止点中心定位及韧带长度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188089.5A CN113838048B (zh) 2021-10-12 2021-10-12 一种十字交叉韧带术前止点中心定位及韧带长度计算方法

Publications (2)

Publication Number Publication Date
CN113838048A CN113838048A (zh) 2021-12-24
CN113838048B true CN113838048B (zh) 2023-12-29

Family

ID=78968708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188089.5A Active CN113838048B (zh) 2021-10-12 2021-10-12 一种十字交叉韧带术前止点中心定位及韧带长度计算方法

Country Status (1)

Country Link
CN (1) CN113838048B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246774B (zh) * 2023-03-15 2023-11-24 浙江医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102940530A (zh) * 2012-11-16 2013-02-27 昆明医科大学第一附属医院 一种虚拟构建前交叉韧带在股骨和胫骨隧道的方法
CN109523625A (zh) * 2018-09-29 2019-03-26 上海交通大学 一种韧带长度量化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198968B2 (en) * 2015-12-07 2019-02-05 Hospital For Special Surgery Method for creating a computer model of a joint for treatment planning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102940530A (zh) * 2012-11-16 2013-02-27 昆明医科大学第一附属医院 一种虚拟构建前交叉韧带在股骨和胫骨隧道的方法
CN109523625A (zh) * 2018-09-29 2019-03-26 上海交通大学 一种韧带长度量化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Performance of U-net based pyramid lucas-kanade registration on free-breathing multi-b-value diffusion MRI of the kidney;Jun Lv et al.;British Journal Radiology;全文 *
人体膝关节几何解剖模型仿真;王建平;钱理为;王成焘;;系统仿真学报(第10期);全文 *

Also Published As

Publication number Publication date
CN113838048A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US11423540B2 (en) Segmentation of anatomical regions and lesions
JP6005297B2 (ja) 磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム
Nain et al. Multiscale 3-d shape representation and segmentation using spherical wavelets
CN113838048B (zh) 一种十字交叉韧带术前止点中心定位及韧带长度计算方法
Sluimer et al. Automated classification of hyperlucency, fibrosis, ground glass, solid, and focal lesions in high‐resolution CT of the lung
CN112037200A (zh) 一种医学影像中解剖特征自动识别与模型重建方法
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
Liu et al. A fully automatic segmentation algorithm for CT lung images based on random forest
EP1778073A1 (en) Non-invasive joint evaluation
Nazir et al. Ecsu-net: an embedded clustering sliced u-net coupled with fusing strategy for efficient intervertebral disc segmentation and classification
CN112365464A (zh) 一种基于gan的医学图像病变区域弱监督定位方法
Bijar et al. Atlas-based automatic generation of subject-specific finite element tongue meshes
WO2024001140A1 (zh) 一种椎体亚区域分割方法、装置及存储介质
CN110610472A (zh) 实现肺结节图像分类检测的计算机装置及方法
CN114882051A (zh) 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法
Stough et al. Regional appearance in deformable model segmentation
Gassman et al. Automated bony region identification using artificial neural networks: reliability and validation measurements
Liu et al. Prior-based 3D U-Net: A model for knee-cartilage segmentation in MRI images
CN115252233A (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
Suputra et al. Automatic 3D Cranial Landmark Positioning based on Surface Curvature Feature using Machine Learning.
Gornale et al. Cognitive informatics, computer modeling and cognitive science assessment of knee osteoarthritis in radiographic images: a machine learning approach
Huang et al. 3D Hand Bones and Tissue Estimation from a Single 2D X-Ray Image Via a Two-Stream Deep Neural Network
CN114445421B (zh) 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
Dixit et al. Proposing a Framework to Analyze Breast Cancer in Mammogram Images Using Global Thresholding, Gray Level Co‐Occurrence Matrix, and Convolutional Neural Network (CNN)
Aal et al. Survey: Automatic recognition of musculoskeletal disorders from radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant