CN110232685A - 基于深度学习的空间骨盆参数自动测量方法 - Google Patents

基于深度学习的空间骨盆参数自动测量方法 Download PDF

Info

Publication number
CN110232685A
CN110232685A CN201910521995.9A CN201910521995A CN110232685A CN 110232685 A CN110232685 A CN 110232685A CN 201910521995 A CN201910521995 A CN 201910521995A CN 110232685 A CN110232685 A CN 110232685A
Authority
CN
China
Prior art keywords
point
image
dimensional
pelvis
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910521995.9A
Other languages
English (en)
Other versions
CN110232685B (zh
Inventor
邵堃
霍星
荆珏华
王浩
田大胜
程里
檀结庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910521995.9A priority Critical patent/CN110232685B/zh
Publication of CN110232685A publication Critical patent/CN110232685A/zh
Application granted granted Critical
Publication of CN110232685B publication Critical patent/CN110232685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的空间骨盆参数自动测量方法，包括以下步骤：将原始CT图像进行二值化处理，重建三维骨盆模型；将原始CT图像输入至收敛后的DRINet网络模型中，识别得到股骨头区域，并保存所述股骨头区域；采用聚类算法对识别出的的股骨头区域进行聚类，得到三维股骨头坐标，重建股骨头三维模型；将原始CT图像输入至收敛后的的VGG16网络模型中，按序识别输入的图像，找到含有骶骨的图像；到含有骶骨的图像运行4连通区域识别算法，根据最大连通区域找到用于映射的基本点；将所述基本点映射回重建的三维骨盆模型，生成S1空间骶骨面模型；计算骨盆参数。本发明具有利用病人的CT图像，能完成对病人的包括骨盆入口平面面积等参数的自动测量的优点。

Description

基于深度学习的空间骨盆参数自动测量方法
技术领域
本发明涉及医学图像处理、深度学习技术领域，尤其涉及基于深度学习的空间骨盆参数自动测量方法。
背景技术
骨盆是连结脊柱和下肢之间的盆状骨架，由后方的骶、尾骨(脊柱最低的两块骨)和左右两髋骨连接而成的完整骨环。
目前，骨盆参数的测量主要采用人工手动在二维图像上测量骨盆参数，即，通过在计算机辅助软件上对二维图像进行手动标定和测量，在测量过程中往往需要在不同切片中进行来回切换来找到准确的测量点；使得测量工作效率低下，技术要求高，结果不可靠。
矢状位脊柱骨盆参数的准确测量是顺利实施脊柱矫形手术重要条件，临床上所用的骨盆参数测量方法以手工测量平面CT图像为主，且整个过程人工干预较多，造成参数估计准确性下降。
发明内容
本发明旨在提供一种基于深度学习的空间骨盆参数自动测量方法，通过利用病人的CT图像，能完成对病人的包括骨盆入口平面面积等参数的自动测量。
本发明通过以下技术手段实现解决上述技术问题的：一种基于深度学习的空间骨盆参数自动测量方法，包括以下步骤：
步骤一、将原始CT图像进行二值化处理，并重建三维骨盆模型；
步骤二、建立DRINet网络模型，并对DRINet网络模型进行训练，直至其收敛；
步骤三、将原始CT图像输入至收敛后的步骤二中DRINet网络模型中，识别得到股骨头区域，并保存所述股骨头区域；
步骤四、采用聚类算法对识别出的步骤三中的股骨头区域进行聚类，得到三维股骨头坐标，重建股骨头三维模型；
步骤五、建立VGG16网络模型，并对VGG16网络模型进行训练，直至其收敛；
步骤六、将原始CT图像输入至收敛后的步骤五中的VGG16网络模型中，按序识别输入的图像，找到含有骶骨的图像；
步骤七、对步骤六中找到含有骶骨的图像运行4连通区域识别算法，根据最大连通区域找到用于映射的基本点；将所述基本点映射回重建的步骤一的三维骨盆模型，生成S1空间骶骨面模型；
步骤八、计算骨盆参数。
优选地，所述步骤二中的DRINet网络模型包括紧密连接的卷积层、具有剩余初始化模块的反卷积层、反池化层组成；其中，
紧密连接的卷积层包括密集连接的卷积层组成，每个卷积层的输入由所有前面层输出的特征映射组成，每个卷积层包含12个卷积核；
具有剩余初始化模块的反卷积层包括三个分支的反卷积层来聚合图像特征，每个反卷积使用不同大小的卷积核，分别为1*1，3*3，5*5；
反池化层包括二个分支的反卷积层来聚合图像特征。
优选地，利用Adam算法调整DRINet网络模型的权值，直至DRINet 网络模型收敛。
优选地，所述步骤四中的重建股骨头三维模型包括以下步骤：
S41、初始化聚类簇，簇的数量设定为0；
S42、读取识别的步骤三中的股骨头区域，并遍历所有的簇的中心点，计算股骨头中心点与簇中心点的距离；
S43、若S42的距离小于设定的阈值，则将读出的股骨头区域聚类到相应的簇中，簇内股骨头区域数量加1，更新簇内中心为所有股骨头区域中心的平均值，更新具有最大半径股骨头区域的位置；
S44、若S43不成立，则新建聚类簇，重新依次执行S42、S43；
S45、直至股骨头区域队列为空，则转S46；否则，转S42；
S46、挑选拥有最多股骨头的聚类簇，则最大聚类簇的中心坐标作为三维股骨头的X-Y平面坐标，最大半径所在的位置作为Z轴坐标。
优选地，利用Adam算法调整VGG16网络模型的权值，直至VGG16 网络模型收敛。
优选地，所述步骤七中的4连通区域识别算法包括以下步骤：
S71、从找到的含有骶骨的二维CT图像的第一行第一个像素点开始
S72、判断此点四邻域中的左方，上方的点的像素值是否为0，如果都像素值都为0或不存在上方点和左方点，则此点表示一个新的区域的开始，并给它一个新的标记。
S73、如果此点四邻域中的左方点像素值不为0，上方点像素值为0或上方点不存在，则标记此点为左方点的标记值；如果此点四邻域中的左方点像素值为0或左方点不存在，上方点像素值不为0，则标记此点为最上点的标记值。
S74、如果此点四邻域中的左方点像素值不为0，上方点像素值不为0，则标记此点为这两个中的最小的标记值，并建立等价标记值对，即上方点像素值的标记和左方点像素值的标记表示了同一个连通域中的部分点。
S75、逐行从左向右扫描图像上的点，重复S72～S74的步骤；
S76、根据等价标记值对和图像中每个点的标记完成连通域的查找和连通域中点的数量的计算,找到包含点数量最多的连通域。
优选地，所述步骤七中的所述基本点为图像上边缘点，通过MC算法将图像上边缘点映射回重建的三维骨盆模型；采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点；在这些三维点上运行三维连通区域算法，形成S1的空间骶骨模型。
优选地，所述采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点包括以下步骤：
S701、构建KD-tree模型；
S7011、将重建的三维骨盆数据集合按照X、Y、Z三个方向划分成三个子集合，对每个子集合计算方差，选择具有最大方差的子集合，然后在该子集合上选择中值m做为中心点，用该中心点对该三维骨盆数据集合进行划分，得到两个子集合；同时创建一个树结点，用于存储；
S7012、对两个子集合重复S7011步骤的过程，直至所有子集合都不能再划分为止；如果某个子集合不能再划分时，则将该子集合中的数据保存到叶子结点；
S702、将锚点Q从根结点开始，按照Q与各个结点的比较结果向下访问Kd-Tree模型，直至达到叶子结点；
其中Q与结点的比较指的是将Q对应于结点中的k维度上的值与m进行比较，若Q(k)<m，则访问左子树，否则访问右子树；达到叶子结点时，计算Q与叶子结点上保存的数据之间的距离，记录下最小距离对应的数据点，记为当前“最近邻点”Pcur和最小距离Dcur。
S703、进行回溯操作，找到离Q更近的“最近邻点”；即判断未被访问过的分支里是否还有离Q更近的点，它们之间的距离小于Dcur；
S704、如果Q与其父结点下的未被访问过的分支之间的距离小于Dcur，则认为该分支中存在离P更近的数据，进入该结点，进行S701的查找过程，如果找到更近的数据点，则更新为当前的“最近邻点”Pcur，并更新Dcur；
如果Q与其父结点下的未被访问过的分支之间的距离大于Dcur，则说明该分支内不存在与Q更近的点；
回溯的判断过程是从下往上进行的，直到回溯到根结点时已经不存在与P更近的分支为止。
优选地，所述步骤八中计算骨盆参数，具体包括：
取股骨头三维模型的空间中心和S1空间骶骨面模型上的参数进行骨盆参数计算；
Cmid＝(Cf1+Cf2)/2
其中，Cf1、Cf2分别表示两个股骨头的空间中心，Cp表示骶骨面的空间模型中心，Np表示骶骨面的空间法向量；Cmid为两个股骨头中心连接线的空间中心；PI3D表示空间中的骨盆入射角、PT3D表示空间中的骨盆倾斜角、 SS3D表示空间骶骨倾斜角，z为常量取值为(0,0,1)。
本发明包括股骨头识别重建模块、骶骨面识别定位模块、骨盆参数计算模块。首先对原始图像进行阈值处理，得到二值化图像，利用二值化图像及MC算法实现骨盆的三维重建。其次利用训练好的DRINet网络在二维原始图像上检测股骨头区域，并保存这些区域。算法对保留区域列表中的区域中心进行聚类，并保持最大的聚类。然后以最大簇的中心为空间股骨头中心，以最大半径为空间半径。然后利用训练好的VGG16网络找到包含骶骨面的图像，利用连通区域算法，找到最大连通区域上边缘上的点，将其映射到重建好的骨盆图像三维空间中。利用KD-tree算法及寻找最邻近点方式实现骶骨面的识别，最终计算三维空间骨盆参数。
本发明的优点在于：
(1)将二维参数扩展到三维参数，可以拓宽椎体研究的范围，更符合临床实践；
(2)消除用户交互需求，保证框架更高效、可靠、准确，技术要求更低。
附图说明
图1为本发明中紧密连接的卷积层的框架结构图。
图2为本发明中具有剩余初始化模块的反卷积层的框架结构图。
图3为本发明中反池化层的框架结构图。
图4为本发明中DRINet网络模型的框架结构图。
图5为本发明中VGG16网络模型的结构示意图。
图6为本发明中原始二维CT图像经过二值化之后处理后的示意图。
图7为本发明中重建的三维骨盆模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
本实施例公开一种基于深度学习的空间骨盆参数自动测量方法，包括以下步骤：
收集病人的原始二维CT图像，组成二维CT图像数据集，原始二维 CT图像数据集包括来自于不同地区、不同年龄、不同性别的病人的原始二维CT图像。
步骤一、将原始二维CT图像进行分割处理，并重建三维骨盆模型；
将原始二维CT图像分割处理，为更好地去除杂质，在分割之后，优选对图像做中值滤波处理，然后利用MC算法重建三维骨盆模型。
本发明使用基于加权质量评价函数的K-MEANS算法进行二维CT图像分割处理，阈值选取为192。具体方法如下：
首先输入待分割的二维CT图像，之后进行灰度化，使用基于信息熵的迭代算法初始化K个聚簇中心。然后利用下式对图像中的每个像素点计算其到每一个簇的加权距离。
其中，L(P，Oi)表示像素点P和簇i中心像素点Oi之间的加权距离， N是需要分割的像素点的总数量，σi是第i个簇的簇内标准差，d为像素点和簇中心的的欧式距离。
接着将图像中的每个像素点划分到与其加权距离最小的簇中，然后重新计算各个簇的聚簇中心，新的聚簇中心为每个簇中所有对象灰度值的平均值，利用下式计算聚簇质量E：
其中，ni为图像第i个簇中像素点的数量，N是需要分割的像素点的总数量,σi是第i个簇的簇内标准差，K表示聚簇中心的数量。
如果聚簇质量达到了期望值，本实施例选用的期望值为0.8或者达到了预先设定的最大迭代次数，本实施例的最大迭代次数为100次，则停止迭代；否则重新迭代聚簇过程。最终根据最后的聚簇结果，将同一个簇中的对象用相同的颜色标记，不同簇中的对象用不同的颜色标记，输出得到分割后的二维CT图像。此算法能够清晰锐化骨盆图像骨质部分边缘，传统的二值化只是分为两种颜色，本发明每个簇都有一个颜色标记，达到多标记的效果。
步骤二、建立DRINet网络模型，并对DRINet网络模型进行训练，直至其收敛；
所述步骤一中的DRINet网络模型包括紧密连接的卷积层(DC_Block)、具有剩余初始化模块的反卷积层(RI_Block)、反池化层组成 (Unpooling_Block)；其中，
如图1所示，紧密连接的卷积层包括密集连接的卷积层组成，每个卷积层的输入由所有前面层输出的特征映射组成，此外每个卷积层后都使用线性整流函数和批标准化，用以提高模型的泛化能力和防止过拟合。每个卷积层包含12个卷积核，每个卷积核大小为3×3，步长为2。
如图2所示，具有剩余初始化模块的反卷积层包括三个分支的反卷积层来聚合图像特征，每个反卷积使用不同大小的卷积核，分别为1*1，3*3， 5*5，卷积核个数为12，步长为2。同理，每层之后同样加上线性整流函数和批标准化。
如图3所示，反池化层包括二个分支的反卷积层来聚合图像特征。同理，每层之后同样加上线性整流函数和批标准化。
本发明的DRINet网络模型采用以下步骤进行训练：使用1800张包含股骨头的原始二维CT图像，并对二维CT图像进行归一化处理(像素值除以255)，在二维CT图像上设置标签，标签为仅包含股骨头的圆形区域，标签同样进行归一化处理，将带有标签的二维CT图像输入建立的DRINet 网络模型中，进行训练，直至网络收敛。
步骤三、本发明利用Adam算法调整DRINet网络模型的权值，直至 DRINet网络模型收敛。
判定收敛的条件为，网络函数收敛阈值为95％，因为此时网络输出已基本稳定。对于Adam算法使用以下超参数设定值:其中，一阶矩估计的指数衰减率β1设定为0.9，二阶矩估计的指数衰减率β2设定为0.999，防除零参数ε设定为1e-8。学习速率设定为1e-3。使用dice系数作为损失函数。
将待识别的含有股骨头的原始二维CT图像输入收敛后的DRINet网络模型，输出得到识别有股骨头区域的图像；
步骤四、采用聚类算法对步骤三中识别出的股骨头区域进行聚类，得到三维股骨头坐标，重建股骨头三维模型；
所述步骤四中的重建股骨头三维模型方法包括以下步骤：
S41、初始化聚类簇，簇的数量设定为0；
S42、读取识别的股骨头区域，并遍历所有的簇的中心点，计算股骨头中心点与簇中心点的距离；
S43、若S42的距离小于设定的阈值，本实施例选择的阈值为3，当然，本领域的普通技术人员根据实际情况选择其他的阈值也应该在本发明的保护范围内。将读出的股骨头区域聚类到相应的簇中，簇内股骨头区域数量加1，更新簇内中心为所有股骨头区域中心的平均值，更新最大半径，更新具有最大半径股骨头区域的位置；
S44、若S43不成立，则新建聚类簇，重新依次执行S42、S43；
S45、直至股骨头区域队列为空，则转S46；否则，转S42；
S46、挑选拥有最多股骨头的聚类簇，则最大聚类簇的中心坐标作为三维股骨头中心点的X-Y平面坐标，最大半径所在的位置作为股骨头中心点Z轴坐标，在三维模型中空间股骨头位置绘制球体拟代股骨头，球体半径为在二维平面上识别出的最大半径。
步骤五、建立VGG16网络模型，并对VGG16网络模型进行训练，直至其收敛。由于VGG16前面几层是卷积层的堆叠，后面几层是全连接层，最后是Softmax层。所有隐层的激活单元都是线性整流函数，同时VGG16 使用多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于是进行了更多的非线性映射，可以增加网络的拟合/表达能力。VGG16网络模型如图5所示。
VGG16模型参数表1如下，输入图像大小为512*512：
表1
本发明的VGG16网络模型采用以下步骤进行训练：VGG16的训练数据集是800张包含L5的原始二维CT图像、S1的原始二维CT图像和股骨头的原始二维CT图像，含L5的二维CT图像的标签为[1,0,0]、含S1的二维CT图像的标签为[0,1,0]、含股骨头的二维CT图像的标签为[0,0,1]。将带有标签的二维CT图像输入建立的VGG16网络模型中，进行训练，直至网络收敛。
本发明利用Adam算法调整VGG16网络模型的权值，直至DRINet网络模型收敛，判定收敛的条件为，收敛函数阈值为0.95；其中，一阶矩估计的指数衰减率β1设定为0.9，二阶矩估计的指数衰减率β2设定为 0.999，防除零参数ε设定为1e-8。学习速率设定为1e-3。使用dice系数作为损失函数。
步骤六、将包含L5的原始二维CT图像、S1的原始二维CT图像和股骨头的原始二维CT图像输入至收敛后的步骤三中的VGG16网络模型中，按序识别输入的图像，根据图像类别预测骶骨面位置。
包含L5的原始二维CT图像、S1的原始二维CT图像和股骨头的原始二维CT图像输入至VGG16网络模型中，通过卷积层提取图像特征，图像特征经过全连接层会输出一个向量。向量中的第一个分量表示原始输入图像是含L5的二维CT图像的概率，第二个分量表示原始输入图像是含S1 的二维CT图像的概率，第三个分量表示原始输入图像是含股骨头的二维CT图像的概率。由三个分量中最大值的位置确定图像类别，如第一个分量值最大，则此图像为含L5的二维CT图像；如第二个分量值最大，则此图像为含S1的二维CT图像；如第三个分量值最大，则此图像为含股骨头的二维CT图像。
由于骶骨面是在L5椎体下方的一个斜面。然而，L5在空间上遮挡了骶骨面一部分。因此，适合定位的切片图像包含S1和L5空间部分，确定的是L5和S1序列图像之间的连接点一定包含骶骨，本实施例选取L5图像序列的最后一张作为包含骶骨面的二维CT图像。
步骤七、对步骤六找到含有骶骨的二维CT图像运行4连通区域识别算法，根据最大连通区域找到用于映射的锚点，即最大连通区域的部分上边缘点；将所述锚点映射回重建的步骤一的三维骨盆模型，生成S1空间骶骨面模型；
所述步骤五中的4连通区域识别算法包括以下步骤：
S71、从找到的含有骶骨的二维CT图像的第一行第一个像素点开始判断此点四邻域中的左方，上方的点的像素值是否为0，如果像素值都为0或不存在上方点和左方点，则此点表示一个新的区域的开始，并给它一个新的标记。
S72、如果此点四邻域中的左方点像素值不为0，上方点像素值为0或上方点不存在，则标记此点为左方点的标记值；如果此点四邻域中的左方点像素值为0或左方点不存在，上方点像素值不为0，则标记此点为最上点的标记值。
S73、如果此点四邻域中的左方点像素值不为0，上方点像素值不为0，则标记此点为这两个中的最小的标记值，并建立等价标记值对，即上方点像素值的标记和左方点像素值的标记表示了同一个连通域中的部分点。
S74、逐行从左向右扫描含有骶骨的二维CT图像上的点，重复S72～S74。
S75、根据等价标记值对和含有骶骨的二维CT图像中每个点的标记完成连通域的查找和连通域中点的数量的计算,找到包含点数量最多的连通域即为最大连通域。
所述步骤七中的所述锚点为最大连通域图像上边缘点，通过MC算法将锚点映射回重建的步骤一的三维骨盆模型；采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点；在这些三维点上运行三维连通区域算法，形成S1的空间骶骨模型，
其中，S1的中心和法向量是被测空间平面上所有点的平均位置和法向量。
所述采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点包括以下步骤：
S701、构建KD-tree模型；
S7011、将重建的三维骨盆数据集合按照X、Y、Z三个方向划分成三个子集合，对每个子集合计算方差，选择具有最大方差的子集合，然后在该子集合上选择中值m做为中心点，用该中心点对该三维骨盆数据集合进行划分，得到两个子集合；同时创建一个树结点，用于存储；
S7012、对两个子集合重复S7011步骤的过程，直至所有子集合都不能再划分为止；如果某个子集合不能再划分时，则将该子集合中的数据保存到叶子结点；
S702、将锚点Q从根结点开始，按照Q与各个结点的比较结果向下访问Kd-Tree模型，直至达到叶子结点；
其中Q与结点的比较指的是将Q对应于结点中的k维度上的值与m进行比较，若Q(k)<m，则访问左子树，否则访问右子树；达到叶子结点时，计算Q与叶子结点上保存的数据之间的距离，记录下最小距离对应的数据点，记为当前“最近邻点”Pcur和最小距离Dcur。
S703、进行回溯操作，找到离Q更近的“最近邻点”；即判断未被访问过的分支里是否还有离Q更近的点，它们之间的距离小于Dcur；
S704、如果Q与其父结点下的未被访问过的分支之间的距离小于Dcur，则认为该分支中存在离P更近的数据，进入该结点，进行S701的查找过程，如果找到更近的数据点，则更新为当前的“最近邻点”Pcur，并更新Dcur；
如果Q与其父结点下的未被访问过的分支之间的距离大于Dcur，则说明该分支内不存在与Q更近的点；
回溯的判断过程是从下往上进行的，直到回溯到根结点时已经不存在与P更近的分支为止。
步骤八、计算骨盆参数。取股骨头三维模型的空间中心和S1空间骶骨面模型上的参数进行骨盆参数计算。
Cmid＝(Cf1+Cf2)/2
其中，Cf1、Cf2分别表示两个股骨头的空间中心，Cp表示骶骨面的空间模型中心，Np表示骶骨面的空间法向量；Cmid为两个股骨头中心连接线的空间中心；PI3D表示空间中的骨盆入射角、PT3D表示空间中的骨盆倾斜角、 SS3D表示空间骶骨倾斜角，z为常量取值为(0,0,1)。
本发明包括股骨头识别重建模块、骶骨面识别定位模块、骨盆参数计算模块。首先对原始图像进行阈值处理，得到二值化图像，利用二值化图像及MC算法实现骨盆的三维重建。其次利用训练好的DRINet网络在二维原始图像上检测股骨头区域，并保存这些区域。算法对保留区域列表中的区域中心进行聚类，并保持最大的聚类。然后以最大簇的中心为空间股骨头中心，以最大半径为空间半径。然后利用训练好的VGG16网络找到包含骶骨面的图像，利用连通区域算法，找到最大连通区域上边缘上的点，将其映射到重建好的骨盆图像三维空间中。利用KD-tree算法及寻找最邻近点方式实现骶骨面的识别，最终计算三维空间骨盆参数。
本发明提供了一种自动的基于三维CT图像重建模型的精准三维骨盆参数测量方法，不仅提升了估算维度还去除了人工参与，大大提高了测量准确度，保证了脊柱矫形手术的顺利实施。
本发明能够自动地精确实现股骨头的分割定位及骶骨面的识别，与现有技术相比：
(1)将二维参数扩展到三维参数，可以拓宽椎体研究的范围，更符合临床实践；
(2)消除用户交互需求，保证框架更高效、可靠、准确，技术要求更低。
需要说明的是，在本文中，如若存在第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于深度学习的空间骨盆参数自动测量方法，其特征在于，包括以下步骤：
步骤一、将原始CT图像进行二值化处理，并重建三维骨盆模型；
步骤二、建立DRINet网络模型，并对DRINet网络模型进行训练，直至其收敛；
步骤三、将原始CT图像输入至收敛后的步骤二中DRINet网络模型中，识别得到股骨头区域，并保存所述股骨头区域；
步骤四、采用聚类算法对识别出的步骤三中的股骨头区域进行聚类，得到三维股骨头坐标，重建股骨头三维模型；
步骤五、建立VGG16网络模型，并对VGG16网络模型进行训练，直至其收敛；
步骤六、将原始CT图像输入至收敛后的步骤五中的VGG16网络模型中，按序识别输入的图像，找到含有骶骨的图像；
步骤七、对步骤六中找到含有骶骨的图像运行4连通区域识别算法，根据最大连通区域找到用于映射的基本点；将所述基本点映射回重建的步骤一的三维骨盆模型，生成S1空间骶骨面模型；
步骤八、计算骨盆参数。
2.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述步骤二中的DRINet网络模型包括紧密连接的卷积层、具有剩余初始化模块的反卷积层、反池化层组成；其中，
紧密连接的卷积层包括密集连接的卷积层组成，每个卷积层的输入由所有前面层输出的特征映射组成，每个卷积层包含12个卷积核；
具有剩余初始化模块的反卷积层包括三个分支的反卷积层来聚合图像特征，每个反卷积使用不同大小的卷积核，分别为1*1，3*3，5*5；
反池化层包括二个分支的反卷积层来聚合图像特征。
3.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，利用Adam算法调整DRINet网络模型的权值，直至DRINet网络模型收敛。
4.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述步骤四中的重建股骨头三维模型包括以下步骤：
S41、初始化聚类簇，簇的数量设定为0；
S42、读取识别的步骤三中的股骨头区域，并遍历所有的簇的中心点，计算股骨头中心点与簇中心点的距离；
S43、若S42的距离小于设定的阈值，则将读出的股骨头区域聚类到相应的簇中，簇内股骨头区域数量加1，更新簇内中心为所有股骨头区域中心的平均值，更新具有最大半径股骨头区域的位置；
S44、若S43不成立，则新建聚类簇，重新依次执行S42、S43；
S45、直至股骨头区域队列为空，则转S46；否则，转S42；
S46、挑选拥有最多股骨头的聚类簇，则最大聚类簇的中心坐标作为三维股骨头的X-Y平面坐标，最大半径所在的位置作为Z轴坐标。
5.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，利用Adam算法调整VGG16网络模型的权值，直至VGG16网络模型收敛。
6.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述步骤七中的4连通区域识别算法包括以下步骤：
S71、从找到的含有骶骨的二维CT图像的第一行第一个像素点开始
S72、判断此点四邻域中的左方，上方的点的像素值是否为0，如果都像素值都为0或不存在上方点和左方点，则此点表示一个新的区域的开始，并给它一个新的标记。
S73、如果此点四邻域中的左方点像素值不为0，上方点像素值为0或上方点不存在，则标记此点为左方点的标记值；如果此点四邻域中的左方点像素值为0或左方点不存在，上方点像素值不为0，则标记此点为最上点的标记值。
S74、如果此点四邻域中的左方点像素值不为0，上方点像素值不为0，则标记此点为这两个中的最小的标记值，并建立等价标记值对，即上方点像素值的标记和左方点像素值的标记表示了同一个连通域中的部分点。
S75、逐行从左向右扫描图像上的点，重复S72～S74的步骤；
S76、根据等价标记值对和图像中每个点的标记完成连通域的查找和连通域中点的数量的计算,找到包含点数量最多的连通域。
7.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述步骤七中的所述基本点为图像上边缘点，通过MC算法将图像上边缘点映射回重建的三维骨盆模型；采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点；在这些三维点上运行三维连通区域算法，形成S1的空间骶骨模型。
8.根据权利要求7所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述采用KD-tree算法在三维骨盆模型中搜索距离锚点最近的三维点包括以下步骤：
S701、构建KD-tree模型；
S7011、将重建的三维骨盆数据集合按照X、Y、Z三个方向划分成三个子集合，对每个子集合计算方差，选择具有最大方差的子集合，然后在该子集合上选择中值m做为中心点，用该中心点对该三维骨盆数据集合进行划分，得到两个子集合；同时创建一个树结点，用于存储；
S7012、对两个子集合重复S7011步骤的过程，直至所有子集合都不能再划分为止；如果某个子集合不能再划分时，则将该子集合中的数据保存到叶子结点；
S702、将锚点Q从根结点开始，按照Q与各个结点的比较结果向下访问Kd-Tree模型，直至达到叶子结点；
其中Q与结点的比较指的是将Q对应于结点中的k维度上的值与m进行比较，若Q(k)<m，则访问左子树，否则访问右子树；达到叶子结点时，计算Q与叶子结点上保存的数据之间的距离，记录下最小距离对应的数据点，记为当前“最近邻点”Pcur和最小距离Dcur。
S703、进行回溯操作，找到离Q更近的“最近邻点”；即判断未被访问过的分支里是否还有离Q更近的点，它们之间的距离小于Dcur；
S704、如果Q与其父结点下的未被访问过的分支之间的距离小于Dcur，则该分支中存在离P更近的数据，进入该结点，进行S701的查找过程，如果找到更近的数据点，则更新为当前的“最近邻点”Pcur，并更新Dcur；
如果Q与其父结点下的未被访问过的分支之间的距离大于Dcur，则说明该分支内不存在与Q更近的点；
回溯的判断过程是从下往上进行，直到回溯到根结点时已经不存在与P更近的分支为止。
9.根据权利要求1所述的基于深度学习的空间骨盆参数自动测量方法，其特征在于，所述步骤八中计算骨盆参数，具体包括：
取股骨头三维模型的空间中心和S1空间骶骨面模型上的参数进行骨盆参数计算；
Cmid＝(Cf1+Cf2)/3
其中，Cf1、Cf2分别表示两个股骨头的空间中心，Cp表示骶骨面的空间模型中心，Np表示骶骨面的空间法向量；Cmid为两个股骨头中心连接线的空间中心；PI3D表示空间中的骨盆入射角、PT3D表示空间中的骨盆倾斜角、SS3D表示空间骶骨倾斜角，z为常量取值为(0,0,1)。
CN201910521995.9A 2019-06-17 2019-06-17 基于深度学习的空间骨盆参数自动测量方法 Active CN110232685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910521995.9A CN110232685B (zh) 2019-06-17 2019-06-17 基于深度学习的空间骨盆参数自动测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910521995.9A CN110232685B (zh) 2019-06-17 2019-06-17 基于深度学习的空间骨盆参数自动测量方法

Publications (2)

Publication Number Publication Date
CN110232685A true CN110232685A (zh) 2019-09-13
CN110232685B CN110232685B (zh) 2022-09-30

Family

ID=67860072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910521995.9A Active CN110232685B (zh) 2019-06-17 2019-06-17 基于深度学习的空间骨盆参数自动测量方法

Country Status (1)

Country Link
CN (1) CN110232685B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583232A (zh) * 2020-05-09 2020-08-25 北京天智航医疗科技股份有限公司 一种股骨头中心确定方法、装置、计算机设备和存储介质
CN112348862A (zh) * 2020-11-03 2021-02-09 广州三瑞医疗器械有限公司 一种基于骨盆模型的骨盆平面中心测算方法及其应用
CN112967375A (zh) * 2021-02-20 2021-06-15 司法鉴定科学研究院 基于深度学习和虚拟影像技术的法医学骨盆性别鉴别方法
CN112990367A (zh) * 2021-04-25 2021-06-18 杭州晟视科技有限公司 一种图像处理方法、装置、设备以及存储介质
CN113160242A (zh) * 2021-03-17 2021-07-23 中南民族大学 一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107492121A (zh) * 2017-07-03 2017-12-19 广州新节奏智能科技股份有限公司 一种单目深度视频的二维人体骨骼点定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107492121A (zh) * 2017-07-03 2017-12-19 广州新节奏智能科技股份有限公司 一种单目深度视频的二维人体骨骼点定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁辉等: "基于CT数据的股骨轴线的获取", 《医用生物力学》 *
宋卫卫等: "基于CT图像反求技术的人体股骨头修复建模", 《大连理工大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583232A (zh) * 2020-05-09 2020-08-25 北京天智航医疗科技股份有限公司 一种股骨头中心确定方法、装置、计算机设备和存储介质
CN111583232B (zh) * 2020-05-09 2024-04-26 北京天智航医疗科技股份有限公司 一种股骨头中心确定方法、装置、计算机设备和存储介质
CN112348862A (zh) * 2020-11-03 2021-02-09 广州三瑞医疗器械有限公司 一种基于骨盆模型的骨盆平面中心测算方法及其应用
CN112967375A (zh) * 2021-02-20 2021-06-15 司法鉴定科学研究院 基于深度学习和虚拟影像技术的法医学骨盆性别鉴别方法
CN113160242A (zh) * 2021-03-17 2021-07-23 中南民族大学 一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置
CN112990367A (zh) * 2021-04-25 2021-06-18 杭州晟视科技有限公司 一种图像处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN110232685B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110232685A (zh) 基于深度学习的空间骨盆参数自动测量方法
CN107230204B (zh) 一种从胸部ct图像中提取肺叶的方法及装置
CN110503680B (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN110246218A (zh) 股骨头三维模型的重建方法、空间骨盆参数测量方法
CN109934121A (zh) 一种基于YOLOv3算法的果园行人检测方法
CN106340016B (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN109635843B (zh) 一种基于多视角图像的三维物体模型分类方法
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN105740915B (zh) 一种融合感知信息的协同分割方法
CN105678747B (zh) 一种基于主曲率的牙齿网格模型自动分割方法
CN109241881A (zh) 一种人体姿态估计方法
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN110334762A (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN113034554B (zh) 基于混沌反向学习的鲸鱼优化的破损俑体碎片配准方法
CN109035227A (zh) 对ct图像进行肺部肿瘤检测与诊断的系统
CN110363170A (zh) 视频换脸方法和装置
CN114723965A (zh) 一种鱼类关键点表型数据测量方法
CN112085675A (zh) 深度图像去噪方法、前景分割方法及人体运动监测方法
CN110197206A (zh) 图像处理的方法及装置
CN108508844A (zh) 基于平面辅助光源与机器视觉的产品转移系统及转移方法
CN110517766A (zh) 识别脑萎缩的方法及装置
CN110378426A (zh) 一种基于yolov3的乳腺结节辅助诊断方法及系统
CN109741358A (zh) 基于自适应超图学习的超像素分割方法
CN110378291B (zh) 一种基于半监督学习的人体特征参数预测方法
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant