CN114882051B - 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法 - Google Patents

一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法 Download PDF

Info

Publication number
CN114882051B
CN114882051B CN202210441908.0A CN202210441908A CN114882051B CN 114882051 B CN114882051 B CN 114882051B CN 202210441908 A CN202210441908 A CN 202210441908A CN 114882051 B CN114882051 B CN 114882051B
Authority
CN
China
Prior art keywords
tumor
image
pixel
bone
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210441908.0A
Other languages
English (en)
Other versions
CN114882051A (zh
Inventor
刘斌
葛琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210441908.0A priority Critical patent/CN114882051B/zh
Publication of CN114882051A publication Critical patent/CN114882051A/zh
Application granted granted Critical
Publication of CN114882051B publication Critical patent/CN114882051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态影像的盆腔骨肿瘤的自动分割与三维重建方法，该方法通过U‑Net网络模型实现了对患者骨盆CT图像中的髂骨、骶骨、股骨的自动分割，其优点在于使得骨组织的分割误差大大减少；其次采用互信息的方法对MR图像和CT图像进行配准，使得我们可以综合利用两者的信息，简化了分割任务；随后采用改进的K‑Means方法MR图像进行聚类得到肿瘤的候选区域，此方法的优点在于对于灰度特征不同的MR图像均可准确的分割出肿瘤区域，具有一定的鲁棒性；利用骨区域和连续性检测对肿瘤候选区域图像进行筛选，此步骤利用医学先验知识，有效的解决了肿瘤区域和与之特征相似的非肿瘤区域无法区分的问题；另外此方法对肿瘤序列进行了填充，使得进行三维重建时肿瘤更加平滑，更加接近真实的肿瘤形态。

Description

一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建 方法
技术领域
本发明涉及医学处理图像领域，尤其涉及一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建的方法。
背景技术
随着经济的发展和社会的进步，人类迫切需要更安全、更快速、更精准和更人性化的医疗服务。为此，充分注重患者的个体差异性，并结合先进的图形图像处理技术，进行个性化、精确化的手术设计便成为目前重要的科学研究方向。骨肿瘤是骨科常见严重疾病之一，而骨盆是骨肿瘤的好发部位之一，由于早期症状不明显，骨盆肿瘤在发现时已处于中晚期，瘤块较大，与周围组织界限不清，再加上盆腔的生理结构复杂，骨盆骨肿瘤给医生的诊断以及术前规划都造成了极大的困难。在骨肿瘤治疗中，外科边界切除不足会直接导致肿瘤病灶的治疗失败；反之为避免出现肿瘤切除边界不足而盲目扩大肿瘤切除范围会给骨重建带来困难，导致术后肢体运动功能损失。此外，在骨缺损的修复治疗中，传统手术以普遍经验为基础，忽视了人体结构存在个体差异，容易导致修复治疗后失去原有骨骼的机械性能。因此，利用计算机来进行肿瘤的精准分割以及肿瘤与病灶骨的三维重建，可以充分的辅助医生对肿瘤进行诊断，进行术前规划，从而满足边界精确切除的基本原则，也是目前亟待填补的技术空白区。
发明内容
获取正常人的骨盆CT图像，分别对髂骨、骶骨、股骨进行标注，将标注图像、骨盆CT图像进行数据转换，制作数据集；
搭建U-net网络模型，将数据集输入至网络模型中进行训练，获得该网络模型在该数据集上的权值文件；
将病患的骨盆CT图像输入至完成训练的网络模型中，利用所述权值文件进行预测，将病患骨盆CT图像中的骨组织分割为髂骨、骶骨以及股骨；
利用患者的骶骨位置信息将上述分割结果划分为左髂骨、右髂骨、骶骨、左股骨、右股骨五类骨块；
获取患者骨盆CT图像序列和T1加权的MR图像序列，利用最大互信息为每一张MR图像寻找与之最匹配的CT图像并进行配准，得到配准矩阵，利用该配准矩阵对T2加权的MR图像进行仿射变换；
采用改进的K-Means方法对变换后的T2加权的MR图像进行聚类，结合肿瘤几何特征得到肿瘤候选区域；
对骨组织图像进行轮廓提取，寻找最小外接矩形、获取骨区域图像，利用骨肿瘤和骨组织相对位置的先验知识，对骨区域在肿瘤候选区域中进行轮廓碰撞检测，对肿瘤进行初步筛选和定位；
根据肿瘤的连续性对骨肿瘤区域的进一步筛选，更新肿瘤候选区域；
利用所述五类骨块分别对肿瘤候选区域进行碰撞检测确定病灶骨，并且根据病灶骨位置对骨肿瘤进行精准定位；
根据骨肿瘤的精准定位信息获取种子点集合，对种子点进行三维区域生长，得到完整的肿瘤序列获得肿瘤的粗分割结果；
利用边缘突刺消除、超像素优化方法对肿瘤粗分割结果进行边缘优化；
根据肿瘤粗分割结果的上下文信息扩充像素点的信息维度，构造肿瘤点概率图，再根据阈值进行分割，得到最终的肿瘤分割结果；
根据CT图像与MR图像的对应关系，确定相邻两张MR图像之间缺失的图像数，获取相邻两张肿瘤轮廓的差值，并利用骨架提取算法对肿瘤中间轮廓进行估计，采用二分法原理进行迭代补全肿瘤序列；
分别对骨组织图像和肿瘤图像采用面绘制的方法进行三维重建从而获得盆腔骨肿瘤的自动分割和三维重建结果。
进一步的，分割骨块时：先将正常人骨盆CT图像及对应的骨组织标注图像输入至U-Net网络中，设定学习率等训练参数，利用交叉熵损失方法进行损失计算从而优化网络模型，其中每五代训练结束保存一次网络权重信息，选取损失最小的权值文件作为该网络对该数据集的权重。
将待分割的患者骨盆CT图像输入至网络中，利用获得的权重信息对待分割数据进行预测，得到五个有效特征层，利用获得的最后一个有效特征层对待分割图像的每一个像素点进行分类预测，将不同的标签赋予不同的颜色，从而获取患者盆腔中骨组织结果图像。
将利用U-Net获得的骨组织结果图像分为单独的髂骨图像、骶骨图像、股骨图像，对髂骨和股骨图像进行轮廓发现，计算轮廓的质心位置，与骶骨位置进行比较，将髂骨图像和股骨图像进一步分为左、右髂骨图像和左、右股骨图像。
进一步的，在CT图像与T1加权的MR图像进行配准时：先确定与第一张MR图像最匹配的CT图像的索引，获取CT序列和MR序列中的图像层间的间隔比值，以此来确定与下一张MR图像匹配的CT图像的索引范围，计算索引范围内每张CT图像与MR图像的信息熵，选取使信息熵最大CT图像作为与MR图像匹配的图像，重复此步骤，为序列中每张MR图像找到与之最为匹配的CT图像。
在确定与MR图像最匹配的CT图像后，将CT图像作为基准图像，初始化一个3x3的矩阵，利用此矩阵对MR图像实施仿射变换，计算变换后的MR图像与CT图像的互信息，初始化优化器的步长、迭代次数、生长因子、舍弃误差等参数，通过不断迭代来更新矩阵参数，求解出一个使得CT图像与MR图像互信息达到最大的矩阵作为最终的配准矩阵。
得到每组CT图像和MR图像的配准矩阵后，为了保持MR图像序列的三维信息完整性，计算出一个平均配准矩阵作为变换矩阵，对T2加权的MR图像序列进行仿射变换，得到变换后的T2加权的MR图像序列作为待分割的图像。
进一步的，在利用改进的K-Means算法对MR图像进行聚类得到肿瘤候选区域时：首先根据图像特点确定聚类个数k＝4,其次根据图像序列的灰度直方图确定肿瘤与其他组织的对比度，若对比度大于阈值，则只保留平均灰度值最大的一类像素点作为肿瘤候选区域，若对比度小于阈值，则保留平均灰度值最大的两类像素点作为肿瘤候选区域。
在肿瘤候选区域确定时：首先对肿瘤候选区域图像进行轮廓发现,并获得每个轮廓的外接矩形，分别计算该轮廓面积与外接矩形的面积，当二者的比值在一定范围内，则确定为肿瘤候选区域，否则删除该轮廓所包含的区域。
在获取骨区域图像时:首先对骨组织图像进行轮廓发现，计算每一个轮廓的最小外接旋转矩形，创建一个与原始图像等大的全黑的图像，在上面绘制出所有轮廓的最小外接矩形并填充，作为骨区域图像。
在对骨区域和肿瘤候选区域进行碰撞检测时:计算骨区域非零像素点个数，然后对肿瘤候选区域进行连通区域检测，选定一个连通区域，计算非零像素点个数，再将该连通区域叠加到骨区域图像上，计算此叠加图像非零像素点的个数，若骨区域图像非零像素点个数与此连通区域非零像素点个数的和小于叠加图像非零像素点个数，则证明此连通区域与骨区域发生了碰撞，可继续认定为肿瘤候选区域，否则从肿瘤候选区域中删除；对肿瘤候选图像中的所有连通区域进行此操作，得到新的肿瘤候选区域图像。
根据肿瘤的连续性完成对骨肿瘤区域的进一步筛选时：对肿瘤候选区域图像进行轮廓发现，计算每一个轮廓的质心，若其他图像中均不含有包含此点的轮廓，则证明该轮廓不满足肿瘤连续性的特征，从肿瘤候选区域图像中删除此轮廓。
在确定病灶骨时：根据分割的左、右髂骨，骶骨，左、右股骨分别生成五个不同的骨区域，利用下文0036段描述的碰撞检测的方法进行不同骨块与肿瘤候选区域的碰撞检测，统计碰撞次数，碰撞次数最多的骨块即为患者的病灶骨。
进一步的，在进行骨肿瘤的精准定位时：对肿瘤候选区域图像进行连通区域检测，和病灶骨的骨区域进行碰撞检测，仅保留与病灶骨骨区域发生碰撞的连通区域作为骨肿瘤候选区域，从而完成骨肿瘤的精准定位。
进一步的，进行三维区域生长时:定义一个空集合作为种子点集合，对肿瘤区域进行轮廓发现，计算每一个轮廓的质心，加入种子点集合，在K-Means聚类得到的序列图像中将每个与种子点灰度相差在一定阈值范围内的相邻像素合并到肿瘤区域，从而分割出完整的肿瘤序列，得到肿瘤粗分割结果。
进一步的，采用边缘突刺消除对肿瘤粗分割结果进行边缘优化时：分为消除白色突刺和消除黑色突刺两个步骤；
在消除白色突刺时：根据从上到下，从左到右的顺序遍历像素，若像素点的像素值为0则继续遍历，若一像素点的像素值突变为255，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为255的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为0，若大于规定阈值则保留这些像素点的像素值；
消除黑色突刺时：根据从上到下，从左到右的顺序遍历像素，若像素点的像素值为255则继续遍历，若一像素点的像素值突变为0，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为0的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为255，若大于规定阈值则保留这些像素点的像素值。
进一步的，进行超像素优化边缘时：首先利用SLIC超像素分割方法，使位置相近、特征相似的像素点组成一个超像素，然后对肿瘤图像进行轮廓发现，提取轮廓点，若该轮廓点所属的超像素中处于肿瘤内部的像素点与该超像素的像素点总数的比值超过规定阈值，则将该超像素中所有的点都标记为肿瘤内部的点，完成边缘优化。
进一步的，根据上下文进行肿瘤分割优化时：首先计算得到每一张肿瘤图像的平均灰度值，然后遍历当前图像中不包含在肿瘤内部的像素点，若相邻两张图像中处于该位置的像素点包含在肿瘤内部，则将当前图像中处于该位置的像素点标记为肿瘤点，若相邻两张图像中只有一张图像中处于该位置的像素点包含在肿瘤内部，则将当前图像中处于该位置的像素点包含为待定肿瘤点，若该待定肿瘤点的灰度值与肿瘤区域的平均灰度值的差值小于规定阈值，则标记为肿瘤点，最终得到优化的肿瘤分割结果。
进一步的在进行MR肿瘤的中间轮廓估计时：首先利用抑或运算，计算出相邻两张肿瘤图像的差值部分，其次基于距离变换算法，对差值部分的轮廓进行骨架提取，得到中间轮廓，利用二分法的思想，遍历肿瘤序列，得到最终补帧后的肿瘤序列。
本发明公开的一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法，首先通过U-Net网络模型实现了对患者骨盆CT图像中的髂骨、骶骨、股骨的自动分割，其优点在于使得骨组织的分割误差大大减少；其次采用互信息的方法对MR图像和CT图像进行配准，使得我们可以综合利用两者的信息，简化了分割任务；随后采用改进的K-Means方法MR图像进行聚类得到肿瘤的候选区域，此方法的优点在于对于灰度特征不同的MR图像均可准确的分割出肿瘤区域，具有一定的鲁棒性；利用骨区域和连续性检测对肿瘤候选区域图像进行筛选，此步骤利用医学先验知识，有效的解决了肿瘤区域和与之特征相似的非肿瘤区域无法区分的问题；之后进行病灶骨检测以及利用病灶骨对肿瘤区域进行定位，完成了骨肿瘤的精准定位工作，利用三维区域生长算法实现了骨肿瘤的粗分割；再利用边缘突刺消除算法和超像素优化算法对肿瘤边缘进行优化，然后利用肿瘤粗分割结果的上下文信息优化肿瘤的分割结果，得到最终误差较小的肿瘤分割结果；此外还利用骨架提取算法进行肿瘤中间轮廓估计，此方法对肿瘤序列进行了填充，使得进行三维重建时肿瘤更加平滑，更加接近真实的肿瘤形态。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法实现的流程图
图2为本发明中输入的患者盆腔CT图像
图3为本发明中基于U-Net的盆骨骨块分割的效果图
图4为本发明中骶骨的三维重建效果图
图5为本发明中髂骨的三维重建效果图
图6为本发明中股骨的三维重建效果图
图7为本发明中输入的患者盆腔T1加权的MR图像
图8为本发明中输入的患者盆腔T2加权的MR图像
图9为本发明中MR图像与CT图像配准前的融合图
图10为本发明中MR图像与CT图像配准后的融合图
图11为本发明中T2加权的MR图像仿射变换后的效果图
图12为本发明中生成的聚类图
图13为本发明中生成的肿瘤候选区域图
图14为本发明中生成的骨区域的示意图
图15为本发明中病灶骨检测结果图
图16为本发明中肿瘤精准定位的效果图
图17为本发明中肿瘤粗分割的效果图
图18为本发明中肿瘤边缘突刺消除的效果图
图19为本发明中超像素划分的效果图
图20为本发明中超像素边缘优化的效果图
图21为本发明中根据上下文信息优化肿瘤分割结果的效果图
图22为本发明中对MR图像分割的肿瘤进行中间轮廓估计的效果图
图23为本发明中病灶骨及肿瘤图像重建后效果图
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法，在实施过程中首先利用U-Net网络模型在患者的CT图像中将骨组织分割为髂骨、股骨与骶骨，结果如图3所示，并对分离出的髂骨、股骨与骶骨图像分别进行三维重建，结果如图4-6所示，并利用骶骨的位置将骨组织分为左髂骨、右髂骨、骶骨、左股骨、右股骨五个骨块。然后利用互信息方法对MR图像和CT图像进行配准，结果如图10和图11所示。利用改进的K-Means聚类算法结合肿瘤的几何特征获得肿瘤候选区域图像，结果如图13所示。利用轮廓检测技术生成骨区域图像，结果如图14所示，进行碰撞检测和连续性检测，更新肿瘤候选区域图像。随后分别生成五个骨块的骨区域图像，进行病灶骨检测，结果如图15所示，再利用病灶骨对肿瘤进行精准定位，结果如图16所示。进一步利用三位区域生长算法得到粗分割的肿瘤序列，结果如图17所示。在粗分割完成后，利用边缘突刺消除算法和超像素优化算法进行肿瘤边缘，结果分别为图18和图20所示，然后利用肿瘤粗分割结果的上下文信息优化肿瘤的分割结果，如图21所示，最后使用骨架提取算法进行肿瘤中间轮廓估计结果如图22所示，利用二分法迭代得到完整的肿瘤序列，再利用面绘制算法对肿瘤及病灶骨进行三维重建，得到最终的结果，如图23所示。本发明公开的方法具体步骤如下：
S1：对正常人骨盆CT图像中的不同骨块进行标注，搭建U-Net网络模型，在标注数据集上进行训练，得到权值文件，具体采用如下方式：
S11.搭建主干特征提取网络，五个有效特征层由如下方式获取：
第一个有效特征层：进行两次卷积核为[3,3]的64通道的卷积，获得一个[512,512,64]的初步有效特征层，再进行2×2最大池化，获得一个[256,256,64]的特征层；
第二个有效特征层：进行两次卷积核为[3,3]的128通道的卷积，获得一个[256,256,128]的初步有效特征层，再进行2×2最大池化，获得一个[128,128,128]的特征层；
第三个有效特征层：进行三次卷积核为[3,3]的256通道的卷积，获得一个[128,128,256]的初步有效特征层，再进行2×2最大池化，获得一个[64,64,256]的特征层；
第四个有效特征层：进行三次卷积核为[3,3]的512通道的卷积，获得一个[64,64,512]的初步有效特征层，再进行2×2最大池化，获得一个[32,32,512]的特征层；
第五个有效特征层：进行三次卷积核为[3,3]的512通道的卷积，获得一个[32,32,512]的特征层。
S12.构建加强特征提取网络，利用上述获得的五个初步的有效特征层进行特征融合，特征融合即对特征层进行上采样并且进行堆叠。
第一个上采样层：对上述获得的第五个有效特征层进行卷积核为[2,2]的上采样，获得一个[64,74,512]的第一个上采样层；
第二个上采样层：对上述获得的第四个有效特征层与第一个上采样层进行融合，获得一个[64,64,1024]的初步上采样层。再进行两次卷积核为[3,3]的512通道的卷积，获得一个[64,64,512]的上采样层。最后进行卷积核为[2,2]的上采样，获得一个[128,128,512]的第二个上采样层；
第三个上采样层：对上述获得的第三个有效特征层与第二个上采样层进行融合，获得一个[128,128,768]的初步上采样层。再进行两次卷积核为[3,3]的256通道的卷积，获得一个[128,128,256]的上采样层。最后进行卷积核为[2,2]的上采样，获得一个[256,256,256]的第三个上采样层；
第四个上采样层：对上述获得的第二个有效特征层与第三个上采样层进行融合，获得一个[256,256,384]的初步上采样层。再进行两次卷积核为[3,3]的128通道的卷积，获得一个[256,256,128]的上采样层。最后进行卷积核为[2,2]的上采样，获得一个[512,512,128]的第四个上采样层；
第五个上采样层：对上述获得的第一个有效特征层与第四个上采样层进行融合，获得一个[512,512,192]的初步上采样层。再进行两次卷积核为[3,3]的64通道的卷积，获得一个[512,512,64]的第五个上采样层。
最后对第五个上采样层进行卷积核为[1,1]，通道数与分类数相同的卷积，获得最终的上采样层。
S13.上针对述的卷积操作，其中激活函数采用ReLU函数(Rectified LinearUnits)：
ReLU＝max(0,x)
与之不同的是，加强特征提取网络最后一层卷积核为[1,1]的卷积的激活函数采用了Sigmoid函数：
针对上述的卷积操作，其中padding值设为SAME：
针对上述的最大池化操作，其中水平滑动步长和垂直滑动步长都为2。
S14.搭建好网络后，在标注数据集上进行训练，获得权值文件，具体采用如下方式：
加载初始权值文件，输入训练数据集，对数据集的前50次训练，学习率设为1e-4，第50-100次训练设为冻结训练，学习率为1e-5，每五次训练保存一次网络的权值信息，选取使得损失最小的权值信息作为最终的权值文件。
训练中使用交叉熵损失方法进行损失计算来优化网络：
其中M表示类别的数量，yic表示符号函数(0或1)，pic表示观测样本i属于类别c的预测概率。
S2：获取所述患者盆腔骨组织分割结果图像采用如下方式：
S21.获取上述模型文件和训练后的权重信息，利用1×1卷积对通道数进行调整，将最终特征层的通道数调整成标签个数，即人体骨盆CT图像待分割的骨组织种类数。
S22.对图像进行归一化后输入网络中，采用上述获得的权值文件进行预测，得到五个有效特征层。根据最后一个有效特征层确定每个像素点对应的最大概率的标签，即为该像素点对应的分类。
S23.创建一张与原图同尺寸全黑图像，将属于髂骨的像素点的像素值设置成(255,0,0)，属于骶骨的像素点的像素值置成(0,255,0),属于骶骨的像素点的像素值置成(0,0,255)，背景像素点置成(0,0,0)。即可获取人体盆腔骨组织分割结果图像。结果如图3所示。
S24.创建一张与原图大小相同的单通道图像，将分割结果中像素值为(255,0,0)的点的像素值设为255，其余点的像素值设为0，得到髂骨图像；创建一张与原图大小相同的单通道图像，将分割结果中像素值为(0,255,0)的点的像素值设为255，其余点的像素值设为0，得到骶骨图像；创建一张与原图大小相同的单通道图像，将分割结果中像素值为(0,0,255)的点的像素值设为255，其余点的像素值设为0，得到股骨图像。
S3：获取所述左、右髂骨，骶骨，左、右股骨的分割图像采用如下形式：
S31.在骶骨图像中进行轮廓发现，获得骶骨的平均中心坐标其计算方式为：
其中，n为骶骨图像张数，m为第i张图像中轮廓个数，cXij为第i张图像第j个轮廓的质心的横坐标，cYij为第i张图像第j个轮廓的质心的纵坐标。
S32.在髂骨/股骨图像中进行轮廓发现，设轮廓中心坐标为(cX,cY),若 则将该轮廓认定为左髂骨/股骨，反之则认定为右髂骨/股骨。
S4：确定与每张T1加权的MR图像最匹配的CT图像采用如下形式:
S41.首先确定与第一张MR图像mP1对应的CT图像的索引cP1，然后访问DICOM文件，利用(0018|0088)的tag信息得到MR图像的层间间隔Sm和CT图像的层间间隔Sc，确定搜索步长为
λ＝Sc/Sm
则与第i张MR图像mPi匹配的CT图像的索引集合为：
A＝{cPi|cP1-λ(i-1)-1<cPi<cP1-λ(i-1)+1,cPi∈I}
S42.利用互信息确定与MR图像最匹配的CT图像的方式如下：
计算索引范围内的每张CT图像和MR图像的互信息，其数学公式如下：
MI(X,Y)＝H(X)+H(Y)-H(X,Y)
其中H(X)表示图像X的熵，H(Y)表示图像Y的熵，计算公式为：
其中，hi表示图像Y中灰度值为i的像素点个数，N表示图像Y的灰度级数。H(X,Y)表示两张图的联合熵，反映了他们的相关性，计算方式如下：
选取使互信息最大的CT图像作为与MR图像匹配的图像。
S5：对CT图像和T1加权的MR图像进行配准，获取配准矩阵，并对T2加权的MR图像实施仿射变换，采用如下方法：
S51.对每组CT和MR图像利用Matlab提供的算法进行配准，得到一个3x3的配准矩阵：
i表示第i组CT图像和MR图像，n表示共有n组匹配的图像
S52.将变换矩阵作用到T2加权的MR序列图向上进行仿射变换，为了保持MR图像的三维连续性，对所有MR图像施加同一个变换矩阵，所以先求出平均变换矩阵：
其中，(tx，ty)表示平移量，而参数aj则表示了图像的旋转、放缩等变化。
S53.利用如下公式则完成对T2加权的MR图像的仿射变换，结果如图11所示：
S6：利用改进的K-Means方法对MR图像进行聚类采用如下形式：
S61.根据T2加权的MR图像的特征，选取k＝4，即划分为4簇。利用K-Means算法得出聚类结果图像。如图12所示。
S62.计算图像的灰度直方图，亮部视为肿瘤区域，暗部视为非肿瘤区域，计算两者的比值，若大于给定阈值，则只取聚类结果中灰度值最高的一类作为肿瘤候选区域，若小于给定阈值，则取聚类结果中灰度值最高的两类作为肿瘤候选区域。如图13所示
S7：统计有效像素点，根据肿瘤形态筛选肿瘤的方式如下：
S71.由于肿瘤生物特性，可知盆腔骨肿瘤总是以密度较大的方式附着在骨组织附近，所以对于密度极小的区域不予考虑。
S72.对肿瘤区域进行轮廓发现，并计算出每个轮廓的外接矩形，计算每个轮廓的面积A1和对应外接矩形的面积A2，若A1/A2<th(th为给定阈值)，则将此轮廓从肿瘤候选区域中删除。
S8：利用骨区域通过碰撞检测获取肿瘤粗定位采用如下方式：
S81.对骨组织图像进行轮廓提取，并寻找每个轮廓的最小外接矩形。
S82.创建与原图尺寸相同的单通道图像，像素值都设为0，每个外接矩形及其内部的点的像素值设为255，作为骨区域图像。统计非零像素值个数num1
S82.对肿瘤后全区域图像进行连通区域分割，统计每一个连通区域非零像素值个数num2i，并将每一个连通区域分别与骨区域图像做加法，得到叠加后的图像，统计非零像素值num3。若num1+num2i>num3,则说明第i个连通区域与骨区域发生碰撞，保留该区域为肿瘤候选区域，否则删除该区域。
S9：根据肿瘤的连续性完成对骨肿瘤区域的进一步筛选：
对肿瘤候选区域做轮廓检测，获取轮廓质心，在序列其他图片中寻找包含质心所在位置的点的轮廓，若没有找到，则在肿瘤候选区域中删除该轮廓，否则保留。
S10：利用分块骨区域通过碰撞检测确定病灶骨并进行肿瘤精准定位采用如下方式：
S101.利用生成骨区域的方式，分别生成左、右髂骨，骶骨，左、右股骨的骨区域，与S8步骤相同的，将肿瘤候选区域与骨区域进行碰撞检测，记录每一个骨块发生碰撞的次数，最多的即为病灶骨。
S102.确定病灶骨后，在肿瘤候选区域中，只保留与病灶骨发生碰撞的连通区域，完成肿瘤的精准定位。
S11：利用三维区域生长获得肿瘤粗分割结果采用如下的方法：
S111.首先定义一个种子点集合对精准定位的肿瘤进行轮廓提取，获取所有轮廓的质心，将其加入种子点集合，此时
A＝{(x1,y1),(x1,y1),...,(xn,yn)}
S112.利用三维区域生长算法在未经过筛选的肿瘤候选区域图像中进行区域生长，得到最终的肿瘤粗分割结果。
S12：利用边缘突刺消除方法进行边缘平滑时采用如下方法：
S121.首先进行白色边缘突刺的消除，按照从上到下，从左到右的顺序遍历像素，若像素点的像素值为0则继续遍历，若一像素点的像素值突变为255，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为255的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为0，若大于规定阈值则保留这些像素点的像素值。
S122.其次进行黑色边缘突刺的消除，按照从上到下，从左到右的顺序遍历像素，若像素点的像素值为255则继续遍历，若一像素点的像素值突变为0，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为0的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为255，若大于规定阈值则保留这些像素点的像素值。
结果如图18所示。
S13：利用超像素优化方法进行边缘优化时采用如下方法：
S131.首先利用SLIC算法利用原像素图生成超像素图，具体方法如下：
首先规定初始化每个超像素为大小为13x13的正方形，利用canny算法生成梯度图，将聚类中心移动到与3×3邻域中的最低梯度位置相对应的种子位置，每个像素与搜索区域与其位置重叠的最近聚类中心相关联，并在超像素中心周围的区域2S×2S中进行类似像素的搜索。一旦每个像素已经与最近的聚类中心相关联，将聚类中心调整为属于该聚类的所有像素的平均向量。不断调整聚类中心和属于该类的像素点，直到聚类中心不再发生变化，超像素分割完成。
其中距离用以下公式计算：
其中，m为一个固定常数，s为网格间隔，i代表待聚类像素点，j代表聚类中心点，l、a、b分别为SLIC算法生成的Lab颜色空间的特征值，x,y为像素坐标。
S132.在完成超像素分割后，为每一个像素分配一个标签，即为其所属的超像素的编号，遍历肿瘤图像的轮廓点，获取其标签，访问其所在的超像素，若该超像素中属于肿瘤内部的点比值大于给定阈值，则该超像素内部的像素点均属于肿瘤内部，该超像素中处在肿瘤外部的点比值大于另一给定阈值，则该超像素内部的像素点均属于肿瘤外部，从而优化肿瘤边缘，如图20所示。
S14：结合上下文生成肿瘤概率图进行肿瘤优化时采用如下方法：
S141.遍历肿瘤区域外部的像素点，若该像素点在相邻两张图像中均包含在肿瘤区域内部，则认定该点为极大概率肿瘤点，若该像素点在相邻两张图像中的一张中包含在肿瘤区域内部，则认定该点为较大概率肿瘤点。
S142.计算当前MR图像中属于肿瘤内部的像素点的灰度平均值，若极大概率肿瘤点的灰度值满足：
ave-gray(x)<th1
其中ave为肿瘤区域灰度平均值，th1为给定阈值，则认定其为肿瘤点。
若较大概率肿瘤点的灰度值满足：
ave-gray(x)<th2
th2为另一给定阈值，且th2<th1，则认定其为肿瘤点。
S15：利用骨架提取算法进行肿瘤中间轮廓估计时采用如下方法：
S151.首先根据配准信息获得MR图像对应CT图像的索引，从而得出每两张相邻MR图像之间缺失的图像数量。
S152.对相邻的MR肿瘤图像M1,M2进行“抑或”位运算，得到两者的差值图像M＝((M1∪M2)-((M1∩M2)
S153.补全差值图像的轮廓信息，分别获得两张相邻图像的轮廓图像cont1,cont2，最终得到的轮廓差值图像为SUB＝M∪cont1∪cont2
S154.对得到的差值图像应用距离变换算法进行骨架提取，其方法如下：定义图像中像素值为255的点为前景区域(F)，像素值为0的点为背景区域(B)，定义前景区域中的像素点p的变换距离为：
其中，d(p,q)为p点到q点的欧氏距离，计算公式如下：
得到前景中所有点的变换距离后，再使用八叉树数据结构来检查像素的3x3邻域。通过在图像上迭代扫描并在每次迭代中移除像素直到图像停止改变，从而将一个连通区域细化成一个像素的宽度，即为两张相邻MR肿瘤图像的中间肿瘤轮廓。如图22所示
S154.利用二分查找的思想，进行迭代，获取完整的肿瘤序列。
S16：所述重建三维模型采用如下方法：
S161.对无肿瘤的CT图像创建同样尺寸且像素值均为0的图像。将肿瘤图像顺序按照CT系列图像顺序进行存储。
S162.使用面绘制进行重建，使用vtkContourFilter提取等值面；使用vtkSmoothPolyDataFilter进行网格平滑，迭代次数设置为500次；使用vtkPolyDataNormals计算法向量，特征角设置为60；使用vtkStripper将三角网格连接起来。最终通过VTK的管线进行渲染得到盆腔强骨肿瘤及骨组织的重建结果。结果如图23所示。
本发明是一种无需手工标注，直接自动获取MR图像肿瘤，并进行中间轮廓估计，最终得病灶骨及肿瘤的三维模型的方法。该方法将替代原来的必须通过人工标记才能获取病灶骨及肿瘤的方式，只需要用户输入患者盆腔MR图像和CT图像。减少了日常生活中需要医生手工寻找肿瘤边界的操作，提供可供参考的可视化三维模型，无需医生根据临床经验凭空想象肿瘤的位置和大小，从而减少一些由于人工失误导致的误差，减轻了医生的工作压力，可以辅助医生的诊断和术前规划，使得准确性和效率提高。本方法不需要有相应的医学技术就可以操作，占用内存较小，运行时间快。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法，其特征在于包括：
获取正常人的骨盆CT图像，分别对髂骨、骶骨、股骨进行标注，将标注图像、骨盆CT图像进行数据转换，制作数据集；
搭建U-net网络模型，将数据集输入至网络模型中进行训练，获得该网络模型在该数据集上的权值文件；
将病患的骨盆CT图像输入至完成训练的网络模型中，利用所述权值文件进行预测，将病患骨盆CT图像中的骨组织分割为髂骨、骶骨以及股骨；
利用患者的骶骨位置信息将上述分割结果划分为左髂骨、右髂骨、骶骨、左股骨、右股骨五类骨块；
获取患者骨盆CT图像序列和T1加权的MR图像序列，利用最大互信息为每一张MR图像寻找与之最匹配的CT图像并进行配准，得到配准矩阵，利用该配准矩阵对T2加权的MR图像进行仿射变换；
采用改进的K-Means方法对变换后的T2加权的MR图像进行聚类，结合肿瘤几何特征得到肿瘤候选区域；
对骨组织图像进行轮廓提取，寻找最小外接矩形、获取骨区域图像，利用骨肿瘤和骨组织相对位置的先验知识，对骨区域在肿瘤候选区域中进行轮廓碰撞检测，对肿瘤进行初步筛选和定位；
根据肿瘤的连续性对骨肿瘤区域的进一步筛选，更新肿瘤候选区域；
利用所述五类骨块分别对肿瘤候选区域进行碰撞检测确定病灶骨，并且根据病灶骨位置对骨肿瘤进行精准定位；
根据骨肿瘤的精准定位信息获取种子点集合，对种子点进行三维区域生长，得到完整的肿瘤序列获得肿瘤的粗分割结果；
利用边缘突刺消除、超像素优化方法对肿瘤粗分割结果进行边缘优化；
根据肿瘤粗分割结果的上下文信息扩充像素点的信息维度，构造肿瘤点概率图，再根据阈值进行分割，得到最终的肿瘤分割结果；
根据CT图像与MR图像的对应关系，确定相邻两张MR图像之间缺失的图像数，获取相邻两张肿瘤轮廓的差值，并利用骨架提取算法对肿瘤中间轮廓进行估计，采用二分法原理进行迭代补全肿瘤序列；
分别对骨组织图像和肿瘤图像采用面绘制的方法进行三维重建从而获得盆腔骨肿瘤的自动分割和三维重建结果。
2.根据权利要求1所述的方法，其特征在于：将利用U-Net网络模型获得的骨组织图像分为单独的髂骨图像、骶骨图像和股骨图像，对髂骨和股骨图像进行轮廓发现，计算轮廓的质心位置并与骶骨位置进行比较，将髂骨图像和股骨图像划分为左髂骨图像、右髂骨图像、左股骨图像和右股骨图像。
3.根据权利要求2所述的方法，其特征在于：在CT图像与T1加权的MR图像进行配准时：先确定与第一张MR图像最匹配的CT图像的索引，获取CT序列和MR序列中的图像层间的间隔比值，以此来确定与下一张MR图像匹配的CT图像的索引范围，计算索引范围内每张CT图像与MR图像的信息熵，选取使信息熵最大CT图像作为与MR图像匹配的图像，重复此步骤，为序列中每张MR图像找到与之最为匹配的CT图像。
4.根据权利要求1所述的方法，其特征在于：在利用改进的K-Means算法对MR图像进行聚类得到肿瘤候选区域时：根据图像特性确定聚类个数k,其次根据图像序列的灰度直方图确定肿瘤与其他组织的对比度，若对比度大于设定阈值，则只保留平均灰度值最大的一类像素点作为肿瘤候选区域，若对比度小于设定阈值，则保留平均灰度值最大的两类像素点作为肿瘤候选区域。
5.根据权利要求4所述的方法，其特征在于：在对骨区域和肿瘤候选区域进行碰撞检测时:计算骨区域非零像素点个数，对肿瘤候选区域进行连通区域检测，选定一个连通区域，计算非零像素点个数，再将该连通区域叠加到骨区域图像上，计算此叠加图像非零像素点的个数，若骨区域图像非零像素点个数与此连通区域非零像素点个数的和小于叠加图像非零像素点个数，则证明此连通区域与骨区域发生碰撞，继续认定为肿瘤候选区域，否则从肿瘤候选区域中删除；对肿瘤候选图像中的所有连通区域进行此操作，得到新的肿瘤候选区域图像。
6.根据权利要求5所述的方法，其特征在于：对种子点进行三维区域生长时：将空集合作为种子点集合，对肿瘤区域进行轮廓发现，计算每一个轮廓的质心，加入种子点集合，在K-Means聚类得到的序列图像中将每个与种子点灰度相差在一定阈值范围内的相邻像素合并到肿瘤区域，从而分割出完整的肿瘤序列，得到肿瘤粗分割结果。
7.根据权利要求2所述的方法，其特征在于：采用边缘突刺消除对肿瘤粗分割结果进行边缘优化分为：消除白色突刺和消除黑色突刺两个步骤；
在消除白色突刺时：根据从上到下、从左到右的顺序遍历像素，若像素点的像素值为0则继续遍历，若一像素点的像素值突变为255，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为255的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为0，若大于规定阈值则保留这些像素点的像素值；
在消除黑色突刺时：根据从上到下、从左到右的顺序遍历像素，若像素点的像素值为255则继续遍历，若一像素点的像素值突变为0，则标记该点，分别计算垂直方向和竖直方向上以该点为起点的连续像素值为0的像素点个数，若小于规定阈值则将这些像素点的像素值全标记为255，若大于规定阈值则保留这些像素点的像素值。
8.根据权利要求7所述的方法，其特征在于：采用超像素优化方法对肿瘤粗分割结果进行边缘优化时：利用SLIC超像素分割方法使位置相近、特征相似的像素点组成一个超像素，对肿瘤图像进行轮廓发现并提取轮廓点，若该轮廓点所属的超像素中处于肿瘤内部的像素点与该超像素的像素点总数的比值超过规定阈值，则将该超像素中所有的点都标记为肿瘤内部的点、完成边缘优化。
9.根据权利要求8所述的方法，其特征在于：计算得到每一张肿瘤图像的平均灰度值，遍历当前图像中不包含在肿瘤内部的像素点，若相邻两张图像中处于该位置的像素点包含在肿瘤内部，则将当前图像中处于该位置的像素点标记为肿瘤点，若相邻两张图像中只有一张图像处于该位置的像素点包含在肿瘤内部，则将当前图像中处于该位置的像素点包含为待定肿瘤点，若该待定肿瘤点的灰度值与肿瘤区域的平均灰度值的差值小于规定阈值，则标记为肿瘤点，最终得到优化的肿瘤分割结果。
10.根据权利要求1-9任意一项权利要求所述的方法，其特征在于:对肿瘤中间轮廓进行估计时：采用抑或运算计算出相邻两张肿瘤图像的差值部分，基于距离变换算法对差值部分的轮廓进行骨架提取得到中间轮廓，利用二分法原理遍历肿瘤序列得到最终完整的肿瘤序列。
CN202210441908.0A 2022-04-25 2022-04-25 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法 Active CN114882051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441908.0A CN114882051B (zh) 2022-04-25 2022-04-25 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441908.0A CN114882051B (zh) 2022-04-25 2022-04-25 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法

Publications (2)

Publication Number Publication Date
CN114882051A CN114882051A (zh) 2022-08-09
CN114882051B true CN114882051B (zh) 2024-07-16

Family

ID=82672286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441908.0A Active CN114882051B (zh) 2022-04-25 2022-04-25 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法

Country Status (1)

Country Link
CN (1) CN114882051B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115954106B (zh) * 2023-03-15 2023-05-12 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN117237435B (zh) * 2023-11-16 2024-02-06 北京智源人工智能研究院 肿瘤预后效果评估的方法、装置、电子设备和存储介质
CN117648296B (zh) * 2024-01-29 2024-04-09 北京惠朗时代科技有限公司 一种图形数据的读取装置及使用方法
CN117808813B (zh) * 2024-03-01 2024-06-18 乐恩(北京)医药技术有限公司 呼吸系统肺结节肿瘤细胞影像检测方法及系统、存储介质
CN118172366B (zh) * 2024-05-15 2024-07-30 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) 一种基于图形识别的肿瘤ct图像处理方法及系统
CN118279302A (zh) * 2024-05-31 2024-07-02 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 面向脑肿瘤图像的三维重建检测方法及系统
CN118397059B (zh) * 2024-06-27 2024-09-17 西安电子科技大学 用于多模态影像增强与配准的模型训练方法及配准方法
CN118710667A (zh) * 2024-08-27 2024-09-27 吉林大学第一医院 一种基于ct图像的脑外科多触点电极自动分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753997A (zh) * 2018-12-19 2019-05-14 湖南科技大学 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN110619641A (zh) * 2019-09-02 2019-12-27 南京信息工程大学 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117575A2 (en) * 2009-04-07 2010-10-14 Virginia Commonwealth University Accurate pelvic fracture detection for x-ray and ct images
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
CN110738701B (zh) * 2019-10-23 2020-08-11 上海聚慕医疗器械有限公司 一种肿瘤三维定位系统
CN113223028A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种基于mr和ct的多模态肝脏肿瘤分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753997A (zh) * 2018-12-19 2019-05-14 湖南科技大学 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN110619641A (zh) * 2019-09-02 2019-12-27 南京信息工程大学 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法

Also Published As

Publication number Publication date
CN114882051A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114882051B (zh) 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法
CN111091527B (zh) 一种病理组织切片图像中病变区域自动检测方法及系统
EP3432263B1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
CN104956397B (zh) 基于自动空间上下文的3d图像中的多对象分段
CN112581436B (zh) 基于深度学习的肺结节识别与分割方法及系统
Mharib et al. Survey on liver CT image segmentation methods
CN109215032A (zh) 图像分割的方法及系统
US20230005140A1 (en) Automated detection of tumors based on image processing
Balamurugan et al. Brain tumor segmentation and classification using hybrid deep CNN with LuNetClassifier
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
Ypsilantis et al. Recurrent convolutional networks for pulmonary nodule detection in CT imaging
Tripathi et al. Image segmentation: A review
Tong et al. Segmentation of brain MR images via sparse patch representation
CN117392093A (zh) 一种基于全局多尺度残差U-HRNet网络的乳腺超声医学图像分割算法
Jaffar et al. An ensemble shape gradient features descriptor based nodule detection paradigm: a novel model to augment complex diagnostic decisions assistance
CN113838048B (zh) 一种十字交叉韧带术前止点中心定位及韧带长度计算方法
Ananth et al. Enhancing segmentation approaches from Gaussian mixture model and expected maximization to super pixel division algorithm
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN115619706A (zh) 一种基于深度学习的肺结节检测方法
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Jin et al. Automatic primary gross tumor volume segmentation for nasopharyngeal carcinoma using ResSE-UNet
Zheng et al. Adaptive segmentation of vertebral bodies from sagittal MR images based on local spatial information and Gaussian weighted chi-square distance
CN114757894A (zh) 一种骨肿瘤病灶分析系统
Huang et al. Semantic segmentation of breast ultrasound image with pyramid fuzzy uncertainty reduction and direction connectedness feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant