CN110288698B - 基于mri的半月板三维重建系统 - Google Patents

基于mri的半月板三维重建系统 Download PDF

Info

Publication number
CN110288698B
CN110288698B CN201910553481.1A CN201910553481A CN110288698B CN 110288698 B CN110288698 B CN 110288698B CN 201910553481 A CN201910553481 A CN 201910553481A CN 110288698 B CN110288698 B CN 110288698B
Authority
CN
China
Prior art keywords
image
edge
meniscus
slice
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910553481.1A
Other languages
English (en)
Other versions
CN110288698A (zh
Inventor
袁铄慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuji Peoples Hospital
Original Assignee
Zhuji Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuji Peoples Hospital filed Critical Zhuji Peoples Hospital
Priority to CN201910553481.1A priority Critical patent/CN110288698B/zh
Publication of CN110288698A publication Critical patent/CN110288698A/zh
Application granted granted Critical
Publication of CN110288698B publication Critical patent/CN110288698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明涉及一种基于MRI的半月板三维重建系统，其特征在于：该系统包括依次连接的原始图像获取模块、图像处理模块、3D图像输出模块、图像存储模块和损伤诊断模块。快速准确地提取膝关节MRI中的半月板数据，生成三维重建图像；并能自动识别半月板损伤的部位及形态，作出初步诊断，提高医生工作效率。

Description

基于MRI的半月板三维重建系统
技术领域
本发明涉及医学影像技术领域，具体涉及一种基于MRI的半月板三维重建系统。
背景技术
半月板是膝关节保持稳定、进行正常功能的重要生理结构，半月板损伤是引起膝关节疼痛、功能障碍最常见的原因之一。核磁共振成像(MRI)是半月板损伤最主要的无创性诊断方法，医生大多凭借经验由多幅二维图像去估计损伤的部位和形状。但二维断层图像表达的是某一个截面的解剖信息，而半月板是三维立体结构，损伤部位上有体部、边缘及前角、后角之分，损伤形态上有水平撕裂型、纵行撕裂型、放射状撕裂型、斜行撕裂型、复杂撕裂型之分。若单纯根据二维平面半月板内损伤的异常信号来分型，容易遗漏重要的临床信息。因此，如果能通过计算机三维重建技术显示半月板损伤的三维形态结构，并由计算机自动给出诊断，必然有利于降低人为因素导致的误诊率和漏诊率，确立更有效的治疗方案，提高医生的工作效率。
但半月板三维重建与损伤识别的前提，是将膝关节MRI中的半月板从周围图像背景中提取出来，也即所谓的图像分割(Segmentation)。如果没有经过半月板的图像分割，会导致得到的三维重建图像混合了膝关节韧带、软骨、肌肉等多种组织，严重影响计算机的识别与医生的观测。由于医学图像中的噪声和不均匀问题，膝关节半月板的识别特征不明显，与周围组织在空间中交错复杂，且图像灰度分布互相重叠，导致用经典的图像处理技术难以进行快速有效的半月板图像分割。
由于传统MRI诊断半月板损伤的局限性，有学者尝试利用不同序列或成像技术加强其诊断能力。吴婧等通过对比MRI质子压脂成像(Fat Suppressed-Proton Density-Weighted Imaging,FS-PDW I)和关节镜对膝关节半月板损伤的检查结果，认为FS-PDW I灵敏度和特异度均较高。刘新球等研究发现MRI扫描参数的优化组合和选择正确的扫描方法、恰当的线圈及应用脂肪抑制技术更有助于显示正常膝关节解剖结构及病变的定位和诊断。Nguyen JC等认为快速自旋回波(FSE)3D序列能够提供高分辨率的半月板图像，降低临床的误诊率。赖清泉等则研究认为MRI平扫与MRI造影对半月板损伤的诊断准确性差异无统计学意义。Choi JY等通过对比研究发现，MRI的UTE T2序列较普通T2序列可以更好地区分半月板的层状层结构，有利于发现早期的半月板损伤改变。Calixto NE等研究认为，高分辨率FSE T1ρ及T2序列能更有效地分辨膝关节骨性关节炎患者的早期半月板退变性损伤。周进等认为常规的MRI序列首先由于其间隔扫描会导致病灶的漏诊，其次由于扫描角度的原因常造成膝关节各结构显示的不连续性，不利于诊断，第三由于常规序列扫描时间长，常导致急性外伤疼痛患者无法耐受而导致扫描失败，因此采用3D-CUBE PD序列进行扫描，但经比较发现与常规的2S-FSE PDWI序列在显示半月板方面无统计学差异；而赵晓梅等研究也表明2D和3D MR序列在诊断内侧半月板和外侧半月板损伤的敏感度、特异度和准确度上并无显著差异。因此，尽管MRI技术的不断提高在理论上有助于清晰准确的诊断半月板损伤，但单纯的二维图像信息始终无法直观地体现半月板损伤的部位及损伤形态。
目前较为常用的通用型影像学处理软件，如Mimics等，存在一定的不足：第一，其处理过程有一定复杂性，必须由熟练掌握相关软件的人员进行操作；第二，由于其并非专用于膝关节MRI三维重建，需要进行较多的参数调校，不利于临床的快速操作；第三，由于软件是由厂家开发完成，程序接口的开源性不强，不利于进一步的自主研究，如生物力学分析等。因此，有必要从临床实用性出发，为半月板损伤个性化定制一款三维诊断软件系统。
但半月板的图像分割是进行三维重建的基础，由于膝关节MRI图像中各种解剖结构大小不一，在空间中有机交错，形态复杂，很难进行计算机自动分割。C等提出了自动定位与分割半月板的辅助诊断方法，但事先假定半月板形状近似三角形，而在靠近膝关节外侧的半月板形状已不在这一形状假设，因而该工作只对序列中部分切片图像有效；林芬华等提出基于多尺度马尔可夫随机场(MRF)来分割膝关节骨骼与半月板，但其目标提取方法受到MRI成像参数的严重制约，且只对少部分的典型切片有效；Ramakrishna等提出对整个MRI序列中半月板区域分割的方案，其感兴趣区域的定位与半月板的分割仍受到成像参数很大影响。孔令伟等利用MRI三维重建及旋转分割方法对膝骨性关节炎患者及正常人半月板的形态及位置进行定量测量并对比分析，认为对膝骨性关节炎患者半月板疾病诊断有重要价值，但需进行特殊的T2-trufi3d-we-tra-p3-iso序列扫描，并采用指定的工作站，不利于推广应用。郭艳蓉等将改进GAC和GC模型应用至膝关节MRI序列分割,提出分割各骨骼与半月板等结构的框架，获得了更为准确的半月板分割结果。
人工智能(Artificial Intelligence)是研究计算机模拟、延伸和扩展人的智能的一门新的技术科学，近年来发展迅速。其中的模糊集合、蚁群算法等人工智能图像识别算法与人工神经网络识别技术，能较好地解决图像中的噪声和不均匀问题，快速准确地实现医学图像中感兴趣区域的图像分割。比较著名的应用有IBM的诊断系统，能快速有效地诊断肺癌、乳腺癌、结肠癌、直肠癌等肿瘤，并被浙江省中医院引入使用；阿里健康研发的医疗AI“Doctor You”，能在30分钟内阅完九千张CT影像，对肺部结节的诊断准确度达到90％以上。
随着近年来人工智能的发展，使计算机自动进行半月板的图像分割成为可能；而且经典图像处理技术与人工智能多种类型方法的结合与改进使用，相互弥补算法功能的缺陷，已是医学图像处理一个重要的发展方向。何璇研究并提出了一种基于多特征支持向量机和弹性自动区域生长的算法对膝关节MRI图像中的软骨进行自动分割，并对分割出的软骨进行三维重建及定量分析，对基于人工智能技术的半月板分割算法具有一定的参考意义。Zarandi MH等利用2型模糊图像处理模型及神经感知网络技术，通过预处理、分割和分类的步骤来识别半月板损伤。因此，基于人工智能算法的半月板损伤三维诊断系统是可行的，而且也必将是未来用计算机自动诊断半月板损伤的研究趋势。
因此，需要提供一种基于MRI的半月板三维重建系统，在人工智能算法的辅助下，快速准确地提取膝关节MRI中的半月板数据，生成三维重建图像；并能自动识别半月板损伤的部位及形态，作出初步诊断，提高医生工作效率。
发明内容
本发明目的是提供一种基于MRI的半月板三维重建系统，其能够快速准确地提取膝关节MRI中的半月板数据，生成交互式的三维重建图像；自动识别半月板损伤的部位及形态，作出初步诊断。
本发明通过以下技术方案来实现上述目的：
一种基于MRI的半月板三维重建系统，其特征在于：该系统包括依次连接的原始图像获取模块、图像处理模块、3D图像输出模块、图像存储模块和损伤诊断模块。
进一步地，图像处理模块进一步包括区域提取组件、边缘提取组件、中心计算组件、阈值调整组件和卷积神经网络组件。
进一步地，原始图像获取模块在接收到序列切片图像后，将上述切片图像进行格式转换、灰度转换和去噪滤波。
进一步地，去噪滤波通过高斯滤波的方式进行。
进一步地，区域提取组件，用于在接收到序列切片图像后，对每一张切片图像进行图像序列灰度信息分析，并获得可能包含半月板目标的最小计算区域。
进一步地，区域提取组件用于计算得到所有切片图像的最小计算区域后，接收上述序列切片图像的最小计算区域的图像信息，并进一步确定半月板图像更准确的区域边缘信息。
进一步地，中心计算组件，用于接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像中的边缘函数图像围城的区域的中心Oi(k,l)。
进一步地，阈值调整组件，用于接收中心计算组件传送的图像信息以及图像中心Oi(k,l)的数据信息，并根据Oi(k,l)数据信息制作切片时序-中心点x坐标和切片时序-中心点y坐标函数图；通过人工智能数据分析，筛选上述切片时序-中心点x坐标和切片时序-中心点y坐标函数图中的函数曲线突变点。
进一步地，如果不存在突变点，则不需要反馈控制边缘提取组件调整高低阈值；如果存在突变点，则需要反馈边缘提取组件需要调整相应图像的高低阈值。
一种所述的一种基于MRI的半月板三维重建系统的一种基于MRI的半月板三维重建方法，该方法包括：
S1.接收到上述序列切片图像后，将上述切片图像进行格式转换、灰度转换和去噪滤波；
S2.进行图像序列的图像处理：
S21.对每一张切片图像进行图像序列灰度信息分析，并获得可能包含半月板目标的最小计算区域；
S22.在区域提取组件计算得到所有切片图像的最小计算区域后，接收上述序列切片图像的最小计算区域的图像信息，并进一步确定半月板图像更准确的区域边缘信息；
S23.接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像中的边缘函数图像围城的区域的中心Oi(k,l)；
S24.接受序列扫描图像的边界以及修正边界，并通过卷积神经网络进行三维图像的重建。
本发明的有益效果在于：快速准确地提取膝关节MRI中的半月板数据，生成三维重建图像；并能自动识别半月板损伤的部位及形态，作出初步诊断，提高医生工作效率，降低误诊率和漏诊率。
附图说明
图1是本发明提供的基于MRI的半月板三维重建系统的结构示意图；
具体实施方式
以下将对本发明的基于MRI的半月板三维重建系统作进一步的详细描述。
下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
为了表述清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标。
为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用于方便、清晰地辅助说明本发明实施例的目的。
实施例1基于MRI的半月板三维重建系统
本发明提供的基于MRI的半月板三维重建系统包括：依次连接的原始图像获取模块、图像处理模块、3D图像输出模块、图像存储模块和损伤诊断模块。
其中，原始图像获取模块的输入端连接到核磁共振(MRI)设备，并接受核磁共振设备发送的半月板影像。上述影像为通过核磁共振扫描设备获得的序列切片图像。
原始图像获取模块在接收到上述序列切片图像IMG1，IMG2，……，IMGi后，将上述切片图像进行格式转换、灰度转换和去噪滤波。优选地，去噪滤波通过高斯滤波的方式进行。
原始图像获取模块的输出端连接到图像处理模块，上述模块用于对上述的序列切片图像IMG1，IMG2，……，IMGi进行图像处理以形成半月板的3D图像。
图像处理模块进一步包括区域提取组件、边缘提取组件、中心计算组件、阈值调整组件和卷积神经网络组件。
其中，区域提取组件，用于在接收到序列切片图像IMG1，IMG2，……，IMGi后，对每一张切片图像进行图像序列灰度信息分析，并获得可能包含半月板目标的最小计算区域，减小目标搜索范围，同时降低误提取概率。
具体地，上述灰度信息分析可以通过：1)标引切片图像中的灰度等级；2)将相邻的灰度等级相同的像素区域连通为大片区域；3)将切片图像中最外围的灰度等级最高(即亮度最低)的部分排除，剩余的部分可以保留为最小计算区域。可替换地，步骤3)还可以为将切片图像中最外围的灰度等级最高(即亮度最低)的部分排除后，在剩余区域中的矩阵像素中的每个像素的灰度和边缘特征进行聚类特征矩阵，并计算显著性因子，并根据显著性因子对像素聚类，像素聚类后的外部边缘则形成最小计算区域的外围轮廓。
边缘提取组件，用于在区域提取组件计算得到所有切片图像的最小计算区域后，接收上述序列切片图像IMG1，IMG2，……，IMGi的最小计算区域的图像信息，并进一步确定半月板图像更准确的区域边缘信息。
具体地，每一个切片图像IMG1，IMG2，……，IMGi都由X*Y个像素点阵列构成，每一个像素点的坐标为(x，y)。图像函数F(x,y)在x，y轴两个方向的偏导数分别为：
HX(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2
HY(x,y)＝(f(x,y)-f(x+1,j)+f(x,y+1)-f(x+1,y+1))/2
图像灰度的阶度幅值为D(x,y)＝(HX 2(x,y)+HY 2(x,y))1/2；
阶度方向A(x,y)＝arctg(HX(x,y)/HY(x,y))
利用梯度方向A(x,y)将梯度角离散为圆周的四个扇区，分别编号为0到3，在梯度幅值图像中以点(x,y)为中心n×n(n＝3-6)的邻域内沿梯度方向与领域两个像素点相比较，如果(x,y)处幅度值小则标记为非边缘点，即得到二级边缘图像N(x,y)。
随后设定高低阈值，具体地，每一个切片图像IMG1，IMG2，……，IMGi的上述高低阈值的计算方式为：
1)对于序列图片中的每一张，选择整个最小计算区域的像素中的最高灰度和最低灰度的平均值；
2)计算灰度高于上述平均值的所有像素的平均灰度G1以及低于上述平均值的所有像素的平均灰度G2；
3)获得中位阈值T＝(G1+G2)/2；
4)高阈值为高于中位阈值T的所有像素的平均灰度，低阈值为低于中位阈值T的所有像素的平均灰度。
当像素点灰度大于高阈值时，则该点为边缘点；当像素点小于低阈值时，该点一定不是边缘点；对于灰度在高低阈值之间的点，当其周围所有的像素点内存在大于高阈值的像素，则该点为边缘点，进而获得边缘图像函数E(x,y)。每一张序列切片图像IMG1，IMG2，……，IMGi均具有边缘图像函数Ei(x,y)。
中心计算组件，用于接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像IMG1，IMG2，……，IMGi中的边缘函数图像围城的区域的灰度中心Oi(k,l)。
具体地，该中心的计算方式为：
其中，当(x,y)位于目标区域I(x,y)＝1；当(x,y)位于背景区域。
阈值调整组件，用于接收中心计算组件传送的图像信息以及图像中心Oi(k,l)的数据信息，并根据Oi(k,l)数据信息制作切片时序-中心点x坐标和切片时序-中心点y坐标函数图。即函数图以序列图片的编号为横轴，以图片边缘区域内的中心点的x或y坐标为纵轴。通过人工智能数据分析，筛选上述切片时序-中心点x坐标和切片时序-中心点y坐标函数图中的函数曲线突变点。具体的数据分析方法可以为KS检验、小波分析法、T检验或者Mann-Kendal检验法等本领域公知的检测方法，此处不再赘述。
如果不存在突变点，则不需要反馈控制边缘提取组件调整高低阈值；如果存在突变点，则需要反馈边缘提取组件需要调整相应图像的高低阈值。
这是由于对于半月板图像的时序扫描以及人体组织的生长都是连续的，因此对于临近的扫面图像在灰度阈值选定合理的情况下，连续图像之间的灰度中心点应该也是连续变化，而非突变的。突变的形成主要是由于单张扫描图像的边界提取时高低阈值的选择不恰当，从而造成了边界偏移，从而形成了灰度中心点的突变。因此，在出现连续序列图片之间的灰度中心点的突变时，需要及时调整突变点对应的图片的高低阈值以及边界。
具体的阈值调整方式为：
1)通过人工智能数据分析，计算突变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ；具体的数据分析方法可以为KS检验、小波分析法、T检验或者Mann-Kendal检验法等。变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ具体可以为现有偏离数据点与数据分析中拟合的数据线上相应序列号的数据点之间的差距；
2)调取突变点对应的切片图像的最小计算面积图像以及现有的灰度中心点信息，将灰度中心点沿突变偏离方向的相反方向移动步长Δ，获得修正灰度中心点O’(x,y)；
3)计算灰度偏差值ΔG为沿偏离方向α(+X,+Y,-X,-Y)相反的方向上的距离步长Δ的所有像素的灰度差的加权平均值。修正高低阈值分别为原高低阈值加灰度偏差值ΔG；
4)边缘提取组件根据重新调整的高低阈值，进一步确定修正边界。
卷积神经网络组件，用于接受序列扫描图像的边界以及修正边界，并通过卷积神经网络进行三维图像的重建。
3D图像输出模块，用于将图像处理模块处理的图像进行三维显示，具体地，使用VTK中的GPU体绘制方法快速生成交互式的三维重建图像，可以进行旋转、缩放等操作，并用方向控件指示三维空间上的方向，以便观察。
图像存储模块，用于存储图像处理模块传送的处理图像。图像存储模块还可以预存半月板损伤图像信息，以供自动诊断中的人工智能学习。
损伤诊断模块，用于基于人工智能算法的半月板损伤诊断。
利用人工智能中神经网络的图像识别技术，识别半月板三维数据中的损伤部位与形态，并给出诊断结论。
实施例2基于MRI的半月板三维重建方法
本发明提供的基于MRI的半月板三维重建方法包括：
S1.接收到上述序列切片图像IMG1，IMG2，……，IMGi后，将上述切片图像进行格式转换、灰度转换和去噪滤波。优选地，去噪滤波通过高斯滤波的方式进行。
S2.进行图像序列的图像处理：
S21.对每一张切片图像进行图像序列灰度信息分析，并获得可能包含半月板目标的最小计算区域，减小目标搜索范围，同时降低误提取概率。
具体地，上述灰度信息分析可以通过：1)标引切片图像中的灰度等级；2)将相邻的灰度等级相同的像素区域连通为大片区域；3)将切片图像中最外围的灰度等级最高(即亮度最低)的部分排除，剩余的部分可以保留为最小计算区域。可替换地，步骤3)还可以为将切片图像中最外围的灰度等级最高(即亮度最低)的部分排除后，在剩余区域中的矩阵像素中的每个像素的灰度和边缘特征进行聚类特征矩阵，并计算显著性因子，并根据显著性因子对像素聚类，像素聚类后的外部边缘则形成最小计算区域的外围轮廓。
S22.在区域提取组件计算得到所有切片图像的最小计算区域后，接收上述序列切片图像IMG1，IMG2，……，IMGi的最小计算区域的图像信息，并进一步确定半月板图像更准确的区域边缘信息。
具体地，每一个切片图像IMG1，IMG2，……，IMGi都由X*Y个像素点阵列构成，每一个像素点的坐标为(x，y)。图像函数F(x,y)在x，y轴两个方向的偏导数分别为：
HX(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2
HY(x,y)＝(f(x,y)-f(x+1,j)+f(x,y+1)-f(x+1,y+1))/2
图像灰度的阶度幅值为D(x,y)＝(HX 2(x,y)+HY 2(x,y))1/2；
阶度方向A(x,y)＝arctg(HX(x,y)/HY(x,y))
利用梯度方向A(x,y)将梯度角离散为圆周的四个扇区，分别编号为0到3，在梯度幅值图像中以点(x,y)为中心n×n(n＝3-6)的邻域内沿梯度方向与领域两个像素点相比较，如果(x,y)处幅度值小则标记为非边缘点，即得到二级边缘图像N(x,y)。
随后设定高低阈值，具体地，每一个切片图像IMG1，IMG2，……，IMGi的上述高低阈值的计算方式为：
1)对于序列图片中的每一张，选择整个最小计算区域的像素中的最高灰度和最低灰度的平均值；
2)计算灰度高于上述平均值的所有像素的平均灰度G1以及低于上述平均值的所有像素的平均灰度G2；
3)获得中位阈值T＝(G1+G2)/2；
4)高阈值为高于中位阈值T的所有像素的平均灰度，低阈值为低于中位阈值T的所有像素的平均灰度。
当像素点灰度大于高阈值时，则该点为边缘点；当像素点小于低阈值时，该点一定不是边缘点；对于灰度在高低阈值之间的点，当其周围所有的像素点内存在大于高阈值的像素，则该点为边缘点，进而获得边缘图像函数E(x,y)。每一张序列切片图像IMG1，IMG2，……，IMGi均具有边缘图像函数Ei(x,y)。
S23.接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像IMG1，IMG2，……，IMGi中的边缘函数图像围城的区域的中心Oi(k,l)。
具体地，该中心的计算方式为：
其中，当(x,y)位于目标区域I(x,y)＝1；当(x,y)位于背景区域。
接收中心计算组件传送的图像信息以及图像中心Oi(k,l)的数据信息，并根据Oi(k,l)数据信息制作切片时序-中心点x坐标和切片时序-中心点y坐标函数图。即函数图以序列图片的编号为横轴，以图片边缘区域内的中心点的x或y坐标为纵轴。通过人工智能数据分析，筛选上述切片时序-中心点x坐标和切片时序-中心点y坐标函数图中的函数曲线突变点。具体的数据分析方法可以为KS检验、小波分析法、T检验或者Mann-Kendal检验法等本领域公知的检测方法，此处不再赘述。
如果不存在突变点，则不需要反馈控制边缘提取组件调整高低阈值；如果存在突变点，则需要反馈边缘提取组件需要调整相应图像的高低阈值。
这是由于对于半月板图像的时序扫描以及人体组织的生长都是连续的，因此对于临近的扫面图像在灰度阈值选定合理的情况下，连续图像之间的灰度中心点应该也是连续变化，而非突变的。突变的形成主要是由于单张扫描图像的边界提取时高低阈值的选择不恰当，从而造成了边界偏移，从而形成了灰度中心点的突变。因此，在出现连续序列图片之间的灰度中心点的突变时，需要及时调整突变点对应的图片的高低阈值以及边界。
通过序列图像之间的灰度中点位置的比较，进一步保证了序列扫描图像中的边缘确定不会犹豫阈值选择不恰当出现突然的偏移，从而造成3D图像的错误。
具体的阈值调整方式为：
1)通过人工智能数据分析，计算突变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ；具体的数据分析方法可以为KS检验、小波分析法、T检验或者Mann-Kendal检验法等。变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ具体可以为现有偏离数据点与数据分析中拟合的数据线上相应序列号的数据点之间的差距；
2)调取突变点对应的切片图像的最小计算面积图像以及现有的灰度中心点信息，将灰度中心点沿突变偏离方向的相反方向移动步长Δ，获得修正灰度中心点O’(x,y)；
3)计算灰度偏差值ΔG为沿偏离方向α(+X,+Y,-X,-Y)相反的方向上的距离步长Δ的所有像素的灰度差的加权平均值。修正高低阈值分别为原高低阈值加灰度偏差值ΔG；
4)边缘提取组件根据重新调整的高低阈值，进一步确定修正边界。
S24.接受序列扫描图像的边界以及修正边界，并通过卷积神经网络进行三维图像的重建。
实施例3准确性验证
膝关节半月板损伤80例。
纳入标准：a.近1月内有膝关节疼痛，膝关节负重时扭转或者下蹲后疼痛加重；b.内或外侧关节间隙压痛；c.McMurray试验及Apley试验阳性；d.常规MRI检查见半月板内与关节相通的高信号征象；e.关节镜手术中见半月板损伤。
排除标准：a.合并类风湿性关节炎；b.合并强直性脊柱炎；c.合并痛风性关节炎；d.合并化脓性关节炎；e.未行膝关节MRI检查者；f.无关节镜手术指征者。
半月板损伤分类：按损伤部位分类：a.前角，b.体部，c.后角，d.多发性。按损伤形态分类：a.水平撕裂型(平行于胫骨平台，将半月板分为上下两部分)，b.纵形撕裂型(沿着半月板前后轴方向垂直于胫骨平台的撕裂)，c.放射状撕裂型(垂直于半月板前后轴方向垂直于胫骨平台的撕裂)，d.斜形撕裂型(斜于半月板前后轴方向垂直于胫骨平台的撕裂)，e.复杂撕裂型(包含2种以上上述撕裂)。
本项目软件诊断结果：利用本项目软件读取80例患膝MRI的DICOM数据，作出半月板损伤部位与形态的诊断。
关节镜诊断结果：对80例患膝行关节镜手术，记录关节镜下的损伤部位与形态诊断。
统计分析：使用SPSS17.0软件，Kappa值为一致性指标，以关节镜诊断为标准，验证软件诊断的准确性。经验证，利用本发明提供的基于MRI的半月板三维重建系统进行的诊断的准确性在85.9％。
本发明所提供的基于MRI的半月板三维重建系统能够快速准确地提取膝关节MRI中的半月板数据，生成三维重建图像；并能自动识别半月板损伤的部位及形态，作出初步诊断，提高医生工作效率。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (1)

1.一种基于MRI的半月板三维重建方法，该三维重建方法基于MRI的半月板三维重建系统，
该三维重建系统包括：依次连接的原始图像获取模块、图像处理模块、3D图像输出模块、图像存储模块和损伤诊断模块；
其中，原始图像获取模块的输入端连接到MRI设备，并接受MRI设备发送的半月板影像；上述影像为通过MRI扫描设备获得的序列切片图像；
图像处理模块进一步包括区域提取组件、边缘提取组件、中心计算组件、阈值调整组件和卷积神经网络组件；其中，区域提取组件，用于在接收到序列切片图像IMG1，IMG2，……，IMGi后，对每一张切片图像进行图像序列灰度信息分析，并获得包含半月板目标的最小计算区域，减小目标搜索范围，同时降低误提取概率；中心计算组件，用于接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像IMG1，IMG2，……，IMGi中的边缘函数图像围城的区域的灰度中心Oi(k,l)；阈值调整组件，用于接收中心计算组件传送的图像信息以及图像中心Oi(k,l)的数据信息，并根据Oi(k,l)数据信息制作切片时序-中心点x坐标和切片时序-中心点y坐标函数图；卷积神经网络组件，用于接受序列扫描图像的边界以及修正边界，并通过卷积神经网络进行三维图像的重建；
3D图像输出模块，用于将图像处理模块处理的图像进行三维显示；
图像存储模块，用于存储图像处理模块传送的处理图像；并预存半月板损伤图像信息，以供自动诊断中的人工智能学习；
损伤诊断模块，用于基于人工智能算法的半月板损伤诊断；
所述基于MRI的半月板三维重建方法，包括：
S1.接收到序列切片图像IMG1，IMG2，……，IMGi后，将上述切片图像进行格式转换、灰度转换和去噪滤波；
S2.进行图像序列的图像处理，进一步包括：
S21.对每一张切片图像进行图像序列灰度信息分析，并获得包含半月板目标的最小计算区域；上述灰度信息分析包括：
1)标引切片图像中的灰度等级；
2)将相邻的灰度等级相同的像素区域连通为大片区域；
3)将切片图像中最外围的灰度等级最高的部分排除后，在剩余区域中的矩阵像素中的每个像素的灰度和边缘特征进行聚类特征矩阵，并计算显著性因子，并根据显著性因子对像素聚类，像素聚类后的外部边缘则形成最小计算区域的外围轮廓；
S22.在区域提取组件计算得到所有切片图像的最小计算区域后，接收上述序列切片图像IMG1，IMG2，……，IMGi的最小计算区域的图像信息，并进一步确定半月板图像更准确的区域边缘信息，具体包括：
每一个切片图像IMG1，IMG2，……，IMGi都由X*Y个像素点阵列构成，每一个像素点的坐标为(x，y)；图像函数F(x,y)在x，y轴两个方向的偏导数分别为：
HX(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2
HY(x,y)＝(f(x,y)-f(x+1,j)+f(x,y+1)-f(x+1,y+1))/2
图像灰度的梯度幅值为D(x,y)＝(HX 2(x,y)+HY 2(x,y))1/2；
梯度方向A(x,y)＝arctg(HX(x,y)/HY(x,y))
利用梯度方向A(x,y)将梯度角离散为圆周的四个扇区，分别编号为0到3，在梯度幅值图像中以点(x,y)为中心n×n，且n＝3-6的邻域内沿梯度方向与领域两个像素点相比较，如果(x,y)处幅度值小则标记为非边缘点，即得到二级边缘图像N(x,y)；
随后设定高低阈值，具体包括：每一个切片图像IMG1，IMG2，……，IMGi的上述高低阈值计算方式为：
1)对于序列图片中的每一张，选择整个最小计算区域的像素中的最高灰度和最低灰度的平均值；
2)计算灰度高于上述平均值的所有像素的平均灰度G1以及低于上述平均值的所有像素的平均灰度G2；
3)获得中位阈值T＝(G1+G2)/2；
4)高阈值为高于中位阈值T的所有像素的平均灰度，低阈值为低于中位阈值T的所有像素的平均灰度；
当像素点灰度大于高阈值时，则该点为边缘点；当像素点小于低阈值时，该点一定不是边缘点；对于灰度在高低阈值之间的点，当其周围所有的像素点内存在大于高阈值的像素，则该点为边缘点，进而获得边缘图像函数E(x,y)；每一张序列切片图像IMG1，IMG2，……，IMGi均具有边缘图像函数Ei(x,y)；
S23.接收边缘提取组件提供的图像信息和边缘图像函数信息，并根据上述信息计算每一张序列切片图像IMG1，IMG2，……，IMGi中的边缘函数图像围城的区域的中心Oi(k,l)，具体包括：
该中心的计算方式为：；
其中，当(x,y)位于目标区域I(x,y)＝1；当(x,y)位于背景区域；
接收中心计算组件传送的图像信息以及图像中心Oi(k,l)的数据信息，并根据Oi(k,l)数据信息制作切片时序-中心点x坐标和切片时序-中心点y坐标函数图；函数图以序列图片的编号为横轴，以图片边缘区域内的中心点的x或y坐标为纵轴；通过人工智能数据分析，筛选上述切片时序-中心点x坐标和切片时序-中心点y坐标函数图中的函数曲线突变点；
如果不存在突变点，则不需要反馈控制边缘提取组件调整高低阈值；如果存在突变点，则需要反馈边缘提取组件需要调整相应图像的高低阈值；阈值调整方式为：
1)通过人工智能数据分析，计算突变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ；变点偏离的方向α(+X,+Y,-X,-Y)和步长Δ为现有偏离数据点与数据分析中拟合的数据线上相应序列号的数据点之间的差距；
2)调取突变点对应的切片图像的最小计算面积图像以及现有的灰度中心点信息，将灰度中心点沿突变偏离方向的相反方向移动步长Δ，获得修正灰度中心点O’(x,y)；
3)计算灰度偏差值ΔG为沿偏离方向α(+X,+Y,-X,-Y)相反的方向上的距离步长Δ的所有像素的灰度差的加权平均值；修正高低阈值分别为原高低阈值加灰度偏差值ΔG；
4)边缘提取组件根据重新调整的高低阈值，进一步确定修正边界；
S24.接受序列扫描图像的边界以及修正边界，并通过卷积神经网络进行三维图像的重建。
CN201910553481.1A 2019-06-25 2019-06-25 基于mri的半月板三维重建系统 Active CN110288698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910553481.1A CN110288698B (zh) 2019-06-25 2019-06-25 基于mri的半月板三维重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910553481.1A CN110288698B (zh) 2019-06-25 2019-06-25 基于mri的半月板三维重建系统

Publications (2)

Publication Number Publication Date
CN110288698A CN110288698A (zh) 2019-09-27
CN110288698B true CN110288698B (zh) 2023-07-28

Family

ID=68005615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553481.1A Active CN110288698B (zh) 2019-06-25 2019-06-25 基于mri的半月板三维重建系统

Country Status (1)

Country Link
CN (1) CN110288698B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127636B (zh) * 2019-12-24 2023-07-25 诸暨市人民医院 一种智能的复杂关节内骨折桌面级三维诊断系统
CN111134650A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 心率信息获取方法、装置、计算机设备和存储介质
CN112734738B (zh) * 2021-01-18 2022-03-11 天津大学 一种距腓前韧带磁共振影像的病灶智能定位装置
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854287A (zh) * 2014-03-11 2014-06-11 深圳市旭东数字医学影像技术有限公司 基于磁共振图像的半月板分割的方法及其装置
CN105957062A (zh) * 2016-04-22 2016-09-21 袁铄慧 膝关节mri三维重建中半月板的数据分割方法
CN106963487A (zh) * 2017-04-17 2017-07-21 四川大学华西医院 一种膝关节盘状半月板模拟手术方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854287A (zh) * 2014-03-11 2014-06-11 深圳市旭东数字医学影像技术有限公司 基于磁共振图像的半月板分割的方法及其装置
CN105957062A (zh) * 2016-04-22 2016-09-21 袁铄慧 膝关节mri三维重建中半月板的数据分割方法
CN106963487A (zh) * 2017-04-17 2017-07-21 四川大学华西医院 一种膝关节盘状半月板模拟手术方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
半月板损伤的MRI三维重建诊断系统初步研究;袁铄慧等;《浙江临床医学》;20160229;第18卷(第2期);第224-225页 *

Also Published As

Publication number Publication date
CN110288698A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
Yi et al. Generative adversarial network in medical imaging: A review
CN110288698B (zh) 基于mri的半月板三维重建系统
JP2016531709A (ja) 疾患を診断するための画像解析技術
US11241190B2 (en) Predicting response to therapy for adult and pediatric crohn's disease using radiomic features of mesenteric fat regions on baseline magnetic resonance enterography
WO2012073769A1 (ja) 画像処理装置及び画像処理方法
CN115661149B (zh) 一种基于肺部组织数据的肺部影像处理系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Qiu et al. Lung Nodules Detection in CT Images Using Gestalt‐Based Algorithm
Yao et al. Advances on pancreas segmentation: a review
Bodzioch et al. New approach to gallbladder ultrasonic images analysis and lesions recognition
Huang et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise
Wei et al. Fully automatic quantification of fibroglandular tissue and background parenchymal enhancement with accurate implementation for axial and sagittal breast MRI protocols
Tamilselvi et al. Segmentation of calculi from ultrasound kidney images by region indicator with contour segmentation method
Li et al. Identification and diagnosis of meniscus tear by magnetic resonance imaging using a deep learning model
JP2020032043A (ja) 画像処理装置、方法およびプログラム
EP4118617A1 (en) Automated detection of tumors based on image processing
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
Li et al. A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans
Venkatachalam et al. Processing of abdominal ultrasound images using seed based region growing method
Amritha et al. Liver tumor segmentation and classification using deep learning
Wang et al. Improving segmentation of breast arterial calcifications from digital mammography: good annotation is all you need
CN116369981B (zh) 基于超声造影的保乳切缘状态预测方法、系统、设备及介质
Sowmiya et al. Survey or Review on the Deep Learning Techniques for Retinal Image Segmentation in Predicting/Diagnosing Diabetic Retinopathy
Alahmer Automated Characterisation and Classification of Liver Lesions From CT Scans
Ramos Analysis of medical images to support decision-making in the musculoskeletal field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant