CN118052968A - 一种术中脊柱图像的识别方法 - Google Patents

一种术中脊柱图像的识别方法 Download PDF

Info

Publication number
CN118052968A
CN118052968A CN202410103517.7A CN202410103517A CN118052968A CN 118052968 A CN118052968 A CN 118052968A CN 202410103517 A CN202410103517 A CN 202410103517A CN 118052968 A CN118052968 A CN 118052968A
Authority
CN
China
Prior art keywords
image
vertebra
images
vertebrae
spine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410103517.7A
Other languages
English (en)
Inventor
张儒毅
赵奇
田定成
王宇
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202410103517.7A priority Critical patent/CN118052968A/zh
Publication of CN118052968A publication Critical patent/CN118052968A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种术中脊柱图像的识别方法,涉及医学图像识别技术领域。本发明通过设计一系列完整的识别流程,包括检测、分割和匹配等,建立了有效的术中脊柱图像的识别方法。其中,椎骨角度矫正方法通过孤立区域移除结果,基于最小外接矩形信息对椎骨区域进行了重新裁剪,该方法可以有效降低C臂X光图像和DR图像由于透视角度不同所造成的椎骨图像角度差距,进一步提高图像间的相似性。多椎骨匹配方法基于C臂X光图像中的检测出的椎骨区域对C臂‑DR数据集中的两组图像进行了分组,该方法可以最大程度保留前后椎骨的相关信息,提高椎骨匹配的准确率。

Description

一种术中脊柱图像的识别方法
技术领域
本发明涉及医学图像识别技术领域,尤其涉及一种术中脊柱图像的识别方法。
背景技术
C臂X光透视被认为是图像引导手术的主要方法。它能够实时更新器械位置,提供最新的解剖结构信息,同时能够为医生提供精准的手术定位。在进行脊柱外科手术时,医生会先对患者进行C臂X光透视以获得术中脊柱的C臂X光图像,通过确定图像中的椎体节段来确认手术位置。然而,由于术中脊柱图像的视野较窄,很难直接通过C臂X光图像确定解剖标志。同时,用于C臂X光透视所用的X射线剂量较低,导致图像对比度不佳。此外,各种噪声的存在对图像造成干扰,从而使外科医生更难以正确地识别术中脊柱图像中的细节。在这种情况下,外科医生会将患者的术前图像,例如数字化X射线(DR)、计算机断层扫(CT)、磁共振成像(MRI)等,与术中脊柱图像进行比较,以确保手术在正确的位置进行。其中,DR图像是临床手术中最普遍用于比较的图像类型。然而,由于椎骨之间的形态相似性和解剖结构的复杂性,在某些情况下,通过直接对比DR图像和C臂X光图像来确认手术位置需要一定的专业经验。因此,可靠的术中脊柱图像识别可以有效地为医生提供手术辅助指导,提高临床手术中的准确性以及效率。
中国专利“CN114533094A一种C型臂X光机图像的识别方法”提供了一种C型臂X光机图像的识别方法。此专利将术前X光全长脊柱图像基于U-Net模型将图像基于肋骨区域分为胸椎与腰椎区域,并进行节段数标注;通过YOLOv3模型对术前图像和术中C臂X光脊柱图像进行椎骨定位;通过SIFT算法配准术前图像和术中图像,将配准的区域结果中术前图像的节段数判定为术中图像的节段数,并在术中图像中输出椎骨位置信息与节段数信息。该专利技术方案中的全长脊柱图像分割方法仅适用于术中的正位片图像。对于侧位片来说,基于肋骨区域分割结果对胸椎和腰椎区域进行非常困难,因为侧位片中的肋骨区域的坐标范围中包含了腰椎部分。因此该方法仅适用于术中脊柱的C型臂X光机图像正位片。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种术中脊柱图像的识别方法,输入术前拍摄的二维脊柱影像和术中拍摄的二维脊柱影像后,可以在术中脊柱图像中输出椎骨的位置信息以及具体的节段数信息,可以同时适用于正位片和侧位片。
为解决上述技术问题,本发明所采取的技术方案是:
一种术中脊柱图像的识别方法,包括下列步骤:
步骤1:从术前所用DR机和术中所用C型臂X光机中分别获取术前脊柱DR图像和术中脊柱C臂X光图像,并分别进行预处理,得到处理后的术前DR图像I1和术中C臂X光图像I2
步骤2:使用YOLOX深度学习模型对术前和术中图像中的椎骨区域进行检测,并对每个椎骨区域进行裁剪,获得裁剪后的术前椎骨图像I1b和术中椎骨图像I2c
步骤3:使用DeeplabV3+深度学习模型对裁剪出的椎骨图像进行椎骨区域分割,分别得到分割后的图像I11b和图像I21c
步骤4:基于DR图像和C型X光图像的椎体分割结果对椎骨图像进行旋转,使图像中显示的椎骨保持水平,分别得到角度校正的椎骨图像I12b和图像I22c
步骤5:基于C臂X光图像I2中检测出的椎骨数量对DR图像I1中的椎骨图像I12b从上往下依次进行分组,并计算每组中相似度最小的椎骨区域的图像质量评估指标,从中得到最优的匹配结果;
步骤6:根据边缘的水平位置对椎骨图像I12b进行排序;基于第k组中的匹配结果将椎骨图像I22c同与之对应的椎骨图像I12b的标注结果进行标注,最后在图像I2中基于图像I22c的坐标信息、边缘信息和标注信息绘制最后的匹配结果,结果包括图像中所有椎骨的位置信息以及节段数信息。
进一步地,所述步骤1中,对于术前脊柱图像,对图像进行中值滤波处理,得到处理后的术前DR图像I1;对于术中脊柱图像,将图像进行反色、中值滤波和直方图归一化处理,得到处理后的术中C臂X光图像I2
进一步地,所述步骤2的具体方法为:
获得图像I1和图像I2后,通过YOLOX模型分别对术前图像和术中图像进行训练,以对图像中的椎骨区域进行检测,获取椎骨区域所处边框的四个顶点坐标,记录坐标信息;
通过顶点坐标获取椎骨区域边界,并对每个椎骨区域进行裁剪;
假设在图像I1中检测的椎骨数量为m,图像I2中检测出的椎骨数量为n,从而获得裁剪后的术前椎骨图像I1b和术中椎骨图像I2c,其中,b=1,…,m;c=1,…,n;
同时基于坐标信息记录椎骨图像在图像I1和图像I2中的矩形中心坐标(x1b,y1b)和(x2c,y2c)。
进一步地,所述步骤3中,获得图像I1b和图像I2c后,统一使用DeeplabV3+模型进行训练,以对图像中的椎骨区域进行分割,图像I1b和图像I2c分割后分别得到图像I11b和图像I21c;分割后的椎骨图像为二分类图像,其中的椎骨区域设置灰度值为255,背景区域灰度值设置为0。
进一步地,所述步骤4的具体方法为:
首先计算图像I11b和图像I21c中椎骨区域的最小外接矩形,获取最小外接矩形的参数,包括图像I11b与图像I21c的长hb与hc、宽wb与wc、水平倾斜角度ab与ac,以及矩形中心在图像I11b和图像I21c中的坐标(x11b,y11b)和(x21c,y21c);
然后,设定图像I11b和图像I21c的中心坐标为(x1b1,y1b1)和(x2c1,y2c1),在原始椎骨图像I1和图像I2中以坐标(x1b+(x11b-x1b1),y1b+(y11b-y1b1))和(x2c+(x21c-x2c1),y2c+(y21c-y2c1))为旋转中心,分别逆着倾斜角度ab与ac旋转图像;
最后根据旋转中心以及最小外接矩形的长和宽对图像I1和图像I2进行重新裁剪,分别得到角度校正的椎骨图像I12b和图像I22c
进一步地,所述步骤5的具体方法为:
基于C臂X光图像I2中检测出的椎骨数量n对DR图像I1中的椎骨图像I12b从上往下依次进行分组,步骤2已给定DR图像检测出的椎骨数量为m,那么椎骨图像I12b共分为m-n+1组,每组包括n个椎骨图像;
然后,使用图像视觉保真度VIF算法将C臂X光图像I2的椎骨图像I22c和椎骨图像I12b分组后的图像从上往下对应进行计算,获得相似度集合S={P1,P2,…,Pi,…,Pm-n+1},i=1,…,m-n+1;其中,Pi为每组中相似度最小的椎骨区域的图像质量评估指标计算结果;每组有n幅C臂X光图像I2的椎骨图像I22cd和n幅椎骨图像I12bd,其中d=1,…,n;那么Pi的计算公式如下:
其中,计算符号σX,Y表示图像X,Y的协方差,/>表示图像X的方差;假设Pk为S集合中的最大值,则第k组为最优的匹配结果。
进一步地,所述步骤6中的排序方法为:最后五个椎骨图像从上往下依次标注节段数为L1~L5,即第一节腰椎到第五节腰椎;L1上方的椎骨从T12开始从下往上依次递减标注节段数,即第十二节胸椎依次向上排列。
采用上述技术方案所产生的有益效果在于:本发明提供的术中脊柱图像的识别方法,通过设计一系列完整的识别流程,包括检测、分割和匹配等,建立了有效的术中脊柱图像的识别方法。其中,椎骨角度矫正方法通过孤立区域移除结果,基于最小外接矩形信息对椎骨区域进行了重新裁剪,该方法可以有效降低C臂X光图像和DR图像由于透视角度不同所造成的椎骨图像角度差距,进一步提高图像间的相似性。多椎骨匹配方法基于C臂X光图像中的检测出的椎骨区域对C臂-DR数据集中的两组图像进行了分组,该方法可以最大程度保留前后椎骨的相关信息,提高椎骨匹配的准确率。本发明适用于对术中脊柱的正位片图像和侧位片图像,同时只需输入术前二维脊柱图像即可进行术中图像的识别,缩短了识别的处理流程,加快了识别速度。本发明对从医院所收集的术中图像上进行了实验测试,结果表明所提出的术中脊柱图像的识别方法效果很好,能够有效应用于临床术中的辅助诊断。
附图说明
图1为本发明实施例提供的术中脊柱图像的识别方法流程图;
图2为本发明实施例提供的YOLOX模型示意图;
图3为本发明实施例提供的DeeplabV3+模型示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例设计一系列完整的识别流程,包括检测、分割和匹配等,建立有效的术中脊柱图像的识别方法。如图1所示,本实施例的方法如下所述。
步骤1:从术前所用DR机和术中所用C型臂X光机中分别获取术前脊柱DR图像和术中脊柱C臂X光图像。对于术前脊柱图像,对图像进行中值滤波处理,得到处理后的术前DR图像I1。对于术中脊柱图像,将图像进行反色、中值滤波和直方图归一化处理,得到处理后的术中C臂X光图像I2
步骤2:使用YOLOX深度学习模型对术前和术中图像中的椎骨区域进行检测,并对每个椎骨区域进行裁剪,获得裁剪后的术前椎骨图像I1b和术中椎骨图像I2c
获得图像I1和图像I2后,通过YOLOX模型分别对术前图像和术中图像进行训练,以对图像中的椎骨区域进行检测,获取椎骨区域所处边框的四个顶点坐标,记录坐标信息。YOLOX模型如图2所示。通过顶点坐标获取椎骨区域边界,并对每个椎骨区域进行裁剪。假设在图像I1中检测的椎骨数量为m,图像I2中检测出的椎骨数量为n,从而获得裁剪后的术前椎骨图像I1b,术中椎骨图像I2c,其中b=1,…,m,c=1,…,n,同时基于坐标信息记录椎骨图像在图像I1和图像I2中的矩形中心坐标(x1b,y1b)和(x2c,y2c)。
步骤3:使用DeeplabV3+深度学习模型对裁剪出的椎骨图像进行椎骨区域分割。
获得图像I1b和图像I2c后,统一使用DeeplabV3+模型进行训练,以对图像中的椎骨区域进行分割。DeeplabV3+模型如图3所示。分割后的椎骨图像为二分类图像,其中的椎骨区域设置灰度值为255,背景区域灰度值设置为0。图像I1b和图像I2c分割后分别得到图像I11b和图像I21c
步骤4:基于DR图像和C型X光图像的椎体分割结果对椎骨图像进行旋转,使图像中显示的椎骨保持水平。
首先计算图像I11b和图像I21c中椎骨区域的最小外接矩形,获取最小外接矩形的参数,包括图像I11b与图像I21c的长hb与hc、宽wb与wc、水平倾斜角度ab与ac,以及矩形中心在图像I11b和图像I21c中的坐标(x11b,y11b)和(x21c,y21c);
然后,设定图像I11b和图像I21c的中心坐标为(x1b1,y1b1)和(x2c1,y2c1),在原始椎骨图像I1和图像I2中以坐标(x1b+(x11b-x1b1),y1b+(y11b-y1b1))和(x2c+(x21c-x2c1),y2c+(y21c-y2c1))为旋转中心,分别逆着倾斜角度ab与ac旋转图像;
最后根据旋转中心以及最小外接矩形的长和宽对图像I1和图像I2进行重新裁剪,分别得到角度校正的椎骨图像I12b和图像I22c
步骤5:基于C臂X光图像I2中检测出的椎骨数量n对DR图像I1中的椎骨图像I12b从上往下依次进行分组,步骤2已给定DR图像检测出的椎骨数量为m,那么椎骨图像I12b共分为m-n+1组,每组包括n个椎骨图像;
然后,使用图像视觉保真度VIF算法将C臂X光图像I2的椎骨图像I22c和椎骨图像I12b分组后的图像从上往下对应进行计算,获得相似度集合S={P1,P2,…,Pi,…,Pm-n+1},i=1,…,m-n+1;其中,Pi为每组中相似度最小的椎骨区域的图像质量评估指标计算结果。
每组有n幅C臂X光图像I2的椎骨图像I22cd和n幅椎骨图像I12bd,其中d=1,…,n;那么Pi的计算公式如下:
其中,计算符号σX,Y表示图像X,Y的协方差,/>表示图像X的方差。
假设Pk为S集合中的最大值,则第k组为最优的匹配结果。
步骤6:根据边缘的水平位置对椎骨图像I12b进行排序,最后五个椎骨图像从上往下依次标注节段数为L1~L5,即第一节腰椎到第五节腰椎;L1上方的椎骨从T12开始从下往上依次递减标注节段数,即第十二节胸椎依次向上排列。基于第k组中的匹配结果将椎骨图像I22c同与之对应的椎骨图像I12b的标注结果进行标注,最后在图像I2中基于图像I22c的坐标信息、边缘信息和标注信息绘制最后的匹配结果,结果包括图像中所有椎骨的位置信息以及节段数信息。
本实施例的实验在模型训练部分使用382张术中C臂X光正位图像,344张术中C臂X光侧位图像,208张术前X光正位图像,206张术前X光侧位图像。
本实验在31对来自同一患者的术中脊柱的正位片图像进行了匹配,整幅图像节段数匹配准确率为83.9%。在28对来自同一患者的术中脊柱的侧位片图像进行了匹配,整幅图像节段数匹配准确率为85.7%。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种术中脊柱图像的识别方法,其特征在于:包括下列步骤:
步骤1:从术前所用DR机和术中所用C型臂X光机中分别获取术前脊柱DR图像和术中脊柱C臂X光图像,并分别进行预处理,得到处理后的术前DR图像I1和术中C臂X光图像I2
步骤2:使用YOLOX深度学习模型对术前和术中图像中的椎骨区域进行检测,并对每个椎骨区域进行裁剪,获得裁剪后的术前椎骨图像I1b和术中椎骨图像I2c
步骤3:使用DeeplabV3+深度学习模型对裁剪出的椎骨图像进行椎骨区域分割,分别得到分割后的图像I11b和图像I21c
步骤4:基于DR图像和C型X光图像的椎体分割结果对椎骨图像进行旋转,使图像中显示的椎骨保持水平,分别得到角度校正的椎骨图像I12b和图像I22c
步骤5:基于C臂X光图像I2中检测出的椎骨数量对DR图像I1中的椎骨图像I12b从上往下依次进行分组,并计算每组中相似度最小的椎骨区域的图像质量评估指标,从中得到最优的匹配结果;
步骤6:根据边缘的水平位置对椎骨图像I12b进行排序;基于第k组中的匹配结果将椎骨图像I22c同与之对应的椎骨图像I12b的标注结果进行标注,最后在图像I2中基于图像I22c的坐标信息、边缘信息和标注信息绘制最后的匹配结果,结果包括图像中所有椎骨的位置信息以及节段数信息。
2.根据权利要求1所述的术中脊柱图像的识别方法,其特征在于:所述步骤1中,对于术前脊柱图像,对图像进行中值滤波处理,得到处理后的术前DR图像I1;对于术中脊柱图像,将图像进行反色、中值滤波和直方图归一化处理,得到处理后的术中C臂X光图像I2
3.根据权利要求l所述的术中脊柱图像的识别方法,其特征在于:所述步骤2的具体方法为:
获得图像I1和图像I2后,通过YOLOX模型分别对术前图像和术中图像进行训练,以对图像中的椎骨区域进行检测,获取椎骨区域所处边框的四个顶点坐标,记录坐标信息;
通过顶点坐标获取椎骨区域边界,并对每个椎骨区域进行裁剪;
假设在图像I1中检测的椎骨数量为m,图像I2中检测出的椎骨数量为n,从而获得裁剪后的术前椎骨图像I1b和术中椎骨图像I2c,其中,b=1,…,m;c=1,…,n;
同时基于坐标信息记录椎骨图像在图像I1和图像I2中的矩形中心坐标(x1b,y1b)和(x2c,y2c)。
4.根据权利要求3所述的术中脊柱图像的识别方法,其特征在于:所述步骤3中,获得图像I1b和图像I2c后,统一使用DeeplabV3+模型进行训练,以对图像中的椎骨区域进行分割,图像I1b和图像I2c分割后分别得到图像I11b和图像I21c;分割后的椎骨图像为二分类图像,其中的椎骨区域设置灰度值为255,背景区域灰度值设置为0。
5.根据权利要求3所述的术中脊柱图像的识别方法,其特征在于:所述步骤4的具体方法为:
首先计算图像I11b和图像I21c中椎骨区域的最小外接矩形,获取最小外接矩形的参数,包括图像I11b与图像I21c的长hb与hc、宽wb与wc、水平倾斜角度ab与ac,以及矩形中心在图像I11b和图像I21c中的坐标(x11b,y11b)和(x21c,y21c);
然后,设定图像I11b和图像I21c的中心坐标为(x1b1,y1b1)和(x2c1,y2c1),在原始椎骨图像I1和图像I2中以坐标(x1b+(x11b-x1b1),y1b+(y11b-y1b1))和(x2c+(x21c-x2c1),y2c+(y21c-y2c1))为旋转中心,分别逆着倾斜角度ab与ac旋转图像;
最后根据旋转中心以及最小外接矩形的长和宽对图像I1和图像I2进行重新裁剪,分别得到角度校正的椎骨图像I12b和图像I22c
6.根据权利要求3所述的术中脊柱图像的识别方法,其特征在于:所述步骤5的具体方法为:
基于C臂X光图像I2中检测出的椎骨数量n对DR图像I1中的椎骨图像I12b从上往下依次进行分组,步骤2已给定DR图像检测出的椎骨数量为m,那么椎骨图像I12b共分为m-n+1组,每组包括n个椎骨图像;
然后,使用图像视觉保真度VIF算法将C臂X光图像I2的椎骨图像I22c和椎骨图像I12b分组后的图像从上往下对应进行计算,获得相似度集合S={P1,P2,…,Pi,…,Pm-n+1},i=1,…,m-n+1;其中,Pi为每组中相似度最小的椎骨区域的图像质量评估指标计算结果;每组有n幅C臂X光图像I2的椎骨图像I22cd和n幅椎骨图像I12bd,其中d=1,…,n;那么Pi的计算公式如下:
其中,计算符号σX,Y表示图像X,Y的协方差,/>表示图像X的方差;假设Pk为S集合中的最大值,则第k组为最优的匹配结果。
7.根据权利要求1所述的术中脊柱图像的识别方法,其特征在于:所述步骤6中的排序方法为:最后五个椎骨图像从上往下依次标注节段数为L1~L5,即第一节腰椎到第五节腰椎;L1上方的椎骨从T12开始从下往上依次递减标注节段数,即第十二节胸椎依次向上排列。
CN202410103517.7A 2024-01-25 2024-01-25 一种术中脊柱图像的识别方法 Pending CN118052968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410103517.7A CN118052968A (zh) 2024-01-25 2024-01-25 一种术中脊柱图像的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410103517.7A CN118052968A (zh) 2024-01-25 2024-01-25 一种术中脊柱图像的识别方法

Publications (1)

Publication Number Publication Date
CN118052968A true CN118052968A (zh) 2024-05-17

Family

ID=91053061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410103517.7A Pending CN118052968A (zh) 2024-01-25 2024-01-25 一种术中脊柱图像的识别方法

Country Status (1)

Country Link
CN (1) CN118052968A (zh)

Similar Documents

Publication Publication Date Title
WO2021017297A1 (zh) 基于人工智能的脊柱影像处理方法及相关设备
Peng et al. Automated vertebra detection and segmentation from the whole spine MR images
US11986252B2 (en) ENT image registration
JP3134009B2 (ja) 画像処理方法及び装置
EP2823463B1 (en) Method and system to assist 2d-3d image registration
US8139837B2 (en) Bone number determination apparatus and recording medium having stored therein program
US10699415B2 (en) Method and system for automatic volumetric-segmentation of human upper respiratory tract
US7340082B2 (en) Method and medical imaging apparatus for determining a slice in an examination volume for data acquisition in the slice
CN113506294B (zh) 一种医疗图像评估方法、系统、计算机设备及存储介质
CN109801276B (zh) 一种计算心胸比的方法及装置
CN110400286A (zh) 一种x射线ct图像中金属针的检测定位方法
CN112509022A (zh) 一种术前三维影像与术中透视图像的无标定物配准方法
CN112001889A (zh) 医学影像处理方法、装置及医学影像显示方法
CN113469935B (zh) 一种基于ct图像的髂后上棘自动检测与定位方法
CN110916695A (zh) 确定脊柱扫描视野的方法、装置及图像处理设备
CN107961023B (zh) Ent图像配准
CN113994380A (zh) 基于深度学习的消融区域确定方法
US8577108B2 (en) Method for detecting anatomical structures
WO2023216947A1 (zh) 一种用于介入手术的医学影像处理系统和方法
CN118052968A (zh) 一种术中脊柱图像的识别方法
CN109993754B (zh) 从图像上进行颅骨分割的方法和系统
CN112190275B (zh) 扫描方法、装置及系统
Pilgram et al. Knowledge-based femur detection in conventional radiographs of the pelvis
Gu et al. 3D automatic fiducial marker localization approach for frameless stereotactic neuro-surgery navigation
Wijata et al. Detection and tracking of the biopsy needle using ultrasound images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination