CN117974647B - 一种二维医学影像的三维联动式测量方法、介质及系统 - Google Patents
一种二维医学影像的三维联动式测量方法、介质及系统 Download PDFInfo
- Publication number
- CN117974647B CN117974647B CN202410369987.8A CN202410369987A CN117974647B CN 117974647 B CN117974647 B CN 117974647B CN 202410369987 A CN202410369987 A CN 202410369987A CN 117974647 B CN117974647 B CN 117974647B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- model
- measurement
- image
- tangent plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 176
- 239000013598 vector Substances 0.000 claims abstract description 91
- 238000013507 mapping Methods 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 15
- 210000003484 anatomy Anatomy 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 17
- 239000010410 layer Substances 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 239000002184 metal Substances 0.000 description 10
- 229910052751 metal Inorganic materials 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 238000003759 clinical diagnosis Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种二维医学影像的三维联动式测量方法、介质及系统,属于医学影像技术领域,包括:获取二维医学影像数据,经过预处理和去伪影操作后重建三维模型并分别在二维视图和三维视图中显示;将二维图像映射到由三维模型生成的二维展开图,得到映射矩阵,根据该映射矩阵将二维图像叠加到三维模型对应位置,实现二维和三维视图的精确配准;在二维视图中添加测量标记并记录其切面位置和法向量,依此计算出标记在三维空间中的精确位置和方向,并实时渲染显示在三维视图中;如果调整二维视图中的测量标记位置,则根据新的二维位置和法向量更新三维视图中对应标记的位置;切换到之前添加测量标记所在切面时,根据记录信息判断是否显示之前的标记。
Description
技术领域
本发明属于医学影像技术领域,具体而言,涉及一种二维医学影像的三维联动式测量方法、介质及系统。
背景技术
随着医疗影像设备的不断发展,医学影像技术在临床诊断和治疗中的应用越来越广泛。目前,主流的医学成像方式包括X射线影像(X-Ray)、计算机断层扫描(CT)、磁共振成像(MRI)等。通过这些成像技术,医生能够获取人体内部结构的精细影像信息,为疾病诊断和手术规划提供重要的依据。在临床实践中,医生通常需要同时分析二维影像和三维解剖结构信息。二维影像如CT或MRI切片能够提供高分辨率的结构细节,但缺乏整体的三维空间感知。而三维模型则能直观展现人体器官的全貌,但往往难以显示出精细的病理特征。因此,二维和三维信息的互补结合就显得尤为重要。在临床实践中,医生可以通过医学影像的交互式测量技术获取影像中更多有用的信息,这项技术在临床诊断及手术中发挥着重要的应用。VTK是一款集计算机图形、图像处理和可视化为一体的软件开发工具,利用VTK可以直接实现在二维影像上的各种测量。然而单单在二维图像中进行测量不够直观,因此医学影像的三维可视化技术也给临床诊断带来了极大的便利,而在三维模型视图中实现直接测量时容易产生位置拾取时的视觉上的误差,因此实现一种由二维影像到三维模型的联动式测量方案可以为医生获取更加准确的诊断结果提供工具,提高手术精度。
然而,现有技术在实现二维影像与三维模型的精确融合方面存在一些挑战。一方面,由于医学影像通常存在噪声、伪影等干扰因素,需要对原始影像数据进行适当的预处理,以获得高质量的目标影像。另一方面,二维切片影像和三维模型之间缺乏直接的对应关系,如何将二维信息准确映射到三维几何空间是一个难题。此外,临床医生还需要在影像上进行各种测量操作,例如测量肿瘤直径、血管角度等,传统的二维测量往往难以反映出病灶在三维空间中的真实状态。在目前常用的一些医学影像可视化与处理软件,如3D Slicer、RadiAnt DICOM Viewer中,测量往往在当前层进行,当进行视图的旋转或者切层的时候,之前的测量内容不被保存,医生想再次查看之前位置的测量信息时,需要重新进行测量操作,非常影像医生的测量效率。
为解决上述问题,目前的一些商业和学术解决方案提出了若干尝试,但均存在一定的不足。一种常见做法是人工标注影像和三维模型之间的对应关系,但这种方式费时费力,且难以保证精度。另一种方案是通过算法自动配准影像和模型,但复杂的几何变换使得计算代价很高,并且可能需要大量的人工干预。此外,现有技术在二维和三维测量的一致性方面也存在缺陷,无法同步反映出测量标记在不同视图中的位置变化。
综上所述,现有技术在进行二维三维联动测量时,由于存在二维影像与三维模型的难以精确融合,导致二三维联动式测量不够精确。
发明内容
有鉴于此,本发明提供一种二维医学影像的三维联动式测量方法、介质及系统,能够解决现有技术在进行二维三维联动测量时,由于存在二维影像与三维模型的难以精确融合,导致二三维联动式测量不够精确的技术问题。
本发明是这样实现的:
本发明的第一方面提供一种二维医学影像的三维联动式测量方法,其中,包括以下步骤:
S10、实时获取一组经过图像预处理的二维医学影像数据在二维视图中进行显示,并采用预先训练好的去伪影模型进行去伪影操作得到目标二维医学影像数据,根据所述目标二维医学影像数据重建三维模型,所述三维模型在三维视图中进行显示,所述三维视图具有设定好的三维空间;
S20、获取当前二维视图中显示的图像作为第一二维图,获取所述三维模型的全景展开二维图,作为第二二维图;
S30、采用预先训练好的解剖结构模型,输入所述第一二维图以及所述第二二维图,得到所述第一二维图映射到所述第二二维图的映射矩阵;
S40、将所述一二维图根据所述映射矩阵,以及所述第二二维图和所述三维模型的映射关系,将所述第一二维图叠加显示到所述三维模型对应的位置,实现二维视图和三维视图的位置校验;
S50、在所述二维视图中添加直线或角度等测量标记,并记录所述测量标记对应的切面位置和法向量;
S60、根据所述记录的切面位置和法向量信息,计算出所述测量标记在所述三维空间中的位置和方向,并在所述三维视图中实时渲染显示所述测量标记;
S70、当在所述二维视图中调整所述测量标记的位置时,根据所述二维视图的位置和法向量信息更新所述三维视图中对应测量标记的位置;
S80、切换到之前已添加测量标记所在的切面时,根据所记录的切面位置和法向量信息判断是否显示之前添加的测量标记。
所述去伪影模型的建立和训练步骤包括:获取包含大量成对的带伪影CT影像和对应无伪影影像的训练数据集,对带伪影影像进行数据增强如旋转、平移、缩放等操作以增加数据量,并对成对影像进行适当的裁剪和归一化预处理;将带伪影影像作为输入,无伪影影像作为监督输出,构建编码器-解码器网络结构,编码器采用卷积神经网络将输入影像编码为低维特征向量,解码器通过上采样、逐层解卷积等操作将编码器输出的特征向量解码为无伪影影像输出,在解码过程中引入金属痕迹注意力机制等模块以增强模型表达能力;以像素值差的平方损失、PSNR或SSIM等无参考或全参考图像质量指标作为损失函数的一部分,通过反向传播算法和优化策略如Adam对网络参数进行训练,并采用合理的学习率调度、参数初始化等实践技巧确保模型稳定收敛;在保留的测试集上评估模型性能,当PSNR值高于40dB、SSIM值高于0.95时则认为去伪影效果良好,可将训练好的模型应用于实际场景中去除CT影像中的金属伪影。
所述解剖结构模型的建立和训练步骤包括:获取包含成对的二维医学影像和对应三维解剖模型的训练数据集,对原始数据进行预处理如去除遮挡、标记病变区域、数据增强等,将二维影像作为输入,三维模型作为监督输出;构建编码器-解码器网络结构,编码器采用卷积神经网络、注意力机制等模块提取输入影像的特征并编码为低维向量,解码器采用三维卷积神经网络或三维变分自编码器将编码器输出的特征向量解码为三维体数据输出,并在解码过程中引入基于图的形状模板等先验知识约束以确保生成模型的解剖合理性;以生成的三维模型与目标三维模型之间的相似性作为损失函数,相似性度量采用无参考或全参考的三维图像评价指标如峰值信噪比、结构相似度等,也可加入基于特征或语义的损失函数;通过反向传播算法对网络参数进行更新,训练过程中采用数据并行、模型并行、迁移学习、预训练等策略,在多GPU上并行加速模型收敛;在保留的测试集上评估模型性能,若满意则可将训练好的模型应用于二三维映射场景,无需人工干预即可自动从二维影像中重建出相应的三维解剖模型,为临床诊断和手术规划提供支持。
进一步的,所述解剖结构映射模块在训练过程中引入基于特征的损失函数,将预测输出与目标输出的特征图作差值约束,以提高模型的特征表达能力。
所述去伪影模型和解剖结构映射模型的训练过程采用数据并行和模型并行等策略,在多个GPU上并行训练以加速收敛。
在上述技术方案的基础上,本发明的一种二维医学影像的三维联动式测量方法还可以做如下改进:
其中,所述预处理的方法包括去噪、灰度变换、对比度增强。
在所述S10的步骤中,对原始二维医学影像数据进行的预处理操作包括去噪、灰度变换和对比度增强;所述去噪操作采用小波变换或广义子空间法等算法去除影像噪声;所述灰度变换操作通过直方图均衡等方法拉伸灰度分布范围;所述对比度增强操作采用自适应直方图均衡等方法增强感兴趣区域的对比度。
在所述S10的步骤中,所述去伪影模型的编码器网络采用卷积神经网络结构,每个卷积层后接一个池化层逐步降低特征图分辨率;所述解码器网络的结构与编码器对应,使用逐层上采样和卷积操作将低分辨率特征图恢复为高分辨率输出影像。
在所述S10的步骤中,所述去伪影模型在训练过程中引入注意力机制模块,用于指导模型关注输入影像中的金属伪影区域。
在所述S10的步骤中,所述三维重建模块采用距离加权平均算法将二维切片序列重建为三维数据,将每个像素的灰度值赋予其最临近的体素,并对局部区域进行加权平均。
其中,所述S20的具体步骤包括:从当前二维视图中获取显示的图像,作为第一二维图;对之前重建的三维模型进行全景展开,即将三维模型的表面采用球面参数化的方式映射到二维平面,其中将每个顶点的坐标(x,y,z)映射到球面上的一个点(θ,φ),θ为方位角,φ为俯仰角,再将该球面展开到二维平面,获得第二二维图。
其中,所述S30的具体步骤包括:使用基于大量医学影像和对应三维模型训练得到的解剖结构模型,将第一二维图和第二二维图作为输入,所述解剖结构模型为编码器-解码器结构,编码器将输入影像编码为低维特征向量,解码器将该特征向量解码为与目标三维模型平面展开图相同尺寸的输出,并将预测输出与目标输出之间的平均像素差作为损失函数进行训练,当损失函数值低于某阈值时认为模型具有足够的映射精度,输出第一二维图映射到第二二维图的映射矩阵。
在所述S30的步骤中,所述解剖结构模型的编码器采用卷积神经网络提取输入影像特征,解码器采用三维卷积神经网络生成三维体数据输出。
在所述S30的步骤中,所述解剖结构模型在解码过程中引入形状先验知识约束,基于图的形状模板等模块,确保生成三维模型的解剖合理性。
其中,所述S40的具体步骤包括:遍历第一二维图中的每个像素点,根据步骤S30得到的映射矩阵计算出该像素点在第二二维图中的对应位置,由于第二二维图是通过全景展开三维模型获得的,因此可以顺次确定该位置在三维模型表面的对应三维坐标,将第一二维图中的像素值赋予该三维坐标对应的体素,实现第一二维图在三维模型中的叠加显示,对于存在遮挡或缺失区域,进行内外插值补全。
其中,所述S50的具体步骤包括:在二维视图中添加直线或角度测量标记,并记录下所述测量标记所在的切面位置,对于直线测量标记,记录起点和终点在切面上的坐标以及切面法向量,对于角度测量标记,记录三个定义点在切面上的坐标以及切面法向量,如果测量标记跨越多个切面,分别记录每个切面上的相应信息。
在所述S50的步骤中,所述直线测量标记的起点和终点坐标以及角度测量标记的三个定义点坐标均为切面上的二维坐标。
其中,所述S60的具体步骤包括:根据步骤S50记录的切面位置和法向量信息,将直线测量标记中的二维起点和终点坐标分别与切面法向量合并,映射到三维空间中的两个三维点,连接这两个三维点即得到该直线在三维空间中的渲染形式;对于角度测量标记,将定义点的二维坐标与切面法向量合并,映射为三维坐标,根据这三个三维点确定的两条线段,计算出它们的夹角作为三维显示结果;对于跨越多切面的测量标记,按上述方法分别映射每一段,并将各段连接。
其中,所述S70的具体步骤包括:当用户调整某个测量标记在二维切面上的坐标时,将该标记所在切面的位置和法向量信息与新坐标合并,重新计算该标记在三维空间中的对应位置和方向,并实时更新三维视图中标记的显示;如果该测量标记跨越多切面,确定被调整的切面段,并根据该切面信息更新该段在三维空间的几何信息,最后将更新后的线段与其他切面上的线段连接。
进一步的,在所述S70的步骤中,调整测量标记在二维切面上的坐标时,系统会自动更新记录在测量标记列表中的切面坐标信息。
所述S80的具体步骤包括:维护一个测量标记列表,记录每个测量标记的类型、所在切面位置、切面法向量和切面坐标等信息;切换到新切面时,遍历该列表,对于每个记录,根据切面位置与法向量信息判断该切面是否与当前切面一致,若一致则在新切面视图中渲染显示该测量标记,若不一致则不显示该标记,其中判断切面位置一致的条件为二者位置相同,判断法向量一致的条件为两向量夹角小于预设阈值,其中预设阈值为2~10°,优选5°。
进一步的,在所述S80的步骤中,判断切面位置一致的条件为二者层位相同且位移差值小于预设阈值,如层位相同且位移差值小于1mm则视为一致。
在所述S80的步骤中,判断切面法向量一致的阈值设置为5-10度。
进一步的,所述方法在获取目标二维影像和重建三维模型后,还对目标影像进行分割,将感兴趣区域与背景区分开,以突出病灶或器官轮廓等临床相关结构。
所述方法中的二维视图和三维视图支持用户交互操作,如选中标记高亮显示、调整标记尺寸大小、平移视角等。
所述方法在测量标记显示时,采用不同的颜色、线型等样式对直线标记和角度标记进行区分。
所述方法中二维视图和三维视图采用同步渲染技术,确保两个视图的实时显示响应速率一致,不会出现延迟或卡顿现象。
本发明的第二方面提供一种计算机可读存储介质,其中,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行上述的一种二维医学影像的三维联动式测量方法。
本发明的第三方面提供一种二维医学影像的三维联动式测量系统,其中,包含上述的计算机可读存储介质。
与现有技术相比较,本发明提供的一种二维医学影像的三维联动式测量方法、介质及系统的有益效果是:
1.本发明提出了一种全新的二维医学影像的三维联动式测量方法,完美解决了现有技术无法实现二维影像与三维模型精确融合的技术问题。
2.通过去伪影模块和三维重建模块,能够从原始的二维医学影像数据中获取高质量的目标影像和三维模型,为后续流程提供优质的输入数据,提高了整体测量精度。
3.所述的解剖结构映射模块基于深度学习技术,能够自动学习到二维影像与三维模型之间的映射规律,无需人工标注或精确建模,大幅提高了映射效率。
4.在二维视图和三维视图之间实现了无缝切换,二维测量标记能够准确投影到三维模型中,且当标记位置变化时,二三维视图都会实时同步更新,使得测量过程高度直观和一致。
5.维护了一个全局的测量标记列表,保证了测量标记在不同二维切面视图之间的连续性,用户无需重复操作即可完成切面间的标记同步。
6.整个测量过程中,二维信息和三维信息是完全融合的,医生可以灵活切换二三维视角,从不同角度全面分析病灶特征,为临床诊断提供了极大便利。
综上所述,本发明的技术方案解决了现有技术在进行二维三维联动测量时,由于存在二维影像与三维模型的难以精确融合,导致二三维联动式测量不够精确的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的方法的流程图;
图2为实施例中的二维影像和三维模型联动式测量流程图;
图3为在三维视图中自动画出测量线段的示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述。
如图1所示,是本发明提供的一种二维医学影像的三维联动式测量方法流程图,本方法包括以下步骤:其中,包括以下步骤:
S10、实时获取一组经过图像预处理的二维医学影像数据在二维视图中进行显示,并采用预先训练好的去伪影模型进行去伪影操作得到目标二维医学影像数据,根据目标二维医学影像数据重建三维模型,三维模型在三维视图中进行显示,三维视图具有设定好的三维空间;
S20、获取当前二维视图中显示的图像作为第一二维图,获取三维模型的全景展开二维图,作为第二二维图;
S30、采用预先训练好的解剖结构模型,输入第一二维图以及第二二维图,得到第一二维图映射到第二二维图的映射矩阵;
S40、将一二维图根据映射矩阵,以及第二二维图和三维模型的映射关系,将第一二维图叠加显示到三维模型对应的位置,实现二维视图和三维视图的位置校验;
S50、在二维视图中添加直线或角度等测量标记,并记录测量标记对应的切面位置和法向量;
S60、根据记录的切面位置和法向量信息,计算出测量标记在三维空间中的位置和方向,并在三维视图中实时渲染显示测量标记;
S70、当在二维视图中调整测量标记的位置时,根据二维视图的位置和法向量信息更新三维视图中对应测量标记的位置;
S80、切换到之前已添加测量标记所在的切面时,根据所记录的切面位置和法向量信息判断是否显示之前添加的测量标记。
下面对上述步骤的具体实施方式进行详细描述:
步骤S10的具体实施方式是:
首先获取一组二维医学影像数据,如X-Ray、CT或者MRI等。这些数据通常是以DICOM格式存储的。然后,对这些二维影像数据进行预处理,包括去噪、灰度变换、对比度增强等操作,以提高图像质量。处理后的二维影像数据在二维视图中显示。
接下来,使用预先训练好的去伪影模型进行去伪影操作,以获得目标二维医学影像数据。这个去伪影模型是基于深度学习技术训练得到的。训练数据集包括大量带有金属伪影的CT影像,以及对应的没有伪影的金标准影像。模型的输入是带伪影的CT影像,输出是预测的无伪影影像。
模型结构可以采用编码器-解码器网络。编码器将输入影像编码为一个低维特征向量,解码器则将该特征向量解码为无伪影的输出影像。编码器可以使用卷积神经网络,每个卷积层后接一个池化层逐步降低特征图的分辨率。解码器的结构与之对应,使用逐层上采样和卷积操作将低分辨率的特征图逐步恢复为高分辨率的输出影像。在训练过程中,采用像素值差的平方作为损失函数,使用Adam等优化算法进行参数更新。可以引入注意力机制、跳跃连接等技巧提高模型性能。训练完成后,可在保留测试集上评估模型精度,其中PSNR和SSIM是常用的无参考图像质量评价指标。当PSNR值高于40dB、SSIM值高于0.95时,可认为去伪影效果良好。
接下来,根据目标二维医学影像数据重建三维模型,该三维模型在三维视图中显示。三维重建的核心是根据二维切片序列估计每个像素的三维坐标,并进行适当的插值操作以获得连续的三维数据。一种常用的方法是使用距离加权平均重建,将每个像素的灰度值赋予其最临近的体素,并对局部区域内的体素进行加权平均,权重与像素到体素的空间距离成反比。还可以使用基于光线投射的方法,将每个像素的灰度值分配到与其对应的射线上。三维视图可设定好一个合适的三维空间,给出一个直观的三维显示。
在去伪影和三维重建的过程中,可以引入预先训练的先验知识,如运动模型、形状模型等,用于约束和调整计算结果,提高重建精度。还可以进行图像分割等后处理操作,突出感兴趣区域。
该步骤的目的是获取处理过的二维影像和相应的三维几何结构,为后续的二三维映射和测量标记的显示做好准备。
步骤S20的具体实施方式是:
从当前二维视图中获取显示的图像,作为第一二维图。通过相应的图像读取接口即可获得。
同时,对之前重建的三维模型进行全景展开,即将三维模型的表面映射到二维平面,得到第二二维图。全景展开的过程可以采取球面参数化的方式。具体来说,将三维表面用一个球面参数化,将每个顶点的坐标(x,y,z)映射到球面上的一个点(θ,φ),其中θ为方位角,φ为俯仰角。这样,整个三维表面就映射到了一个球面参数化的(θ,φ)平面上。然后将该球面展开到二维平面即可获得第二二维图。
这一步的目的是将三维几何结构和当前二维切面影像都映射到二维平面,为后续的二三维映射做好准备。
步骤S30的具体实施方式是:
使用预先训练好的解剖结构模型,输入第一二维图和第二二维图,得到第一二维图映射到第二二维图的映射矩阵。这个解剖结构模型是基于大量的医学影像数据训练得到的。
训练数据集包括成对的二维切片影像和对应的三维模型。对于每一对数据,首先将三维模型展开到二维平面,得到第二二维图。然后将该二维图和对应的切片影像作为训练样本的输入和输出。模型的目标是学习从输入的二维切片影像映射到输出的二维展开图的变换关系。
模型结构可以采用编码器-解码器的形式。编码器是一个卷积神经网络,将输入的二维切片影像编码为一个低维特征向量。解码器则将该特征向量解码为与目标二维展开图相同尺寸的图像,并将其作为预测输出。在训练过程中,以输出图像与目标二维展开图的像素差作为损失函数,使用反向传播算法更新网络参数。可以引入注意力机制、空间变换等模块,提高模型的表达能力。
训练完成后,可在保留的测试集上评估模型性能。一种简单的方法是计算预测输出与目标输出之间的平均像素差值,当该值低于某个阈值(如5个灰度级)时,认为映射精度可以接受。也可以使用更复杂的指标,如结构相似性等。
该模型的作用是将任意二维切片影像映射到三维模型的二维展开图上,为实现二三维位置的精确对应奠定基础。
步骤S40的具体实施方式是:
将步骤S30得到的第一二维图映射到第二二维图的映射矩阵记作M。由于第二二维图和三维模型之间存在确定的映射关系(即全景展开过程),因此可以根据M将第一二维图映射到三维模型对应的位置。
具体来说,可以遍历第一二维图中的每个像素点p,根据M计算出p在第二二维图中的对应位置q。由于第二二维图是通过全景展开三维模型获得的,因此可以顺次确定q在三维模型表面的对应位置P。最后,将第一二维图中的像素值赋予P对应的体素,即可实现第一二维图在三维模型中的叠加显示。
这个过程中需要注意的是,M仅提供了第一二维图与第二二维图之间的像素对应关系,而第二二维图到三维模型表面的映射关系需要依赖于之前的参数化和展开过程。因此,需要结合这两种映射关系,才能最终实现二维图像在三维模型中的准确叠加。
另外,由于医学影像通常存在部分缺失或者遮挡的情况,所以在叠加过程中需要对缺失区域进行特殊处理,例如使用内外插值等方法对缺失区域进行补全。
通过这一步骤,就可以将当前二维视图中显示的影像精确地叠加到三维模型的相应位置,从而实现了二三维位置的校验。这为后续的三维测量操作奠定了基础。
步骤S50的具体实施方式是:
在二维视图中添加直线或角度等测量标记,这可以通过图形用户界面提供简单的绘制工具实现。例如,用户可以在二维视图中点选两个点,就可以生成一条连接这两点的直线标记。或者选择三个点,就可以确定一个角度标记。此外,还可以支持用户手动调整直线或角度的位置、长度等参数。
无论是直线还是角度,关键是要记录下它们所在的切面位置和法向量信息。切面位置可以通过图像的DICOM元数据确定。对于直线测量标记,需要记录起点和终点在切面上的坐标,以及切面在三维空间的法向量。对于角度测量标记,需要记录三个定义点在切面上的坐标,以及切面法向量。
此外,如果测量标记跨越了多个切面,就需要分别记录每个切面上的相应信息。这种情况下,标记可以被分割成多个线段,分别对应于不同的切面。
记录切面位置和法向量信息的目的,是为了在三维视图中精确地重建和渲染测量标记。这些信息提供了将二维标记映射到三维空间的必要条件。
步骤S60的具体实施方式是:
根据步骤S50中记录的切面位置和法向量信息,就可以在三维空间中精确地定位和渲染测量标记。
对于直线测量标记,已知其在某个切面上的起点和终点坐标,以及该切面的法向量。可以将这两个二维点分别映射到三维空间中的两个三维点,映射方法为:将二维点的坐标与切面法向量合并,就得到了一个三维坐标。这样,原来在二维平面上的直线就变成了三维空间中的一条线段。
对于角度测量标记,已知其在某个切面上的三个定义点坐标,以及该切面的法向量。可以将这三个二维点分别映射到三维空间中的三个三维点,与直线测量标记的映射方式相同。然后,根据这三个三维点所确定的两条线段,即可计算出它们的夹角,作为该角度测量的三维显示结果。
如果测量标记跨越了多个切面,则需要将其分割为多段,分别对应于不同切面。每一段都按上述方法映射到三维空间中,最后将这些线段连接起来,就得到了整个测量标记在三维空间中的形式。
在将测量标记渲染到三维视图中时,可以采用不同的颜色、线型等显示方式,以区分不同类型的测量标记。同时,还可以支持用户交互,如选中某个标记高亮显示、调整标记大小等。
该步骤的作用是将二维视图中的测量标记精确地映射和显示到三维几何模型中,从而使测量过程从二维扩展到三维,提高了测量的准确性和可靠性。
步骤S70的具体实施方式是:
当用户在二维视图中调整某个测量标记的位置时,需要实时更新三维视图中对应的测量标记。
具体来说,由于直线或角度测量标记是建立在某个特定的二维切面上的,因此当调整该标记的位置时,实际上是在调整它在该切面上的坐标。一旦二维坐标发生变化,就需要根据该切面的位置和法向量信息,重新计算出标记在三维空间中的对应位置,并实时更新三维视图中的显示。
以直线测量标记为例,假设用户调整了该直线在某个切面上的起点坐标,那么就需要将新的二维起点坐标与该切面的法向量合并,从而得到一个新的三维起点坐标。再将该三维起点与原来的三维终点连接,即可更新三维视图中该直线的显示。
对于角度测量标记,当用户调整其中一个定义点的位置时,需要将该定义点的新二维坐标与切面法向量合并,得到新的三维坐标。然后根据另外两个定义点的三维坐标,重新计算所确定的两条线段之间的夹角,并更新三维视图中的角度显示。
如果测量标记跨越多个切面,则需要确定被调整的那一段所在的切面,并根据该切面的位置和法向量信息,更新该段在三维空间中的几何信息。最后,将更新后的线段与其他切面上的线段连接,即可完成整个标记在三维视图中的实时更新。
该步骤的目的是确保二维视图和三维视图中的测量标记保持实时同步,使得用户在任一视图中的操作都可以在另一视图中得到正确的反映,从而提高了测量的便捷性和一致性。
步骤S80的具体实施方式是:
建立一个测量标记列表,用于记录所有之前添加的测量标记信息。每个测量标记记录都包含了以下关键信息:标记类型(如直线或角度)、所在二维切面的位置、所在切面的法向量、切面上标记的具体坐标等。
当用户切换到某个新的二维切面时,系统会遍历该测量标记列表,对于列表中的每个记录,判断其所在切面是否与当前切面一致。具体的判断方法是:
1) 比较记录中的切面位置信息与当前切面的位置信息,如果二者相同(例如为同一层CT切片),则认为切面位置一致。
2) 比较记录中的切面法向量与当前切面的法向量,如果两个法向量的夹角小于某个预设阈值(其中预设阈值为2~10°,优选5°),则认为法向量一致。
只有上述两个条件同时满足时,才能判定该测量标记所在的切面就是当前切面。
3) 对于满足上述条件的测量标记,根据其在切面上记录的坐标信息,将其渲染并显示到当前二维切面视图中。
4) 对于不满足上述条件的测量标记,即使它们之前在该切面上添加过,系统也不会在当前切面中显示它们。
以上步骤需要对测量标记列表中的每个记录进行遍历和判断,从而正确地在新切面视图中显示之前添加过的测量标记。
需要说明的是,如果某个测量标记跨越了多个切面,那么在每个切面上,该标记会有对应的切面位置、法向量和坐标记录。切换到与其中任何一个切面记录匹配的切面时,都应该显示该测量标记。
另外,在判断法向量一致性时,可以设置一个合理的阈值,以容许微小的法向量偏差。这个阈值的参考值可以设为5-10度,具体取决于应用场景对精度的要求。
该步骤的目的是使得之前添加的测量标记能够在相应的切面视图中正确显示,从而保证了测量标记信息的连续性和一致性,提高了用户体验。同时,通过记录切面位置和法向量信息,系统能够准确判别测量标记所属的切面,避免了错误显示的情况发生。
其中,解剖结构模型的训练的具体实施方式:
解剖结构模型的训练数据集需要包含大量来自不同患者、不同扫描设备的医学影像,以及对应的金标准三维模型数据。这些三维模型数据可以通过手动或半自动的方式从影像数据中构建,也可以使用公开的解剖模型数据库。
在数据预处理阶段,需要将原始的二维影像和三维模型数据进行适当的处理,如去除遮挡、标记病变区域、数据增强等,以增加训练数据的多样性。然后,将二维影像作为输入,对应的三维模型则作为输出的监督信号。
模型结构可以采用编码器-解码器的形式。编码器网络将输入的二维影像编码为一个低维的特征向量,解码器网络则将该特征向量解码为与目标三维模型相同尺寸的三维体数据。
编码器可以使用卷积神经网络、注意力机制等模块,以提取输入影像的有效特征。解码器则需要具备生成三维数据的能力,常见的方法是使用三维卷积或三维变分自编码器。在解码过程中,可以引入形状先验知识约束,如基于图的形状模板等,以保证生成三维模型的解剖合理性。
在训练过程中,以生成的三维模型与目标三维模型之间的相似性作为损失函数,通过反向传播算法不断调整网络参数。相似性的度量可以使用各种无参考或全参考的三维图像评价指标,如峰值信噪比、结构相似度等。除了像素或体素级别的相似性之外,还可以加入一些高层次的损失函数,如基于特征或语义等的损失函数。
训练阶段通常需要大量的计算资源,可以采用数据并行、模型并行等策略在多个GPU上进行并行训练。此外,还可以使用迁移学习、预训练等技术,将之前在其他视觉任务上训练好的模型权重迁移到本任务中,以加速收敛速度。
在训练完成后,可以在保留的测试集上评估模型的性能,并与现有算法进行对比。如果性能满意,则可以将该模型应用于实际的二三维映射场景中。否则需要对模型结构、损失函数、训练策略等进行调整和改进。
该模型的作用是学习从单张或多张二维影像映射到它们对应的三维解剖结构的变换规律,为二三维信息的无缝融合奠定基础。通过这一模型,可以无需人工干预,自动地从二维影像中重建出相应的三维解剖模型,显著提高了工作效率。
总的来说,训练解剖结构模型需要大量的医学影像数据、足够的计算资源和合理的模型设计。一旦训练完成,该模型就可以在各种临床应用场景中高效地将二维信息映射到三维空间,为医生诊断和手术规划等提供支持。
其中,去伪影模型的训练的具体实施方式:
去伪影模型通常是基于深度学习的,核心思想是利用神经网络从带伪影的影像中学习到无伪影的理想影像。训练数据集需要包含成对的带伪影影像和对应的无伪影影像。
获取这种成对训练数据需要一些技巧,常见的方法是:基于模拟数据,即在干净的CT数据中人工插入金属伪影;或者使用双能层探测器扫描技术,利用不同能量下金属的衰减率差异去除伪影。无论使用何种方式,都需要保证训练集具有足够的多样性,包含不同种类、大小、位置的金属伪影。
数据预处理阶段,可以对带伪影影像进行数据增强,如旋转、平移、缩放等,以增加数据量。同时需要对成对影像进行适当的裁剪和归一化处理。将带伪影影像作为输入,无伪影影像作为输出的监督信号。
模型结构上,常采用编码器-解码器的形式。编码器将输入影像编码为一个低维特征向量,解码器则将该特征向量解码为无伪影的输出影像。
编码器可以使用卷积神经网络、注意力模块等结构,以获取输入影像的多尺度特征表示。解码器则通过上采样、逐层解卷积等操作将编码器的特征逐步解码为高分辨率的影像输出。在解码过程中,可以引入一些先验知识,如金属痕迹注意力机制、金属区域感知等模块,以增强模型的表达能力。
损失函数通常采用像素值差的一些变种,如平方损失、绝对损失等。也可以加入一些无参考或全参考的图像质量评价指标,如PSNR、SSIM等,作为损失函数的一部分。
在训练过程中,通过反向传播算法和一些优化策略(如Adam),不断调整网络参数,使得输出影像逐渐逼近无伪影的目标影像。同时需要注意一些实践技巧,如合理的学习率调度、参数初始化等,以确保模型稳定收敛。
在训练完成后,可在保留的测试集上评估模型性能,并与其他去伪影算法进行对比。常用的无参考评价指标有PSNR、SSIM等,阈值可分别设置为40dB和0.95。如果满意,则可将训练好的模型应用于实际场景。否则,需要对模型结构、损失函数、训练策略等进行调整和改进。
该模型的作用是从带有金属伪影的CT影像中自动恢复出无伪影的理想影像,从而提高了影像质量,为后续的影像分析和临床诊断奠定了基础。通过深度学习的方式,该模型能够自适应地从大量真实数据中学习到金属伪影的特征和无伪影影像之间的映射关系,避免了传统方法中需要精确建模和复杂参数调整的问题。
总之,训练去伪影模型需要具备大量的成对训练数据、合理的网络结构设计和损失函数设计。模型训练过程还需要足够的计算资源,并结合一些训练策略和经验技巧,以确保模型能够高效稳定地收敛。一旦训练完成,该模型就可以广泛应用于各种临床CT去伪影场景,为临床诊断和后续影像分析任务提供高质量的影像数据。
本发明的第二方面提供一种计算机可读存储介质,其中,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行上述的一种二维医学影像的三维联动式测量方法。
本发明的第三方面提供一种二维医学影像的三维联动式测量系统,其中,包含上述的计算机可读存储介质。
下面是本发明的一个具体的实施例:
本实施例的具体流程如图2所示;下面进行详细说明:
1.二维医学影像的显示及三维模型的重建
1.1 使用vtkDICOMReader读入影像序列,使用vtkImageReslice提取切面,并显示到横矢冠三个视图中。具体来说,首先获取一组DICOM格式的原始二维医学影像数据,如CT或MRI序列。对这些原始影像数据进行预处理,包括去噪、灰度变换、对比度增强等操作,以提高图像质量。
去噪操作可采用小波变换或广义子空间法等算法去除影像噪声。灰度变换操作通过直方图均衡等方法拉伸灰度分布范围。对比度增强操作可采用自适应直方图均衡等方法增强感兴趣区域的对比度。
处理后的二维影像数据在横矢冠三个视图中进行显示。
1.2 使用vtkNIFTIImageReader读取一组影像的分割结果,然后使用vtkMarchingCubes进行三维面模型的重建,并显示到三维视图中。
在显示二维影像的同时,还需根据这些影像数据重建对应的三维模型。首先,使用预先训练好的去伪影模型对处理后的二维影像数据进行去伪影操作,获得目标二维影像。
该去伪影模型基于深度学习技术,使用包括大量带伪影影像和对应无伪影影像的训练数据集进行训练。模型的结构为编码器-解码器网络,编码器将输入影像编码为低维特征向量,解码器将该特征向量解码为无伪影影像输出。训练过程中采用像素值差的平方作为损失函数,通过反向传播算法进行参数更新。当无参考评价指标PSNR值高于40dB、SSIM值高于0.95时,认为去伪影效果良好。
接下来,根据目标二维影像数据,通过距离加权平均重建或基于光线投射重建等算法获得连续的三维体数据,即三维模型。具体可采用距离加权平均算法,将每个像素的灰度值赋予其最临近的体素,并对局部区域内的体素进行加权平均。
所述三维模型在三维视图中进行显示,为后续的二三维映射和测量提供基础。
2.2D-3D位置校验
2.1 通过变换矩阵获取横矢冠状面的切面图像,并使用vtkImageStack保存切面图像。
首先,获取当前二维视图中显示的图像,作为第一二维图。同时,对之前重建的三维模型进行全景展开,即将三维模型的表面采用球面参数化的方式映射到二维平面,获得第二二维图。具体为将每个顶点的三维坐标(x,y,z)映射到球面上的一个点(θ,φ),其中θ为方位角,φ为俯仰角,再将该球面展开到二维平面。
2.2 在三维视图渲染器Render中使用AddActor方法显示存储的切面图像。
接下来,使用预先训练好的解剖结构模型,将第一二维图和第二二维图作为输入,输出第一二维图映射到第二二维图的映射矩阵M。该模型为编码器-解码器结构,编码器将输入影像编码为低维特征向量,解码器将该特征向量解码为与目标三维模型平面展开图相同尺寸的输出。在训练过程中,以输出图像与目标二维展开图的像素差作为损失函数,使用反向传播算法更新网络参数。当损失函数值低于某阈值时,认为模型具有足够的映射精度。
然后,将第一二维图根据映射矩阵M,以及第二二维图和三维模型的映射关系,将第一二维图叠加显示到三维模型对应的位置。具体为遍历第一二维图中的每个像素点,根据M计算出该像素点在第二二维图中的对应位置,由于第二二维图是通过全景展开三维模型获得的,因此可以顺次确定该位置在三维模型表面的对应三维坐标,将第一二维图中的像素值赋予该三维坐标对应的体素,从而实现第一二维图在三维模型中的叠加显示。对于存在遮挡或缺失区域的像素点,采用内插值或外插值的方式对缺失区域进行补全。
至此,实现了二维视图和三维视图的位置校验,即当前二维视图中显示的影像精确叠加到了三维模型的相应位置。
3.二维交互测量及三维测量生成
3.1 使用vtkDistanceWidget创建一个直线测量的对象rulerWidget,并通过vtkDistanceRepresentation2D预置好线段相关显示属性。
3.2 通过鼠标左键点击在当前鼠标操作二维视窗中调用添加一个测量内容,并记录当前切面的normal和position值,其中,normal值可以由当前的变换矩阵获取;position值为当前显示影像数据的位置,也是当前相机的焦点坐标。同时需要限制第二个点击点和第一个点击点处于同一个视窗中。
在二维视图中添加直线或角度测量标记。对于直线测量标记,记录起点和终点在切面上的二维坐标,以及该切面的法向量。对于角度测量标记,记录三个定义点在切面上的二维坐标,以及切面法向量。如果测量标记跨越了多个切面,需要分别记录每个切面上的相应信息。记录切面位置和法向量信息的目的,是为了在三维视图中精确地重建和渲染测量标记。
3.3 当线段第二个顶点确定后,即可在三维视图中显示对应的测量内容:
3.3.1 由于二维影像和三维模型在不同的窗口中,因此直接获取二维视窗中的世界坐标用于在三维视窗中进行绘制是不正确的,需要通过vtkDistanceRepresentation2D的GetPoint1DisplayPosition()和GetPoint2DisplayPosition()方法获取线段两个顶点的屏幕坐标,然后使用vtkPointPicker的Pick()方法将屏幕坐标转换成当前视窗中的位置,并依据变换矩阵获取到两个顶点的世界坐标,且当变换矩阵发生变化时,测量内容的世界坐标不应该发生改变。
3.3.2 使用vtkPolyData并应用vtkPoints和vtkCellArray在三维视图中画出测量线段,如图3所示;
根据步骤3.2中记录的切面位置和法向量信息,将直线测量标记中的二维起点和终点坐标分别与切面法向量合并,映射到三维空间中的两个三维点,连接这两个三维点即得到该直线在三维空间中的渲染形式。对于角度测量标记,将定义点的二维坐标与切面法向量合并,映射为三维坐标,根据这三个三维点所确定的两条线段,计算出它们的夹角作为三维显示结果。如果测量标记跨越多切面,按上述方法分别映射每一段,并将各段连接。
3.4 位置调整不仅包括常规操作中的两端点位置调整,还包括整个测量线段的拾取和平移。当存在多个测量线段时,拾取时不仅要判断距离,还要判断是否在当前视窗、是否在当前层:
3.4.1 遍历所有的测量内容,使用ViewLable属性直接判断是否在当前视窗。
3.4.2 获取测量内容的normal和position属性值与当前层的normal和position值,如果满足abs(d1 - d2) / m<abs(toler)则认为在当前层,其中:
d1 = N1[0]_P1[0]+ N1[1]_P1[1]+ N1[2]*P1[2];
d2 = N2[0]_P2[0]+ N2[1]_P2[1]+ N2[2]*P2[2];
m = sqrt(N1[0]_N1[0]+ N1[1]_N1[1]+ N1[2]*N1[2]);
toler = Spcaing/2.
其中,N1,P1分别为测量内容记录的normal属性值、position属性值,N2,P2分别为当前平面的normal属性值、position属性值,Spcaing为当前视窗中影像数据切面的层间距。toler用于设置一个测量内容的可显示范围。
3.4.3 在满足以上两个条件的情况下,判断测量内容与点击位置的距离在一定的阈值之内,则选中最近的一个进行随鼠标的移动。
当在二维视图中调整测量标记的位置时,根据该标记所在切面的位置和法向量信息,将新的二维坐标与切面法向量合并,重新计算出该标记在三维空间中的对应位置和方向,并实时更新三维视图中标记的显示。如果该测量标记跨越多切面,需确定被调整的切面段,根据该切面信息更新该段在三维空间中的几何信息,最后将更新后的线段与其他切面上的线段连接。
3.5 当在二维视窗中调整测量内容的位置,同样使用步骤3.3.1中的方式更新三维中对应的测量内容的位置。
4.二维交互测量内容存储及显示
4.1 如上述步骤3中,除了vtkDistanceRepresentation2D设置的属性,还要记录测量内容的重要信息:当前测量内容所在切面的位置及法向,因为通过一个位置和一个方向可以确定一个固定的平面,即当前切面,即可记录当前测量内容所在的平面。
系统会维护一个测量标记列表,用于记录所有已经添加的测量标记信息,包括标记类型、所在切面的位置和法向量、切面上标记的具体坐标等。
4.2 当切回之前测量内容所在的切面时,使用步骤3.4.2中所述方式进行是否在当前切面的判断,是则调用vtkDistanceWidget的On()方法显示,否则使用Off()方法进行隐藏。
当用户切换到之前已经添加了测量标记的某个切面时,需要根据该切面的位置和法向量信息,判断是否显示之前添加的测量标记。具体为遍历测量标记列表,对于每个记录的测量标记,判断其所在切面是否与当前切面一致。判断方法是:比较记录中的切面位置信息与当前切面的位置信息,如果二者完全相同(如同一层CT切片),则认为该测量标记所在切面与当前切面相同;此外,还需要比较记录中的切面法向量与当前切面的法向量,如果两个法向量的夹角小于某个阈值(如5-10度),则认为法向量一致。只有上述两个条件同时满足时,才在当前切面视图中渲染显示该测量标记,否则不显示该标记。
具体的,本发明的原理是:本发明提出的二维医学影像三维联动式测量方案,其核心原理是建立起二维影像信息和三维解剖结构之间的双向映射关系,并在此基础上实现二三维视图的实时同步。
首先,通过去伪影模块和三维重建模块,系统从原始的二维医学影像数据中获取高质量的目标影像和对应的三维模型。其中去伪影模块基于深度学习技术,使用带伪影影像和无伪影影像对对训练而成,能够自动从带伪影的输入数据中预测和恢复出无伪影的理想影像。三维重建模块则利用距离加权平均等算法,将二维切片序列重建为连续的三维数据。
接下来,通过解剖结构映射模块,系统建立起二维影像与三维模型之间的映射关系。该模块也是基于深度学习方法训练得到的,它能够将任意二维切片影像映射到对应的三维模型平面展开图上,从而精确获取二维像素在三维空间中的对应位置。在训练阶段,该模块使用大量的二维影像和三维模型对进行监督学习,学习到了影像到模型几何结构的映射规律。
有了上述双向映射关系后,系统就可以在二维视图和三维视图之间实现无缝切换。当在二维视图中添加测量标记如直线或角度时,系统会记录下该标记所在切面的位置和法向量信息。然后根据解剖结构映射模块得到的映射关系,将该二维标记精确投影到三维模型中,并在三维视图中实时呈现出来。同理,当测量标记在二维视图中发生位置变化时,三维视图中的对应标记也会随之更新。这种二三维视图的联动交互,大大增强了测量的直观性和可信度。
此外,系统还维护了一个全局的测量标记列表,记录了所有已添加标记的相关信息。当用户切换到新的二维切面视图时,系统会根据当前切面与测量标记列表中记录的切面位置和法向量信息进行匹配,从而正确地在新视图中显示或隐藏之前的测量标记,保证了标记信息在二三维视图之间的连续性和一致性。
综上所述,通过前述的去伪影模型、三维重建模型、解剖结构映射模型等模块的有机结合,本发明首次实现了二维医学影像与三维解剖结构之间的双向映射,从而可以高效实现二三维视图的实时联动及一致性测量。相比现有技术,该方案避免了人工标注和复杂几何变换带来的低效和误差,同时保证了测量信息在不同视图中的完全同步,为临床诊断和手术规划提供了极大的便利。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种二维医学影像的三维联动式测量方法,其特征在于,包括以下步骤:
S10、实时获取一组经过图像预处理的二维医学影像数据在二维视图中进行显示,并采用预先训练好的去伪影模型进行去伪影操作得到目标二维医学影像数据,根据所述目标二维医学影像数据重建三维模型,所述三维模型在三维视图中进行显示,所述三维视图具有设定好的三维空间;
S20、获取当前二维视图中显示的图像作为第一二维图,获取所述三维模型的全景展开二维图,作为第二二维图;
S30、采用预先训练好的解剖结构模型,输入所述第一二维图以及所述第二二维图,得到所述第一二维图映射到所述第二二维图的映射矩阵;
S40、将所述一二维图根据所述映射矩阵,以及所述第二二维图和所述三维模型的映射关系,将所述第一二维图叠加显示到所述三维模型对应的位置,实现二维视图和三维视图的位置校验;
S50、在所述二维视图中添加直线或角度作为测量标记,并记录所述测量标记对应的切面位置和法向量;
S60、根据所述记录的切面位置和法向量信息,计算出所述测量标记在所述三维空间中的位置和方向,并在所述三维视图中实时渲染显示所述测量标记;
S70、当在所述二维视图中调整所述测量标记的位置时,根据所述二维视图的位置和法向量信息更新所述三维视图中对应测量标记的位置;
S80、切换到之前已添加测量标记所在的切面时,根据所记录的切面位置和法向量信息判断是否显示之前添加的测量标记。
2.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述预处理的方法包括去噪、灰度变换、对比度增强。
3.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S20的具体步骤包括:从当前二维视图中获取显示的图像,作为第一二维图;对之前重建的三维模型进行全景展开,即将三维模型的表面采用球面参数化的方式映射到二维平面,其中将每个顶点的坐标(x,y,z)映射到球面上的一个点(θ,φ),θ为方位角,φ为俯仰角,再将该球面展开到二维平面,获得第二二维图。
4.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S30的具体步骤包括:使用基于大量医学影像和对应三维模型训练得到的解剖结构模型,将第一二维图和第二二维图作为输入,所述解剖结构模型为编码器-解码器结构,编码器将输入影像编码为低维特征向量,解码器将该特征向量解码为与目标三维模型平面展开图相同尺寸的输出,并将预测输出与目标输出之间的平均像素差作为损失函数进行训练,当损失函数值低于某阈值时认为模型具有足够的映射精度,输出第一二维图映射到第二二维图的映射矩阵。
5.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S40的具体步骤包括:遍历第一二维图中的每个像素点,根据步骤S30得到的映射矩阵计算出该像素点在第二二维图中的对应位置,由于第二二维图是通过全景展开三维模型获得的,因此可以顺次确定该位置在三维模型表面的对应三维坐标,将第一二维图中的像素值赋予该三维坐标对应的体素,实现第一二维图在三维模型中的叠加显示,对于存在遮挡或缺失区域,进行内外插值补全。
6.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S50的具体步骤包括:在二维视图中添加直线或角度测量标记,并记录下所述测量标记所在的切面位置,对于直线测量标记,记录起点和终点在切面上的坐标以及切面法向量,对于角度测量标记,记录三个定义点在切面上的坐标以及切面法向量,如果测量标记跨越多个切面,分别记录每个切面上的相应信息。
7.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S60的具体步骤包括:根据步骤S50记录的切面位置和法向量信息,将直线测量标记中的二维起点和终点坐标分别与切面法向量合并,映射到三维空间中的两个三维点,连接这两个三维点即得到该直线在三维空间中的渲染形式;对于角度测量标记,将定义点的二维坐标与切面法向量合并,映射为三维坐标,根据这三个三维点确定的两条线段,计算出它们的夹角作为三维显示结果;对于跨越多切面的测量标记,按上述方法分别映射每一段,并将各段连接。
8.根据权利要求1所述的一种二维医学影像的三维联动式测量方法,其特征在于,所述S70的具体步骤包括:当用户调整某个测量标记在二维切面上的坐标时,将该标记所在切面的位置和法向量信息与新坐标合并,重新计算该标记在三维空间中的对应位置和方向,并实时更新三维视图中标记的显示;如果该测量标记跨越多切面,确定被调整的切面段,并根据该切面信息更新该段在三维空间的几何信息,最后将更新后的线段与其他切面上的线段连接。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,所述程序指令运行时,用于执行权利要求1-8任一项所述的一种二维医学影像的三维联动式测量方法。
10.一种二维医学影像的三维联动式测量系统,其特征在于,包含权利要求9所述的计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410369987.8A CN117974647B (zh) | 2024-03-29 | 2024-03-29 | 一种二维医学影像的三维联动式测量方法、介质及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410369987.8A CN117974647B (zh) | 2024-03-29 | 2024-03-29 | 一种二维医学影像的三维联动式测量方法、介质及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117974647A CN117974647A (zh) | 2024-05-03 |
CN117974647B true CN117974647B (zh) | 2024-06-07 |
Family
ID=90863003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410369987.8A Active CN117974647B (zh) | 2024-03-29 | 2024-03-29 | 一种二维医学影像的三维联动式测量方法、介质及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117974647B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111588467A (zh) * | 2020-07-24 | 2020-08-28 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 |
CN112509076A (zh) * | 2020-11-23 | 2021-03-16 | 西安科锐盛创新科技有限公司 | 基于智慧医疗的颅内血管病灶标记与三维显示系统 |
CN114145846A (zh) * | 2021-12-06 | 2022-03-08 | 北京理工大学 | 基于增强现实辅助的手术导航方法及系统 |
CN114418992A (zh) * | 2022-01-19 | 2022-04-29 | 安徽大学 | 一种交互式2d与3d医学图像配准参数自动生成方法 |
CN115115772A (zh) * | 2022-04-13 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 基于三维影像的关键结构重建方法、装置和计算机设备 |
CN117036876A (zh) * | 2023-07-16 | 2023-11-10 | 西北工业大学 | 一种基于三维视角对齐的可泛化目标重识别模型构建方法 |
CN117611542A (zh) * | 2023-11-23 | 2024-02-27 | 上海慈卫信息技术有限公司 | 一种基于胎儿宫内颅脑影像检测方法及系统 |
-
2024
- 2024-03-29 CN CN202410369987.8A patent/CN117974647B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111588467A (zh) * | 2020-07-24 | 2020-08-28 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 |
CN112509076A (zh) * | 2020-11-23 | 2021-03-16 | 西安科锐盛创新科技有限公司 | 基于智慧医疗的颅内血管病灶标记与三维显示系统 |
CN114145846A (zh) * | 2021-12-06 | 2022-03-08 | 北京理工大学 | 基于增强现实辅助的手术导航方法及系统 |
CN114418992A (zh) * | 2022-01-19 | 2022-04-29 | 安徽大学 | 一种交互式2d与3d医学图像配准参数自动生成方法 |
CN115115772A (zh) * | 2022-04-13 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 基于三维影像的关键结构重建方法、装置和计算机设备 |
CN117036876A (zh) * | 2023-07-16 | 2023-11-10 | 西北工业大学 | 一种基于三维视角对齐的可泛化目标重识别模型构建方法 |
CN117611542A (zh) * | 2023-11-23 | 2024-02-27 | 上海慈卫信息技术有限公司 | 一种基于胎儿宫内颅脑影像检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
"基于云计算的医学影像处理与3D打印平台";张嘉伟 等;《软件》;20191231;第115-127页 * |
"面向医学知识图谱的可视化方法设计与实现";杨云飞 等;《中文信息学报》;20220228;第40-48页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117974647A (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Kiraly et al. | Three-dimensional human airway segmentation methods for clinical virtual bronchoscopy | |
US8077948B2 (en) | Method for editing 3D image segmentation maps | |
Khan et al. | A methodological review of 3D reconstruction techniques in tomographic imaging | |
US7684602B2 (en) | Method and system for local visualization for tubular structures | |
CN111563523A (zh) | 利用机器训练的异常检测的copd分类 | |
US11727086B2 (en) | Multimodality image processing techniques for training image data generation and usage thereof for developing mono-modality image inferencing models | |
CN109191510B (zh) | 一种病理切片的3d重建方法及其装置 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN113272869A (zh) | 医学成像中从定位片进行三维形状重构 | |
US11978137B2 (en) | Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks | |
US20210065388A1 (en) | Registering a two-dimensional image with a three-dimensional image | |
CN117314985A (zh) | 一种图像配准方法、装置、设备和介质 | |
EP3989172A1 (en) | Method for use in generating a computer-based visualization of 3d medical image data | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
US20060103678A1 (en) | Method and system for interactive visualization of locally oriented structures | |
CN117974647B (zh) | 一种二维医学影像的三维联动式测量方法、介质及系统 | |
CN116958217A (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
WO2006055031A2 (en) | Method and system for local visualization for tubular structures | |
JP2005525863A (ja) | 医療用データの統合された視覚化用の医療用視検システム及び画像処理 | |
Swift et al. | Automatic axis generation for 3D virtual-bronchoscopic image assessment | |
EP4401040A1 (en) | Medical image rendering technique | |
EP4216160A1 (en) | Methods and systems for real-time image 3d segmentation regularization | |
Höller et al. | Fiber visualization with LIC maps using multidirectional anisotropic glyph samples | |
US20240249414A1 (en) | 3d interactive annotation using projected views |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |