CN116309591B - 一种医学影像3d关键点检测方法、模型训练方法及装置 - Google Patents
一种医学影像3d关键点检测方法、模型训练方法及装置 Download PDFInfo
- Publication number
- CN116309591B CN116309591B CN202310579070.6A CN202310579070A CN116309591B CN 116309591 B CN116309591 B CN 116309591B CN 202310579070 A CN202310579070 A CN 202310579070A CN 116309591 B CN116309591 B CN 116309591B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- medical image
- detected
- standard
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005520 cutting process Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 68
- 238000009826 distribution Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 24
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 210000002303 tibia Anatomy 0.000 description 8
- 210000000629 knee joint Anatomy 0.000 description 6
- 210000004417 patella Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
本发明公开了一种医学影像3D关键点检测方法、模型训练方法及装置。具体实现为:获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像;从第一待检测标准体位医学影像全图提取3D关键点的第一坐标信息;从所述第二待检测标准体位医学影像裁剪出局部三维图像块和局部三维特征拼接构成拼接待检测图像;从拼接待检测图像获得3D关键点的精确定位预测结果。本方案基于由粗到精的设计思路,两阶段检测方法,有效减少了系统一次性处理图像大小和网络模型参数量体量。能够在占用相对较少的运算资源的情况,进行医学影像中3D关键点的精确预测。
Description
技术领域
本发明申请涉及图像识别技术领域,尤其涉及3D关键点检测的方法。
背景技术
医学影像的关键点提取是一种重要的计算机视觉技术,可以用于分析医学影像中的关键结构和特征,例如肿瘤、骨骼、心脏等。关键点提取通常涉及到在图像中找到一些标志性的点或区域,这些点或区域可以作为后续分析的基础。
现有技术中对于医院影像采用直接3D关键点提取模型,由于受GPU显存限制,输入图像大小和网络模型参数量受限,会导致最终输出的3D关键点误差较大,因此容易出现定位不准影响测量精度的问题。
发明内容
本发明是为了克服现有技术中的上述不足之处,提供一种医学影像3D关键点检测方法、模型训练方法及装置,通过两阶段模型实现高精度3D关键点定位,并利用迭代训练提升模型精度。
为实现上述目的,本发明采用以下技术方案。
本申请提供一种医学影像3D关键点检测方法,包括:
对待检测三维医学影像进行预处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像;
将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息;
以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息;
根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像;
将所述拼接待检测图像输入第二3D关键点提取模型,获得3D关键点的精确定位预测结果。
本申请同时提供一种模型训练方法,所述模型用于检测三维医学影像中的3D关键点,所述方法包括:
获取多个第一训练样本,所述第一训练样本包括训练三维医学影像和3D关键点第一坐标金标准值;
将所述多个第一训练样本中的训练三维医学影像输入至第一3D关键点提取模型,得到所述N个3D关键点的N个第一3D热力分布图;其中,每一第一3D热力分布图表征所述3D关键点在预设空间中的高斯分布,N为正整数;
基于所述N个第一3D热力分布图,确定所述3D关键点的第一坐标信息;
确定所述N个3D关键点的第一坐标信息与所述3D关键点第一坐标金标准值的差异信息;
基于所述差异信息更新所述第一3D关键点提取模型。
本申请同时提供另一种模型训练方法,所述模型用于检测三维医学影像中的3D关键点,所述方法包括:
获取多个第一训练样本,所述第一训练样本包括训练三维医学影像和3D关键点第一坐标金标准值;
基于所述第一训练样本制作第二训练样本,所述第二训练样本包括根据训练三维医学影像对应的训练用拼接图像、基于标准三维空间坐标系下的3D关键点第二坐标金标准值、关键点的类别标签;所述训练用拼接图像包含3D关键点位置的局部三维图像块和对应的三维位置特征信息,所述类别是指3D关键点所属于的医学解剖结构点类别;
将训练用拼接图像输入至第二3D关键点提取模型,得到所述3D关键点的第二3D热力分布图和预测的关键点类别;其中,第二3D热力分布图表征所述输入3D关键点在预设空间中的高斯分布;
基于所述第二3D热力分布图,确定所述3D关键点的第二坐标信息;
确定所述3D关键点的第二坐标信息与所述3D关键点第二坐标金标准值的差异信息;根据预测的关键点类别与关键点类别标签的差异计算交叉熵损失;
基于所述差异信息和交叉熵损失更新所述第二3D关键点提取模型;
每更新M次迭代后,根据第二3D关键点提取模型预测的3D关键点坐标信息重新制作成第二训练样本库,并迭代训练。
本申请同时提供一种医学影像3D关键点检测装置,基于所述装置能够实现上述医学影像3D关键点检测方法,所述装置包括图像预处理提取模块、第一关键定检测模块、三维特征处理模块、拼接模块、第二关键点检测模块。
本申请还提供一种医学影像3D关键点检测装置,包括:
图像预处理提取模块,用于对待检测三维医学影像进行插值处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像;
第一关键点检测模块,用于将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息;
三维特征处理模块,用于以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息;
拼接模块,用于根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像;
第二关键点检测模块,用于将所述拼接待检测图像输入第二3D关键点提取模型,获得3D关键点的精确定位预测结果。
本申请的技术方案通过低分辨率全图检测初步确定3D关键点,再通过局部高分辨率图像与距离特征拼接进行最终3D关键点精确预测。基于由粗到精的设计思路,两阶段检测方法,有效减少了系统一次性处理图像大小和网络模型参数量体量。能够在占用相对较少的运算资源的情况,进行医学影像中3D关键点的精确预测。
附图说明
图1为本发明的实施例一的医学影像3D关键点检测方法的流程图。
图2为本发明的实施例一的具体示例的流程图。
图3为本发明的实施例一的具体示例的第二3D关键点提取模型的训练方法示意图。
图4为本发明的实施例二的一种模型训练方法的流程图。
图5为本发明的实施例三的一种模型训练方法的流程图。
图6为本发明的实施例四的一种医学影像3D关键点检测装置的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步描述。
实施例一
如图1所示,本申请实施例提供一种医学影像3D关键点检测方法,所述方法具体包括以下步骤:
步骤S1,对待检测三维医学影像进行预处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像。
步骤S2,将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息。
步骤S3,以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息。
步骤S4,根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像。
所述的拼接待检测图像作为局部三维图像块和局部三维特征块两种信息的拼接,包含局部的三维图像内容,具有能够被关键点提取模型识别的每个体素的图像信息,同时包含标识体素空间位置的三维位置特征信息(每个体素相对于标准三维空间坐标系原点的坐标和距离)。
步骤S5,将所述拼接待检测图像输入至第二3D关键点提取模型,获得3D关键点的精确定位预测结果。
在医学图像处理中,空间分辨率通常由扫描设备和扫描参数决定。例如,CT 扫描中,体素大小通常介于0.5mm到2mm之间,MRI扫描中,体素大小通常介于1mm到3mm之间。
本申请步骤S1中对于医学图像是将其提取为低空间分辨率的第一待检测标准体位医学影像和高分辨率的第二待检测标准体位医学影像,进行分阶段处理。所述第一待检测标准体位医学影像的空间分辨率为128x128x128,第二待检测标准体位医学影像的预设物理分辨率为0.8mmx0.8mmx0.8mm或0.5mmx0.5mmx0.5mm。
首先通过第一待检测标准体位医学影像进行低分辨率的全图检测,确定3D关键点位置的初步信息。
再利用所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像进行二阶段检测,由于拼接待检测图像只在3D关键点位置处具有局部三维图像块,并且通过局部三维特征来表示局部三维图像块中各个体素点在整个标准三维空间坐标系的空间位置,而省略掉了其他与3D关键点无关的图像数据,因此需要的算力资源相比全图预测大大降低。这里主要是针对N个3D关键点位置的64x64x64尺寸大小的0.8mmx0.8mmx0.8mm或0.5mmx0.5mmx0.5mm分辨率图像进行精确识别。所以此时的运算量仅限于N个64x64x64尺寸大小的0.8mmx0.8mmx0.8mm分辨率图像。相比于高分辨率全图检测,对于GPU和显存资源占用大大减小,从而显著提升检测精度。
具体的,所述步骤S1中,进一步包括:
步骤S101,根据影像扫描参数中的人体摆放方位、扫描方向、起始坐标信息,将医学影像矫正到标准LPS坐标体系。
步骤S102,截取固定的窗宽窗位,将矫正后的医学影像通过双线性插值到预设控制分辨率,获得第一待检测标准体位医学影像。
步骤S103,将矫正后的医学影像通过双线性插值到预设体素物理分辨率,获得第二待检测标准体位医学影像。
预处理后提取的第一待检测标准体位医学影像和第二待检测标准体位医学影像存在空间尺度放缩关系。
第一待检测标准体位医学影像具备更低的空间分辨率因此数据量较小,第二待检测标准体位医学影像的物理分辨率更高,结构表现更为精确清晰。第一待检测标准体位医学影像和第二待检测标准体位医学影像存在空间尺度放缩关系,在统一的标准三维空间坐标系中,两者包含的三维结构特征、结构位置关系以及关键点空间坐标均是相互对应的放缩关系,因此,可以在第一待检测标准体位医学影像上获得初步的3D关键点预测的坐标信息,再根据预测的坐标信息转换至第二待检测标准体位医学影像中,以剪裁局部三维图像块进行更为精确的3D关键点预测。
上述步骤S101至S102是为了将影像进行标准坐标体系的校准,通过插值处理,制作全图的低空间分辨率的第一待检测标准体位医学影像,第一待检测标准体位医学影像由于空间分辨率远小于原影像较小,因此在进行初步的3D关键点检测中运算量小,占用较少的显存等计算资源,并且能够较为高效快速的进行3D关键点的预测。
而对于第二待检测标准体位医学影像的制作,通常则不需要全图处理,在较为优化的方案中,可以根据步骤S3中3D关键点的第二坐标信息以及步骤S4中局部三维图像块的裁剪需求进行制作。
具体的,步骤S2中,所述所述将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,获取N个关键解剖位置的3D关键点和3D关键点的第一坐标信息,包括:
步骤S201,将第一待检测标准体位医学影像输入至第一3D关键点提取模型,得到所述的第一待检测标准体位医学影像的N个关键解剖位置的3D关键点的N个第一3D热力分布图;其中,每一个第一3D热力分布图表征所述3D关键点在预设空间中的高斯分布,N为正整数。
步骤S202,将所述N个第一3D热力分布图中的三维极值点确定为所述3D关键点的第一坐标信息,确定所述第一待检测标准体位医学影像的N个所述3D关键点的第一坐标信息。
3D热力分布图可以表征一个3D关键点在相对空间中的分布,比如,针对膝关节图像数据中髌骨下缘点对应的关键点,该关键点的3D热力分布图在相对空间中处于中下方位置的分布可能性比较大,则在该位置的颜色可以相对其他位置的颜色深,而其他位置的分布可能性相对比较小,颜色相对比较浅。
所述N可以预先定义,作为关键点提取模型的参数,在硬件要求和资源允许的前提下,其可以输出医学解剖位置的任意数量的3D关键点的3D热力分布图,比如N为16,即输出16个3D关键点的3D热力分布图。
另外N个人体3D关键点在医学图像数据的具体位置也可以预先定义,如N个人体3D关键点在膝关节的医学影像中可以有胫骨平台前缘点、胫骨平台后缘点、胫骨平台左端点、胫骨平台右端点、髌骨上缘点、髌骨下缘点等。
本申请中根据3D热力分布图确定3D关键点的技术方案,能够避免现有技术中的学习模型采用2D坐标结合深度信息分别输出的方式所引起的较大检测误差。
具体的,所述步骤S3中,所述所述以以至少三个3D关键点作为参考系,重建标准三维空间坐标系,进一步包括:
步骤301,以至少三个3D关键点作为参考系,选择所述的关键解剖位置的至少三个3D关键点的第一坐标信息,组成两条相交直线。
步骤302,根据所述相交直线确定第一2D平面,在2D平面中选择一个点坐标作为原点,在第一2D平面沿原点做两条互相垂直的直线分别表示X轴、Y轴,由原点做一条垂直于所述第一2D平面的法向量作为Z轴,由X、Y、Z三个轴组成一个标准三维空间坐标系。
所述步骤步骤301、302,是为了重建标准坐标系,因为每个患者去拍CT时姿势和角度都不一样,会导致每一张医学影像的坐标系不统一,通过重建标准三维空间坐标系,能够统一这种不一致,如都以胫骨平面作为参考系,则选取的至少三个3D关键点可以为胫骨平台前缘点、胫骨平台后缘点、胫骨平台左端点。
具体的,所述步骤3中,计算第二检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息,包括:
步骤S303,根据所述重建的标准三维空间坐标系,采用尺度变换关系和距离变换公式,计算第二待检测标准体位医学影像中每个体素点的三维距离变换特征图。
所述的三维距离变换特征图表示第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系中原点的三坐标信息和距离信息。
具体的,所述的所述第一3D关键点提取模型,采用U型全卷积神经网络,输入为单通道三维图像,输出为N个通道的第一3D热力分布图,所述第一3D热力分布图中的三维极值点确定为所述3D关键点的坐标信息。
具体的,所述第二3D关键点提取模型,包括特征提取模块、分类模块、回归模块三部分:
特征提取模块,以卷积神经网络堆叠而成,其输入为所述拼接待检测图像,输出为提取的三维特征。
分类模块,为多层MLP网络,输入为特征提取模块输出的三维特征,输出为3D关键点的类别。
回归模块,为以卷积神经网络堆叠而成的特征解码模块,输入特征提取模块输出的三维特征,输出为单通道第二3D热力分布图。
所述第二3D热力分布图中的三维极值点确定为3D关键点的精确定位预测结果。
如图2所示,是以人体膝盖关节的影像为例的,本实施例的技术方案的具体应用示例图。本示例中以膝盖关节中的髌骨上端点为例,剪裁了该位置的局部三维图像块结合局部三维特征。如图3是同为人体膝盖关节的影像作为样本的第二3D关键点提取模型的迭代训练方法示意图。
实施例二
如图4所示,本实施例提供一种模型训练方法,所述模型是基于3D热力分布图用于检测三维医学影像中的3D关键点,所述方法具体包括:
步骤S601,获取多个第一训练样本,所述第一训练样本包括训练三维医学影像和3D关键点第一坐标金标准值。
步骤S602,将所述多个第一训练样本中的训练三维医学影像输入至第一3D关键点提取模型,得到所述N个3D关键点的N个第一3D热力分布图;其中,每一第一3D热力分布图表征所述3D关键点在预设空间中的高斯分布,N为正整数。
步骤S603,基于所述N个第一3D热力分布图,确定所述3D关键点的第一坐标信息。
步骤S604,确定所述N个3D关键点的第一坐标信息与所述3D关键点第一坐标金标准值的差异信息。
步骤S605,基于所述差异信息更新所述第一3D关键点提取模型。
所述的3D关键点第一坐标金标准值是指本模型训练的监督信息。将所述3D关键点的第一坐标信息与所述3D关键点第一坐标金标准值的差异信息回传至关键点提取模型,以更新关键点提取模型中的参数,直至基于关键点提取模型输出的3D热力分布图所确定的3D关键点的坐标信息与其坐标金标准值的差异信息达到收敛或达到最小,此时,关键点提取模型则训练完成。通过本实施例中的训练方法,可以训练实施例一种的第一3D关键点提取模型。
实施例三
如图5所示,本实施例提供一种模型训练方法,其特征是,所述模型用于检测三维医学影像中的3D关键点,包括:
步骤701,获取多个第一训练样本,所述第一训练样本包括训练三维医学影像和3D关键点第一坐标金标准值。
步骤702,基于所述第一训练样本制作第二训练样本,所述第二训练样本包括根据训练三维医学影像对应的训练用拼接图像、基于标准三维空间坐标系下的3D关键点第二坐标金标准值、关键点的类别标签。
所述训练用拼接图像包含3D关键点位置的局部三维图像块和对应的三维位置特征信息,具体的,所述制作第二训练样本,进一步包括:
步骤801,根据至少三个所述3D关键点的第一坐标金标准值,重建标准三维空间坐标系,获得标准三维空间坐标系下的3D关键点第二坐标金标准值;
步骤802,计算训练三维医学影像中的每一个体素点相对于标准三维空间坐标系的三维距离变换特征图,所述的三维距离变换特征图包含训练三维医学影像中每一个体素点相对标准三维空间坐标系中原点的坐标信息和距离信息;
步骤803,根据所述3D关键点的第二坐标金标准值,从所述训练三维医学影像中裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述三维距离变换特征图中裁剪出相对应的局部三维特征作为对应局部三维图像块的三维位置特征信息,将所述的局部三维图像块与局部三维特征拼接构成训练用拼接图像。
步骤703,将训练用拼接图像输入至第二3D关键点提取模型,得到所述3D关键点的第二3D热力分布图和预测的关键点类别;其中,第二3D热力分布图表征所述输入3D关键点在预设空间中的高斯分布。
步骤704,基于所述第二3D热力分布图,确定所述3D关键点的第二坐标信息。
步骤705,确定所述3D关键点的第二坐标信息与所述3D关键点第二坐标金标准值的差异信息;根据预测的关键点类别与关键点类别标签的差异计算交叉熵损失。
步骤706,基于所述差异信息和交叉熵损失更新所述第二3D关键点提取模型。
步骤707,每更新M次迭代后,根据第二3D关键点提取模型预测的3D关键点坐标信息重新制作成第二训练样本库,并迭代训练。
所述的模型包括特征提取模块、分类模块、回归模块:
特征提取模块,以卷积神经网络堆叠而成,其输入为所述拼接待检测图像,输出为提取的三维特征。
分类模块,为多层MLP网络,输入为特征提取模块输出的三维特征,输出为3D关键点的类别。
回归模块,为以卷积神经网络堆叠而成的特征解码模块,输入特征提取模块输出的三维特征,输出为单通道第二3D热力分布图。
所述第二3D热力分布图中的三维极值点确定为3D关键点的精确定位预测结果。
所述关键点的类别标签和模型所预测的关键点类别中类别的含义是指3D关键点所属于的医学解剖结构点类别。比如膝关节,有胫骨平台前缘点、胫骨平台后缘点、胫骨平台左端点、胫骨平台右端点、髌骨上缘点、髌骨下缘点等结构点。是通过模型中的分类模块,基于特征提取模块输出的三维特征进行识别分类的。
本实施例中的模型训练方法,能够和实施例三中的模型训练方法组合,通过两阶段模型实现高精度3D关键点定位并利用迭代训练提升模型精度。通过本实施例中的训练方法,可以训练实施例一种的第二3D关键点提取模型。
本实施例中的模型训练方法,还会在每更新M次迭代后,根据第二3D关键点提取模型预测的3D关键点坐标信息重新制作成第二训练样本库,并迭代训练。
实施例四
如图6所示,本实施例提供一种医学影像3D关键点检测装置,所述装置包括:
图像预处理提取模块1,用于对待检测三维医学影像进行插值处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像。
第一关键点检测模块2,用于将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息。
三维特征处理模块3,用于以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息。
拼接模块4,用于根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像。
第二关键点检测模块5,用于将所述拼接待检测图像输入第二3D关键点提取模型,获得3D关键点的精确定位预测结果。
基于本实施例提供的所述装置能够实现实施例一中的医学影像3D关键点检测方法,且能够达到相同的有益效果,为避免重复,这里不再赘述。
Claims (5)
1.一种医学影像3D关键点检测方法,其特征是,包括:
对待检测三维医学影像进行预处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像;
将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息;
所述的所述第一3D关键点提取模型,采用U型全卷积神经网络,输入为单通道三维图像,输出为N个通道的第一3D热力分布图,所述第一3D热力分布图中的三维极值点确定为所述3D关键点的坐标信息;
以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息;
所述以至少三个3D关键点作为参考系,重建标准三维空间坐标系,包括:
以至少三个3D关键点作为参考系,选择所述的关键解剖位置的至少三个3D关键点的第一坐标信息,组成两条相交直线,
根据所述相交直线确定第一2D平面,在2D平面中选择一个点坐标作为原点,在第一2D平面沿原点做两条互相垂直的直线分别表示X轴、Y轴,由原点做一条垂直于所述第一2D平面的法向量作为Z轴,由X、Y、Z三个轴组成一个标准三维空间坐标系;
所述计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息,包括:
根据所述重建的标准三维空间坐标系,采用尺度变换关系和距离变换公式,计算第二待检测标准体位医学影像中每个体素点的三维距离变换特征图,所述的三维距离变换特征图表示第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系中原点的三坐标信息和距离信息;
根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像;
将所述拼接待检测图像输入第二3D关键点提取模型,获得3D关键点的精确定位预测结果;
所述第二3D关键点提取模型,包括特征提取模块、分类模块、回归模块:
特征提取模块,以卷积神经网络堆叠而成,其输入为所述拼接待检测图像,输出为提取的三维特征;
分类模块,为多层MLP网络,输入为特征提取模块输出的三维特征,输出为3D关键点的类别;
回归模块,为以卷积神经网络堆叠而成的特征解码模块,输入特征提取模块输出的三维特征,输出为单通道第二3D热力分布图;
所述第二3D热力分布图中的三维极值点确定为3D关键点的精确定位预测结果。
2.根据权利要求1所述的一种医学影像3D关键点检测方法,其特征是,所述对待检测三维医学影像进行预处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像,包括:
根据影像扫描参数中的人体摆放方位、扫描方向、起始坐标信息,将医学影像矫正到标准LPS坐标体系;
截取固定的窗宽窗位,将矫正后的医学影像通过双线性插值到预设的空间分辨率,获得第一待检测标准体位医学影像;
将矫正后的医学影像通过双线性插值到预设物理分辨率,获得第二待检测标准体位医学影像;
所述的预处理后提取的第一待检测标准体位医学影像和第二待检测标准体位医学影像存在空间尺度放缩关系。
3.根据权利要求1所述的一种医学影像3D关键点检测方法,其特征是,所述将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,获取N个关键解剖位置的3D关键点和3D关键点的第一坐标信息,包括:
将第一待检测标准体位医学影像全图输入至第一3D关键点提取模型,得到所述的第一待检测标准体位医学影像的N个关键解剖位置的3D关键点的N个第一3D热力分布图;其中,每一个第一3D热力分布图表征所述3D关键点在预设空间中的高斯分布,N为正整数;
将所述N个第一3D热力分布图中的三维极值点确定为所述3D关键点的第一坐标信息,确定所述第一待检测标准体位医学影像的N个所述3D关键点的第一坐标信息。
4.一种模型训练方法,其特征是,所述模型用于检测三维医学影像中的3D关键点,所述方法包括:
获取多个第一训练样本,所述第一训练样本包括训练三维医学影像和3D关键点第一坐标金标准值;
基于所述第一训练样本制作第二训练样本,所述第二训练样本包括根据训练三维医学影像对应的训练用拼接图像、基于标准三维空间坐标系下的3D关键点第二坐标金标准值、关键点的类别标签;所述训练用拼接图像包含3D关键点位置的局部三维图像块和对应的三维位置特征信息,所述类别是指3D关键点所属于的医学解剖结构点类别;
将训练用拼接图像输入至第二3D关键点提取模型,得到所述3D关键点的第二3D热力分布图和预测的关键点类别;其中,第二3D热力分布图表征所述输入3D关键点在预设空间中的高斯分布;
基于所述第二3D热力分布图,确定所述3D关键点的第二坐标信息;
确定所述3D关键点的第二坐标信息与所述3D关键点第二坐标金标准值的差异信息;根据预测的关键点类别与关键点类别标签的差异计算交叉熵损失;
基于所述差异信息和交叉熵损失更新所述第二3D关键点提取模型;
每更新M次迭代后,根据第二3D关键点提取模型预测的3D关键点坐标信息重新制作成第二训练样本库,并迭代训练;
所述制作第二训练样本,进一步包括:
根据至少三个所述3D关键点的第一坐标金标准值,重建标准三维空间坐标系,获得标准三维空间坐标系下的3D关键点第二坐标金标准值;
计算训练三维医学影像中的每一个体素点相对于标准三维空间坐标系的三维距离变换特征图,所述的三维距离变换特征图包含训练三维医学影像中每一个体素点相对标准三维空间坐标系中原点的坐标信息和距离信息;
根据所述3D关键点的第二坐标金标准值,从所述训练三维医学影像中裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述三维距离变换特征图中裁剪出相对应的局部三维特征作为对应局部三维图像块的三维位置特征信息,将所述的局部三维图像块与局部三维特征拼接构成训练用拼接图像。
5.一种医学影像3D关键点检测装置,其特征是,包括:
图像预处理提取模块,用于对待检测三维医学影像进行插值处理,获得低空间分辨率的第一待检测标准体位医学影像和预设物理分辨率的第二待检测标准体位医学影像;
第一关键点检测模块,用于将第一待检测标准体位医学影像全图输入第一3D关键点提取模型,提取N个关键解剖位置的3D关键点和所述3D关键点的第一坐标信息;
所述的所述第一3D关键点提取模型,采用U型全卷积神经网络,输入为单通道三维图像,输出为N个通道的第一3D热力分布图,所述第一3D热力分布图中的三维极值点确定为所述3D关键点的坐标信息;
三维特征处理模块,用于以至少三个3D关键点作为参考系,重建标准三维空间坐标系,通过坐标变换获得3D关键点在标准三维空间坐标系中的第二坐标信息;计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息;
所述以至少三个3D关键点作为参考系,重建标准三维空间坐标系,包括:
以至少三个3D关键点作为参考系,选择所述的关键解剖位置的至少三个3D关键点的第一坐标信息,组成两条相交直线,
根据所述相交直线确定第一2D平面,在2D平面中选择一个点坐标作为原点,在第一2D平面沿原点做两条互相垂直的直线分别表示X轴、Y轴,由原点做一条垂直于所述第一2D平面的法向量作为Z轴,由X、Y、Z三个轴组成一个标准三维空间坐标系;
所述计算第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系的三维位置特征信息,包括:
根据所述重建的标准三维空间坐标系,采用尺度变换关系和距离变换公式,计算第二待检测标准体位医学影像中每个体素点的三维距离变换特征图,所述的三维距离变换特征图表示第二待检测标准体位医学影像中的每一个体素点相对于标准三维空间坐标系中原点的三坐标信息和距离信息;
拼接模块,用于根据所述3D关键点的第二坐标信息,从所述第二待检测标准体位医学影像裁剪出3D关键点位置固定尺寸大小的局部三维图像块,并从所述的三维位置特征信息中裁剪出3D关键点位置固定尺寸大小的局部三维特征,将所述的局部三维图像块与局部三维特征对应拼接构成拼接待检测图像;
第二关键点检测模块,用于将所述拼接待检测图像输入第二3D关键点提取模型,获得3D关键点的精确定位预测结果。
所述第二3D关键点提取模型,包括特征提取模块、分类模块、回归模块:
特征提取模块,以卷积神经网络堆叠而成,其输入为所述拼接待检测图像,输出为提取的三维特征;
分类模块,为多层MLP网络,输入为特征提取模块输出的三维特征,输出为3D关键点的类别;
回归模块,为以卷积神经网络堆叠而成的特征解码模块,输入特征提取模块输出的三维特征,输出为单通道第二3D热力分布图;
所述第二3D热力分布图中的三维极值点确定为3D关键点的精确定位预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579070.6A CN116309591B (zh) | 2023-05-19 | 2023-05-19 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579070.6A CN116309591B (zh) | 2023-05-19 | 2023-05-19 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309591A CN116309591A (zh) | 2023-06-23 |
CN116309591B true CN116309591B (zh) | 2023-08-25 |
Family
ID=86815317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310579070.6A Active CN116309591B (zh) | 2023-05-19 | 2023-05-19 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309591B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897675A (zh) * | 2017-01-24 | 2017-06-27 | 上海交通大学 | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 |
CN109166133A (zh) * | 2018-07-14 | 2019-01-08 | 西北大学 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
CN111862047A (zh) * | 2020-07-22 | 2020-10-30 | 杭州健培科技有限公司 | 一种级联的医学影像关键点检测方法及装置 |
CN112270669A (zh) * | 2020-11-09 | 2021-01-26 | 北京百度网讯科技有限公司 | 人体3d关键点检测方法、模型训练方法及相关装置 |
WO2021057810A1 (zh) * | 2019-09-29 | 2021-04-01 | 深圳数字生命研究院 | 数据处理、训练、识别方法、装置和存储介质 |
WO2021103648A1 (zh) * | 2019-11-29 | 2021-06-03 | 百果园技术(新加坡)有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
CN113393446A (zh) * | 2021-06-21 | 2021-09-14 | 湖南大学 | 基于注意力机制的卷积神经网络医学图像关键点检测方法 |
CN113450328A (zh) * | 2021-06-29 | 2021-09-28 | 汕头大学 | 基于改进神经网络的医学图像关键点检测方法及系统 |
WO2022037548A1 (zh) * | 2020-08-17 | 2022-02-24 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
CN114119539A (zh) * | 2021-11-24 | 2022-03-01 | 江苏集萃智能光电系统研究所有限公司 | 一种基于关键点检测的弓网运行状况在线检测方法 |
WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
WO2022073761A1 (en) * | 2020-10-06 | 2022-04-14 | Koninklijke Philips N.V. | Object keypoint detection |
WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
WO2022089391A1 (zh) * | 2020-10-28 | 2022-05-05 | 百果园技术(新加坡)有限公司 | 模型训练方法、人体姿态检测方法、装置、设备及存储介质 |
WO2022124705A1 (ko) * | 2020-12-11 | 2022-06-16 | 가천대학교 산학협력단 | 의료 영상 기반 홀로그램 제공 장치 및 방법 |
CN114943682A (zh) * | 2022-02-25 | 2022-08-26 | 清华大学 | 三维血管造影图像中解剖学关键点的检测方法和装置 |
CN115131487A (zh) * | 2022-07-22 | 2022-09-30 | 苏州微创畅行机器人有限公司 | 医学影像处理方法、系统、计算机设备、存储介质 |
-
2023
- 2023-05-19 CN CN202310579070.6A patent/CN116309591B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897675A (zh) * | 2017-01-24 | 2017-06-27 | 上海交通大学 | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 |
CN109166133A (zh) * | 2018-07-14 | 2019-01-08 | 西北大学 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
WO2021057810A1 (zh) * | 2019-09-29 | 2021-04-01 | 深圳数字生命研究院 | 数据处理、训练、识别方法、装置和存储介质 |
WO2021103648A1 (zh) * | 2019-11-29 | 2021-06-03 | 百果园技术(新加坡)有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
CN111862047A (zh) * | 2020-07-22 | 2020-10-30 | 杭州健培科技有限公司 | 一种级联的医学影像关键点检测方法及装置 |
WO2022037548A1 (zh) * | 2020-08-17 | 2022-02-24 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
WO2022073761A1 (en) * | 2020-10-06 | 2022-04-14 | Koninklijke Philips N.V. | Object keypoint detection |
WO2022089391A1 (zh) * | 2020-10-28 | 2022-05-05 | 百果园技术(新加坡)有限公司 | 模型训练方法、人体姿态检测方法、装置、设备及存储介质 |
WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
CN112270669A (zh) * | 2020-11-09 | 2021-01-26 | 北京百度网讯科技有限公司 | 人体3d关键点检测方法、模型训练方法及相关装置 |
WO2022124705A1 (ko) * | 2020-12-11 | 2022-06-16 | 가천대학교 산학협력단 | 의료 영상 기반 홀로그램 제공 장치 및 방법 |
CN113393446A (zh) * | 2021-06-21 | 2021-09-14 | 湖南大学 | 基于注意力机制的卷积神经网络医学图像关键点检测方法 |
CN113450328A (zh) * | 2021-06-29 | 2021-09-28 | 汕头大学 | 基于改进神经网络的医学图像关键点检测方法及系统 |
CN114119539A (zh) * | 2021-11-24 | 2022-03-01 | 江苏集萃智能光电系统研究所有限公司 | 一种基于关键点检测的弓网运行状况在线检测方法 |
CN114943682A (zh) * | 2022-02-25 | 2022-08-26 | 清华大学 | 三维血管造影图像中解剖学关键点的检测方法和装置 |
CN115131487A (zh) * | 2022-07-22 | 2022-09-30 | 苏州微创畅行机器人有限公司 | 医学影像处理方法、系统、计算机设备、存储介质 |
Non-Patent Citations (1)
Title |
---|
基于级联卷积神经网络的人脸关键点定位;陈锐;林达;;四川理工学院学报(自然科学版)(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116309591A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108399649B (zh) | 一种基于级联回归网络的单张图片三维人脸重建方法 | |
CN111462120A (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
DE112006003380T5 (de) | Verfahren und Vorrichtung für die Positionsabgleichung von dreidimensionalen Formdaten | |
CN111223133A (zh) | 一种异源图像的配准方法 | |
CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及系统 | |
CN108053370A (zh) | 一种基于匹配误差抑制的成像坐标校正方法 | |
CN112102294A (zh) | 生成对抗网络的训练方法及装置、图像配准方法及装置 | |
CN113284170A (zh) | 一种点云快速配准方法 | |
CN115330934A (zh) | 一种工件三维形状重建方法、系统、终端及介质 | |
CN116309591B (zh) | 一种医学影像3d关键点检测方法、模型训练方法及装置 | |
Zhu et al. | Triangulation of well-defined points as a constraint for reliable image matching | |
CN117237681A (zh) | 图像处理方法、装置及相关设备 | |
CN114926536B (zh) | 一种基于语义的定位与建图方法、系统及智能机器人 | |
Huang et al. | Robust fundamental matrix estimation with accurate outlier detection | |
CN114399547B (zh) | 一种基于多帧的单目slam鲁棒初始化方法 | |
CN110084887B (zh) | 一种空间非合作目标相对导航模型三维重建方法 | |
CN115035193A (zh) | 一种基于双目视觉与图像分割技术的散装粮随机扦样方法 | |
CN111402256B (zh) | 一种基于模板的三维点云目标检测和姿态估计方法 | |
CN114266879A (zh) | 三维数据增强、模型训练检测方法、设备及自动驾驶车辆 | |
CN114136335A (zh) | 一种基于无人机倾斜摄影测量的空中三角形精度分析方法 | |
CN113593007A (zh) | 一种基于变分自编码的单视图三维点云重建方法及系统 | |
CN113344977A (zh) | 一种基于图像处理的触头压力测量模型构建方法 | |
Yu et al. | Multi-view 2D–3D alignment with hybrid bundle adjustment for visual metrology | |
Rastgar | Robust self-calibration and fundamental matrix estimation in 3D computer vision | |
CN113421270B (zh) | 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |