CN115330753A - 椎骨识别方法、装置、设备及存储介质 - Google Patents

椎骨识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115330753A
CN115330753A CN202211234157.1A CN202211234157A CN115330753A CN 115330753 A CN115330753 A CN 115330753A CN 202211234157 A CN202211234157 A CN 202211234157A CN 115330753 A CN115330753 A CN 115330753A
Authority
CN
China
Prior art keywords
spine
vertebra
image
image data
maximum density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211234157.1A
Other languages
English (en)
Other versions
CN115330753B (zh
Inventor
邓逸风
齐欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bone's Biological Technology Shenzhen Co ltd
Original Assignee
Bone's Biological Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bone's Biological Technology Shenzhen Co ltd filed Critical Bone's Biological Technology Shenzhen Co ltd
Priority to CN202211234157.1A priority Critical patent/CN115330753B/zh
Publication of CN115330753A publication Critical patent/CN115330753A/zh
Application granted granted Critical
Publication of CN115330753B publication Critical patent/CN115330753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域,公开了一种椎骨识别方法、装置、设备及存储介质,用于提高椎骨识别的识别速度和准确率。所述方法包括:对脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;根据切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入椎骨识别和定位模型进行椎骨识别和定位,得到二维高斯热图组;根据二维高斯热图组计算目标三维高斯热图组;对目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。

Description

椎骨识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域,尤其涉及一种椎骨识别方法、装置、设备及存储介质。
背景技术
解剖结构的定位与识别是任何医学影像分析的重要部分。在脊柱相关的诊断和研究中,椎骨的定位和标注尤为重要。比如椎骨的相对位置可以为诊断脊柱侧弯和压缩性骨折等病症提供分析支撑。
现有方案通常是利用深度学习模型进行椎骨识别和定位都是完全基于3D医学影像数据,在实际应用中速度太慢,在实际生产中对于计算资源要求太高,而且计算速度也不尽如人意,即现有方案的识别速度和准确率低。
发明内容
本发明提供了一种椎骨识别方法、装置、设备及存储介质,用于提高椎骨识别的识别速度和准确率。
本发明第一方面提供了一种椎骨识别方法,所述椎骨识别方法包括:获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
可选的,在本发明第一方面的第一种实现方式中,所述椎骨识别方法还包括:获取带有训练标签的多个训练影像数据以及训练模型;分别将所述多个训练影像数据输入所述训练模型进行模型训练,得到每个训练影像数据对应的训练高斯热图;对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果;根据所述损失值计算结果判断所述训练模型是否满足预设训练退出条件;若满足,则将当前的训练模型作为脊柱定位模型并输出。
可选的,在本发明第一方面的第二种实现方式中,所述将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框,包括:将所述目标影像数据输入预置的脊柱定位模型;通过所述脊柱定位模型对所述目标影像数据进行编码和解码操作,得到三维高斯热图;对所述三维高斯热图进行三维矩阵计算,得到高斯热图中心,并根据所述高斯热图中心生成脊柱边界框。
可选的,在本发明第一方面的第三种实现方式中,所述对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,包括:按照预设的重定向规则对所述脊柱影像数据进行重定向,得到重定向影像数据;对所述重定向影像数据进行尺寸标准化处理,得到标准影像数据;对所述标准影像数据进行图像块网格划分,得到脊柱切片图像和多个图像块;根据所述脊柱边界框对所述脊柱切片图像进行矢状位和冠状位的局部最大密度投影,得到局部最大密度投影二维投影图;对所述局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
可选的,在本发明第一方面的第四种实现方式中,所述根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,包括:根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,其中,多个最大密度投影图包括:矢状位投影图和冠状位投影图;分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,其中,所述二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组。
可选的,在本发明第一方面的第五种实现方式中,所述根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组,包括:对每个图像块对应的二维高斯热图组进行叠加,得到叠加高斯热图;对所述叠加高斯热图进行平均值计算,得到所述脊柱影像数据对应的初始高斯热图组,其中,所述初始高斯热图组包括:矢状位高斯热图组和冠状位高斯热图组;对所述初始高斯热图组进行裁剪,得到裁剪后的高斯热图组;对所述裁剪后的高斯热图组进行外积计算,得到所述脊柱影像数据对应的目标三维高斯热图组。
可选的,在本发明第一方面的第六种实现方式中,所述对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标,包括:获取所述目标三维高斯热图组中的多个三维高斯热图;分别将所述多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
本发明第二方面提供了一种椎骨识别装置,所述椎骨识别装置包括:预处理模块,用于获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;特征提取模块,用于将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;划分模块,用于对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;处理模块,用于根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;计算模块,用于根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;生成模块,用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
可选的,在本发明第二方面的第一种实现方式中,所述椎骨识别装置还包括:训练模块,用于获取带有训练标签的多个训练影像数据以及训练模型;分别将所述多个训练影像数据输入所述训练模型进行模型训练,得到每个训练影像数据对应的训练高斯热图;对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果;根据所述损失值计算结果判断所述训练模型是否满足预设训练退出条件;若满足,则将当前的训练模型作为脊柱定位模型并输出。
可选的,在本发明第二方面的第二种实现方式中,所述特征提取模块具体用于:将所述目标影像数据输入预置的脊柱定位模型;通过所述脊柱定位模型对所述目标影像数据进行编码和解码操作,得到三维高斯热图;对所述三维高斯热图进行三维矩阵计算,得到高斯热图中心,并根据所述高斯热图中心生成脊柱边界框。
可选的,在本发明第二方面的第三种实现方式中,所述划分模块具体用于:按照预设的重定向规则对所述脊柱影像数据进行重定向,得到重定向影像数据;对所述重定向影像数据进行尺寸标准化处理,得到标准影像数据;对所述标准影像数据进行图像块网格划分,得到脊柱切片图像和多个图像块;根据所述脊柱边界框对所述脊柱切片图像进行矢状位和冠状位的局部最大密度投影,得到局部最大密度投影二维投影图;对所述局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
可选的,在本发明第二方面的第四种实现方式中,所述处理模块具体用于:根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,其中,多个最大密度投影图包括:矢状位投影图和冠状位投影图;分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,其中,所述二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组。
可选的,在本发明第二方面的第五种实现方式中,所述计算模块具体用于:对每个图像块对应的二维高斯热图组进行叠加,得到叠加高斯热图;对所述叠加高斯热图进行平均值计算,得到所述脊柱影像数据对应的初始高斯热图组,其中,所述初始高斯热图组包括:矢状位高斯热图组和冠状位高斯热图组;对所述初始高斯热图组进行裁剪,得到裁剪后的高斯热图组;对所述裁剪后的高斯热图组进行外积计算,得到所述脊柱影像数据对应的目标三维高斯热图组。
可选的,在本发明第二方面的第六种实现方式中,所述生成模块具体用于:获取所述目标三维高斯热图组中的多个三维高斯热图;分别将所述多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
本发明第三方面提供了一种椎骨识别设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述椎骨识别设备执行上述的椎骨识别方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的椎骨识别方法。
本发明提供的技术方案中,根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,相比于直观的计算最大密度投影方法,本申请中的计算速度更快,通过网格划分对脊柱切片图像进行投射算法计算,后续对应的投影从切片投影图取出即可,相比于最大值方法,通过平均多个高斯热图获得更加精确的二维高斯热图组,并且通过裁剪二维高斯热图组至更小的尺寸,大大减少了后续三维高斯热图的大小,减小了计算机内存消耗,加快了计算速度,此外,本申请没有将椎体中心计算算法用于深度学习模型中,而是直接用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,保留了使用高斯热图作为标签训练网络的优点,可以直观的观察高斯点的分布以做出调整,也利用了锥体中心计算的优点,即通过高斯热图的所有数据计算表征数据分布的质心坐标,这样使得最终椎骨的定位更准确。
附图说明
图1为本发明实施例中椎骨识别方法的一个实施例示意图;
图2为本发明实施例中椎骨识别方法的另一个实施例示意图;
图3为本发明实施例中椎骨识别装置的一个实施例示意图;
图4为本发明实施例中椎骨识别装置的另一个实施例示意图;
图5为本发明实施例中椎骨识别设备的一个实施例示意图;
图6为本发明实施例中脊柱定位模型示意图;
图7为本发明实施例中二维高斯热图示意图;
图8为本发明实施例中脊柱边界框示意图;
图9为本发明实施例中图像块网格划分并获取切片流程示意图;
图10为本发明实施例中矢状位局部最大密度投影算法示意图;
图11为本发明实施例中快速最大密度投影算法(Fast-MIP)示意图;
图12为本发明实施例中椎骨识别和定位模型示意图;
图13为本发明实施例中二维高斯热图组计算方法示意图;
图14为本发明实施例中椎体中心计算算法计算二维数据质心坐标的流程示意图。
具体实施方式
本发明实施例提供了一种椎骨识别方法、装置、设备及存储介质,用于提高椎骨识别的识别速度和准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中椎骨识别方法的一个实施例包括:
101、获取待处理的脊柱影像数据,并对脊柱影像数据进行预处理,得到目标影像数据;
可以理解的是,本发明的执行主体可以为椎骨识别装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器获取待处理的脊柱影像数据,进而对重采样脊柱影像数据至各个方向体素距离相等的各向同性的脊柱影像数据,重定向脊柱影像数据为I-P-L方向(足头-后前-左右方向)。在本申请中,体素距离选择较大的数值,具体位置4mm,可以减少脊柱影像数据占用内存的大小,减少后续计算复杂度。
102、将目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对三维高斯热图进行三维矩阵计算,得到脊柱边界框;
需要说明的是,本申请使用的脊柱定位模型是U-net,如图6所示,为本发明实施例中脊柱定位模型示意图,为了加快计算速度,在保证结果准确的前提下,选择了较小的层数和通道数,具体层数和各层的通道数可以更多或更少。为了训练此模型,需要构建一种训练标签:对应CT数据中各个椎骨中心所在位置的高斯热图,3D高斯热图就是每个椎骨对应一张3维矩阵。总共27张三维矩阵,每个矩阵的大小和输入的CT数据大小相同。其中第一张三维矩阵是背景,由公式1定义,E表示元素全部为1且大小和三维高斯热图相等的矩阵,maximum表示按照矩阵元素的位置取最大值,逻辑和python语言常用的numpy包中的函数numpy.maximum()一样。剩余26张三维矩阵对应各个椎骨,其中第2-25三维矩阵对应C1-C7,T1-T12,L1-L5这24块椎骨,第26张三维矩阵对应少数人有的L6椎骨,第27张对应少数人有的T13椎骨。CT中存在的椎骨会在对应的高斯热图中展现出来,其中越靠近椎骨中心点的区域趋近于1,离椎骨中心越远的区域趋近于0,这些数值的分布满足高斯分布,如公式2所示。公式2中yi表示某一块椎骨对应的高斯热图,i可以从1取到26。µi表示第i块椎骨的中心位置,σ表示高斯分布的标准差,其控制了高斯分布的形态。对于CT中不存在的椎骨,高斯热图对应的三维矩阵数值全部等于0。这样27张三维高斯热图称为一组三维高斯热图或三维高斯热图组,其中,上述公式1如下所示:
Figure 186825DEST_PATH_IMAGE001
上述公式2如下所示:
Figure 776069DEST_PATH_IMAGE002
模型会学习如何通过输入的CT数据得到训练标签的模式,使用训练好的脊柱定位模型可以得到相对应的高斯热图。对高斯热图中第2至第27张三维矩阵计算,得到包含每个高斯热图中心,即包含各个椎骨中心的脊柱边界框如图8所示,其代表了本发明实施例中脊柱边界框。
103、对脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
具体的,确定图像块尺寸为192mm*288mm*288mm,该尺寸是本申请方案的一个实例。根据图像块大小在原始CT数据上划分图像块网格。如图9所示,为本发明实施例中网格划分流程示意图,左侧为图像块网格划分,在矢状位的方位,每隔144mm取一次CT数据的子图像,即图像块,图中阴影部分所示为图像块。图像块在矢状位方向上的厚度为288mm。因此显然图像块是会有重合部分的,一共有3×3×3=27个图像块。若只考虑某一个方向上的图像块网格划分,就可以得到该方向上的切片网格划分。如图右侧是切片网格,在矢状位的方位,每隔144mm取一次CT数据的切片,切片数据的厚度为288mm,长度和宽度同CT数据一致;冠状位方位的操作同矢状位一致。一共得到两组切片,一组矢状位切片共三张,一组冠状位切片共三张。其中每个切片都包含3×3=9个图像块。对两组切片分别进行矢状位和冠状位的局部最大密度投影(Localized Maximum Intensity Projection),如图10所示,为本发明实施例中矢状位的局部最大密度投影算法示意图,根据CT原始数据的边界框和某一切片的相对位置,确定投射方法。当边界框和切片没有相交区域时,对切片实施快速最大密度投影算法;当边界框和切片相交时,在y方向上相交的区域只投射相交区域的Hu值,对于y方向上剩余区域投射所有区域的Hu值,投射方法使用快速最大密度投影算法(Fast-MIP)。如图11所示,为本发明实施例中快速最大密度投影算法(Fast-MIP)示意图。这样得到矢状位和冠状位共两组局部最大密度投影二维投影图,对这些二维数据做重采样至像素距离为1mm的各向同性的二维投影图,以下称这些二维投影图为切片矢状位投影图和切片冠状位投影图,一起为切片局部最大密度投影图。最终服务器得到切片局部最大密度投影图。
104、根据切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
具体的,根据网格,确定每个图像块在切片矢状位投影图像和切片冠状位投影图的位置,得到每个图像块对应的矢状位投影图像和冠状位投影图(以下称图像块矢状位投影图像和图像块冠状位投影图)。将获得的两张投影图输入到事先训练的椎骨识别与定位模型中,得到图像块矢状位投影图对应的一组高斯热图以及图像块冠状位投影图对应的一组高斯热图。本申请使用的椎骨识别与定位模型是Btr-fly网络模型,该模型由二维U型模型修改而来,中间层为融合层,进而服务器分别将多个图像块对应的两张最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,如图12所示,为本发明实施例中椎骨识别和定位模型示意图,进而服务器得到每个图像块对应的两组二维高斯热图,如图7所示,为本发明实施例中二维高斯热图组示意图。
105、根据每个图像块对应的二维高斯热图组计算脊柱影像数据对应的目标三维高斯热图组;
具体的,根据得到的各个图像块对应的高斯热图组以及各个图像块在切片矢状位投影图和切片冠状位投影图的位置,一一对每个椎骨对应的所有图像块的高斯热图进行叠加且求平均值,得到最终的CT数据对应的矢状位高斯热图组和冠状位高斯热图组(以下称CT矢状位高斯热图组和CT冠状位高斯热图组),这两组高斯热图尺寸分别和切片矢状位投影图和切片冠状位投影图相同。对这两组高斯热图以最大值为中心进行裁剪,减小尺寸至192mm*288mm(其中进行裁剪的原因是减少后续得到的CT三维高斯热图组的尺寸大小,从而缓解计算机内存压力),如图13所示,为本发明实施例中二维高斯热图计算方法示意图,本申请将裁切范围设定为192mm*288mm的长方形区域,该范围是与本申请方案相关的一个实例。对CT矢状位高斯热图组和CT冠状位高斯热图组进行外积计算,得到目标三维高斯热图组。
106、对目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
具体的,利用锥体中心计算方法得到CT三维高斯热图组中每张三维高斯热图的高斯点的质心坐标,其对应各个椎骨的类别和椎骨中心点的位置,服务器利用二维数据展示逻辑。对三维数据的元素除以整个三维数据求和的结果,这样子得到了可以代表三维数据分布的概率矩阵。具体的,服务器获取目标三维高斯热图组中的多个三维高斯热图;分别将多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
本发明实施例中,根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,相比于直观的计算最大密度投影方法,本申请中的计算速度更快,通过网格划分对脊柱切片图像进行投射算法计算,后续对应的投影从切片投影图取出即可,相比于最大值方法,通过平均多个高斯热图获得更加精确的二维高斯热图组,并且通过裁剪二维高斯热图组至更小的尺寸,大大减少了后续三维高斯热图的大小,减小了计算机内存消耗,加快了计算速度,此外,本申请没有将椎体中心计算算法用于深度学习模型中,而是直接用于对目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,保留了使用高斯热图作为标签训练网络的优点,可以直观的观察高斯点的分布以做出调整,也利用了锥体中心计算的优点,即通过高斯热图的所有数据计算表征数据分布的质心坐标,这样使得最终椎骨的定位更准确。
请参阅图2,本发明实施例中椎骨识别方法的另一个实施例包括:
201、获取待处理的脊柱影像数据,并对脊柱影像数据进行预处理,得到目标影像数据;
具体的,在本实施例中,步骤201的具体实施方式与上述步骤101类似,此处不再赘述。
202、将目标影像数据输入预置的脊柱定位模型;
可选的,获取带有训练标签的多个训练影像数据以及训练模型;分别将多个训练影像数据输入训练模型进行模型训练,得到每个训练影像数据对应的训练高斯热图;对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果;根据损失值计算结果判断训练模型是否满足预设训练退出条件;若满足,则将当前的训练模型作为脊柱定位模型并输出。
其中,服务器构建一种训练标签:对应CT数据中各个椎骨中心所在位置的高斯热图,3D高斯热图就是每个椎骨对应一张3维矩阵。总共27张三维矩阵,每个矩阵的大小和输入的CT数据大小相同。其中第一张三维矩阵是背景,由公式1定义,E表示元素全部为1且大小和三维高斯热图相等的矩阵,maximum表示按照矩阵元素的位置取最大值,逻辑和python语言常用的numpy包中的函数numpy.maximum()一样。剩余26张三维矩阵对应各个椎骨,其中第2-25三维矩阵对应C1-C7,T1-T12,L1-L5这24块椎骨,第26张三维矩阵对应少数人有的L6椎骨,第27张对应少数人有的T13椎骨。CT中存在的椎骨会在对应的高斯热图中展现出来,其中越靠近椎骨中心点的区域趋近于1,离椎骨中心越远的区域趋近于0,这些数值的分布满足高斯分布,最终服务器对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果,根据损失值计算结果判断训练模型是否满足预设训练退出条件,若满足,则将当前的训练模型作为脊柱定位模型并输出。
203、通过脊柱定位模型对目标影像数据进行编码和解码操作,得到三维高斯热图;
204、对三维高斯热图进行三维矩阵计算,得到高斯热图中心,并根据高斯热图中心生成脊柱边界框;
具体的,由公式1定义,E表示元素全部为1且大小和三维高斯热图相等的矩阵,maximum表示按照矩阵元素的位置取最大值,逻辑和python语言常用的numpy包中的函数numpy.maximum()一样。剩余26张三维矩阵对应各个椎骨,其中第2-25三维矩阵对应C1-C7,T1-T12,L1-L5这24块椎骨,第26张三维矩阵对应少数人有的L6椎骨,第27张对应少数人有的T13椎骨。CT中存在的椎骨会在对应的高斯热图中展现出来,其中越靠近椎骨中心点的区域趋近于1,离椎骨中心越远的区域趋近于0,这些数值的分布满足高斯分布,如公式2所示。公式2中yi表示某一块椎骨对应的高斯热图,i可以从1取到26。µi表示第i块椎骨的中心位置,σ表示高斯分布的标准差,其控制了高斯分布的形态。对于CT中不存在的椎骨,高斯热图对应的三维矩阵数值全部等于0。这样27张三维高斯热图称为一组三维高斯热图或三维高斯热图组,其中,上述公式1如下所示:
Figure 821386DEST_PATH_IMAGE003
上述公式2如下所示:
Figure 747753DEST_PATH_IMAGE004
模型会学习如何通过输入的CT数据得到训练标签的模式,使用训练好的脊柱定位模型可以得到相对应的高斯热图。对高斯热图中第2至第27张三维矩阵计算,得到包含每个高斯热图中心,即包含各个椎骨中心的脊柱边界框。
205、对脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
具体的,按照预设的重定向规则对脊柱影像数据进行重定向,得到重定向影像数据;对重定向影像数据进行尺寸标准化处理,得到标准影像数据;对标准影像数据进行图像块网格划分,得到脊柱切片图像和多个图像块;根据脊柱边界框对脊柱切片图像进行矢状位和冠状位的局部最大密度投影,得到局部最大密度投影二维投影图;对局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
需要说明的是,得到矢状位和冠状位共两组局部最大密度投影二维投影图,对这些二维数据做重采样至像素距离为1mm的各向同性的二维投影图。以下称这些二维投影图为切片矢状位投影图和切片冠状位投影图.其中,常见的最大密度投影算法(MIP)算法是沿着通过三维数据的平行光线找到最大值,但是这样两两比较切片大小的操作次数为N。如图11所示,快速最大密度投影算法(Fast-MIP)将切片均分为两块厚度为N/2的大切片,让计算机并行计算这两块大切片同样位置上的最大值,最终得到一块大切片。将以上步骤循环至切片厚度为1,就得到了最终的投射影像,如果每次循环中N不能除尽,保留余下的那片切片,留在最后和得到的厚度为1的切片进行比较。这样操作下虽然计算次数的复杂度和常见方法一致为O(n),但是计算机执行比较大小这一操作的次数的复杂度变成了O(log(n)),又由于计算机每次执行比较大小这一操作可以进行并行计算,所以快速最大密度投影算法(Fast-MIP)的计算时间相比于一般MIP算法要缩短,最终服务器得到局部最大密度投影二维投影图;对局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
206、根据切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
具体的,根据切片局部最大密度投影图生成脊柱切片图像对应的多个最大密度投影图,其中,多个最大密度投影图包括:矢状位投影图和冠状位投影图;分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,其中,二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组。
需要说明的是,本申请使用的椎骨识别与定位深度学习模型是Btr-fly网络模型,该模型由二维U型模型修改而来,中间层为融合层,本申请选择的层数以及各层的通道数不构成本申请方案的限定。训练此模型需要构建的标签和脊柱定位模型类似,不同之处在于脊柱定位模型输入的是3D数据,标签也是3D的高斯热图组。此模型输入的是每个图像块对应的两张二维最大密度投影图最终服务器得到每个最大密度投影图对应的两组二维高斯热图组,其中,两组二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组,其中标签是一组二维矢状位高斯热图和一组二维冠状位高斯热图。
207、根据每个图像块对应的二维高斯热图组计算脊柱影像数据对应的目标三维高斯热图组;
具体的,对每个图像块对应的二维高斯热图组进行叠加,得到叠加高斯热图;对叠加高斯热图进行平均值计算,得到脊柱影像数据对应的初始高斯热图组,其中,初始高斯热图组包括:矢状位高斯热图组和冠状位高斯热图组;对初始高斯热图组进行裁剪,得到裁剪后的高斯热图组;对裁剪后的高斯热图组进行外积计算,得到脊柱影像数据对应的目标三维高斯热图组。
其中,服务器根据得到的各个图像块对应的高斯热图组以及各个图像块在切片矢状位投影图和切片冠状位投影图的位置,一一对每个椎骨对应的所有图像块的高斯热图进行叠加且求平均值,得到最终的CT数据对应的矢状位高斯热图组和冠状位高斯热图组(以下称CT矢状位高斯热图组和CT冠状位高斯热图组),这两组高斯热图尺寸分别和切片矢状位投影图和切片冠状位投影图相同。对这两组高斯热图以最大值为中心进行裁剪,减小尺寸至192mm*288mm(其中进行裁剪的原因是减少后续得到的CT三维高斯热图组的尺寸大小,从而缓解计算机内存压力)。本申请将裁切范围设定为192mm*288mm的长方形区域,该范围是与本申请方案相关的一个实例,最终服务器对CT矢状位高斯热图组和CT冠状位高斯热图组进行外积计算,得到脊柱影像数据对应的目标三维高斯热图组。
208、对目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
具体的,获取目标三维高斯热图组中的多个三维高斯热图;分别将多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
对三维数据的元素除以整个三维数据求和的结果,这样子得到了可以代表三维数据分布的概率矩阵。此三维概率矩阵各个元素之和为1。将该概率矩阵中每个元素和这个元素所在位置的某个方向的坐标做乘法并求和后得到一个标量,其代表了三维数据的质心在这个方向的坐标,如图14所示,为本发明实施例中椎体中心计算算法计算二维数据质心坐标算法流程示意图。具体的,X方向的坐标是0.125×1+0.125×0+0.5×1+0.125×2+0.125×1=1,表示质心位置x坐标是1。三维矩阵的元素所在的位置有三个方向的坐标,最终也就得到三个标量,代表了质心在这个三维矩阵的位置,最终服务器根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果。
本发明实施例中,根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,相比于直观的计算最大密度投影方法,本申请中的计算速度更快,通过网格划分对脊柱切片图像进行投射算法计算,后续对应的投影从切片投影图取出即可,相比于最大值方法,通过平均多个高斯热图获得更加精确的二维高斯热图组,并且通过裁剪二维高斯热图组至更小的尺寸,大大减少了后续三维高斯热图的大小,减小了计算机内存消耗,加快了计算速度,此外,本申请没有将椎体中心计算方法用于深度学习模型中,而是直接用于对目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,保留了使用高斯热图作为标签训练网络的优点,可以直观的观察高斯点的分布以做出调整,也利用了锥体中心计算的优点,即通过高斯热图的所有数据计算表征数据分布的质心坐标,这样使得最终椎骨的定位更准确。
上面对本发明实施例中椎骨识别方法进行了描述,下面对本发明实施例中椎骨识别装置进行描述,请参阅图3,本发明实施例中椎骨识别装置一个实施例包括:
预处理模块301,用于获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;
特征提取模块302,用于将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;
划分模块303,用于对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
处理模块304,用于根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
计算模块305,用于根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;
生成模块306,用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
本发明实施例中,根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,相比于直观的计算最大密度投影方法,本申请中的计算速度更快,通过网格划分对脊柱切片图像进行投射算法计算,后续对应的投影从切片投影图取出即可,相比于最大值方法,通过平均多个高斯热图获得更加精确的二维高斯热图组,并且通过裁剪二维高斯热图组至更小的尺寸,大大减少了后续三维高斯热图的大小,减小了计算机内存消耗,加快了计算速度,此外,本申请没有将椎体中心计算方法用于模型中,而是直接用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,保留了使用高斯热图作为标签训练网络的优点,可以直观的观察高斯点的分布以做出调整,也利用了锥体中心计算的优点,即通过高斯热图的所有数据计算表征数据分布的质心坐标,这样使得最终椎骨的定位更准确。
请参阅图4,本发明实施例中椎骨识别装置另一个实施例包括:
预处理模块301,用于获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;
特征提取模块302,用于将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;
划分模块303,用于对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
处理模块304,用于根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
计算模块305,用于根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;
生成模块306,用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
可选的,所述椎骨识别装置还包括:
训练模块307,用于获取带有训练标签的多个训练影像数据以及训练模型;分别将所述多个训练影像数据输入所述训练模型进行模型训练,得到每个训练影像数据对应的训练高斯热图;对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果;根据所述损失值计算结果判断所述训练模型是否满足预设训练退出条件;若满足,则将当前的训练模型作为脊柱定位模型并输出。
可选的,所述特征提取模块302具体用于:将所述目标影像数据输入预置的脊柱定位模型;通过所述脊柱定位模型对所述目标影像数据进行编码和解码操作,得到三维高斯热图;对所述三维高斯热图进行三维矩阵计算,得到高斯热图中心,并根据所述高斯热图中心生成脊柱边界框。
可选的,所述划分模块303具体用于:按照预设的重定向规则对所述脊柱影像数据进行重定向,得到重定向影像数据;对所述重定向影像数据进行尺寸标准化处理,得到标准影像数据;对所述标准影像数据进行图像块网格划分,得到脊柱切片图像和多个图像块;根据所述脊柱边界框对所述脊柱切片图像进行矢状位和冠状位的局部最大密度投影,得到局部最大密度投影二维投影图;对所述局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
可选的,所述处理模块304具体用于:根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,其中,多个最大密度投影图包括:矢状位投影图和冠状位投影图;分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,其中,所述二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组。
可选的,所述计算模块305具体用于:对每个图像块对应的二维高斯热图组进行叠加,得到叠加高斯热图;对所述叠加高斯热图进行平均值计算,得到所述脊柱影像数据对应的初始高斯热图组,其中,所述初始高斯热图组包括:矢状位高斯热图组和冠状位高斯热图组;对所述初始高斯热图组进行裁剪,得到裁剪后的高斯热图组;对所述裁剪后的高斯热图组进行外积计算,得到所述脊柱影像数据对应的目标三维高斯热图组。
可选的,所述生成模块306具体用于:获取所述目标三维高斯热图组中的多个三维高斯热图;分别将所述多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
本发明实施例中,根据脊柱边界框对脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,相比于直观的计算最大密度投影方法,本申请中的计算速度更快,通过网格划分对脊柱切片图像进行投射算法计算,后续对应的投影从切片投影图取出即可,相比于最大值方法,通过平均多个高斯热图获得更加精确的二维高斯热图组,并且通过裁剪二维高斯热图组至更小的尺寸,大大减少了后续三维高斯热图的大小,减小了计算机内存消耗,加快了计算速度,此外,本申请没有将椎体中心计算方法用于模型中,而是直接用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,保留了使用高斯热图作为标签训练网络的优点,可以直观的观察高斯点的分布以做出调整,也利用了锥体中心计算的优点,即通过高斯热图的所有数据计算表征数据分布的质心坐标,这样使得最终椎骨的定位更准确。
上面图3和图4从模块化功能实体的角度对本发明实施例中的椎骨识别装置进行详细描述,下面从硬件处理的角度对本发明实施例中椎骨识别设备进行详细描述。
图5是本发明实施例提供的一种椎骨识别设备的结构示意图,该椎骨识别设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对椎骨识别设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在椎骨识别设备500上执行存储介质530中的一系列指令操作。
椎骨识别设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的椎骨识别设备结构并不构成对椎骨识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种椎骨识别设备,所述椎骨识别设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述椎骨识别方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述椎骨识别方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种椎骨识别方法,其特征在于,所述椎骨识别方法包括:
获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;
将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;
对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;
对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
2.根据权利要求1所述的椎骨识别方法,其特征在于,所述椎骨识别方法还包括:
获取带有训练标签的多个训练影像数据以及训练模型;
分别将所述多个训练影像数据输入所述训练模型进行模型训练,得到每个训练影像数据对应的训练高斯热图;
对每个训练影像数据对应的训练高斯热图进行标签损失值计算,得到损失值计算结果;
根据所述损失值计算结果判断所述训练模型是否满足预设训练退出条件;
若满足,则将当前的训练模型作为脊柱定位模型并输出。
3.根据权利要求1所述的椎骨识别方法,其特征在于,所述将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框,包括:
将所述目标影像数据输入预置的脊柱定位模型;
通过所述脊柱定位模型对所述目标影像数据进行编码和解码操作,得到三维高斯热图;
对所述三维高斯热图进行三维矩阵计算,得到高斯热图中心,并根据所述高斯热图中心生成脊柱边界框。
4.根据权利要求1所述的椎骨识别方法,其特征在于,所述对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图,包括:
按照预设的重定向规则对所述脊柱影像数据进行重定向,得到重定向影像数据;
对所述重定向影像数据进行尺寸标准化处理,得到标准影像数据;
对所述标准影像数据进行图像块网格划分,得到脊柱切片图像和多个图像块;
根据所述脊柱边界框对所述脊柱切片图像进行矢状位和冠状位的局部最大密度投影,得到局部最大密度投影二维投影图;
对所述局部最大密度投影二维投影图进行重采样,得到切片局部最大密度投影图。
5.根据权利要求1所述的椎骨识别方法,其特征在于,所述根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,包括:
根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,其中,多个最大密度投影图包括:矢状位投影图和冠状位投影图;
分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组,其中,所述二维高斯热图组包括:矢状位投影图像对应的二维高斯热图组以及冠状位投影图对应的二维高斯热图组。
6.根据权利要求1所述的椎骨识别方法,其特征在于,所述根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组,包括:
对每个图像块对应的二维高斯热图组进行叠加,得到叠加高斯热图;
对所述叠加高斯热图进行平均值计算,得到所述脊柱影像数据对应的初始高斯热图组,其中,所述初始高斯热图组包括:矢状位高斯热图组和冠状位高斯热图组;
对所述初始高斯热图组进行裁剪,得到裁剪后的高斯热图组;
对所述裁剪后的高斯热图组进行外积计算,得到所述脊柱影像数据对应的目标三维高斯热图组。
7.根据权利要求1-6中任一项所述的椎骨识别方法,其特征在于,所述对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标,包括:
获取所述目标三维高斯热图组中的多个三维高斯热图;
分别将所述多个三维高斯热图输入预置的椎体中心计算算法进行椎体中心计算,得到每个三维高斯热图对应的高斯点的质心坐标;
根据每个三维高斯热图对应的高斯点的质心坐标生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
8.一种椎骨识别装置,其特征在于,所述椎骨识别装置包括:
预处理模块,用于获取待处理的脊柱影像数据,并对所述脊柱影像数据进行预处理,得到目标影像数据;
特征提取模块,用于将所述目标影像数据输入预置的脊柱定位模型进行特征提取,得到三维高斯热图,并对所述三维高斯热图进行三维矩阵计算,得到脊柱边界框;
划分模块,用于对所述脊柱影像数据进行重定向和图像块网格划分,得到脊柱切片图像和多个图像块,并根据所述脊柱边界框对所述脊柱切片图像进行局部最大密度投影计算,得到切片局部最大密度投影图;
处理模块,用于根据所述切片局部最大密度投影图生成多个图像块最大密度投影图,并分别将多个最大密度投影图输入预置的椎骨识别和定位模型进行椎骨识别和定位,得到每个图像块对应的二维高斯热图组;
计算模块,用于根据每个图像块对应的二维高斯热图组计算所述脊柱影像数据对应的目标三维高斯热图组;
生成模块,用于对所述目标三维高斯热图组进行椎体中心计算,生成椎骨识别结果,其中,所述椎骨识别结果包括:每块椎骨的椎骨类别和中心坐标。
9.一种椎骨识别设备,其特征在于,所述椎骨识别设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述椎骨识别设备执行如权利要求1-7中任一项所述的椎骨识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的椎骨识别方法。
CN202211234157.1A 2022-10-10 2022-10-10 椎骨识别方法、装置、设备及存储介质 Active CN115330753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211234157.1A CN115330753B (zh) 2022-10-10 2022-10-10 椎骨识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211234157.1A CN115330753B (zh) 2022-10-10 2022-10-10 椎骨识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115330753A true CN115330753A (zh) 2022-11-11
CN115330753B CN115330753B (zh) 2022-12-20

Family

ID=83914461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211234157.1A Active CN115330753B (zh) 2022-10-10 2022-10-10 椎骨识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115330753B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356729A1 (en) * 2013-01-22 2015-12-10 Agfa Healthcare Nv Method, apparatus and system for identifying a specific part of a spine in an image
US20160371860A1 (en) * 2015-06-19 2016-12-22 General Electric Company System and method for generating a ct slice image
US20180247154A1 (en) * 2017-02-27 2018-08-30 Fujifilm Corporation Image classification apparatus, method, and program
US20190192099A1 (en) * 2017-12-21 2019-06-27 Shanghai United Imaging Healthcare Co., Ltd. System and method for medical imaging of intervertebral discs
WO2021189843A1 (zh) * 2020-09-22 2021-09-30 平安科技(深圳)有限公司 Ct图像椎骨定位方法、装置、设备及介质
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
US20220092302A1 (en) * 2019-07-04 2022-03-24 Fujitsu Limited Skeleton recognition method, computer-readable recording medium storing skeleton recognition program, skeleton recognition system, learning method, computer-readable recording medium storing learning program, and learning device
WO2022141720A1 (zh) * 2020-12-31 2022-07-07 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
CN114723763A (zh) * 2022-05-24 2022-07-08 博志生物科技(深圳)有限公司 一种医学图像分割方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356729A1 (en) * 2013-01-22 2015-12-10 Agfa Healthcare Nv Method, apparatus and system for identifying a specific part of a spine in an image
US20160371860A1 (en) * 2015-06-19 2016-12-22 General Electric Company System and method for generating a ct slice image
CN106256326A (zh) * 2015-06-19 2016-12-28 通用电气公司 计算机断层扫描切片图像的生成系统及方法
US20180247154A1 (en) * 2017-02-27 2018-08-30 Fujifilm Corporation Image classification apparatus, method, and program
US20190192099A1 (en) * 2017-12-21 2019-06-27 Shanghai United Imaging Healthcare Co., Ltd. System and method for medical imaging of intervertebral discs
US20220092302A1 (en) * 2019-07-04 2022-03-24 Fujitsu Limited Skeleton recognition method, computer-readable recording medium storing skeleton recognition program, skeleton recognition system, learning method, computer-readable recording medium storing learning program, and learning device
WO2021189843A1 (zh) * 2020-09-22 2021-09-30 平安科技(深圳)有限公司 Ct图像椎骨定位方法、装置、设备及介质
WO2022141720A1 (zh) * 2020-12-31 2022-07-07 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
CN114723763A (zh) * 2022-05-24 2022-07-08 博志生物科技(深圳)有限公司 一种医学图像分割方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN CAI ET AL.: "Orthographic Pooling: Learned Maximum Intensity Projection for Vertebrae Labelling", 《2022 44TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY》 *
SHUHONG JIAO ET AL.: "No-reference Perceptual Image Sharpness Index Using Normalized DCT-based Representation", 《2014 SEVENTH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN》 *
齐欢: "基于视觉特性的图像质量客观评价方法研究", 《CNKI博士学位论文》 *

Also Published As

Publication number Publication date
CN115330753B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109754361B (zh) 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积
Al Arif et al. Fully automatic cervical vertebrae segmentation framework for X-ray images
Lessmann et al. Iterative fully convolutional neural networks for automatic vertebra segmentation and identification
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
CN112639880A (zh) 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象
CN108986891A (zh) 医疗影像处理方法及装置、电子设备及存储介质
Dong et al. Deep DoseNet: a deep neural network for accurate dosimetric transformation between different spatial resolutions and/or different dose calculation algorithms for precision radiation therapy
Cuadros Linares et al. Mandible and skull segmentation in cone beam computed tomography using super-voxels and graph clustering
EP3107477B1 (en) Prediction of shapes
Lee et al. Finding optimal views for 3D face shape modeling
CN111724389A (zh) 髋关节ct图像分割方法、装置、存储介质和计算机设备
US9977993B2 (en) System and method for constructing a statistical shape model
CN111862001B (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
CN115330753B (zh) 椎骨识别方法、装置、设备及存储介质
Bukas et al. Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning
CN116704590A (zh) 虹膜图像的矫正模型训练方法、矫正方法、装置及介质
EP4011311A1 (en) Method for planning the nail path of a pedicle bone screw
Ino et al. A parallel implementation of 2-D/3-D image registration for computer-assisted surgery
CN114511561A (zh) 脊柱矢状位形态预测方法、装置、设备及存储介质
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
Huo et al. Automatic generation of pedicle contours in 3D vertebral models
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN114581463B (zh) 一种多相位4d ct图像分割方法及系统
Cui et al. Multi-perspectives 2D Spine CT images segmentation of 3D fuse algorithm
Wieczorek et al. BCT Boost Segmentation with U-net in TensorFlow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant