CN113781557A - 一种脊柱标记点定位模型的构建方法及应用 - Google Patents
一种脊柱标记点定位模型的构建方法及应用 Download PDFInfo
- Publication number
- CN113781557A CN113781557A CN202110934019.3A CN202110934019A CN113781557A CN 113781557 A CN113781557 A CN 113781557A CN 202110934019 A CN202110934019 A CN 202110934019A CN 113781557 A CN113781557 A CN 113781557A
- Authority
- CN
- China
- Prior art keywords
- spine
- sub
- point
- network
- point positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000000513 principal component analysis Methods 0.000 claims description 55
- 230000009466 transformation Effects 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 36
- 239000003550 marker Substances 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000012800 visualization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 201000006760 Senior-Loken syndrome Diseases 0.000 description 1
- 208000020307 Spinal disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011436 cob Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 206010041569 spinal fracture Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种脊柱标记点定位模型的构建方法及应用,属于医学图像处理领域;所构建的脊柱标记点定位模型包括中心点定位网络、分割模块、角点定位网络和组合模块;其中,中心点定位网络包括多个级联的中心点定位子网络;角点定位网络包括多个级联的角点定位子网络;本发明在脊柱中心点定位阶段和脊柱角点定位阶段均基于级联的子网络进行多阶段坐标偏移量回归,并引入PCA的标记点形状约束,使每级级联的子网络回归经过PCA降维后的位置偏移量,而不是直接回归坐标点,避免了回归过程中由于脊椎间同质化所导致的标记点相互吸引的问题,大大提高了脊柱标记点定位的准确性。
Description
技术领域
本发明属于医学图像处理领域,更具体地,涉及一种脊柱标记点定位模型的构建方法及应用。
背景技术
在计算机辅助诊断脊柱疾病中,脊椎标记点定位是非常关键的一步,它通常应用到Cobb角计算、生物机械负载分析、椎体骨折检测等任务中。然而,人工识别17个脊椎并定位每个脊椎上的4个角点是非常耗时的,因此人们对使用计算机自动定位脊柱上的68个点(17段脊椎,每个脊椎上4个角点)提出了很高的需求。虽然自动定位脊椎标记点这项任务已有数十年的研究,但是由于X-ray图像本身成像质量模糊、软组织之间相互叠加以及相邻椎体的纹理相似性较高等问题,这项任务仍然具有较大的挑战性。
近些年来,随着卷积神经网络(convolutional neural network,CNN)在计算机视觉领域的兴起,越来越多的研究者开始使用CNN来定位标记点。一种应用较为广泛的方法是使用热图(heat map)来回归标记点,这种方法通常是预先根据标记点的坐标生成与原图尺寸大小相同的热图,然后利用热图来训练卷积神经网络;在预测时,通过在预测的热图中寻找局部最大点来获得所需的标记点。这种基于热图定位方法的问题是,从输入到坐标点的输出是不可微的,整个任务不够直接;而且热图的输出结果是整数,会损失一定的精度,存在理论误差下界。
为了解决热图回归这类方法存在的问题,一些研究者利用端到端CNN模型直接回归点坐标,即直接用点的坐标来训练卷积神经网络。虽然使用这种方法回归点和真实坐标之间可以保证一对一匹配,但直接回归坐标这种方法应用在我们的任务中主要存在两个问题:(1)CNN无法一次非常精确地回归出所有的标记点;(2)由于脊椎之间的相似性过高,某一节的标记点可能会被相邻的脊椎所吸引,如果移动的点距离真实的标记点太远,CNN则很难将这些点矫正回来;因此现有的基于端到端CNN模型来定位脊柱标记点的方法的准确度较低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种脊柱标记点定位模型的构建方法及应用,用以解决现有技术无法准确定位脊柱标记点的技术问题。
为了实现上述目的,第一方面,本发明提出了一种脊柱标记点定位模型的构建方法,包括以下步骤:
S1、搭建脊柱标记点定位模型;脊柱标记点定位模型包括中心点定位网络、分割模块、角点定位网络和组合模块;中心点定位网络包括多个级联的中心点定位子网络;角点定位网络包括多个级联的角点定位子网络;
中心点定位网络用于基于级联的中心点定位子网络对脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量进行多级回归,以对脊柱图像中各脊柱中心点的坐标进行预测;
分割模块用于根据中心点定位网络输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的脊柱子图像,并输出至角点定位网络中;
角点定位网络用于基于级联的角点定位子网络对脊柱子图像上经PCA变换后的各角点坐标偏移量进行多级回归,以对脊柱子图像上各角点的坐标进行预测;
组合模块用于基于角点定位网络输入的各脊柱子图像上各角点的预测坐标,得到脊柱图像上的各角点坐标;
S2、将预采集好的脊柱中心点训练集输入到中心点定位网络中,依次最小化中心点定位网络中的各级中心点定位子网络的损失函数,以对中心点定位网络进行训练;将预采集好的脊柱角点训练集输入到角点定位网络中,依次最小化角点定位网络中各级角点定位子网络的损失函数,以对角点定位网络进行训练,从而得到预训练好的脊柱标记点定位模型;
其中,第n级中心点定位子网络的损失函数用于衡量第n级中心点定位子网络所得的脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第n级中心点定位子网络所对应的经PCA变换后的某一脊柱中心点的真实坐标偏移量为该脊柱中心点的真实坐标与第n-1级中心点定位子网络输出的该脊柱中心点的预测坐标之差经PCA变换后的结果;脊柱中心点训练集包括多个脊柱图像以及各脊柱图像中各脊柱中心点的真实坐标;
第m级角点定位子网络的损失函数用于衡量第m级角点定位子网络所得的脊柱子图像上经PCA变换后的角点坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第m级角点定位子网络所对应的经PCA变换后的某一角点的真实坐标偏移量为脊柱子图像上该角点的真实坐标与第m-1级角点定位子网络输出的该角点的预测坐标之差经PCA变换后的结果;脊柱角点训练集通过对脊柱中心点训练集进行处理得到:对脊柱中心点训练集中的每一幅脊柱图像,根据其中各脊柱中心点的真实坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的脊柱子图像,并对应标注各脊柱子图像上角点的真实坐标。
进一步优选地,中心点定位子网络包括级联的分割单元、第一主干网络、拼接单元、第一全连接层和第一逆变换单元;
分割单元用于基于上一级输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的子图像;
第一主干网络用于提取各子图像的特征;
拼接单元用于对各子图像的特征进行拼接,得到脊柱图像的特征图;
第一全连接层用于对脊柱图像的特征图进行回归,得到经PCA变换后的各脊柱中心点的坐标偏移量;
第一逆变换单元用于对PCA变换后的各脊柱中心点的坐标偏移量进行主成分分析逆变换,得到各脊柱中心点的中心坐标偏移量;对各脊柱中心点,分别计算其中心坐标偏移量与上一级输入的对应脊柱中心点的预测坐标之和,得到各脊柱中心点的预测坐标。
进一步优选地,中心点定位子网络的个数大于或等于3;
当中心点定位子网络为第一级中心点定位子网络时,其上一级输入的某一脊柱中心点的预测坐标为脊柱中心点训练集中各脊柱图像中对应脊柱中心点的真实坐标的平均值。
进一步优选地,角点定位子网络包括:第二主干网络、第二全连接层和第二逆变换单元;
第二主干网络用于提取脊柱子图像的特征,得到脊柱子图像特征图;
第二全连接层用于对脊柱子图像特征图进行回归,得到脊柱子图像上经PCA变换后的各角点坐标偏移量;
第二逆变换单元用于对脊柱子图像上经PCA变换后的各角点坐标偏移量进行主成分分析逆变换,得到脊柱子图像上的各角点坐标偏移量;对脊柱子图像上的各角点,分别计算其角点坐标偏移量与上一级输入的对应角点的预测坐标之和,得到脊柱子图像上各角点的预测坐标。
进一步优选地,角点定位子网络的个数大于或等于3;
当角点定位子网络为第一级角点定位子网络时,其上一级输入的脊柱子图像上某一角点的预测坐标为脊柱角点训练集中各脊柱子图像上对应角点的真实坐标的平均值。
进一步优选地,第n级中心点定位子网络的损失函数为:
其中,为第n级中心点定位子网络的损失值;N为脊柱中心点训练集中脊柱图像的个数;为第n级中心点定位子网络所得的第i幅脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的经PCA变换后的第i幅脊柱图像中各脊柱中心点的真实坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的PCA的变换矩阵;为第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的真实坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的真实坐标所构成的矢量;为第n-1级中心点定位子网络输出的第i幅脊柱图像中各脊柱中心点的预测坐标所构成的矢量。
进一步优选地,第m级角点定位子网络的损失函数为:
其中,为第m级角点定位子网络的损失值;M为脊柱角点训练集中脊柱子图像的个数;为第m级角点定位子网络所得的第j幅脊柱子图像中经PCA变换后的角点坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的经PCA变换后的第j幅脊柱子图像上各角点的真实坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的PCA的变换矩阵;为第m级角点定位子网络所对应的第j幅脊柱子图像上各角点的真实坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的第j幅脊柱子图像上各角点的真实坐标所构成的矢量;为第m-1级角点定位子网络输出的第j幅脊柱子图像上各角点的预测坐标所构成的矢量。
第二方面,一种脊柱标记点定位方法,包括:
将待定位的脊柱图像输入到采用上述脊柱标记点定位模型的构建方法所得的脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
第三方面,一种脊柱标记点定位系统,包括:
模型构建模块,用于执行本发明第一方面所提供的脊柱标记点定位模型的构建方法,得到脊柱标记点定位模型;
定位模块,用于将待定位的脊柱图像输入到上述脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
第四方面,一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现如上所述的任一种脊柱标记点定位模型的构建方法和/或如上所述的脊柱标记点定位方法。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
1、本发明提供了一种脊柱标记点定位模型的构建方法,在脊柱中心点定位阶段和脊柱角点定位阶段均基于级联的子网络进行多阶段坐标偏移量回归,即采用级联回归的方式逐渐地向真实坐标点对齐,将标记点偏移量的回归分解到多个子阶段去进行,每个子阶段负责回归一小部分偏移量,这种方式能够避免由于初始位置与真实坐标点相距较远而导致的回归失败问题,极大的提高了模型的准确性及稳定性。
2、本发明所提供的脊柱标记点定位模型的构建方法,在坐标偏移量回归的过程中引入了PCA的标记点形状约束,使每级级联的子网络回归经过PCA降维后的位置偏移量,而不是直接回归坐标点,避免了回归过程中由于脊椎间同质化所导致的标记点相互吸引的问题,大大提高了脊柱标记点定位的准确性。
3、本发明所提供的脊柱标记点定位模型的构建方法,在对脊柱中心点坐标进行预测时,考虑到每个中心点的局部信息以及与其他中心点所组成的形状信息的重要性,首先采用第一骨干网络来分别提取每个中心点附近的局部特征,并将所得局部特征按照通道拼接起来,最后将拼接起来的特征通过第一全连接层来回归PCA变换后的目标,准确度更高。
4、本发明提供了一种脊柱标记点定位方法,采用上述脊柱标记点定位模型的构建方法所构建的模型进行脊柱标记点定位,在公开数据集上与其他主流算法进行定量对比后发现,本发明所提供的方法在脊柱标记点的定位误差上要比其他算法低了一个数量级,准确度较高。
附图说明
图1为本发明实施例1提供的脊柱标记点定位模型构建方法的流程图;
图2为本发明实施例1提供的脊柱标记点定位模型的结构示意图;
图3为本发明实施例1提供的中心点定位子网络的结构示意图;
图4为本发明实施例2提供的中心点定位网络中级数依次增加的中心点定位网络所得的脊柱中心点定位的结果图;
图5为本发明实施例2提供的角点定位网络中级数依次增加的角点定位子网络所得的脊柱角点定位的结果图;
图6为本发明实施例2提供的采用不同脊柱标记点定位方法进行标记点定位所得的可视化结果;其中,(a)为采用直接回归坐标点的方式进行脊柱标记点定位所得的可视化结果;(b)为采用基于热图回归的方法进行标记点定位所得的可视化结果;(c)为采用本发明所提供的方法进行标记点定位所得的可视化结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1、
一种脊柱标记点定位模型的构建方法,如图1所示,包括以下步骤:
S1、搭建脊柱标记点定位模型;
具体地,如图2所示,脊柱标记点定位模型包括中心点定位网络、分割模块、角点定位网络和组合模块;中心点定位网络包括多个级联的中心点定位子网络;角点定位网络包括多个级联的角点定位子网络;中心点定位子网络和角点定位子网络均为基于CNN的网络。
中心点定位网络:
中心点定位网络用于基于级联的中心点定位子网络对脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量进行多级回归,以对脊柱图像中各脊柱中心点的坐标进行预测;
具体地,中心点定位子网络的个数大于或等于3,个数优选为3。如图3所示,每一级中心点定位子网络均包括级联的分割单元、第一主干网络、拼接单元、第一全连接层和第一逆变换单元;
分割单元用于基于上一级输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的子图像。为了学习更多的纹理特征和更少的噪声信息,本发明只在上一级输入的各脊柱中心点的预测坐标附近提取特征(如图3中的黑色方框所示),脊柱图像中脊柱有17个中心点,故采用分割单元将脊柱图像分割成17个以各脊柱中心点预测坐标为中心的预设大小的子图像。其中,当中心点定位子网络为第一级中心点定位子网络时,其上一级输入的某一脊柱中心点的预测坐标为脊柱图像中各脊柱中心点的初始坐标,记为具体地,脊柱中心点的初始坐标为脊柱中心点训练集中各脊柱图像中对应脊柱中心点的真实坐标的平均值,即其中,N为脊柱中心点训练集中脊柱图像的个数;为脊柱中心点训练集中第i幅脊柱图像中各脊柱中心点的真实坐标。
第一主干网络用于提取各子图像的特征;具体地,采用第一主干网络提取17个大小为C×H×W的特征图,C为通道数,H和W为特征图的高度和宽度。其中,第一主干网络为卷积神经网络,可以为MobileNet-V2或Resnet-50等常用特征网络。
拼接单元用于对各子图像的特征进行拼接,得到脊柱图像的特征图;本实施例中将各子图像的特征按通道进行拼接,得到脊柱图像的特征图。由于每个中心点的局部信息和其他中心点附近的形状上下文信息都很重要,因此我们将这17个子图像特征图逐通道拼接起来,然后通过第一全连接层回归PCA变换后的坐标偏移量。
第一全连接层用于对脊柱图像的特征图进行回归,得到经PCA变换后的各脊柱中心点的坐标偏移量;
第一逆变换单元用于对PCA变换后的各脊柱中心点的坐标偏移量进行主成分分析逆变换,得到各脊柱中心点的中心坐标偏移量;对各脊柱中心点,分别计算其中心坐标偏移量与上一级输入的对应脊柱中心点的预测坐标之和,得到各脊柱中心点的预测坐标。
分割模块:
分割模块用于根据中心点定位网络输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的预设大小的脊柱子图像,并输出至角点定位网络中;
角点定位网络:
角点定位网络用于基于级联的角点定位子网络对脊柱子图像上经PCA变换后的各角点坐标偏移量进行多级回归,以对脊柱子图像上各角点的坐标进行预测;
具体地,角点定位子网络的个数大于或等于3,个数优选为3;其中,角点定位子网络包括:第二主干网络、第二全连接层和第二逆变换单元;
第二主干网络用于提取脊柱子图像的特征,得到脊柱子图像特征图;第二主干网络为卷积神经网络,可以为MobileNet-V2或Resnet-50等常用特征提取网络。
第二全连接层用于对脊柱子图像特征图进行回归,得到脊柱子图像上经PCA变换后的各角点坐标偏移量;
第二逆变换单元用于对脊柱子图像上经PCA变换后的各角点坐标偏移量进行主成分分析逆变换,得到脊柱子图像上的各角点坐标偏移量;对脊柱子图像上的各角点,分别计算其角点坐标偏移量与上一级输入的对应角点的预测坐标之和,得到脊柱子图像上各角点的预测坐标。其中,当角点定位子网络为第一级角点定位子网络时,其上一级输入的脊柱子图像上某一角点的预测坐标为该角点的初始坐标,取值为脊柱角点训练集中各脊柱子图像上对应角点的真实坐标的平均值。
角点定位子网络与中心点定位子网络结构类似,不同的是,角点定位子网络中不包含分割单元和拼接单元;每幅脊柱子图像中,角点的个数为4个。
组合模块:
组合模块用于基于角点定位网络输入的各脊柱子图像上各角点的预测坐标,得到脊柱图像上的各角点坐标;具体地,对所得的各脊柱子图像上各角点的预测坐标变化到脊柱图像坐标系上,得到脊柱图像上的各角点坐标。
S2、将预采集好的脊柱中心点训练集输入到中心点定位网络中,依次最小化中心点定位网络中的各级中心点定位子网络的损失函数,以对中心点定位网络进行训练;将预采集好的脊柱角点训练集输入到角点定位网络中,依次最小化角点定位网络中各级角点定位子网络的损失函数,以对角点定位网络进行训练,从而得到预训练好的脊柱标记点定位模型;
中心点定位子网络的损失函数:
在本实施例中,第n级中心点定位子网络的回归目标是真实坐标与上一级输入的预测坐标之间的偏移(即脊柱中心点的真实坐标偏移量),利用L1损失函数来最小化第n级中心点定位子网络的预测的结果与其降维后的回归目标之间的差异。具体地,第n级中心点定位子网络的损失函数为:
其中,为第n级中心点定位子网络的损失值;N为脊柱中心点训练集中脊柱图像的个数;为第n级中心点定位子网络所得的第i幅脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的经PCA变换后的第i幅脊柱图像中各脊柱中心点的真实坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的PCA的变换矩阵;为第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的真实坐标偏移量所构成的矢量;为第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的真实坐标所构成的矢量;为第n-1级中心点定位子网络输出的第i幅脊柱图像中各脊柱中心点的预测坐标所构成的矢量。
需要说明的是,第n级中心点定位子网络的损失函数用于衡量第n级中心点定位子网络所得的脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第n级中心点定位子网络所对应的经PCA变换后的某一脊柱中心点的真实坐标偏移量为该脊柱中心点的真实坐标与第n-1级中心点定位子网络输出的该脊柱中心点的预测坐标之差经PCA变换后的结果;脊柱中心点训练集包括多个脊柱图像以及各脊柱图像中各脊柱中心点的真实坐标。
进一步地,为了去掉冗余的信息,使用PCA来对第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的真实坐标偏移量所构成的矢量进行降维。在大小为N的脊柱中心点训练集,得到一个P×N的矩阵其中P是的维度。的协方差矩阵C可以由下式表示:
然后计算协方差矩阵C的特征值及其对应的特征向量,它们满足下式:
λjqj=Cqj
对应地,在第n级中心点定位子网络的第一逆变换单元中,第n级中心点定位子网络所对应的第i幅脊柱图像中各脊柱中心点的坐标偏移量所构成的矢量可以由PCA变换矩阵矩阵的转置计算而获得,即最后,计算得到第n级中心点定位子网络所得的第i幅脊柱图像中各脊柱中心点的预测坐标所构成的矢量为
角点定位子网络的损失函数:
其中,为第m级角点定位子网络的损失值;M为脊柱角点训练集中脊柱子图像的个数;为第m级角点定位子网络所得的第j幅脊柱子图像中经PCA变换后的角点坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的经PCA变换后的第j幅脊柱子图像上各角点的真实坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的PCA的变换矩阵;为第m级角点定位子网络所对应的第j幅脊柱子图像上各角点的真实坐标偏移量所构成的矢量;为第m级角点定位子网络所对应的第j幅脊柱子图像上各角点的真实坐标所构成的矢量;为第m-1级角点定位子网络输出的第j幅脊柱子图像上各角点的预测坐标所构成的矢量。
需要说明的是,第m级角点定位子网络的损失函数用于衡量第m级角点定位子网络所得的脊柱子图像上经PCA变换后的角点坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第m级角点定位子网络所对应的经PCA变换后的某一角点的真实坐标偏移量为脊柱子图像上该角点的真实坐标与第m-1级角点定位子网络输出的该角点的预测坐标之差经PCA变换后的结果;脊柱角点训练集通过对脊柱中心点训练集进行处理得到:对脊柱中心点训练集中的每一幅脊柱图像,根据其中各脊柱中心点的真实坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的脊柱子图像,并对应标注各脊柱子图像上角点的真实坐标。
相关技术特征同中心点定位子网络,这里不做赘述。
本实施例中脊柱标记点定位方法分为脊柱中心点定位和脊柱角点定位两个步骤。第一步是训练一个三级级联的中心点定位子网络来定位脊柱的中心点。具体地,我们将17个初始点送入三级级联的中心点定位子网络中,每级中心点定位子网络都会输出17个坐标点来作为下一级中心点定位子网络的输入,利用级联回归的方式逐步更新这17个脊柱中心点。第二步是训练另外一个三级级联的角点定位子网络来定位脊柱的角点。在经过第一步的脊柱中心点定位后,每一节脊椎的位置也大致确定,我们使用另外一个三级级联的角点定位子网络来定位每一节脊椎的四个角点,即最终回归68(17×4)个脊柱标记点。在整个任务中,一共要回归68个角点,然而其中大部分是冗余的。例如,每个脊椎上的点大致形成一个矩形,多个脊椎可以拟合成一条曲线。在标记点回归任务中,回归目标越冗余,失去形状约束的可能性就越大,为了去掉这些冗余的信息,本发明通过PCA对各级子网络的回归目标进行降维,提取潜在的形状约束,大大提高了定位的准确性。
综上,本发明在脊柱中心点定位阶段和脊柱角点定位阶段均基于级联的子网络进行多阶段坐标偏移量回归,并引入PCA的标记点形状约束,使每级级联的子网络回归经过PCA降维后的位置偏移量,而不是直接回归坐标点,避免了回归过程中由于脊椎间同质化所导致的标记点相互吸引的问题,大大提高了脊柱标记点定位的准确性。
实施例2、
一种脊柱标记点定位方法,包括:
将待定位的脊柱图像输入到采用实施例1所述脊柱标记点定位模型的构建方法所得的脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
相关技术特征同实施例1,这里不做赘述。
进一步地,如图4所示为中心点定位网络中级数依次增加的中心点定位网络所得的脊柱中心点定位的结果图;如图5所示为角点定位网络中级数依次增加的角点定位子网络所得的脊柱角点定位的结果图;其中,黑圈表示预测点位置,数字表示预测点坐标与真实坐标之间的均方误差MSE。由图可见,随着级联级数的增加,预测的点也越来越接近真实坐标。当各子网络的级数为3时,预测坐标与真实坐标最为接近,因此本实施例选择3级级联网络分别提取脊柱的中心点和角点。
为了进一步证明本发明的所提供的脊柱标记点定位方法的性能,在相同的公开数据集上将本发明所提供的脊柱标记点定位方法与现有的几种定位方法进行比较,所得均方误差的比较结果如表1所示:
表1
方法 | 误差 |
S<sup>2</sup>VR | 6.0e-3 |
Convwithdense | 7.1e-2 |
BoostNet | 4.6e-3 |
SLSN(基于热图的回归方法) | 3.9e-3 |
本发明 | 7.2e-4 |
从表1可以看出,相比与其他方法,本发明所提供的脊柱标记点定位方法的均方误差最低,比其他方法低一个数量级。如图6所示,图(a)-图(c)为分别采用直接回归坐标点的方式进行脊柱标记点定位、采用基于热图回归的方法进行标记点定位以及采用本发明所提供的方法进行标记点定位所得的可视化结果;其中,黑圈表示预测点位置。从图中可以看出,本发明所提供的方法相比直接回归坐标点和基于热图回归的方法,预测的结果与真实坐标更接近,准确度更高。
实施例3、
一种脊柱标记点定位系统,包括:
模型构建模块,用于执行本发明实施例1所提供的脊柱标记点定位模型的构建方法,得到脊柱标记点定位模型;
定位模块,用于将待定位的脊柱图像输入到上述脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
相关技术特征同实施例1,这里不做赘述。
实施例4、
一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现实施例1所述的脊柱标记点定位模型的构建方法和/或实施例2所述的脊柱标记点定位方法。
相关技术特征同实施例1和实施例2,这里不做赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种脊柱标记点定位模型的构建方法,其特征在于,包括以下步骤:
S1、搭建脊柱标记点定位模型;所述脊柱标记点定位模型包括中心点定位网络、分割模块、角点定位网络和组合模块;所述中心点定位网络包括多个级联的中心点定位子网络;所述角点定位网络包括多个级联的角点定位子网络;
所述中心点定位网络用于基于级联的中心点定位子网络对脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量进行多级回归,以对脊柱图像中各脊柱中心点的坐标进行预测;
所述分割模块用于根据所述中心点定位网络输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的脊柱子图像,并输出至所述角点定位网络中;
所述角点定位网络用于基于级联的角点定位子网络对脊柱子图像上经PCA变换后的各角点坐标偏移量进行多级回归,以对脊柱子图像上各角点的坐标进行预测;
所述组合模块用于基于所述角点定位网络输入的各脊柱子图像上各角点的预测坐标,得到脊柱图像上的各角点坐标;
S2、将预采集好的脊柱中心点训练集输入到所述中心点定位网络中,依次最小化所述中心点定位网络中的各级中心点定位子网络的损失函数,以对所述中心点定位网络进行训练;将预采集好的脊柱角点训练集输入到所述角点定位网络中,依次最小化所述角点定位网络中各级角点定位子网络的损失函数,以对所述角点定位网络进行训练,从而得到预训练好的脊柱标记点定位模型;
其中,第n级中心点定位子网络的损失函数用于衡量第n级中心点定位子网络所得的脊柱图像中经PCA变换后的各脊柱中心点的坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第n级中心点定位子网络所对应的经PCA变换后的某一脊柱中心点的真实坐标偏移量为该脊柱中心点的真实坐标与第n-1级中心点定位子网络输出的该脊柱中心点的预测坐标之差经PCA变换后的结果;所述脊柱中心点训练集包括多个脊柱图像以及各脊柱图像中各脊柱中心点的真实坐标;
第m级角点定位子网络的损失函数用于衡量第m级角点定位子网络所得的脊柱子图像上经PCA变换后的角点坐标偏移量与其对应的经PCA变换后的真实坐标偏移量之间的差异;第m级角点定位子网络所对应的经PCA变换后的某一角点的真实坐标偏移量为脊柱子图像上该角点的真实坐标与第m-1级角点定位子网络输出的该角点的预测坐标之差经PCA变换后的结果;所述脊柱角点训练集通过对所述脊柱中心点训练集进行处理得到:对所述脊柱中心点训练集中的每一幅脊柱图像,根据其中各脊柱中心点的真实坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的脊柱子图像,并对应标注各脊柱子图像上角点的真实坐标。
2.根据权利要求1所述的脊柱标记点定位模型的构建方法,其特征在于,所述中心点定位子网络包括级联的分割单元、第一主干网络、拼接单元、第一全连接层和第一逆变换单元;
所述分割单元用于基于上一级输入的各脊柱中心点的预测坐标对脊柱图像进行裁剪,得到以各脊柱中心点预测坐标为中心的子图像;
所述第一主干网络用于提取各子图像的特征;
所述拼接单元用于对各子图像的特征进行拼接,得到脊柱图像的特征图;
所述第一全连接层用于对脊柱图像的特征图进行回归,得到经PCA变换后的各脊柱中心点的坐标偏移量;
所述第一逆变换单元用于对PCA变换后的各脊柱中心点的坐标偏移量进行主成分分析逆变换,得到各脊柱中心点的中心坐标偏移量;对各脊柱中心点,分别计算其中心坐标偏移量与上一级输入的对应脊柱中心点的预测坐标之和,得到各脊柱中心点的预测坐标。
3.根据权利要求2所述的脊柱标记点定位模型的构建方法,其特征在于,所述中心点定位子网络的个数大于或等于3;
当所述中心点定位子网络为第一级中心点定位子网络时,其上一级输入的某一脊柱中心点的预测坐标为所述脊柱中心点训练集中各脊柱图像中对应脊柱中心点的真实坐标的平均值。
4.根据权利要求1所述的脊柱标记点定位模型的构建方法,其特征在于,所述角点定位子网络包括:第二主干网络、第二全连接层和第二逆变换单元;
所述第二主干网络用于提取脊柱子图像的特征,得到脊柱子图像特征图;
所述第二全连接层用于对所述脊柱子图像特征图进行回归,得到脊柱子图像上经PCA变换后的各角点坐标偏移量;
所述第二逆变换单元用于对所述脊柱子图像上经PCA变换后的各角点坐标偏移量进行主成分分析逆变换,得到脊柱子图像上的各角点坐标偏移量;对脊柱子图像上的各角点,分别计算其角点坐标偏移量与上一级输入的对应角点的预测坐标之和,得到脊柱子图像上各角点的预测坐标。
5.根据权利要求4所述的脊柱标记点定位模型的构建方法,其特征在于,所述角点定位子网络的个数大于或等于3;
当所述角点定位子网络为第一级角点定位子网络时,其上一级输入的脊柱子图像上某一角点的预测坐标为脊柱角点训练集中各脊柱子图像上对应角点的真实坐标的平均值。
6.根据权利要求1所述的脊柱标记点定位模型的构建方法,其特征在于,所述第n级中心点定位子网络的损失函数为:
7.根据权利要求1所述的脊柱标记点定位模型的构建方法,其特征在于,所述第m级角点定位子网络的损失函数为:
8.一种脊柱标记点定位方法,其特征在于,包括:
将待定位的脊柱图像输入到采用权利要求1-7任意一项所述脊柱标记点定位模型的构建方法所得的脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
9.一种脊柱标记点定位系统,其特征在于,包括:
模型构建模块,用于执行权利要求1-7任意一项所述的脊柱标记点定位模型的构建方法,得到脊柱标记点定位模型;
定位模块,用于将待定位的脊柱图像输入到所述脊柱标记点定位模型中,得到脊柱图像上的各角点坐标。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现权利要求1-7任意一项所述的脊柱标记点定位模型的构建方法和/或权利要求8所述的脊柱标记点定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110934019.3A CN113781557B (zh) | 2021-08-13 | 2021-08-13 | 一种脊柱标记点定位模型的构建方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110934019.3A CN113781557B (zh) | 2021-08-13 | 2021-08-13 | 一种脊柱标记点定位模型的构建方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113781557A true CN113781557A (zh) | 2021-12-10 |
CN113781557B CN113781557B (zh) | 2024-02-06 |
Family
ID=78837785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110934019.3A Active CN113781557B (zh) | 2021-08-13 | 2021-08-13 | 一种脊柱标记点定位模型的构建方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781557B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
CN113034495A (zh) * | 2021-04-21 | 2021-06-25 | 上海交通大学 | 一种脊柱影像分割方法、介质及电子设备 |
CN113223072A (zh) * | 2021-03-31 | 2021-08-06 | 首都医科大学附属北京朝阳医院 | 一种脊柱Cobb角测量方法和系统 |
-
2021
- 2021-08-13 CN CN202110934019.3A patent/CN113781557B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
CN113223072A (zh) * | 2021-03-31 | 2021-08-06 | 首都医科大学附属北京朝阳医院 | 一种脊柱Cobb角测量方法和系统 |
CN113034495A (zh) * | 2021-04-21 | 2021-06-25 | 上海交通大学 | 一种脊柱影像分割方法、介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113781557B (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yasnoff et al. | Error measures for scene segmentation | |
US6804683B1 (en) | Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database | |
CN110895809B (zh) | 准确提取髋关节影像中关键点的方法 | |
KR20060058147A (ko) | 화상 대조 시스템 및 화상 대조 방법 | |
DE112018000298T5 (de) | System und verfahren zur poseninvarianten gesichtsausrichtung | |
US20230043026A1 (en) | Learning-based active surface model for medical image segmentation | |
CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
US20080260254A1 (en) | Automatic 3-D Object Detection | |
JP2001155019A (ja) | 類似画像検索装置 | |
CN113223072A (zh) | 一种脊柱Cobb角测量方法和系统 | |
CN107680107B (zh) | 一种基于多图谱的扩散张量磁共振图像的自动分割方法 | |
CN109359534B (zh) | 一种三维物体几何特征提取方法及系统 | |
CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及系统 | |
CN116452499A (zh) | 一种基于Unet网络的腰椎失稳与滑脱诊断系统 | |
CN117557804A (zh) | 联合目标结构嵌入和多层次特征融合的多标签分类方法 | |
CN113781557B (zh) | 一种脊柱标记点定位模型的构建方法及应用 | |
EP1828980B1 (en) | Optimized image registration using composite registration vectors | |
CN109800702B (zh) | 指静脉识别的快速比对方法及计算机可读取的存储介质 | |
CN114240844A (zh) | 一种医学图像中无监督的关键点定位和目标检测方法 | |
CN112729275A (zh) | 一种利用因子分析的卫星反演图重力适配区选取方法 | |
Abboud et al. | Sparse Bayesian Networks: Efficient Uncertainty Quantification in Medical Image Analysis | |
CN118154728B (zh) | 动态视角体育赛事场况俯瞰图实时生成方法 | |
CN118447016B (zh) | 基于自监督学习和几何约束的脑mri标志点检测方法 | |
CN112215814B (zh) | 基于3dhog辅助卷积神经网络的前列腺图像分割方法 | |
CN117672472B (zh) | 一种基于腹部ct影像的对称标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |