CN113034495A - 一种脊柱影像分割方法、介质及电子设备 - Google Patents

一种脊柱影像分割方法、介质及电子设备 Download PDF

Info

Publication number
CN113034495A
CN113034495A CN202110431840.3A CN202110431840A CN113034495A CN 113034495 A CN113034495 A CN 113034495A CN 202110431840 A CN202110431840 A CN 202110431840A CN 113034495 A CN113034495 A CN 113034495A
Authority
CN
China
Prior art keywords
training
vertebra
spine
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110431840.3A
Other languages
English (en)
Other versions
CN113034495B (zh
Inventor
郑国焱
陶蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110431840.3A priority Critical patent/CN113034495B/zh
Publication of CN113034495A publication Critical patent/CN113034495A/zh
Application granted granted Critical
Publication of CN113034495B publication Critical patent/CN113034495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

本发明提供一种脊柱影像分割方法、介质及电子设备。所述脊柱影像分割方法包括：获取脊柱序列影像；根据所述脊柱序列影像获取三维影像体块；利用一椎骨中心点定位网络对所述三维影像体块进行处理，以获取椎骨内切球检测框，所述椎骨中心点定位网络为一训练好的第一机器学习模型；利用一椎骨中心点细化网络对所述椎骨内切球检测框和所述脊柱序列影像进行处理，以获取精细椎骨中心点坐标，所述椎骨中心点细化网络为一训练好的第二机器学习模型；利用一椎骨分割网络对所述精细椎骨中心点坐标和所述三维影像体块进行处理，以获取脊柱掩膜，所述椎骨分割网络为一训练好的第三机器学习模型。所述脊柱分割方法能够实现精确地脊柱定位和分割。

Description

一种脊柱影像分割方法、介质及电子设备
技术领域
本发明涉及一种图像处理方法，特别是涉及一种脊柱影像分割方法、介质及电子设备。
背景技术
在医学领域，脊柱结构的精确识别和分割是对脊柱相关疾病进行定性和定量分析的基础。通过提取脊柱区域的影像学特征，并结合脊柱的解剖学先验知识从而实现脊柱的自动识别和分割，可以在慢病筛查、疾病诊断、手术规划和术后评估等多个环节为临床医疗提供辅助。然而，发明人在实际应用中发现，脊柱是由大量相似单元构成的特殊链式结构，且脊柱影像存在个体差异较大、摄片参数不统一等问题，现有技术难以实现精确地脊柱定位和分割。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种脊柱影像分割方法、介质及电子设备，用于解决现有技术难以实现精确地脊柱定位和分割的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种脊柱影像分割结果，所述脊柱影像分割方法包括：获取脊柱序列影像；根据所述脊柱序列影像获取三维影像体块；利用一椎骨中心点定位网络对所述三维影像体块进行处理，以获取椎骨内切球检测框，其中，所述椎骨中心点定位网络为一训练好的第一机器学习模型；利用一椎骨中心点细化网络对所述椎骨内切球检测框和所述脊柱序列影像进行处理，以获取精细椎骨中心点坐标，其中，所述椎骨中心点细化网络为一训练好的第二机器学习模型；利用一椎骨分割网络对所述精细椎骨中心点坐标和所述三维影像体块进行处理，以获取脊柱掩膜，其中，所述椎骨分割网络为一训练好的第三机器学习模型。
于所述第一方面的一实施例中，在获取所述三维影像体块以前，所述脊柱影像分割方法还包括：对所述脊柱序列影像进行预处理，以获取空间分辨率和坐标系一致的脊柱序列影像。
于所述第一方面的一实施例中，所述椎骨中心点定位网络的训练方法包括：获取训练数据，所述训练数据包括训练序列影像、所述训练序列影像中的椎骨类别以及所述训练序列影像中的椎骨中心点位置坐标；根据所述训练序列影像获取多个训练三维影像体块；根据所述训练序列影像中的椎骨类别和椎骨中心点位置坐标，获取所述训练序列影像的金标准内切球检测框；利用所述训练三维影像体块和所述金标准内切球检测框对所述第一机器学习模型进行训练，以获取所述椎骨中心点定位网络。
于所述第一方面的一实施例中，所述椎骨中心点定位网络的训练方法还包括：对所述训练三维影像体块进行增广处理。
于所述第一方面的一实施例中，所述椎骨中心点细化网络的训练方法包括：利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框；根据所述训练内切球检测框获取训练高斯热力图；根据所述训练高斯热力图和所述训练序列影像获取两通道体块训练图像；根据所述金标准内切球检测框的中心点坐标和半径获取金标准高斯热力图；利用所述两通道体块训练图像和所述金标准高斯热力图对所述第二机器学习模型进行训练，以获取所述椎骨中心点细化网络。
于所述第一方面的一实施例中，利用所述椎骨中心点细化网络对所述椎骨内切球检测框和脊柱序列影像进行处理，以获取所述精细椎骨中心点坐标的实现方法包括：根据所述椎骨内切球检测框生成第一高斯热力图；根据所述第一高斯热力图和所述脊柱序列影像获取一两通道体块图像；利用所述椎骨中心点细化网络对所述两通道体块图像进行处理，以获取第二高斯热力图；根据所述第二高斯热力图获取所述精细椎骨中心点坐标。
于所述第一方面的一实施例中，所述训练数据还包括所述训练序列影像的椎骨分割掩膜，所述椎骨分割网络的训练方法包括：利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框；利用所述椎骨中心点细化网络对所述训练内切球检测框和所述训练序列影像进行处理，以获取椎骨中心点训练坐标；利用所述椎骨中心点训练坐标和所述训练序列影像的椎骨分割掩膜对所述第三机器学习模型进行处理，以获取所述椎骨分割网络。
于所述第一方面的一实施例中，所述椎骨中心点定位网络包括预测分支、级联的深度卷积网络和基于自注意力机制的深度语言模型，且所述深度卷积网络和所述深度语言模型采用跳层连接的方式相叠加。
本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面任一项所述的脊柱影像分割方法。
本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面任一项所述的脊柱影像分割方法；显示器，与所述处理器和所述存储器通信相连，用于显示所述脊柱影像分割方法的相关GUI交互界面。
如上所述，本发明所述脊柱影像分割方法、介质及电子设备的一个技术方案具有以下有益效果：
所述脊柱影像分割方法通过将任意显示野的脊柱序列影像拆分为多个三维影像体块，基于此，所述脊柱影像分割方法利用椎骨中心点定位网络粗定位椎骨的中心点位置，利用椎骨中心点细化网络将椎骨的中心点位置进行细化，并基于细化的中心点位置进行椎骨分割，上述三个阶段的输入均为高分辨率的三维影像体块。因此，本发明所述脊柱影像分割方法获取的脊柱掩膜具有较高的精确性，且对脊柱序列影像的要求较低，有利于大规模的临床应用。
附图说明
图1显示为本发明所述脊柱影像分割方法于一具体实施例中的流程图。
图2A显示为本发明所述脊柱影像分割方法于一具体实施例中椎骨中心点定位网络训练阶段的流程图。
图2B显示为本发明所述脊柱影像分割方法于一具体实施例中椎骨中心点定位网络测试阶段的流程图。
图3显示为本发明所述脊柱影像分割方法于一具体实施例中椎骨中心点细化网络训练阶段的流程图。
图4显示为本发明所述脊柱影像分割方法于一具体实施例中获取精细椎骨中心点坐标的流程图。
图5显示为本发明所述脊柱影像分割方法于一具体实施例中椎骨分割网络训练阶段的流程图。
图6显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
600 电子设备
610 存储器
620 处理器
630 显示器
S11～S15 步骤
S21～S28 步骤
S31～S35 步骤
S41～S44 步骤
S51～S53 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
脊柱是由大量相似单元构成的特殊链式结构，且脊柱影像存在个体差异较大、摄片参数不统一等问题，现有技术难以实现精确地脊柱定位和分割。针对这一问题，本发明提供一种脊柱影像分割方法，所述脊柱影像分割方法通过将任意显示野的脊柱序列影像拆分为多个三维影像体块，基于此，所述脊柱影像分割方法利用椎骨中心点定位网络粗定位椎骨的中心点位置，利用椎骨中心点细化网络将椎骨的中心点位置进行细化，并基于细化的中心点位置进行椎骨分割，上述三个阶段的输入均为高分辨率的三维影像体块。因此，本发明所述脊柱影像分割方法获取的脊柱掩膜具有较高的精确性，且对脊柱序列影像的要求较低，有利于大规模的临床应用。
请参阅图1，于本发明的一实施例中，所述脊柱影像分割方法包括：
S11，获取脊柱序列影像，所述脊柱序列影像可以为任意显示野的脊柱CT影像。
S12，根据所述脊柱序列影像获取三维影像体块。具体地，可以根据预设的裁剪窗口大小将所述脊柱序列影像分割为多个所述三维影像体块，所述三维影像体块的尺寸例如为192×192×192。
S13，利用一椎骨中心点定位网络对所述三维影像体块进行处理，以获取椎骨内切球检测框，其中，所述椎骨中心点定位网络为一训练好的第一机器学习模型，所述椎骨内切球检测框可以用球心坐标[xi,yi,zi]和半径ri表示。
S14，利用一椎骨中心点细化网络对所述椎骨内切球检测框和所述脊柱序列影像进行处理，以获取精细椎骨中心点坐标，其中，所述椎骨中心点细化网络为一训练好的第二机器学习模型。所述椎骨中心点细化网络例如为基于3D-UNet的椎骨中心点细化网络。
S15，利用一椎骨分割网络对所述精细椎骨中心点坐标和所述三维影像体块进行处理，以获取脊柱掩膜，其中，所述椎骨分割网络为一训练好的第三机器学习模型。所述椎骨分割网络例如为基于3D-UNet的椎骨分割网络。
考虑到在实际应用中所获取的脊柱序列影像显视野动态范围较大，且摄片参数(包括图像空间分辨率、图像坐标系等)也不统一，为了使脊柱序列影像的参数相一致，在本实施例中，在步骤S12以前，所述脊柱影响分割方法优选为还包括：对所述脊柱序列影像进行预处理，以获取空间分辨率和坐标系一致的脊柱序列影像。具体地，依次执行以下步骤即可实现所述预处理：(a)将脊柱序列影像三个维度的体素间距设置为一相同的标称值；(b)将脊柱序列影像的方向设置为相同坐标系方向；(c)白化操作；(d)将所述脊柱序列影像的灰度值归一化至[-1，1]的区间。
根据以上描述可知，本实施例所述脊柱影像分割方法通过将任意显示野的脊柱序列影像拆分为多个三维影像体块，基于此，所述脊柱影像分割方法利用椎骨中心点定位网络粗定位椎骨的中心点位置，利用椎骨中心点细化网络将椎骨的中心点位置进行细化，并基于细化的中心点位置进行椎骨分割，上述三个阶段的输入均为高分辨率的三维影像体块。因此，本发明所述脊柱影像分割方法获取的脊柱掩膜具有较高的精确性，且对脊柱序列影像的要求较低，有利于大规模的临床应用。
此外，本实施例所述脊柱影像分割方法采用每个椎骨或椎间盘单元的内切球构建具有旋转不变性的球形检测框，相对于传统的矩形检测框，所述球形检测框能够适用于检测倾斜的锥体结构。
于本发明的一实施例中，所述椎骨中心点定位网络的训练方法包括第一训练阶段和第一测试阶段。
请参阅图2A，所述第一训练阶段的具体实现方法包括：
S21，获取训练数据，所述训练数据包括训练序列影像、所述训练序列影像中的椎骨类别以及所述训练序列影像中的椎骨中心点位置坐标。其中，所述训练序列影像中的椎骨类别以及所述训练序列影像中的椎骨中心点位置坐标可以通过人工标注等方式得到。
S22，根据所述训练序列影像获取多个训练三维影像体块，其中，所述训练序列影像可以为任意显示野下的脊柱序列影像。具体地，可以根据预设的裁剪窗口大小将所述训练序列影像分割为多个所述训练三维影像体块。
S23，根据所述训练序列影像中的椎骨类别和椎骨中心点位置坐标，获取所述训练序列影像的金标准内切球检测框。
具体地，令数据集中出现的椎骨类别总数为N，特别地，N＝24，包括7类颈椎、12类胸椎和5类脊椎，每个训练三维影像体块中的椎骨类别数为n，通常情况下n＜＜N。令
Figure BDA0003031707530000061
为一个训练三维影像体块中n个椎骨的金标准集合，包括n个椎骨对应的金标准内切球检测框si(通过所述训练序列影像中的椎骨中心点位置坐标得到)和n个椎骨对应的预测椎骨存在性标签ci(通过所述训练序列影像中的椎骨类别得到)，并且，ci∈{0，1}为判断第i个椎骨是否存在于当前训练三维影像体块的二值化标签，si＝[xi,yi,zi,ri]为第i个椎骨的金标准内切球检测框：球心[xi,yi,zi]为中心三维坐标，半径ri为球心距离椎体表面的最短距离。
对于每个包含n个椎骨的训练三维影像体块，所述椎骨中心点定位网络同时进行N个椎骨的预测，令
Figure BDA0003031707530000062
为所述椎骨中心点定位网络获取的N个精细椎骨中心点坐标的预测结果以及对应椎骨是否存在于当前训练三维影像体块的二值化预测结果，其中，
Figure BDA0003031707530000063
为第i个椎骨是否存在于当前训练三维影像体块的二值化标签预测结果，
Figure BDA0003031707530000064
为第i个椎骨的预测内切球检测框，
Figure BDA0003031707530000065
为球心的预测三维坐标，
Figure BDA0003031707530000066
为内切球检测框的预测半径。
S24，利用所述训练三维影像体块和所述金标准内切球检测框对所述第一机器学习模型进行训练，以获取所述椎骨中心点定位网络。
可选地，所述椎骨中心点定位网络包括级联的深度卷积网络和基于自注意力机制的深度语言模型，且所述深度卷积网络和所述深度语言模型(Transformers)采用跳层连接的方式相叠加。所述深度卷积网络例如为基于三维卷积核的深度卷积网络(如3D CNN)。所述椎骨中心点定位网络的输出进入两条并行的、由多层感知机(Multilayer Perceptron，MLP)构成的预测分支。此时，在对所述椎骨中心点定位网络进行训练时获取损失函数的实现方法包括：
首先，在每次前向传递中，对于每个输入体块，计算关于N个椎骨是否存在于当前体块的存在性判断损失函数Lclass：
Figure BDA0003031707530000071
然后，假设输入体块实际只有n个标记点，将第i个标记点的金标准检测框记作si＝(xi,yi,zi,ri)，模型的预测检测框记作
Figure BDA0003031707530000072
对这n个标记点计算检测框坐标损失函数Lcoords：
Figure BDA0003031707530000073
第三，通过内切球检测框重建立方体检测框，设bi＝(xi,yi,zi,2ri,2ri,2ri)为第i个标记点的金标准立方体检测框，
Figure BDA0003031707530000074
为对应的立方体检测框的预测结果，对这n个标记点计算Giou(generalized interception-over-union，广义交并比)损失函数LGiou：
Figure BDA0003031707530000075
其中，Bi为包括bi和
Figure BDA0003031707530000076
的最小外接矩形。
第四，采用相邻椎骨中心点坐标的L1距离(Edges)进行约束以融合相邻解剖结构的关系，对当前输入体块的n个标记点计算Edges损失函数LEdges:
Figure BDA0003031707530000077
其中，edgesi为相邻椎骨中心点坐标的L1距离的金标准，
Figure BDA0003031707530000078
为对应的相邻椎骨中心点坐标的L1距离的预测结果。
最后，根据上述各种损失函数获得的所述椎骨中心点定位网络的损失函数为：
L＝λclass×Lclass+λcoords×Lcoords+λGiou×LGiou+λEdges×LEdges。
其中，λclass、λcoords、λGiou和λEdges分别是控制损失函数各个组分训练权重的参数，其取值可以根据经验设置，例如分别为1、2、2和1。
可选地，在步骤S23以前，所述椎骨中心点定位网络的训练方法还包括：对所述训练三维影像体块进行增广处理，以获取更多的训练三维影像体块。具体地，可以通过随机执行以下一个或多个操作来实现所述增广处理：(a)对裁剪窗口水平和垂直位置增加随机扰动，以使裁剪窗口在全图范围内随机裁剪体块；(b)对裁剪后的体块随机进行小幅度的随机旋转；(c)对裁剪后的体块随机进行小幅度的随机拉伸；(d)对裁剪后的体块随机进行小幅度的随机三维形变；(e)对裁剪后的体块随机进行小幅度的HU值扰动。
可选地，请参阅图2B，所述第一测试阶段的具体实现方法包括：
S25，获取测试数据，其中，所述测试数据包括测试序列影像、所述测试序列影像中的椎骨类别以及所述测试序列影像中的椎骨中心点位置坐标。
S26，根据所述测试序列影像获取多个测试三维影像体块，并对所述测试三维影像体块进行增广处理，该增广处理具体包括：用固定大小的滑窗沿脊柱区域、垂直方向依次获取三维影像体块，每个三维影像体块重叠若干(例如48)像素。
S27，根据所述测试序列影像中的椎骨类别和椎骨中心点位置坐标，获取所述测试序列影像的金标准内切球检测框。
S28，利用原始的测试三维影像体块和增广处理得到的测试三维影像体块、以及所述测试序列影像的金标准内切球检测框，对所述椎骨中心点定位网络进行测试。具体地，将所述原始的测试三维影像体块和增广处理得到的测试三维影像体块输入加载训练权重的椎骨中心点定位网络。对任意包含n个椎骨的测试三维影像体块，网络同时输出N个精细椎骨中心点坐标、N个椎骨半径和N个椎骨是否存在当前测试三维影像体块的二分类预测，只有椎骨被预测为存在于当前测试三维影像体块时，对应椎骨中心点预测和椎骨半径预测才有效，否则为无效预测；经上一步判断，输出n个精细椎骨中心点坐标和n个椎骨半径。
于本发明的一实施例中，所述椎骨中心点细化网络的训练方法包括第二训练阶段和第二测试阶段。具体地，请参阅图3，所述第二训练阶段的具体实现方法包括：
S31，利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框。
S32，根据所述训练内切球检测框获取训练高斯热力图。具体地，令步骤S31中获取的第i个椎骨的训练内切球检测框为
Figure BDA0003031707530000081
基于所述训练内切球检测框
Figure BDA0003031707530000082
所生成的训练高斯热力图为
Figure BDA0003031707530000083
其中，μi和σi分别为高斯函数Gaussian的均值和方差。
S33，根据所述训练高斯热力图和所述训练序列影像获取两通道体块训练图像。其中，所述两通道体块训练图像的其中一个通道为所述训练高斯热力图，另一个通道为所述训练序列影像。所述两通道体块训练图像的获取方法例如为：将所述训练高斯热力图和所述训练序列影像级联得到双通道影像，并以μi为中心用固定大小窗口对所述双通道影像进行采样以得到预定尺寸的体块，该预定尺寸的体块即为所述两通道体块训练图像，所述预定尺寸例如为[144，144，96]。
S34，根据所述金标准内切球检测框的中心点坐标和半径获取金标准高斯热力图。其中，获取所述金标准高斯热力图的实现方法与步骤S32类似，此处不做过多赘述。
S35，利用所述两通道体块训练图像和所述金标准高斯热力图对所述第二机器学习模型进行训练，以获取所述椎骨中心点细化网络。
可选地，令h和
Figure BDA0003031707530000091
分别为所述金标准高斯热力图和所述训练高斯热力图，二者均为预定尺寸的矩阵，上述训练过程所采用的损失函数例如为：
Figure BDA0003031707530000092
其中，n为所述金标准高斯热力图或所述训练高斯热力图的数量。
可选地，所述第二测试阶段的具体实现方法包括：利用所述椎骨中心点定位网络对所述测试序列影像进行处理，以获取测试内切球检测框，进而获取测试高斯热力图。将所述测试高斯热力图拼接到测试三维影像体块得到两通道体块测试图像；将所述两通道体块测试图像输入加载训练权重的椎骨中心点细化网络，以获取精准的测试高斯热力图。
可选地，请参阅图4，本实施例中利用所述椎骨中心点细化网络对所述椎骨内切球检测框和脊柱序列影像进行处理，以获取所述精细椎骨中心点坐标的实现方法包括：
S41，根据所述椎骨内切球检测框生成第一高斯热力图。其中，获取所述第一高斯热力图的具体实现方式与步骤S32类似，此处不做过多赘述。所述第一高斯热力图为粗略高斯热力图。
S42，根据所述第一高斯热力图和所述脊柱序列影像获取一两通道体块图像。其中，获取所述两通道体块图像的方法与步骤S33类似，此处不做过多赘述。
S43，利用所述椎骨中心点细化网络对所述两通道体块图像进行处理，以获取第二高斯热力图。其中，所述第二高斯热力图为精准高斯热力图。
S44，根据所述第二高斯热力图获取所述精细椎骨中心点坐标。具体地，获取所述第二高斯热力图中数值最大的点的坐标，该坐标即为所述精细椎骨中心点坐标。此外，也可以通过将所述第二高斯热力图输入基于隐马尔科夫模型的后处理模块进行后处理，以得到所述精细椎骨中心点坐标。
于本发明的一实施例中，所述训练数据还包括所述训练序列影像的椎骨分割掩膜。所述椎骨分割网络的训练方法包括第三训练阶段和第三测试阶段。具体地，请参阅图5，所述第三训练阶段的具体实现方法包括：
S51，利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框。
S52，利用所述椎骨中心点细化网络对所述训练内切球检测框和所述训练序列影像进行处理，以获取椎骨中心点训练坐标。
S53，利用所述椎骨中心点训练坐标和所述训练序列影像的椎骨分割掩膜对所述第三机器学习模型进行处理，以获取所述椎骨分割网络。
具体地，利用所述椎骨中心点训练坐标生成精准的训练高斯热力图，并根据所述精准的训练高斯热力图和所述训练脊柱影像获取两通道体块训练图像，将所述两通道体块训练图像和所述训练序列影像的椎骨分割掩膜输入所述椎骨分割网络即可对所述椎骨分割网络进行训练。
可选地，令m和
Figure BDA0003031707530000101
分别为所述训练序列影像的椎骨分割掩膜和所述椎骨分割网络预测得到的椎骨分割掩膜，上述过程中所采用的损失函数例如为LSeg＝LBCE+LDice，其中，
Figure BDA0003031707530000102
n为所述训练序列影像的椎骨分割掩膜的数量。在测试阶段，取预测得到的椎骨分割掩膜
Figure BDA0003031707530000103
为所述椎骨分割网络对第i个解剖结构的预测结果。
在所述第三测试阶段，将所述精准的测试高斯热力图拼接到测试脊柱序列影像后产生两通道体块测试图像；将两通道体块测试图像输入加载训练权重的椎骨分割网络；获取椎骨分割掩膜预测。
基于以上对所述脊柱影像分割方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现图1所示的脊柱影像分割方法。
基于以上对所述脊柱影像分割方法的描述，本发明还提供一种电子设备。具体地，请参阅图6，所述电子设备600包括存储器610、处理器620和显示器630。所述存储器610存储有一计算机程序。所述处理器620与所述存储器610通信相连，调用所述计算机程序时执行图1所示的脊柱影像分割方法。所述显示器630与所述存储器610和所述处理器620通信相连，用于显示所述脊柱影像分割方法的相关GUI交互界面。
本发明所述的脊柱影像分割方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
根据以上描述可知，本发明提供了一种脊柱影像分割方法。所述脊柱影像分割方法针对脊柱影像显示野不统一、图像尺寸较大以及显存占用率高等问题，采用脊柱序列影像的三维影像体块作为网络输入，并基于三维影像体块构建了由多个椎骨中心点构成的一对一集合。例如，在椎骨标记点检测中，所述脊柱影像分割方法首先将任意显示野的脊柱序列影像拆分为尺寸固定的多个三维影像体块；令数据集中出现的椎骨类别总数为N，且单个三维影像体块中的椎骨数量为n，则每一次网络的前向计算中，同时预测包括N个元素的集合
Figure BDA0003031707530000111
通过构建集合
Figure BDA0003031707530000112
所述脊柱影像分割方法强制在每次前向计算中同时进行包括N个椎骨中心点集合的预测。在训练阶段，对于一个输入的三维影像体块，网络同时学习检测框的位置sn和标签cn这两类信息，在预测阶段，只有当标签cn预测为1时才认为第n个椎骨的检测框预测为有效预测。通过此种方式，无论一个三维影像体块中包含多少个椎骨，网络都会预测包括N个元素的集合，以便基于体块学习集合内节点间的结构信息。因此，所述脊柱影像分割方法能够在任意显示野的脊柱序列影像中进行椎骨的准确定位和分割，其对脊柱序列影像的要求较低，有利于实现大规模的临床应用。
此外，相关技术中采用矩形检测框对脊柱进行检测，然而，矩形检测框在检测带有旋转角度的脊柱结构时定位误差较大。针对这一问题，本发明所述脊柱影像分割方法针对椎骨和椎间盘等解剖结构狭长、倾斜的特点，选取具有旋转不变性的内切球检测框对脊椎进行检测。所述内切球检测框是位于椎体或椎间盘中心位置的内切球，通过椎体或椎间盘的金标准分割掩膜计算得到，相较于矩形检测框，所述内切球检测框可以确保待识别的结构区域不受旋转角度影响。
再者，为了让网络可以学习脊柱链式解剖的特点，本发明所述脊柱影像分割方法采用结合深度卷积神经网络和深度语言模型的椎骨中心点定位网络结构，该网络结构由3DCNN、Transformers(编码器-解码器)和预测分支三部分组成，并通过跳层连接将3D CNN的输出和Transformers的输出求和后送入预测分支。此种网络结构能够利用深度CNN将影像学特征映射到特征空间，并利用Transformers编码器自注意力层学习相邻脊柱链式结构单元的相关性以及相邻脊柱链式结构单元的相关性。此外，Transformers的交叉注意力层将特征从特征空间映射为代表不同脊柱解剖结构的几何元素。深度CNN的特征提取能力和深度语言模型(Transformers)的多重自注意力机制结合辅助网络主动学习脊柱链式解剖的特点。
更进一步地，本发明在整体算法流程设计上采用级联的、由粗到细、从定位到分割的三阶段方法设计，其中，第一阶段粗略定位椎骨的中心点位置，第二阶段实现中心点位置的细化，第三阶段实现椎骨分割，且上述三个阶段的输入均为高分辨率的三维影像体块。
利用数据集对本发明所述脊柱影像分割方法进行训练和验证以后得到的结果如下：脊柱椎骨的识别率达到96.7％，，椎骨中心点定位平均误差3.4±2.2mm，椎骨分割Dice为0.914±0.15。因此，本发明所述脊柱影像分割方法具有较高的精确性。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种脊柱影像分割方法，其特征在于，所述脊柱影像分割方法包括：
获取脊柱序列影像；
根据所述脊柱序列影像获取三维影像体块；
利用一椎骨中心点定位网络对所述三维影像体块进行处理，以获取椎骨内切球检测框，其中，所述椎骨中心点定位网络为一训练好的第一机器学习模型；
利用一椎骨中心点细化网络对所述椎骨内切球检测框和所述脊柱序列影像进行处理，以获取精细椎骨中心点坐标，其中，所述椎骨中心点细化网络为一训练好的第二机器学习模型；
利用一椎骨分割网络对所述精细椎骨中心点坐标和所述三维影像体块进行处理，以获取脊柱掩膜，其中，所述椎骨分割网络为一训练好的第三机器学习模型。
2.根据权利要求1所述的脊柱影像分割方法，其特征在于，在获取所述三维影像体块以前，所述脊柱影像分割方法还包括：
对所述脊柱序列影像进行预处理，以获取空间分辨率和坐标系一致的脊柱序列影像。
3.根据权利要求1所述的脊柱影像分割方法，其特征在于，所述椎骨中心点定位网络的训练方法包括：
获取训练数据，所述训练数据包括训练序列影像、所述训练序列影像中的椎骨类别以及所述训练序列影像中的椎骨中心点位置坐标；
根据所述训练序列影像获取多个训练三维影像体块；
根据所述训练序列影像中的椎骨类别和椎骨中心点位置坐标，获取所述训练序列影像的金标准内切球检测框；
利用所述训练三维影像体块和所述金标准内切球检测框对所述第一机器学习模型进行训练，以获取所述椎骨中心点定位网络。
4.根据权利要求3所述的脊柱影像分割方法，其特征在于，所述椎骨中心点定位网络的训练方法还包括：对所述训练三维影像体块进行增广处理。
5.根据权利要求3所述的脊柱影像分割方法，其特征在于，所述椎骨中心点细化网络的训练方法包括：
利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框；
根据所述训练内切球检测框获取训练高斯热力图；
根据所述训练高斯热力图和所述训练序列影像获取两通道体块训练图像；
根据所述金标准内切球检测框的中心点坐标和半径获取金标准高斯热力图；
利用所述两通道体块训练图像和所述金标准高斯热力图对所述第二机器学习模型进行训练，以获取所述椎骨中心点细化网络。
6.根据权利要求5所述的脊柱影像分割方法，其特征在于，利用所述椎骨中心点细化网络对所述椎骨内切球检测框和脊柱序列影像进行处理，以获取所述精细椎骨中心点坐标的实现方法包括：
根据所述椎骨内切球检测框生成第一高斯热力图；
根据所述第一高斯热力图和所述脊柱序列影像获取一两通道体块图像；
利用所述椎骨中心点细化网络对所述两通道体块图像进行处理，以获取第二高斯热力图；
根据所述第二高斯热力图获取所述精细椎骨中心点坐标。
7.根据权利要求3所述的脊柱影像分割方法，其特征在于，所述训练数据还包括所述训练序列影像的椎骨分割掩膜，所述椎骨分割网络的训练方法包括：
利用所述椎骨中心点定位网络对所述训练序列影像进行处理，以获取训练内切球检测框；
利用所述椎骨中心点细化网络对所述训练内切球检测框和所述训练序列影像进行处理，以获取椎骨中心点训练坐标；
利用所述椎骨中心点训练坐标和所述训练序列影像的椎骨分割掩膜对所述第三机器学习模型进行处理，以获取所述椎骨分割网络。
8.根据权利要求1所述的脊柱影像分割方法，其特征在于：所述椎骨中心点定位网络包括预测分支、级联的深度卷积网络和基于自注意力机制的深度语言模型，且所述深度卷积网络和所述深度语言模型采用跳层连接的方式相叠加。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-8任一项所述的脊柱影像分割方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-8任一项所述的脊柱影像分割方法；
显示器，与所述处理器和所述存储器通信相连，用于显示所述脊柱影像分割方法的相关GUI交互界面。
CN202110431840.3A 2021-04-21 2021-04-21 一种脊柱影像分割方法、介质及电子设备 Active CN113034495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110431840.3A CN113034495B (zh) 2021-04-21 2021-04-21 一种脊柱影像分割方法、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110431840.3A CN113034495B (zh) 2021-04-21 2021-04-21 一种脊柱影像分割方法、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113034495A true CN113034495A (zh) 2021-06-25
CN113034495B CN113034495B (zh) 2022-05-06

Family

ID=76457984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110431840.3A Active CN113034495B (zh) 2021-04-21 2021-04-21 一种脊柱影像分割方法、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113034495B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628224A (zh) * 2021-08-09 2021-11-09 南通大学 一种基于三维欧式距离变换的房间分割方法
CN113781557A (zh) * 2021-08-13 2021-12-10 华中科技大学 一种脊柱标记点定位模型的构建方法及应用
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117274772A (zh) * 2023-09-18 2023-12-22 北京大学第三医院（北京大学第三临床医学院） 一种椎骨旋转估计模型的训练方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737250A (zh) * 2011-01-14 2012-10-17 西门子公司 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
US20190287278A1 (en) * 2018-03-16 2019-09-19 General Electric Company Medical image processing method, and computer readable storage medium
CN110599508A (zh) * 2019-08-01 2019-12-20 平安科技（深圳）有限公司 基于人工智能的脊柱影像处理方法及相关设备
CN110852991A (zh) * 2019-10-10 2020-02-28 浙江大学 一种基于3d结合2d的脊椎骨检测方法
CN112184664A (zh) * 2020-09-27 2021-01-05 杭州依图医疗技术有限公司 一种椎骨检测方法及计算机设备
CN112349391A (zh) * 2020-11-10 2021-02-09 山东大学齐鲁医院(青岛) 一种优化肋骨自动标号方法
CN112381805A (zh) * 2020-11-17 2021-02-19 杭州依图医疗技术有限公司 一种医学影像处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737250A (zh) * 2011-01-14 2012-10-17 西门子公司 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统
US20190287278A1 (en) * 2018-03-16 2019-09-19 General Electric Company Medical image processing method, and computer readable storage medium
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN110599508A (zh) * 2019-08-01 2019-12-20 平安科技（深圳）有限公司 基于人工智能的脊柱影像处理方法及相关设备
CN110852991A (zh) * 2019-10-10 2020-02-28 浙江大学 一种基于3d结合2d的脊椎骨检测方法
CN112184664A (zh) * 2020-09-27 2021-01-05 杭州依图医疗技术有限公司 一种椎骨检测方法及计算机设备
CN112349391A (zh) * 2020-11-10 2021-02-09 山东大学齐鲁医院(青岛) 一种优化肋骨自动标号方法
CN112381805A (zh) * 2020-11-17 2021-02-19 杭州依图医疗技术有限公司 一种医学影像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ROMAN JAKUBICEK 等: ""VerSe:A vertebrae labelling and segmentation benchmark for multi-detector CT images"", 《IEEE》 *
崔浩龙: ""基于深度学习的椎管分割、重建与疾病诊断"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陶永鹏等: "随机森林和水平集的椎骨CT分割方法", 《小型微型计算机系统》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628224A (zh) * 2021-08-09 2021-11-09 南通大学 一种基于三维欧式距离变换的房间分割方法
CN113628224B (zh) * 2021-08-09 2023-12-19 南通大学 一种基于三维欧式距离变换的房间分割方法
CN113781557A (zh) * 2021-08-13 2021-12-10 华中科技大学 一种脊柱标记点定位模型的构建方法及应用
CN113781557B (zh) * 2021-08-13 2024-02-06 华中科技大学 一种脊柱标记点定位模型的构建方法及应用
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN116958556B (zh) * 2023-08-01 2024-03-19 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117274772A (zh) * 2023-09-18 2023-12-22 北京大学第三医院（北京大学第三临床医学院） 一种椎骨旋转估计模型的训练方法
CN117274772B (zh) * 2023-09-18 2024-02-20 北京大学第三医院（北京大学第三临床医学院） 一种椎骨旋转估计模型的训练方法

Also Published As

Publication number Publication date
CN113034495B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN113034495B (zh) 一种脊柱影像分割方法、介质及电子设备
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN110287960A (zh) 自然场景图像中曲线文字的检测识别方法
Hoque et al. Real time bangladeshi sign language detection using faster r-cnn
CN108399386A (zh) 饼图中的信息提取方法及装置
CN107636659A (zh) 使用深度神经网络检测医学图像中的地标的方法和系统
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
CN107624061A (zh) 具有维度数据缩减的机器视觉
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
CN110991513A (zh) 一种具有类人连续学习能力的图像目标识别系统及方法
CN111192248A (zh) 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
Chen et al. Contrast limited adaptive histogram equalization for recognizing road marking at night based on YOLO models
CN113706562A (zh) 图像分割方法、装置、系统及细胞分割方法
CN111797704B (zh) 一种基于相关物体感知的动作识别方法
CN113096080A (zh) 图像分析方法及系统
CN115205694A (zh) 图像分割方法、装置和计算机可读存储介质
Mozaffari et al. Irisnet: Deep learning for automatic and real-time tongue contour tracking in ultrasound video data using peripheral vision
CN105528791B (zh) 一种面向触摸屏手绘图像的质量评价装置及其评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant