CN115294160B - 面向脊柱影像的轻量化分割网络及其构建方法和应用 - Google Patents

面向脊柱影像的轻量化分割网络及其构建方法和应用 Download PDF

Info

Publication number
CN115294160B
CN115294160B CN202211219356.5A CN202211219356A CN115294160B CN 115294160 B CN115294160 B CN 115294160B CN 202211219356 A CN202211219356 A CN 202211219356A CN 115294160 B CN115294160 B CN 115294160B
Authority
CN
China
Prior art keywords
module
convolution
basic
node module
directed edges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219356.5A
Other languages
English (en)
Other versions
CN115294160A (zh
Inventor
李奇
何思源
武岩
宋雨
高宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202211219356.5A priority Critical patent/CN115294160B/zh
Publication of CN115294160A publication Critical patent/CN115294160A/zh
Application granted granted Critical
Publication of CN115294160B publication Critical patent/CN115294160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

面向脊柱影像的轻量化分割网络及其构建方法和应用，涉及深度学习与医学影像处理领域，该分割网络由十个基础卷积模块、四个节点模块和一个中心节点模块组成，各模块之间通过一种小世界属性的拓扑结构相连；该分割网络的平均聚类系数为0.621，平均路径长度为2.362，网络参数总量为490K。该分割网络的构建方法包括：构建基础卷积模块、节点模块及中心节点模块；构建分割网络的编码侧、中心侧和解码侧结构；以小世界属性的拓扑结构连接各模块；设置分割网络的损失函数。本发明在降低计算成本的同时能在低计算力条件下保持较高的图像分割性能，可在低计算力及嵌入式设备上实现快速部署。

Description

面向脊柱影像的轻量化分割网络及其构建方法和应用
技术领域
本发明涉及深度学习与医学影像处理技术领域，特别是涉及一种面向脊柱影像的轻量化分割网络及其构建方法和应用。
背景技术
随着计算机技术与人工智能技术的发展，作为计算机辅助阅片的重要组成部分，目标组织的分割任务受到了越来越多的重视，特别是基于深度神经网络的脊柱组织图像分割工作，它是计算机辅助阅片的重要基础工作。目前的深度神经网络模型通过对输入的医学影像与对应的组织标签进行多轮迭代训练，来拟合医学影像中待分割目标区域像素与其他像素的区别，进而实现像素级的判断概率，完成医学影像的语义分割工作。常见的用于医学影像的现有分割网络主要有U-net（U型分割网络）、DeepLab（DeepLab语义分割网络）、SegNet（SegNet语义分割网络）等。然而，这些分割网络往往包含着巨量的拟合参数，计算量过大，使得分割网络往往需要较高的计算成本，也就是说，分割网络需要高计算力的GPU才能进行训练，而较高的计算成本也限制了分割网络在实际场景中的应用。
因此，迫切需要研发出一种面向脊柱影像的小世界属性的轻量化分割网络，已期实现在低计算力及嵌入式设备上的快速部署。
发明内容
本发明的目的是提供一种面向脊柱影像的轻量化分割网络及其构建方法和应用，以解决现有针对脊柱影像多类分割网络所存在的计算成本高、无法实现在低计算力及嵌入式设备上的快速部署的问题。
本发明为解决技术问题所采用的技术方案如下：
本发明的面向脊柱影像的轻量化分割网络，由十个基础卷积模块、四个节点模块和一个中心节点模块组成，各模块间通过一种小世界属性的拓扑结构相连；该分割网络的平均聚类系数为0.621，平均路径长度为2.362，网络参数总量为490K。
进一步的，每个基础卷积模块由第一卷积层、第一正则化层、第一LeakyReLU激活函数层、可分离卷积层、第二卷积层和第二正则化层依次线性连接组成；所述第一卷积层的卷积核大小为3×3，所述可分离卷积层的卷积核大小为3×1，所述第二卷积层的卷积核大小为1×1。
进一步的，每个节点模块由第三卷积层和第二LeakyReLU激活函数层通过线性连接组成；所述第三卷积层的卷积核大小为1×1。
进一步的，所述中心节点模块由四个第四卷积层和三个第三LeakyReLU激活函数层依次间隔线性连接组成；所述第四卷积层的卷积核大小均为1×1。
本发明的面向脊柱影像的轻量化分割网络的构建方法，包括以下步骤：
步骤一、构建基础卷积模块、节点模块及中心节点模块；
步骤二、构建编码侧结构、中心侧结构和解码侧结构；
步骤三、以小世界属性的拓扑结构连接各模块；
步骤四、设置分割网络的损失函数。
进一步的，步骤二的具体步骤如下：
所述编码侧结构与解码侧结构分别由两个卷积组构成，每个卷积组均由两个基础卷积模块与一个节点模块组成；所述中心侧结构由一个中心卷积组构成，所述中心卷积组由两个基础卷积模块与一个中心节点模块组成；所述编码侧结构与中心侧结构的卷积组之间的连接均通过最大池化操作实现，所述中心侧结构与解码侧结构的卷积组间的连接通过上采样操作实现。
进一步的，所述编码侧结构中，第一个卷积组包括：第一基础卷积模块、第二基础卷积模块和第一节点模块；第二个卷积组包括：第三基础卷积模块、第四基础卷积模块和第二节点模块；
所述中心侧结构中，中心卷积组包括：第五基础卷积模块、第六基础卷积模块和中心节点模块；
所述解码侧结构中，第一个卷积组包括：第七基础卷积模块、第八基础卷积模块和第三节点模块；第二个卷积组包括：第九基础卷积模块、第十基础卷积模块和第四节点模块。
进一步的，步骤三的具体步骤如下：
设所构建的分割网络为N，则分割网络N为一个有向边的集合，每条有向边代表两个模块的有向连接，即每个卷积组内的两个基础卷积模块与一个节点模块构成有向三角，即第一基础卷积模块与第二基础卷积模块通过有向边(A1,B1)相连，第一基础卷积模块与第一节点模块通过有向边(A1,C1)相连，第二基础卷积模块与第一节点模块通过有向边(B1,C1)相连，以此类推，第一节点模块与第三基础卷积模块通过有向边(C1,A2)相连，第一节点模块与中心节点模块通过有向边(C1,C3)相连，第三基础卷积模块与第四基础卷积模块通过有向边(A2,B2)相连，第三基础卷积模块与第二节点模块通过有向边(A2,C2)相连，第四基础卷积模块与第二节点模块通过有向边(B2,C2)相连，第二节点模块与第五基础卷积模块通过有向边(C2,A3)相连，第二节点模块与中心节点模块通过有向边(C2,C3)相连，第五基础卷积模块与第六基础卷积模块通过有向边(A3,B3)相连，第五基础卷积模块与中心节点模块通过有向边(A3,C3)相连，第六基础卷积模块与中心节点模块通过有向边(B3,C3)相连，中心节点模块与第七基础卷积模块通过有向边(C3,A4)相连，中心节点模块与第三节点模块通过有向边(C3,C4)相连，中心节点模块与第四节点模块通过有向边(C3,C5)相连，第七基础卷积模块与第八基础卷积模块通过有向边(A4,B4)相连，第七基础卷积模块与第三节点模块通过有向边(A4,C4)相连，第八基础卷积模块与第三节点模块通过有向边(B4,C4)相连，第三节点模块与第九基础卷积模块通过有向边(C4,A5)相连，第九基础卷积模块与第十基础卷积模块通过有向边(A5,B5)相连，第九基础卷积模块与第四节点模块通过有向边(A5,C5)相连，第十基础卷积模块与第四节点模块通过有向边(B5,C5)相连；
所构建的分割网络N通过以下公式表示：
N={(A1,B1),(A1,C1),(B1,C1),(C1,A2),(C1,C3),(A2,B2),(A2,C2),(B2,C2),(C2,A3),(C2,C3),(A3,B3),(A3,C3),(B3,C3),(C3,A4),(C3,C4),(C3,C5),(A4,B4),(A4,C4),(B4,C4),(C4,A5),(A5,B5),(A5,C5),(B5,C5)}；
式中，有向边(C1,A2)、(C1,C3)、(C2,A3)、(C2,C3)的连接均通过最大池化操作实现，有向边(C3,A4)、(C3,C4)、(C3,C5)、(C4,A5)的连接均通过上采样操作实现，其余有向边均为层级间的直连。
进一步的，所述编码侧结构中，第一个卷积组内的第一基础卷积模块作为输入模块，用于输入脊柱影像与分割标签；所述解码侧结构中，第二个卷积组内的第四节点模块作为输出模块，该输出模块连接softmax层作为分割概率图的输出端。
进一步的，步骤四的具体步骤如下：
所构建的分割网络的损失函数由二类损失函数拓展而成，设该二类损失函数为Lb，其表达式为：
Figure 334561DEST_PATH_IMAGE001
式中，CE表示交叉熵函数，tversky表示Tversky损失函数；
设脊柱影像中待分割目标区域的像素类别为n，则扩展后的损失函数Lm的表达式为：
Figure 517280DEST_PATH_IMAGE002
式中，i表示第i类分割目标，其对应的二类损失函数为L bi 。
本发明的面向脊柱影像的轻量化分割网络在实现脊柱组织图像多类分割中的应用。
本发明的有益效果是：
本发明通过设计轻量化卷积运算模块，构建小世界属性的网络拓扑结构，依照该网络拓扑结构连接各轻量化卷积运算模块，最终得到一种能够只使用极少拟合参数即可对脊椎影像进行高性能分割的小世界属性轻量化分割网络，本发明与现有常用医学影像分割网络相比，具有以下优点：
(1)本发明的一种面向脊柱影像的轻量化分割网络，其网络参数总量仅为490K，仅为经典分割网络U-net（U型分割网络）参数量的1.5%左右，能够在低计算力及嵌入式设备上实现快速部署；
(2)本发明使用了小世界属性的网络拓扑结构来增强各个轻量化卷积运算模块间的信息传递能力，这使得分割网络在低参数量的情况下也可实现高性能的脊柱影像分割任务；
(3)本发明的一种面向脊柱影像的轻量化分割网络，显著降低了分割时所需要的拟合参数和计算量，在降低计算成本的同时能够在低计算力的条件下保持较高的图像分割性能，对低计算力设备兼容性较高，提升了低计算力及嵌入式设备的的人工神经网络运算效果，扩展了分割网络的实际应用场景，在深度学习与医学影像处理技术领域具有极高的应用和推广价值。
附图说明
图1为本发明的一种面向脊柱影像的轻量化分割网络的结构图。
图2为人体背部矢状位磁共振(MR)影像图。
图3为人工标注的椎间盘区域。
图4为使用现有网络U-net所得结果。
图5为使用现有网络SegNet所得结果。
图6为使用现有网络DeepLab所得结果。
图7为使用本发明的一种面向脊柱影像的轻量化分割网络所得结果。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，本发明的一种面向脊柱影像的轻量化分割网络，主要由十个基础卷积模块（A1、A2、A3、A4、A5、B1、B2、B3、B4、B5）、四个节点模块（C1、C2、C4、C5）以及一个中心节点模块（C3）组成，其中：
每个基础卷积模块主要由第一卷积层、第一正则化层、第一LeakyReLU（带泄露修正线性单元）激活函数层、可分离卷积层、第二卷积层和第二正则化层组成，按照第一卷积层、第一正则化层、第一LeakyReLU激活函数层、可分离卷积层、第二卷积层和第二正则化层的顺序依次线性连接，第一卷积层的卷积核大小为3×3，可分离卷积层的卷积核大小为3×1，第二卷积层的卷积核大小为1×1；
每个节点模块主要由第三卷积层和第二LeakyReLU激活函数层组成，第三卷积层和第二LeakyReLU激活函数层通过线性连接，第三卷积层的卷积核大小为1×1；
中心节点模块主要由四个第四卷积层和三个第三LeakyReLU激活函数层组成，四个第四卷积层和三个第三LeakyReLU激活函数层依次间隔线性连接，其具体连接顺序为按照第一个第四卷积层、第一个第三LeakyReLU激活函数层、第二个第四卷积层、第二个第三LeakyReLU激活函数层、第三个第四卷积层、第三个第三LeakyReLU激活函数层、第四个第四卷积层的顺序依次线性连接，第四卷积层的卷积核大小均为1×1。
本发明的一种面向脊柱影像的轻量化分割网络中，各模块之间依照一种小世界属性的拓扑结构相连，该拓扑结构如图1所示，其平均聚类系数为0.621，平均路径长度为2.362，网络参数总量为490K，满足小世界属性。
本发明的一种面向脊柱影像的轻量化分割网络的构建方法，具体包括以下步骤：
步骤一、构建基础卷积模块、节点模块及中心节点模块；其中，每个基础卷积模块主要由第一卷积层、第一正则化层、第一LeakyReLU激活函数层、可分离卷积层、第二卷积层和第二正则化层组成，按照第一卷积层、第一正则化层、第一LeakyReLU激活函数层、可分离卷积层、第二卷积层和第二正则化层的顺序依次线性连接，第一卷积层的卷积核大小为3×3，可分离卷积层的卷积核大小为3×1，第二卷积层的卷积核大小为1×1；
每个节点模块主要由第三卷积层和第二LeakyReLU激活函数层组成，第三卷积层和第二LeakyReLU激活函数层通过线性连接，第三卷积层的卷积核大小为1×1；
中心节点模块主要由四个第四卷积层和三个第三LeakyReLU激活函数层组成，四个第四卷积层和三个第三LeakyReLU激活函数层依次间隔线性连接，其具体连接顺序为按照第一个第四卷积层、第一个第三LeakyReLU激活函数层、第二个第四卷积层、第二个第三LeakyReLU激活函数层、第三个第四卷积层、第三个第三LeakyReLU激活函数层、第四个第四卷积层的顺序依次线性连接，第四卷积层的卷积核大小均为1×1；
步骤二、本发明的分割网络的拓扑结构分为三部分，即编码侧结构、中心侧结构和解码侧结构；根据步骤一所构建的各模块来构建分割网络的编码侧结构、中心侧结构和解码侧结构，其中，编码侧结构与解码侧结构分别由两个卷积组构成，每个卷积组均由两个基础卷积模块与一个节点模块组成，中心侧结构由一个中心卷积组构成，中心卷积组由两个基础卷积模块与一个中心节点模块组成；同时，编码侧结构与中心侧结构的卷积组之间的连接均通过最大池化操作实现，中心侧结构与解码侧结构的卷积组间的连接通过上采样操作实现；
具体为：
设每个卷积组中的各模块均由一个字母和一个数字组合表示，即：
编码侧结构中，第一个卷积组内的第一基础卷积模块为A1，第二基础卷积模块为B1，第一节点模块为C1；第二个卷积组内的第三基础卷积模块为A2，第四基础卷积模块为B2，第二节点模块为C2；
中心侧结构中，中心卷积组内的第五基础卷积模块为A3，第六基础卷积模块为B3，中心节点模块为C3；
解码侧结构中，第一个卷积组内的第七基础卷积模块为A4，第八基础卷积模块为B4，第三节点模块为C4；第二个卷积组内的第九基础卷积模块为A5，第十基础卷积模块为B5，第四节点模块为C5；
步骤三、各个模块依照一种小世界属性的拓扑结构进行连接组合，具体连接规则如下：
设所构建的分割网络为N，则分割网络N可视为一个有向边的集合，每条有向边代表两个模块的有向连接，即每个卷积组内的两个基础卷积模块与一个节点模块构成有向三角，即第一基础卷积模块A1与第二基础卷积模块B1通过有向边(A1,B1)相连，第一基础卷积模块A1与第一节点模块C1通过有向边(A1,C1)相连，第二基础卷积模块B1与第一节点模块C1通过有向边(B1,C1)相连，以此类推，第一节点模块C1与第三基础卷积模块A2通过有向边(C1,A2)相连，第一节点模块C1与中心节点模块C3通过有向边(C1,C3)相连，第三基础卷积模块A2与第四基础卷积模块B2通过有向边(A2,B2)相连，第三基础卷积模块A2与第二节点模块C2通过有向边(A2,C2)相连，第四基础卷积模块B2与第二节点模块C2通过有向边(B2,C2)相连，第二节点模块C2与第五基础卷积模块A3通过有向边(C2,A3)相连，第二节点模块C2与中心节点模块C3通过有向边(C2,C3)相连，第五基础卷积模块A3与第六基础卷积模块B3通过有向边(A3,B3)相连，第五基础卷积模块A3与中心节点模块C3通过有向边(A3,C3)相连，第六基础卷积模块B3与中心节点模块C3通过有向边(B3,C3)相连，中心节点模块C3与第七基础卷积模块A4通过有向边(C3,A4)相连，中心节点模块C3与第三节点模块C4通过有向边(C3,C4)相连，中心节点模块C3与第四节点模块C5通过有向边(C3,C5)相连，第七基础卷积模块A4与第八基础卷积模块B4通过有向边(A4,B4)相连，第七基础卷积模块A4与第三节点模块C4通过有向边(A4,C4)相连，第八基础卷积模块B4与第三节点模块C4通过有向边(B4,C4)相连，第三节点模块C4与第九基础卷积模块A5通过有向边(C4,A5)相连，第九基础卷积模块A5与第十基础卷积模块B5通过有向边(A5,B5)相连，第九基础卷积模块A5与第四节点模块C5通过有向边(A5,C5)相连，第十基础卷积模块B5与第四节点模块C5通过有向边(B5,C5)相连；因此所构建的分割网络N可通过以下公式表示：
N={(A1,B1),(A1,C1),(B1,C1),(C1,A2),(C1,C3),(A2,B2),(A2,C2),(B2,C2),(C2,A3),(C2,C3),(A3,B3),(A3,C3),(B3,C3),(C3,A4),(C3,C4),(C3,C5),(A4,B4),(A4,C4),(B4,C4),(C4,A5),(A5,B5),(A5,C5),(B5,C5)}；
式中，(A1,B1)、(A1,C1)、(B1,C1)、(C1,A2)、(C1,C3)、(A2,B2)、(A2,C2)、(B2,C2)、(C2,A3)、(C2,C3)、(A3,B3)、(A3,C3)、(B3,C3)、(C3,A4)、(C3,C4)、(C3,C5)、(A4,B4)、(A4,C4)、(B4,C4)、(C4,A5)、(A5,B5)、(A5,C5)、(B5,C5)均表示有向边；其中，有向边(C1,A2)、(C1,C3)、(C2,A3)、(C2,C3)的连接均通过最大池化操作实现，有向边(C3,A4)、(C3,C4)、(C3,C5)、(C4,A5)的连接均通过上采样操作实现，其余有向边均为层级间的直连；
本发明的一种面向脊柱影像的轻量化分割网络可用于面向脊柱影像的多类组织分割任务中，其中，编码侧结构中，第一个卷积组内的第一基础卷积模块A1作为输入模块，用于输入脊柱影像与分割标签；解码侧结构中，第四节点模块C5作为输出模块，该输出模块连接softmax（柔性最大值）层作为分割概率图的输出端；
本发明所构建的分割网络中的卷积模块与节点，是在遵循经典编码器-解码器结构的前提下，依照小世界属性的拓扑结构进行连接的，即具有相对小的平均路径长度（2.362）与高的平均聚类系数（0.621），并能够在低网络参数量（490K）的水平下提高模块间的信息传递能力；
步骤四、设定分割网络的损失函数；该损失函数由二类损失函数拓展而成，设该二类损失函数为Lb，则其表达式为：
Figure 828176DEST_PATH_IMAGE001
式中，CE表示交叉熵函数，tversky表示Tversky损失函数；
设脊柱影像中待分割目标区域的像素类别为n，则扩展后的损失函数Lm的表达式为：
Figure 754544DEST_PATH_IMAGE002
式中，i表示第i类分割目标，其对应的二类损失函数为L bi 。
本发明的一种面向脊柱影像的轻量化分割网络可应用于脊柱组织图像的多类组织分割任务中，该分割网络通过监督训练实现语义分割，训练后的分割模型可通过再部署的方式实现在低计算力及嵌入式设备上的运行，使用时将该分割网络直接部署至低计算力及嵌入式设备中，网络优选使用adam优化器，其学习率最优设定为10-6。
应用对比试验
为了检验本发明的一种面向脊柱影像的轻量化分割网络在实现脊柱组织图像分割中的应用效果，选取现有常用的医学影像分割网络U-net、SegNet、DeepLab作为对比网络，其中U-net的网络参数总量为31.92M、SegNet的网络参数总量为11.74M、DeepLab的网络参数总量为41.07M；训练所使用的数据集为779张人体背部矢状位磁共振(MR)影像图，对应每个组织标签标定了7个椎间盘(T11/T12-L5/S1)区域、8个椎体(T11-S1)区域以及椎管内的脑脊液区域；训练数据占所有数据集的90%，测试数据占所有数据集的10%；学习率为10-6，共训练10期，每期包含2000次迭代。
本发明的一种面向脊柱影像的轻量化分割网络与现有常用医学影像分割网络的对比结果如图2-图7所示；图2为从测试数据中选取的一张人体背部矢状位磁共振(MR)影像图；图3为针对图2进行人工标注的椎间盘区域；图4为使用现有医学影像分割网络U-net对图2所示的人体背部矢状位磁共振(MR)影像图进行分割的结果，其分割评价指标Dice值为0.8211，AUC值为0.8849；图5为使用现有医学影像分割网络SegNet对图2所示的人体背部矢状位磁共振(MR)影像图进行分割的结果，其分割评价指标Dice值为0.7667，AUC值为0.8425；图6为使用现有医学影像分割网络DeepLab对图2所示的人体背部矢状位磁共振(MR)影像图进行分割的结果，其分割效果较差，评价指标Dice值为0.7056，AUC值为0.8159；图7为使用本发明的一种面向脊柱影像的轻量化分割网络对图2所示的人体背部矢状位磁共振(MR)影像图进行分割的结果，其分割质量与U-net基本持平，评价指标Dice值为0.8225，AUC值为0.8839。
综上，本发明的一种面向脊柱影像的轻量化分割网络显著降低了分割时所需要的拟合参数和计算量，在降低计算成本的同时能够在低计算力的条件下保持较高的图像分割性能，提升了低计算力及嵌入式设备的图像分割能力，扩展了分割网络的实际应用场景，在深度学习与医学影像处理技术领域具有极高的应用和推广价值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种面向脊柱影像的轻量化分割网络的应用方法，其特征在于，利用面向脊柱影像的轻量化分割网络在实现脊柱组织图像多类分割中的应用；该面向脊柱影像的轻量化分割网络由十个基础卷积模块、四个节点模块和一个中心节点模块组成，各模块间通过一种小世界属性的拓扑结构相连；该分割网络的平均聚类系数为0.621，平均路径长度为2.362，网络参数总量为490K；
该轻量化分割网络的构建方法包括以下步骤：
步骤一、构建基础卷积模块、节点模块及中心节点模块；
步骤二、构建编码侧结构、中心侧结构和解码侧结构；
所述编码侧结构与解码侧结构分别由两个卷积组构成，每个卷积组均由两个基础卷积模块与一个节点模块组成；所述中心侧结构由一个中心卷积组构成，所述中心卷积组由两个基础卷积模块与一个中心节点模块组成；所述编码侧结构与中心侧结构的卷积组之间的连接均通过最大池化操作实现，所述中心侧结构与解码侧结构的卷积组间的连接通过上采样操作实现；
步骤三、以小世界属性的拓扑结构连接各模块；
设所构建的分割网络为N，则分割网络N为一个有向边的集合，每条有向边代表两个模块的有向连接，即每个卷积组内的两个基础卷积模块与一个节点模块构成有向三角，即第一基础卷积模块(A1)与第二基础卷积模块(B1)通过有向边(A1,B1)相连，第一基础卷积模块(A1)与第一节点模块(C1)通过有向边(A1,C1)相连，第二基础卷积模块(B1)与第一节点模块(C1)通过有向边(B1,C1)相连，以此类推，第一节点模块(C1)与第三基础卷积模块(A2)通过有向边(C1,A2)相连，第一节点模块(C1)与中心节点模块(C3)通过有向边(C1,C3)相连，第三基础卷积模块(A2)与第四基础卷积模块(B2)通过有向边(A2,B2)相连，第三基础卷积模块(A2)与第二节点模块(C2)通过有向边(A2,C2)相连，第四基础卷积模块(B2)与第二节点模块(C2)通过有向边(B2,C2)相连，第二节点模块(C2)与第五基础卷积模块(A3)通过有向边(C2,A3)相连，第二节点模块(C2)与中心节点模块(C3)通过有向边(C2,C3)相连，第五基础卷积模块(A3)与第六基础卷积模块(B3)通过有向边(A3,B3)相连，第五基础卷积模块(A3)与中心节点模块(C3)通过有向边(A3,C3)相连，第六基础卷积模块(B3)与中心节点模块(C3)通过有向边(B3,C3)相连，中心节点模块(C3)与第七基础卷积模块(A4)通过有向边(C3,A4)相连，中心节点模块(C3)与第三节点模块(C4)通过有向边(C3,C4)相连，中心节点模块(C3)与第四节点模块(C5)通过有向边(C3,C5)相连，第七基础卷积模块(A4)与第八基础卷积模块(B4)通过有向边(A4,B4)相连，第七基础卷积模块(A4)与第三节点模块(C4)通过有向边(A4,C4)相连，第八基础卷积模块(B4)与第三节点模块(C4)通过有向边(B4,C4)相连，第三节点模块(C4)与第九基础卷积模块(A5)通过有向边(C4,A5)相连，第九基础卷积模块(A5)与第十基础卷积模块(B5)通过有向边(A5,B5)相连，第九基础卷积模块(A5)与第四节点模块(C5)通过有向边(A5,C5)相连，第十基础卷积模块(B5)与第四节点模块(C5)通过有向边(B5,C5)相连；
所构建的分割网络N通过以下公式表示：
N={(A1,B1),(A1,C1),(B1,C1),(C1,A2),(C1,C3),(A2,B2),(A2,C2),(B2,C2),(C2,A3),(C2,C3),(A3,B3),(A3,C3),(B3,C3),(C3,A4),(C3,C4),(C3,C5),(A4,B4),(A4,C4),(B4,C4),(C4,A5),(A5,B5),(A5,C5),(B5,C5)}；
式中，有向边(C1,A2)、(C1,C3)、(C2,A3)、(C2,C3)的连接均通过最大池化操作实现，有向边(C3,A4)、(C3,C4)、(C3,C5)、(C4,A5)的连接均通过上采样操作实现，其余有向边均为层级间的直连；
所述编码侧结构中，第一个卷积组内的第一基础卷积模块(A1)作为输入模块，用于输入脊柱影像与分割标签；所述解码侧结构中，第二个卷积组内的第四节点模块(C5)作为输出模块，该输出模块连接softmax层作为分割概率图的输出端；
步骤四、设置分割网络的损失函数；
所构建的分割网络的损失函数由二类损失函数拓展而成，设该二类损失函数为Lb，其表达式为：
Figure DEST_PATH_IMAGE002
式中，CE表示交叉熵函数，tversky表示Tversky损失函数；
设脊柱影像中待分割目标区域的像素类别为n，则扩展后的损失函数Lm的表达式为：
Figure DEST_PATH_IMAGE004
式中，i表示第i类分割目标，其对应的二类损失函数为L bi ；
利用面向脊柱影像的轻量化分割网络在实现脊柱组织图像多类分割时，输入的脊柱影像为人体背部矢状位磁共振(MR)影像图，所述分割标签标定了7个椎间盘(T11/T12-L5/S1)区域、8个椎体(T11-S1)区域以及椎管内的脑脊液区域。
2.根据权利要求1所述的一种面向脊柱影像的轻量化分割网络的应用方法，其特征在于，每个基础卷积模块由第一卷积层、第一正则化层、第一LeakyReLU激活函数层、可分离卷积层、第二卷积层和第二正则化层依次线性连接组成；所述第一卷积层的卷积核大小为3×3，所述可分离卷积层的卷积核大小为3×1，所述第二卷积层的卷积核大小为1×1。
3.根据权利要求1所述的一种面向脊柱影像的轻量化分割网络的应用方法，其特征在于，每个节点模块由第三卷积层和第二LeakyReLU激活函数层通过线性连接组成；所述第三卷积层的卷积核大小为1×1。
4.根据权利要求1所述的一种面向脊柱影像的轻量化分割网络的应用方法，其特征在于，所述中心节点模块由四个第四卷积层和三个第三LeakyReLU激活函数层依次间隔线性连接组成；所述第四卷积层的卷积核大小均为1×1。
5.根据权利要求1所述的一种面向脊柱影像的轻量化分割网络的应用方法，其特征在于，所述编码侧结构中，第一个卷积组包括：第一基础卷积模块(A1)、第二基础卷积模块(B1)和第一节点模块(C1)；第二个卷积组包括：第三基础卷积模块(A2)、第四基础卷积模块(B2)和第二节点模块(C2)；
所述中心侧结构中，中心卷积组包括：第五基础卷积模块(A3)、第六基础卷积模块(B3)和中心节点模块(C3)；
所述解码侧结构中，第一个卷积组包括：第七基础卷积模块(A4)、第八基础卷积模块(B4)和第三节点模块(C4)；第二个卷积组包括：第九基础卷积模块(A5)、第十基础卷积模块(B5)和第四节点模块(C5)。
CN202211219356.5A 2022-10-08 2022-10-08 面向脊柱影像的轻量化分割网络及其构建方法和应用 Active CN115294160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219356.5A CN115294160B (zh) 2022-10-08 2022-10-08 面向脊柱影像的轻量化分割网络及其构建方法和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219356.5A CN115294160B (zh) 2022-10-08 2022-10-08 面向脊柱影像的轻量化分割网络及其构建方法和应用

Publications (2)

Publication Number Publication Date
CN115294160A CN115294160A (zh) 2022-11-04
CN115294160B true CN115294160B (zh) 2022-12-16

Family

ID=83833166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219356.5A Active CN115294160B (zh) 2022-10-08 2022-10-08 面向脊柱影像的轻量化分割网络及其构建方法和应用

Country Status (1)

Country Link
CN (1) CN115294160B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260650A (zh) * 2018-11-15 2020-06-09 刘华清 一种脊柱ct序列图像分割方法与系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458813B (zh) * 2019-03-08 2021-03-02 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN113240014B (zh) * 2021-05-18 2022-05-31 长春理工大学 一种二类分割损失函数在实现椎间盘组织图像二类分割中的应用方法
CN114240962B (zh) * 2021-11-23 2024-04-16 湖南科技大学 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法
CN114549396A (zh) * 2021-12-28 2022-05-27 河海大学 一种基于图神经网络的脊椎交互式与自动分割细化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260650A (zh) * 2018-11-15 2020-06-09 刘华清 一种脊柱ct序列图像分割方法与系统

Also Published As

Publication number Publication date
CN115294160A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110232394B (zh) 一种多尺度图像语义分割方法
Liu et al. Multi-objective convolutional learning for face labeling
CN112131395B (zh) 一种基于动态阈值的迭代式知识图谱实体对齐方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN110782462A (zh) 一种基于双流特征融合的语义分割方法
Zhao et al. Unsupervised degradation learning for single image super-resolution
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN109598732B (zh) 一种基于三维空间加权的医学图像分割方法
CN110197217B (zh) 一种基于深度交错融合分组卷积网络的图像分类方法
CN110298841B (zh) 一种基于融合网络的图像多尺度语义分割方法及装置
CN112164077B (zh) 基于自下而上路径增强的细胞实例分割方法
CN111784699B (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
CN112017116B (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN113222818A (zh) 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN110782458A (zh) 一种非对称编码网络的物体图像3d语义预测分割方法
CN112241959A (zh) 基于超像素的注意力机制生成语义分割方法
CN115294160B (zh) 面向脊柱影像的轻量化分割网络及其构建方法和应用
CN110992379A (zh) 一种基于方向超像素的快速图像分割方法
CN110135428A (zh) 图像分割处理方法和装置
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
CN116258871A (zh) 一种基于融合特征的目标网络模型获取方法及装置
CN116434039A (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN114267062B (zh) 人脸解析模型的训练方法、电子设备和存储介质
CN116310324A (zh) 一种基于语义分割的金字塔跨层融合解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant