CN113870289A - 一种解耦分治的面神经分割方法和装置 - Google Patents

一种解耦分治的面神经分割方法和装置 Download PDF

Info

Publication number
CN113870289A
CN113870289A CN202111106992.2A CN202111106992A CN113870289A CN 113870289 A CN113870289 A CN 113870289A CN 202111106992 A CN202111106992 A CN 202111106992A CN 113870289 A CN113870289 A CN 113870289A
Authority
CN
China
Prior art keywords
facial nerve
segmentation
feature
feature map
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111106992.2A
Other languages
English (en)
Other versions
CN113870289B (zh
Inventor
王静
董波
何宏建
蔡秀军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111106992.2A priority Critical patent/CN113870289B/zh
Publication of CN113870289A publication Critical patent/CN113870289A/zh
Priority to PCT/CN2022/076927 priority patent/WO2023045231A1/zh
Priority to US17/802,953 priority patent/US20240203108A1/en
Application granted granted Critical
Publication of CN113870289B publication Critical patent/CN113870289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种解耦分治的面神经分割方法和装置，针对面神经结构小和对比度低的特性，构建了包含特征提取模块、粗分割模块、以及精分割模块的面神经分割模型，利用特征提取模块提取低级特征和多个不同层次的高级特征的基础上，采用粗分割模块对不同层次的高级特征进行面神经特征的全局搜索和融合，再利用精分割模块对融合特征进行解耦得到中心主体特征，综合中心主体特征与低级特征得到边缘细节特征后，对中心主体特征和边缘细节特征进行空间注意力机制特征提取，得到面神经分割图，该方法提升了面神经的自动分割精度和速度，满足机器人人工耳蜗植入术前路径规划需求。

Description

一种解耦分治的面神经分割方法和装置
技术领域
本发明涉及医学图像处理领域，具体地说，涉及一种解耦分治的面神经分割方法和装置。
背景技术
机器人人工耳蜗植入是一种帮助患者恢复听力的自动治疗方法，它依赖于精确的术前规划以避免对关键解剖结构的损坏。耳蜗周围组织结构的识别在术前路径规划中起着至关重要的作用。其中，面神经的损伤可能导致永久性颞面神经麻痹，是耳蜗周围最重要的组织结构，并且与周围组织之间的距离不到1mm。然而，面神经的准确分割面临两大挑战：(1)面神经结构非常小。面神经在CT图像中仅占一个特别小的区域(512×512像素的全脑CT图像，面神经区域仅有9-16个像素点，图像占比0.0034％)。(2)面神经与周围组织结构之间的对比度低。面神经与周围环境的边界通常很模糊，缺乏传统分割方法所需的强对比度。综上所述，自动、准确的面神经分割是机器人人工耳蜗植入术前路径规划中的一大难题。
面神经分割的传统方法依赖于手动提取特征，例如中心线和设置点。这些方法通常训练一个分类器来区分面神经和复杂结构，错误分割率很高。主要是因为面神经区域与周围高度相似区域之间的类间差异较弱，导致人工特征提取的表示能力非常有限，如文献Noble J H,Warren F M,Labadie R F,et al.Automatic segmentation of the facialnerve and chorda tympani using image registration and statistical priors[C]//Medical Imaging 2008:Image Processing.International Society for Optics andPhotonics,2008,6914:69140P。
近年来，随着深度学习的发展，医学图像分析取得了重大突破。尤其是Unet模型，它利用多层次信息重建高分辨率特征图，在少量数据的前提下收敛，推动了医学图像分割的发展。然而，基于U形模型的解码器中的特征，高度依赖于从编码器中提取的特征。这些方法直接将特征从编码器引入到解码器，忽略了不同层次特征聚合的有效性，限制了特征的有效利用并引入了误导性特征，从而导致面神经与其他区域混淆。现有的基于深度学习的面神经分割方法中，如文献Ronneberger O,Fischer P,Brox T.U-net:Convolutionalnetworks for biomedical image segmentation[C]//International Conference onMedical image computing and computer-assisted intervention.Springer,Cham,2015:234-241.所述的采用Unet模型的分割精度Dice系数为0.756，如文献Zhou Z,Siddiquee M M R,Tajbakhsh N,et al.Unet++:A nested u-net architecture formedical image segmentation[M]//Deep learning in medical image analysis andmultimodal learning for clinical decision support.Springer,Cham,2018:3-11.所述的采用Unet++模型的分割精度Dice系数为0.764。
发明内容
鉴于上述，本发明的目的是提供一种解耦分治的面神经分割方法和装置，该方法和装置有效解决了面神经结构小、对比度低对分割的影响，提高了面神经自动分割的精度和速度，满足机器人人工耳蜗植入术前路径规划需求。
实施例提供了一种解耦分治的面神经分割方法，包括以下步骤：
获取并预处理CT影像，得到样本集；
构建面神经分割模型，包括特征提取模块、粗分割模块、以及精分割模块；输入的CT影像样本经过特征提取模块特征提取，得到1个低级特征图和多个不同层次的高级特征图；粗分割模块包括搜索识别单元和金字塔融合单元，多个不同层次的高级特征图并列分别经过搜索识别单元进行全局面神经搜索，得到的多个面神经特征图经过金字塔融合单元融合得到融合特征图；精分割模块包括解耦单元和空间注意力单元，融合特征图经过解耦单元特征空间转换，得到的中心主体特征图与低级特征图结合后得到边缘细节特征图，中心主体特征图与边缘细节特征图分别经过空间注意力单元进行注意力特征提取后，得到的提取结果融合后再经过空间注意力单元处理，得到面神经分割图；
构建损失函数，损失函数包括融合特征图与CT影像样本的原始标签的差异、面神经分割图与CT影像样本的原始标签的差异、中心主体特征图经过空间注意力单元处理的预测结果与主体标签的差异、边缘细节特征图经过空间注意力单元处理的预测结果与细节标签的差异；
采用样本集和损失函数优化面神经分割模型的参数后，利用参数确定的面神经分割模型对输入的CT影像样本进行面部神经分割，得到面神经分割图。
在一个实施例中，所述特征提取模块采用改进的Res2Net50，去掉原始Res2Net50的所有全连接层和最后1个卷积组，剩下的多个卷积组形成改进的Res2Net50，输入的CT影像样本输入至Res2Net50中，第一个卷积组的输出为低级特征图，其他卷积组的输出分别为不同层次的高级特征图。
在一个实施例中，所述搜索识别单元中，对高级特征图的全局面神经搜索过程为：
对高级特征图按照通道分离，得到分离后的特征图；接着利用多分支的操作处理分离后的特征图，第一分支中，分离后的特征图经过卷积操作以转换通道数，在剩下分支中，分离后的特征图经过卷积操作以转换通道数后，再经过非对称卷积操作和扩张卷积操作后，将所有分支的特征图的操作结果融合，实现高级特征图的扩张；对融合结果进行分离的逆运算，实现特征重构，以得到面神经特征图。
在一个实施例中，所述解耦单元中，采用空间转换模型对融合特征图进行特征空间转换，得到中心主体特征图，特征空间转换过程包括参数预测、坐标映射以及像素采样；
其中，参数预测过程：采用卷积层对融合特征图进行变换预测，得到参数矩阵；
坐标映射过程：将参数矩阵中的元素值作为像素点的偏移量，利用偏移量对将处于标准空间网络中的融合特征图的像素点进行坐标映射，以得到新融合特征图；
像素采样过程：采用可微双线性采样机制对新融合特征图进行采样，得到的像素点组成中心主体特征图。
在一个实施例中，所述得到的中心主体特征图与低级特征图结合后得到边缘细节特征图，包括：
低级特征图经过搜索识别单元进行全局面神经搜索后得到面神经特征图，计算中心主体特征图与融合特征图的差值后，差值与面神经特征图拼接后，通过卷积层融合得到边缘细节特征图。
在一个实施例中，所述注意力机制单元中，对输入图进行注意力特征提取过程为：
输入图经过卷积操作和全局平均池化操作后，经过由激活层和全连接层组成的门限机制进一步筛选，然后通过激活函数激活，得到输入图对应的注意力特征提取的预测结果；
其中，输入图为中心主体特征图、边缘细节特征图、中心主体特征图与边缘细节特征图对应的两个注意力特征提取的预测结果的融合结果。
在一个实施例中，CT影像样本的主体标签和细节标签的构建过程为：
将CT影像样本的原始标签I拆分成前景Ifg和背景Ibg，计算属于前景Ifg的像素点p与属于背景Ibg的像素点q之间的距离f(p，q)，则通过以下距离变换函数得到变换后标签I′；
Figure BDA0003272819240000051
对变换后标签I′进行归一化处理，得到归一化标签I″：
Figure BDA0003272819240000052
依据归一化标签I″确定CT影像样本的主体标签Ib和细节标签Id分别为：
Ib＝I*I″ Id＝I*(I-I″)。
在一个实施例中，所述损失函数表示为：
Figure BDA0003272819240000053
L(pi,I)＝Lbce(pi,I,α)+Liou(pi,I,α)
其中，L(·)表示交叉熵损失函数，Liou(·)表示交并比损失函数，pb表示中心主体特征图经过空间注意力单元处理的预测结果，Ib表示主体标签，pd表示边缘细节特征图经过空间注意力单元处理的预测结果，Id表示细节标签，α为权重因子，I表示CT影像样本的原始标签，p1和p2表示分别表示融合特征图与面神经分割图。
在一个实施例中，预处理CT影像包括：采用随机翻转，剪切方式进行数据增强，数据增强后的CT影像形成样本集。
实施例还提供了一种解耦分治的面神经分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述解耦分治的面神经分割方法步骤。
实施例提供的解耦分治的面神经分割方法和装置，具有的有益效果至少包括：
针对面神经结构小和对比度低的特性，构建了包含特征提取模块、粗分割模块、以及精分割模块的面神经分割模型，利用特征提取模块提取低级特征和多个不同层次的高级特征的基础上，采用粗分割模块对不同层次的高级特征进行面神经特征的全局搜索和融合，再利用精分割模块对融合特征进行解耦得到中心主体特征，综合中心主体特征与低级特征得到边缘细节特征后，对中心主体特征和边缘细节特征进行空间注意力机制特征提取，得到面神经分割图，该方法提升了面神经的自动分割精度和速度，满足机器人人工耳蜗植入术前路径规划需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1本发明实施例中解耦分治的面神经分割方法的流程图；
图2为本发明实施例中面神经分割模型的结构图；
图3为本发明实施例中搜索识别单元的结构示意图；
图4为本发明实施例中金字塔融合单元的结构示意图；
图5为本发明实施例中获取主体标签和细节标签的示意图；
图6为本发明实施例中损失函数曲线图；
图7为本发明实施例中分割结果的展示图；
图8为本发明实施例中各方法的分割结果对比图；
图9为本发明实施例中结果指标Dice分数和FLOPs的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
针对面神经结构小和对比度低的特点，为解决传统面神经分割错误分割率高、分割速度低的问题，实施例提供了一种解耦分治的面神经分割方法。
图1本发明实施例中解耦分治的面神经分割方法的流程图。如图1所示，实施例提供的解耦分治的面神经分割方法，主要包括训练和测试两个阶段。首先，将采集的所有CT影像数据随机划分为训练集和测试集。在训练阶段使用训练集进行训练，对于训练集，采用随机翻转，剪切等方式进行数据增强以实现预处理，接着将数据增强后的训练样本输入到面神经分割模型，并更新面神经分割模型的参数。再将训练的面神经分割模型进行验证，对于测试集，采用随机翻转，剪切等方式进行数据增强以实现预处理，使用数据增强后的测试样本输入至面神经分割模型，并且对面神经分割模型输出的预测结果进行评估，以判断面神经分割模型是否是最优模型，如果是，则保存模型参数，不是则不保存模型参数，这样进行迭代更新。在测试阶段，将得到的最优参数加载到面神经分割模型中进行测试，输出预测结果。
图2为本发明实施例中面神经分割模型的结构图。如图2所示，实施例提供的面神经分割模型包括特征提取模块、粗分割模块、以及精分割模块。
特征提取模块用于对输入的CT影像样本进行特征提取，得到1个低级特征图和多个不同层次的高级特征图。实施例中，采用改进的Res2Net50作为特征提取模块的骨干网络，为了适用于面神经分割任务，去掉了原始Res2Net50的所有全连接层和最后1个卷积组，剩下的4个卷积组形成改进的Res2Net50。对于输入的CT影像样本I∈RH×W×c，其中H表示高度，W表示宽度，c表示通道数目，此处c＝1，改进的Res2Net50提取不同层次特征图表示为
Figure BDA0003272819240000081
由于面神经区域较小，实施例中将骨干网络的第二层卷积的步长设置为1，保留更大的分辨率，因此每个层次特征图的分辨率为*[H/k,W/k],k＝2，2，4，8}。最近的研究表明网络较深层倾向于提取目标的低频的主体位置信息，较浅层容易保留图像中高频的细节信息。因此，实施例将提取的特征分为高级特征图f2，f3，f4和低级特征图f1。
粗分割模块包括搜索识别单元SIM和金字塔融合单元PFM，三个通过搜索识别单元SIM分别对高级特征图f2，f3，f4进行全局面神经搜索，通过扩展感受野来捕获小物体，得到面神经特征图C2,C3,C4，并结合有效的金字塔融合单元PFM进行面神经特征图C2,C3,C4的融合得到融合特征图。
图3为本发明实施例中搜索识别单元的结构示意图。如图3所示，搜索识别单元SIM中，对于尺寸为N×N×c的高级特征图，采用尺寸为2×2的滑动窗口在高级特征图中搜索2×2×c的patch，然后将每个patch按照通道进行排列，实现高级特征图按照通道分离。每一个patch都会被拆解转换到4个通道，因此在分离操作后，可以得到一个N/2×N/2×4c的特征图，该特征图中的每个点都表示了原高级特征图中的4个特征点。然后，采用感受野对每个通道的特征图进行处理，针对4个通道的特征图，感受野包含4个分支，第一个分支采用1×1的卷积层对第一通道的特征图进行卷积操作以转换通道数到32，剩下三个分支采用1×1的卷积层对剩下三个通道的特征图进行卷积操作以转换通道数到32后，再采用非对称卷积和具有相应卷积核的扩张卷积进行非对称卷积操作和扩张卷积操作，拼接融合4个分支的处理结果，以实现高级特征图的扩张，最后，对拼接融合结果进行分离的逆运算，实现特征重构，以得到面神经特征图。这样通过对高级特征图的分离、扩张和重建，拓展了神经网络的感受野，实现了在全局范围内搜索面神经，以得到准确的面神经特征图。
为进一步增强高层特征的表达能力，采用金字塔融合单元PFM对面神经特征图C2,C3,C4的融合得到融合特征图，如图4所示，金字塔融合单元PFM包括第一单元Unit-1和第二单元Unit-2。在第一单元Unit-1中，对于同时包含高级语义信息和低级细节信息的面神经特征图C2，采用三个不同的卷积层分别对C2进行卷积操作以获得三个特征图α,β,γ，然后将特征图α和面神经特征图C3相乘以测量自相似性，将得到的特征与特征图β连接以获得特征图M1，特征图M1保留了更多的信息，最后再使用两个卷积层对特征图M1进行平滑，得到平滑的M1。在第二单元Unit-2中，对面神经特征图C3进行卷积操作，将得到的特征图与面神经特征图C4相乘得到C34后，通过取γ与C34的乘积构造一个强特征，然后，将强特征与平滑的M1拼接后，再通过两个卷积层对拼接结果进行平滑处理，并且利用一个卷积层将其通道数进行压缩到32，输出融合特征图F1。
精分割模块包括解耦单元DOM和空间注意力单元SAM，解耦单元DOM对融合特征图进行特征空间转换以得到中心主体特征图T1，该中心主体特征图与低级特征图结合后得到边缘细节特征图T2，空间注意力单元SAM对中心主体特征图T1进行注意力特征提取以得到预测结果F3，空间注意力单元SAM对边缘细节特征图T2进行注意力特征提取以得到预测结果F2，预测结果F2与预测结果F3的融合结果经过空间注意力单元SAM处理后，输出面神经分割图F4。
解耦单元DOM采用空间转换模型对融合特征图进行特征空间转换，以获得中心主体特征图T1。特征空间转换过程包括参数预测、坐标映射以及像素采样；其中，参数预测过程中，采用卷积核大小为3×3的卷积层对输入的融合特征图F1∈RH×W×c进行变换预测，得到参数矩阵
Figure BDA0003272819240000103
，c1＝2，表示大小相同，通道数为2的变换矩阵；坐标映射过程中，将参数矩阵中的元素值作为像素点的偏移量，利用偏移量对将处于标准空间网络中的融合特征图的像素点进行坐标映射，以得到新融合特征图，即处于标准空间网络中的融合特征图的像素点pl通过pl+θ(pl)的方式映射到扭曲空间网格上新像素点
Figure BDA0003272819240000101
实现坐标映射，新像素点
Figure BDA0003272819240000102
组成新融合特征图；像素采样过程中，采用可微双线性采样机制对新融合特征图进行采样，得到的像素点组成中心主体特征图T1，即采用在空间变压器网络(Transformernetwork)中提出的可微双线性采样机制来逼近中心主体特征中的每个点，该可微双线性采样机制对像素点pl的四个最近邻像素的值进行线性插值来逼近中心主体特征图中的每个像素点。
为了获得边缘细节特征图，利用原始融合特征图与获得的中心主体特征图做差值来提取出细节特征图。但是由于骨干网络的特性，其浅层的低级特征图f1主要包括图像中的低级特征，所含细节信息更加丰富。因此利用上述细节特征图与低级特征图f1的结合作为面神经的边缘细节特征图T2。具体过程为：低级特征图f1经过搜索识别单元进行全局面神经搜索后得到面神经特征图C1，计算中心主体特征图与融合特征图的差值后，差值与面神经特征图C1拼接后，通过卷积层融合得到边缘细节特征图T2。
空间注意力单元SAM的核心就是怎样去优化中心主体特征图T1和边缘细节特征图T2，并且得到最终面神经分割图。由于卷积层的输出，中心主体特征和边缘细节特征并没有考虑位置之间的相关依赖性，为了使得面神经分割模型有选择性地增强具有信息量较大的特征，并且对信息量小或者无用特征进行抑制。采用空间注意力单元SAM分别对中心主体特征图T1和边缘细节特征图T2进行处理。具体过程为：首先考察中心主体特征图T1和边缘细节特征图T2中的每个位置的特征信号，采用卷积操作压缩全局信息为特征的位置描述符，接着利用全局平均池化操作来提取各个通道的统计量，为了增强提取特征的泛化能力，还使用1个激活层和2个全连接层组成门限机制来进行进一步筛选特征，再利用激活函数计算出各个位置的依赖程度，以学习特征之间非互斥的关系，并且降低多个通道对面神经分割特征的影响，最终得到中心主体特征图T1和边缘细节特征图T2对应的注意力特征提取的预测结果F3和F2，然后，将预测结果F3和F2求和得到特征图
Figure BDA0003272819240000111
再利用空间注意力单元SAM对特征图
Figure BDA0003272819240000112
进行处理，得到最终的面神经分割图F4。
像素的预测难度与其位置密切相关。由于CT影像灰度值杂乱，面神经边缘附近的像素更容易预测失误。相比之下，由于面神经内部的一致性，中心像素具有更高的预测精度。与其平等地对待这些像素，不如根据它们各自的特性来处理它们。因此，实施例将原始标签解耦为主体标签和细节标签，如图5所示。距离变换函数可以将二值图像转换成一个新图像，其中每个前景像素具有一个相对于背景的最小距离。
具体来说，将CT影像样本的原始标签I拆分成前景Ifg和背景Ibg，计算属于前景Ifg的像素点p与属于背景Ibg的像素点q之间的距离f(p，q)，则通过以下距离变换函数得到变换后标签I′；
Figure BDA0003272819240000121
对变换后标签I′进行归一化处理，得到归一化标签I″：
Figure BDA0003272819240000122
变换后标签I′为矩阵形式，在进行归一化时，I′-min(I′)表示矩阵I′中的每个元素值减去min(I′)，得到的结果再与max(I′)和min(I′)之差做比值，得到归一化结果I″。
归一化标签I″中的像素并不依靠前景或者背景区分，而是越靠近前景中心的像素值越高，因此，将归一化标签I″作为与原始标签求积之后作为前景的主体标签Ib，其边缘细节部分的细节标签Id可以由原始标签计算所得，具体计算公式为：
Ib＝I*I″ Id＝I*(I-I″)
至此，原始标签I已解耦为两种不同的标签，监督协助网络分别学习不同特征的中心主体特征和边缘细节特征。
为优化面神经分割模型的网络参数，还需要构建损失函数。构建的损失函数包括4部分，分别为融合特征图与CT影像样本的原始标签的差异、面神经分割图与CT影像样本的原始标签的差异、中心主体特征图经过空间注意力单元处理的预测结果与主体标签的差异、边缘细节特征图经过空间注意力单元处理的预测结果与细节标签的差异。具体表示为：
Figure BDA0003272819240000131
L(pi,I)＝Lbce(pi,I,α)+Liou(pi,I,α)
其中，Liou(·)表示交叉熵损失函数，Lbce(·)表示交并比损失函数，pb表示中心主体特征图经过空间注意力单元处理的预测结果，Ib表示主体标签，pd表示边缘细节特征图经过空间注意力单元处理的预测结果，Id表示细节标签，α为权重因子，I表示CT影像样本的原始标签，p1和p2表示分别表示融合特征图与面神经分割图。训练过程中的损失函数曲线如图6所示。
在利用损失函数训练面神经分割模型时，利用Adam优化器优化模型，初始学习率设定为1e-4，每60轮降低10次。输入图像调整为352×352，利用多尺度进行训练，尺度调整率为[0.5,0.75,1,1.25,1.5]。所有训练样本都通过随机翻转、旋转和边界剪裁来增强。
本实施例还给出解耦分治的面神经分割方法的实施结果。如图7所示，实施例提供的面神经分割模型得到的面神经分割结果与人工分割结果基本一致，表明了本方法的面神经分割模型的准确性。如表1所示，面神经分割模型Ours与经典的Unet模型、Unet++模型、AttUnet模型以及R2AttUnet模型的结果比较，各个指标均有稳定的提升，Dice系数为0.858，95％的豪夫距离为0.363。计算复杂度方面，面神经分割模型对算力的需求(FLOPs)仅为13.33G不及Unet(123.77G)的1/10，同时参数量(9.86M)也仅为Unet(34.53M)的1/4左右。如图8所示，从各个模型的面神经的2D分割结果可以得到，相较于其他方法，面神经分割模型Ours更为准确，而且不会将其他组织认定为是面神经，导致错误的分割，同时面神经分割模型Ours分割结果的边缘也更加贴近标签。如图9所示，面神经分割模型在计算复杂度和Dice分数上都实现了最优。
表1
Figure BDA0003272819240000141
实施例还提供了一种解耦分治的面神经分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述解耦分治的面神经分割方法步骤。
实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现解耦分治的面神经分割方法步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种解耦分治的面神经分割方法，其特征在于，包括以下步骤：
获取并预处理CT影像，得到样本集；
构建面神经分割模型，包括特征提取模块、粗分割模块、以及精分割模块；输入的CT影像样本经过特征提取模块特征提取，得到1个低级特征图和多个不同层次的高级特征图；粗分割模块包括搜索识别单元和金字塔融合单元，多个不同层次的高级特征图并列分别经过搜索识别单元进行全局面神经搜索，得到的多个面神经特征图经过金字塔融合单元融合得到融合特征图；精分割模块包括解耦单元和空间注意力单元，融合特征图经过解耦单元特征空间转换，得到的中心主体特征图与低级特征图结合后得到边缘细节特征图，中心主体特征图与边缘细节特征图分别经过空间注意力单元进行注意力特征提取后，得到的提取结果融合后再经过空间注意力单元处理，得到面神经分割图；
构建损失函数，损失函数包括融合特征图与CT影像样本的原始标签的差异、面神经分割图与CT影像样本的原始标签的差异、中心主体特征图经过空间注意力单元处理的预测结果与主体标签的差异、边缘细节特征图经过空间注意力单元处理的预测结果与细节标签的差异；
采用样本集和损失函数优化面神经分割模型的参数后，利用参数确定的面神经分割模型对输入的CT影像样本进行面部神经分割，得到面神经分割图。
2.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述特征提取模块采用改进的Res2Net50，去掉原始Res2Net50的所有全连接层和最后1个卷积组，剩下的多个卷积组形成改进的Res2Net50，输入的CT影像样本输入至Res2Net50中，第一个卷积组的输出为低级特征图，其他卷积组的输出分别为不同层次的高级特征图。
3.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述搜索识别单元中，对高级特征图的全局面神经搜索过程为：
对高级特征图按照通道分离，得到分离后的特征图；接着利用多分支的操作处理分离后的特征图，第一分支中，分离后的特征图经过卷积操作以转换通道数，在剩下分支中，分离后的特征图经过卷积操作以转换通道数后，再经过非对称卷积操作和扩张卷积操作后，将所有分支的特征图的操作结果融合，实现高级特征图的扩张；对融合结果进行分离的逆运算，实现特征重构，以得到面神经特征图。
4.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述解耦单元中，采用空间转换模型对融合特征图进行特征空间转换，得到中心主体特征图，特征空间转换过程包括参数预测、坐标映射以及像素采样；
其中，参数预测过程：采用卷积层对融合特征图进行变换预测，得到参数矩阵；
坐标映射过程：将参数矩阵中的元素值作为像素点的偏移量，利用偏移量对将处于标准空间网络中的融合特征图的像素点进行坐标映射，以得到新融合特征图；
像素采样过程：采用可微双线性采样机制对新融合特征图进行采样，得到的像素点组成中心主体特征图。
5.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述得到的中心主体特征图与低级特征图结合后得到边缘细节特征图，包括：
低级特征图经过搜索识别单元进行全局面神经搜索后得到面神经特征图，计算中心主体特征图与融合特征图的差值后，差值与面神经特征图拼接后，通过卷积层融合得到边缘细节特征图。
6.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述注意力机制单元中，对输入图进行注意力特征提取过程为：
输入图经过卷积操作和全局平均池化操作后，经过由激活层和全连接层组成的门限机制进一步筛选，然后通过激活函数激活，得到输入图对应的注意力特征提取的预测结果；
其中，输入图为中心主体特征图、边缘细节特征图、中心主体特征图与边缘细节特征图对应的两个注意力特征提取的预测结果的融合结果。
7.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，CT影像样本的主体标签和细节标签的构建过程为：
将CT影像样本的原始标签I拆分成前景Ifg和背景Ibg，计算属于前景Ifg的像素点p与属于背景Ibg的像素点q之间的距离f(p，q)，则通过以下距离变换函数得到变换后标签I′；
Figure FDA0003272819230000031
对变换后标签I′进行归一化处理，得到归一化标签I″：
Figure FDA0003272819230000032
依据归一化标签I″确定CT影像样本的主体标签Ib和细节标签Id分别为：
Ib＝I*I″ Id＝I*(I-I″)。
8.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，所述损失函数表示为：
Figure FDA0003272819230000041
L(pi，I)＝Lbce(pi，I，α)+Liou(pi，I，α)
其中，Liou表示交叉熵损失函数，Lbce(·)表示交并比损失函数，pb表示中心主体特征图经过空间注意力单元处理的预测结果，Ib表示主体标签，pd表示边缘细节特征图经过空间注意力单元处理的预测结果，Id表示细节标签，α为权重因子，I表示CT影像样本的原始标签，p1和p2表示分别表示融合特征图与面神经分割图。
9.根据权利要求1所述的解耦分治的面神经分割方法，其特征在于，预处理CT影像包括：采用随机翻转，剪切方式进行数据增强，数据增强后的CT影像形成样本集。
10.一种解耦分治的面神经分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-9任一项所述的解耦分治的面神经分割方法步骤。
CN202111106992.2A 2021-09-22 2021-09-22 一种解耦分治的面神经分割方法和装置 Active CN113870289B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111106992.2A CN113870289B (zh) 2021-09-22 2021-09-22 一种解耦分治的面神经分割方法和装置
PCT/CN2022/076927 WO2023045231A1 (zh) 2021-09-22 2022-02-18 一种解耦分治的面神经分割方法和装置
US17/802,953 US20240203108A1 (en) 2021-09-22 2022-02-28 Decoupling divide-and-conquer facial nerve segmentation method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111106992.2A CN113870289B (zh) 2021-09-22 2021-09-22 一种解耦分治的面神经分割方法和装置

Publications (2)

Publication Number Publication Date
CN113870289A true CN113870289A (zh) 2021-12-31
CN113870289B CN113870289B (zh) 2022-03-15

Family

ID=78993217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111106992.2A Active CN113870289B (zh) 2021-09-22 2021-09-22 一种解耦分治的面神经分割方法和装置

Country Status (3)

Country Link
US (1) US20240203108A1 (zh)
CN (1) CN113870289B (zh)
WO (1) WO2023045231A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114398979A (zh) * 2022-01-13 2022-04-26 四川大学华西医院 一种基于特征解耦的超声图像甲状腺结节分类方法
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置
CN116503933A (zh) * 2023-05-24 2023-07-28 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228797B (zh) * 2023-05-09 2023-08-15 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN117392153B (zh) * 2023-12-06 2024-02-23 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117809294B (zh) * 2023-12-29 2024-07-19 天津大学 一种基于特征校正和差异指导注意力的文本检测方法
CN117765410B (zh) * 2024-01-05 2024-05-28 浙江时空智子大数据有限公司 遥感影像双分支特征融合固废识别方法、系统及电子设备
CN117547353B (zh) * 2024-01-12 2024-03-19 中科璀璨机器人(成都)有限公司 一种双源ct成像的肿瘤定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN113177943A (zh) * 2021-06-29 2021-07-27 中南大学 一种脑卒中ct影像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295632B2 (en) * 2009-01-21 2012-10-23 Yissum Research Development Company of Jerusalem Ltd. System and method for edge-enhancement of digital images using wavelets
CN112862805B (zh) * 2021-03-04 2022-12-06 同济大学 听神经瘤图像自动化分割方法及系统
CN113870289B (zh) * 2021-09-22 2022-03-15 浙江大学 一种解耦分治的面神经分割方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN113177943A (zh) * 2021-06-29 2021-07-27 中南大学 一种脑卒中ct影像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN LI 等: "ANU-Net：Attention-based nested U-Net to exploit full resolution features for medical image segmentation", 《COMPUTERS & GRAPHICS》 *
柯嘉 等: "颞骨CT内面神经、迷路、听骨结构深度学习的自动化分割方法", 《解剖学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置
CN114398979A (zh) * 2022-01-13 2022-04-26 四川大学华西医院 一种基于特征解耦的超声图像甲状腺结节分类方法
CN116503933A (zh) * 2023-05-24 2023-07-28 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质
CN116503933B (zh) * 2023-05-24 2023-12-12 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113870289B (zh) 2022-03-15
WO2023045231A1 (zh) 2023-03-30
US20240203108A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
CN113870289B (zh) 一种解耦分治的面神经分割方法和装置
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN113450328B (zh) 基于改进神经网络的医学图像关键点检测方法及系统
CN109658419B (zh) 一种医学图像中小器官的分割方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
CN109614991A (zh) 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN112784879A (zh) 一种基于小样本域自适应的医学影像分割或分类方法
CN102831614B (zh) 基于交互式字典迁移的序列医学图像快速分割方法
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN111461201A (zh) 基于相空间重构的传感器数据分类方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN117409002A (zh) 一种用于创伤的视觉识别检测系统及其检测方法
CN103871060B (zh) 基于平稳方向波域概率图模型的图像分割方法
CN110211117B (zh) 医学影像中识别线管状物的处理系统及优化分割的方法
Zhang et al. Extracting regions of interest in biomedical images
CN116385720A (zh) 一种乳腺癌病灶超声波图像分割算法
CN110619633A (zh) 一种基于多路滤波策略的肝脏图像分割方法
CN116310335A (zh) 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant