CN117649417B - 一种角膜神经纤维分割系统、方法、计算机设备及存储介质 - Google Patents

一种角膜神经纤维分割系统、方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN117649417B
CN117649417B CN202410126924.XA CN202410126924A CN117649417B CN 117649417 B CN117649417 B CN 117649417B CN 202410126924 A CN202410126924 A CN 202410126924A CN 117649417 B CN117649417 B CN 117649417B
Authority
CN
China
Prior art keywords
layer
segmentation
nerve fiber
network model
cornea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410126924.XA
Other languages
English (en)
Other versions
CN117649417A (zh
Inventor
熊茜
鹿斌
孙一睿
樊帆
乔洋洋
钟英
洪宇
周台典
孙梦媛
程邦安
张培
叶靓
李青春
张元品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiong Qian
Original Assignee
Suzhou Huien Qijia Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Huien Qijia Medical Technology Co ltd filed Critical Suzhou Huien Qijia Medical Technology Co ltd
Priority to CN202410126924.XA priority Critical patent/CN117649417B/zh
Publication of CN117649417A publication Critical patent/CN117649417A/zh
Application granted granted Critical
Publication of CN117649417B publication Critical patent/CN117649417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，涉及一种角膜神经纤维分割方法，将获取到的临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；分割网络模型包括十二层：第一层和第十二层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均为跳层连接。transformer自带全局建模机制，有更大的感受野，带来更好的分割效果；编码模块采用多轴注意力机制，把二维注意力依次分解成多个方向上的一维注意力，对角膜神经纤维的分割带来了极大提升。

Description

一种角膜神经纤维分割系统、方法、计算机设备及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种角膜神经纤维分割系统、方法、计算机设备及存储介质。
背景技术
随着深度学习技术的不断发展，越来越多的图像分割任务可以使用卷积神经网络进行解决。在眼科领域中，角膜神经语义分割是一项重要的任务，在医学诊断和治疗方面有着广泛的应用。
医学图像分割通常是用UNet网络来完成的，在处理角膜神经图像有如下的缺点：
1.缺乏全局信息：UNet网络是一个编码器-解码器结构，其中较低层级的特征被传递给解码器进行分割，这种设计使得UNet网络局限于局部上下文信息，而角膜神经纤维往往存在分布广、结构复杂等特点，这使得UNet网络在处理角膜神经纤维结构和全局一致性时可能受到限制；
2.处理边界模糊困难：由于UNet网络在上采样过程中使用简单的插值方法，如双线性插值，因此在处理角膜神经纤维医学图像中的细微结构和主干、分支纤维边界模糊的区域会导致分割的边界不清晰。
发明内容
本发明的目的在于提供一种角膜神经纤维分割系统、方法、计算机设备及存储介质，解决了采用UNet网络存在的缺乏全局信息和处理边界模糊困难的问题。
本发明是通过以下技术方案来实现：
一种角膜神经纤维分割方法，包括以下步骤：
S1、获取临床角膜神经纤维图像；
S2、将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层。
进一步，所述基于transformer多轴注意力机制的编码模块包括依次连接的第一卷积层、第一正则化层、两层多轴注意力模块层、第二卷积层、第二正则化层和叠加层；
叠加层用于对第二正则化层的输出与第一卷积层的输入进行特征叠加，作为基于transformer多轴注意力机制的编码模块的输出。
进一步，每层多轴注意力模块层包括前卷积层、注意力计算层、后卷积层和融合层，注意力计算层中设置有0°、90°、45°、135°共四个特征注意力轴的注意力；
多轴注意力模块层的输入为特征图，特征图经过前卷积层后得到中间特征图；注意力计算层对于中间特征图上的每一个特征点位分别从0°、90°、45°、135°进行注意力机制的运算，通过后卷积层升维，得到升维后的特征图；融合层将升维后的特征图与输入给前卷积层的特征图进行特征融合，最后得到输出特征图。
进一步，S2中，所述分割网络模型的构建过程为：
使用基于transformer多轴注意力机制的编码模块和 transformer的解码模块重构UNet网络，得到分割网络模型；
获取临床角膜神经纤维图像作为原始图像，原始图像构成数据集；
将数据集进行标注，并生成分割网络模型能够读取的掩模图；
在得到的分割网络模型中，将原始图像作为输入、掩模图作为标签，通过损失函数计算网络输出与标签文件的差异，并指导分割网络模型的优化方向；
设置训练批次大小为W，计算每一批次分割网络模型的输出与标签文件的Dice系数，则得到W个Dice系数，取最小的Dice系数所对应的分割网络模型作为最终输出模型，得到构建好的分割网络模型。
进一步，损失函数的计算公式如下：
；
其中表示总的损失函数，/>表示角膜神经纤维待分割的类别总数，/>表示当前类别，/>表示当前类别下预测结果与真实标签并集的面积，/>表示当前类别下预测结果与真实标签交集的面积；/>表示当前类别的概率，/>为自定义常量，/>为权重系数且/>＞1。
进一步，权重系数，自定义常量/>。
本发明还公开了一种角膜神经纤维分割系统，具体包括：
图像获取模块，用于获取临床角膜神经纤维图像；
图像分割模块，用于将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层。
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述角膜神经纤维分割方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述角膜神经纤维分割方法的步骤。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提出了一种角膜神经纤维分割方法，将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像。分割网络模型的第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，在用transformer取代传统UNet网络来提取图像特征后，由于transformer自带的全局建模机制，相比与传统UNet网络结构，能获得更大的感受野，由于角膜神经纤维分布广且错综复杂，更大的感受野能带来更好的分割效果；编码模块采用多轴注意力机制，能把二维注意力依次分解成多个方向上的一维注意力，大幅度提升计算效率，同时也能调动全局范围内的特征互动，这对角膜神经纤维的分割带来了极大的提升。
进一步，自定义损失函数能有效的解决角膜神经纤维主干、分支样本不均衡的问题和分割难易程度权重分配不均的问题。
附图说明
图1为本发明的一种角膜神经纤维分割方法的流程图；
图2为本发明构建的分割网络模型的结构图；
图3为基于transformer多轴注意力机制的编码模块的结构图；
图4为多轴注意力模块层的具体结构图；
图5为图4对应的处理流程图；
图6为原始图像；
图7为针对图6中原始图像采用不同的网络模型处理后的不同图像；
图7中a为UNet++网络处理得到的神经纤维图像，图7中b为UNet网络处理得到的神经纤维图像，图7中c为TransBTS网络处理得到的神经纤维图像，图7中d为MedT网络处理得到的神经纤维图像，图7中e为TransUNet网络处理得到的神经纤维图像，图7中f为本发明所构建的分割网络模型处理得到的神经纤维图像；
图8为本发明的一种角膜神经纤维分割系统的框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅为本发明一部分实施例，而不是全部实施例。
本发明附图及实施例描述和示出的组件可以以各种不同的配置来布置和设计，因此，以下附图中提供的本发明实施例的详细描述并非旨在限制要求保护的本发明的范围，而仅仅是表示本发明选定的一种实施例。基于本发明的附图及实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护范围。
需要说明的是：术语“包含”、“包括”或者其他任何其他变体意在涵盖非排他性的包含，使得包括一系列要素的过程、元素、方法、物品或者设备不仅仅只包括那些要素，还包括没有明确列出的其他要素，或者是还包括该其过程、元素、方法、物品或者设备所固有的要素。
如图1所示，本发明公开了一种角膜神经纤维分割方法，具体包括以下步骤：
S1、获取临床角膜神经纤维图像；
S2、将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
如图2所示，所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层。
如图3所示，所述基于transformer多轴注意力机制的编码模块包括依次连接的第一卷积层、第一正则化层、两层多轴注意力模块层、第二卷积层、第二正则化层和叠加层。
其中，各层的功能如下：
第一卷积层：提取更高阶的图像特征，为后续多轴注意力模块层做准备；
第一正则化层：平滑第一卷积层的输出并使其服从同一种分布，提高网络的可训练性；
多轴注意力模块层：提取单位特征与其它四个不同方向维度的联系，有利于神经纤维像素级的分割；
第二卷积层：提取多轴注意力模块层输出的特征，使其更容易与后续叠加层相互作用；
第二正则化层：平滑第二卷积层的输出并使其服从同一种分布，提高网络的可训练性；
叠加层：用于对第二正则化层的输出与第一卷积层的输入进行特征叠加，作为基于transformer多轴注意力机制的编码模块的输出。解决了多层神经网络训练困难的问题，弱化经过多轴注意力模块层分支带来的负向效果影响到后续层的训练，提高网络整体的可训练性。
如图4所示，每层多轴注意力模块层包括前卷积层、注意力计算层、后卷积层和融合层，注意力计算层中设置有0°、90°、45°、135°共四个特征注意力轴的注意力。
多轴注意力模块层在原有基于0°和90°特征注意力轴的基础上，结合角膜神经纤维无方向延伸的特点，新增了45°和135°这两个轴的注意力，具体为：
如图5所示，输入特征图h*w*256经过1*1的前卷积层后得到h*w*128的特征图，对于该特征图上的每一个特征点位分别从0°、90°、45°、135°进行注意力机制的运算，通过1*1的后卷积层升维并与输入特征图进行特征融合，最后得到多轴注意力模块层的输出，即输出特征图。
S2中，所述分割网络模型的构建过程为：
使用基于transformer多轴注意力机制的编码模块和 transformer的解码模块重构UNet网络，得到分割网络模型；
获取临床角膜神经纤维图像作为原始图像，原始图像构成数据集，数据集分为训练集和验证集；
将数据集进行标注，并生成分割网络模型能够读取的掩模图；
在上述构建的分割网络模型中，先将训练集对应的原始图像作为输入、训练集对应的掩模图作为标签，通过自定义的损失函数计算网络输出与标签文件的差异，并指导分割网络模型的优化方向；
设置训练批次大小为W，计算每一批次分割网络模型的输出与标签文件的Dice系数，则得到W个Dice系数，取最小的Dice系数所对应的模型作为此分割网络的最终输出模型，得到训练好的分割网络模型。
比如有200张标注好的角膜神经纤维数据，按照7:3的比例将140张数据划分为训练集，60张数据划分为验证集，设置网络训练的批次为100后，用训练集数据开始训练分割网络；当每一个批次训练完成后，保存训练模型并用验证集作为该模型的输入后获取模型的输出掩模图，并计算训练集标签掩模图与模型输出掩模图的Dice系数。等全部批次训练结束后，获取最小的Dice系数对应的模型作为训练好的分割网络模型。
自定义的损失函数的计算公式如下：
；
其中表示总的损失函数，/>表示角膜神经纤维待分割的类别总数，/>表示当前类别，/>表示当前类别下预测结果与真实标签并集的面积，/>表示当前类别下预测结果与真实标签交集的面积。
由于角膜神经纤维的主干类别和分支类别样本不平衡，分支样本的数量往往远大于主干样本的数量，从而导致分支样本主导了总的损失；为了避免这一情况，可以设置的大小来平衡不同样本在损失函数中的主导地位。在本次分割任务中，角膜神经纤维主干样本的标签类别为2，可以设置/>来赋予主干样本在损失值中更多的权重，从而弱化了分支样本的主导地位。
在角膜神经纤维主干和分支的分割任务中，由于主干和分支无论从外观上、长度上都有及其相似的特性，对此，希望在实际分割任务中赋予难以分割的主干神经纤维更大的权重系数，使网络关注难以分割的主干神经纤维，把高置信度样本的损失降低一些，来引导模型优先关注难以分割的主干神经纤维，表示当前类别的概率，/>为自定义常量。实验表明/>，/>时效果最好，这样损失函数训练的过程中模型的优先级为主干角膜神经纤维>难以分割的背景>分支角膜神经纤维>易分割的背景。
本发明用基于transformer多轴注意力机制的编码模块替代原始的CNN卷积层提取特征，使网络模型能从全局范围内提取信息，在使用多轴注意力时，从4个不同角度上去计算特征之间的关联性，这很符合角膜神经纤维的分布特点，使网络模型针对角膜神经纤维有了一个更高层次的理解；同时针对角膜神经纤维主干和分支样本不均、分割难易程度不同设计了自定义的损失函数来解决这一问题。
下面以100张临床测试数据为例，将自行搭建的网络与其他5种网络模型进行横向对比，实验结果如下表所示：
通过表格可以得到，本发明在Transformer的0°轴和90°轴注意力的基础上结合角膜神经纤维多方向延伸的特点增加了45°轴和135°轴这两个方向上的注意力机制，并与改进的损失函数的结合，针对于角膜神经纤维主干和分支的提取，在Dice系数和IOU系数方面均有提升。
以图6中的原始图像为例，经过不同的网络模型处理后，测试效果如图7所示，图7中a为UNet++网络处理得到的神经纤维图像，图7中b为UNet网络处理得到的神经纤维图像，图7中c为TransBTS网络处理得到的神经纤维图像，图7中d为MedT网络处理得到的神经纤维图像，图7中e为TransUNet网络处理得到的神经纤维图像，图7中f为本发明所构建的分割网络模型处理得到的神经纤维图像，由图7中a-f对比可知，本发明所构建的分割网络模型相比于其它模型，其优势如下：
精确度高：本发明的分割网络模型在角膜神经纤维分割任务上具有出色的精确度，能够准确地将图像中的角膜神经纤维与背景进行分离，实现像素级别的精细分割。与其他模型相比，本发明的模型能够更准确地捕获角膜神经纤维的边界和细节。
对抗鲁棒性：本发明的分割网络模型对于噪声、遮挡和复杂背景等条件具有较强的鲁棒性，能够有效地处理角膜神经纤维图像中的干扰噪点，并生成准确的分割结果。相比之下，其他模型可能对这些干扰更为敏感。
如图8所示，本发明还公开了一种角膜神经纤维分割系统，具体包括：
图像获取模块，用于获取临床角膜神经纤维图像；
图像分割模块，用于将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层。
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述角膜神经纤维分割方法的步骤，其中，所述存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述角膜神经纤维分割方法的步骤，具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器可以包括只读存储器（ROM）、硬盘、闪存、光盘、磁盘等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种角膜神经纤维分割方法，其特征在于，包括以下步骤：
S1、获取临床角膜神经纤维图像；
S2、将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层；
所述基于transformer多轴注意力机制的编码模块包括依次连接的第一卷积层、第一正则化层、两层多轴注意力模块层、第二卷积层、第二正则化层和叠加层；
叠加层用于对第二正则化层的输出与第一卷积层的输入进行特征叠加，作为基于transformer多轴注意力机制的编码模块的输出；
每层多轴注意力模块层包括前卷积层、注意力计算层、后卷积层和融合层，注意力计算层中设置有0°、90°、45°、135°共四个特征注意力轴的注意力；
多轴注意力模块层的输入为特征图，特征图经过前卷积层后得到中间特征图；注意力计算层对于中间特征图上的每一个特征点位分别从0°、90°、45°、135°进行注意力机制的运算，通过后卷积层升维，得到升维后的特征图；融合层将升维后的特征图与输入给前卷积层的特征图进行特征融合，最后得到输出特征图。
2.根据权利要求1所述的一种角膜神经纤维分割方法，其特征在于，S2中，所述分割网络模型的构建过程为：
使用基于transformer多轴注意力机制的编码模块和 transformer的解码模块重构UNet网络，得到分割网络模型；
获取临床角膜神经纤维图像作为原始图像，原始图像构成数据集；
将数据集进行标注，并生成分割网络模型能够读取的掩模图；
在分割网络模型中，将原始图像作为输入、掩模图作为标签，通过损失函数计算网络输出与标签文件的差异，并指导分割网络模型的优化方向；
设置训练批次大小为W，计算每一批次分割网络模型的输出与标签文件的Dice系数，则得到W个Dice系数，取最小的Dice系数所对应的分割网络模型作为最终输出模型，得到构建好的分割网络模型。
3.根据权利要求2所述的一种角膜神经纤维分割方法，其特征在于，损失函数的计算公式如下：
；
其中表示总的损失函数，/>表示角膜神经纤维待分割的类别总数，/>表示当前类别，/>表示当前类别下预测结果与真实标签并集的面积，/>表示当前类别下预测结果与真实标签交集的面积；/>表示当前类别的概率，/>为自定义常量，/>为权重系数且/>＞1。
4.根据权利要求3所述的一种角膜神经纤维分割方法，其特征在于，权重系数，自定义常量/>。
5.基于权利要求1-4任意一项所述角膜神经纤维分割方法的一种角膜神经纤维分割系统，其特征在于，具体包括：
图像获取模块，用于获取临床角膜神经纤维图像；
图像分割模块，用于将临床角膜神经纤维图像输入构建好的分割网络模型中，提取角膜神经纤维，得到角膜神经纤维分割图像；
所述分割网络模型的结构包括依次连接的第一层至第十二层，具体为：
第一层为卷积层，第二层至第六层均为基于transformer多轴注意力机制的编码模块，第七层至第十一层均为transformer的解码模块，第二层和第十一层、第三层和第十层、第四层和第九层、第五层和第八层均通过跳层连接的方法连接，第十二层为卷积层。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述角膜神经纤维分割方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述角膜神经纤维分割方法的步骤。
CN202410126924.XA 2024-01-30 2024-01-30 一种角膜神经纤维分割系统、方法、计算机设备及存储介质 Active CN117649417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410126924.XA CN117649417B (zh) 2024-01-30 2024-01-30 一种角膜神经纤维分割系统、方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410126924.XA CN117649417B (zh) 2024-01-30 2024-01-30 一种角膜神经纤维分割系统、方法、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN117649417A CN117649417A (zh) 2024-03-05
CN117649417B true CN117649417B (zh) 2024-04-26

Family

ID=90050022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410126924.XA Active CN117649417B (zh) 2024-01-30 2024-01-30 一种角膜神经纤维分割系统、方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117649417B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325755A (zh) * 2020-01-21 2020-06-23 苏州大学 一种u型网络及角膜图像中神经纤维的分割方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN115457021A (zh) * 2022-09-30 2022-12-09 云南大学 基于联合注意卷积神经网络的皮肤病图像分割方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325755A (zh) * 2020-01-21 2020-06-23 苏州大学 一种u型网络及角膜图像中神经纤维的分割方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN115457021A (zh) * 2022-09-30 2022-12-09 云南大学 基于联合注意卷积神经网络的皮肤病图像分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"MaxViT: Multi-Axis Vision Transformer";Zhengzhong Tu等;《arXiv》;20220909;第1-31页 *

Also Published As

Publication number Publication date
CN117649417A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN110533029A (zh) 确定影像中目标区域的方法及装置
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN111462264A (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
Li et al. Deep recursive up-down sampling networks for single image super-resolution
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN111862261B (zh) 一种flair模态磁共振影像生成方法及系统
CN115908753B (zh) 一种全身人体网格表面重建方法及相关装置
CN108268840B (zh) 一种人脸跟踪方法及装置
CN115482522A (zh) 飞机结构件转角特征识别方法、装置、设备及存储介质
Jiang et al. Multi-level memory compensation network for rain removal via divide-and-conquer strategy
CN117788629B (zh) 一种具有风格个性化的图像生成方法、装置及存储介质
Peng et al. A relic sketch extraction framework based on detail-aware hierarchical deep network
CN117635479B (zh) 基于双阶段扩散模型的磁粒子图像去噪方法、系统及设备
CN117649417B (zh) 一种角膜神经纤维分割系统、方法、计算机设备及存储介质
Dinh et al. Medical image fusion based on transfer learning techniques and coupled neural P systems
CN112017136B (zh) 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质
CN116740081A (zh) Ct图像中肺血管分割方法、装置、终端设备及介质
CN115909016A (zh) 基于GCN分析fMRI图像的系统、方法、电子设备及介质
Ma et al. Real-time skeletonization for sketch-based modeling
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN113496468B (zh) 深度图像的修复方法、装置和存储介质
Guan et al. Unsupervised Multi-Domain Progressive Stain Transfer Guided by Style Encoding Dictionary
CN113592971A (zh) 一种虚拟人体图像生成方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240621

Address after: Room 401, No. 50, Lane 370, Xikang Road, Jing'an District, Shanghai, 200040

Patentee after: Xiong Qian

Country or region after: China

Address before: 215000 Suzhou, Jiangsu Province, China (Jiangsu) Pilot Free Trade Zone Suzhou Area, Suzhou Industrial Park, No. 328 Xinghu Street, Creative Industry Park, workstations 6-9F-298 (cluster registration)

Patentee before: Suzhou Huien Qijia Medical Technology Co.,Ltd.

Country or region before: China