CN112651978A - 舌下微循环图像分割方法和装置、电子设备、存储介质 - Google Patents
舌下微循环图像分割方法和装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN112651978A CN112651978A CN202011485773.5A CN202011485773A CN112651978A CN 112651978 A CN112651978 A CN 112651978A CN 202011485773 A CN202011485773 A CN 202011485773A CN 112651978 A CN112651978 A CN 112651978A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- neural network
- attention
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008343 sublingual microcirculation Effects 0.000 title claims abstract description 66
- 238000012360 testing method Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 230000007246 mechanism Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 40
- 108091006146 Channels Proteins 0.000 claims description 59
- 238000011176 pooling Methods 0.000 claims description 51
- 210000004204 blood vessel Anatomy 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 14
- 230000011218 segmentation Effects 0.000 description 30
- 239000013598 vector Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000004089 microcirculation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例所提供的舌下微循环图像分割方法和装置、电子设备、存储介质，属于医学图像处理技术领域。该舌下微循环图像分割方法，包括：获取舌下微循环图像的原始图像数据；对所述原始图像数据进行标注，得到具有图像标签的中间图像集；将所述中间图像集划分为训练集和测试集；将所述测试集输入到预设的图像分割神经网络中进行测试；所述图像分割神经网络通过所述训练集训练得到；所述图像分割神经网络包括残差模块和注意力机制模块；根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像，可以保证图像识别的准确性。
Description
技术领域
本公开涉及医学图像处理技术领域，尤其涉及舌下微循环图像分割方法和装置、电子设备、存储介质。
背景技术
医学图像分割是医学图像处理的重要环节，图像中的目标区域的准确分割能为医生进行疾病诊断提供参考。针对微循环血管的分割，由于图像本身的复杂性，使得传统方法包括阈值法、区域生长法、水平集法都能很难取得理想的分割效果。近年来，包括卷积神经网络在内的深度学习技术大幅度提升了图像的分割精度。
卷积神经网络是一种机器学习模型，在图像处理领域有广泛的应用，该算法经常用于医学图像分割领域，取得了很好的效果。但是在实际对于舌下微循环血管而言，血管边缘，毛细血管的识别，背景区域的纯净度都存在较大问题，需要人工修复分割的错误，需要耗费大量的时间且需要操作者专业的知识，这为医学图像分割技术的临床应用带来了很高的成本。
通常，深度学习方法很难达到分割的精度要求，血管边缘的精确识别，毛细血管的误识别，血管交叉区域的识别，虚焦的血管的去除都是舌下血管分割遇到和要解决的问题。
发明内容
本公开的主要目的在于提出一种舌下微循环图像分割方法和装置、存储介质，可以保证图像识别的准确性。
实现上述目的，本公开的第一方面提出了一种舌下微循环图像分割方法，包括：
获取舌下微循环图像的原始图像数据；
对所述原始图像数据进行标注，得到具有图像标签的中间图像集；将所述中间图像集划分为训练集和测试集；
将所述测试集输入到预设的图像分割神经网络中进行测试；所述图像分割神经网络通过所述训练集训练得到；所述图像分割神经网络包括残差模块和注意力机制模块；
根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像。
优选地，通过侧流暗场成像采集所述舌下微循环图像，获得所述原始图像数据；其中，所述原始图像数据为单通道灰度图像。
优选地，所述原始图像数据包括血管区域，所述对所述原始图像数据进行标注，得到具有图像标签的中间图像集，包括：
对所述血管区域进行标注，得到所述中间图像集。
优选地，所述图像分割神经网络为U-net网络框架，所述注意力机制模块为空间金字塔池化的卷积注意力模块模块。
优选地，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，包括：
在所述图像分割神经网络的编码层和解码层分别加入所述残差模块，得到网络深度增加的图像分割神经网络；
通过所述网络深度增加的图像分割神经网络和所述注意力机制模块对所述测试集进行分割，得到所述目标图像；
其中，所述残差模块如下公式表示：
优选地，所述注意力机制模块包括通道注意力模块，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大通道信息
平均池化得到特征图的平均通道信息
其中，
和
为2D映射；
通过全连接层得到基于通道的映射，得到2D通道注意力权值；
其中，2D通道注意力权值如下公式表示：
Fspp＝SPP(F)
优选地，所述注意力机制模块还包括空间注意力模块，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大空间信息
平均池化得到特征图的平均空间信息
通过多层神经网络得到2D映射
通过激活函数，得到2D空间注意力权值；
其中，2D空间注意力权值如下公式表示：
Fspp＝SPP(F)
为实现上述目的，本公开的第二方面提出了一种舌下微循环图像分割装置，包括：
图像获取模块，用于获取舌下微循环图像的原始图像数据；
区域标注模块，用于对所述原始图像数据进行标注，得到具有图像标签的中间图像集；将所述中间图像集划分为训练集和测试集；
图像测试模块，用于将所述测试集输入到预设的图像分割神经网络中进行测试；所述图像分割神经网络通过所述训练集训练得到；所述图像分割神经网络包括残差模块和注意力机制模块；
图像分割模块，用于根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像。
为实现上述目的，本公开的第三方面提出了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本公开如上述第一方面所述的方法。
为实现上述目的，本公开的第四方面提出了一种存储介质，该存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：
如上述第一方面所述的方法。
本公开提出的舌下微循环图像分割方法和装置、电子设备、存储介质，通过获取舌下微循环图像的原始图像数据，并对所述原始图像数据进行标注，得到具有图像标签的中间图像集，然后将所述中间图像集划分为训练集和测试集，再将所述测试集输入到预设的图像分割神经网络中进行测试，其中所述图像分割神经网络通过所述训练集训练得到，最后根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像，实现图像识别的准确性。
附图说明
图1是本公开实施例提供的舌下微循环图像分割方法的流程图。
图2是本公开实施例提供的图像分割神经网络的网络结构示意图。
图3是本公开实施例提供的图像分割神经网络的第i层残差网络结构示意图。
图4是本公开实施例提供的图像分割神经网络的SPP-CBAM网络结构示意图。
图5是图4中的道通注意力模块示意图。
图6是图4中的空间注意力模块示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
首先，对本公开中涉及的若干名词进行解析：
U-net网络：是U型对称结构，左侧是卷积层，右侧是上采样层，包含4个convolutional layer和对应的4个up sampling layer；U-net网络结构避免了直接在高级feature map中进行监督和loss计算，而是结合了低级feature map中的特征，从而可以使得最终所得到的feature map 中既包含了high-level的feature，也包含很多的low-level的feature，实现了不同scale下feature 的融合，提高模型的结果精确度；U-net网络结构非常简单，前半部分作用是特征提取，后半部分是上采样；由于此网络整体结构类似于大写的英文字母U，故得名U-net。U-net与其他常见的分割网络有一点非常不同的地方：U-net采用了完全不同的特征融合方式：拼接，U-net 采用将特征在channel维度拼接在一起，形成更厚的特征。而FCN融合时使用的对应点相加，并不形成更厚的特征。
ResUnet网络：是一种残差网络结构，ResUnet网络有二层；它对每层的输入做一个reference(参考/参照)，学习形成残差函数，而不是学习一些没有reference的函数。这种残差函数更容易优化，能使网络层数大大加深。ResUnet网络学习的是残差函数F(x)＝H(x)-x，如果F(x)＝0，则是恒等映射。事实上，ResUnet网络是“shortcut connections”在connections 是恒等映射下的特殊情况，没有引入额外的参数和计算复杂度。假如优化目标函数是逼近一个恒等映射，而不是0映射，那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。残差函数一般会有较小的响应波动，表明恒等映射是一个合理的预处理。
注意力机制(Attention Mechanism)：神经网络注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特定的输入；注意力可以应用于任何类型的输入而不管其形状如何；在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。注意力机制在图像分割、分类、自然语言处理等方面有着广泛的应用，SE和CBAM模块为自然图像常用的模块。
CBAM模块(Convolutional Block Attention Module)：是一个表示卷积模块的注意力机制模块，也叫CBAM注意力模块；是一个模型，结合了空间(spatial)和通道(channel)的注意力机制模块，因此也是一种空间和通道的注意力机制，可以在通道和空间维度上进行 Attention，CBAM模块包括两个子模块Channel Attention Module(CAM)和SpatialAttention Module(SAM)。
SE(Squeeze-and-Excitation)注意力模块：一个SE模块的过程分为Squeeze(压缩)和 Excitation(激发)两个步骤，其中，Squeeze(压缩)通过在Feature Map层上执行Global Average Pooling，得到当前Feature Map的全局压缩特征量；Excitation(激发)通过两层全连接的 bottleneck结构得到Feature Map中每个通道的权值，并将加权后的Feature Map作为下一层网络的输入；SE注意力模块是通过对深度特征图全局池化的方式，得到特征图的全局感受野：一个等于通道数的图像的一维特征向量，通过依次顺序相乘的方式对图像的通道进行重新标定。
SPP(Spatial Pyramid Pooling，空间金字塔池化)：主要解决网络学习中标志物尺度以及特征提取中遇到的问题，有三个特点：一、在进行物体检测时，解决了物体的尺度会对结果识别的影响；二、把一个特征图按照不同的角度进行特征提取，再进行聚合，显示了算法的鲁棒性；三、空间金字塔相对于全局池化，保留特征图更多的空间信息。
SPP-CBAM模块：分为两个部分，分别是SPP通道注意力模块(SPP-ChannelAttention) 和SPP空间注意力模块(SPP-Spatial Attention)，两个部分依次进行。
侧流暗场(sidestream dark-field，SDF)成像技术：SDF成像技术中，首先采用环形LED 照明围绕在成像显微镜头周围，LED发出的光源是特殊波长的光，但不是偏振光；LED光从显微镜头周围环形的照射到皮肤上，在皮肤表面发生散射的同时在皮肤内部发生散射；因为显微镜头距离皮肤很近，环状照射到皮肤上又反射回来的光很难进入镜头成像，而内部散射光的照射方向是随机的，会有一部分照射到显微镜头而在CCD上成像；这样避免了皮肤表面反射直接对微微血管超微结构进行成像。
多层感知器(Multilayer Perceptron，MLP)：是一种简单的神经网络，也叫多层神经网络；是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量；MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层；除了输入节点，每个节点都是一个带有非线性激活函数的神经元(或称处理单元)；MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。接简单的MLP结构是三层结构，包括了输入层、隐藏层、输出层。
医学图像分割是医学图像处理的重要环节，图像中的目标区域的准确分割能为医生进行疾病诊断提供参考。针对微循环血管的分割，现阶段研究还处于初级阶段，图像本身的复杂性，使得传统方法包括阈值法、区域生长法、水平集法都能很难取得理想的分割效果。近年来，包括卷积神经网络在内的深度学习技术大幅度提升了图像的分割精度。
卷积神经网络是一种机器学习模型，在图像处理领域有广泛的应用，该算法经常用于医学图像分割领域，取得了很好的效果。但是在实际对于舌下微循环血管而言，血管边缘，毛细血管的识别，背景区域的纯净度都存在较大问题，需要人工修复分割的错误，需要耗费大量的时间且需要操作者专业的知识，这为医学图像分割技术的临床应用带来了很高的成本。
通常，深度学习方法很难达到分割的精度要求，血管边缘的精确识别，毛细血管的误识别，血管交叉区域的识别，虚焦的血管的去除都是舌下血管分割遇到和要解决的问题。
在计算机视觉里，特征的“等级”随增网络深度的加深而变高，研究表明，网络的深度是实现好的效果的重要因素。然而梯度弥散/爆炸成为训练深层次的网络的障碍，导致无法收敛。有一些方法可以弥补，如归一初始化，各层输入归一化，使得可以收敛的网络的深度提升为原来的十倍。然而，虽然收敛了，但网络却开始退化了，即增加网络层数却导致更大的误差，的确，通过在一个浅层网络基础上叠加y＝x的层(称identity mappings，恒等映射)，可以让网络随深度增加而不退化。这反映了多层非线性网络无法逼近恒等映射网络。
基于此，本公开实施例提供一种对舌下微循环图像进行分割的技术方案，可以实现图像识别的准确性。
本公开实施例提供舌下微循环图像分割方法和装置、电子设备、读存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的舌下微循环图像分割方法。
本公开实施例提供的舌下微循环图像分割方法，可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现舌下微循环图像分割方法的应用等，但并不局限于以上形式。
图1是本公开实施例提供的舌下微循环图像分割方法的一个可选的流程图，图1中的方法包括步骤101至步骤104。
步骤101、获取舌下微循环图像的原始图像数据；
步骤102、对原始图像数据进行标注，得到具有图像标签的中间图像集；将中间图像集划分为训练集和测试集；
步骤103、将测试集输入到预设的图像分割神经网络中进行测试；图像分割神经网络通过训练集训练得到；图像分割神经网络包括残差模块和注意力机制模块；
步骤104、根据残差模块和注意力机制模块对测试集进行分割，得到舌下微循环图像的目标图像。
在一些实施例，步骤101中，通过SDF采集舌下微循环图像，获得原始图像数据；其中，原始图像数据为单通道灰度图像。
在一些实施例中，原始图像数据包括血管区域，步骤102，包括：
对血管区域进行标注，得到中间图像集。
本公开实施例的步骤101的图像采集，是运用SDF成像技术对舌下微循环血管进行成像操作，得到时长为4秒的视频，选取成像较为清晰的一帧图像作为原始图像数据，该原始图像数据的大小为512*512的单通道灰度视频图像，并对每张原始图像数据中的血管区域进行标注，得到具有标签的图像，将所有具有标签的图像作为中间图像集。其中，原始图像数据中暗色部分为红细胞，浅色部分为血浆与组织区域。对原始图像数据的血管区域进行标注，将血管区域作为感兴趣区域。具体地，标注原理是：针对有争议部分，可以利用是投票原理中的少数服从多数原则。通过采用SDF技术，能够从一定程度上解决传统方法的弊端，得到更加精细、实时可视化的微循环影像。
在一具体应用场景中，中间图像集包括了143张图像，将143张图像中的93张图像作为训练集和50张图像作为测试集。步骤102还包括：
对训练集进行扩充处理，获得扩充后的训练集。
具体地，对训练集进行扩充处理包括：对训练集中的原始图像和标签图像进行同步变换，将训练集的每张图像扩充成预设倍数的图像。其中，同步变换至少包括以下的一种或者多种：旋转，对折，镜像，局部扭曲。在一实施例中，通过对训练集进行扩充处理，每张图像扩充成100张图像；以训练集包括93张图像为例，扩充之后变成93*100＝9300张。
并且，对测试集的图像不做扩充处理。
在一些实施例的步骤103中，图像分割神经网络为卷积神经网络，包括编码层和解码；残差网络为ResUnet网络；注意力机制模块为塔池化的卷积注意力模块，即SPP-CBAM模块，该SPP-CBAM模块是在CBAM的基础上引入空间金字塔池化，提出的新的SPP-CBAM算法。基于SPP-CBAM模块，运用于ResUnet网络结构中，实现血管的分割。具体地，在U-net网络的编码层和解码层中引入了残差网络结构。每层网络的输入定义一个参考值，形成残差学习函数。这种网络更容易优化，使得每个编码层和解码层的卷积层深度相比较于U-net增加一倍，能够提取图像中更加深层次的特征，但同时网络没有出现过拟合。残差网络构造了从输入层到输出层的高速直连通道，通过引入了残差结构，可有效地缓解网络深度增加带来的梯度弥散的问题。
在基于残差结构的U-net网络结构的基础上，通过特征图的可视化分析，提取引入注意力机制的模块来提升网络的性能。注意力机制提出是基于人类大脑皮层对于视觉信息的处理。在卷积神经网络中通过注意力机制的引入，给予重要信息更高的权重，降低次要信息的权重，使得网络的学习方向更加符合我们的期望。
本公开实施例，基于SPP-CBAM算法模块，运用于ResUnet网络结构中，实现血管的分割。具体地，通过卷积操作得到映射图
编码。得到两个2D映射：
和
运用简单拼接通过全连接层，得到2D空间注意力权值。从而可以加强有效信息流动，抑制无用信息。通道注意力的表示如下公式(1)和(2)所示：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
本公开实施例中，CBAM模块是在SE注意力模块的基础上进行相应的改进，CBAM包括通道注意力模块和空间注意力模块，对通道和像素赋予分别不同的权重信息。
具体地，通过卷积操作得到映射图
编码。最大池化(Maxpooling)和平均池化(Avgpooling)得到特征图(FeatureMaps)的通道信息，得到两个2D映射：
和
并运用简单拼接通过全连接层，得到2D通道注意力权值。从而可以加强有效信息流动，抑制无用信息。其中，通道注意力的公式为上述公式(1)所示。
并且，通过卷积操作得到映射图
编码，最大池化和平均池化得到特征图的空间信息：Fmax和Favg，通过MLP得到2D映射Fp，通过激活函数，得到2D空间注意力权值，如下公式(3)所示：
Mp(F)＝σ(MLP(AvgPool(F)+MaxPool(F))) (3)
本公开实施例，基于特征图可视化，在拟合通道权重和像素权重过程中加入空间尺度信息，分割精度和网络的鲁棒性也有大幅度的提高。
具体地，请参阅图2，该图像分割神经网络为U型全连接卷积神经网络，即U-net网络结构，U-net网络结构的两个明显特征：对称结构和跳跃连接，并且编码层和解码层对称为了保证能够跳跃连接的可实现性，同时让输出能够点对点的对应输入图像。本公开实施例中，通过构建网络学习机制，搭建基于输入到输出的对应关系，利用网络的深度结构提取图像包含的隐藏信息；并以U-net网络架构为基础，采用编码层和解码层对称的结构实现结果与原始图像点到点的对应关系，同时跳跃连接提供解码过程中的边缘细节信息，针对微循环图像数量少的特点，网络深度选取浅层网络，控制参数数量不至于过多造成网络过拟合。
具体地，图2示意了一实施例的图像分割神经网络的网络结构图，图3示意了该图像分割神经网络的第i层残差网络结构图；图4示意了SPP-CBAM网络结构图；图5示意了道通注意力模块示意图，图6示意了空间注意力模块示意图。图2中，箭头A表示下采样，箭头 B表示上采样，箭头C表示卷积，箭头D表示全连接层，U-net网络结构包括四个过程：下采样—>上采样—>卷积—>全连接层；具体地，U-net网络结构的卷积层尺度为3×3，激活函数为ReLU。双层卷积后为池化层降低特征图维度，池化层为2×2最大池化，之后Dropout 使用0.5的参数，上采样为2×2反池化。跳跃连接将卷积层4与6的特征图按照通道合并、同理把卷积层3与7特征图按照通道合并合并、把卷积层2与8特征图按照通道合并合并、把卷积层1与9特征图按照通道合并，在第十层网络采用全连接层，最终得到单通道图像，分辨率为512*512，激活函数采用sigmoid，判定每个像素点属于血管区域的概率，从而得到最终分割结果图。
在一些实施例中，步骤104包括：
在图像分割神经网络的编码层和解码层分别加入残差模块，得到网络深度增加的图像分割神经网络；
通过网络深度增加的图像分割神经网络和注意力机制模块对所述测试集进行分割，得到目标图像；
在一些实施例，网络的残差块结构的表达式如下公式(4)-(5)所示：
其中，
为输出函数，F2和F1为权重函数，
为激活函数，x为输入数据。然后通过一个短连接，和第2个
得到输出y。
通过引入残差网络来对抗梯度弥散。残差网络的思想是构造一个恒等的对应关系，能够把单元拟合的对应关系H(*)拆分成两部分，如下公式(6)所示：
其中，l表示残差的层数，
为残差函数，拟合一个恒等规则
让残差模块的部分趋近于0，
具体地，本公开实施例的图像分割神经网络中，编码层包括：卷积层，激活层和池化层。卷积层相当于滤波器对图像数据进行特征提取，激活层实现特征的非线性处理，池化层为降采样，通过降低图像分辨率的方式降低特征冗余。解码层包括反卷积、非线性、反池化。反卷积是卷积的反向操作，通过跳跃连接将编码层得到的特征图与现有的特征图进行拼接带入反卷积中；非线性处理实现特征图的非线性操作；反池化是池化的反向操作，为上采样；解码每进行一次操作特征图的尺寸增加加一倍，特征图的深度变为一半，最后一层能够把编码器的得到的特征求解为全连接层，最后为全连接层，作用是判别图像中每个像素的类别归属问题。
在一些实施例中，注意力机制模块包括通道注意力模块，根据残差模块和注意力机制模块对测试集进行分割，得到舌下微循环血管的最终的图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大通道信息
平均池化得到特征图的平均通道信息
其中，
和
为2D映射；
通过全连接层得到基于通道的映射，得到2D通道注意力权值；
其中，2D通道注意力权值如下公式(7)-(9)表示：
Fspp＝SPP(F) (7)
在一些实施例中，注意力机制模块还包括空间注意力模块，根据残差模块和注意力机制模块对测试集进行分割，得到舌下微循环血管的最终的图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大空间信息
平均池化得到特征图的平均空间信息
通过MLP得到2D映射
通过激活函数，得到2D空间注意力权值；
其中，2D空间注意力权值如下公式(10)-(11)表示：
Fspp＝SPP(F) (10)
具体地，通过卷积操作得到映射图
编码，通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp，分别进行最大池化和平均池化得到特征图的空间信息：
和
再通过MLP得到2D映射
并通过激活函数，得到2D空间注意力权值。
对的得到的向量采用各个数值相加的方式得到一个长度为原始特征图通道数的特征向量，该特征向量的数值表示每个通道占得权重比值；本公开实施例提供的技术方案，通过深度学习算法实现对于舌下微循环图像进行分割，采用一系列算法改进实现分割精度的提升。
请参阅图6，在实际应用场景中，对于通道注意力机制的具体做法是：对多通道特征图进行level＝1，level＝2，level＝4的空间切割，得到的特征图的尺寸分别为原图尺寸的1/1、1/2、 1/4的特征图，数量分别之前的1倍、4倍、16倍。然后对其进行全局最大池化和全局平均池化，得到两个21倍与通道数的特征向量。两个特征向量分别从不同层面代表图像的全局感受野。
全局平均池化向量和全局最大池化向量连接三层的全连接层网络(神经元的个数分为为 21c，c/2，c)最终得到两个长度为c的向量。
对的得到的向量采用各个数值相加的方式得到一个长度为原始特征图通道数的特征向量，该特征向量的数值表示每个通道占得权重比值。
请参阅图6，在实际应用场景中，对于空间注意力机制，具体做法是：对多通道特征图进行level＝1，level＝2，level＝4的空间切割，得到的特征图的尺寸分别为原图尺寸的1/1、1/2、 1/4的特征图，数量分别之前的1倍、4倍、16倍。然后对其进行全局最大池化和全局平均池化，得到两个21倍与通道数的特征向量。两个特征向量分别从不同层面代表图像的全局感受野；将全局平均池化向量和全局最大池化向量连接三层的全连接层网络(神经元的个数分为为21c，c/2，c)最终得到两个长度为c的向量。
对的得到的向量采用各个数值相加的方式得到一个长度为原始特征图通道数的特征向量，该特征向量的数值表示每个通道占得权重比值。
本文通过深度学习算法实现对于舌下微循环图像进行分割，采用一系列算法改进实现分割精度的提升。
此外，评价指标采用整体分割精度，血管识别精度以及背景识别精度三个指标作为衡量标准。
请参阅图3，箭头A表示下采样，箭头C表示卷积，箭头E表示非线性变相，箭头F表示按道通相加，箭头G表示注意力机制；具体地，请参阅图3-5，对于编码层第i层网络中的特征图，三维尺寸为W*H*D，先通过2*2最大池化得到特征图尺寸为(W/2)*(H/2)*D，特征图的长宽变为以前的一半，图像的深度不变，然后通过图像卷积，卷积核的尺寸为3*3*D，个数为2D个，采用samepadding的填补方式，特征图与原始图像进行卷积，得到特征图结果为(W/2)*(H/2)*(2D)，作为残差模块的输入。
对上面得到的输入的特征图进行图像卷积，卷积核的尺寸为3*3*2D，个数为2D个，采用samepadding的填补方式，特征图与原始图像进行卷积，得到特征图结果为(W/2)*(H/2)* (2D)，重复四次，得到特征图的尺寸为(W/2)*(H/2)*(2D)。
最终得到的结果与输入的特征图进行按通道进行相加得到一个深度为2D的特征图，作为残差模块的输出。对编码层和解码层都重复上面的操作，每层编码层和解码层深度均为四层。
本公开实施例，在神经网络中的特征图的不同通道和不同像素中包含的信息重要程度不同的前提，提出注意力机制：是基于人类大脑皮层对于视觉信息的处理。在卷积神经网络中通过注意力机制的引入，给予重要信息更高的权重，降低次要信息的权重，让网络提取出更加容易区分的特征。
本公开实施例中，可以实现将一个特征图按照不同的角度进行特征提取，再进行聚合，显示了算法的鲁棒性；本公开实施中的空间金字塔池化相对于全局池化，保留特征图更多的空间信息。并在CBAM基础上结合了空间金字塔池化，提出新的SPP-CBAM算法。且，SPP-CBAM模块分为两个部分，即通道注意力模块和空间注意力模块，两个部分依次进行。本公开实施例基于特征图可视化，在拟合通道权重和像素权重过程中加入空间尺度信息，分割精度和网络的鲁棒性也有大幅度的提高。
本公开实施例通过深度学习算法实现对于舌下微循环图像进行分割，采用一系列算法改进实现分割精度的提升。并且，评价指标采用整体分割精度，血管识别精度以及背景识别精度三个指标作为衡量标准。
本公开实施例提供的舌下微循环图像分割方法，通过获取舌下微循环图像的原始图像数据，并对所述原始图像数据进行标注，得到具有图像标签的中间图像集，然后将所述中间图像集划分为训练集和测试集，再将所述测试集输入到预设的图像分割神经网络中进行测试，其中所述图像分割神经网络通过所述训练集训练得到，最后根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像，实现图像识别的准确性。
本公开实施例还提供一种舌下微循环图像分割装置，可以实现上述舌下微循环图像分割方法，该装置包括：
图像获取模块，用于获取舌下微循环图像的原始图像数据；
区域标注模块，用于对原始图像数据进行标注，得到具有图像标签的中间图像集；将中间图像集划分为训练集和测试集；
图像测试模块，用于将测试集输入到预设的图像分割神经网络中进行测试；图像分割神经网络通过训练集训练得到；图像分割神经网络包括残差模块和注意力机制模块；
图像分割模块，用于根据残差模块和注意力机制模块对测试集进行分割，得到舌下微循环图像的目标图像。
本公开实施例还提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本公开实施例上述舌下微循环图像分割方法。该电子设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可执行指令用于执行上述舌下微循环图像分割方法。
本公开实施例提出的舌下微循环图像分割方法、舌下微循环图像分割装置、电子设备、计算机可读存储介质，通过获取舌下微循环图像的原始图像数据，并对所述原始图像数据进行标注，得到具有图像标签的中间图像集，然后将所述中间图像集划分为训练集和测试集，再将所述测试集输入到预设的图像分割神经网络中进行测试，其中所述图像分割神经网络通过所述训练集训练得到，最后根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像，实现图像识别的准确性。此外，通过深度学习算法实现对于舌下微循环图像进行分割，采用一系列算法改进实现分割精度的提升。并且，评价指标采用整体分割精度，血管识别精度以及背景识别精度三个指标作为衡量标准。
本公开实施例基于特征图可视化，在拟合通道权重和像素权重过程中加入空间尺度信息，分割精度和网络的鲁棒性也有大幅度的提高。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本公开中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/ 或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a 和b和c”，其中a，b，c可以是单个，也可以是多个。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本公开实施例的优选实施例，并非因此局限本公开实施例的权利范围。本领域技术人员不脱离本公开实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本公开实施例的权利范围之内。
Claims (10)
1.一种舌下微循环图像分割方法，其特征在于，包括：
获取舌下微循环图像的原始图像数据；
对所述原始图像数据进行标注，得到具有图像标签的中间图像集；将所述中间图像集划分为训练集和测试集；
将所述测试集输入到预设的图像分割神经网络中进行测试；所述图像分割神经网络通过所述训练集训练得到；所述图像分割神经网络包括残差模块和注意力机制模块；
根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取舌下微循环图像的原始图像数据，包括：
通过侧流暗场成像采集所述舌下微循环图像，获得所述原始图像数据；其中，所述原始图像数据为单通道灰度图像。
3.根据权利要求1所述的方法，其特征在于，所述原始图像数据包括血管区域，所述对所述原始图像数据进行标注，得到具有图像标签的中间图像集，包括：
对所述血管区域进行标注，得到所述中间图像集。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述图像分割神经网络为U-net网络框架，所述注意力机制模块为塔池化的卷积注意力模块。
5.根据权利要求4所述的方法，其特征在于，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，包括：
在所述图像分割神经网络的编码层和解码层分别加入所述残差模块，得到网络深度增加的图像分割神经网络；
通过所述网络深度增加的图像分割神经网络和所述注意力机制模块对所述测试集进行分割，得到所述目标图像；
其中，所述残差模块如下公式表示：
6.根据权利要求5所述的方法，其特征在于，所述注意力机制模块包括通道注意力模块，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大通道信息
平均池化得到特征图的平均通道信息
其中，
和
为2D映射；
通过全连接层得到基于通道的映射，得到2D通道注意力权值；
其中，2D通道注意力权值如下公式表示：
Fspp＝SPP(F)
7.根据权利要求6所述的方法，其特征在于，所述注意力机制模块还包括空间注意力模块，所述根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到舌下微循环血管的目标图像，还包括：
通过卷积操作得到映射图
编码；
通过通道空间金字塔池化得到特征图的局部空间尺度映射Fspp；
最大池化得到特征图的最大空间信息
平均池化得到特征图的平均空间信息
通过多层神经网络得到2D映射
通过激活函数，得到2D空间注意力权值；
其中，2D空间注意力权值如下公式表示：
Fspp＝SPP(F)
8.一种舌下微循环图像分割装置，其特征在于，包括：
图像获取模块，用于获取舌下微循环图像的原始图像数据；
区域标注模块，用于对所述原始图像数据进行标注，得到具有图像标签的中间图像集；将所述中间图像集划分为训练集和测试集；
图像测试模块，用于将所述测试集输入到预设的图像分割神经网络中进行测试；所述图像分割神经网络通过所述训练集训练得到；所述图像分割神经网络包括残差模块和注意力机制模块；
图像分割模块，用于根据所述残差模块和所述注意力机制模块对所述测试集进行分割，得到所述舌下微循环图像的目标图像。
9.一种电子设备，其特征在于，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在所述存储器中，所述处理器执行所述至少一个程序以实现如权利要求1至7任一项所述的方法。
10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：
如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011485773.5A CN112651978B (zh) | 2020-12-16 | 2020-12-16 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011485773.5A CN112651978B (zh) | 2020-12-16 | 2020-12-16 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651978A true CN112651978A (zh) | 2021-04-13 |
| CN112651978B CN112651978B (zh) | 2024-06-07 |
Family
ID=75354219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011485773.5A Active CN112651978B (zh) | 2020-12-16 | 2020-12-16 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651978B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN113379773A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于双重注意力机制的分割模型建立、分割方法及装置 |
| CN113408457A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 一种联合高分影像和视频图像的道路信息智能提取方法 |
| CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
| CN113658104A (zh) * | 2021-07-21 | 2021-11-16 | 南方科技大学 | 血管图像处理方法、电子设备及计算机可读存储介质 |
| CN113744284A (zh) * | 2021-09-06 | 2021-12-03 | 浙大城市学院 | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 |
| CN113780385A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种基于注意力机制的驾驶风险监测方法 |
| CN114081511A (zh) * | 2021-09-14 | 2022-02-25 | 天津大学 | 双耳分频听觉诱发的脑-机接口装置和方法 |
| CN114092422A (zh) * | 2021-11-11 | 2022-02-25 | 长沙理工大学 | 一种基于深度循环注意力的图像多目标提取方法及系统 |
| CN114565035A (zh) * | 2022-02-24 | 2022-05-31 | 集美大学 | 一种舌象分析方法、终端设备及存储介质 |
| CN115170579A (zh) * | 2022-09-09 | 2022-10-11 | 之江实验室 | 一种金属锈蚀图像分割方法和装置 |
| CN115908464A (zh) * | 2023-01-09 | 2023-04-04 | 智慧眼科技股份有限公司 | 一种舌体图像分割方法及系统 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116934733A (zh) * | 2023-08-04 | 2023-10-24 | 湖南恩智测控技术有限公司 | 一种芯片的可靠性测试方法及测试系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN109363663A (zh) * | 2018-12-16 | 2019-02-22 | 冯兴怀 | 微循环监测仪用快速可重复定位装置及血管微循环监测装置 |
| CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110570350A (zh) * | 2019-09-11 | 2019-12-13 | 深圳开立生物医疗科技股份有限公司 | 一种二维卵泡检测方法、装置和超声设备及可读存储介质 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
-
2020
- 2020-12-16 CN CN202011485773.5A patent/CN112651978B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
| CN109363663A (zh) * | 2018-12-16 | 2019-02-22 | 冯兴怀 | 微循环监测仪用快速可重复定位装置及血管微循环监测装置 |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110570350A (zh) * | 2019-09-11 | 2019-12-13 | 深圳开立生物医疗科技股份有限公司 | 一种二维卵泡检测方法、装置和超声设备及可读存储介质 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| SANGHYUN WOO ET AL: "CBAM: Convolutional Block Attention Module", CBAM: CONVOLUTIONAHTTPS://ARXIV.ORG/ABS/1807.06521, pages 1 - 17 * |
| YIXUAN CHEN ET AL: "RNA-Net：Residual Nonlocal Attention Network for Retinal Vessel Segmentation", 2020 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS，MAN，AND CYBERNETICS, pages 1560 - 1565 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN112949838B (zh) * | 2021-04-15 | 2023-05-23 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN113379773A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于双重注意力机制的分割模型建立、分割方法及装置 |
| CN113408457A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 一种联合高分影像和视频图像的道路信息智能提取方法 |
| CN113658104A (zh) * | 2021-07-21 | 2021-11-16 | 南方科技大学 | 血管图像处理方法、电子设备及计算机可读存储介质 |
| CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
| CN113780385A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种基于注意力机制的驾驶风险监测方法 |
| CN113744284A (zh) * | 2021-09-06 | 2021-12-03 | 浙大城市学院 | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 |
| CN113744284B (zh) * | 2021-09-06 | 2023-08-29 | 浙大城市学院 | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 |
| CN114081511A (zh) * | 2021-09-14 | 2022-02-25 | 天津大学 | 双耳分频听觉诱发的脑-机接口装置和方法 |
| CN114092422A (zh) * | 2021-11-11 | 2022-02-25 | 长沙理工大学 | 一种基于深度循环注意力的图像多目标提取方法及系统 |
| CN114092422B (zh) * | 2021-11-11 | 2024-06-07 | 长沙理工大学 | 一种基于深度循环注意力的图像多目标提取方法及系统 |
| CN114565035A (zh) * | 2022-02-24 | 2022-05-31 | 集美大学 | 一种舌象分析方法、终端设备及存储介质 |
| CN115170579A (zh) * | 2022-09-09 | 2022-10-11 | 之江实验室 | 一种金属锈蚀图像分割方法和装置 |
| CN115908464A (zh) * | 2023-01-09 | 2023-04-04 | 智慧眼科技股份有限公司 | 一种舌体图像分割方法及系统 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116188492B (zh) * | 2023-02-21 | 2024-04-26 | 北京长木谷医疗科技股份有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116934733A (zh) * | 2023-08-04 | 2023-10-24 | 湖南恩智测控技术有限公司 | 一种芯片的可靠性测试方法及测试系统 |
| CN116934733B (zh) * | 2023-08-04 | 2024-04-09 | 湖南恩智测控技术有限公司 | 一种芯片的可靠性测试方法及测试系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651978B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651978B (zh) | 舌下微循环图像分割方法和装置、电子设备、存储介质 | |
| CN112017189B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| CN112465828B (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| US11978215B2 (en) | Device and method for glaucoma auxiliary diagnosis, and storage medium | |
| CN110390254B (zh) | 基于人脸的性格分析方法、装置、计算机设备及存储介质 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
| CN113902945A (zh) | 一种多模态乳腺磁共振图像分类方法及系统 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN109523558A (zh) | 一种人像分割方法及系统 | |
| CN114529462A (zh) | 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统 | |
| CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统 | |
| Zheng et al. | Stripe segmentation of oceanic internal waves in SAR images based on SegNet | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN111369564B (zh) | 一种图像处理的方法、模型训练的方法及装置 | |
| Ghali et al. | CT-Fire: a CNN-Transformer for wildfire classification on ground and aerial images | |
| Huang et al. | Deep Multimodal Fusion Autoencoder for Saliency Prediction of RGB‐D Images | |
| CN113822871A (zh) | 基于动态检测头的目标检测方法、装置、存储介质及设备 | |
| CN110211146B (zh) | 视交叉仿真的视频前景分割方法及装置 | |
| Yan et al. | Multilevel feature aggregation and enhancement network for remote sensing change detection | |
| Zhang et al. | Attention-based contextual interaction asymmetric network for RGB-D saliency prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |