CN113393446B - 基于注意力机制的卷积神经网络医学图像关键点检测方法 - Google Patents
基于注意力机制的卷积神经网络医学图像关键点检测方法 Download PDFInfo
- Publication number
- CN113393446B CN113393446B CN202110687012.6A CN202110687012A CN113393446B CN 113393446 B CN113393446 B CN 113393446B CN 202110687012 A CN202110687012 A CN 202110687012A CN 113393446 B CN113393446 B CN 113393446B
- Authority
- CN
- China
- Prior art keywords
- branch
- key point
- level
- decoding process
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 230000007246 mechanism Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 184
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 156
- 230000006870 function Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000004256 retinal image Effects 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010038926 Retinopathy hypertensive Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000001948 hypertensive retinopathy Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于注意力机制的卷积神经网络医学图像关键点检测方法,包括如下步骤:构建基于注意力机制的O型卷积神经网络,其包括注意力模块、关键点检测分支和局部增强分支;局部增强分支用于局部前景增强和结构提取;局部增强分支和关键点检测分支对不同层次的信息编码解码来生成热图;本发明利用注意力模块将局部增强分支的特征图引入关键点检测分支;将训练集数据输入到O型卷积神经网络进行训练,将测试集数据数据输入到学习后的O型卷积神经网络得到关键点热图,对关键点热图进行局部最大值提取,得到关键点的坐标。本发明直接在原始图像上执行,更加稳健和准确,能更加有效地整合局部结构特征和上下文信息,并检测细分支的关键点。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于注意力机制的卷积神经网络医学图像关键点检测方法。
背景技术
生物医学图像处理在生物医学研究中发挥着重要作用。关键点是生物医学图像(如视网膜和神经元图像)中的有用标志,广泛用于基于视网膜的人识别、视网膜图像配准、视网膜疾病诊断和神经元重建。在眼科中,关键点是提取视网膜血管拓扑结构的关键点,拓扑结构的变化可用于增殖性糖尿病视网膜病变、高血压性视网膜病变等视网膜疾病的诊断。视网膜图像中的关键点有助于血管结构的配准和血管病变的进展监测与治疗。
然而,因为生物医学图像通常很复杂,在没有分割的情况下很难自动检测到原始生物医学图像中的关键点。例如在视网膜图像中,背景和小血管之间的强度对比度极弱,一些血管相互重叠的现象,这为医学图像的检测增加了难度。
现有技术中基于骨架的方法和大多数基于模型的方法都是在分割图像上执行的。这些方法的性能在很大程度上依赖于图像分割结果的准确性。并且,因为难以对所有感兴趣的特征都进行建模,所以难以检测到与所选特征不相似的关键点,导致基于模型的方法泛化能力不足。并且在预处理步骤中,分割和骨架化可能会引入错误,例如低对比度区域中分支结构的丢失以及血管或神经元结构表面的尖锐刺突。
因此,需要一种基于注意力机制的卷积神经网络医学图像关键点检测方法,来解决现有技术中的存在的问题。
发明内容
本发明提供一种基于注意力机制的卷积神经网络医学图像关键点检测方法,直接在原始图像上执行,无需任何分割或骨架化,在处理原始图像时更加稳健和准确。本发明还提供一个带有注意力模块的局部增强分支来增强微小的细枝前景并使网络专注于低对比度的区域。能更加有效地整合局部结构特征和上下文信息,并检测细分支的关键点,从而解决现有技术中存在的问题。
基于注意力机制的卷积神经网络医学图像关键点检测方法,包括如下步骤:
步骤1,构建基于注意力机制的O型卷积神经网络,所述O型卷积神经网络包括注意力模块、关键点检测分支(JDB)和局部增强分支(LEB);所述局部增强分支用于局部前景增强和结构提取,且包含有关细分支的丰富信息,并减少细分支和粗分支之间前景的不平衡;所述局部增强分支和关键点检测分支包括编码器和解码器架构,并对不同层次的信息编码解码来生成热图;所述O型卷积神经网络利用注意力模块将局部增强分支的特征图引入关键点检测分支;
步骤2,将训练集数据输入到步骤1中的O型卷积神经网络进行训练,得到学习后的O型卷积神经网络;
步骤3,将测试集数据数据输入到步骤2中学习后的O型卷积神经网络得到关键点热图,然后对所述关键点热图进行局部最大值提取,得到关键点的坐标。
采用这样的方法,本发明能够用于检测原始生物医学图像中具有低对比度和细分支的关键点。本发明提出了一个带有注意力模块的局部增强分支来增强微小的细分支并使O型卷积神经网络更专注于低对比度的区域。这有助于整合局部结构特征和上下文信息,并检测细分支的关键点。本发明的方法能够直接在原始图像上执行,没有任何分割或骨架化,在处理原始图像时更加稳健和准确。
进一步的,所述关键点检测分支包括:
第一编码网络结构,其包括四个级别的第一编码过程,所述四个级别的第一编码过程依次连接,每个级别的第一编码过程逐次对输入其中的特征图进行下采样以及残差学习;
第一解码网络结构,其包括四个级别的第一解码过程,所述第一解码过程与所述第一编码过程一一对应,每个级别的第一解码过程逐次对输入其中的特征图进行上采样和残差学习处理;所述第一编码过程中同一层提取的特征连接到对应的第一解码过程中时,提供局部和全局信息。
进一步的,所述局部增强分支包括:
第二编码网络结构,其包括四个级别的第二编码过程,每个级别的第二编码过程逐次对输入的特征图进行下采样以及残差学习处理;
第二解码网络结构,其包括四个级别的第二解码过程,所述第二解码过程与所述第二编码过程一一对应,每个级别的第二解码过程逐次对输入的特征图进行上采样和残差学习处理;所述第二编码过程中同一层提取的特征连接到对应的第二解码过程中时,提供局部和全局信息。
每经过一个级别的第一编码过程或第二编码过程,特征图的宽度和高度都会减半;相对应的每经过一个级别的第一解码过程或第二解码过程,特征图的宽度和高度都会加倍。
进一步的,所述第一编码过程和第二编码过程使用步长为2的3*3卷积核进行下采样处理;所述第一解码过程和第二解码过程使用反卷积层进行上采样处理。
进一步的,执行所述残差学习操作的模块记为残差学习块,所述残差学习块包括:深度可分离卷积、批量归一化、ReLU函数和dropout,所述dropout在训练阶段随机扔掉一些神经网络中的节点和与其相连的边,防止节点同步依赖。
进一步的,所述步骤1还包括:
步骤a,在所述局部增强分支和关键点检测分支对特征图进行解码处理时;所述注意力模块将局部增强分支所处理的特征图经过1*1卷积、ReLU函数、1*1卷积和Logistic函数的处理,然后,将其与关键点检测分支相对应的特征图进行逐元素乘法,最终得到新特征图;
步骤b,将步骤a中得到的新特征图与关键点检测分支处理后相应的特征图进行逐元素加法操作,使得局部增强分支的特征图引入关键点检测分支,并建立这两个分支之间的互补关系,使网络专注于低对比度区域。
进一步的,所述步骤2还包括:
步骤A,将训练集数据输入到步骤1所述的O型卷积神经网络,然后采用联合损失函数来对其进行优化训练;所述的联合损失函数包括关键点检测分支的损失和局部增强分支的损失;
通过半径自适应标签对局部增强分支进行优化训练,为关键点检测分支提供清晰的细枝边界;
步骤A-1,所述半径自适应标签是局部前景的分支结构,可以根据分支的半径大小而自适应的变化。半径自适应标签的具体生成如下。首先,获取每个关键点的粗略半径r。然后根据交汇点的坐标和相应的半径r展开标签。具体来说,对于一个关键点b,以半径Rb为半径的圆内的前景区域作为该关键点b对应的训练目标。Rb由局部半径rb自动确定,如下公式所示:
其中,rb是关键点b的粗略半径,δ是连接半径阈值。
步骤B,然后使用联合损失函数,应用梯度下降算法,指导步骤2中的O型卷积神经网络训练优化直到收敛。
所述联合损失函数计算公式为:
L=(1-α)×LLEB+α×LJDB
其中,α为平衡所述关键点检测分支和所述局部增强分支的训练过程,LLEB为局部增强分支的损失,LJDB为关键点检测分支的损失。
所述局部增强分支的损失计算公式为:
所述关键点检测分支的损失计算公式为:
其中,p(i,j)为预测热图中位置(i,j)处的像素值,p0(i,j)为对应真实标签热图中位置(i,j)处的像素值。
有益效果:
1.本发明的方法能够直接在原始图像上执行,无需任何分割或骨架化,在处理原始图像时更加稳健和准确。
2.本发明提供一个带有注意力模块的局部增强分支来增强微小的细枝前景并使网络更专注于低对比度的区域。能更加有效地整合局部结构特征和上下文信息,并检测细分支的关键点。
附图说明
图1为本发明的医学图像关键点检测流程图;
图2为本发明的基于注意力机制的O型卷积神经网络结构图;
图3为本发明的第一编码过程、第二编码过程、第一解码过程及第二解码过程结构图;
图4为本发明的注意力模块结构图;
图5为本发明的关键点热图示意图;
图6为本发明的检测关键点示意图;
附图标记:
1、局部增强分支;11、一级第二编码过程;12、二级第二编码过程;13、三级第二编码过程;14、四级第二编码过程;15、一级第二解码过程;16、二级第二解码过程;17、三级第二解码过程;18、四级第二解码过程;2、关键点检测分支;21、一级第一编码过程;22、二级第一编码过程;23、三级第一编码过程;24、四级第一编码过程;25、一级第一解码过程;26、二级第一解码过程;27、三级第一解码过程;28、四级第一解码过程;3、注意力模块。
具体实施方式
显然,下面所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1所示,一种基于注意力机制的卷积神经网络医学图像关键点检测方法,包括如下步骤:
步骤1,构建基于注意力机制的O型卷积神经网络,所述O型卷积神经网络包括注意力模块、关键点检测分支(JDB)和局部增强分支(LEB);所述局部增强分支用于局部前景增强和结构提取,且包含有关细分支的丰富信息,并减少细分支和粗分支之间前景的不平衡;所述局部增强分支和关键点检测分支包括编码器和解码器结构,并对不同层次的信息编码解码来生成热图;所述O型卷积神经网络利用注意力模块将局部增强分支的特征图引入关键点检测分支;
步骤2,将训练集数据输入到步骤1中的O型卷积神经网络进行训练,得到学习后的O型卷积神经网络;
步骤3,将测试集数据数据输入到步骤2中学习后的O型卷积神经网络得到关键点热图,然后对所述关键点热图进行局部最大值提取,得到关键点的坐标。
采用这样的方法,本发明能够用于检测原始生物医学图像中具有低对比度和细分支的关键点。本发明提出了一个带有注意力模块的局部增强分支来增强微小的细枝前景并使O型卷积神经网络更专注于低对比度的区域。这有助于整合局部结构特征和上下文信息,并检测细分支的关键点。本发明的方法能够直接在原始图像上执行,没有任何分割或骨架化,在处理原始图像时更加稳健和准确。
所述关键点检测分支包括:
第一编码网络结构,其包括四个级别的第一编码过程,所述四个级别的第一编码过程依次连接,每个级别的第一编码过程逐次对输入其中的特征图进行下采样以及残差学习;
第一解码网络结构,其包括四个级别的第一解码过程,所述第一解码过程与所述第一编码过程一一对应,每个级别的第一解码过程逐次对输入其中的特征图进行上采样和残差学习处理;所述第一编码过程中同一层提取的特征连接到对应的第一解码过程中时,提供局部和全局信息。
所述局部增强分支包括:
第二编码网络结构,其包括四个级别的第二编码过程,每个级别的第二编码过程逐次对输入的特征图进行下采样以及残差学习处理;
第二解码网络结构,其包括四个级别的第二解码过程,所述第二解码过程与所述第二编码过程一一对应,每个级别的第二解码过程逐次对输入的特征图进行上采样和残差学习处理;所述第二编码过程中同一层提取的特征连接到对应的第二解码过程中时,提供局部和全局信息。
每经过一个级别的第一编码过程或第二编码过程,特征图的宽度和高度都会减半;相对应的每经过一个级别的第一解码过程或第二解码过程,特征图的宽度和高度都会加倍。
所述第一编码过程和第二编码过程使用步长为2的3*3卷积核进行下采样处理;所述第一解码过程和第二解码过程使用反卷积层进行上采样处理。
执行所述残差学习操作的模块记为残差学习块,所述残差学习块包括:深度可分离卷积、批量归一化、ReLU函数和dropout,所述dropout在训练阶段随机扔掉一些神经网络中的节点和与其相连的边,防止节点同步依赖。
所述步骤1还包括:
步骤a,在所述局部增强分支和关键点检测分支对特征图进行解码处理时;所述注意力模块将局部增强分支所处理的特征图经过1*1卷积、ReLU函数、1*1卷积和Logistic函数的处理,然后,将其与关键点检测分支相对应的特征图进行逐元素乘法,最终得到新特征图;
步骤b,将步骤a中得到的新特征图与关键点检测分支处理后相应的特征图进行逐元素加法操作,使得局部增强分支的特征图引入关键点检测分支,并建立这两个分支之间的互补关系,使网络专注于低对比度区域。
所述步骤2还包括:
步骤A,将训练集数据输入到步骤1所述的O型卷积神经网络,然后采用联合损失函数来对其进行优化训练;所述的联合损失函数包括关键点检测分支的损失和局部增强分支的损失;通过半径自适应标签对局部增强分支进行优化训练,为关键点检测分支提供清晰的细枝边界;
步骤A-1,所述半径自适应标签是局部前景的分支结构,可以根据分支的半径大小而自适应的变化,首先,获取每个关键点的粗略半径r,然后根据交汇点的坐标和相应的半径r展开标签,对于一个关键点b,以半径Rb为半径的圆内的前景区域作为该关键点b对应的训练目标,Rb由局部半径rb自动确定,如下公式所示:
其中,rb是关键点b的粗略半径,δ是连接半径阈值。
步骤B,然后使用联合损失函数,应用梯度下降算法,指导步骤2中的O型卷积神经网络训练优化直到收敛。
所述联合损失函数计算公式为:
L=(1-α)×LLEB+α×LJDB
其中,α为平衡所述关键点检测分支和所述局部增强分支的训练过程,LLEB为局部增强分支的损失,LJDB为关键点检测分支的损失。
所述局部增强分支的损失计算公式为:
所述关键点检测分支的损失计算公式为:
其中,p(i,j)为预测热图中位置(i,j)处的像素值,p0(i,j)为对应真实标签热图中位置(i,j)处的像素值。
有益效果:
1.本发明的方法能够直接在原始图像上执行,无需任何分割或骨架化,在处理原始图像时更加稳健和准确。
2.本发明提供一个带有注意力模块的局部增强分支来增强微小的细枝前景并使网络专注于低对比度的区域。能更加有效地整合局部结构特征和上下文信息,并检测细分支的关键点。
实施例2
本实施例为实施例1中方法的一个具体应用。
如图2所示,构建基于注意力机制的O型卷积神经网络,包括关键点检测分支2和局部增强分支1。局部增强分支1和关键点检测分支2分别为图2中网络结构的上、下部分所示。局部增强分支1由第二编码网络结构和第二解码网络结构组成,第二编码网络结构为下采样部分,即局部增强分支1的左半部分,自下而上分别命名为一级第二编码过程11、二级第二编码过程12、三级第二编码过程13和四级第二编码过程14;解码网络结构为上采样部分,即局部增强分支1的右半部分,自上而下分别命名为四级第二解码过程18、三级第二解码过程17、二级第二解码过程16和一级第二解码过程15。
关键点检测分支2由第一编码网络结构和第一解码网络结构组成,第一编码网络结构为下采样部分,即关键点检测分支2的左半部分,自上而下分别命名为一级第一编码过程21、二级第一编码过程22、三级第一编码过程23和四级第一编码过程24;解码网络结构为上采样部分,即关键点检测分支的右半部分,自下而上分别命名为四级第一解码过程28、三级第一解码过程27、二级第一解码过程26和一级第一解码过程25。
所述注意力模块3把局部增强分支1的特这图引入关键点检测分支2,给定来自第i个局部增强分支1的输入特征图,加权图可以表示为:
Mi=σ2(f(σ1(f(Pi,wi,1)),wi,2))
其中,f(,)表示卷积函数,σ1和σ2分别表示ReLU和sigmoid激活函数。wi,1和wi,2都表示卷积参数。加权图Mi强调细枝区域前景。
然后,第i级别注意力特征图S′i可以生成为:
所述注意力模块分别在将局部增强分支1的四级第二解码过程18输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与关键点检测分支2的四级第一解码过程28输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与关键点检测分支2的四级第一解码过程28输出的特征图做逐元素加法操作得到特征图;
S1,三级第二解码过程17输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与三级第一解码过程27的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与三级第一解码过程27输出的特征图做逐元素加法操作得到特征图;
二级第二解码过程16输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与二级第一解码过程26输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与二级第一解码过程26输出的特征图做逐元素加法操作得到特征图;
一级第二解码过程15输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与一级第一解码过程25输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与一级第一解码过程25输出的特征图做逐元素加法操作得到特征图,使得局部增强分支1的特征图引入关键点检测分支2,并建立这两个分支之间的互补关系,使网络专注于低对比度区域。最后再经过1*1卷积得到输出的热图。
S2,选取DRIVE和IOSTAR数据集来训练卷积网络模型以及评估其性能。DRIVE的训练/测试图像分割为20/20,而IOSTAR的所有图像都用于测试,可证明本发明的模型的泛化性能。为了减少参数量,需将数据集的所有图片重新剪裁为512*512。设置δ=2.5,σ为1.5,α是0.75,网络训练学习率是0.001,dropout比率是0.5,优化器为随即梯度下降优化器。
将训练集数据输入到S1所述的基于注意力机制的O型卷积神经网络,然后采用联合损失函数来进行训练基于注意力机制的O型卷积神经网络。首先进行前向传播,然后反向传播,使用联合损失函数L,应用随机梯度下降算法,指导基于注意力机制的O型卷积神经网络训练优化直到收敛。
联合损失函数L包括关键点检测分支JDB的损失和局部增强分支LEB的损失;
联合损失函数被定义为L:
L=(1-α)×LLEB+α×LJDB
其中α是用于平衡关键点检测分支和局部增强分支的训练过程。
进一步,LLEB是局部增强分支的损失,定义为:
LJDB是关键点检测分支的损失,LJDB采取均方差损失,被定义为:
其中,p(i,j)是预测热图中位置(i,j)处的像素值。p0(i,j)是对应真实标签热图中位置(i,j)处的像素值。
S3,将DRIVE和IOSTAR测试集输入到基于注意力机制的O型卷积神经网络,完成前向传播,输出得到关键点热图,如图5,然后进入局部最大值提取,得到关键点的坐标,如图6。
在DRIVE测试集上评估精准率precision、召回率recall以及F1分数,分别达到了0.85、0.80、0.82,超过了现阶段其它方法。
在IOSTAR测试集上评估精准率precision、召回率recall以及F1分数,分别达到了0.72、0.74、0.73,超过了现阶段其它方法。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,包括如下步骤:
步骤1,构建基于注意力机制的O型卷积神经网络,所述O型卷积神经网络包括注意力模块、关键点检测分支(JDB)和局部增强分支(LEB);所述局部增强分支用于局部组织结构分支前景增强和结构提取,并减少细分支和粗分支之间前景的不平衡;所述局部增强分支和关键点检测分支包括编码器和解码器结构,并对不同层次的信息编码解码来生成热图;所述O型卷积神经网络利用注意力模块将局部增强分支的特征图引入关键点检测分支;
局部增强分支(1)由第二编码网络结构和第二解码网络结构组成,第二编码网络结构为下采样部分,即局部增强分支(1)的左半部分,自下而上分别命名为一级第二编码过程(11)、二级第二编码过程(12)、三级第二编码过程(13)和四级第二编码过程(14);解码网络结构为上采样部分,即局部增强分支(1)的右半部分,自上而下分别命名为四级第二解码过程(18)、三级第二解码过程(17)、二级第二解码过程(16)和一级第二解码过程(15);
关键点检测分支(2)由第一编码网络结构和第一解码网络结构组成,第一编码网络结构为下采样部分,即关键点检测分支(2)的左半部分,自上而下分别命名为一级第一编码过程(21)、二级第一编码过程(22)、三级第一编码过程(23)和四级第一编码过程(24);解码网络结构为上采样部分,即关键点检测分支的右半部分,自下而上分别命名为四级第一解码过程(28)、三级第一解码过程(27)、二级第一解码过程(26)和一级第一解码过程(25);
所述注意力模块(3)把局部增强分支(1)的特这图引入关键点检测分支(2),给定来自第i个局部增强分支(1)的输入特征图,加权图可以表示为:
Mi=σ2(f(σ1(f(Pi,wi,1)),wi,2))
其中,f(,)表示卷积函数,σ1和σ2分别表示ReLU和sigmoid激活函数;wi,1和wi,2都表示卷积参数;加权图Mi强调细枝区域前景;
然后,第i级别注意力特征图Si′可以生成为:
所述注意力模块分别在将局部增强分支(1)的四级第二解码过程(18)输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与关键点检测分支(2)的四级第一解码过程(28)输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与关键点检测分支(2)的四级第一解码过程(28)输出的特征图做逐元素加法操作得到特征图;
三级第二解码过程(17)输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与三级第一解码过程(27)的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与三级第一解码过程(27)输出的特征图做逐元素加法操作得到特征图;
二级第二解码过程(16)输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与二级第一解码过程(26)输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与二级第一解码过程(26)输出的特征图做逐元素加法操作得到特征图;
一级第二解码过程(15)输出的特征图经过1*1卷积、ReLU函数、1*1卷积、Logistic函数后与一级第一解码过程(25)输出的特征图进行逐元素乘法得到新的特征图,得到的新的特征图再与一级第一解码过程(25)输出的特征图做逐元素加法操作得到特征图,使得局部增强分支(1)的特征图引入关键点检测分支(2),并建立这两个分支之间的互补关系,使网络专注于低对比度区域;最后再经过1*1卷积得到输出的热图;
步骤2,将训练集数据输入到步骤1中的O型卷积神经网络进行训练,得到学习后的O型卷积神经网络;
步骤3,将测试集数据输入到步骤2中学习后的O型卷积神经网络得到关键点热图,然后对所述关键点热图进行局部最大值提取,得到关键点的坐标。
2.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,所述关键点检测分支包括:
第一编码网络结构,其包括四个级别的第一编码过程,所述四个级别的第一编码过程依次连接,每个级别的第一编码过程逐次对输入其中的特征图进行下采样以及残差学习;
第一解码网络结构,其包括四个级别的第一解码过程,所述第一解码过程与所述第一编码过程一一对应,每个级别的第一解码过程逐次对输入其中的特征图进行上采样和残差学习处理;所述第一编码过程中同一层提取的特征连接到对应的第一解码过程中时,提供局部和全局信息。
3.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,所述局部增强分支包括:
第二编码网络结构,其包括四个级别的第二编码过程,每个级别的第二编码过程逐次对输入的特征图进行下采样以及残差学习处理;
第二解码网络结构,其包括四个级别的第二解码过程,所述第二解码过程与所述第二编码过程一一对应,每个级别的第二解码过程逐次对输入的特征图进行上采样和残差学习处理;所述第二编码过程中同一层提取的特征连接到对应的第二解码过程中时,提供局部和全局信息。
4.根据权利要求2或3中任一项所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,所述第一编码过程和第二编码过程使用步长为2的3*3卷积核进行下采样处理;所述第一解码过程和第二解码过程使用反卷积层进行上采样处理。
5.根据权利要求2或3中任一项所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,执行所述残差学习处理的模块记为残差学习块,所述残差学习块包括:深度可分离卷积、批量归一化、ReLU函数和dropout,所述dropout在训练阶段随机扔掉一些神经网络中的节点和与其相连的边,防止节点同步依赖。
6.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,所述步骤2还包括:
步骤A,将训练集数据输入到步骤1所述的O型卷积神经网络,然后采用联合损失函数来对其进行优化训练;所述的联合损失函数包括关键点检测分支的损失和局部增强分支的损失;通过半径自适应标签对局部增强分支进行优化训练,为关键点检测分支提供清晰的细枝边界;
步骤A-1,所述半径自适应标签是局部前景的分支结构,可以根据分支的半径大小而自适应的变化,首先,获取每个关键点的粗略半径r,然后根据交汇点的坐标和相应的半径r展开标签,对于一个关键点b,以半径Rb为半径的圆内的前景区域作为该关键点b对应的训练目标,Rb由局部半径rb自动确定,如下公式所示:
其中rb是关键点b的粗略半径,δ是连接半径阈值;
步骤B,然后使用联合损失函数,应用梯度下降算法,指导步骤2中的O型卷积神经网络训练优化直到收敛。
7.根据权利要求6所述的基于注意力机制的卷积神经网络医学图像关键点检测方法,其特征在于,所述联合损失函数计算公式为:
L=(1-α)×LLEB+α×LJDB
其中,α为平衡所述关键点检测分支和所述局部增强分支的训练过程,LLEB为局部增强分支的损失,LJDB为关键点检测分支的损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110687012.6A CN113393446B (zh) | 2021-06-21 | 2021-06-21 | 基于注意力机制的卷积神经网络医学图像关键点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110687012.6A CN113393446B (zh) | 2021-06-21 | 2021-06-21 | 基于注意力机制的卷积神经网络医学图像关键点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113393446A CN113393446A (zh) | 2021-09-14 |
CN113393446B true CN113393446B (zh) | 2022-04-15 |
Family
ID=77623207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110687012.6A Active CN113393446B (zh) | 2021-06-21 | 2021-06-21 | 基于注意力机制的卷积神经网络医学图像关键点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113393446B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113992533B (zh) * | 2021-12-29 | 2022-03-22 | 湖南大学 | 一种车载can总线数据异常检测识别方法 |
CN114792315B (zh) * | 2022-06-22 | 2022-10-11 | 浙江太美医疗科技股份有限公司 | 医学图像视觉模型训练方法和装置、电子设备和存储介质 |
CN115861745B (zh) * | 2022-10-25 | 2023-06-06 | 中国交通信息科技集团有限公司 | 一种用于生成三维模型的二维图像特征提取方法与系统 |
CN116977663A (zh) * | 2022-11-30 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 图像数据处理方法、装置、设备以及介质 |
CN116309591B (zh) * | 2023-05-19 | 2023-08-25 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
EP4037833A4 (en) * | 2019-10-01 | 2023-11-01 | Subtle Medical, Inc. | SYSTEMS AND METHODS FOR USING SELF-ATTENTION DEEP LEARNING FOR IMAGE ENHANCEMENT |
CN111444896B (zh) * | 2020-05-09 | 2023-06-30 | 北京碧拓科技有限公司 | 一种远红外热成像人体经络关键点定位方法 |
CN111915526B (zh) * | 2020-08-05 | 2024-05-31 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
-
2021
- 2021-06-21 CN CN202110687012.6A patent/CN113393446B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113393446A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113393446B (zh) | 基于注意力机制的卷积神经网络医学图像关键点检测方法 | |
CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
CN108805134B (zh) | 一种主动脉夹层分割模型的构建方法及应用 | |
CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
CN114287878A (zh) | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 | |
CN115205300A (zh) | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 | |
CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
CN113012155A (zh) | 髋关节图像中骨骼分割方法、电子设备及存储介质 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
CN111161287A (zh) | 基于对称双向级联网络深度学习的视网膜血管分割方法 | |
CN111814832B (zh) | 一种目标检测方法、装置及存储介质 | |
CN113705655B (zh) | 三维点云全自动分类方法及深度神经网络模型 | |
CN114419054A (zh) | 视网膜血管图像分割方法、装置及相关设备 | |
CN113205524A (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
CN115984550A (zh) | 一种眼睛虹膜色素斑纹理自动分割方法 | |
CN112446292A (zh) | 一种2d图像显著目标检测方法及系统 | |
CN113011340A (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及系统 | |
CN117036715A (zh) | 一种基于卷积神经网络的形变区边界自动提取方法 | |
CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
CN114693622A (zh) | 一种基于人工智能的斑块侵蚀自动检测系统 | |
CN112242193A (zh) | 一种基于深度学习的自动血管穿刺方法 | |
CN117078697A (zh) | 一种基于级联模型融合的眼底病种检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |