CN116012367B - 一种基于深度学习的胃部胃黏膜特征及位置识别方法 - Google Patents
一种基于深度学习的胃部胃黏膜特征及位置识别方法 Download PDFInfo
- Publication number
- CN116012367B CN116012367B CN202310114803.9A CN202310114803A CN116012367B CN 116012367 B CN116012367 B CN 116012367B CN 202310114803 A CN202310114803 A CN 202310114803A CN 116012367 B CN116012367 B CN 116012367B
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- layer
- block
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种基于深度学习的胃部胃黏膜特征及位置识别方法,首先采用密集卷积结构和Vision Transformer结构结合组成的网络,通过密集卷积提取局部细节特征,弥补了捕获全局特征表示方面的局限性,通过Vision Transformer模块捕获长距离的特征依赖,弥补了学习局部特征表示方面的局限性,同时,两条分支采用并行结构,最大限度的保留了局部特征和全局表示,通过特征融合模块加强了局部特征表示和全局特征表示的融合,更好的完成胃部胃黏膜特征的初步识别。其次,采用残差网络完成胃部不同位置的识别,最终得到胃部图像的胃黏膜特征位置和范围。
Description
技术领域
本发明涉及图像识别技术领域,具体涉及一种基于深度学习的胃部胃黏膜特征及位置识别方法。
背景技术
随着现代科技的发展,图像识别技术越来越受欢迎和重视,能够针对图像的任何一部位的特征进行准确的分析,随着深度学习技术的进步,在医学影像智能分析方向取得了快速发展。在临床试验中,通过胃部图像能够清晰地观察胃部的位置、特征、形态,每做一次胃镜检查,就会产生更多不同部位的高分辨率图像,因此对胃部胃黏膜特征及部位识别的准确识别就具有重要意义。然而,胃部胃黏膜特征细微不易观察,胃部不同位置无明显界限,利用深度学习技术对其进行识别的研究较少,现有方法主要利用大量数据样本,通过简单的神经网络学习不同层次的图像特征,识别准确率较低,因此,如何设计一种基于深度学习的胃部胃黏膜特征及位置识别方法仍是一个挑战性的问题。
发明内容
本发明为了克服以上技术的不足,提供了一种识别准确率高的基于深度学习的胃部胃黏膜特征及位置识别方法。
本发明克服其技术问题所采用的技术方案是:
一种基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,包括如下步骤:
a)预处理原始胃部图像,得到预处理后的尺寸为h×w的胃部图像R,h为胃部图像R的高,w为胃部图像R的宽;
b)构建由特征提取模块和特征融合模块构成的初步识别网络,将预处理后的胃部图像R输入到初步识别网络中,得到胃部黏膜存在红白相间斑点特征的图像RCAG;
c)训练初步识别网络;
d)构建由残差网络及分类器构成的位置识别网络,将预处理后的胃部图像R输入到位置识别网络后,输出得到部位分类结果CS;
e)训练位置识别网络。
进一步的,步骤a)中通过剪裁的的方式去除真实病例的胃部图像中的患者敏感信息,对胃部图像进行缩放操作得到预处理后的尺寸为h×w的胃部图像R。
所述敏感信息包括真实病例的胃部图像中的患者信息、设备型号、时间信息和操作信息。
进一步的,步骤b)包括如下步骤:
b-1)初步识别网络的特征提取模块由第一卷积块、第一特征提取分支、第二特征提取分支构成,第一特征提取分支依次由第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块构成,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块均依次由BN归一化层、ReLU激活函数层、第一二维卷积层及第二二维卷积层构成,第二特征提取分支依次由第一Trans块、第二Trans块、第三Trans块及第四Trans块构成,第一Trans块、第二Trans块、第三Trans块及第四Trans块均依次由LayerNorm层、多头注意力层及多层感知机MLP构成;
b-2)将预处理后的胃部图像R输入到初步识别网络的特征提取模块的第一卷积块中,输出得到特征FR;
b-3)将特征FR输入到初步识别网络的特征提取模块的第一特征提取分支的第一密集卷积块中,输出得到特征FD1,将特征FD1输入到第一特征提取分支的第二密集卷积块中,输出得到特征FD2,将特征FD2输入到第一特征提取分支的第三密集卷积块中,输出得到特征FD3,将特征FD3输入到第一特征提取分支的第四密集卷积块中,输出得到特征FD4;
b-4)将特征FR经过flatten操作后输入到初步识别网络的特征提取模块的第二特征提取分支的第一Trans块中,输出得到特征FT1,将特征FT1输入到第二特征提取分支的第二Trans块中,输出得到特征FT2,将特征FT2输入到第二特征提取分支的第三Trans块中,输出得到特征FT3,将特征FT3输入到第二特征提取分支的第四Trans块中,输出得到特征FT4;
b-5)初步识别网络的特征融合模块由卷积块、下采样层、上采样层、BN归一化层及ReLU激活函数层构成,将特征FD4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FD5,将特征FD5依次输入到特征融合模块的下采样层和Sigmoid激活函数层后,输出得到空间权重W1,将特征FT4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FT5,将特征FT5依次输入到特征融合模块的上采样层和Sigmoid激活函数层后,输出得到空间权重W2;b-6)将特征FD4与空间权重W2进行点乘操作得到特征FD6,将特征FT4与空间权重W1进行点乘操作得到特征FT6,将特征FD6与特征FT6进行Concat操作,得到特征FCO1,将特征FCO1依次输入到特征融合模块的卷积块、BN归一化层、ReLU激活函数层后输出得到特征FCO2,将特征FT4依次输入到特征融合模块的卷积块及上采样层中,输出得到特征FCO3,将特征FCO2、特征FCO3和特征FD5相加得到特征FCO,将特征FCO依次输入到特征融合模块的卷积块、BN归一化层及ReLU激活函数层后,输出得到融合特征FCO′;
b-7)将融合特征FCO′依次输入到平均池化层、全连接层、softmax函数层后,输出得到识别结果CA,CA∈[0,1],识别结果CA为1时表示胃部图像胃黏膜存在红白相间且以白为主的斑点或小斑片特征,识别结果CA为0时表示胃部胃黏膜不存在红白相间且以白为主的斑点或小斑片特征,选取识别结果CA为1的图像,得到胃部黏膜存在红白相间斑点特征的图像R_CAG。
步骤b-1)中第一卷积块由卷积核大小为1×1的二维卷积层构成;第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第一二维卷积层的卷积核大小为1×1,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第二二维卷积层的卷积核大小为3×3。
步骤b-5)中初步识别网络的特征融合模块的卷积块由卷积核大小为1×1的二维卷积层构成;初步识别网络的特征融合模块的下采样层依次由卷积核大小为3×3,步长为2的二维卷积层、BN归一化层及ReLU激活函数层构成;初步识别网络的特征融合模块的上采样层依次由卷积核大小为3×3,步长为1的卷积层及ReLU激活函数层构成。
进一步的,步骤c)包括如下步骤:
c-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集;c-2)使用交叉熵损失函数利用梯度下降法通过训练集训练初步识别网络,训练时进行300轮迭代,初始学习率设置为e5,使用MultiStepLR学习率调整策略,每间隔20轮进行一次学习率更新,每间隔2轮使用验证集进行一次验证。
优选的,步骤d)中的分类器为softmax分类器
进一步的,步骤d)包括如下步骤:
d-1)位置识别网络的残差网络依次由第一卷积层、第二卷积层、第三卷积层及第四卷积层构成,第一卷积层、第二卷积层、第三卷积层及第四卷积层均依次由卷积核大小为3×3的二维卷积层、BN层及ReLU激活函数层构成;
d-2)将预处理后的胃部图像R输入到位置识别网络的残差网络的第一卷积层中,输出得到尺寸为的特征图R1,将特征图R1输入到残差网络的第二卷积层中,输出得到尺寸为/>的特征图R2,将特征图R2输入到残差网络的第三卷积层中,输出得到尺寸为的特征图R3,将特征图R3输入到残差网络的第三卷积层中,输出得到尺寸为/>的特征图R4;
d-3)将特征图R4输入到位置识别网络的分类器中,输出得到部位分类结果CS,CS∈[0,1,2,3,4,5],部位分类结果CS为0时表示胃部图像为贲门部位,部位分类结果CS为1时表示胃部图像为胃底部位,部位分类结果CS为2时表示胃部图像为胃体大弯部位,部位分类结果CS为3时表示胃部图像为胃体小弯部位,部位分类结果CS为4时表示胃部图像为胃角部位,部位分类结果CS为5时表示胃部图像为胃窦部位。
进一步的,步骤e)包括如下步骤:
e-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集;e-2)将训练集使用随机水平旋转、角度旋转、随机垂直旋转进行图像增强处理;e-3)使用交叉熵损失函数利用梯度下降法通过图像增强后的训练集训练位置识别网络,训练时进行300轮迭代,初始学习率设置为e4,使用StepLR学习率调整策略,每间隔50轮进行一次学习率更新,每间隔5轮使用验证集进行一次验证。
本发明的有益效果是:首先采用密集卷积结构和Vision Transformer结构结合组成的网络,通过密集卷积提取局部细节特征,弥补了捕获全局特征表示方面的局限性,通过Vision Transformer模块捕获长距离的特征依赖,弥补了学习局部特征表示方面的局限性,同时,两条分支采用并行结构,最大限度的保留了局部特征和全局表示,通过特征融合模块加强了局部特征表示和全局特征表示的融合,更好的完成胃部胃黏膜特征的初步识别。其次,采用残差网络完成胃部不同位置的识别,最终得到胃部图像的胃黏膜特征位置和范围。
附图说明
图1为本发明的方法流程图;
图2为本发明的胃部胃黏膜特征的初步识别网络结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,包括如下步骤:
a)预处理原始胃部图像,得到预处理后的尺寸为h×w的胃部图像R,h为胃部图像R的高,w为胃部图像R的宽。
b)构建由特征提取模块和特征融合模块构成的初步识别网络,学习胃部图像中胃黏膜变薄、花白,红白相间,以白为主,可透见黏膜下血管网的特征,完成胃部胃黏膜特征的初步识别网络,利用密集卷积结构中的卷积操作完成局部特征信息的捕获,利用Transformer中的self-attention操作完成长距离特征信息的捕获,通过特征融合模块完成局部特征和全局特征的融合,两者结合起来得到泛化性更强的表征,更好的完成胃黏膜特征的学习,具体的,将预处理后的胃部图像R输入到初步识别网络中,得到胃部黏膜存在红白相间斑点特征的图像R_CAG。c)训练初步识别网络,学习胃黏膜上细节特征和全局特征,完成胃黏膜特征图像的初步识别。
d)构建由残差网络及分类器构成的位置识别网络,将预处理后的胃部图像R输入到位置识别网络后,输出得到部位分类结果CS。通过卷积操作学习不同位置的形态和轮廓等特征,且该网络容易优化,能够通过增加一定的深度来提高识别准确率,残差块内部使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题,更加准确的完成胃部不同位置的识别。在本发明的一个具体实施例中,分类器可以为softmax分类器。
e)训练位置识别网络。学习胃部不同位置的轮廓、形态细节特征等,完成胃部不同位置的准确识别,在胃部胃黏膜特征图像R_CAG上进行测试。
首先采用密集卷积结构和Vision Transformer结构结合组成的网络,通过密集卷积提取局部细节特征,弥补了捕获全局特征表示方面的局限性,通过VisionTransformer模块捕获长距离的特征依赖,弥补了学习局部特征表示方面的局限性,同时,两条分支采用并行结构,最大限度的保留了局部特征和全局表示,通过特征融合模块加强了局部特征表示和全局特征表示的融合,更好的完成胃部胃黏膜特征的初步识别。其次,采用残差网络完成胃部不同位置的识别,最终得到胃部图像的胃黏膜特征位置和范围。
实施例1:
步骤a)中通过剪裁的的方式去除真实病例的胃部图像中的患者敏感信息,对胃部图像进行缩放操作得到预处理后的尺寸为h×w的胃部图像R。
实施例2:
上述敏感信息包括真实病例的胃部图像中的患者信息、设备型号、时间信息和操作信息。
实施例3:
步骤b)包括如下步骤:
b-1)初步识别网络的特征提取模块由第一卷积块、第一特征提取分支、第二特征提取分支构成,第一特征提取分支依次由第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块构成,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块均依次由BN归一化层、ReLU激活函数层、第一二维卷积层及第二二维卷积层构成,第二特征提取分支依次由第一Trans块、第二Trans块、第三Trans块及第四Trans块构成,第一Trans块、第二Trans块、第三Trans块及第四Trans块均依次由LayerNorm层、多头注意力层及多层感知机MLP构成。
b-2)将预处理后的胃部图像R输入到初步识别网络的特征提取模块的第一卷积块中,输出得到特征FR。
b-3)将特征FR输入到初步识别网络的特征提取模块的第一特征提取分支的第一密集卷积块中,输出得到特征FD1,将特征FD1输入到第一特征提取分支的第二密集卷积块中,输出得到特征FD2,将特征FD2输入到第一特征提取分支的第三密集卷积块中,输出得到特征FD3,将特征FD3输入到第一特征提取分支的第四密集卷积块中,输出得到特征FD4。
b-4)将特征FR经过flatten操作后输入到初步识别网络的特征提取模块的第二特征提取分支的第一Trans块中,输出得到特征FT1,将特征FT1输入到第二特征提取分支的第二Trans块中,输出得到特征FT2,将特征FT2输入到第二特征提取分支的第三Trans块中,输出得到特征FT3,将特征FT3输入到第二特征提取分支的第四Trans块中,输出得到特征FT4。
b-5)初步识别网络的特征融合模块由卷积块、下采样层、上采样层、BN归一化层及ReLU激活函数层构成,将特征FD4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FD5,将特征FD5依次输入到特征融合模块的下采样层和Sigmoid激活函数层后,输出得到空间权重W1,将特征FT4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FT5,将特征FT5依次输入到特征融合模块的上采样层和Sigmoid激活函数层后,输出得到空间权重W2。b-6)将特征FD4与空间权重W2进行点乘操作得到特征FD6,将特征FT4与空间权重W1进行点乘操作得到特征FT6,将特征FD6与特征FT6进行Concat操作,得到特征FCO1,将特征FCO1依次输入到特征融合模块的卷积块、BN归一化层、ReLU激活函数层后输出得到特征FCO2,将特征FT4依次输入到特征融合模块的卷积块及上采样层中,输出得到特征FCO3,将特征FCO2、特征FCO3和特征FD5相加得到特征FCO,将特征FCO依次输入到特征融合模块的卷积块、BN归一化层及ReLU激活函数层后,输出得到融合特征FCO′。b-7)将融合特征FCO′依次输入到平均池化层、全连接层、softmax函数层后,输出得到识别结果CA,CA∈[0,1],识别结果CA为1时表示胃部图像胃黏膜存在红白相间且以白为主的斑点或小斑片特征,识别结果CA为0时表示胃部胃黏膜不存在红白相间且以白为主的斑点或小斑片特征,选取识别结果CA为1的图像,得到胃部黏膜存在红白相间斑点特征的图像R_CAG。
实施例4:
步骤b-1)中第一卷积块由卷积核大小为1×1的二维卷积层构成;第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第一二维卷积层的卷积核大小为1×1,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第二二维卷积层的卷积核大小为3×3。
实施例5:
步骤b-5)中初步识别网络的特征融合模块的卷积块由卷积核大小为1×1的二维卷积层构成;初步识别网络的特征融合模块的下采样层依次由卷积核大小为3×3,步长为2的二维卷积层、BN归一化层及ReLU激活函数层构成;初步识别网络的特征融合模块的上采样层依次由卷积核大小为3×3,步长为1的卷积层及ReLU激活函数层构成。
实施例6:
步骤c)包括如下步骤:
c-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集。c-2)使用交叉熵损失函数利用梯度下降法通过训练集训练初步识别网络,训练时进行300轮迭代,初始学习率设置为e5,使用MultiStepLR学习率调整策略,每间隔20轮进行一次学习率更新,每间隔2轮使用验证集进行一次验证。选取最优的验证结果并保存网络模型权重,以备后续测试使用。
实施例7:
采用残差网络学习图像特征完成胃部胃黏膜特征图像的位置识别,通过卷积操作学习不同部位的形态和轮廓特征,能够通过增加相当的深度来提高准确率,且该网络容易优化,残差块内部使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题。在临床实验中,胃结构主要包括贲门、胃底、胃体大弯、胃体小弯、胃角、胃窦六部分,各部分位置形态各不同,通过学习各部分的不同形态特征完成胃部的位置识别。具体的,步骤d)包括如下步骤:d-1)位置识别网络的残差网络依次由第一卷积层、第二卷积层、第三卷积层及第四卷积层构成,第一卷积层、第二卷积层、第三卷积层及第四卷积层均依次由卷积核大小为3×3的二维卷积层、BN层及ReLU激活函数层构成。
d-2)将预处理后的胃部图像R输入到位置识别网络的残差网络的第一卷积层中,输出得到尺寸为的特征图R1,将特征图R1输入到残差网络的第二卷积层中,输出得到尺寸为/>的特征图R2,将特征图R2输入到残差网络的第三卷积层中,输出得到尺寸为的特征图R3,将特征图R3输入到残差网络的第三卷积层中,输出得到尺寸为/>的特征图R4。
d-3)将特征图R4输入到位置识别网络的分类器中,输出得到部位分类结果CS,CS∈[0,1,2,3,4,5],部位分类结果CS为0时表示胃部图像为贲门部位,部位分类结果CS为1时表示胃部图像为胃底部位,部位分类结果CS为2时表示胃部图像为胃体大弯部位,部位分类结果CS为3时表示胃部图像为胃体小弯部位,部位分类结果CS为4时表示胃部图像为胃角部位,部位分类结果CS为5时表示胃部图像为胃窦部位。
最后得到的胃部胃黏膜红白相间,以白为主的斑点或小斑片特征的分布位置及范围。
实施例8:
步骤e)包括如下步骤:
e-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集。e-2)将训练集使用随机水平旋转、角度旋转、随机垂直旋转进行图像增强处理。e-3)使用交叉熵损失函数利用梯度下降法通过图像增强后的训练集训练位置识别网络,训练时进行300轮迭代,初始学习率设置为e4,使用StepLR学习率调整策略,每间隔50轮进行一次学习率更新,每间隔5轮使用验证集进行一次验证。不断选择最优的验证结果并保存网络模型权重,以备后续测试使用。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,包括如下步骤:
a)预处理原始胃部图像,得到预处理后的尺寸为h×w的胃部图像R,h为胃部图像R的高,w为胃部图像R的宽;
b)构建由特征提取模块和特征融合模块构成的初步识别网络,将预处理后的胃部图像R输入到初步识别网络中,得到胃部黏膜存在红白相间斑点特征的图像R_CAG;
c)训练初步识别网络;
d)构建由残差网络及分类器构成的位置识别网络,将预处理后的胃部图像R输入到位置识别网络后,输出得到部位分类结果CS;
e)训练位置识别网络;
步骤b)包括如下步骤:
b-1)初步识别网络的特征提取模块由第一卷积块、第一特征提取分支、第二特征提取分支构成,第一特征提取分支依次由第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块构成,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块均依次由BN归一化层、ReLU激活函数层、第一二维卷积层及第二二维卷积层构成,第二特征提取分支依次由第一Trans块、第二Trans块、第三Trans块及第四Trans块构成,第一Trans块、第二Trans块、第三Trans块及第四Trans块均依次由LayerNorm层、多头注意力层及多层感知机MLP构成;
b-2)将预处理后的胃部图像R输入到初步识别网络的特征提取模块的第一卷积块中,输出得到特征FR;
b-3)将特征FR输入到初步识别网络的特征提取模块的第一特征提取分支的第一密集卷积块中,输出得到特征FD1,将特征FD1输入到第一特征提取分支的第二密集卷积块中,输出得到特征FD2,将特征FD2输入到第一特征提取分支的第三密集卷积块中,输出得到特征FD3,将特征FD3输入到第一特征提取分支的第四密集卷积块中,输出得到特征FD4;
b-4)将特征FR经过flatten操作后输入到初步识别网络的特征提取模块的第二特征提取分支的第一Trans块中,输出得到特征FT1,将特征FT1输入到第二特征提取分支的第二Trans块中,输出得到特征FT2,将特征FT2输入到第二特征提取分支的第三Trans块中,输出得到特征FT3,将特征FT3输入到第二特征提取分支的第四Trans块中,输出得到特征FT4;
b-5)初步识别网络的特征融合模块由卷积块、下采样层、上采样层、BN归一化层及ReLU激活函数层构成,将特征FD4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FD5,将特征FD5依次输入到特征融合模块的下采样层和Sigmoid激活函数层后,输出得到空间权重W1,将特征FT4输入到初步识别网络的特征融合模块的卷积块中,输出得到特征FT5,将特征FT5依次输入到特征融合模块的上采样层和Sigmoid激活函数层后,输出得到空间权重W2;
b-6)将特征FD4与空间权重W2进行点乘操作得到特征FD6,将特征FT4与空间权重W1进行点乘操作得到特征FT6,将特征FD6与特征FT6进行Concat操作,得到特征FCO1,将特征FCO1依次输入到特征融合模块的卷积块、BN归一化层、ReLU激活函数层后输出得到特征FCO2,将特征FT4依次输入到特征融合模块的卷积块及上采样层中,输出得到特征FCO3,将特征FCO2、特征FCO3和特征FD5相加得到特征FCO,将特征FCO依次输入到特征融合模块的卷积块、BN归一化层及ReLU激活函数层后,输出得到融合特征FCO′;
b-7)将融合特征FCO′依次输入到平均池化层、全连接层、softmax函数层后,输出得到识别结果CA,CA∈[0,1],识别结果CA为1时表示胃部图像胃黏膜存在红白相间且以白为主的斑点或小斑片特征,识别结果CA为0时表示胃部胃黏膜不存在红白相间且以白为主的斑点或小斑片特征,选取识别结果CA为1的图像,得到胃部黏膜存在红白相间斑点特征的图像R_CAG。
2.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于:步骤a)中通过剪裁的的方式去除真实病例的胃部图像中的患者敏感信息,对胃部图像进行缩放操作得到预处理后的尺寸为h×w的胃部图像R。
3.根据权利要求2所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于:所述敏感信息包括真实病例的胃部图像中的患者信息、设备型号、时间信息和操作信息
4.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于:步骤b-1)中第一卷积块由卷积核大小为1×1的二维卷积层构成;第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第一二维卷积层的卷积核大小为1×1,第一密集卷积块、第二密集卷积块、第三密集卷积块及第四密集卷积块的第二二维卷积层的卷积核大小为3×3。
5.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于:步骤b-5)中初步识别网络的特征融合模块的卷积块由卷积核大小为1×1的二维卷积层构成;初步识别网络的特征融合模块的下采样层依次由卷积核大小为3×3,步长为2的二维卷积层、BN归一化层及ReLU激活函数层构成;初步识别网络的特征融合模块的上采样层依次由卷积核大小为3×3,步长为1的卷积层及ReLU激活函数层构成。
6.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,步骤c)包括如下步骤:
c-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集;
c-2)使用交叉熵损失函数利用梯度下降法通过训练集训练初步识别网络,训练时进行300轮迭代,初始学习率设置为e5,使用MultiStepLR学习率调整策略,每间隔20轮进行一次学习率更新,每间隔2轮使用验证集进行一次验证。
7.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于:步骤d)中的分类器为softmax分类器。
8.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,步骤d)包括如下步骤:
d-1)位置识别网络的残差网络依次由第一卷积层、第二卷积层、第三卷积层及第四卷积层构成,第一卷积层、第二卷积层、第三卷积层及第四卷积层均依次由卷积核大小为3×3的二维卷积层、BN层及ReLU激活函数层构成;
d-2)将预处理后的胃部图像R输入到位置识别网络的残差网络的第一卷积层中,输出得到尺寸为的特征图R1,将特征图R1输入到残差网络的第二卷积层中,输出得到尺寸为/>的特征图R2,将特征图R2输入到残差网络的第三卷积层中,输出得到尺寸为/>的特征图R3,将特征图R3输入到残差网络的第三卷积层中,输出得到尺寸为/>的特征图R4;
d-3)将特征图R4输入到位置识别网络的分类器中,输出得到部位分类结果CS,CS∈[0,1,2,3,4,5],部位分类结果CS为0时表示胃部图像为贲门部位,部位分类结果CS为1时表示胃部图像为胃底部位,部位分类结果CS为2时表示胃部图像为胃体大弯部位,部位分类结果CS为3时表示胃部图像为胃体小弯部位,部位分类结果CS为4时表示胃部图像为胃角部位,部位分类结果CS为5时表示胃部图像为胃窦部位。
9.根据权利要求1所述的基于深度学习的胃部胃黏膜特征及位置识别方法,其特征在于,步骤e)包括如下步骤:
e-1)将预处理后的胃部图像R按照4:1:1的比例划分为训练集、测试集和验证集;
e-2)将训练集使用随机水平旋转、角度旋转、随机垂直旋转进行图像增强处理;
e-3)使用交叉熵损失函数利用梯度下降法通过图像增强后的训练集训练位置识别网络,训练时进行300轮迭代,初始学习率设置为e4,使用StepLR学习率调整策略,每间隔50轮进行一次学习率更新,每间隔5轮使用验证集进行一次验证。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310114803.9A CN116012367B (zh) | 2023-02-14 | 2023-02-14 | 一种基于深度学习的胃部胃黏膜特征及位置识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310114803.9A CN116012367B (zh) | 2023-02-14 | 2023-02-14 | 一种基于深度学习的胃部胃黏膜特征及位置识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116012367A CN116012367A (zh) | 2023-04-25 |
CN116012367B true CN116012367B (zh) | 2023-09-12 |
Family
ID=86030015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310114803.9A Active CN116012367B (zh) | 2023-02-14 | 2023-02-14 | 一种基于深度学习的胃部胃黏膜特征及位置识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012367B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058467B (zh) * | 2023-10-10 | 2023-12-22 | 湖北大学 | 一种胃肠道病变类型识别方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
WO2020087838A1 (zh) * | 2018-10-29 | 2020-05-07 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
CA3138679A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
CN112561863A (zh) * | 2020-12-03 | 2021-03-26 | 吉林大学 | 一种基于改进ResNet的医学图像多分类识别系统 |
WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
CN115294075A (zh) * | 2022-08-11 | 2022-11-04 | 重庆师范大学 | 一种基于注意力机制的octa图像视网膜血管分割方法 |
WO2022252272A1 (zh) * | 2021-06-03 | 2022-12-08 | 江苏大学 | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739075B (zh) * | 2020-06-15 | 2024-02-06 | 大连理工大学 | 一种结合多尺度注意力的深层网络肺部纹理识别方法 |
KR102283265B1 (ko) * | 2020-12-31 | 2021-07-29 | 가천대학교 산학협력단 | 스케일 확장 기반의 컨볼루션 신경망을 이용한 대장 질환 분류 방법 및 그 장치 |
US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
-
2023
- 2023-02-14 CN CN202310114803.9A patent/CN116012367B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
WO2020087838A1 (zh) * | 2018-10-29 | 2020-05-07 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
CA3138679A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
CN112561863A (zh) * | 2020-12-03 | 2021-03-26 | 吉林大学 | 一种基于改进ResNet的医学图像多分类识别系统 |
WO2022252272A1 (zh) * | 2021-06-03 | 2022-12-08 | 江苏大学 | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 |
CN115294075A (zh) * | 2022-08-11 | 2022-11-04 | 重庆师范大学 | 一种基于注意力机制的octa图像视网膜血管分割方法 |
Non-Patent Citations (1)
Title |
---|
基于总分式密集连接网络的图像超分辨重建;魏欣;郑玉甫;;兰州交通大学学报(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116012367A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768014B2 (en) | System and method for identifying a person with reference to a sclera image | |
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
US20220157047A1 (en) | Feature Point Detection | |
US8861799B2 (en) | Computationally efficient feature extraction and matching iris recognition | |
US20210150194A1 (en) | Image feature extraction method for person re-identification | |
CN106097335A (zh) | 消化道病灶图像识别系统及识别方法 | |
Crihalmeanu et al. | Enhancement and registration schemes for matching conjunctival vasculature | |
CN106897675A (zh) | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 | |
CN106127164A (zh) | 基于显著性检测和卷积神经网络的行人检测方法及装置 | |
CN110427832A (zh) | 一种基于神经网络的小数据集手指静脉识别方法 | |
CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN116012367B (zh) | 一种基于深度学习的胃部胃黏膜特征及位置识别方法 | |
CN107480644A (zh) | 眼底图像中视盘的定位与分割方法、装置和存储介质 | |
AU2005307289A1 (en) | Multiscale variable domain decomposition method and system for iris identification | |
CN108564120A (zh) | 基于深度神经网络的特征点提取方法 | |
CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
CN112686191A (zh) | 基于人脸三维信息的活体防伪方法、系统、终端及介质 | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
CN116486246A (zh) | 一种基于卷积神经网络的桥梁水下图像病害智能识别方法 | |
WO2007110982A1 (ja) | 眼底のステレオ画像のための画像解析装置及びプログラム | |
CN107169412A (zh) | 基于混合模型决策的遥感图像靠港船只检测方法 | |
CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
BR112021016734A2 (pt) | Método para identificação de um usuário utilizando uma imagem de um objeto do usuário que possui uma característica biométrica do usuário e dispositivo móvel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |