CN115908224A - 目标检测模型的训练方法、目标检测方法和训练装置 - Google Patents
目标检测模型的训练方法、目标检测方法和训练装置 Download PDFInfo
- Publication number
- CN115908224A CN115908224A CN202110937257.XA CN202110937257A CN115908224A CN 115908224 A CN115908224 A CN 115908224A CN 202110937257 A CN202110937257 A CN 202110937257A CN 115908224 A CN115908224 A CN 115908224A
- Authority
- CN
- China
- Prior art keywords
- pyramid
- features
- output
- feature
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种目标检测模型的训练方法、目标检测方法和训练装置。该训练方法包括:获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;获取待训练的特征金字塔网络根据金字塔输入特征得到的金字塔输出特征,金字塔输出特征的最高层输出特征根据金字塔输入特征中的最高层输入特征形成,金字塔输出特征的最低层输出特征根据金字塔输入特征中的最低层输入特征形成,金字塔输出特征的其他层输出特征根据若干层输入特征融合形成;获取待训练的预测网络根据金字塔输出特征得到的预测结果;根据预测结果与样本图像的标签信息之间的差异,更新模型参数,该训练过程提取了丰富的上下文信息和细节信息,有利于提高模型的检测准确性。
Description
技术领域
本发明属于图像处理技术领域,具体地讲,涉及一种用于胶囊内镜图像病变区域的目标检测模型的训练方法、目标检测方法、训练装置、目标检测装置、计算机可读存储介质、计算机设备。
背景技术
自2001年,美国和欧洲将小肠胶囊内窥镜检查引入临床实践,胶囊内窥镜检查的使用便稳步增长。使用胶囊内窥镜进行人体内部的拍摄,通过检阅拍摄的图片进行病理检查这样既减轻了病人的痛苦也降低了病理的漏检。然而无线胶囊内窥镜在短时间内会拍摄大量的图片,这对医生的检阅是一项很大的挑战。并且对于一些图片的病变区域较小,这样通过人工检阅即使是有经验的医生也可能会出现漏检,出现漏检的情况对于病人来说是非常危险的。
近几年来,深度学习引起人工智能领域研究者很大的兴趣,并且很多研究者将深度学习应用到了医学图像处理,如无线胶囊内窥镜图像。用深度学习技术通过对早癌、溃疡、息肉、出血、钩虫的早期诊断,可以潜在地帮助预后和发展有效的疾病治疗方案。与传统的内窥镜检查相比无线胶囊内窥镜(WCE)可以对患者进行消化道低风险、无创的影响检查。WCE作为检查小肠疾病的常规手段,深受人们的欢迎,但是因其检测的图像存在对比度低、复杂的背景、病变颜色以及颜色深浅等问题,导致分割、检测的准确性以及分类都受到影响,因此对无线胶囊内窥镜改进以解决相关问题是必要的。
基于深度学习的对象检测算法在过去几年里受到了广泛的研究,随着人工智能的发展以及一些基于深度卷积神经网络(Convolutional Neural Networks,CNN)网络的目标检测算法的提出,例如,Two-Stage检测器中的Faster R-CNN,One-Stage检测器中的SSD和YOLO,基于深度学习的检测方法已经取得了很好的效果,并且随着深度卷积神经网络架构性能的提升,其检测性能也会越来越好。
近几年,许多研究者将自然场景下的一些优秀的目标检测器应用到无线胶囊内窥镜图像的病变区域的检测,例如,(Younghak S.,Ali Q.H.,Lars A,et al.AutomaticColon Polyp Detection Using Region Based Deep CNN and Post LearningApproaches[J].IEEE Access,2018,6:40950-40962.)提出基于改进的Faster R-CNN网络用于检测胶囊内镜的息肉病变区域,(Zhang Xu,Chen Fei,Yu Tao,et al.Real-timegastric polyp detection using convolutional neural networks[J].Plos One,2019,14(3).)提出基于改进的DSSD网络用于检测胶囊内镜的息肉病变区域,(Jia Xiao,MaiXiao Chun,Cui Yi Xun,et al.Automatic Polyp Recognition in Colonoscopy ImagesUsing Deep Learning and Two-Stage Pyramidal Feature Prediction[J].IEEETransactions on Automation Science and Engineering,2020,PP(99):1-15.)提出基于改进的Mask-Rcnn网络用于对胶囊内镜息肉病变区域的分割和基于改进的HED网络用于对胶囊内镜图像钩虫病变区域的检测等,这些基于深度学习的方法用于胶囊内镜病变区域的检测获得了较好的检测结果。当息肉病变区域较小时,上述文献所提出的息肉目标检测方法并不能正确的检测,并且由于内窥镜图像内部环境复杂会产生大量误检的情况。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是:如何提供一种能准确检测胶囊内镜图像小区域病变的目标检测模型。
(二)本发明所采用的技术方案
一种用于胶囊内镜图像病变区域的目标检测模型的训练方法,待训练的目标检测模型包括主干网络、特征金字塔网络和预测网络,所述训练方法包括:
获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;
获取待训练的特征金字塔网络根据所述金字塔输入特征得到的金字塔输出特征,其中所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层输入特征融合形成;
获取待训练的预测网络根据所述金字塔输出特征得到的预测结果;
根据所述预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
优选地,所述待训练的主干网络包括若干卷积层和若干RFB模块,各个所述卷积层和各个所述RFB模块按照预定顺序依次连接,所述待训练的主干网络根据所述样本图像得到的金字塔输入特征的方法包括:
所述主干网络的最低层卷积层根据所述样本图像得到所述金字塔输入特征中的最低层输入特征;
所述主干网络的最高层RFB模块根据与所述最高层RFB模块连接的所述RFB模块的输出特征得到所述金字塔输入特征中的最高层输入特征;
所述主干网络中除最高层RFB模块之外的其他所述RFB模块输出所述金字塔输出特征的其他层输入特征。
优选地,所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,具体包括:将所述金字塔输入特征中的最高层输入特征直接作为所述金字塔输出特征的最高层输出特征;
所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,具体包括:对所述金字塔输入特征中的最低层输入特征进行卷积处理,得到所述金字塔输出特征的最低层输出特征。
优选地,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层特征融合形成,具体包括:
对所述金字塔输入特征中除最低层输入特征之外的其他层输入特征分别进行卷积处理和批量归一化处理,得到若干尺度的中间层特征;
对各个中间层特征进行上采样,并进行自顶向下的融合,得到融合特征,对所述融合特征进行池化处理,得到所述金字塔输出特征的其他层输出特征。
优选地,所述待训练的预测网络包括ARM模块和输出网络,所述待训练的预测网络根据所述金字塔输出特征得到的预测结果,具体包括:
对所述金字塔输出特征进行卷积处理之后,分别输入到所述ARM模块和所述输出网络,所述ARM模块输出第一预测结果,所述输出网络输出第二预测结果;
根据所述第一预测结果对所述第二预测结果进行调整,得到所述预测结果。
本申请还公开了一种用于胶囊内镜图像病变区域的目标检测方法,所述目标检测方法包括:
获取待检测的胶囊内镜图像;
将所述胶囊内镜图像输入到根据上述的训练方法进行训练得到的用于胶囊内镜图像病变区域的目标检测模型,目标检测模型输出检测结果。
本申请还公开了一种用于胶囊内镜图像病变区域的目标检测模型的训练装置,所述训练装置包括:
第一获取单元,用于获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;
第二获取单元,用于获取待训练的特征金字塔网络根据所述金字塔输入特征得到的金字塔输出特征,其中所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层输入特征融合形成;
第三获取单元,用于获取待训练的预测网络根据所述金字塔输出特征得到的预测结果;
参数更新单元,用于根据所述预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
优选地,一种用于胶囊内镜图像病变区域的目标检测装置,所述目标检测装置包括:
图像获取模块,用于获取待检测的胶囊内镜图像;
目标检测模型,用于根据输入的所述胶囊内镜图像得到检测结果,
其中,所述目标检测模型为根据上述的训练方法进行训练得到的。
本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种方法。
本申请还公开了一种计算机设备,所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的计算机程序,所述计算机程序被处理器执行时实现上述任一种方法。
(三)有益效果
本发明公开了一种用于胶囊内镜图像病变区域的目标检测模型的训练方法、目标检测方法,相对于现有方法,具有如下技术效果:
从主干网络得到的金字塔输入特征中取出高级语义特征和低级语义特征,获取丰富的上下文信息,并对若干层输入特征进行融合处理,得到融合特征,可以得到更丰富的息肉细节信息,从而进一步使得目标检测模型对细小息肉区域识别的准确性。同时,在主干网络中加入RFB模块,可增大模型的感受野,在预测网络中加入ARM模块,有利于解决正负样本不均衡问题。
附图说明
图1为本发明的实施例一的用于胶囊内镜图像病变区域的目标检测模型的训练方法的流程图;
图2为本发明的实施例一的用于胶囊内镜图像病变区域的目标检测模型的示意图;
图3为本发明的实施例一的RFB模块的示意图;
图4为本发明的实施例二的用于胶囊内镜图像病变区域的目标检测方法的流程图;
图5为本发明的实施例三的用于胶囊内镜图像病变区域的目标检测模型的训练装置的示意图;
图6为本发明的实施例四的用于胶囊内镜图像病变区域的目标检测装置的示意图;
图7为本发明的实施例四的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在详细描述本申请的各个实施例之前,首先简单描述本申请的发明构思:现有技术中采用深度学习方法对胶囊内镜病变区域的检测过程中,当息肉病变区域较小时,目前所提出的息肉目标检测方法并不能正确的检测,并且由于内窥镜图像内部环境复杂会产生大量误检的情况,为此本申请提供的基于特征金字塔网络构建的目标检测模型的训练方法,对金字塔输入特征中的部分特征进行融合处理得到融合特征,并提取出金字塔输入特征中的高级语义特征和低级语义特征,共同与融合特征构成金字塔输出特征,进一步利用预测网络进行预测,这样可以使得模型学习到更丰富的息肉细节信息和上下文信息,提高模型的检测准确率。
具体地,本实施例一的用于胶囊内镜图像病变区域的目标检测模型包括主干网络、特征金字塔网络和预测网络三部分,其中用于胶囊内镜图像病变区域的目标检测模型的训练方法包括如下步骤:
步骤S10:获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;
步骤S20:获取待训练的特征金字塔网络根据金字塔输入特征得到的金字塔输出特征,其中金字塔输出特征的最高层输出特征根据金字塔输入特征中的最高层输入特征形成,金字塔输出特征的最低层输出特征根据金字塔输入特征中的最低层输入特征形成,金字塔输出特征的其他层输出特征根据金字塔输入特征中的若干层输入特征融合形成。
步骤S30:获取待训练的预测网络根据金字塔输出特征得到的预测结果。
步骤S40:根据预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
其中,在步骤S10,待训练的主干网络包括若干卷积层和若干RFB(ReceptiveField Block)模块,各个卷积层和各个RFB模块按照预定顺序依次连接主干网络。待训练的主干网络根据所述样本图像得到的金字塔输入特征的方法包括如下步骤:
步骤S101:主干网络的最低层卷积层根据样本图像得到金字塔输入特征中的最低层输入特征;
步骤S102:主干网络的最高层RFB模块根据与最高层RFB模块连接的RFB模块的输出特征得到所述金字塔输入特征中的最高层输入特征;
步骤S103:主干网络中除最高层RFB模块之外的其他RFB模块输出金字塔输出特征的其他层输入特征。
其中,各个卷积层和各个RFB模块数量和位置可自行设置,本实施例不进行限定。示例性地,主干网络可由VGG16网络进行改造得到,把VGG16网络的最后两个全连接层用卷积层替换,这两个卷积层的维度分别为32×32×512、16×16×1024,并额外的增加的两个卷积块,最后一个卷积块的维度为8×8×768。为了使网络在深度基本不变时增大其感受野,在VGG16网络中加入了3个RFB模块,如图2所示分别在conv5_3卷积特征后、conv7卷积特征后加入RFB模块以及将增加的第一个卷积块替换为RFB模块。其中RFB模块如图3所示,其输入为上一层的输出,对输入的特征块进行3个不同离心率的空洞卷积离心率分别为1、3、5,在最后对3个支路的特征块和原始特征块进行融合作为下一层的输入。RFB模块的加入使得主干网络不需用很深的网络就能得到很大的感受野,网络的性能得到提升,并且如图3所示的RFB模块的每个分支中的每个卷积块后都加入了批量归一化处理,使得网络从零开始训练息肉数据集时能够很好的收敛,模型的鲁棒性更好。
在步骤S20中,在构建得到金字塔输出特征时,将金字塔输入特征中的最高层输入特征直接作为金字塔输出特征的最高层输出特征;对金字塔输入特征中的最低层输入特征进行卷积处理,得到金字塔输出特征的最低层输出特征;对金字塔输入特征中除最低层输入特征之外的其他层输入特征分别进行卷积处理,得到若干尺度的中间层特征,接着对各个中间层特征进行上采样,并进行自顶向下的融合,得到最后的融合特征对融合特征进行池化处理,得到金字塔输出特征的其他层输出特征。这样一方面可以保留高级语义特征和低级语义特征,富含更多的上下文信息,另一方面通过融合处理获取了更丰富的息肉细节信息。
示例性地,为了便于描述,金字塔输入特征和金字塔输出特征均以四层为例。金字塔输入特征的最低层输入特征为conv4_3卷积块处理得到的卷积特征conv4_3,中间两层输入特征分别为是第一RFB模块对conv5_3卷积块输出的卷积特征conv5_3进行处理之后得到的卷积特征conv7、以及利用第二RFB模块对卷积特征conv7进行处理之后得到卷积特征,最高层输入特征为第三RFB模块对第二RFB模块的输出进行处理后得到的conv9。
进一步地,对金字塔输入特征的各层特征进行两个3×3的卷积操作,以实现降维,为了使网络从零开始训练能够很好地收敛,在卷积操作之后再进行批量归一化处理。其中,对卷积特征conv4_3进行两个3×3的卷积操作,以实现降维,为了使网络从零开始训练能够很好地收敛,卷积特征conv4_3进行卷积处理之后再进行批量归一化处理,形成金字塔输出特征的最低层输出特征。对第一RFB模块输出的卷积特征、第二RFB模块输出的卷积特征、第三RFB模块输出的卷积特征进行两个3×3的卷积操作和批量归一化处理之后,得到三种尺度的中间层特征,对各个中间层特征进行上采样,并进行自顶向下的融合,得到融合特征,对融合特征进行池化处理,得到金字塔输出特征的中间两层输出特征,即金字塔输出特征的其他层输出特征。步骤S20的处理过程,为了使网络的宽度加宽提升网络的性能,沿用了PFPNet网络的SPP(Spatial Pyramid Pooling)模块的处理思路,所不同的是,若直接对输入的息肉特征图进行不同尺寸的池化操作,由于息肉的有效区域较小可能直接导致池化操作后其细节特征不存在并且融合会导致提取的息肉高级语义信息丢失。本实施例二采用上述步骤S20的处理过程,构建了具有四层特征的金字塔输出特征,很好地保留了更丰富的息肉细节信息和提取更丰富的上下文信息细节信息。此时,四层输出特征的维度分别为64×64×768、32×32×768、16×16×768和8×8×768。
进一步地,在步骤S30中,待训练的预测网络包括ARM模块和输出网络,待训练的预测网络根据所述金字塔输出特征得到的预测结果,具体包括:对金字塔输出特征进行卷积处理之后,分别输入到ARM模块和输出网络,ARM模块输出第一预测结果,输出网络输出第二预测结果;根据所述第一预测结果对所述第二预测结果进行调整,得到所述预测结果。在模型中加入了ARM模块,可以解决one-stage网络中正负样本不均衡的问题。具体来说,对输入的描点进行二分类(前景和背景),并对锚点进行粗略的调整位置和大小(其中描点对应的就是在原始图像上画的矩形框,进行框的回归)并过滤掉一些负样本,用ARM模块调整过的描点(即第一预测结果)初始化输出网络的描点(即第二预测结果),得到最终的预测结果。
ARM模块部分:在每个卷积后都接上一个输出进行分类和框回归,此处的分类为二分类,用于区分前景和背景,并将输出的得分较高的锚点送入后续网络进行训练。为了使网络能从零开始训练时很好的收敛,在每个输出支路的头网络中都加入了批量归一化的处理。其分类损失、回归损失和网络的输出损失函数相同。
其中,输出网络部分:采用SSD(Single Shot MultiBox Detector)网络的输出网络,每个分支的输入为ARM模块得分较高的锚点经过一个3×3的卷积后(通道数为256)接上网络的输出,每个输出都包含两个任务,分类和框回归,此时的分类为具体类别的分类。其输出分类损失函数为:
其中Lconf(x,c)为分类损失函数输出的值,i代表预测框序号,j代表真值框序号p为类别序号,第二项中的0代表p=0表示为背景。表示第i个预测框类别为p的概率。表示第i个预测框匹配到第j个真值框,真值框的类别为p。公式前半部分为正样本的损失,后半部分为负样本的损失。
其中框的回归损失函数为:
其中smoothL1损失函数为:
其输出总的损失函数为:
其中N表示匹配到真值框的数量,α为分类损失和框回归损失的比例因子,默认为1。
在步骤S40中,得到预测结果之后,根据上述的损失函数公式计算损失函数值,并进一步根据损失函数值更新主干网络、特征金字塔网络和预测网络的模型参数,其中预测结果即为上述损失函数公式中的概率,具体计算过程和模型参数更新过程为本领域技术人员所熟知,在此不进行赘述。
本实施例一公开的训练方法,从主干网络得到的金字塔输入特征中取出高级语义特征和低级语义特征,获取丰富的上下文信息,有利于避免由于内窥镜图像内部环境复杂会产生大量误检,并对若干层输入特征进行融合处理,得到融合特征,可以得到更丰富的息肉细节信息,从而进一步使得目标检测模型对细小息肉区域的识别准确性。同时,在主干网络中加入RFB模块,可增大模型的感受野,在预测网络中加入ARM模块,有利于解决正负样本不均衡问题。
如图4所示,本实施例二提供了一种用于胶囊内镜图像病变区域的目标检测方法,该目标检测方法包括:
步骤S100:获取待检测的胶囊内镜图像;步骤S200:将胶囊内镜图像输入到根据实施例一的训练方法进行训练得到的用于胶囊内镜图像病变区域的目标检测模型,目标检测模型输出检测结果。
具体地,获取到待检测的胶囊内镜图像后进行预处理,使得图像质量增强,主要包括去除黑边、暗区和反光区。训练好的主干网络对胶囊内镜图像进行处理,得到对应的金字塔输入特征,训练好的特征金字塔网络根据金字塔输入特征得到的金字塔输出特征,训练好的预测网络根据金字塔输出特征得到的预测结果,即得到检测结果。其中,主干网络、特征金字塔网络和预测网络处理数据的过程可参见实施例一的描述,在此不进行赘述。
如图5所示,本实施例三公开了一种用于胶囊内镜图像病变区域的目标检测模型的训练装置,训练装置包括第一获取单元10、第二获取单元20、第三获取单元30和参数更新单元40。
其中,第一获取单元10用于获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;第二获取单元20用于获取待训练的特征金字塔网络根据金字塔输入特征得到的金字塔输出特征,其中金字塔输出特征的最高层输出特征根据金字塔输入特征中的最高层输入特征形成,金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,金字塔输出特征的其他层输出特征根据金字塔输入特征中的若干层输入特征融合形成;第三获取单元30用于获取待训练的预测网络根据金字塔输出特征得到的预测结果;参数更新单元40用于根据预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
进一步地,主干网络的结构参考实施例一中的描述,第一获取单元10还用于获取主干网络的最低层卷积层根据所述样本图像得到所述金字塔输入特征中的最低层输入特征、主干网络的最高层RFB模块根据与最高层RFB模块连接的所述RFB模块的输出特征得到金字塔输入特征中的最高层输入特征、以及主干网络中除最高层RFB模块之外的其他RFB模块输出的金字塔输出特征的其他层输入特征。
进一步地,第二获取单元20还用于获取金字塔输入特征中的最高层输入特征、对金字塔输入特征中的最低层输入特征进行卷积处理后得到的最低层输出特征、以及其他层输出特征。
其中,其他层输出特征的形成过程如下:对金字塔输入特征中除最低层输入特征之外的其他层输入特征分别进行卷积处理和批量归一化处理,得到若干尺度的中间层特征;对各个中间层特征进行上采样,并进行自顶向下的融合,得到融合特征,对融合特征进行池化处理,得到金字塔输出特征的其他层输出特征。
进一步地,根据第三获取单元30还用于获取ARM模块根据金字塔输出特征得到的第一预测结果、输出网络根据金字塔输出特征得到的第二预测结果、以及根据第一预测结果对第二预测结果进行调整后得到的预测结果。
如图6所示,本实施例四还公开了一种用于胶囊内镜图像病变区域的目标检测装置,该目标检测装置包括图像获取模块50和目标检测模型60。图像获取模块50用于获取待检测的胶囊内镜图像;目标检测模型60用于根据输入的胶囊内镜图像得到检测结果。其中,图像获取模块50可采用胶囊内窥镜设备,目标检测模型60为根据实施例一的训练方法进行训练得到的。
本实施例四还公开了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现实施例一的用于胶囊内镜图像病变区域的目标检测模型的训练方法或者实施例二的用于胶囊内镜图像病变区域的目标检测方法。
本实施例五还公开了一种计算机设备,在硬件层面,如图7所示,该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行,在逻辑层面上形成请求处理装置。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。计算机可读存储介质11上存储有计算机程序,计算机程序被处理器执行时实现实施例一的用于胶囊内镜图像病变区域的目标检测模型的训练方法或者实施例二的用于胶囊内镜图像病变区域的目标检测方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述,虽然已表示和描述了一些实施例,但本领域技术人员应该理解,在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下,可以对这些实施例进行修改和完善,这些修改和完善也应在本发明的保护范围内。
Claims (10)
1.一种用于胶囊内镜图像病变区域的目标检测模型的训练方法,其特征在于,待训练的目标检测模型包括主干网络、特征金字塔网络和预测网络,所述训练方法包括:
获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;
获取待训练的特征金字塔网络根据所述金字塔输入特征得到的金字塔输出特征,其中所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层输入特征融合形成;
获取待训练的预测网络根据所述金字塔输出特征得到的预测结果;
根据所述预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
2.根据权利要求1所述的用于胶囊内镜图像病变区域的目标检测模型的训练方法,其特征在于,所述待训练的主干网络包括若干卷积层和若干RFB模块,各个所述卷积层和各个所述RFB模块按照预定顺序依次连接,所述待训练的主干网络根据所述样本图像得到的金字塔输入特征的方法包括:
所述主干网络的最低层卷积层根据所述样本图像得到所述金字塔输入特征中的最低层输入特征;
所述主干网络的最高层RFB模块根据与所述最高层RFB模块连接的所述RFB模块的输出特征得到所述金字塔输入特征中的最高层输入特征;
所述主干网络中除最高层RFB模块之外的其他所述RFB模块输出所述金字塔输出特征的其他层输入特征。
3.根据权利要求2所述的用于胶囊内镜图像病变区域的目标检测模型的训练方法,其特征在于,所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,具体包括:将所述金字塔输入特征中的最高层输入特征直接作为所述金字塔输出特征的最高层输出特征;
所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,具体包括:对所述金字塔输入特征中的最低层输入特征进行卷积处理,得到所述金字塔输出特征的最低层输出特征。
4.根据权利要求3所述的用于胶囊内镜图像病变区域的目标检测模型的训练方法,其特征在于,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层特征融合形成,具体包括:
对所述金字塔输入特征中除最低层输入特征之外的其他层输入特征分别进行卷积处理和批量归一化处理,得到若干尺度的中间层特征;
对各个中间层特征进行上采样,并进行自顶向下的融合,得到融合特征,对所述融合特征进行池化处理,得到所述金字塔输出特征的其他层输出特征。
5.根据权利要求2所述的用于胶囊内镜图像病变区域的目标检测模型的训练方法,其特征在于,所述待训练的预测网络包括ARM模块和输出网络,所述待训练的预测网络根据所述金字塔输出特征得到的预测结果,具体包括:
对所述金字塔输出特征进行卷积处理之后,分别输入到所述ARM模块和所述输出网络,所述ARM模块输出第一预测结果,所述输出网络输出第二预测结果;
根据所述第一预测结果对所述第二预测结果进行调整,得到所述预测结果。
6.一种用于胶囊内镜图像病变区域的目标检测方法,其特征在于,所述目标检测方法包括:
获取待检测的胶囊内镜图像;
将所述胶囊内镜图像输入到根据权利要求1至5任一项所述的训练方法进行训练得到的用于胶囊内镜图像病变区域的目标检测模型,目标检测模型输出检测结果。
7.一种用于胶囊内镜图像病变区域的目标检测模型的训练装置,其特征在于,所述训练装置包括:
第一获取单元,用于获取待训练的主干网络根据带标签信息的样本图像得到的金字塔输入特征;
第二获取单元,用于获取待训练的特征金字塔网络根据所述金字塔输入特征得到的金字塔输出特征,其中所述金字塔输出特征的最高层输出特征根据所述金字塔输入特征中的最高层输入特征形成,所述金字塔输出特征的最低层输出特征根据所述金字塔输入特征中的最低层输入特征形成,所述金字塔输出特征的其他层输出特征根据所述金字塔输入特征中的若干层输入特征融合形成;
第三获取单元,用于获取待训练的预测网络根据所述金字塔输出特征得到的预测结果;
参数更新单元,用于根据所述预测结果与样本图像的标签信息之间的差异,更新主干网络、特征金字塔网络和预测网络的模型参数。
8.一种用于胶囊内镜图像病变区域的目标检测装置,其特征在于,所述目标检测装置包括:
图像获取模块,用于获取待检测的胶囊内镜图像;
目标检测模型,用于根据输入的所述胶囊内镜图像得到检测结果,
其中,所述目标检测模型为根据权利要求1至5任一项所述的训练方法进行训练得到的。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
10.一种计算机设备,其特征在于,所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的计算机程序,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110937257.XA CN115908224A (zh) | 2021-08-16 | 2021-08-16 | 目标检测模型的训练方法、目标检测方法和训练装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110937257.XA CN115908224A (zh) | 2021-08-16 | 2021-08-16 | 目标检测模型的训练方法、目标检测方法和训练装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115908224A true CN115908224A (zh) | 2023-04-04 |
Family
ID=86473163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110937257.XA Pending CN115908224A (zh) | 2021-08-16 | 2021-08-16 | 目标检测模型的训练方法、目标检测方法和训练装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115908224A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116739949A (zh) * | 2023-08-15 | 2023-09-12 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
-
2021
- 2021-08-16 CN CN202110937257.XA patent/CN115908224A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116739949A (zh) * | 2023-08-15 | 2023-09-12 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
CN116739949B (zh) * | 2023-08-15 | 2023-11-03 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
Mohammed et al. | Y-net: A deep convolutional neural network for polyp detection | |
Jia et al. | Wireless capsule endoscopy: A new tool for cancer screening in the colon with deep-learning-based polyp recognition | |
JP7152513B2 (ja) | 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム | |
US20220284584A1 (en) | Computerised tomography image processing | |
Ghosh et al. | Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images | |
CN112396621A (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
KR102283265B1 (ko) | 스케일 확장 기반의 컨볼루션 신경망을 이용한 대장 질환 분류 방법 및 그 장치 | |
CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
CN114140651A (zh) | 胃部病灶识别模型训练方法、胃部病灶识别方法 | |
KR20190090150A (ko) | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 | |
CN114841320A (zh) | 一种基于喉镜医学影像的器官自动分割方法 | |
CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
CN113570592B (zh) | 肠胃病检测和模型训练方法、装置、设备及介质 | |
CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
CN111428737A (zh) | 眼科影像的实例检索方法、装置、服务器及存储介质 | |
Raj et al. | Automated psoriasis lesion segmentation from unconstrained environment using residual U-Net with transfer learning | |
CN115908224A (zh) | 目标检测模型的训练方法、目标检测方法和训练装置 | |
CN113538344A (zh) | 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质 | |
Yue et al. | Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images | |
Sri et al. | Detection Of MRI Brain Tumor Using Customized Deep Learning Method Via Web App | |
WO2022227193A1 (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 | |
CN116830148A (zh) | 胶囊式内窥镜检查中小肠病变的自动检测和区分 | |
Gatoula et al. | Enhanced CNN-based gaze estimation on wireless capsule endoscopy images | |
Obukhova et al. | Two-stage method for polyps segmentation in endoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |