CN111027547A - 一种针对二维图像中的多尺度多形态目标的自动检测方法 - Google Patents

一种针对二维图像中的多尺度多形态目标的自动检测方法 Download PDF

Info

Publication number
CN111027547A
CN111027547A CN201911240172.5A CN201911240172A CN111027547A CN 111027547 A CN111027547 A CN 111027547A CN 201911240172 A CN201911240172 A CN 201911240172A CN 111027547 A CN111027547 A CN 111027547A
Authority
CN
China
Prior art keywords
feature
target
network
frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911240172.5A
Other languages
English (en)
Other versions
CN111027547B (zh
Inventor
徐源
龚黎
方晗
吴敏
孔文韬
袁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Nanjing Drum Tower Hospital
Original Assignee
Nanjing University
Nanjing Drum Tower Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, Nanjing Drum Tower Hospital filed Critical Nanjing University
Priority to CN201911240172.5A priority Critical patent/CN111027547B/zh
Publication of CN111027547A publication Critical patent/CN111027547A/zh
Application granted granted Critical
Publication of CN111027547B publication Critical patent/CN111027547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种针对二维图像中的多尺度多形态目标的自动检测方法,包括:对二维图像进行预处理;对预处理后的图像进行目标的标注,完成数据集的制作;在目标检测网络的基础特征提取网络中加入空间映射层,将空间映射后的特征图和其他特征图一起融合构成特征金字塔以适应二维图像中目标的变化;在多个融合特征图构成的特征金字塔上使用具有良好先验的锚框完成区域推荐;使用制作好的数据集训练改进后的目标检测网络,进行多次交叉验证;使用训练好的目标检测模型对可能含有目标的图片进行检测,选定阈值筛选出包含目标可能性较大的检测框并对筛选出的检测框进行非极大值抑制,去除重叠框,得到最终准确率较高的目标检测结果。

Description

一种针对二维图像中的多尺度多形态目标的自动检测方法
技术领域
本发明属于图像分析及目标检测领域,尤其涉及一种针对二维图像中的多尺度多形态目标的自动检测方法。
背景技术
视觉场景中广泛分布着具有几何形变的待识别目标,二维图像的多尺度多形态目标自动检测有利于在非受控自然场景中快速准确地进行目标定位和识别。目前的二维图像目标检测方法对形态尺度多变的目标检测结果缺乏一定鲁棒性,而依靠人为观察校正费时费力,疲劳、经验等人为主观因素会影响观察结果的准确性与一致性。
发明内容
发明目的:本发明所要解决的技术问题是针对现有二维图像中多尺度多形态目标检测效果较差的情况,基于深度学习中的卷积神经网络和基本图像处理方法,提供了一种针对二维图像中的多尺度多形态目标的自动检测方法,实现了对多尺度多形态目标的精确检测。
为了解决上述技术问题,本发明公开了一种针对二维图像中的多尺度多形态目标的自动检测方法,包括如下步骤:
步骤1,对原始图像进行预处理,通过人工裁切,去除图像周边空白以及无用文字信息区域,提取出有效图像区域待检测;
步骤2,对预处理后的图像进行标注,框出目标所在位置并制作标签,图像和其对应标签共同构成数据集,供后续模型训练;
步骤3,将图像输入以残差网络ResNet101为基础特征提取网络的目标检测网络,在目标检测网络的基础特征提取网络ResNet101中加入空间映射层,将空间映射后的特征图和其他特征图一起融合构成特征金字塔以适应二维图像中目标形态的变化;
步骤4,在多个融合特征图构成的特征金字塔上使用具有良好先验的锚框完成区域推荐,区域推荐网络生成的感兴趣区域ROI(region ofinterest)经过感兴趣区域池化方法ROI Align后变形成具有相同大小的特征图,特征图经由Fast R-CNN分类和位置回归后得到最终的检测结果;
步骤5,使用数据集训练通过步骤3和步骤4改进后的目标检测网络,将数据集随机划分为n1(一般取值为5)份相互独立的数据集合,在不同次训练中,每次选取一份用作测试集,其余部分用作训练集,以此进行交叉验证;
步骤6,使用训练好的目标检测模型对可能含有目标的图片进行检测,选定阈值筛选出包含目标可能性较大的检测框并对筛选出的检测框进行非极大值抑制(Non-MaximumSuppression,NMS),去除重叠框,得到最终准确率较高的目标检测结果。
步骤1中,采集到的原始图像包含不利于目标定位及分类的人工标记和空白区域,影响该方法最终对目标的检测结果,因此在制作数据集前,首先通过裁剪去除图像中的冗余信息,保留真正有效的图像区域。
步骤3中,采用的目标检测网络为基于区域推荐的Faster R-CNN(Faster Region-based Convolutional Network),该目标检测网络包括区域推荐网络RPN(RegionProposal Network)和快速卷积网络Fast R-CNN(Fast Region-based ConvolutionalNetwork);输入的图像张量首先经过基础特征提取网络ResNet101进行特征提取,所述区域推荐网络RPN使用提取出的特征生成目标检测的候选区域,Fast R-CNN对目标检测的候选区域输出候选框的分类得分,并进行边框回归得到目标物体的精确位置。
网络训练时,使用网络的输出和人工标注框计算损失,目标检测网络Faster R-CNN的损失为快速卷积网络Fast R-CNN的损失和区域推荐网络RPN的损失,两部分损失都包括目标分类损失和边界框回归损失;所述目标分类损失为交叉熵损失,边界框回归损失为改进后的最小绝对值偏差损失smooth L1损失,计算方式为:
Figure BDA0002305983920000021
Figure BDA0002305983920000022
Figure BDA0002305983920000023
Figure BDA0002305983920000024
L是目标检测网络Faster R-CNN的损失函数,包括Lcls和Lreg,λ为权重参数,Ncls和Nreg为归一化参数,分别用于标准化目标分类损失和边界框回归损失;其中Lcls为分类时的对数损失函数,Lreg是回归时的损失函数;i表示第i个锚点,pi表示候选框i为目标的概率,
Figure BDA0002305983920000031
表示候选框i对应的样本所属标签;如果是正样本,
Figure BDA0002305983920000032
如果是负样本则舍弃负样本,
Figure BDA0002305983920000033
ti表示预测候选框的4个参数化坐标向量偏移量,
Figure BDA0002305983920000034
表示与正样本锚点相关的真实候选框的坐标向量偏移量。
网络测试时,网络的输出经由置信度阈值过滤和非极大值抑制即得到最终的检测的结果。
(引用文献为:Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2015,39(6):1137-1149.)
步骤3中,在目标检测网络Faster R-CNN的基础特征提取网络ResNet101中对图像张量经过三个标准卷积块得到的特征图采用一组平行的卷积得到标准特征图上每个空间位置的偏移量,根据偏移量重新整合原特征图像素,进行空间映射,变相实现卷积核的扩张,达到不规则采样的目的,使得基础网络提取的特征具备适应输入图像目标的几何形变和尺度变换的能力,具体包括如下步骤:
步骤3-1,将数据集中的图像张量作为基础特征提取网络ResNet101的输入,经由三个卷积块(blocks,每个卷积块由若干卷积层组成,卷积层间有残差连接),对每个图像张量输出C张H×W大小的特征图,H和W分别表示特征图的高度和宽度;
步骤3-2,对每个图像张量经由基础特征提取网络ResNet101中前三个卷积块输出的C张特征图,使用2C个3×3大小的卷积核对其进行卷积,C张特征图记为特征层F,得到特征层F中特征图上每个位置的横坐标x方向和纵坐标y方向的偏移量,设第i张特征图Fi上位置为(a,b)的特征值为f(a,b)在2C张特征偏移图上对应的x方向和y方向偏移量分别为Δa和Δb,则经过偏移后第i张特征图F′i上位置为(a,b)的特征值f′(a,b)由原特征图Fi中位置为(floor(a+Δa),floor(b+Δb)),(floor(a+Δa),ceil(b+Δb)),(ceil(a+Δa),floor(b+Δb))和(ceil(a+Δa),ceil(b+Δb))的特征值做双线性插值得到,其中floor表示向下取整,ceil代表向上取整。对特征层F中每张特征图的每个特征点做如上的变换,即得到进行空间映射后的特征层F′。
步骤3-3,将像素重新整合后的特征层F′作为基础特征提取网络ResNet101第四个卷积块的输入进行标准卷积,特征层空间映射通过一个平行的标准卷积单元计算得到,可以通过梯度反向传播进行端到端的学习,因此可以根据当前需要识别的目标进行动态调整,发生自适应的变化,从而适应不同物体的形状、大小等几何形变。
(引用文献为:He K,Zhang X,Ren S,et al.Deep Residual Learning for ImageRecognition[J].2015.)
步骤3中,所述特征金字塔是由图像张量经由基础特征提取网络ResNet101的不同卷积块计算得到的不同层次特征图进行上采样融合得到,低层次的特征目标位置准确,高层的特征语义信息丰富,融合高低层次特征并使用不同层次的特征图做目标类别和位置的预测,这种多尺度的特征图对目标尺寸的适应性较强,在面对不同尺寸的物体时,具有更好的鲁棒性,具体过程如下:
步骤3-1-1,图像张量进入基础特征提取网络ResNet101后首先经过一个7×7的卷积层和一个3×3的最大值池化层,自底向上经过四个结构不同的卷积块运算后分别输出四个不同大小的特征层C2,C3,C4,C5,共同构成特征层集,记为[C2,C3,C4,C5],其中C4为标准卷积得到的标准特征层经由一组平行的卷积模块做空间映射得到,C5是以C4为卷积块输入做标准卷积得到;
步骤3-1-2,对于得到的特征层集[C2,C3,C4,C5]做自顶向下和横向连接,首先对特征层C5做1×1的卷积实现通道融合得到特征层Pyramid Feature map 5(记为P5),特征层P5经由最大值池化下采样得到特征金字塔中的最高层特征Pyramid Feature map 6(记为P6),然后从特征层P5开始对特征层集[C2,C3,C4,C5]做自顶向下的融合,该过程采用上采样进行,对特征层P5上采样并与步骤3-1-1中自底向上产生的相同大小的特征图C4进行融合,再采用3×3的卷积对融合结果消除上采样的混叠效应,得到Pyramid Feature map 4(记为P4),使用同样的融合方法得到特征层C3的融合后的特征层,记为P3,特征层C2融合后对应的特征层记为P2,最终融合得到的不同层次不同大小的特征图构成了特征金字塔[P2,P3,P4,P5,P6],其中从特征层P2到P6,特征图尺寸不断变小,提取的语义信息不断丰富。
(引用文献为:Lin T Y,Dollár,Piotr,Girshick R,et al.Feature PyramidNetworks for Object Detection[J].2016.)
步骤4中,具有良好先验的锚框,代表二维图像训练集中统计多数的目标框,其尺寸和比例对应于二维图像中不同尺度的目标,由含有特定目标的数据集经由数学统计计算得到,其步骤如下:
步骤4-1,将数据集中的图像做与目标检测网络输入时一样的尺寸变换处理,根据每张图像尺寸大小缩放的比例,对应的将每张图像中的标注目标框依照比例调整;
步骤4-2,将调整后的所有目标框分别按照尺寸和比例进行数理统计,其中目标框的尺寸指目标框占有的像素面积。
步骤4-3,按照统计的尺寸数据,将尺寸划分为5个区间,在每个区间内选择一个具有代表性的平均尺寸,并统计每个平均尺寸下目标框的多数比例,由此选出具有代表性的5个目标尺寸及其对应的目标比例,称为锚框,并按照锚框对应目标的大小将其分别分配给特征金字塔[P2,P3,P4,P5,P6]的5个特征层,在每个特征层上应用对应的锚框来进行目标的分类预测和位置回归。
步骤4中所述区域推荐由区域推荐网络RPN实现,区域推荐网络RPN对特征金字塔中的每张特征图都选用3×3的卷积核进行滑窗卷积,然后对特征图上的每个点位置生成一个通道数N的全连接特征,然后在这个N维特征后使用通道数分别为2×k和4×k的两个1×1卷积层产生两个分支,k为特征图上每个锚点对应锚框个数:
第一个分支:位置回归层regression layer,用于计算每个锚点对应的锚框与推荐框之间的坐标向量偏移量,记为[tx,ty,tw,th],其中[tx,ty]是中心点坐标的偏移量,[tw,th]分别是将锚框映射到推荐框对应的宽和高的变化量,网络训练时将回归层输出的偏移量与锚框和标注目标框之间的坐标向量偏移量
Figure BDA0002305983920000051
计算位置回归损失,最小化回归损失以训练RPN,所述坐标向量偏移量的计算方法如下:
tx=(x-xa)/wa,ty=(y-ya)/ha
tw=log(w/wa),th=log(h/ha),
Figure BDA0002305983920000052
Figure BDA0002305983920000053
其中,[xa,ya,wa,ha]为锚框的坐标向量,其元素xa,ya,wa,ha分别代表锚框的中心点位置、锚框的宽度和锚框的高度,[x,y,w,h]为区域推荐网络RPN预测的推荐框proposalbox的中心点坐标以及宽高,[x*,y*,w*,h*]为训练集中人工标注的目标框的中心点坐标和宽高;
第二个分支:目标分类层class layer,用于判定每个锚点对应的锚框生成的推荐框proposal box中的内容是否含有目标,对于特征图上每个锚点生成2×k维的向量,向量中每两个元素代表一个推荐框proposal box是前景和背景的概率。
网络训练时,分别计算区域推荐网络RPN回归和分类两个分支的损失,最小化此损失以更新网络中的权重参数;网络训练完成后,依据区域推荐网络RPN输出的前景置信度来做感兴趣区域候选框的推荐。
步骤4中所述感兴趣区域池化方法ROI Align为一种将区域推荐网络RPN生成的感兴趣区域候选框region proposal映射产生固定大小的特征图时的方法,其工作步骤如下:
步骤4-4,对于区域推荐网络RPN生成的候选框,大小为w×h,按照下采样步长stridei,简记为si,映射到特征图Pi中的大小为
Figure BDA0002305983920000061
保留计算中的浮点数;
步骤4-5,设需要得到的固定大小的特征图的尺寸为l×l,则将在特征图Pi上映射得到的
Figure BDA0002305983920000062
的候选区域划分成l×l个相同大小的小区域,每个小区域的大小为
Figure BDA0002305983920000063
保留计算中的浮点数;
步骤4-6,设定采样点数为c×c,即表示,对于每个
Figure BDA0002305983920000064
的小区域,平分成c×c小份,每一小份中中心点的像素值,采用双线性插值法进行计算,则得到四个点的像素值,最后,取c×c小份中像素值的最大值作为
Figure BDA0002305983920000065
的小区域的池化结果。
按照以上步骤类推至所有感兴趣区域框定的特征图,对每个
Figure BDA0002305983920000066
的小区域做同样的操作,最终组成l×l的感兴趣区域池化结果。
步骤6中,对Fast R-CNN生成的以一定阈值筛选出的检测框进行非极大值抑制(Non-Maximum Suppression,NMS),将内含同一个目标的检测框只保留分类置信度最高的目标框,避免二维图像中目标的重复检测,具体包括:
步骤6-1,对于类别clsi,将该类别下网络输出的所有检测框按照属于clsi的置信度进行排序,构成检测框集B;
步骤6-2,按照置信度从高到低的顺序依次遍历B中的检测框,对检测框bi,计算其与其他检测框bj的交并比IOU,选定阈值T(一般阈值T设定为0.7),若IOU>T,则在框集B中删除检测框bj,重复此操作直至完成一次遍历,将检测框bi加入检测框集D;
步骤6-3,重复步骤6-2直至框集B为空,检测框集D即为最终的结果框集。
将经过非极大值抑制得到的结果框集显示在原始的图像张量上,即完成了对二维图像中多形态多尺度目标的检测。
有益效果:本发明基于卷积神经网络的自动特征提取特性以及进行复杂函数拟合的能力,提出了一种针对二维图像中的多尺度多形态目标的自动检测方法,在目标检测网络Faster R-CNN的标准卷积中加入空间映射层,融合高低层次图像特征构成特征金字塔,并选用具有训练集先验知识的锚框,使检测网络可以自动适应待检测目标的形态和尺度变化,当目标的大小和形状发生改变时,检测结果具有较强的鲁棒性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为本发明系统示意图。
图3为本发明实施例中对甲状腺超声图像进行检测的技术效果图。
图4为使用标准二维卷积实现空间像素映射的示意图。
图5为区域推荐网络RPN的工作方式示意图。
具体实施方式
如图1,图2和图3所示,本发明公开了一种基于卷积神经网络针对二维图像中的多尺度多形态目标的自动检测方法,包括如下步骤:
步骤1,对原始图像进行预处理,通过人工剪切,去除图像周边空白以及无用文字信息区域,提取出有效图像区域待检测;
步骤2,对预处理后的图像进行人工标注,手动框出目标所在位置并制作标签,图像和对应标签组成数据集;
步骤3,将图像输入目标检测网络,在目标检测网络的基础特征提取网络中加入空间映射层,将空间映射后的特征图和其他特征图一起融合构成特征金字塔以适应二维图像中目标形态的变化;
步骤4,在多个融合特征图构成的特征金字塔上使用具有良好先验的锚框完成区域推荐,区域推荐网络生成的感兴趣区域ROI经过感兴趣区域池化方法ROI Align后变形成具有相同大小的特征图,特征图经由Fast R-CNN分类和位置回归后得到最终的检测结果;
步骤5,使用数据集训练通过步骤3和步骤4改进后的目标检测网络,将数据集随机划分为5份相互独立的数据集合,在不同次训练中,每次选取一份用作测试集,其余部分用作训练集,以此进行交叉验证;;
步骤6,使用训练好的目标检测模型对可能含有目标的图片进行检测,选定阈值筛选出包含目标可能性较大的检测框并对筛选出的检测框进行非极大值抑制(Non-MaximumSuppression,NMS),去除重叠框,得到最终准确率较高的目标检测结果。
本实例中,步骤1中的使用的原始图像由超声成像设备采集得到的甲状腺超声图像,图像的成像深度及分辨率根据采集设备的不同而有所区别,所述目标为常见于甲状腺纵切超声图像的甲状腺结节。
本实例中,步骤2中裁剪后得到的二维图像是甲状腺腺体区域纵切超声成像,在裁剪后的图像上使用LabelImg工具对目标甲状腺结节进行标注,将处理后的图像存入数据集D。如图3所示为本发明实施例中对甲状腺超声图像进行检测的技术效果图。
本实例中,步骤3中使用的目标检测网络为基于区域推荐的Faster R-CNN(FasterRegion-based Convolutional Network),该目标检测网络包括区域推荐网络PRN(RegionProposal Network)和Fast R-CNN(Fast Region-based Convolutional Network);输入的图像张量首先经过基础特征提取网络ResNet101进行特征提取,再经过区域推荐网络RPN在提取出的特征生成目标检测的候选区域,Fast R-CNN对区域推荐网络RPN生成的候选区域输出候选框的分类得分,以及进一步进行边框回归得到目标物体的精确位置。
目标检测网络Faster R-CNN的损失为Fast R-CNN的损失和区域推荐网络RPN的损失,两部分损失都包括目标分类损失和边界框回归损失;分类损失为交叉熵损失,回归损失为最小绝对值偏差损失smooth L1损失,计算方式为:
Figure BDA0002305983920000081
Figure BDA0002305983920000082
Figure BDA0002305983920000091
Figure BDA0002305983920000092
L是目标检测网络Faster R-CNN的损失函数,包括Lcls和Lreg,λ为权重参数,Ncls和Nreg为归一化参数,用于标准化两个损失;其中Lcls为分类时的对数损失函数,Lreg是回归时的损失函数;
i表示第i个锚点,pi表示为候选框i为目标的概率,
Figure BDA0002305983920000093
表示为候选框i对应的样本所属标签;如果是正样本,
Figure BDA0002305983920000094
如果是负样本则舍弃负样本,
Figure BDA0002305983920000095
ti表示预测候选框的4个参数化坐标向量偏移量,
Figure BDA0002305983920000096
表示与正样本锚点相关的真实候选框的坐标向量偏移量
本实例中,步骤3中的特征空间映射过程如图4所示,在目标检测网络Faster R-CNN的基础特征提取网络ResNet101中对图像张量经过三个标准卷积块得到的特征图采用一组平行的卷积得到标准特征图上每个空间位置的偏移量,根据偏移量重新整合原特征图像素,可以根据当前需要识别的目标进行动态调整,发生自适应的变化,进行空间映射,变相实现卷积核的扩张,达到不规则采样的目的,使得基础网络提取的特征具备适应输入图像目标的几何形变和尺度变换的能力。
本实例中,步骤3中具有良好先验的锚框,代表二维图像训练集中统计多数的目标框,其尺寸和比例对应于二维图像中经不同层次采样后的特征层集[P2,P3,P4,P5,P6]分别为[32,64,128,256,512]及0.6(高比宽)。
本实例中,步骤4中区域推荐网络RPN对特征金字塔[P2,P3,P4,P5,P6]的5个特征层,如图5所示,选用3×3的卷积核进行滑窗卷积,然后对特征图上的每个点位置生成一个通道数256的全连接特征,然后在这个256维特征后使用通道数分别为2×k和4×k(k为特征图上每个锚点对应锚框个数,本实例中k=3)的两个1×1卷积层产生位置回归层和目标分类层两个分支来进行目标的分类和定位。
本实例中,步骤4中所述感兴趣区域池化方法ROI Align为一种将区域推荐网络RPN生成的感兴趣区域候选框region proposal映射产生固定大小的特征图时的方法,其工作步骤如下:
步骤4-3-1,对于区域推荐网络RPN生成的候选框,大小为w×h,按照下采样步长stridei=16,映射到特征图Pi中的大小为
Figure BDA0002305983920000101
保留计算中的浮点数;
步骤4-3-2,设需要得到的固定大小的特征图的尺寸为7×7,则将在特征图Pi上映射得到的
Figure BDA0002305983920000102
的候选区域划分成7×7个相同大小的小区域,每个小区域的大小为
Figure BDA0002305983920000103
保留计算中的浮点数;
步骤4-3-3,设定的采样点数为2×2,即表示,对于每个
Figure BDA0002305983920000104
的小区域,平分成2×2小份,每一小份中中心点的像素值,采用双线性插值法进行计算,这样,就会得到四个点的像素值,最后,取2×2小份中像素值的最大值作为
Figure BDA0002305983920000105
的小区域的池化结果。
按照以上步骤类推至所有感兴趣区域框定的特征图,对每个
Figure BDA0002305983920000106
的小区域做同样的操作,最终组成7×7的感兴趣区域池化结果。
本实例中,对Fast R-CNN生成的以一定阈值筛选出的检测框进行非极大值抑制(Non-Maximum Suppression,NMS),将内含同一个目标的检测框只保留分类置信度最高的目标框,避免二维图像中目标的重复检测,将经过非极大值抑制得到的结果框集显示在原始的图像张量上,即完成了对二维图像中多形态多尺度目标的检测。本实例流程图参照图1。
本发明提供了一种针对二维图像中的多尺度多形态目标的自动检测方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种针对二维图像中的多尺度多形态目标的自动检测方法,其特征在于,包括如下步骤:
步骤1,对原始图像进行预处理,去除图像周边空白以及无用文字信息区域,提取出待检测的有效图像区域;
步骤2,对预处理后的图像进行标注,框出目标所在位置并制作标签,图像和其对应标签共同构成数据集,供后续模型训练;
步骤3,将图像输入以残差网络ResNet101为基础特征提取网络的目标检测网络,在目标检测网络的基础特征提取网络ResNet101中加入空间映射层,将空间映射后的特征图和其他特征图一起融合构成特征金字塔以适应二维图像中目标形态的变化;
步骤4,在特征金字塔上使用锚框完成区域推荐,区域推荐网络生成的感兴趣区域ROI经过感兴趣区域池化方法ROI Align后变形成具有相同大小的特征图,特征图经由分类和位置回归后得到最终的检测结果;
步骤5,使用数据集训练通过步骤3和步骤4改进后的目标检测网络,将数据集随机划分为n1份相互独立的数据集合,在不同次训练中,每次选取一份用作测试集,其余部分用作训练集,以此进行交叉验证;
步骤6,使用训练好的目标检测模型对可能含有目标的图片进行检测,选定阈值筛选出包含目标可能性较大的检测框并对筛选出的检测框进行非极大值抑制,去除重叠框,得到最终的目标检测结果。
2.根据权利要求1所述的方法,其特征在于,步骤3中,所述目标检测网络为基于区域推荐的Faster R-CNN,所述目标检测网络包括区域推荐网络RPN和快速卷积网络Fast R-CNN;输入的图像张量首先经过基础特征提取网络ResNet101进行特征提取,所述区域推荐网络RPN使用提取出的特征生成目标检测的候选区域,Fast R-CNN对目标检测的候选区域输出候选框的分类得分,并进行边框回归得到目标物体的精确位置。
3.根据权利要求2所述的方法,其特征在于,所述目标检测网络Faster R-CNN的损失为快速卷积网络Fast R-CNN的损失和区域推荐网络RPN的损失,两部分损失都包括目标分类损失和边界框回归损失;所述目标分类损失为交叉熵损失,边界框回归损失为改进后的最小绝对值偏差损失smooth L1损失,计算方式为:
Figure FDA0002305983910000021
Figure FDA0002305983910000022
Figure FDA0002305983910000023
Figure FDA0002305983910000024
L是目标检测网络Faster R-CNN的损失函数,包括Lcls和Lreg,λ为权重参数,Ncls和Nreg为归一化参数,分别用于标准化目标分类损失和边界框回归损失;其中Lcls为分类时的对数损失函数,Lreg是回归时的损失函数;i表示第i个锚点,pi表示候选框i为目标的概率,
Figure FDA0002305983910000025
表示候选框i对应的样本所属标签;如果是正样本,
Figure FDA0002305983910000026
如果是负样本则舍弃负样本,
Figure FDA0002305983910000027
ti表示预测候选框的4个参数化坐标向量偏移量,
Figure FDA0002305983910000028
表示与正样本锚点相关的真实候选框的坐标向量偏移量。
4.根据权利要求3所述的方法,其特征在于,步骤3中,在目标检测网络Faster R-CNN的基础特征提取网络中对标准卷积得到的特征图经过一组平行的卷积得到偏移量,根据偏移量重新整合原特征图像素,进行空间映射,变相实现卷积核的扩张,具体包括如下步骤:
步骤3-1,将数据集中的图像张量作为基础特征提取网络ResNet101的输入,经由三个卷积块,对每个图像张量输出C张H×W大小的特征图,H和W分别表示特征图的高度和宽度;
步骤3-2,对每个图像张量经由基础特征提取网络ResNet101中前三个卷积块输出的C张特征图,使用2C个3×3大小的卷积核对其进行卷积,C张特征图记为特征层F,得到特征层F中特征图上每个位置的横坐标x方向和纵坐标y方向的偏移量,设第i张特征图Fi上位置为(a,b)的特征值为f(a,b)在2C张特征偏移图上对应的x方向和y方向偏移量分别为Δa和Δb,则经过偏移后第i张特征图F′i上位置为(a,b)的特征值f′(a,b)由原特征图Fi中位置为(floor(a+Δa),floor(b+Δb)),(floor(a+Δa),ceil(b+Δb)),(ceil(a+Δa),floor(b+Δb))和(ceil(a+Δa),ceil(b+Δb))的特征值做双线性插值得到,其中floor表示向下取整,ceil代表向上取整;对特征层F中每张特征图的每个特征点做如上的变换,即得到进行空间映射后的特征层F′;
步骤3-3,将像素重新整合后的特征层F′作为基础特征提取网络ResNet101第四个卷积块的输入进行标准卷积,特征层空间映射通过一个平行的标准卷积单元计算得到。
5.根据权利要求4所述的方法,其特征在于,步骤3中,所述特征金字塔由图像张量经由基础特征提取网络ResNet101的不同卷积块计算得到的不同层次特征图进行上采样融合得到,具体过程如下:
步骤3-1-1,图像张量进入基础特征提取网络ResNet101后首先经过一个7×7的卷积层和一个3×3的最大值池化层,自底向上经过四个结构不同的卷积块运算后分别输出四个不同大小的特征层C2,C3,C4,C5,共同构成特征层集,记为[C2,C3,C4,C5],其中C4为标准卷积后得到的标准特征层经由一组平行的卷积模块做空间映射得到;
步骤3-1-2,对于得到的特征层集[C2,C3,C4,C5]做自顶向下和横向连接,首先对特征层C5做1×1的卷积实现通道融合得到特征层记为P5,特征层P5经由最大值池化下采样得到特征金字塔中高层特征记为P6,自顶向下的过程采用上采样进行,对P5上采样并与步骤3-1-1中自底向上产生的相同大小的特征层C4进行融合,再采用3×3的卷积对融合结果消除上采样的混叠效应,得到特征层记为P4,使用同样的融合方法得到特征层C3融合后的特征层,记为P3,特征层C2融合后的特征层记为P2,最终融合得到的不同层次不同大小的特征图构成了特征金字塔[P2,P3,P4,P5,P6]。
6.根据权利要求5所述的方法,其特征在于,步骤4包括:
步骤4-1,将数据集中的图像做与目标检测网络输入时一样的尺寸变换处理,根据每张图像尺寸大小缩放的比例,对应的将每张图像中的标注目标框依照比例调整;
步骤4-2,将调整后的所有目标框分别按照尺寸和比例进行统计,其中目标框的尺寸指目标框占有的像素面积;
步骤4-3,按照统计的尺寸数据,将尺寸划分为5个区间,在每个区间内选择一个具有代表性的平均尺寸,并统计每个平均尺寸下目标框的多数比例,由此选出具有代表性的5个目标尺寸及其对应的目标比例,称为锚框,并按照锚框对应目标的大小将其分别分配给特征金字塔[P2,P3,P4,P5,P6]中的5个特征层,在每个特征层上应用对应的锚框来进行目标的分类预测和位置回归。
7.根据权利要求6所述的方法,其特征在于,步骤4中所述区域推荐由区域推荐网络RPN实现,区域推荐网络RPN对特征金字塔中的每张特征图选用3×3的滑窗对特征图上的每个点位置生成一个通道数N的全连接特征,然后在这个N维特征后使用通道数分别为2×k和4×k的两个1×1卷积层产生两个分支,k为特征图上每个锚点对应锚框个数:
第一个分支:位置回归层regression layer,用于计算每个锚点对应的锚框与推荐框之间的坐标向量偏移量tx,ty,tw,th,其中[tx,ty]是中心点坐标的偏移量,[tw,th]分别是将锚框映射到推荐框对应的宽和高的变化量,网络训练时将回归层输出的偏移量与锚框和标注目标框之间的坐标向量偏移量
Figure FDA0002305983910000041
计算位置回归损失,最小化回归损失以训练RPN,所述坐标向量偏移量的计算方法如下:
tx=(x-xa)/wa,ty=(y-ya)/ha
tw=log(w/wa),th=log(h/ha),
Figure FDA0002305983910000042
Figure FDA0002305983910000043
其中,[xa,ya,wa,ha]为锚框的坐标向量,其元素xa,ya,wa,ha分别代表锚框的中心点位置、锚框的宽度和锚框的高度,[x,y,w,h]为区域推荐网络RPN预测的推荐框proposal box的中心点坐标以及宽高,[x*,y*,w*,h*]为训练集中标注的目标框的中心点坐标和宽高;
第二个分支:目标分类层class layer,用于判定每个锚点对应的锚框生成的推荐框proposal box中的内容是否含有目标,对于特征图上每个锚点生成2×k维的向量,向量中每两个元素代表一个推荐框proposal box是前景和背景的概率分布。
8.根据权利要求7所述的方法,其特征在于,步骤4还包括:
步骤4-4,对于区域推荐网络RPN生成的候选框,大小为w×h,按照下采样步长stridei,简记为si,映射到特征图Pi中的大小为
Figure FDA0002305983910000044
保留计算中的浮点数;
步骤4-5,设需要得到的固定大小的特征图的尺寸为l×l,则将在特征图Pi上映射得到的
Figure FDA0002305983910000045
的候选区域划分成l×l个相同大小的小区域,每个小区域的大小为
Figure FDA0002305983910000046
保留计算中的浮点数;
步骤4-6,设定采样点数为c×c,即表示,对于每个
Figure FDA0002305983910000051
的小区域,平分成c×c小份,每一小份中中心点的像素值,采用双线性插值法进行计算,则得到四个点的像素值,最后,取c×c小份中像素值的最大值作为
Figure FDA0002305983910000052
的小区域的池化结果,以此类推,对每个
Figure FDA0002305983910000053
的小区域做同样的操作,最终组成l×l的感兴趣区域池化结果。
9.根据权利要求8所述的方法,其特征在于,步骤6包括:
步骤6-1,对于类别clsi,将该类别下网络输出的所有检测框按照其属于clsi类别的置信度进行排序,构成检测框集B;
步骤6-2,按照置信度从高到低的顺序依次遍历B中的检测框,对检测框bi,计算其与其他检测框bj的交并比IOU,选定阈值T,若IOU>T,则在框集B中删除检测框bj,重复此操作直至完成一次遍历,将检测框bi加入检测框集D;
步骤6-3,重复步骤6-2直至框集B为空,检测框集D即为最终的结果框集。
CN201911240172.5A 2019-12-06 2019-12-06 一种针对二维图像中的多尺度多形态目标的自动检测方法 Active CN111027547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240172.5A CN111027547B (zh) 2019-12-06 2019-12-06 一种针对二维图像中的多尺度多形态目标的自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240172.5A CN111027547B (zh) 2019-12-06 2019-12-06 一种针对二维图像中的多尺度多形态目标的自动检测方法

Publications (2)

Publication Number Publication Date
CN111027547A true CN111027547A (zh) 2020-04-17
CN111027547B CN111027547B (zh) 2022-08-09

Family

ID=70204441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240172.5A Active CN111027547B (zh) 2019-12-06 2019-12-06 一种针对二维图像中的多尺度多形态目标的自动检测方法

Country Status (1)

Country Link
CN (1) CN111027547B (zh)

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111598882A (zh) * 2020-05-19 2020-08-28 联想(北京)有限公司 器官检测方法、装置及计算机设备
CN111611861A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于多尺度特征关联的图像变化检测方法
CN111626200A (zh) * 2020-05-26 2020-09-04 北京联合大学 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
CN111666956A (zh) * 2020-06-09 2020-09-15 齐鲁工业大学 一种多尺度特征提取及融合方法及装置
CN111667461A (zh) * 2020-05-06 2020-09-15 青岛科技大学 一种输电线路异常目标检测方法
CN111695609A (zh) * 2020-05-26 2020-09-22 平安科技(深圳)有限公司 目标物损伤程度判定方法、装置、电子设备及存储介质
CN111753682A (zh) * 2020-06-11 2020-10-09 中建地下空间有限公司 一种基于目标检测算法的吊装区域动态监控方法
CN111832668A (zh) * 2020-09-21 2020-10-27 北京同方软件有限公司 一种自适应特征及数据分布的目标检测方法
CN111832508A (zh) * 2020-07-21 2020-10-27 桂林电子科技大学 基于die_ga的低照度目标检测方法
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
CN111898539A (zh) * 2020-07-30 2020-11-06 国汽(北京)智能网联汽车研究院有限公司 一种多目标检测方法、装置、系统、设备及可读存储介质
CN111967305A (zh) * 2020-07-01 2020-11-20 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN112069868A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 一种基于卷积神经网络的无人机实时车辆检测方法
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
CN112101113A (zh) * 2020-08-14 2020-12-18 北京航空航天大学 一种轻量化的无人机图像小目标检测方法
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112133100A (zh) * 2020-09-16 2020-12-25 北京影谱科技股份有限公司 一种基于r-cnn的车辆检测方法
CN112150462A (zh) * 2020-10-22 2020-12-29 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112149665A (zh) * 2020-09-04 2020-12-29 浙江工业大学 一种基于深度学习的高性能多尺度目标检测方法
CN112200795A (zh) * 2020-10-23 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于深度卷积网络的大肠内窥镜息肉检测方法
CN112257809A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112270268A (zh) * 2020-10-29 2021-01-26 重庆邮电大学 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法
CN112308827A (zh) * 2020-10-23 2021-02-02 复旦大学 基于深度卷积神经网络的毛囊检测方法
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112330674A (zh) * 2020-05-07 2021-02-05 南京信息工程大学 一种基于脑部mri三维图像置信度的自适应变尺度卷积核方法
CN112418170A (zh) * 2020-12-11 2021-02-26 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112488220A (zh) * 2020-12-07 2021-03-12 南京理工大学 一种基于深度学习的小目标检测方法
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112529095A (zh) * 2020-12-22 2021-03-19 合肥市正茂科技有限公司 一种基于卷积区域重配准的单阶段目标检测方法
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112652059A (zh) * 2020-12-31 2021-04-13 齐鲁工业大学 基于Mesh R-CNN模型改进的目标检测与三维重构方法
CN112733747A (zh) * 2021-01-14 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种缓解阀拉杆脱落故障的识别方法、系统及装置
CN112800870A (zh) * 2021-01-13 2021-05-14 上海电力大学 一种基于层间覆盖比的非极大抑制方法及系统
CN113052103A (zh) * 2021-03-31 2021-06-29 株洲时代电子技术有限公司 一种基于神经网络的电气设备缺陷检测方法及装置
CN113065478A (zh) * 2021-04-09 2021-07-02 长安大学 一种复杂天气道路车辆目标检测方法
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113205106A (zh) * 2020-06-19 2021-08-03 深圳瑞为智能科技有限公司 一种基于检测框密度优化的目标检测应用方法
CN113284088A (zh) * 2021-04-02 2021-08-20 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113379738A (zh) * 2021-07-20 2021-09-10 重庆大学 一种基于图像的疫木检测与定位方法及系统
CN113378876A (zh) * 2021-04-25 2021-09-10 河海大学 一种自适应确定目标尺寸和感受野大小的方法
CN113393457A (zh) * 2021-07-14 2021-09-14 长沙理工大学 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN113470012A (zh) * 2021-07-28 2021-10-01 浙江大华技术股份有限公司 标线识别方法、装置、存储介质及电子装置
CN113538331A (zh) * 2021-05-13 2021-10-22 中国地质大学(武汉) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN113537045A (zh) * 2021-07-14 2021-10-22 宁夏大学 基于改进FasterR-CNN的岩画检测方法
CN113808122A (zh) * 2021-09-26 2021-12-17 四川中烟工业有限责任公司 一种基于椭圆特征金字塔的烟草甲虫识别方法
CN113870263A (zh) * 2021-12-02 2021-12-31 湖南大学 一种路面缺陷损伤实时监测方法及系统
JP2022039921A (ja) * 2020-08-27 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体
CN114187586A (zh) * 2022-02-16 2022-03-15 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114219930A (zh) * 2021-12-06 2022-03-22 安徽省配天机器人集团有限公司 特征点的检测方法、检测装置及计算机可读存储介质
CN114360127A (zh) * 2021-12-16 2022-04-15 三峡大学 一种用于安检系统的行人健康监测方法
CN114708424A (zh) * 2022-03-09 2022-07-05 上海人工智能创新中心 输入为具有去重预处理的密集查询的端到端检测器
CN114742988A (zh) * 2022-03-14 2022-07-12 上海人工智能创新中心 多阶段检测器进行点标注到框标注转换的方法
CN114913287A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN115082713A (zh) * 2022-08-24 2022-09-20 中国科学院自动化研究所 引入空间对比信息的目标检测框提取方法、系统及设备
WO2022193074A1 (zh) * 2021-03-15 2022-09-22 深圳市大疆创新科技有限公司 Rpn网络的后处理方法及装置
CN115393682A (zh) * 2022-08-17 2022-11-25 龙芯中科(南京)技术有限公司 目标检测方法、装置、电子设备及介质
CN115496917A (zh) * 2022-11-01 2022-12-20 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN116071566A (zh) * 2023-03-23 2023-05-05 广东石油化工学院 基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法
CN116861361A (zh) * 2023-06-27 2023-10-10 河海大学 一种基于图像-文本多模态融合的大坝形变评估方法
CN117636002A (zh) * 2023-10-23 2024-03-01 长讯通信服务有限公司 一种基于长尾数据的自适应阈值nms多目标检测方法
CN118429355A (zh) * 2024-07-05 2024-08-02 浙江伟臻成套柜体有限公司 一种基于特征增强的轻量级配电柜壳体缺陷检测方法
CN118537543A (zh) * 2024-07-22 2024-08-23 杭州未来已来科技有限公司 一种基于yolo的图像信息目标检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032846A1 (en) * 2016-08-01 2018-02-01 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032846A1 (en) * 2016-08-01 2018-02-01 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法

Cited By (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611861A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于多尺度特征关联的图像变化检测方法
CN111611861B (zh) * 2020-04-22 2023-05-05 杭州电子科技大学 一种基于多尺度特征关联的图像变化检测方法
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111583204B (zh) * 2020-04-27 2022-10-14 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111667461A (zh) * 2020-05-06 2020-09-15 青岛科技大学 一种输电线路异常目标检测方法
CN111667461B (zh) * 2020-05-06 2023-08-29 青岛科技大学 一种输电线路异常目标检测方法
CN112330674B (zh) * 2020-05-07 2023-06-30 南京信息工程大学 一种基于脑部mri三维图像置信度的自适应变尺度卷积核方法
CN112330674A (zh) * 2020-05-07 2021-02-05 南京信息工程大学 一种基于脑部mri三维图像置信度的自适应变尺度卷积核方法
CN111598882A (zh) * 2020-05-19 2020-08-28 联想(北京)有限公司 器官检测方法、装置及计算机设备
CN111598882B (zh) * 2020-05-19 2023-11-24 联想(北京)有限公司 器官检测方法、装置及计算机设备
CN111626200A (zh) * 2020-05-26 2020-09-04 北京联合大学 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
CN111695609A (zh) * 2020-05-26 2020-09-22 平安科技(深圳)有限公司 目标物损伤程度判定方法、装置、电子设备及存储介质
CN111666956A (zh) * 2020-06-09 2020-09-15 齐鲁工业大学 一种多尺度特征提取及融合方法及装置
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
CN111753682B (zh) * 2020-06-11 2023-05-23 中建地下空间有限公司 一种基于目标检测算法的吊装区域动态监控方法
CN111753682A (zh) * 2020-06-11 2020-10-09 中建地下空间有限公司 一种基于目标检测算法的吊装区域动态监控方法
CN113205106A (zh) * 2020-06-19 2021-08-03 深圳瑞为智能科技有限公司 一种基于检测框密度优化的目标检测应用方法
CN112069868A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 一种基于卷积神经网络的无人机实时车辆检测方法
CN111967305B (zh) * 2020-07-01 2022-03-18 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN111967305A (zh) * 2020-07-01 2020-11-20 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN111832508A (zh) * 2020-07-21 2020-10-27 桂林电子科技大学 基于die_ga的低照度目标检测方法
CN111832508B (zh) * 2020-07-21 2022-04-05 桂林电子科技大学 基于die_ga的低照度目标检测方法
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112434723B (zh) * 2020-07-23 2021-06-01 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN111898539A (zh) * 2020-07-30 2020-11-06 国汽(北京)智能网联汽车研究院有限公司 一种多目标检测方法、装置、系统、设备及可读存储介质
CN112101113B (zh) * 2020-08-14 2022-05-27 北京航空航天大学 一种轻量化的无人机图像小目标检测方法
CN112101113A (zh) * 2020-08-14 2020-12-18 北京航空航天大学 一种轻量化的无人机图像小目标检测方法
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112115977B (zh) * 2020-08-24 2024-04-02 重庆大学 基于尺度不变性与特征融合的目标检测算法
JP7079358B2 (ja) 2020-08-27 2022-06-01 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体
JP2022039921A (ja) * 2020-08-27 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体
CN112149665A (zh) * 2020-09-04 2020-12-29 浙江工业大学 一种基于深度学习的高性能多尺度目标检测方法
CN112149665B (zh) * 2020-09-04 2024-05-07 浙江工业大学 一种基于深度学习的高性能多尺度目标检测方法
CN112133100A (zh) * 2020-09-16 2020-12-25 北京影谱科技股份有限公司 一种基于r-cnn的车辆检测方法
CN112133100B (zh) * 2020-09-16 2022-04-22 北京影谱科技股份有限公司 一种基于r-cnn的车辆检测方法
CN111832668A (zh) * 2020-09-21 2020-10-27 北京同方软件有限公司 一种自适应特征及数据分布的目标检测方法
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
CN112085735B (zh) * 2020-09-28 2022-10-25 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
CN112150462B (zh) * 2020-10-22 2023-12-22 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112150462A (zh) * 2020-10-22 2020-12-29 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
US11915466B2 (en) 2020-10-22 2024-02-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining target anchor, device and storage medium
CN112200795A (zh) * 2020-10-23 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于深度卷积网络的大肠内窥镜息肉检测方法
CN112308827A (zh) * 2020-10-23 2021-02-02 复旦大学 基于深度卷积神经网络的毛囊检测方法
CN112270268A (zh) * 2020-10-29 2021-01-26 重庆邮电大学 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法
CN112257809A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112488220B (zh) * 2020-12-07 2022-09-27 南京理工大学 一种基于深度学习的小目标检测方法
CN112488220A (zh) * 2020-12-07 2021-03-12 南京理工大学 一种基于深度学习的小目标检测方法
CN112418170B (zh) * 2020-12-11 2024-03-01 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112418170A (zh) * 2020-12-11 2021-02-26 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112529095A (zh) * 2020-12-22 2021-03-19 合肥市正茂科技有限公司 一种基于卷积区域重配准的单阶段目标检测方法
CN112652059A (zh) * 2020-12-31 2021-04-13 齐鲁工业大学 基于Mesh R-CNN模型改进的目标检测与三维重构方法
CN112652059B (zh) * 2020-12-31 2022-06-14 齐鲁工业大学 基于Mesh R-CNN模型改进的目标检测与三维重构方法
CN112800870B (zh) * 2021-01-13 2023-10-31 上海电力大学 一种基于层间覆盖比的非极大抑制方法及系统
CN112800870A (zh) * 2021-01-13 2021-05-14 上海电力大学 一种基于层间覆盖比的非极大抑制方法及系统
CN112733747A (zh) * 2021-01-14 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种缓解阀拉杆脱落故障的识别方法、系统及装置
WO2022193074A1 (zh) * 2021-03-15 2022-09-22 深圳市大疆创新科技有限公司 Rpn网络的后处理方法及装置
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
CN113052103A (zh) * 2021-03-31 2021-06-29 株洲时代电子技术有限公司 一种基于神经网络的电气设备缺陷检测方法及装置
CN113284088B (zh) * 2021-04-02 2024-03-29 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113284088A (zh) * 2021-04-02 2021-08-20 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113065478A (zh) * 2021-04-09 2021-07-02 长安大学 一种复杂天气道路车辆目标检测方法
CN113378876A (zh) * 2021-04-25 2021-09-10 河海大学 一种自适应确定目标尺寸和感受野大小的方法
CN113159216B (zh) * 2021-05-10 2023-04-28 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113538331A (zh) * 2021-05-13 2021-10-22 中国地质大学(武汉) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN113393457B (zh) * 2021-07-14 2023-02-28 长沙理工大学 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN113393457A (zh) * 2021-07-14 2021-09-14 长沙理工大学 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN113537045A (zh) * 2021-07-14 2021-10-22 宁夏大学 基于改进FasterR-CNN的岩画检测方法
CN113537045B (zh) * 2021-07-14 2022-11-25 宁夏大学 基于改进FasterR-CNN的岩画检测方法
CN113379738A (zh) * 2021-07-20 2021-09-10 重庆大学 一种基于图像的疫木检测与定位方法及系统
CN113470012A (zh) * 2021-07-28 2021-10-01 浙江大华技术股份有限公司 标线识别方法、装置、存储介质及电子装置
CN113470012B (zh) * 2021-07-28 2024-08-02 浙江大华技术股份有限公司 标线识别方法、装置、存储介质及电子装置
CN113808122B (zh) * 2021-09-26 2024-03-12 四川中烟工业有限责任公司 一种基于椭圆特征金字塔的烟草甲虫识别方法
CN113808122A (zh) * 2021-09-26 2021-12-17 四川中烟工业有限责任公司 一种基于椭圆特征金字塔的烟草甲虫识别方法
CN113870263A (zh) * 2021-12-02 2021-12-31 湖南大学 一种路面缺陷损伤实时监测方法及系统
CN113870263B (zh) * 2021-12-02 2022-02-25 湖南大学 一种路面缺陷损伤实时监测方法及系统
CN114219930A (zh) * 2021-12-06 2022-03-22 安徽省配天机器人集团有限公司 特征点的检测方法、检测装置及计算机可读存储介质
CN114360127A (zh) * 2021-12-16 2022-04-15 三峡大学 一种用于安检系统的行人健康监测方法
CN114360127B (zh) * 2021-12-16 2023-09-22 三峡大学 一种用于安检系统的行人健康监测方法
CN114187586B (zh) * 2022-02-16 2022-05-06 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114187586A (zh) * 2022-02-16 2022-03-15 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114708424A (zh) * 2022-03-09 2022-07-05 上海人工智能创新中心 输入为具有去重预处理的密集查询的端到端检测器
CN114708424B (zh) * 2022-03-09 2024-06-28 上海人工智能创新中心 输入为具有去重预处理的密集查询的端到端检测器
CN114742988B (zh) * 2022-03-14 2024-06-28 上海人工智能创新中心 多阶段检测器进行点标注到框标注转换的方法
CN114742988A (zh) * 2022-03-14 2022-07-12 上海人工智能创新中心 多阶段检测器进行点标注到框标注转换的方法
CN114913287A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN114913287B (zh) * 2022-04-07 2023-08-22 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN115393682A (zh) * 2022-08-17 2022-11-25 龙芯中科(南京)技术有限公司 目标检测方法、装置、电子设备及介质
CN115082713B (zh) * 2022-08-24 2022-11-25 中国科学院自动化研究所 引入空间对比信息的目标检测框提取方法、系统及设备
CN115082713A (zh) * 2022-08-24 2022-09-20 中国科学院自动化研究所 引入空间对比信息的目标检测框提取方法、系统及设备
CN115496917B (zh) * 2022-11-01 2023-09-26 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN115496917A (zh) * 2022-11-01 2022-12-20 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN116071566A (zh) * 2023-03-23 2023-05-05 广东石油化工学院 基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法
CN116861361B (zh) * 2023-06-27 2024-05-03 河海大学 一种基于图像-文本多模态融合的大坝形变评估方法
CN116861361A (zh) * 2023-06-27 2023-10-10 河海大学 一种基于图像-文本多模态融合的大坝形变评估方法
CN117636002A (zh) * 2023-10-23 2024-03-01 长讯通信服务有限公司 一种基于长尾数据的自适应阈值nms多目标检测方法
CN118429355A (zh) * 2024-07-05 2024-08-02 浙江伟臻成套柜体有限公司 一种基于特征增强的轻量级配电柜壳体缺陷检测方法
CN118537543A (zh) * 2024-07-22 2024-08-23 杭州未来已来科技有限公司 一种基于yolo的图像信息目标检测方法及系统

Also Published As

Publication number Publication date
CN111027547B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
JP7517641B2 (ja) 構造物の点検・補修支援システム
CN111553200A (zh) 一种图像检测识别方法及装置
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN109919145B (zh) 一种基于3d点云深度学习的矿卡检测方法及系统
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110009628A (zh) 一种针对连续二维图像中多形态目标的自动检测方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN112819796A (zh) 烟丝异物识别方法及设备
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN118097268A (zh) 一种基于监控场景的长尾目标检测方法
CN114140485A (zh) 一种三七主根切割轨迹生成方法及系统
CN117541594A (zh) 一种双非极大值抑制的横向风成脊小目标检测方法及系统
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant