CN112287895A - 用于河流排污口检测的模型构建方法、识别方法及系统 - Google Patents
用于河流排污口检测的模型构建方法、识别方法及系统 Download PDFInfo
- Publication number
- CN112287895A CN112287895A CN202011344659.0A CN202011344659A CN112287895A CN 112287895 A CN112287895 A CN 112287895A CN 202011344659 A CN202011344659 A CN 202011344659A CN 112287895 A CN112287895 A CN 112287895A
- Authority
- CN
- China
- Prior art keywords
- model
- river
- drain
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本公开提出了用于河流排污口检测的模型构建方法、识别方法及系统,构建改进Faster RCNN模型,在该模型中,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督;采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,以提高空间语义信息表征能力;对构建的模型进行训练过程中特征金字塔网络融合前增加对不同尺度的排污口目标进行分类与位置回归处理。本公开技术方案解决了传统Faster RCNN方法在航拍图像河流排污口检测精度低问题;辅助人工检测航拍图像排污口,提高排污口检测精度。
Description
技术领域
本公开属于无人机航拍图像目标检测技术领域,尤其涉及基于改进 Faster RCNN的河流排污口检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
工业废水和生活污水的排放是造成河流污染的重要原因。河流排污口数量多、分布广、形态各异、隐蔽性强,排查难度大。传统的地面排查方式成本高、周期长、遗漏多,无人机航测机动、灵活、高效、经济,起降容易,不受飞行场所限制,空域申请方便,现已应用于河流排污口排查。
目前,无人机航拍河流排污口图像解译工作主要依赖专家经验,即判图人员需要专业的排污口甄别培训,在图像中依据排污口特征信息确定其所在位置。然而,无人机航拍图像相比于普通图像,其分辨率高达 7952×5304,排污口像素占整幅图像像素比常不足0.01%,且排污口形态不一,图像语义信息丰富、干扰信息多,人为判图准确性依赖于专业人员技术水平,容易造成漏检、误检,增加现场核实巡查人员工作量。同时,无人机飞行任务较多时,传回上万张图片,依赖人工检测航拍图像中排污口,方法费时费力。
因此,如何在获得高分辨率的前提下,对河流排污口这类目标在整个图像中占比比较小的情况准确识别出河流排污口是本申请所需要解决的技术问题。
发明内容
为克服上述现有技术的不足,本公开提供了基于改进Faster RCNN的河流排污口检测方法,实现对航拍图像中排污口小目标的识别任务。
为实现上述目的,本公开的一个或多个实施例提供了如下技术方案:
第一方面,公开了用于河流排污口检测的模型构建方法,包括:
构建改进Faster RCNN模型,在该模型中,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督;
采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,以提高空间语义信息表征能力;
对构建的模型进行训练过程中特征金字塔网络融合前增加对不同尺度的排污口目标进行分类与位置回归处理。
进一步的技术方案,对构建的模型进行训练之前,需要建立无人机航拍河流排污口图像原始数据库,对原始数据库中航拍河流排污口图像进行预处理并建立模型训练数据集与测试集,训练数据集对建立的模型进行训练,测试集对训练后的模型进行测试。
进一步的技术方案,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督时,利用区域推荐网络在金字塔输出层上生成大量的感兴趣区域,将感兴趣区域进行映射。
进一步的技术方案,模型监督训练中的分类与回归网络头均共享参数。
进一步的技术方案,对特征金字塔顶层特征空间信息进行补偿时,对传统金字塔网络自顶向下的结构中最顶层进行改进:
利用自适应池化算法生成三种尺度的语义信息,将每种尺度语义特征层通过卷积生成的特征图;
通过双线性插值算法对多尺度特征图进行上采样操作,每类特征图尺度大小保持一致,最后将不同尺度的语义特征图进行融合,生成新的特征层,将其作为顶层特征层;
再将新的特征层与映射层逐层特征信息进行融合,融合后的特征信息,再通过卷积层生成最终的金字塔特征层。
第二方面,公开了用于河流排污口检测的模型,采用上述方法所构建。
第三方面,公开了基于检测模型的河流排污口识别方法,包括:
获取无人机航拍河流排污口图像,对航拍河流排污口图像进行预处理;
利用用于河流排污口检测的模型对航拍图像河流排污口检测和识别,并输出识别结果。
进一步的技术方案,对航拍河流排污口图像进行预处理时,首先将航拍河流排污口图像进行分块,然后采用目标检测标注工具对航拍河流图像中的排污口进行标注。
进一步的技术方案,对航拍图像河流排污口检测和识别时,首先利用特征金字塔网络提取不同层语义信息。
进一步的技术方案,特征金字塔网络其由自底向上和自顶向下两部分组成,其中自底向上部分用于提取航拍图像的特征信息,自顶向下部分用于融合不同尺度特征信息。
进一步的技术方案,利用区域推荐网络在金字塔输出层上生成大量的感兴趣区域;
大量的感兴趣区域需分别对不同尺度的特征图进行最大池化处理,使不同层输出的尺度相同,然后,将感兴趣区域送至Fast RCNN完成排污口目标分类与边框定位,输出图像中所有的排污口位置矩形框。
以上一个或多个技术方案存在以下有益效果:
本公开技术方案解决了传统Faster RCNN方法在航拍图像河流排污口检测精度低问题;辅助人工检测航拍图像排污口,提高排污口检测精度。
本公开技术方案将区域推荐网络在金字塔特征层上生成的候选区域映射在{M2,M3,M4,M5}层上,并对每层特征图进行一致性监督,有效地减少特征金字塔融合前不同尺度特征的语义差异,是因为传统金字塔网络输出的特征,在不同层的特征独立地经过1×1卷积减少了特征图的通道(特征图维度),同时,并没有考虑到不同特征层的语义差异,然而,由于语义信息不一致,直接融合这些特征会降低多尺度特征表征能力。针对本发明中涉及的航拍图像排污口目标尺度小、背景复杂问题,提出的改进方法有效地降低了航拍图像排污口不同尺度特征的语义差异。
本公开技术方案利用残差特征增强方法对特征金字塔顶层M5空间信息进行补偿,减少了特征金字塔顶层空间信息的丢失,是因为传统金字塔网络特征自顶向下的方式传播,底层特征可以利用高层特征较强的语义信息进行改进,然而,由于顶层金字塔特征通道维度降低而丢失信息,因此,本发明利用残差特征增强的方法,对顶层特征层进行处理,该方法有效地保留了顶层空间特征信息,增强航拍图像排污口小目标空间特征信息。
本公开技术方案在模型训练损失函数中增加了一致性监督损失函数,提高排污口检测精度;
本公开技术方案针对航拍图像排污口目标检测中遇到的问题,采用 Pytorch深度学习框架编程实现,同时易于拓展和使用,在航拍河流排污口排查中具有一定的实际应用价值。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为改进Faster RCNN航拍图像排污口检测模型示意图;
图2为改进特征金字塔模型示意图;
图3为航拍河流排污口目标检测结果图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了用于河流排污口检测的模型构建方法,包括:
构建改进Faster RCNN模型,在该模型中,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督;
采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,以提高空间语义信息表征能力;
对构建的模型进行训练过程中特征金字塔网络融合前增加对不同尺度的排污口目标进行分类与位置回归处理。
对构建的模型进行训练之前,需要建立无人机航拍河流排污口图像原始数据库,对原始数据库中航拍河流排污口图像进行预处理并建立模型训练数据集与测试集,训练数据集对建立的模型进行训练,测试集对训练后的模型进行测试。
利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督时,利用区域推荐网络在金字塔输出层上生成大量的感兴趣区域,将感兴趣区域进行映射。
模型监督训练中的分类与回归网络头均共享参数。
对特征金字塔顶层特征空间信息进行补偿时,对传统金字塔网络自顶向下的结构中最顶层进行改进:
利用自适应池化算法生成三种尺度的语义信息,将每种尺度语义特征层通过卷积生成的特征图;
通过双线性插值算法对多尺度特征图进行上采样操作,每类特征图尺度大小保持一致,最后将不同尺度的语义特征图进行融合,生成新的特征层,将其作为顶层特征层;
再将新的特征层与映射层逐层特征信息进行融合,融合后的特征信息,再通过卷积层生成最终的金字塔特征层。
实施例二
本实施例的目的是提供基于检测模型的河流排污口识别方法,包括:
获取无人机航拍河流排污口图像,对航拍河流排污口图像进行预处理;利用用于河流排污口检测的模型对航拍图像河流排污口检测和识别,并输出识别结果。通过改进Faster RCNN网络模型并优化了目标检测损失函数以适应航拍河流图像排污口小目标检测,提高目标检测精度。
基于改进Faster RCNN的航拍图像河流排污口检测方法。该方法利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督,有效地减少特征金字塔融合前不同尺度特征的语义差异;采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,减少了特征金字塔顶层空间信息的丢失。在训练时,模型损失函数中增加了一致性监督损失函数,提高目标检测精度。本方法具体步骤如下:
步骤1:利用无人机航拍河流图像,专家通过经验筛选航拍河流图像中包含排污口或疑似排污口图像,建立无人机航拍河流排污口图像原始数据库;
步骤2:对航拍河流排污口图像进行预处理,包括高分辨率航拍图像分块、专家对航拍图像中排污口进行矩形框标注、建立模型训练数据集与测试集,具体步骤如下:
步骤21:本发明涉及的航拍图像分辨率为7952×5304,为了提高排污口标注准确率、以及模型训练效率,首先将航拍河流排污口图像进行分块,划分数量为3×7,每块图像宽高使用如下公式计算:
式中W和H分别为原始航拍图像的宽和高(7952,5304),通过计算,每块航拍图像尺寸为1325×884。
步骤22:在步骤21的基础上,采用目标检测标注工具LabelImg对航拍河流图像中的排污口进行标注,本发明涉及的排污口包括两类:排污坝和排污管,在标注中,专家利用该工具框选整个排污口目标,并记录排污口目标矩形框坐标,同时设置排污口的类别标签,然后,按照LabelImg工具的格式协议将标注的信息存入至XML格式文件中,具体包括:目标标注类别、目标左上角X和Y坐标、目标右下角X和Y坐标。
步骤3:改进的Faster RCNN模型如图1所示,主要由特征提取网络、区域推荐网络、Fast RCNN组成,其中特征提取主干网络采用ResNet 50,在基础上,利用特征金字塔网络提取不同层语义信息,本发明对特征金字塔进行改进,在该模型中,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督,采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,具体步骤如下:
步骤31:改进Faster RCNN模型主干网络采用ResNet 50,在该网络基础上建立特征金字塔网络(Feature Pyramid Networks,FPN),其由自底向上和自顶向下两部分组成,其中自底向上部分用于提取航拍图像的特征信息,自顶向下部分用于融合不同尺度特征信息。如图2所示,ResNet 50包含5 个卷积块,抽取第二个至第五个卷积块的最后卷积层的输出表示为 {C2,C3,C4,C5},每个输出通过1×1卷积生成256个特征图,对应的5层结构表示为{M2,M3,M4,M5},再经过3×3卷积自顶向下融合不同尺度特征信息,表示为{P2,P3,P4,P5}。为了弥补不同尺度层的特征差异,本发明利用多尺度检测器对不同尺度特征下的信息进行一致性监督,具体为:首先,利用区域推荐网络(RPN)在4层特征金字塔输出层{P2,P3,P4,P5}上生成大量的感兴趣区域(Region of Interest,RoI),然后,将RoI映射回{M2,M3,M4,M5}层,在每层上增加目标分类和与位置边框回归网络头(Head),即对不同尺度排污口目标进行分类与位置回归,为了使不同特征层能够学习到相似的语义背景特征信息,其监督训练中的分类与回归网络头均共享参数,其训练损失函数表达式为:
L=λ(Lcls,M(pM,t*)+βLloc,M(dM,b*))
+Lcls,P(p,t*)+βLloc,P(d,b*)
式中Lcls,M和Lloc,M分别为特征抽取层的目标损失函数,M表示为 {M2,M3,M4,M5},Lcls,P和Lloc,P为特征金字塔{P2,P3,P4,P5}的原始损失函数,t*和b*为真实类标签和目标位置,λ为特征抽取层的损失与金字塔特征损失的平衡权重系数,β为目标分类和位置回归损失平衡权重系数。
步骤32:在步骤31的基础上,采用残差特征增强方法对顶层M5语义空间信息进行补偿。传统金字塔网络自顶向下的结构中,最顶层M5特征将与{M2,M3,M4}进行逐层特征融合,然而,由于M5层通过1×1的卷积后特征图维度降低,即256通道特征图,将导致部分特征信息丢失,因此,本发明对M5层进行改进,具体为:如图3所示,首先,利用自适应池化算法生成三种尺度的语义信息,三种尺度的计算公式如下:
hapi=αi·h
wapi=αi·w
式中h和w分别表示M5层特征图的宽和高,αi表示自适应池化层输入尺寸调整因子,0<αi<1,i=1,2,3,本发明三个调整因子数值分别为:α1=0.6,α2=0.7,α3=0.9。
然后,将每种尺度语义特征层通过1×1卷积,生成的特征图数量为256 张,通过双线性插值算法对多尺度特征图进行上采样操作,每类特征图尺度大小保持一致,最后将不同尺度的语义特征图进行融合,生成新的特征层M6,将其作为顶层特征层。再将M6层与{M2,M3,M4,M5}逐层特征信息进行融合,融合后的特征信息,再通过3×3卷积层生成最终的金字塔特征层 {P2,P3,P4,P5}。
本发明将RPN网络生成的候选区域映射至{M2,M3,M4,M5}输出的特征图上,然而,由于这四层输出的特征图尺度不一,所以,RoI需分别对不同尺度的特征图进行最大池化处理,使不同层输出的尺度相同,然后,将感兴趣区域送至Fast RCNN完成排污口目标分类与边框定位,输出图像中所有的排污口位置矩形框。
步骤4:使用训练集训练改进Faster RCNN模型,具体步骤如下:
步骤41:由于本发明排污口目标尺度小,不同于传统检测目标,如车辆、人等目标,如果锚框尺度设置不恰当会导致目标漏检或者误检,因此,需要为改进的Faster RCNN网络设置合适的锚框尺度(尺寸)。通过对训练集图片中排污口的尺寸统计,排污口目标尺寸在本发明锚框大小设置为 [16,32,64],对应生成9种尺寸的锚框宽高比分别为1:1,1:2,2:1,其能够满足相对较大和相对较小的排污口尺寸要求。
步骤42,模型训练包括RPN网络训练和Faster RCNN训练。RPN网络训练是在金字塔网络特征层基础上进行训练,其交并比(Intersection over Union,IoU)设置为当IoU>0.7标注为前景目标,IoU<0.3标注为背景。而本发明将RPN生成的感兴趣区域映射回{M2,M3,M4,M5}层,为了使不同特征层能够学习到相似的语义背景特征信息,在每层上增加目标分类和与位置边框回归网络头(Head),即对不同尺度的排污口目标进行分类与位置回归。这个网络头只在网络训练时加入,不参与网络推理任务,其训练目标损失函数参见步骤32,其中,Lcls,M和Lcls,P采用softmax loss,Lloc,M和Lloc,P采用 smooth L1 loss,λ平衡权重系数设置为0.6,β平衡权重系数设置为0.4。
然后,通过RPN网络能够获取推荐的排污口区域,将推荐区域输入至 Fast RCNN网络,其交并比(Intersection over Union,IoU)设置为0.5,当 IoU>0.5认为检测到目标,结合置信度值(设置为0.7)最终检测出排污口目标区域。
模型训练优化算法采用Adam方法,其学习率设置为0.01。通过对两个网络进行训练,获得最终的排污口目标检测模型,用于排污口目标推理任务。
步骤5:使用测试集测试改进Faster RCNN模型性能,然后将模型用于航拍图像河流排污口检测和识别,并输出识别结果。
基于改进Faster RCNN的无人机航拍图像河流排污口检测方法,包括以下步骤:利用无人机采集航拍河流图像;对图像进行预处理,包括裁剪、排污口标注,建立航拍河流排污口图像训练集与测试集;针对航拍河流排污口图像背景复杂、目标尺度小问题,构建改进Faster RCNN模型,在该模型中,利用多尺度检测器对不同尺度的特征信息进行一致性监督,采用残差特征增强方法对目标区域空间信息进行补偿,提高空间语义信息表征能力;使用训练集对改进Faster RCNN模型进行训练,在测试集上对模型进行性能评估,然后,将改进的Faster RCNN模型用于航拍图像河流排污口检测。本发明对航拍图像排污口目标进行高效、准确的检测,实用性强,能够克服传统Faster RCNN方法缺陷,提高目标检测平均精度。
本实例中涉及的排污口航拍图像训练集和测试集统计表
表1河流排污口航拍图像数据集统计表
数据集 | 排污坝 | 排污管 |
训练集 | 7650 | 3520 |
测试集 | 2434 | 1165 |
合计 | 10084 | 4685 |
为了对排污口目标检测结果进行评估,本发明采用精度(Precision)和召回率(Rcall)指标,其计算公式如下:
式中TP(True Positive)表示正确检测的排污口数量,FP(False Positive) 表示错误检测排污口数量,FN(False Negative)表示未检测到的排污口数量。
根据精度和召回率,可以得到P-R曲线,其下方面积即为AP(Average Precision),每种类型排污口都对应得到一个AP值,进而,可以计算两种类型排污口目标检测的平均精度mAP(mean Average Precision),衡量本发明检测算法的精度。
图3为不同区域下河流排污口检测结果图,最后本发明提出的方法和原始FasterRCNN方法进行了比较,原始Faster RCNN主干网络采用 RestNet50,其检测结果如表2所示。
表2本发明方法与传统Faster RCNN方法检测结果比较
方法 | AP(排污坝) | AP(排污管) | mAP |
Faster RCNN | 68.3% | 55.2% | 61.8% |
本发明方法 | 75.8% | 65.5% | 70.7% |
从表中可以看出,较传统的Faster RCNN,本发明提出的方法在排污坝、排污管检测精度分别提高了7.5%和10.3%,平均精度提高了8.9%,本发明提出的方法具有一定的优势。
实施例三
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例子二中的具体步骤。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行上述实施例子二中的具体步骤。
实施例五
基于检测模型的河流排污口识别系统,其特征是,包括:
图像获取模块,获取无人机航拍河流排污口图像,对航拍河流排污口图像进行预处理;
河流排污口识别模块,利用上述用于河流排污口检测的模型对航拍图像河流排污口检测和识别,并输出识别结果。
以上实施例的装置中涉及的各步骤与方法实施例一相对应,具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质;还应当被理解为包括任何介质,所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白,上述本公开的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.用于河流排污口检测的模型构建方法,其特征是,包括:
构建改进Faster RCNN模型,在该模型中,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督;
采用残差特征增强方法对特征金字塔顶层特征空间信息进行补偿,以提高空间语义信息表征能力;
对构建的模型进行训练过程中特征金字塔网络融合前增加对不同尺度的排污口目标进行分类与位置回归处理。
2.如权利要求1所述的用于河流排污口检测的模型构建方法,其特征是,对构建的模型进行训练之前,需要建立无人机航拍河流排污口图像原始数据库,对原始数据库中航拍河流排污口图像进行预处理并建立模型训练数据集与测试集,训练数据集对建立的模型进行训练,测试集对训练后的模型进行测试。
3.如权利要求1所述的用于河流排污口检测的模型构建方法,其特征是,利用多尺度检测器对特征金字塔不同尺度的特征信息进行一致性监督时,利用区域推荐网络在金字塔输出层上生成大量的感兴趣区域,将感兴趣区域进行映射。
4.如权利要求1所述的用于河流排污口检测的模型构建方法,其特征是,模型监督训练中的分类与回归网络头均共享参数。
5.如权利要求1所述的用于河流排污口检测的模型构建方法,其特征是,对特征金字塔顶层特征空间信息进行补偿时,对传统金字塔网络自顶向下的结构中最顶层进行改进:
利用自适应池化算法生成三种尺度的语义信息,将每种尺度语义特征层通过卷积生成的特征图;
通过双线性插值算法对多尺度特征图进行上采样操作,每类特征图尺度大小保持一致,最后将不同尺度的语义特征图进行融合,生成新的特征层,将其作为顶层特征层;
再将新的特征层与映射层逐层特征信息进行融合,融合后的特征信息,再通过卷积层生成最终的金字塔特征层。
6.用于河流排污口检测的模型,其特征是,采用上述权利要求1-5任一方法所构建。
7.基于检测模型的河流排污口识别方法,其特征是,包括:
获取无人机航拍河流排污口图像,对航拍河流排污口图像进行预处理;
利用权利要求6所述的用于河流排污口检测的模型对航拍图像河流排污口检测和识别,并输出识别结果。
8.如权利要求7所述的基于检测模型的河流排污口识别方法,其特征是,对航拍河流排污口图像进行预处理时,首先将航拍河流排污口图像进行分块,然后采用目标检测标注工具对航拍河流图像中的排污口进行标注。
进一步的技术方案,对航拍图像河流排污口检测和识别时,首先利用特征金字塔网络提取不同层语义信息。
进一步的技术方案,特征金字塔网络其由自底向上和自顶向下两部分组成,其中自底向上部分用于提取航拍图像的特征信息,自顶向下部分用于融合不同尺度特征信息。
9.如权利要求7所述的基于检测模型的河流排污口识别方法,其特征是,利用区域推荐网络在金字塔输出层上生成大量的感兴趣区域;
大量的感兴趣区域需分别对不同尺度的特征图进行最大池化处理,使不同层输出的尺度相同,然后,将感兴趣区域送至Fast RCNN完成排污口目标分类与边框定位,输出图像中所有的排污口位置矩形框。
10.基于检测模型的河流排污口识别系统,其特征是,包括:
图像获取模块,获取无人机航拍河流排污口图像,对航拍河流排污口图像进行预处理;
河流排污口识别模块,利用权利要求6所述的用于河流排污口检测的模型对航拍图像河流排污口检测和识别,并输出识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011344659.0A CN112287895A (zh) | 2020-11-26 | 2020-11-26 | 用于河流排污口检测的模型构建方法、识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011344659.0A CN112287895A (zh) | 2020-11-26 | 2020-11-26 | 用于河流排污口检测的模型构建方法、识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112287895A true CN112287895A (zh) | 2021-01-29 |
Family
ID=74426468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011344659.0A Pending CN112287895A (zh) | 2020-11-26 | 2020-11-26 | 用于河流排污口检测的模型构建方法、识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287895A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926480A (zh) * | 2021-03-05 | 2021-06-08 | 山东大学 | 一种面向多尺度、多朝向的航拍物体检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
CN111680655A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的视频目标检测方法 |
-
2020
- 2020-11-26 CN CN202011344659.0A patent/CN112287895A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
CN111680655A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的视频目标检测方法 |
Non-Patent Citations (1)
Title |
---|
CHAOXU GUO等: ""AugFPN: Improving Multi-scale Feature Learning for Object Detection"", 《ARXIV》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926480A (zh) * | 2021-03-05 | 2021-06-08 | 山东大学 | 一种面向多尺度、多朝向的航拍物体检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287960B (zh) | 自然场景图像中曲线文字的检测识别方法 | |
CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
CN105844621A (zh) | 一种印刷品质量检测方法 | |
CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估系统及方法 | |
CN111310756A (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
CN115272876A (zh) | 一种基于深度学习的遥感图像船舶目标检测方法 | |
CN112287895A (zh) | 用于河流排污口检测的模型构建方法、识别方法及系统 | |
CN113298767A (zh) | 一种能克服反光现象的围棋图谱可靠识别方法 | |
CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及系统 | |
CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
CN115984360B (zh) | 一种基于图像处理的计算干滩长度的方法及系统 | |
CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |