CN111985488B - 一种基于离线高斯模型的目标检测分割方法及系统 - Google Patents

一种基于离线高斯模型的目标检测分割方法及系统 Download PDF

Info

Publication number
CN111985488B
CN111985488B CN202010901955.XA CN202010901955A CN111985488B CN 111985488 B CN111985488 B CN 111985488B CN 202010901955 A CN202010901955 A CN 202010901955A CN 111985488 B CN111985488 B CN 111985488B
Authority
CN
China
Prior art keywords
candidate region
frame
training
model
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010901955.XA
Other languages
English (en)
Other versions
CN111985488A (zh
Inventor
王红星
陈晟
沈杰
吴媚
陈玉权
黄郑
张欣
黄祥
宋煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fangtian Power Technology Co Ltd filed Critical Jiangsu Fangtian Power Technology Co Ltd
Priority to CN202010901955.XA priority Critical patent/CN111985488B/zh
Publication of CN111985488A publication Critical patent/CN111985488A/zh
Application granted granted Critical
Publication of CN111985488B publication Critical patent/CN111985488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于离线高斯模型的目标检测分割方法，包括：利用训练集训练Mask R‑CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框；对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新；对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出；使用离线高斯模型去增强Mask R‑CNN中的分类器，结合离线高斯模型和Softmax分类器实现样本对不均衡数据的分类，简单易行，应用范围广，能够有效的提高目标检测分割的精度。

Description

一种基于离线高斯模型的目标检测分割方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于离线高斯模型的目标检测分割和分割方法。
背景技术
目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。
因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉科学的重要分支，也是智能监控系统的核心部分，同时目标检测也是泛身份识别领域的一个基础性的算法，对后续的人脸识别、步态识别、人群计数以及实例分割等任务起着至关重要的作用。由于深度学习的广泛应用，目标检测算法得到了较为快速的发展。
随着大数据的发展，图像数据也在不断扩增，目标检测算法处理的目标类别不再局限于常见的20类和80类等，而开始迈向拥有上千目标类别的复杂场景，这给当前的目标检测和实例分割带来了诸多调整，其中影响最大的便是训练数据中的样本不均衡问题，由于目标类别多，现有的数据很难做到每个类别的样本均衡，类别样本分布易出现长尾效应，如图1所示为LVIS数据集中各个类别的样本数量统计图，横轴表示不同目标类别class，纵轴为每个类别的样本数量numbers，大量的类别拥有较少的样本，而部分类别占据了数据集大部分样本。
现有的目标检测和实例分割算法直接使用呈长尾分布的数据进行训练会严重偏向于样本量较多的类别，而对“尾部”的类别性能较差。目前已有的算法都是在样本均衡的数据集下训练测试，缺乏对样本不均衡的情况的处理。
发明内容
本发明针对现有技术中存在的技术问题，提供一种方法，解决现有技术中实例分割模型长尾分布等不均衡分布的数据集下性能下降的问题。
本发明解决上述技术问题的技术方案如下：一种基于离线高斯模型的目标检测分割方法，包括：步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，所述更新候选区域框包含所述真实物体框的坐标和所含物体的类别；
步骤2，对各个所述训练图像的所述更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所述所含物体的类别对中心矩阵、方差和样本数量进行更新；
步骤3，对测试图像的所述候选区域框进行特征提取，基于高斯计算模型计算所述候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
一种基于离线高斯模型的目标检测分割系统，包括：Mask R-CNN模型训练模块、参数更新模块和测试图像目标检测分割模块；
Mask R-CNN模型训练模块，用于利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，所述更新候选区域框包含所述真实物体框的坐标和所含物体的类别；
参数更新模块，用于对各个所述训练图像的所述更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所述所含物体的类别对中心矩阵、方差和样本数量进行更新；
测试图像目标检测分割模块，用于对测试图像的所述候选区域框进行特征提取，基于高斯计算模型计算所述候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
本发明的有益效果是：凭借卷积神经网络强大的特征表达能力，通过离线的方式计算出训练集中所有类别的特征中心及其方差，在得到所有类别特征中心和方差后，通过高斯模型分别计算出输入样本的属于每个类别概率，相比于Mask R-CNN中的Softmax分类器，离线高斯模型不需要额外训练，对样本分布具有鲁棒性，离线高斯模型高斯模型利用了训练样本的特征，模型包含训练数据的信息，即便部分类别样本较少，高斯模型也可以利用少量训练数据去实现准确的推理，缓解了样本不均衡分布对分类的影响。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1包括：
步骤101，构建标准的Mask R-CNN模型，在LVIS数据集上训练所述Mask R-CNN模型，获得模型的权重W；
步骤102，零初始化类别中心矩阵C，方差V以及样本数量S：C∈RM×K,V∈RM,S∈RM,其中M为类别数量，K为特征维度；
步骤103，输入任一所述训练图像，通过所述Mask R-CNN模型中的RPN获得所述候选区域框；
步骤104，计算所述候选区域与所述真实物体框的交并比，筛去所述交并比小于阈值的所述候选区域框，并将每个所述候选区域框标注为交并比的值最大时对应的所述真实物体框的类别；
步骤105，生成所述更新候选区域框。
进一步，根据目标检测与定位普遍的做法，所述阈值为0.5。
进一步，所述步骤2中使用RoIAlign对各个所述训练图像的所述更新候选区域框进行特征提取。
进一步，所述步骤2中对中心矩阵、方差和样本数量进行更新的公式为：
更新中心矩阵：
Figure BDA0002660065990000041
更新方差：
Figure BDA0002660065990000042
更新样本数量：S'i＝Si+1；
其中，i表示类别的序号数，F表示对训练图像的更新候选区域框提取的特征，Ci和C'i分别为更新前后第i类别的中心矩阵；Vi和V'i分别为更新前后第i类别的方差；Si和S'i分别为更新前后第i类别的样本数量。
进一步，所述步骤3中对测试图像的所述候选区域框进行特征提取的过程包括：
加载所述Mask R-CNN模型的权重以及分类分支的类别中心矩阵C和方差V；
输入所述测试图像进行前向计算，通过所述区域生成网络输出所述区域候选框的区域特征，经过分类网络得到所述的区域候选框的特征F'。
进一步，所述步骤3中计算所述候选区域框在第i类别上的概率值pi的高斯计算模型为：
Figure BDA0002660065990000043
其中，C'i为更新后第i类别的中心矩阵；V'i为更新后第i类别的方差。
采用上述进一步方案的有益效果是：简单有效：不需要额外的模型结构和超参数，不需要进行训练，可直接在已有的检测、分割模型上使用本发明缓解数据长尾分布的影响，方法简单且有效。
拓展性强：可以直接拓展到任意的检测、分割模型上，对于目前目标检测和实例分割的主流方法，本发明均适用并能提升这些方法在长尾分布数据集上的性能。
速度快：可以利用GPU矩阵运算的优势快速完成高斯分数的计算得到概率值。
附图说明
图1为LVIS数据集中各个类别的样本数量统计图；
图2为本发明实施例提供的一种基于离线高斯模型的目标检测分割方法的流程图；
图3为Mask R-CNN框架整体结构示意图；
图4为本发明实施例提供的一种基于离线高斯模型的目标检测分割方法中训练过程的流程图；
图5为本发明实施例提供的利用RoI Align提取到区域特征的网络结构示意图；
图6为本发明提供的一种基于离线高斯模型的目标检测分割系统的实施例的结构框图；
图7为本发明实施例提供的一种电子设备的实体结构示意图；
图8为本发明实施例提供的本发明提供的一种基于离线高斯模型的目标检测分割方法的可视化效果图。
附图中，各标号所代表的部件列表如下：
101、Mask R-CNN模型训练模块，102、参数更新模块，103、测试图像目标检测分割模块，201、处理器，202、通信接口，203、存储器，204、通信总线。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实例分割模型Mask R-CNN在样本均衡的数据集上性能不错，然而在长尾分布等不均衡分布的数据集下性能下降，常用的Softmax分类器会偏向于样本较多的类别，对此，本发明提出使用离线高斯模型去增强Mask R-CNN中的分类器，结合离线高斯模型和Softmax分类器实现样本对不均衡数据的分类。如图2所示为本发明实施例提供的一种基于离线高斯模型的目标检测分割方法的流程图，由图2可知，该方法包括：
步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，更新候选区域框包含真实物体框的坐标和所含物体的类别。
Mask R-CNN是一款基于经典两阶段物体检测算法Faster R-CNN的实例分割算法，Faster R-CNN部分实现对图像中物体的检测与分类，得到每个物体的类别和矩形区域框，Mask R-CNN利用全卷积网络对每个物体进行分割，得到实例分割结果。Mask R-CNN框架整体结构如图3所示，由特征提取网络(Backbone)、特征金字塔网络(FPN)、区域候选框生成网络(RPN)、分类回归网络(R-CNN)以及分割网络(Segmentation)组成。1)特征提取：输入图像首先通过特征提取网络进行深层图像特征提取，得到的特征用于后续的分类和分割任务。Mask R-CNN中使用ResNet卷积神经网络进行特征提取；2)特征金字塔：为缓解自然场景物体检测中的尺度变化问题(scale variation)并增强多个分辨率的深层图像特征，Mask R-CNN中使用特征金字塔(FPN)构建多个不同分辨率大小的特征，并通过自上而下融合不同分辨率的特征来增强浅层高分辨率特征的语义信息，FPN最后输出5个不同分辨率的图像特征。3)生成区域候选框：同Faster R-CNN，Mask R-CNN会在第一阶段利用RPN网络生成大量可能含有物体的候选框(proposals)。RPN网络预先在特征图上的每个像素点定义一系列固定大小的锚点框(Anchors)，RPN网络直接预测每个Anchor是否含有物体，以及Anchor和物体框的坐标的偏移量，确定了Anchor是否含有物体，通过坐标变换就可以得到预测的物体框，通过非极大值抑制的处理获取可能含有物体的候选框(proposals)；4)分类、回归：第二阶段利用第一阶段RPN得到的候选框并通过RoIAlign操作从FPN的特征图上取出每一个候选框的局部区域特征，RoI Align会通过采样和插值的方式得到7x7大小的区域特征，第二阶段利用分类和回归网络对区域特征进行精细化的分类和回归，得到最后的检测结果，也就是输入图像中含有物体的物体框以及物体的类别。5)物体分割：得到所有物体的物体框和分类后，利用物体框和RoIAlign得到每个物体14x14大小的区域特征，经过4层全卷积网络提取物体分割特征，并将其反卷积上采样到28x28大小，最后通过对每个像素进行分类，得到每个物体的分割，通过双线性插值方式将分割从28x28上采样到物体实际大小，进而得到物体最后的分割。
步骤2，对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新。
步骤3，对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
本发明提供的一种基于离线高斯模型的目标检测分割方法，凭借卷积神经网络强大的特征表达能力，通过离线的方式计算出训练集中所有类别的特征中心及其方差，在得到所有类别特征中心和方差后，通过高斯模型分别计算出输入样本的属于每个类别概率，相比于Mask R-CNN中的Softmax分类器，离线高斯模型不需要额外训练，对样本分布具有鲁棒性，离线高斯模型高斯模型利用了训练样本的特征，模型包含训练数据的信息，即便部分类别样本较少，高斯模型也可以利用少量训练数据去实现准确的推理，缓解了样本不均衡分布对分类的影响。
实施例1
本发明提供的实施例1为本发明提供的一种基于离线高斯模型的目标检测分割方法的实施例，其中，步骤1和步骤2为训练阶段，步骤3为对测试图像进行测试的阶段。如图4为本发明实施例提供的一种基于离线高斯模型的目标检测分割方法中训练过程的流程图。该方法的实施例包括：
步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，更新候选区域框包含真实物体框的坐标和所含物体的类别。
优选的，步骤101，构建标准的Mask R-CNN模型，在LVIS(Large VocabularyInstance Segmentation，大型实例分割)数据集上训练Mask R-CNN模型，获得模型的权重W。
LIVS数据集是FacebookAI研究院发布的一个大规模的词汇实例分割数据集，包含了164k图像，并针对超过1000类物体进行了约200万个高质量的实例分割标注。聚焦于关键科学问题的数据不断促进着目标检测领域的技术进步，使得目标检测的性能从简单的图像扩展到了复杂的场景，从边框标注拓展到了语义分割掩膜。
由于数据集中包含自然图像中的物体分布天然具有长尾属性，LVIS数据集将促进深度学习在图像分割领域的进一步发展。
步骤102，零初始化类别中心矩阵C，方差V以及样本数量S：C∈RM×K,V∈RM,S∈RM,其中M为类别数量，K为特征维度。
具体的，选用LIVS数据集作为训练集，其类别数为1230，因此M设为1230。
步骤103，输入任一训练图像，通过Mask R-CNN模型中的RPN(Region ProposalNetwork，区域生成网络)获得候选区域框。
步骤104，计算候选区域与真实物体框的交并比，筛去交并比小于阈值的候选区域框，并将每个候选区域框标注为交并比的值最大时对应的真实物体框的类别。
具体的，根据目标检测与定位普遍的做法，将阈值设定为0.5。即筛去与真实物体框的交并比小于0.5的候选区域框。
步骤105，生成更新候选区域框。
步骤2，对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新。
优选的，步骤2中使用RoIAlign对各个训练图像的更新候选区域框进行特征提取。如图5所示为利用RoIAlign提取到区域特征的网络结构示意图。
步骤2中对中心矩阵、方差和样本数量进行更新的公式为：
更新中心矩阵：
Figure BDA0002660065990000091
更新方差：
Figure BDA0002660065990000092
更新样本数量：S'i＝Si+1。
其中，i表示类别的序号数，F表示对训练图像的更新候选区域框提取的特征，Ci和C'i分别为更新前后第i类别的中心矩阵；Vi和V'i分别为更新前后第i类别的方差；Si和S'i分别为更新前后第i类别的样本数量。
在训练集上测试完成后，保存得到的中心矩阵C，方差V以及样本数量S。
步骤3，对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
优选的，步骤3中对测试图像的候选区域框进行特征提取的过程包括：
加载Mask R-CNN模型的权重以及分类分支的类别中心矩阵C和方差V。
输入测试图像进行前向计算，通过区域生成网络输出区域候选框的区域特征，经过分类网络得到的区域候选框的特征F'。
计算候选区域框在第i类别上的概率值pi的高斯计算模型为：
Figure BDA0002660065990000101
实施例2
本发明提供的实施例2为本发明提供的一种基于离线高斯模型的目标检测分割系统的实施例，如图2所示为本发明提供的一种基于离线高斯模型的目标检测分割系统的实施例的结构框图，由图2可知，该系统包括：Mask R-CNN模型训练模块101、参数更新模块102和测试图像目标检测分割模块103。
Mask R-CNN模型训练模块101，用于利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，更新候选区域框包含真实物体框的坐标和所含物体的类别。
参数更新模块102，用于对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新。
测试图像目标检测分割模块103，用于对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。处理器201可以调用存储在存储器203上并可在处理器201上运行的计算机程序，以执行上述各实施例提供的基于离线高斯模型的目标检测分割方法，例如包括：步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，更新候选区域框包含真实物体框的坐标和所含物体的类别；步骤2，对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新；步骤3，对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于离线高斯模型的目标检测分割方法，例如包括：步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，更新候选区域框包含真实物体框的坐标和所含物体的类别；步骤2，对各个训练图像的更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所含物体的类别对中心矩阵、方差和样本数量进行更新；步骤3，对测试图像的候选区域框进行特征提取，基于高斯计算模型计算候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
实施例3
本发明提供的实施例3为本发明提供的一种基于离线高斯模型的目标检测分割方法或系统的验证实施例，该验证实施例在LVIS实例分割数据集和电网巡检数据上开展实验验证。
LVIS数据集：采用Mask R-CNN模型，基于ResNet-50-FPN特征提取网络，输入图像大小为800*1333，训练12轮，每次迭代输入16张图像，学习率设定为0.02，在第8和第11轮分别降低学习率至0.002和0.0002，在LVIS数据集实验效果如下表1：
Figure BDA0002660065990000111
Figure BDA0002660065990000121
表1 LVIS测试结果
电网巡检数据集：采用Faster R-CNN模型，基于ResNet-50-FPN特征提取网络，输入图像大小为800*1333，训练24轮，每次迭代输入16张图像，学习率设定为0.02，在第16和第22轮分别降低学习率至0.002和0.0002，在该数据集实验效果如下表2：
模型 AP
Faster R-CNN 17.5
Faster R-CNN Offline Gaussian 20.8
表2电网巡检数据测试结果
在部分类别上的效果如下表3所示：
Figure BDA0002660065990000122
表3电网巡检数据部分类别测试结果
如图8所示为本发明实施例提供的本发明提供的一种基于离线高斯模型的目标检测分割方法的可视化效果图，以上两组实验可以验证本发明在样本不均衡的数据中均能有效改善模型，提高模型的性能。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于离线高斯模型的目标检测分割方法，其特征在于，所述方法包括：
步骤1，利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，所述更新候选区域框包含所述真实物体框的坐标和所含物体的类别；
步骤2，对各个所述训练图像的所述更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所述所含物体的类别对中心矩阵、方差和样本数量进行更新；
步骤3，对测试图像的所述候选区域框进行特征提取，基于高斯计算模型计算所述候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：
步骤101，构建标准的Mask R-CNN模型，在LVIS数据集上训练所述Mask R-CNN模型，获得模型的权重W；
步骤102，零初始化类别中心矩阵C，方差V以及样本数量S：C∈RM×K,V∈RM,S∈RM,其中M为类别数量，K为特征维度；
步骤103，输入任一所述训练图像，通过所述Mask R-CNN模型中的RPN获得所述候选区域框；
步骤104，计算所述候选区域与所述真实物体框的交并比，筛去所述交并比小于阈值的所述候选区域框，并将每个所述候选区域框标注为交并比的值最大时对应的所述真实物体框的类别；
步骤105，生成所述更新候选区域框。
3.根据权利要求2所述的方法，其特征在于，根据目标检测与定位普遍的做法，所述阈值为0.5。
4.根据权利要求1所述的方法，其特征在于，所述步骤2中使用RoI Align对各个所述训练图像的所述更新候选区域框进行特征提取。
5.根据权利要求1所述的方法，其特征在于，所述步骤2中对中心矩阵、方差和样本数量进行更新的公式为：
更新中心矩阵：
Figure FDA0002660065980000021
更新方差：
Figure FDA0002660065980000022
更新样本数量：S'i＝Si+1；
其中，i表示类别的序号数，F表示对训练图像的更新候选区域框提取的特征，Ci和C'i分别为更新前后第i类别的中心矩阵；Vi和V'i分别为更新前后第i类别的方差；Si和S'i分别为更新前后第i类别的样本数量。
6.根据权利要求1所述的方法，其特征在于，所述步骤3中对测试图像的所述候选区域框进行特征提取的过程包括：
加载所述Mask R-CNN模型的权重以及分类分支的类别中心矩阵C和方差V；
输入所述测试图像进行前向计算，通过所述区域生成网络输出所述区域候选框的区域特征，经过分类网络得到所述的区域候选框的特征F'。
7.根据权利要求6所述的方法，其特征在于，所述步骤3中计算所述候选区域框在第i类别上的概率值pi的高斯计算模型为：
Figure FDA0002660065980000023
其中，C'i为更新后第i类别的中心矩阵；V'i为更新后第i类别的方差。
8.一种基于离线高斯模型的目标检测分割系统，其特征在于，所述系统包括：Mask R-CNN模型训练模块、参数更新模块和测试图像目标检测分割模块；
Mask R-CNN模型训练模块，用于利用训练集训练Mask R-CNN模型，合并各个训练图像中的候选区域框和真实物体框作为更新候选区域框，所述更新候选区域框包含所述真实物体框的坐标和所含物体的类别；
参数更新模块，用于对各个所述训练图像的所述更新候选区域框进行特征提取，采用离线计算的方式，利用提取的特征以及所述所含物体的类别对中心矩阵、方差和样本数量进行更新；
测试图像目标检测分割模块，用于对测试图像的所述候选区域框进行特征提取，基于高斯计算模型计算所述候选区域框在第i类别上的概率值，将计算得到的概率值与Softmax分类器的输出结果的平均值作为目标检测分割结果进行输出。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于离线高斯模型的目标检测分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于离线高斯模型的目标检测分割方法的步骤。
CN202010901955.XA 2020-09-01 2020-09-01 一种基于离线高斯模型的目标检测分割方法及系统 Active CN111985488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010901955.XA CN111985488B (zh) 2020-09-01 2020-09-01 一种基于离线高斯模型的目标检测分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010901955.XA CN111985488B (zh) 2020-09-01 2020-09-01 一种基于离线高斯模型的目标检测分割方法及系统

Publications (2)

Publication Number Publication Date
CN111985488A CN111985488A (zh) 2020-11-24
CN111985488B true CN111985488B (zh) 2022-06-10

Family

ID=73446912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010901955.XA Active CN111985488B (zh) 2020-09-01 2020-09-01 一种基于离线高斯模型的目标检测分割方法及系统

Country Status (1)

Country Link
CN (1) CN111985488B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112637593B (zh) * 2020-12-18 2022-08-02 郑州师范学院 基于人工智能和视频分析的视频编码优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法

Also Published As

Publication number Publication date
CN111985488A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN108875624B (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN111291637A (zh) 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN107506792B (zh) 一种半监督的显著对象检测方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN111985488B (zh) 一种基于离线高斯模型的目标检测分割方法及系统
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN112733858B (zh) 基于字符区域检测的图像文字快速识别方法及装置
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113642479A (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN114359739B (zh) 目标识别方法及装置
CN110570450A (zh) 一种基于级联的上下文感知框架的目标跟踪方法
CN115512207A (zh) 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
CN113033427A (zh) 一种基于dl的车底异物自动识别方法
CN112183336A (zh) 表情识别模型训练方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant