CN111524094A - 一种用尺度直方图匹配方法获取目标检测模型的方法 - Google Patents

一种用尺度直方图匹配方法获取目标检测模型的方法 Download PDF

Info

Publication number
CN111524094A
CN111524094A CN202010215777.5A CN202010215777A CN111524094A CN 111524094 A CN111524094 A CN 111524094A CN 202010215777 A CN202010215777 A CN 202010215777A CN 111524094 A CN111524094 A CN 111524094A
Authority
CN
China
Prior art keywords
scale
data set
target
training
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010215777.5A
Other languages
English (en)
Inventor
王小华
杨爱军
郭越
祝金国
王璐缙
岳凡丁
袁欢
荣命哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010215777.5A priority Critical patent/CN111524094A/zh
Publication of CN111524094A publication Critical patent/CN111524094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种用尺度直方图匹配方法获取目标检测模型的方法，所述方法包括如下步骤：S100：将用于预训练的公开数据集中的尺度分布匹配为目标数据集中的尺度分布；S200：然后用尺度匹配后的公开数据集进行预训练得到初步的目标检测模型；S300：使用所述初步的目标检测模型在目标训练集上训练得到最终的目标检测模型。该方法可有效解决目标检测特别是工业领域相关任务缺乏足够样本数据集而使用公开数据集进行预训练时对模型性能提升有限的问题。

Description

一种用尺度直方图匹配方法获取目标检测模型的方法
技术领域
本公开属于计算机视觉，图像处理和深度学习，特别涉及一种用于预训练数据集的尺度直方图匹配方法。
背景技术
近年来，深度学习在计算机视觉领域取得了重大进展，而卷积神经网络具有稀疏交互、参数共享等特点，在图像检测领域显现出巨大的优势。卷积神经网络的出色表现还取决于与任务相关的数据集的质量和规模，不论采用何种检测框架，用于训练的数据越多，检测器的性能表现往往越好。但是，为特定任务特别是工业领域的任务收集数据的成本非常高，包括数据获取，数据的清洗，数据的标注等一系列环节，需要耗费大量人力物力，因此，如何通过其他任务获得类似的学习能力从而减少对数据集数目的依赖是目前研究的热点。
迁移学习能在一定程度上缓解小样本数据集带来的问题。基于迁移学习，视觉任务可以不从头开始学习的过程，而是通常在像ImageNet这样的大型基准数据集上对模型进行预训练，从而使得模型学习到任务之间共有的视觉底层模式。预训练之后模型再在具体任务的数据集上进行微调。通常来讲，预训练模型可以为训练提供良好的起点，从而使得网络训练能够更快的收敛，即使仅使用少量标记样本也可完成检测任务，并获得更好的最终结果。但是，数据集之间能够进行迁移学习一个基本的前提假设是两个数据集的样本分布足够接近，因此该模型可以在预训练阶段捕获一些通用模式。而当任务指定数据集的样本分布与用于预训练的其他数据集的样本分布差异较大时，预训练所带来的提升性能将大大降低。使用可公开获得的大型数据集来帮助训练具有不同样本分布的特定任务数据集是一个尚未完全解决的难题。
发明内容
为了解决上述问题，本公开提供了一种用尺度直方图匹配方法获取目标检测模型的方法，所述方法包括如下步骤：
S100：将用于预训练的公开数据集中的尺度分布匹配为目标数据集中的尺度分布；
S200：然后用尺度匹配后的公开数据集进行预训练得到初步的目标检测模型；
S300：使用所述初步的目标检测模型在目标训练集上训练得到最终的目标检测模型。
上述技术方案，可有效解决目标检测特别是工业领域相关任务缺乏足够样本数据集而使用公开数据集进行预训练时对模型性能提升有限的问题。
与现有技术相比，本发明具有的有益效果：本公开提出的尺度直方图匹配技术简单而有效，能够有效调整网络预训练使用的公开数据集与特定任务目标数据集之间的样本分布差异，提高网络检测尺度变化剧烈的目标物体的能力，甚至在有限的训练样本的情况下也可以大幅提高检测器的性能。
附图说明
图1是本公开一个实施例中所提供的一种用于预训练数据集的尺度直方图匹配方法的流程图；
图2是本公开一个实施例中尺度直方图匹配算法流程图。
具体实施方式
在一个实施例中，如图1所示，其公开一种用尺度直方图匹配方法获取目标检测模型的方法，所述方法包括如下步骤：
S100：将用于预训练的公开数据集中的尺度分布匹配为目标数据集中的尺度分布；
S200：然后用尺度匹配后的公开数据集进行预训练得到初步的目标检测模型；
S300：使用所述初步的目标检测模型在目标训练集上训练得到最终的目标检测模型。
就该实施例而言，随着卷积神经网络的出现和发展，视觉检测任务的相关研究取得了空前的进展，然而如何从样本数量有限的数据集中训练出满足实际要求的检测模型仍是当前研究发展过程中存在的问题。在实验中发现，用于预训练使用的公开数据集和检测任务的目标数据集之间的尺度分布存在差异会弱化深度学习模型的特征表示能力并且会降低检测器性能。本方法通过调整用于预训练的公开数据集中尺度分布来提升最终模型的检测性能，为有限样本的目标检测任务提供了一种新的研究思路。简而言之，该尺度直方图匹配技术能够将两个数据集之间的目标尺度分布对齐，从而有利于对目标检测特征提取器对目标物体的特征表示。进行预训练有助于后续训练，加快收敛速度，防止出现梯度消失或梯度爆炸的问题。这里的目标训练集是指为特定检测任务建立的数据集。
在另一个实施例中，步骤S100进一步包括：
采用尺度转换函数T使预训练的公开数据集I中的样本尺度的概率分布与目标数据集ε中的对象尺度的概率分布相一致：
Pscale(s；T(I))≈Pscale(s；ε)
其中，任一数据集X的尺度s的概率密度函数表示为Pscale(s；X)。
就该实施例而言，分布相一致，但是在实际处理时是单张图片进行尺度匹配，故整个数据集的尺度分布并不能做到完全相等。
在另一个实施例中，如图2所示，步骤S100进一步包括：
S101：建立目标数据集，并为所述目标数据集图片进行标注；
S102：构建目标数据集和公开数据集中物体的尺度分布直方图以及对应的概率密度函数；
S103：将尺度匹配后的预训练的公开数据集
Figure BDA0002423165600000042
置为空集，即I←φ；
S104：从预训练的公开数据集I中取出一张图片Ii，并计算图片中所有标注框Gij的平均尺度si；其中Ii为预训练的公开数据集I的第i张图片，i代表数据集中的第i张图片，j代表图片中的第j个物体；
S105：计算取出图片的目标匹配尺度
Figure BDA0002423165600000041
其中，F1()和F2()分别是目标数据集和公开数据集的图像尺度的分布函数F1 -1()为目标数据集的分布函数求反函数；
S106：对预训练的公开数据集中的取出图片进行尺度匹配，即
Figure BDA0002423165600000051
其中，resize()是指将公开数据集中的图片Ii，按照比例因子
Figure BDA0002423165600000052
进行放缩，
Figure BDA0002423165600000053
为完成尺度匹配后的Ii；
S107：将尺度匹配后得到的
Figure BDA0002423165600000054
加入
Figure BDA0002423165600000055
即
Figure BDA0002423165600000056
S108：重复S104至S107直到预训练的公开数据集I中所有图片匹配完成。
就该实施例而言，可以通过简单积分的方式得到数据集尺度的分布函数，将其表示为由多个线性函数组成的连续分段函数。由于一幅图像中可能有多个具有不同尺度的对象，调整一幅图像中每个目标的尺度会破坏图像结构，因此使用平均尺度调整参数
Figure BDA0002423165600000057
作为第i个图像的调整参数。
其中，假设数据集中有n张图片，n为正整数，则i的取值范围是1到n。用f1(ε)、f2(I)代表目标数据集ε和预训练用数据集I的尺度直方图，F1(ε)、F2(I)分别是目标数据集和公开数据集的图像尺度的分布函数，使用概率密度函数积分得到，即先确定好两个数据集的分布函数，令分布函数相等，倒推即可得到
Figure BDA0002423165600000058
尺度匹配后的预训练的公开数据集
Figure BDA00024231656000000510
用于存放尺度匹配后的图片；Gij为第i张图片中的第j个标注框，或者为第j个物体，因为标注的就是被检测的物体，故标注框尺度及被认为是物体尺度；为了使公开数据集的图片尺度与目标数据集中的图片尺度相一致，令两个数据集的分布函数相等，即F1(ε)＝F2(I)，由于是对单张图片逐一采取尺度匹配操作，故计算该取出图片的目标匹配尺度为
Figure BDA0002423165600000059
其中F1 -1()为F1()的反函数。
在另一个实施例中，步骤S102进一步包括：
以标注框的绝对大小为横坐标，以概率密度为纵坐标，构建目标数据集中物体的尺度分布直方图以及对应的概率密度函数Pscale(s；X)。
在另一个实施例中，步骤S104中的平均尺度通过如下公式计算得到：
si←mean(S(Gij))；其中Gij代表Ii中的第j个标注框，S(G)代表标注框G的尺度大小。
在另一个实施例中，步骤S101-S108的实现前提是假设检测目标尺度在数据集尺度直方图上的任意尺度范围R[k]上均匀分布。
就该实施例而言，在尺度分布直方图中，k表示第k个直方图条，R[k]表示直方图中第k条的尺度范围。
在另一个实施例中，本公开提出尺度直方图匹配技术主要是为了缓解用于预处理的数据集和任务指定数据集的尺度分布差异所带来的问题，为了检验效果，我们将其应用于输电线路异物检测任务。首先建立输电线路环境数据集，共8000张输电线路监控图像，包含塔吊、吊车、施工机械、导线异物和烟火共5种常见的输电线路环境隐患，将其划分为6000张训练集，2000张测试集。对于输入图像，我们将其大小调整为640×640。在训练阶段，我们使用随机水平翻转作为唯一的数据扩充方法。所有的网络都经过了60个批次的训练。使用随机梯度下降算法(SGD)更新网络权重系数。初始学习率设为0.02，动量系数设为0.9，同时权重衰减系数设为0.0005，所有网络的批处理大小设置为32。
分别在Fater RCNN和YOLO v3算法上使用MS COCO、ImageNet作为预训练数据集，用输电线路数据集作为目标数据集，用平均精度均值mAP(mean average precision)来衡量模型性能，结果如表1所示。
Figure BDA0002423165600000071
表1
表1数据表明在MS COCO上的预训练通常比在ImageNet数据集上的预训练获得更好的检测性能。然而，从其他数据集的迁移学习所得到的改进是有限的，因为MS COCO的对象尺度不同于输电线路数据集中输电线路周围的外来物体。在MS COCO上变换尺度直方图匹配可以进一步提高检测性能，验证了不同数据集尺度匹配策略的有效性。其中，FaterRCNN作为基于卷积神经网络的two-stage目标检测算法的代表之一，在mAP方面可以得到1.7％的改进。YOLO v3作为one-stage目标检测算法的代表，可以得到2.4％的提升。我们发现，通过尺度直方图匹配，one-stage目标检测算法比two-stage目标检测算法能够获得更高的精度。这可能是由于two-stage目标检测算法中的ROI池化操作在一定程度上可以缓解目标尺度变化对检测性能的影响。总之，本方法能够缓解用于预处理的数据集和任务指定数据集的尺度分布差异所带来的问题，有效提升检测效果，具有很强的通用性。
综上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开的各实施例技术方案的范围。

Claims (6)

1.一种用尺度直方图匹配方法获取目标检测模型的方法，所述方法包括如下步骤：
S100：将用于预训练的公开数据集中的尺度分布匹配为目标数据集中的尺度分布；
S200：然后用尺度匹配后的公开数据集进行预训练得到初步的目标检测模型；
S300：使用所述初步的目标检测模型在目标训练集上训练得到最终的目标检测模型。
2.根据权利要求1所述的方法，步骤S100进一步包括：
采用尺度转换函数T使预训练的公开数据集I中的样本尺度的概率分布与目标数据集ε中的对象尺度的概率分布相一致：
Pscale(s；T(I))≈Pscale(s；ε)
其中，优选的，任一数据集X的尺度s的概率密度函数表示为Pscale(s；X)。
3.根据权利要求1所述的方法，步骤S100进一步包括：
S101：建立目标数据集，并为所述目标数据集图片进行标注；
S102：构建目标数据集和公开数据集中物体的尺度分布直方图以及对应的概率密度函数；
S103：将尺度匹配后的预训练的公开数据集
Figure FDA0002423165590000011
置为空集，即
Figure FDA0002423165590000012
S104：从预训练的公开数据集I中取出一张图片Ii，并计算图片中所有标注框Gij的平均尺度si；i代表数据集中的第i张图片，j代表图片中的第j个物体；
S105：计算取出图片的目标匹配尺度
Figure FDA0002423165590000021
其中，F1()和F2()分别是目标数据集和公开数据集的图像尺度的分布函数，F1 -1()为目标数据集的分布函数求反函数；
S106：对预训练的公开数据集中的取出图片进行尺度匹配，即
Figure FDA0002423165590000022
其中，resize()是指将公开数据集中的图片Ii，按照比例因子
Figure FDA0002423165590000023
进行放缩；
S107：将尺度匹配后得到的
Figure FDA0002423165590000024
加入
Figure FDA0002423165590000025
即
Figure FDA0002423165590000026
S108：重复S104至S107直到预训练的公开数据集I中所有图片匹配完成。
4.根据权利要求3所述的方法，步骤S102进一步包括：
以标注框的绝对大小为横坐标，以概率密度为纵坐标，构建目标数据集中物体的尺度分布直方图以及对应的概率密度函数Pscale(s；X)。
5.根据权利要求3所述的方法，步骤S104中的平均尺度通过如下公式计算得到：
si←mean(S(Gij))；其中Gij代表Ii中的第j个标注框，S(G)代表标注框G的尺度大小。
6.根据权利要求3所述的方法，步骤S101-S108的实现前提是假设检测目标尺度在数据集尺度直方图上的任意尺度范围上均匀分布。
CN202010215777.5A 2020-03-24 2020-03-24 一种用尺度直方图匹配方法获取目标检测模型的方法 Pending CN111524094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215777.5A CN111524094A (zh) 2020-03-24 2020-03-24 一种用尺度直方图匹配方法获取目标检测模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215777.5A CN111524094A (zh) 2020-03-24 2020-03-24 一种用尺度直方图匹配方法获取目标检测模型的方法

Publications (1)

Publication Number Publication Date
CN111524094A true CN111524094A (zh) 2020-08-11

Family

ID=71901277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215777.5A Pending CN111524094A (zh) 2020-03-24 2020-03-24 一种用尺度直方图匹配方法获取目标检测模型的方法

Country Status (1)

Country Link
CN (1) CN111524094A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766806A (zh) * 2017-09-30 2018-03-06 北京飞搜科技有限公司 一种基于尺度变换的人脸检测方法及系统
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法
US20180365843A1 (en) * 2015-07-01 2018-12-20 China University Of Mining And Technology Method and system for tracking moving objects based on optical flow method
CN110728214A (zh) * 2019-09-26 2020-01-24 中国科学院大学 一种基于尺度匹配的弱小人物目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180365843A1 (en) * 2015-07-01 2018-12-20 China University Of Mining And Technology Method and system for tracking moving objects based on optical flow method
CN107766806A (zh) * 2017-09-30 2018-03-06 北京飞搜科技有限公司 一种基于尺度变换的人脸检测方法及系统
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法
CN110728214A (zh) * 2019-09-26 2020-01-24 中国科学院大学 一种基于尺度匹配的弱小人物目标检测方法

Similar Documents

Publication Publication Date Title
CN106250939B (zh) 基于fpga+arm多层卷积神经网络的手写体字符识别方法
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN109034119A (zh) 一种基于优化的全卷积神经网络的人脸检测方法
CN109685743A (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
WO2023050738A1 (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
CN109409210B (zh) 一种基于ssd框架的人脸检测方法及系统
CN109949209A (zh) 一种基于深度学习的绳索检测与去除方法
CN108537747A (zh) 一种基于带对称跨层连接的卷积神经网络的图像修复方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN107784296A (zh) 一种低分辨率图像的人脸识别方法
CN116052218B (zh) 一种行人重识别方法
CN115035371B (zh) 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN111292308A (zh) 基于卷积神经网络的光伏太阳能板红外缺陷检测方法
CN113095127A (zh) 一种基于卫星图像的建筑震后定位与破坏状态评估方法
CN109858530B (zh) 一种基于复合金字塔的旋转目标检测方法
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN117252817A (zh) 一种透明导电薄膜玻璃表面缺陷检测方法及系统
CN117315477A (zh) 一种基于深度学习的古建筑识别方法
CN112837281A (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN111524094A (zh) 一种用尺度直方图匹配方法获取目标检测模型的方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN116385950A (zh) 一种小样本条件下电力线路隐患目标检测方法
CN116342563A (zh) 电池串检测方法及系统
CN111222529A (zh) 一种基于GoogLeNet-SVM的污水曝气池泡沫识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Xiaohua

Inventor after: Yang Aijun

Inventor after: Guo Yue

Inventor after: Zhu Jinguo

Inventor after: Wang Lujin

Inventor after: Yue Fanding

Inventor after: Yuan Huan

Inventor after: Rong Mingzhe

Inventor before: Wang Xiaohua

Inventor before: Yang Aijun

Inventor before: Guo Yue

Inventor before: Zhu Jinguo

Inventor before: Wang Lujin

Inventor before: Yue Fanding

Inventor before: Yuan Huan

Inventor before: Rong Mingzhe

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200811