CN108985385A - 基于生成对抗学习的快速弱监督目标检测方法 - Google Patents
基于生成对抗学习的快速弱监督目标检测方法 Download PDFInfo
- Publication number
- CN108985385A CN108985385A CN201810878970.XA CN201810878970A CN108985385A CN 108985385 A CN108985385 A CN 108985385A CN 201810878970 A CN201810878970 A CN 201810878970A CN 108985385 A CN108985385 A CN 108985385A
- Authority
- CN
- China
- Prior art keywords
- gradient descent
- training
- generator
- descent algorithm
- stochastic gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 14
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
基于生成对抗学习的快速弱监督目标检测方法，属于计算机视觉技术领域。1)使用随机梯度下降算法训练代理器直到收敛；2)使用随机梯度下降算法训练生成器3)使用随机梯度下降算法训练判别器4)使用随机梯度下降算法训练代理器结合生成器的反馈候选区域和原来的候选区域作为输入的候选区域，并且迭代一个数据回合；5)重复步骤2)～4)直到收敛；6)输入图像到生成器
Description
技术领域
本发明属于计算机视觉技术领域，尤其是涉及基于生成对抗学习的快速弱监督目标检测方法。
背景技术
对于目标类别检测，相关研究工作一直是计算机视觉的研究热点。当前弱监督目标检测仍存在着挑战，总体来说，挑战性主要体现在以下两个方面：鲁棒性和计算复杂性。
目标检测的鲁棒性主要由类内表观差异和类间表观差异影响，大的类内表观差异和小的类间表观差异通常会导致目标检测方法的鲁棒性降低。类内表观差异是指同类不同个体间的变化，例如，马的不同个体在颜色、纹理、形状、姿态等方面存在差异。由于光照、背景、姿态、视点的变化和遮挡的影响，即使同一匹马在不同的图像中看起来也会非常不同，使得构建具备泛化能力的表观模型极为困难。
目标检测的计算复杂性主要源自待检测目标类别的数量、类别表观描述子的维度、大量有标签数据的获取。真实世界中物体类别数量成百上千并且表观描述子是高维度的，大量充足的有标签数据的获取极为耗时耗力，因此目标检测的计算机复杂性较高，设计高效的目标检测算法至关重要。当前部分工作提出了新的特征匹配方法和定位策略。另一类计算复杂性研究方向关注如何减少目标检测时的搜索空间，这类方法统称为选择性搜索策略(Selective Search)或对象性估计(Objectess Estimation)。它们的核心思想是一张图像中并不是每个子窗口都包含有类别无关的对象，仅有少量候选窗口是目标检测时有意义的候选窗口。
除此之外，人工标注大量目标类别检测数据是极为耗时耗力的工作，通常训练目标检测需要大量人工标注的精细监督信息：目标类别标签和目标位置标签。目标类别标签通常用只包含0和1的向量来表示，1代表图中存在对应的目标，0表示图中不存在对应的目标。而目标位置标签通常用方形包围盒的形式来表示。通常只需要四个坐标就可以确定一个包围盒。这种精细的目标位置标签通常需要付出大量的人力物力来获取。在人工标注包围盒的过程会还会引入标注偏差进而影响训练结果。事实上，只带有目标类别标签的数据是比较容易获得或者标注的，比如用户在网络上传图像，通常会对图像添加标题或者描述。可以从互联网获得大量的弱监督标签信息的数据。因此，一个自然的想法就是只使用只有目标类别标签的数据来训练目标检测器。
现有的弱监督目标检测方法还存在效率低下的问题。目前最快的弱监督目标检测方法的速度也只能每秒检测两帧左右，然而很多快速的强监督目标检测器可以达到上百帧的速度。一方面是因为目前的弱监督目标检测器大多是基于候选区域的检测器，提取候选区域需要耗费一定的时间，使得弱监督目标检测器无法达到实时速度。另外一方面是因为大多弱监督目标检测器需要扩展测试样本(通常扩展10倍，5种尺度以及翻转)来提高精度，然而这大大减低了检测速度。
发明内容
本发明的目的在于提供基于生成对抗学习的快速弱监督目标检测方法。
本发明包括模型训练和模型推理两部分；
所述模型训练包括以下步骤：
1)使用随机梯度下降算法训练代理器直到收敛；
2)使用随机梯度下降算法训练生成器
3)使用随机梯度下降算法训练判别器
4)使用随机梯度下降算法训练代理器结合生成器的反馈候选区域和原来的候选区域作为输入的候选区域，并且迭代一个数据回合；
5)重复步骤2)～4)直到收敛。
所述模型推理的具体步骤为：输入图像到生成器中，获得目标检测结果。
在步骤2)中，所述使用随机梯度下降算法训练生成器的具体方法可为：迭代100次：
在步骤3)中，所述使用随机梯度下降算法训练判别器的具体方法可为：迭代1000次：
本发明是一种新颖的基于生成对抗学习的快速弱监督目标检测方法。众所周知，目前的弱监督目标检测算法的效率非常低下。已知的弱监督目标检测方法的速度最快在每秒两帧左右。本发明加速弱监督目标检测速度，至少提升了55倍，和快速强监督目标检测的速度差不多，并且准确率还有所提升。本发明使用生成对抗学习同时训练三个模型：判别器、生成器和代理器。生成器是快速强监督目标检测器，代理器是弱监督目标检测器，而判别器是用来判断检测结果是来自生成器还是代理器的。生成器模拟代理器的检测结果，以此来迷惑判别器。代理器用来挖掘弱监督数据集里的物体。训练的终止条件是三个模型都无法再改进。此时判别器无法分别测试结果是来自生成器还是代理器。在模型测试时候，只需要使用生成器就可以，代理器和判别器无需使用。生成器的检测速度不仅非常快，而且准确率还比代理器好。
本发明利用强监督目标检测算法作为生成器，不仅大大提高了检测速度，还保证了检测准确率；本发明提出一种结构相似性损失和对抗损失来联合训练生成器。综上，本发明在已有的弱监督模型上，引入快速的强监督模型，同时使用生成对抗学习方法来同时学习两种模型。最终的效果是：本发明的弱监督目标检测器和快速强监督模型的检测速度一样快，比原来的弱监督目标检测器更加准确。大量的实验结果表明，本发明的方法取得优异的弱监督目标检测和定位性能。
附图说明
图1为本发明和其他方法的流程比较。
图2为本发明的结构框架。
图3为本发明中代理器的网络结构。
具体实施方式
以下结合附图及具体的实施例对本发明进行详细说明。
首先定义本发明主要使用的符号。这里用表示生成器，表示判别器，表示代理器。用x表示一张RGB格式的输入图像。
如图1所示，本发明使用VGGNet(Simonyan,Karen,and Andrew Zisserman."Verydeep convolutional networks for large-scale image recognition."ArXiv.2014.)等网络作为的基本模型后端结构。通常情况下模型后端的深度越深，模型的表达能力也越强。
如图2所示，生成器使用了SSD模型(Liu,Wei,et al."Ssd:Single shotmultibox detector."European conference on computer vision.Springer,Cham,2016.)。SSD是基于一个前向传播CNN网络，产生一系列固定大小包围盒，以及每一个包围盒中包含物体实例的可能性，即得分。之后，进行一个非极大值抑制得到最终的预测结果。SSD模型的最开始部分称作基础网络，是用于图像分类的标准架构。在基础网络之后添加了额外辅助的网络结构：
首先添加了额外的卷积层，这些卷积层的大小是逐层递减的，可以在多尺度下进行预测。每一个添加的特征层(或者在基础网络结构中的特征层)，可以使用一系列卷积核，去产生一系列固定大小的预测。预测的输出有两部分，一部分是归属类别的一个得分，另外一部分是相对于默认包围盒坐标的形状位移。每一个默认包围盒相对于与其对应的特征图网格的位置是固定的。在每一个特征图网格中，要预测得到的包围盒与默认包围盒之间的位移，以及每一个包围盒中包含物体的得分。
如图2所示，判别器是一个深度卷积神经网络。它的输入是图像以及对应的包围盒。使用VGG16提取图像的特征图，把特征图、归一化后的包围盒坐标和得分输入两个全连接层，然后输出一个值，再经过sigmoid层来预测输入的包围盒是否是高质量的。
如图2所示，代理器是弱监督目标检测器。是一个三分支深度模型。首先候选区域的特征被分为两个分支：分类分支和检测分支。假设有C个目标类别和R个候选区域{p1...pR}，其中，p1表示一个候选区域。两个分支分别输出两个得分矩阵然后两个得分矩阵分别用不同方向的softmax函数归一化：
其中，分别表示xc和xd中的第i行、第j列元素，[σ()]ij表示对矩阵的第i行、第j列元素进行softmax操作。这两个分支的输出进行点对点的乘法：
xs＝σ(xc)·σ(xd) (3)
然后进行累加池化获得图像级的类别得分：
其中，表示xs中第r行、第k列元素。使用反向传播算法获得每个类别k的反应图Mk。通过反应图Mk可以粗略估计物体的位置和形状。然后计算每个候选区域的密度：
其中，表示Mk中第i行、第j列元素，γ＝0.1，maxMk表示Mk中的最大值。同样计算获得候选区域的上下文区域的密度计算每个候选区域的响应值：
最后得到加权后的候选区域得分：
xg＝σ(xc)·σ(xd)·xr (7)
其中，xr表示候选区域的响应值矩阵。图3显示了代理器的具体网络结构。
模型训练的损失函数定义为：
其中，λ控制两个损失函数的比例。对抗损失为：
其中，x表示图像，b表示包围盒(bounding boxes)，pdata(x，b)表示图像和对应包围盒的分布，pdata(x)表示图像的分布，表示判别器对输入(x，b)的预测，表示生成器对输入x的预测，表示判别器对输入的预测。由于弱监督目标检测中没有正确的b，因此b定义为：
其中，p为候选区域，表示对输入(x，p)的预测结果。训练中分别优化判别器和生成器
其中，pdata(x，p)表示图像和对应候选区域的分布。
结构相似性损失定义为：
其中，α控制置信度损失和定位损失的权重，是中置信度部分，是中的坐标预测部分，是中置信度部分，是中坐标预测部分。
置信度损失函数为：
其中，T和S分别指代两个置信度矩阵，W＝{1，0}是指示矩阵，表示第k个类别中，生成器的第i个包围盒是否和代理器的第j个包围盒匹配，Tik表示第i个包围盒的第k个类别的预测置信度，Ti0表示第i个包围盒的背景类别的预测置信度，Sik表示第i个包围盒的第k个类别的预测置信度，Si0表示第i个包围盒的背景类别的预测置信度。首先把生成器中的每一个包围盒匹配代理器中最大重叠的包围盒。若代理器中得分最高的包围盒的类别是背景，那么匹配的生成器的包围盒被认为是负样本，反之亦然。
定位损失函数为：
其中，U、V和Z分别指代四个坐标矩阵，表示第i个包围盒的四个坐标，表示第i个包围盒的四个坐标，表示第i个包围盒的四个坐标。最后的损失函数为：
本发明是一种新颖的基于生成对抗学习的快速弱监督目标检测方法。众所周知，目前的弱监督目标检测算法的效率非常低下。已知的弱监督目标检测方法的速度最快在每秒两帧左右。本发明加速弱监督目标检测速度，至少提升了55倍，和快速强监督目标检测的速度差不多，并且准确率还有所提升。本发明使用生成对抗学习同时训练三个模型：判别器、生成器和代理器。生成器是快速强监督目标检测器，代理器是弱监督目标检测器，而判别器是用来判断检测结果是来自生成器还是代理器的。生成器模拟代理器的检测结果，以此来迷惑判别器。代理器用来挖掘弱监督数据集里的物体。训练的终止条件是三个模型都无法再改进。此时判别器无法分别测试结果是来自生成器还是代理器。在模型测试时候，只需要使用生成器就可以，代理器和判别器无需使用。生成器的检测速度不仅非常快，而且准确率还比代理器好。
Claims (3)
1.基于生成对抗学习的快速弱监督目标检测方法，其特征在于包括模型训练和模型推理两部分；
所述模型训练包括以下步骤：
1)使用随机梯度下降算法训练代理器直到收敛；
2)使用随机梯度下降算法训练生成器
3)使用随机梯度下降算法训练判别器
4)使用随机梯度下降算法训练代理器结合生成器的反馈候选区域和原来的候选区域作为输入的候选区域，并且迭代一个数据回合；
5)重复步骤2)～4)直到收敛；
所述模型推理的具体步骤为：输入图像到生成器中，获得目标检测结果。
2.如权利要求1所述基于生成对抗学习的快速弱监督目标检测方法，其特征在于在步骤2)中，所述使用随机梯度下降算法训练生成器的具体方法为：迭代100次：
3.如权利要求1所述基于生成对抗学习的快速弱监督目标检测方法，其特征在于在步骤3)中，所述使用随机梯度下降算法训练判别器的具体方法为：迭代1000次：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810878970.XA CN108985385A (zh) | 2018-08-03 | 2018-08-03 | 基于生成对抗学习的快速弱监督目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810878970.XA CN108985385A (zh) | 2018-08-03 | 2018-08-03 | 基于生成对抗学习的快速弱监督目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108985385A true CN108985385A (zh) | 2018-12-11 |
Family
ID=64554677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810878970.XA Pending CN108985385A (zh) | 2018-08-03 | 2018-08-03 | 基于生成对抗学习的快速弱监督目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108985385A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111523586A (zh) * | 2020-04-16 | 2020-08-11 | 厦门大学 | 一种基于噪声可知的全网络监督目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| US20180174052A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Using generative adversarial networks in compression |
-
2018
- 2018-08-03 CN CN201810878970.XA patent/CN108985385A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180174052A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Using generative adversarial networks in compression |
| CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| Y. SHEN 等: "Generative Adversarial Learning Towards Fast Weakly Supervised Detection", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111523586A (zh) * | 2020-04-16 | 2020-08-11 | 厦门大学 | 一种基于噪声可知的全网络监督目标检测方法 |
| CN111523586B (zh) * | 2020-04-16 | 2022-09-06 | 厦门大学 | 一种基于噪声可知的全网络监督目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ramanishka et al. | Top-down visual saliency guided by captions | |
| Shi et al. | Represent, compare, and learn: A similarity-aware framework for class-agnostic counting | |
| CN109241829B (zh) | 基于时空注意卷积神经网络的行为识别方法及装置 | |
| Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
| Islam et al. | InceptB: a CNN based classification approach for recognizing traditional bengali games | |
| CN109165540A (zh) | 一种基于先验候选框选择策略的行人搜索方法和装置 | |
| CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN110610210B (zh) | 一种多目标检测方法 | |
| CN108985133B (zh) | 一种人脸图像的年龄预测方法及装置 | |
| CN112732921A (zh) | 一种虚假用户评论检测方法及系统 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| CN108985385A (zh) | 基于生成对抗学习的快速弱监督目标检测方法 | |
| Yu et al. | Exemplar-based recursive instance segmentation with application to plant image analysis | |
| CN115690549A (zh) | 一种基于并联交互架构模型实现多维度特征融合的目标检测方法 | |
| Liu et al. | Component detection for power line inspection using a graph-based relation guiding network | |
| CN110334775A (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
| Zhang et al. | A Learnable Discrete-Prior Fusion Autoencoder with Contrastive Learning for Tabular Data Synthesis | |
| CN117671800A (zh) | 面向遮挡的人体姿态估计方法、装置及电子设备 | |
| CN116935411A (zh) | 一种基于字符分解和重构的部首级古文字识别方法 | |
| Jang et al. | Color channel-wise recurrent learning for facial expression recognition | |
| Liu et al. | Tiny electronic component detection based on deep learning | |
| Hajihashemi et al. | Human activity recognition in videos based on a Two Levels K-means and Hierarchical Codebooks | |
| Liang et al. | SCDFMixer: Spatial-Channel Dual-Frequency Mixer Based on Satellite Optical Sensors for Remote Sensing Multi-Object Detection | |
| Li et al. | YOLOv3 target detection algorithm based on channel attention mechanism | |
| CN116051917B (zh) | 一种训练图像量化模型的方法、检索图像的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |
|
| RJ01 | Rejection of invention patent application after publication |