CN107451619A - 一种基于感知生成对抗网络的小目标检测方法 - Google Patents

一种基于感知生成对抗网络的小目标检测方法 Download PDF

Info

Publication number
CN107451619A
CN107451619A CN201710686291.8A CN201710686291A CN107451619A CN 107451619 A CN107451619 A CN 107451619A CN 201710686291 A CN201710686291 A CN 201710686291A CN 107451619 A CN107451619 A CN 107451619A
Authority
CN
China
Prior art keywords
msub
mrow
network
resolution
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710686291.8A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710686291.8A priority Critical patent/CN107451619A/zh
Publication of CN107451619A publication Critical patent/CN107451619A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于感知生成对抗网络的小目标检测方法，其主要内容包括：生成对抗网络、条件生成网络架构和鉴别网络架构，其过程为由发生器网络和感知鉴别网络两个子网络组成，发生器网络将一个小目标的表示变换成一个类似于大目标的原始目标的超分辨表示，通过残差学习生成大目标和小目标的之间的残差表示，鉴别网络将生成的超分辨率表示作为输入，将其传递到对抗分支和感知分支两个分支，激励发生器网络生成具有高检测精度的超分辨率表示。本发明提出了基于感知生成对抗网络的小目标检测方法，通过缩小小目标与大目标的表示差异来改善小目标检测，提供了更全面的监督，更加有利于检测，实现了交通标志检测和行人检测的成功应用。

Description

一种基于感知生成对抗网络的小目标检测方法
技术领域
本发明涉及目标检测领域，尤其是涉及了一种基于感知生成对抗网络的小目标检测方法。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对小目标进行实时跟踪研究越来越热门，对小目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。例如，在交通系统中用于交通标志检测、行人检测、车辆检测；在军事领域中用于侦查、制导和报警系统等方面。生成对抗网络近年来越来越火，并且已经成为人工智能的主要课题之一，它是一种生成模型，从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。通过不断地训练测试，可以应用在图像转化以及图像文字转化等领域，甚至还可以应用于目标检测。然而，传统的小目标检测方法无法将低分辨率图像重建为高清图像，而且训练和测试耗时长，不利于投入应用。
本发明提出了一种基于感知生成对抗网络的小目标检测方法，由发生器网络和感知鉴别网络两个子网络组成，发生器网络将一个小目标的表示变换成一个类似于大目标的原始目标的超分辨表示，通过残差学习生成大目标和小目标的之间的残差表示，鉴别网络将生成的超分辨率表示作为输入，将其传递到对抗分支和感知分支两个分支，激励发生器网络生成具有高检测精度的超分辨率表示。本发明提出了基于感知生成对抗网络的小目标检测方法，通过缩小小目标与大目标的表示差异来改善小目标检测，提供了更全面的监督，更加有利于检测，实现了交通标志检测和行人检测的成功应用。
发明内容
针对训练和测试耗时长的问题，本发明的目的在于提供一种基于感知生成对抗网络的小目标检测方法，由发生器网络和感知鉴别网络两个子网络组成，发生器网络将一个小目标的表示变换成一个类似于大目标的原始目标的超分辨表示，通过残差学习生成大目标和小目标的之间的残差表示，鉴别网络将生成的超分辨率表示作为输入，将其传递到对抗分支和感知分支两个分支，激励发生器网络生成具有高检测精度的超分辨率表示。
为解决上述问题，本发明提供一种基于感知生成对抗网络的小目标检测方法，其主要内容包括：
(一)生成对抗网络；
(二)条件生成网络架构；
(三)鉴别网络架构。
其中，所述的感知生成对抗网络，由两个子网络组成，即发生器网络和感知鉴别网络；发生器是一种基于残差的深度特征生成模型，通过引入较低级别的细粒度，将小目标的原始劣势特征转化为高度辨别的特征，从而实现了“超分辨率”；鉴别网络作为监督，能够提供质量的指导和生成的细粒度细节；鉴别网络的训练不仅仅是为了区分生成的小目标的超分辨率表示和来自具有对抗性损失的真实的大目标的原始超分辨率表示，而且还用于证明从产生的具有感知损失的超分辨特征中获得的检测准确性。
其中，所述的生成对抗网络，生成对抗网络的学习目标为：
其中，G表示通过数据x学习将数据z从噪声分布pz(x)映射到分布pdata(x)的发生器，D表示估计来自数据分布pdata(x)的样本概率的鉴别器；
x和z分别是大目标和小目标的表示，即Fl和Fs；学习一个发生器函数G，它将一个小目标Fs的表示变换成一个类似于大目标Fl的原始目标的超分辨表示G(Fs)；由于Fs中包含的信息有限，学习与大目标特征Fl的分布相匹配的小目标的表示G(Fs)很困难；因此，引入一种新的条件发生器模型，该模型基于额外的辅助信息，即小目标f的低级特征，发生器通过残差学习生成大目标和小目标的之间的残差表示；
在这种情况下，可以通过直接学习小目标的超分辨表示来简化发生器的训练过程；例如，如果输入表示来自大目标，则发生器只需要学习零映射。
进一步地，所述的鉴别器，包括两个分支，即用于区分生成的超分辨表示和用于大目标的原始表示的对抗分支，以及用于证明从生成的表示中获得的检测精度的感知分支；以替代的方式优化嵌入在发生器和鉴别网络中的参数，解决对抗网络最小-最大问题；
将表示为参数Θg的生成网络；通过优化损失函数Ldis获得Θg：
其中，Ldis是对抗损失和鉴别网络产生的感知损失的加权组合；训练鉴别网络的对抗分支，通过为小目标生成的超分辨特征和大目标Fl的特征分配标签将概率最大化。
进一步地，所述的鉴别网络的对抗分支，是由Θa参数化的鉴别网络的对抗分支；通过优化特定的损失函数获得Θa：
其中，损失定义La为：
La激励鉴别网络区分当前生成的超小分辨率表示与原始大目标之间的差异。
进一步地，所述的损失函数，将表示为由Θp参数化的鉴别网络的感知分支；通过用大目标的表示优化具体的损失函数来获得Θp：
其中，是分类和边界回归的多任务损失；
根据所有实例的平均大小，分别获得包含小目标和大目标的两个子集；对于整体训练，首先基于包含大目标的子集来学习底层卷积层的参数和鉴别网络的感知分支；在学习感知分支的指导下，进一步训练基于包含小目标的子集的发生器网络和使用两个子集的鉴别网络的对抗分支；执行鉴别网络的发生器和对抗分支的训练过程，直到最终达到平衡点，即可以为具有高检测精度的小目标产生超分辨特征的大目标。
其中，所述的条件生成网络架构，将发生器设计为一个深度残留学习网络，在小目标中通过残余学习引入细粒度的细节，将小目标的特征增加到超分辨率级别。
其中，所述的鉴别网络架构，将生成的超分辨率表示作为输入，鉴别器将其传递到两个分支，即对抗分支和感知分支；对抗分支由两个完全连接的层组成，其后是具有S形激活函数的同源输出层，其产生对抗性损失；感知分支由两个完全连接的层组成，后面是两个同源输出层，它们产生感知损失来证明超分辨表示的检测性能；两个分支的前两个完全连接的层的输出单元数分别为4096和1024；
给定抗性损失和感知损失最终损失函数Ldis可以作为两个单独损失分量的加权和产生；给定加权参数ω1和ω2，定义激励发生器网络生成具有高检测精度的超分辨率表示。
进一步地，所述的对抗性损失，将表示为具有参数Θa的鉴别网络的对抗分支；以每个对象的表示作为输入，该分支输出属于大目标的输入表示的估计概率，表示为引入了对抗性损失，激励发生器网络产生与大目标类似的小目标的超分辨率表示；对抗性损失定义为：
感知损失以每个建议的超分辨率表示为输入，感知分支输出K+1类别的类别级别置信度p＝(p0,…,pk)和对于每个K对象类，边界回归偏移由k索引；rk指定相对于对象提议的缩放不变转换和对数空间高或宽移位；每个训练计划标定的真实等级g和标定的真实边界回归目标r*。
进一步地，所述的检测精度，计算以下多任务损失函数证明从每个对象生成的超分辨特征中获得的检测精度：
其中，Lcls和Lloc分别是分类和边界回归的损失；特别地，Lcls(p,g)＝-logpg是标定的真实类g的log损失Lloc是平滑L1的损失函数。
附图说明
图1是本发明一种基于感知生成对抗网络的小目标检测方法的系统框架图。
图2是本发明一种基于感知生成对抗网络的小目标检测方法的感知生成对抗网络。
图3是本发明一种基于感知生成对抗网络的小目标检测方法的条件生成网络架构。
图4是本发明一种基于感知生成对抗网络的小目标检测方法的鉴别网络架构。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于感知生成对抗网络的小目标检测方法的系统框架图。主要包括生成对抗网络，条件生成网络架构和鉴别网络架构。
生成对抗网络的学习目标为：
其中，G表示通过数据x学习将数据z从噪声分布pz(x)映射到分布pdata(x)的发生器，D表示估计来自数据分布pdata(x)的样本概率的鉴别器；
x和z分别是大目标和小目标的表示，即Fl和Fs；学习一个发生器函数G，它将一个小目标Fs的表示变换成一个类似于大目标Fl的原始目标的超分辨表示G(Fs)；由于Fs中包含的信息有限，学习与大目标特征Fl的分布相匹配的小目标的表示G(Fs)很困难；因此，引入一种新的条件发生器模型，该模型基于额外的辅助信息，即小目标f的低级特征，发生器通过残差学习生成大目标和小目标的之间的残差表示；
在这种情况下，可以通过直接学习小目标的超分辨表示来简化发生器的训练过程；例如，如果输入表示来自大目标，则发生器只需要学习零映射。
鉴别器包括两个分支，即用于区分生成的超分辨表示和用于大目标的原始表示的对抗分支，以及用于证明从生成的表示中获得的检测精度的感知分支；以替代的方式优化嵌入在发生器和鉴别网络中的参数，解决对抗网络最小-最大问题；
将表示为参数Θg的生成网络；通过优化损失函数Ldis获得Θg：
其中，Ldis是对抗损失和鉴别网络产生的感知损失的加权组合；训练鉴别网络的对抗分支，通过为小目标生成的超分辨特征和大目标Fl的特征分配标签将概率最大化。
鉴别网络的对抗分支，是由Θa参数化的鉴别网络的对抗分支；通过优化特定的损失函数获得Θa：
其中，损失定义La为：
La激励鉴别网络区分当前生成的超小分辨率表示与原始大目标之间的差异。
将表示为由Θp参数化的鉴别网络的感知分支；通过用大目标的表示优化具体的损失函数来获得Θp：
其中，是分类和边界回归的多任务损失；
根据所有实例的平均大小，分别获得包含小目标和大目标的两个子集；对于整体训练，首先基于包含大目标的子集来学习底层卷积层的参数和鉴别网络的感知分支；在学习感知分支的指导下，进一步训练基于包含小目标的子集的发生器网络和使用两个子集的鉴别网络的对抗分支；执行鉴别网络的发生器和对抗分支的训练过程，直到最终达到平衡点，即可以为具有高检测精度的小目标产生超分辨特征的大目标。
图2是本发明一种基于感知生成对抗网络的小目标检测方法的感知生成对抗网络。感知生成对抗网络由两个子网络组成，即发生器网络和感知鉴别网络；发生器是一种基于残差的深度特征生成模型，通过引入较低级别的细粒度，将小目标的原始劣势特征转化为高度辨别的特征，从而实现了“超分辨率”；鉴别网络作为监督，能够提供质量的指导和生成的细粒度细节；鉴别网络的训练不仅仅是为了区分生成的小目标的超分辨率表示和来自具有对抗性损失的真实的大目标的原始超分辨率表示，而且还用于证明从产生的具有感知损失的超分辨特征中获得的检测准确性。
图3是本发明一种基于感知生成对抗网络的小目标检测方法的条件生成网络架构。将发生器设计为一个深度残留学习网络，在小目标中通过残余学习引入细粒度的细节，将小目标的特征增加到超分辨率级别。
发生器将底部卷积层的特征作为保留许多低级别细节的输入；首先将生成的结果传入3×3卷积滤波器，接着传入1×1卷积滤波器，将特征维度增加为与“Conv5”相同的维度；接着引入具有相同布局的B个残差块，它由两个3×3卷积滤波器组成，其后是批量标准化层和修正线性单元(ReLU)激活层，用来学习大目标和小目标之间的残差表示作为生成模型；然后，残差表示通过感兴趣区域池加强“Conv5”的特征，从而产生超分辨率的表示。
图4是本发明一种基于感知生成对抗网络的小目标检测方法的鉴别网络架构。将生成的超分辨率表示作为输入，鉴别器将其传递到两个分支，即对抗分支和感知分支；对抗分支由两个完全连接的层组成，其后是具有S形激活函数的同源输出层，其产生对抗性损失；感知分支由两个完全连接的层组成，后面是两个同源输出层，它们产生感知损失来证明超分辨表示的检测性能；两个分支的前两个完全连接的层的输出单元数分别为4096和1024；
给定抗性损失和感知损失最终损失函数Ldis可以作为两个单独损失分量的加权和产生；给定加权参数ω1和ω2，定义激励发生器网络生成具有高检测精度的超分辨率表示。
将表示为具有参数Θa的鉴别网络的对抗分支；以每个对象的表示作为输入，该分支输出属于大目标的输入表示的估计概率，表示为引入了对抗性损失，激励发生器网络产生与大目标类似的小目标的超分辨率表示；对抗性损失定义为：
感知损失以每个建议的超分辨率表示为输入，感知分支输出K+1类别的类别级别置信度p＝(p0,…,pk)和对于每个K对象类，边界回归偏移由k索引；rk指定相对于对象提议的缩放不变转换和对数空间高或宽移位；每个训练计划标定的真实等级g和标定的真实边界回归目标r*。
计算以下多任务损失函数证明从每个对象生成的超分辨特征中获得的检测精度：
其中，Lcls和Lloc分别是分类和边界回归的损失；特别地，Lcls(p,g)＝-logpg是标定的真实类g的log损失Lloc是平滑L1的损失函数。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于感知生成对抗网络的小目标检测方法，其特征在于，主要包括生成对抗网络(一)；条件生成网络架构(二)；鉴别网络架构(三)。
2.基于权利要求书1所述的感知生成对抗网络，其特征在于，由两个子网络组成，即发生器网络和感知鉴别网络；发生器是一种基于残差的深度特征生成模型，通过引入较低级别的细粒度，将小目标的原始劣势特征转化为高度辨别的特征，从而实现了“超分辨率”；鉴别网络作为监督，能够提供质量的指导和生成的细粒度细节；鉴别网络的训练不仅仅是为了区分生成的小目标的超分辨率表示和来自具有对抗性损失的真实的大目标的原始超分辨率表示，而且还用于证明从产生的具有感知损失的超分辨特征中获得的检测准确性。
3.基于权利要求书1所述的生成对抗网络(一)，其特征在于，生成对抗网络的学习目标为：
其中，G表示通过数据x学习将数据z从噪声分布pz(x)映射到分布pdata(x)的发生器，D表示估计来自数据分布pdata(x)的样本概率的鉴别器；
x和z分别是大目标和小目标的表示，即Fl和Fs；学习一个发生器函数G，它将一个小目标Fs的表示变换成一个类似于大目标Fl的原始目标的超分辨表示G(Fs)；由于Fs中包含的信息有限，学习与大目标特征Fl的分布相匹配的小目标的表示G(Fs)很困难；因此，引入一种新的条件发生器模型，该模型基于额外的辅助信息，即小目标f的低级特征，发生器通过残差学习生成大目标和小目标的之间的残差表示；
在这种情况下，可以通过直接学习小目标的超分辨表示来简化发生器的训练过程；例如，如果输入表示来自大目标，则发生器只需要学习零映射。
4.基于权利要求书3所述的鉴别器，其特征在于，包括两个分支，即用于区分生成的超分辨表示和用于大目标的原始表示的对抗分支，以及用于证明从生成的表示中获得的检测精度的感知分支；以替代的方式优化嵌入在发生器和鉴别网络中的参数，解决对抗网络最小-最大问题；
将表示为参数Θg的生成网络；通过优化损失函数Ldis获得Θg：
<mrow> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> </munder> <msub> <mi>L</mi> <mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>G</mi> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> </msub> <mo>(</mo> <msub> <mi>F</mi> <mi>s</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，Ldis是对抗损失和鉴别网络产生的感知损失的加权组合；训练鉴别网络的对抗分支，通过为小目标生成的超分辨特征和大目标Fl的特征分配标签将概率最大化。
5.基于权利要求书4所述的鉴别网络的对抗分支，其特征在于，是由Θa参数化的鉴别网络的对抗分支；通过优化特定的损失函数获得Θa：
<mrow> <msub> <mi>&amp;Theta;</mi> <mi>a</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>&amp;Theta;</mi> <mi>a</mi> </msub> </munder> <msub> <mi>L</mi> <mi>a</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>G</mi> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> </msub> <mo>(</mo> <msub> <mi>F</mi> <mi>s</mi> </msub> <mo>)</mo> <mo>,</mo> <msub> <mi>F</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> 1
其中，损失定义La为：
<mrow> <msub> <mi>L</mi> <mi>a</mi> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>logD</mi> <msub> <mi>&amp;Theta;</mi> <mi>a</mi> </msub> </msub> <mrow> <mo>(</mo> <msub> <mi>F</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>D</mi> <msub> <mi>&amp;Theta;</mi> <mi>a</mi> </msub> </msub> <mo>(</mo> <mrow> <msub> <mi>G</mi> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> </msub> <mrow> <mo>(</mo> <msub> <mi>F</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
La激励鉴别网络区分当前生成的超小分辨率表示与原始大目标之间的差异。
6.基于权利要求书5所述的损失函数，其特征在于，将表示为由Θp参数化的鉴别网络的感知分支；通过用大目标的表示优化具体的损失函数来获得Θp：
<mrow> <msub> <mi>&amp;Theta;</mi> <mi>p</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>&amp;Theta;</mi> <mi>p</mi> </msub> </munder> <msub> <mi>L</mi> <mrow> <msub> <mi>dis</mi> <mi>p</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>F</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，是分类和边界回归的多任务损失；
根据所有实例的平均大小，分别获得包含小目标和大目标的两个子集；对于整体训练，首先基于包含大目标的子集来学习底层卷积层的参数和鉴别网络的感知分支；在学习感知分支的指导下，进一步训练基于包含小目标的子集的发生器网络和使用两个子集的鉴别网络的对抗分支；执行鉴别网络的发生器和对抗分支的训练过程，直到最终达到平衡点，即可以为具有高检测精度的小目标产生超分辨特征的大目标。
7.基于权利要求书1所述的条件生成网络架构(二)，其特征在于，将发生器设计为一个深度残留学习网络，在小目标中通过残余学习引入细粒度的细节，将小目标的特征增加到超分辨率级别。
8.基于权利要求书1所述的鉴别网络架构(三)，其特征在于，将生成的超分辨率表示作为输入，鉴别器将其传递到两个分支，即对抗分支和感知分支；对抗分支由两个完全连接的层组成，其后是具有S形激活函数的同源输出层，其产生对抗性损失；感知分支由两个完全连接的层组成，后面是两个同源输出层，它们产生感知损失来证明超分辨表示的检测性能；两个分支的前两个完全连接的层的输出单元数分别为4096和1024；
给定抗性损失和感知损失最终损失函数Ldis可以作为两个单独损失分量的加权和产生；给定加权参数ω1和ω2，定义激励发生器网络生成具有高检测精度的超分辨率表示。
9.基于权利要求书8所述的对抗性损失，其特征在于，将表示为具有参数Θa的鉴别网络的对抗分支；以每个对象的表示作为输入，该分支输出属于大目标的输入表示的估计概率，表示为引入了对抗性损失，激励发生器网络产生与大目标类似的小目标的超分辨率表示；对抗性损失定义为：
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>dis</mi> <mi>a</mi> </msub> </mrow> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>logD&amp;Theta;</mi> <mi>a</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>G</mi> <msub> <mi>&amp;Theta;</mi> <mi>g</mi> </msub> </msub> <mo>(</mo> <msub> <mi>F</mi> <mi>s</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
感知损失以每个建议的超分辨率表示为输入，感知分支输出K+1类别的类别级别置信度p＝(p0,…,pk)和对于每个K对象类，边界回归偏移由k索引；rk指定相对于对象提议的缩放不变转换和对数空间高或宽移位；每个训练计划标定的真实等级g和标定的真实边界回归目标r*。
10.基于权利要求书8所述的检测精度，其特征在于，计算以下多任务损失函数证明从每个对象生成的超分辨特征中获得的检测精度：
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>dis</mi> <mi>p</mi> </msub> </mrow> </msub> <mo>=</mo> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>g</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>1</mn> <mo>&amp;lsqb;</mo> <mi>g</mi> <mo>&amp;GreaterEqual;</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>g</mi> </msub> <mo>,</mo> <msup> <mi>r</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，Lcls和Lloc分别是分类和边界回归的损失；特别地，Lcls(p,g)＝-logpg是标定的真实类g的log损失Lloc是平滑L1的损失函数。
CN201710686291.8A 2017-08-11 2017-08-11 一种基于感知生成对抗网络的小目标检测方法 Withdrawn CN107451619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710686291.8A CN107451619A (zh) 2017-08-11 2017-08-11 一种基于感知生成对抗网络的小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710686291.8A CN107451619A (zh) 2017-08-11 2017-08-11 一种基于感知生成对抗网络的小目标检测方法

Publications (1)

Publication Number Publication Date
CN107451619A true CN107451619A (zh) 2017-12-08

Family

ID=60492042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710686291.8A Withdrawn CN107451619A (zh) 2017-08-11 2017-08-11 一种基于感知生成对抗网络的小目标检测方法

Country Status (1)

Country Link
CN (1) CN107451619A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108460408A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108550111A (zh) * 2018-03-30 2018-09-18 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109101992A (zh) * 2018-07-04 2018-12-28 北京市商汤科技开发有限公司 图像匹配方法、装置和计算机可读存储介质
CN109191411A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo（重庆）智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN109522857A (zh) * 2018-11-26 2019-03-26 山东大学 一种基于生成式对抗网络模型的人数估计方法
CN109639479A (zh) * 2018-12-07 2019-04-16 北京邮电大学 基于生成对抗网络的网络流量数据增强方法及装置
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备
CN110956126A (zh) * 2019-11-27 2020-04-03 云南电网有限责任公司电力科学研究院 一种联合超分辨率重建的小目标检测方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111275692A (zh) * 2020-01-26 2020-06-12 重庆邮电大学 基于生成对抗网络的红外小目标检测方法
CN111521989A (zh) * 2019-02-01 2020-08-11 通用汽车环球科技运作有限责任公司 用于雷达系统中的超分辨率的深度学习
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN112041026A (zh) * 2018-04-30 2020-12-04 医科达有限公司 使用生成式对抗网络的放射疗法治疗计划建模
CN112183460A (zh) * 2020-10-20 2021-01-05 武汉光谷联合集团有限公司 一种智能识别环境卫生的方法及装置
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN113836974A (zh) * 2020-06-23 2021-12-24 江苏翼视智能科技有限公司 一种基于超分辨率重构的监控视频行人检测方法
US11896847B2 (en) 2020-02-07 2024-02-13 Elekta, Inc. Adversarial prediction of radiotherapy treatment plans

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANAN LI等: ""Perceptual Generative Adversarial Networks for Small Object Detection"", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1706.05274V2》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949255B (zh) * 2017-12-20 2023-07-28 华为技术有限公司 图像重建方法及设备
US11551333B2 (en) 2017-12-20 2023-01-10 Huawei Technologies Co., Ltd. Image reconstruction method and device
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108376387B (zh) * 2018-01-04 2021-09-17 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN108460408A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108460408B (zh) * 2018-02-05 2020-04-07 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108550111A (zh) * 2018-03-30 2018-09-18 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN112041026A (zh) * 2018-04-30 2020-12-04 医科达有限公司 使用生成式对抗网络的放射疗法治疗计划建模
CN112041026B (zh) * 2018-04-30 2023-02-28 医科达有限公司 用于生成放射疗法剂量分布的方法和系统
US11557390B2 (en) 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
US11195052B2 (en) 2018-06-13 2021-12-07 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11574403B2 (en) 2018-06-13 2023-02-07 Cosmo Artificial Intelligence—AI Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11844499B2 (en) 2018-06-13 2023-12-19 Cosmo Artificial Intelligence—AI Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN112543941A (zh) * 2018-06-13 2021-03-23 科斯默人工智能-Ai有限公司 用于训练生成式对抗网络和使用经训练的生成式对抗网络的系统和方法
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo（重庆）智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN109190648B (zh) * 2018-06-26 2020-12-29 Oppo（重庆）智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN109101992B (zh) * 2018-07-04 2022-02-22 北京市商汤科技开发有限公司 图像匹配方法、装置和计算机可读存储介质
CN109101992A (zh) * 2018-07-04 2018-12-28 北京市商汤科技开发有限公司 图像匹配方法、装置和计算机可读存储介质
CN109191411B (zh) * 2018-08-16 2021-05-18 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109191411A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109522857A (zh) * 2018-11-26 2019-03-26 山东大学 一种基于生成式对抗网络模型的人数估计方法
CN109522857B (zh) * 2018-11-26 2021-04-23 山东大学 一种基于生成式对抗网络模型的人数估计方法
CN109639479B (zh) * 2018-12-07 2020-10-20 北京邮电大学 基于生成对抗网络的网络流量数据增强方法及装置
CN109639479A (zh) * 2018-12-07 2019-04-16 北京邮电大学 基于生成对抗网络的网络流量数据增强方法及装置
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN111521989B (zh) * 2019-02-01 2023-12-29 通用汽车环球科技运作有限责任公司 用于雷达系统中的超分辨率的深度学习
CN111521989A (zh) * 2019-02-01 2020-08-11 通用汽车环球科技运作有限责任公司 用于雷达系统中的超分辨率的深度学习
CN110956126B (zh) * 2019-11-27 2023-09-15 云南电网有限责任公司电力科学研究院 一种联合超分辨率重建的小目标检测方法
CN110956126A (zh) * 2019-11-27 2020-04-03 云南电网有限责任公司电力科学研究院 一种联合超分辨率重建的小目标检测方法
CN111199522B (zh) * 2019-12-24 2024-02-09 芽米科技(广州)有限公司 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111275692B (zh) * 2020-01-26 2022-09-13 重庆邮电大学 基于生成对抗网络的红外小目标检测方法
CN111275692A (zh) * 2020-01-26 2020-06-12 重庆邮电大学 基于生成对抗网络的红外小目标检测方法
US11896847B2 (en) 2020-02-07 2024-02-13 Elekta, Inc. Adversarial prediction of radiotherapy treatment plans
CN113836974A (zh) * 2020-06-23 2021-12-24 江苏翼视智能科技有限公司 一种基于超分辨率重构的监控视频行人检测方法
CN112215119B (zh) * 2020-10-08 2022-04-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112215119A (zh) * 2020-10-08 2021-01-12 华中科技大学 一种基于超分辨率重建的小目标识别方法、装置及介质
CN112183460A (zh) * 2020-10-20 2021-01-05 武汉光谷联合集团有限公司 一种智能识别环境卫生的方法及装置

Similar Documents

Publication Publication Date Title
CN107451619A (zh) 一种基于感知生成对抗网络的小目标检测方法
CN110569886B (zh) 一种双向通道注意力元学习的图像分类方法
CN100595782C (zh) 一种融合光谱信息和多点模拟空间信息的分类方法
CN108399406A (zh) 基于深度学习的弱监督显著性物体检测的方法及系统
CN106599922A (zh) 用于大规模数据标定的迁移学习方法及系统
CN107679556A (zh) 基于变分自动编码器的零样本图像分类方法
CN107844743A (zh) 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN105045907A (zh) 一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法
CN109117861B (zh) 一种顾及空间位置的点集多层次聚集性分析方法
CN109598279A (zh) 基于自编码对抗生成网络的零样本学习方法
CN108596108A (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110132263A (zh) 一种基于表示学习的星图识别方法
CN113359212B (zh) 一种基于深度学习的储层特征预测方法及模型
CN109039503A (zh) 一种频谱感知方法、装置、设备及计算机可读存储介质
Yang et al. Detecting interchanges in road networks using a graph convolutional network approach
CN105843829A (zh) 一种基于分层模型的大数据可信性度量方法
CN109857872A (zh) 基于知识图谱的信息推荐方法和装置
CN105740917B (zh) 带有标签学习的遥感图像的半监督多视图特征选择方法
Qiu et al. Active gyrotactic stability of microswimmers using hydromechanical signals
Lee et al. Predicting livelihood indicators from community-generated street-level imagery
Zhang et al. C 3-GAN: Complex-Condition-Controlled Urban Traffic Estimation through Generative Adversarial Networks
CN107885854A (zh) 一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法
CN107301431A (zh) 一种基于权重的非极大值抑制的方法及装置
Hou et al. Imbalanced fault identification via embedding-augmented Gaussian prototype network with meta-learning perspective
Chen et al. Research on motion capture of dance training pose based on statistical analysis of mathematical similarity matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20171208