CN108985331A - 一种基于对抗生成网络的目标计数方法 - Google Patents

一种基于对抗生成网络的目标计数方法 Download PDF

Info

Publication number
CN108985331A
CN108985331A CN201810610806.0A CN201810610806A CN108985331A CN 108985331 A CN108985331 A CN 108985331A CN 201810610806 A CN201810610806 A CN 201810610806A CN 108985331 A CN108985331 A CN 108985331A
Authority
CN
China
Prior art keywords
model
layer
network
training
density map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810610806.0A
Other languages
English (en)
Inventor
郭东岩
王俊
崔滢
王振华
张剑华
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810610806.0A priority Critical patent/CN108985331A/zh
Publication of CN108985331A publication Critical patent/CN108985331A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于对抗生成网络的目标计数方法，模型训练过程的步骤如下：步骤1.1：图片预处理，随机提取原图中若干图像块并缩放为相同大小；步骤1.2：设计鉴别模型，采用卷积神经网络计算图片置信度；步骤1.3：生成模型的设计，同样采用卷积神经网络生成所需密度图；步骤1.4：对抗生成网络的训练，设置两个损失函数L_D和L_G，采用Adam方法分别优化鉴别模型和生成模型；模型使用过程的步骤如下：步骤2.1：密度图的生成，根据训练模型使用生成模型生成密度图步骤2.2：目标计数，根据公式(5)计算目标数量Num。本发明网络架构采用生成模型与鉴别模型以博弈的方式相互优化，从而获得精度较高的密度图。

Description

一种基于对抗生成网络的目标计数方法
技术领域
本发明涉及深度学习、目标计数等领域，设计出的网络主要用于生成实现目标计数所需的密度图。
背景技术
机器学习是一门多领域交叉学科，涉及概率论、统计学等多门学科。通过模拟人类的学习行为使计算机能够不断进行自我完善，最终达到比较好的性能，深度学习作为机器学习方法中的一种，其强大的学习能力解决了许多问题，得到了学者们广泛的认可。
目标计数可以应用于生活工作的很多方面，例如交通部门对车流量的监控，社交场所的人流量统计等等。现在有很多基于计算机视觉的方法来实现目标计数，但精度仍有待提高，尤其是在复杂环境下，如目标存在互相遮挡，粘连，部分可见等情况下的精确计数仍是一个难题。因此急需一种适用于复杂环境并且拥有较高的精度的目标计数方法，以便在现实场景中更好的运用计算机视觉来实现目标计数。
要设计出这样的一个方法，关键是设计一个学习能力较强的网络，能够准确识别场景中的目标，从而提升目标计数的准确率。
发明内容
为了克服复杂环境下精确计数的问题，本发明提出一种基于对抗生成网络的网络架构，该网络架构采用生成模型与鉴别模型以博弈的方式相互优化，从而获得精度较高的密度图。
本发明解决其技术问题所采用的技术方案是：
一种基于对抗生成网络的目标计数方法，所述方法包括模型训练过程和模型使用过程；
模型训练过程的步骤如下：
步骤1.1：图片预处理，随机提取原图中若干图像块并缩放为相同大小；
步骤1.2：设计鉴别模型，采用卷积神经网络计算图片置信度；
步骤1.3：生成模型的设计，同样采用卷积神经网络生成所需密度图；
步骤1.4：对抗生成网络的训练，设置两个损失函数L_D和L_G，采用Adam方法分别优化鉴别模型和生成模型；
模型使用过程的步骤如下：
步骤2.1：密度图的生成，根据训练模型使用生成模型生成密度图
步骤2.2：目标计数，根据公式(1)计算目标数量Num：
其中p为各像素值。
进一步，所述步骤1.1中，记一个训练集序列为(S0,S1,S2,……,Sm)，以S0为例，在S0中取n个图像块(P1,P2,P3,……,Pn)，取1-2个效果最好，将(S0,P1,P2,P3,……,Pn)缩放成相同的大小，作为生成模型输入。
再进一步，所述步骤1.2中，鉴别模型共有5层，前4层为卷积层，卷积核大小均为5×5，步长为2，输出通道分别为64，128，256，512，其中第一层后接激活函数为lrelu，2-4层先经batch normalization后再接lrelu激活函数，最后一层为全连接层，最终通过sigmoid函数输出表示输入图片来自真实数据库的概率值。
所述步骤1.3中，生成模型共有9层，前五层为卷积层，前两层的卷积核为7×7，输出32个通道，并各后接一个最大池化层，第三层的卷积核为5×5，输出32个通道，并后接一个最大池化层，后两层的卷积核为1×1，第四层输出1000个通道，第五层输出400个通道，然后将各个图像块的卷积层输出组合后输入四层全连接层，前两个全连接层输出512个通道，第8层全连接层输出为324个通道，并resize为18×18大小。
所述步骤1.4中，设置两个损失函数L_D和L_G，其中L_D为鉴别模型的损失函数，L_G为生成模型的损失函数，过程如下：
步骤1.4.1：对于生成模型，将(S0,P1,P2,P3,……,Pn)输入生成模型中，得到预测的密度图
步骤1.4.2：其次，由于经过池化使得图片缩小，因此要将密度图缩放为原图大小，并通过下式(2)进行归一化；
其中p表示像素点；
步骤1.4.3：对于鉴别模型，我们将以原密度图为输入得到的概率值记为D(X)，将以生成模型生成的图像作为输入得到的概率值记为
步骤1.4.4：将训练集图片随机打乱并依次输入网络中，采用Adam优化方法间隔训练鉴别模型和生成模型，其中训练生成模型时为防止改变鉴别模型参数，鉴别部分通过参数共享的方式沿用鉴别模型参数，设置迭代次数，鉴别模型与生成模型损失函数分别如下式(3)(4)，迭代结束后保存最终生成的模型数据；
其中E表示求均值，优化参数使L_D达到最大值，使L_G达到最大值。
本发明的技术构思为：所述基于对抗生成网络的目标计数方法采用生成模型获取密度图，同时相对一般的生成模型，以对抗的方式进行训练可以使生成模型能够达到更好的效果，使输出的密度图更准确，同时提升网络的通用性，在复杂环境中目标之间存在遮挡、粘连等情况时也能达到较高的精度。
本发明的有益效果主要表现在：可以获得精度更高，通用性更好的密度图，使网络在计数目标存在相互遮挡、粘连等情况下的计数也更准确。
附图说明
图1为本发明的网络的生成模型。
图2为本发明的网络的鉴别模型。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2，一种基于对抗生成网络的目标计数方法，所述方法包括模型训练过程和模型使用过程；
模型训练过程的步骤如下：
步骤1.1：图片预处理，随机提取原图中若干图像块并缩放为相同大小；
步骤1.2：设计鉴别模型，采用卷积神经网络计算图片置信度；
步骤1.3：生成模型的设计，同样采用卷积神经网络生成所需密度图；
步骤1.4：对抗生成网络的训练，设置两个损失函数L_D和L_G，采用Adam方法分别优化鉴别模型和生成模型；
模型使用过程的步骤如下：
步骤2.1：密度图的生成，根据训练模型使用生成模型生成密度图
步骤2.2：目标计数，根据公式(1)计算目标数量Num：
其中p为各像素值。
进一步，所述步骤1.1中，记一个训练集序列为(S0,S1,S2,……,Sm)，以S0为例，在S0中取n个图像块(P1,P2,P3,……,Pn)，取1-2个效果最好，将(S0,P1,P2,P3,……,Pn)缩放成相同的大小，作为生成模型输入。
再进一步，所述步骤1.2中，鉴别模型共有5层，前4层为卷积层，卷积核大小均为5×5，步长为2，输出通道分别为64，128，256，512，其中第一层后接激活函数为lrelu，2-4层先经batch normalization后再接lrelu激活函数，最后一层为全连接层，最终通过sigmoid函数输出表示输入图片来自真实数据库的概率值。
所述步骤1.3中，生成模型共有9层，前五层为卷积层，前两层的卷积核为7×7，输出32个通道，并各后接一个最大池化层，第三层的卷积核为5×5，输出32个通道，并后接一个最大池化层，后两层的卷积核为1×1，第四层输出1000个通道，第五层输出400个通道，然后将各个图像块的卷积层输出组合后输入四层全连接层，前两个全连接层输出512个通道，第8层全连接层输出为324个通道，并resize为18×18大小。
所述步骤1.4中，设置两个损失函数L_D和L_G，其中L_D为鉴别模型的损失函数，L_G为生成模型的损失函数，过程如下：
步骤1.4.1：对于生成模型，将(S0,P1,P2,P3,……,Pn)输入生成模型中，得到预测的密度图
步骤1.4.2：其次，由于经过池化使得图片缩小，因此要将密度图缩放为原图大小，并通过下式(2)进行归一化；
其中p表示像素点；
步骤1.4.3：对于鉴别模型，我们将以原密度图为输入得到的概率值记为D(X)，将以生成模型生成的图像作为输入得到的概率值记为
步骤1.4.4：将训练集图片随机打乱并依次输入网络中，采用Adam优化方法间隔训练鉴别模型和生成模型，其中训练生成模型时为防止改变鉴别模型参数，鉴别部分通过参数共享的方式沿用鉴别模型参数，设置迭代次数，鉴别模型与生成模型损失函数分别如下式(3)(4)，迭代结束后保存最终生成的模型数据；
其中E表示求均值，优化参数使L_D达到最大值，使L_G达到最大值。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于对抗生成网络的目标计数方法，其特征在于，所述方法包括模型训练过程和模型使用过程；
模型训练过程的步骤如下：
步骤1.1：图片预处理，随机提取原图中若干图像块并缩放为相同大小；
步骤1.2：设计鉴别模型，采用卷积神经网络计算图片置信度；
步骤1.3：生成模型的设计，同样采用卷积神经网络生成所需密度图；
步骤1.4：对抗生成网络的训练，设置两个损失函数L_D和L_G，采用Adam方法分别优化鉴别模型和生成模型；
模型使用过程的步骤如下：
步骤2.1：密度图的生成，根据训练模型使用生成模型生成密度图
步骤2.2：目标计数，根据公式(1)计算目标数量Num：
其中p为各像素值。
2.如权利要求1所述的基于对抗生成网络的目标计数方法，其特征在于，所述步骤1.1中，记一个训练集序列为(S0，S1，S2，......，Sm)，以S0为例，在S0中取n个图像块(P1，P2，P3，......，Pn)，取1-2个效果最好，将(S0，P1，P2，P3，......，Pn)缩放成相同的大小，作为生成模型输入。
3.如权利要求1或2所述的基于对抗生成网络的目标计数方法，其特征在于，所述步骤1.2中，鉴别模型共有5层，前4层为卷积层，卷积核大小均为5×5，步长为2，输出通道分别为64，128，256，512，其中第一层后接激活函数为lrelu，2-4层先经batch normalization后再接lrelu激活函数，最后一层为全连接层，最终通过sigmoid函数输出表示输入图片来自真实数据库的概率值。
4.如权利要求1或2所述的基于对抗生成网络的目标计数方法，其特征在于，所述步骤1.3中，生成模型共有9层，前五层为卷积层，前两层的卷积核为7×7，输出32个通道，并各后接一个最大池化层，第三层的卷积核为5×5，输出32个通道，并后接一个最大池化层，后两层的卷积核为1×1，第四层输出1000个通道，第五层输出400个通道，然后将各个图像块的卷积层输出组合后输入四层全连接层，前两个全连接层输出512个通道，第8层全连接层输出为324个通道，并resize为18×18大小。
5.如权利要求1或2所述的基于对抗生成网络的目标计数方法，其特征在于，所述步骤1.4中，设置两个损失函数L_D和L_G，其中L_D为鉴别模型的损失函数，L_G为生成模型的损失函数，过程如下：
步骤1.4.1：对于生成模型，将(S0，P1，P2，P3，......，Pn)输入生成模型中，得到预测的密度图
步骤1.4.2：其次，由于经过池化使得图片缩小，因此要将密度图缩放为原图大小，并通过下式(2)进行归一化；
其中p表示像素点；
步骤1.4.3：对于鉴别模型，我们将以原密度图为输入得到的概率值记为D(X)，将以生成模型生成的图像作为输入得到的概率值记为
步骤1.4.4：将训练集图片随机打乱并依次输入网络中，采用Adam优化方法间隔训练鉴别模型和生成模型，其中训练生成模型时为防止改变鉴别模型参数，鉴别部分通过参数共享的方式沿用鉴别模型参数，设置迭代次数，鉴别模型与生成模型损失函数分别如下式(3)(4)，迭代结束后保存最终生成的模型数据；
其中E表示求均值，优化参数使L_D达到最大值，使L_G达到最大值。
CN201810610806.0A 2018-06-14 2018-06-14 一种基于对抗生成网络的目标计数方法 Pending CN108985331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810610806.0A CN108985331A (zh) 2018-06-14 2018-06-14 一种基于对抗生成网络的目标计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810610806.0A CN108985331A (zh) 2018-06-14 2018-06-14 一种基于对抗生成网络的目标计数方法

Publications (1)

Publication Number Publication Date
CN108985331A true CN108985331A (zh) 2018-12-11

Family

ID=64540354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810610806.0A Pending CN108985331A (zh) 2018-06-14 2018-06-14 一种基于对抗生成网络的目标计数方法

Country Status (1)

Country Link
CN (1) CN108985331A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503049A (zh) * 2019-08-26 2019-11-26 重庆邮电大学 基于生成对抗网络的卫星视频车辆数目估计方法
CN111091068A (zh) * 2019-11-26 2020-05-01 重庆紫光华山智安科技有限公司 一种密度估计模型训练方法、装置、存储介质及电子设备
CN115468541A (zh) * 2022-11-01 2022-12-13 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种岩溶塌陷四维监测的信息系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631858A (zh) * 2015-12-21 2016-06-01 北京大学深圳研究生院 基于样本块的图像目标计数方法
CN106650913A (zh) * 2016-12-31 2017-05-10 中国科学技术大学 一种基于深度卷积神经网络的车流密度估计方法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统
CN107357834A (zh) * 2017-06-22 2017-11-17 浙江工业大学 一种基于视觉显著性融合的图像检索方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631858A (zh) * 2015-12-21 2016-06-01 北京大学深圳研究生院 基于样本块的图像目标计数方法
CN106650913A (zh) * 2016-12-31 2017-05-10 中国科学技术大学 一种基于深度卷积神经网络的车流密度估计方法
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107357834A (zh) * 2017-06-22 2017-11-17 浙江工业大学 一种基于视觉显著性融合的图像检索方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. ZHANG 等: "Cross-scene crowd counting via deep convolutional neural networks", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
LYRICHU: "DCGAN代码简单解读", 《HTTPS://WWW.CNBLOGS.COM/LYRICHU/P/9093411.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503049A (zh) * 2019-08-26 2019-11-26 重庆邮电大学 基于生成对抗网络的卫星视频车辆数目估计方法
CN110503049B (zh) * 2019-08-26 2022-05-03 重庆邮电大学 基于生成对抗网络的卫星视频车辆数目估计方法
CN111091068A (zh) * 2019-11-26 2020-05-01 重庆紫光华山智安科技有限公司 一种密度估计模型训练方法、装置、存储介质及电子设备
CN111091068B (zh) * 2019-11-26 2021-07-20 重庆紫光华山智安科技有限公司 一种密度估计模型训练方法、装置、存储介质及电子设备
CN115468541A (zh) * 2022-11-01 2022-12-13 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种岩溶塌陷四维监测的信息系统

Similar Documents

Publication Publication Date Title
CN109101930B (zh) 一种人群计数方法及系统
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN109669049B (zh) 一种基于卷积神经网络的粒子图像测速方法
CN107330364A (zh) 一种基于cGAN网络的人群计数方法及系统
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
CN110659664B (zh) 一种基于ssd的高精度识别小物体的方法
CN109410307A (zh) 一种场景点云语义分割方法
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
CN106250931A (zh) 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN107832835A (zh) 一种卷积神经网络的轻量化方法及装置
CN110222769A (zh) 一种基于YOLOV3-tiny的改进目标检测方法
CN110458060A (zh) 一种基于对抗学习的车辆图像优化方法及系统
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN108985331A (zh) 一种基于对抗生成网络的目标计数方法
CN109033945A (zh) 一种基于深度学习的人体轮廓提取方法
CN107564022A (zh) 基于贝叶斯融合的视频显著性检测方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN109783887A (zh) 一种面向三维加工特征的智能识别与检索方法
CN108764250A (zh) 一种运用卷积神经网络提取本质图像的方法
CN108984481A (zh) 一种基于卷积神经网络的单应性矩阵估计方法
CN109655815A (zh) 基于ssd的声呐目标检测方法
WO2021169049A1 (zh) 一种真实场景下玻璃检测的方法
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication