CN111291657B - 一种基于难例挖掘的人群计数模型训练方法及应用 - Google Patents

一种基于难例挖掘的人群计数模型训练方法及应用 Download PDF

Info

Publication number
CN111291657B
CN111291657B CN202010071274.5A CN202010071274A CN111291657B CN 111291657 B CN111291657 B CN 111291657B CN 202010071274 A CN202010071274 A CN 202010071274A CN 111291657 B CN111291657 B CN 111291657B
Authority
CN
China
Prior art keywords
training
crowd counting
counting model
difficult
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010071274.5A
Other languages
English (en)
Other versions
CN111291657A (zh
Inventor
陈启军
张会
王香伟
刘成菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010071274.5A priority Critical patent/CN111291657B/zh
Publication of CN111291657A publication Critical patent/CN111291657A/zh
Application granted granted Critical
Publication of CN111291657B publication Critical patent/CN111291657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于难例挖掘的人群计数模型训练方法及应用，所述训练方法包括以下步骤：1)获取训练样本集，对训练样本集中的每个样本赋予初始选择概率；2)基于当前选择概率选取所述训练样本集中的部分样本形成训练集，对人群计数模型进行第一阶段训练，以剩余部分样本作为测试集，获得对应的相对误差；3)将所述相对误差大于一设定阈值的样本定为难例，对各所述难例的相对误差进行归一化处理，将归一化结果作为下一轮训练过程中对应样本的选择概率；4)基于加入难例挖掘的训练样本集对人群计数模型进行第二阶段训练；5)重复步骤2)‑4)，直至满足误差要求。与现有技术相比，本发明具有提高人群计数精度等优点。

Description

一种基于难例挖掘的人群计数模型训练方法及应用
技术领域
本发明涉及机器人视觉领域，尤其是涉及一种基于难例挖掘的人群计数模型训练方法及应用。
背景技术
人群计数在智能安防，城市规划等方面有些重要意义，进行人群监控能够有效避免踩踏事件的发生，同时根据历史人流量和人群分布调整城市基础设施建设和城市布局。
现有的人群计数技术主要有以下几种：
1.基于目标检测的方法：包括基于整体的检测和基于部分身体的检测——通过对图像上每个行人或人头进行定位与识别，再根据结果统计人数。优点在于可以做到检测准确的行人或者人头位置，但缺点在于对高密度的人群图像来说，其检测效果差，难处理人群之间严重的遮挡问题。
2.基于回归的方法：即人群数目估计，没有精确定位行人位置，而是对大概的人群数目给出个估计值，MCNN和CSRNet是较有代表性的深度学习人群计数算法，是基于密度图的回归算法。最常见的人群计数网络架构，如MCNN和CSRNet未加入难例挖掘思想：MCNN是采用三并行网络结构，使用融合可以获得比单一网络更好的性能；CSRNet是采用基于VGG16的前10层网络加入了膨胀卷积获得了比并行的MCNN网络更好的效果。但是这两个主流的网络架构都未加入难例挖掘思想，没有针对误差较大的网络进行针对性训练，弥补短板缺陷，使得在遮挡严重，光线模糊等图像上表现较差。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷而提供一种提高人群计数精度的基于难例挖掘的人群计数模型训练方法及应用，克服了人群计数中严重遮挡等问题。
本发明的目的可以通过以下技术方案来实现：
一种基于难例挖掘的人群计数模型训练方法，包括以下步骤：
1)获取训练样本集，对训练样本集中的每个样本赋予初始选择概率；
2)基于当前选择概率选取所述训练样本集中的部分样本形成训练集，对人群计数模型进行第一阶段训练，以剩余部分样本作为测试集，获得对应的相对误差；
3)将所述相对误差大于一设定阈值的样本定为难例，对各所述难例的相对误差进行归一化处理，将归一化结果作为下一轮训练过程中对应样本的选择概率；
4)基于加入难例挖掘的训练样本集对人群计数模型进行第二阶段训练；
5)重复步骤2)-4)，直至满足误差要求。
进一步地，所述人群计数模型基于MCNN或CSRNet构建。
进一步地，所述相对误差包括平均绝对误差、均方误差或均方根误差。
进一步地，所述步骤2)中，记录每一图像的绝对路径或相对路径。
进一步地，所述步骤2)中，第一阶段训练的结束条件为损失函数趋于收敛。
进一步地，所述步骤3)中，归一化处理具体是：将相对误差取绝对值后归一化成区间(0,1)的值。
本发明还提供一种人群计数方法，采用如所述的基于难例挖掘的人群计数模型训练方法获得最终人群计数模型，基于所述最终人群计数模型进行人群计数。
进一步地，基于所述最终人群计数模型获得密度图，对所述密度图进行卷积处理，获得人群计数结果。
与现有技术相比，本发明具有如下有益效果：
1、常见的人群计数深度网络是随机抽取训练样本，即无论人群图像的误差如何都以一样的概率被选到来参与下一轮的网络训练，难以达到有针对性的训练网络，提高精度。本发明将难例挖掘用在人群计数的深度网络中，提高了整个网络的短板，总体提高人群计数的精度。
2、本发明将难例挖掘加入人群计数后可以有针对性的挑选要参与训练的图像，使误差较大的图像能够以较高的概率被选中参与训练，而误差较小的图像能够以较低的概率被选中参与训练，从而提高有效训练样本，提升精度。
3、本发明具有易移植特性，在已存的人群计数网络中都可以采用类似的思想加入难例挖掘，只需要在算法中每一轮的训练结束后加入精度测试，将样本进行排序。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例提供一种基于难例挖掘的人群计数模型训练方法，包括以下步骤：
1)获取训练样本集，随机选择样本作为训练样本。
2)基于当前选择概率选取所述训练样本集中的部分样本形成训练集，对人群计数模型进行第一阶段训练，使损失函数趋于收敛，以剩余部分样本作为测试集，获得对应的相对误差。
本实施例的人群计数基础网络选用CSRNet，按照一般人群计数深度网络的方法进行训练，第一阶段训练的epoch选取为50。
对当前的人群计数模型进行测试，按照相对误差大小进行排序，并附加对应的图像路径。测试时采用的相对误差可以是任意的误差表达方程，如平均绝对误差(MeanAbsolute Error)、均方误差(Mean Square Error)、均方根误差(Root Mean SquareError)等。第一阶段训练后得到的误差仅仅是每个样本之间的相对误差，并不代表没个图像的绝对误差。本实施例中，相对误差选用平均绝对误差MAE，按照从大到小顺序排列生成MAE_list.txt表格。
3)将所述MAE_llist.txt中相对误差大于一设定阈值的样本定为难例，对各所述难例的相对误差进行归一化处理，具体是将相对误差取绝对值后归一化成区间(0,1)的值，将归一化结果作为下一轮训练过程中对应样本的选择概率。
4)基于加入难例挖掘的训练样本集对人群计数模型进行第二阶段训练。该阶段的训练代数随着训练图像的数量、大小、batch_size的不同而改变，具体根据网络收敛情况决定。本实施例中，每当epoch能被10整除时，进行测试后，更新MAE_list.txt，并继续参与下一epoch训练。
5)重复步骤2)-4)，直至满足误差要求或者达到预定训练epoch，如400。
上述训练过程是一个循环训练，循环测试的网络，每隔一定epoch不断更新网络的训练图像集。
实施例2
本实施例提供一种人群计数方法，采用如实施例1所述的基于难例挖掘的人群计数模型训练方法获得最终人群计数模型，基于所述最终人群计数模型获得密度图，对所述密度图进行卷积处理，获得人群计数结果。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (2)

1.一种人群计数方法，其特征在于，采用基于难例挖掘的人群计数模型训练方法获得最终人群计数模型，基于所述最终人群计数模型获得密度图，对所述密度图进行卷积处理，获得人群计数结果；
所述基于难例挖掘的人群计数模型训练方法包括以下步骤：
1）获取训练样本集，对训练样本集中的每个样本赋予初始选择概率；
2）基于当前选择概率选取所述训练样本集中的部分样本形成训练集，对人群计数模型进行第一阶段训练，以剩余部分样本作为测试集，获得对应的相对误差；
3）将所述相对误差大于一设定阈值的样本定为难例，对各所述难例的相对误差进行归一化处理，将归一化结果作为下一轮训练过程中对应样本的选择概率，归一化处理具体是：将相对误差取绝对值后归一化成区间（0,1）的值；
4）基于加入难例挖掘的训练样本集对人群计数模型进行第二阶段训练；
5）重复步骤2）-4），直至满足误差要求；
所述步骤2）中，记录每一图像的绝对路径或相对路径，第一阶段训练的结束条件为损失函数趋于收敛。
2.根据权利要求1所述的人群计数方法，其特征在于，所述人群计数模型基于MCNN或CSRNet构建。
CN202010071274.5A 2020-01-21 2020-01-21 一种基于难例挖掘的人群计数模型训练方法及应用 Active CN111291657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071274.5A CN111291657B (zh) 2020-01-21 2020-01-21 一种基于难例挖掘的人群计数模型训练方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071274.5A CN111291657B (zh) 2020-01-21 2020-01-21 一种基于难例挖掘的人群计数模型训练方法及应用

Publications (2)

Publication Number Publication Date
CN111291657A CN111291657A (zh) 2020-06-16
CN111291657B true CN111291657B (zh) 2022-09-16

Family

ID=71024395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071274.5A Active CN111291657B (zh) 2020-01-21 2020-01-21 一种基于难例挖掘的人群计数模型训练方法及应用

Country Status (1)

Country Link
CN (1) CN111291657B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE42440E1 (en) * 1999-10-14 2011-06-07 Kxen Robust modeling
US8331739B1 (en) * 2009-01-21 2012-12-11 Google Inc. Efficient identification and correction of optical character recognition errors through learning in a multi-engine environment
CN104462797A (zh) * 2014-11-24 2015-03-25 天津工业大学 一种用于过程参数在线检测的增量集成算法
CN106022273A (zh) * 2016-05-24 2016-10-12 华东理工大学 基于动态样本选择策略的bp神经网络手写体识别系统
CN106326839A (zh) * 2016-08-11 2017-01-11 中防通用河北电信技术有限公司 一种基于出操视频流的人数统计方法
CN106407551A (zh) * 2016-09-07 2017-02-15 天津工业大学 一种软测量建模方法
CN106407550A (zh) * 2016-09-07 2017-02-15 天津工业大学 一种工业过程软测量建模方法
CN106548233A (zh) * 2016-10-26 2017-03-29 南京邮电大学 一种基于改进AdaBoost算法的4‑CBA含量的软测量方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650926B (zh) * 2016-09-14 2019-04-16 天津工业大学 一种稳健的boosting极限学习机集成建模方法
KR102399535B1 (ko) * 2017-03-23 2022-05-19 삼성전자주식회사 음성 인식을 위한 학습 방법 및 장치
CN107909034A (zh) * 2017-11-15 2018-04-13 清华大学深圳研究生院 一种人脸检测方法、装置和计算机可读存储介质
CN108009591B (zh) * 2017-12-14 2021-02-09 西南交通大学 一种基于深度学习的接触网关键部件识别方法
CN108197652B (zh) * 2018-01-02 2022-03-18 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109447716A (zh) * 2018-11-09 2019-03-08 四川长虹电器股份有限公司 基于循环神经网络的销量预测方法及服务器
CN109815537B (zh) * 2018-12-19 2020-10-27 清华大学 一种基于时间预测的高通量材料仿真计算优化方法
CN110288013A (zh) * 2019-06-20 2019-09-27 杭州电子科技大学 一种基于block分割和多重输入孪生卷积神经网络的缺陷标签识别方法
CN110705717B (zh) * 2019-09-30 2022-05-17 支付宝(杭州)信息技术有限公司 计算机执行的机器学习模型的训练方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE42440E1 (en) * 1999-10-14 2011-06-07 Kxen Robust modeling
US8331739B1 (en) * 2009-01-21 2012-12-11 Google Inc. Efficient identification and correction of optical character recognition errors through learning in a multi-engine environment
CN104462797A (zh) * 2014-11-24 2015-03-25 天津工业大学 一种用于过程参数在线检测的增量集成算法
CN106022273A (zh) * 2016-05-24 2016-10-12 华东理工大学 基于动态样本选择策略的bp神经网络手写体识别系统
CN106326839A (zh) * 2016-08-11 2017-01-11 中防通用河北电信技术有限公司 一种基于出操视频流的人数统计方法
CN106407551A (zh) * 2016-09-07 2017-02-15 天津工业大学 一种软测量建模方法
CN106407550A (zh) * 2016-09-07 2017-02-15 天津工业大学 一种工业过程软测量建模方法
CN106548233A (zh) * 2016-10-26 2017-03-29 南京邮电大学 一种基于改进AdaBoost算法的4‑CBA含量的软测量方法

Also Published As

Publication number Publication date
CN111291657A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN107103754B (zh) 一种道路交通状况预测方法及系统
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN109671102B (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN113870260B (zh) 一种基于高频时序数据的焊接缺陷实时检测方法及系统
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN111913156A (zh) 基于深度学习模型与特征联合的雷达辐射源个体识别方法
CN109800717B (zh) 基于强化学习的行为识别视频帧采样方法及系统
CN112508901B (zh) 一种水下结构病害识别方法、系统、装置及存储介质
CN111738044B (zh) 一种基于深度学习行为识别的校园暴力评估方法
CN112529234A (zh) 基于深度学习的地表水质预测方法
CN115906002B (zh) 一种基于多粒度数据融合的学习投入状态评估方法
CN113189014A (zh) 一种融合卫星遥感和地面监测数据的臭氧浓度估算方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN114360030A (zh) 一种基于卷积神经网络的人脸识别方法
CN113077424A (zh) 一种基于深度学习的输电线路通道环境变化检测方法及系统
CN116229380A (zh) 一种变电站涉鸟故障相关鸟种识别方法
Bureva et al. Generalized net model of biometric identification process
CN113901927B (zh) 一种基于流场压力时程的水下物体外形识别方法
CN114154530A (zh) 一种心电时序信号房颤检测模型训练方法及装置
CN113554716A (zh) 基于知识蒸馏的瓷砖色差检测方法及装置
CN111291657B (zh) 一种基于难例挖掘的人群计数模型训练方法及应用
Abdolhoseini et al. Automated tracing of microglia using multilevel thresholding and minimum spanning trees

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant