CN111274973B - 基于自动划分域的人群计数模型训练方法及应用 - Google Patents

基于自动划分域的人群计数模型训练方法及应用 Download PDF

Info

Publication number
CN111274973B
CN111274973B CN202010070745.0A CN202010070745A CN111274973B CN 111274973 B CN111274973 B CN 111274973B CN 202010070745 A CN202010070745 A CN 202010070745A CN 111274973 B CN111274973 B CN 111274973B
Authority
CN
China
Prior art keywords
training
domain
model
image
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010070745.0A
Other languages
English (en)
Other versions
CN111274973A (zh
Inventor
陈启军
张会
刘成菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010070745.0A priority Critical patent/CN111274973B/zh
Publication of CN111274973A publication Critical patent/CN111274973A/zh
Application granted granted Critical
Publication of CN111274973B publication Critical patent/CN111274973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自动划分域的人群计数模型训练方法及应用，所述训练方法包括以下步骤：1)建立并训练获得初步训练模型；2)以一测试集对所述初步训练模型进行验证，获取测试集中每一图像对应的识别误差；3)将识别误差大于等于一设定阈值的图像划分为目标域，将识别误差小于所述设定阈值的图像划分为源域；4)在源域和目标域之间加入第二损失函数，基于该第二损失函数及两个域各自的原损失函数优化获得最终模型。与现有技术相比，本发明具有适应性强、提高计数准确性等优点。

Description

基于自动划分域的人群计数模型训练方法及应用
技术领域
本发明涉及机器人视觉领域，尤其是涉及一种基于自动划分域的人群计数模型训练方法及应用。
背景技术
人群计数在智能安防，城市规划等方面有些重要意义，进行人群监控能够有效避免踩踏事件的发生，同时根据历史人流量和人群分布调整城市基础设施建设和城市布局。
现有的人群计数算法主要分为以下几种：
1.基于目标检测的方法：包括基于整体的检测和基于部分身体的检测——通过对图像上每个行人或人头进行定位与识别，再根据结果统计人数。优点在于可以做到检测准确的行人或者人头位置，但缺点在于对高密度的人群图像来说,其检测效果差，难处理人群之间严重的遮挡问题。
2.基于回归的方法：即人群数目估计，没有精确定位行人位置，而是对大概的人群数目给出个估计值，MCNN和CSRNet是较有代表性的深度学习人群计数算法，是基于密度图的回归算法。基于回归的方法优点是对高密度人群图像来说比基于目标检测方法的好，但缺点是没有行人精确的定位，且已有的网络模型不能适应变化多端的行人分布。
在采用深度学习解决人群计数问题时，训练数据往往比较单一，得到的模型不能满足较好的适应性；当用数据分布不同的多个数据集(多个域)同时训练时又大大降低了模型的测试精度，因此兼顾精度和数据的适应性是人群计数实际应用中急需解决的问题。另外，常见的网络只是先在某一个数据集上训练，只能在满足同样数据分布的数据集上有较高精度，比如CSRNet在ShanghaiTech PartA上的训练结果在PartB上表现较差。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷而提供一种适应性强、提高计数准确性的基于自动划分域的域适应算法的人群计数模型训练方法。
本发明的目的可以通过以下技术方案来实现：
一种基于自动划分域的人群计数模型训练方法，包括以下步骤：
1)建立并训练获得初步训练模型；
2)以一测试集对所述初步训练模型进行验证，获取测试集中每一图像对应的识别误差；
3)将识别误差大于等于一设定阈值的图像划分为目标域，将识别误差小于所述设定阈值的图像划分为源域；
4)在源域和目标域之间加入第二损失函数，基于该第二损失函数及两个域各自的原损失函数优化获得最终模型。
进一步地，所述步骤1)中，对用于训练的训练集的图像进行图像标注。
进一步地，所述步骤2)中，记录每一图像的绝对路径或相对路径。
进一步地，用于训练的训练集和测试集包括不同光线变化、不同背景或不同相机高度的图像。
进一步地，所述识别误差包括平均绝对误差、均方误差或均方根误差。
进一步地，所述设定阈值的设定满足源域图像数量远大于目标域图像数量的要求。
进一步地，所述第二损失函数为最大均值差异损失函数。
本发明还提供一种人群计数方法，采用如所述的基于自动划分域的人群计数模型训练方法获得最终模型，基于所述最终模型进行人群计数。
与现有技术相比，本发明具有如下有益效果：
1、本发明自动根据训练过程中平均绝对误差来划分域，适应性更强；同时不需要人为划分，不会引入额外误差也易操作。
2、本发明可以混合多个数据集进行训练，不需要针对某一种特地数据集训练，当应用场景发生光线，相机高度等变换时仍然适用，同时对图像的尺寸、通道数等没有要求。
3、不同于一般网络只是先在某一个数据集上训练，只能在满足同样数据分布的数据集上有较高精度，本发明的网络训练数据丰富多样，满足较复杂的实际情况——包括光线变化、背景差异、相机高度等，训练得到的模型更适应现实情况。
4、本发明采用的域适应能够构建源域与目标域之间的映射关系，能够提高人群计数深度网络适用性，使得当人群密度差异很大或者光线条件变化多端时，只需要训练一个网络模型就可以解决不同域的人群计数问题。
5、本发明对数据集没有要求，可以是在人口密集的场所随意采集的图片，该方法可以适应不同分布情况的数据集，提高了算法的泛化能力。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例提供一种基于自动划分域的人群计数模型训练方法，包括以下步骤：
1)建立并训练获得初步训练模型。
该步骤为预训练阶段，在该阶段中按照一般网络的方法，将训练数据输入给网络进行一定数量epoch的预训练，使损失函数趋于稳定状态，得到初步训练模型M1。
在获得训练集后，对采集图像进行提前标注时，每一个人头大小为3*3pixel大小，将每个人头对应的位置设置为1，输入给网络进行一定数量epoch的预训练，使损失函数趋于稳定状态，比如100个epoch，得到初步训练模型M1。
2)以一测试集对所述初步训练模型进行验证，获取测试集中每一图像对应的识别误差和图像对应的位置，按照误差大小进行排序。图像对应的位置为图像的绝对路径或相对路径。
测试集为一组RGB图像，采用的识别误差可以是任意的误差表达方程，如平均绝对误差(Mean Absolute Error)、均方误差(Mean Square Error)、均方根误差(Root MeanSquare Error)等。本实施例采用MAE。
用于训练的训练集和测试集包括不同光线变化、不同背景或不同相机高度的图像。
3)将识别误差大于等于一设定阈值的图像划分为目标域，将识别误差小于所述设定阈值的图像划分为源域。
本实施例中，MAE大于一定阈值的图像集划分成目标域——即参与训练的RGB图像中效果较差的图像，训练得到的图像中人数与图像标注人数相差较多的图像，假如有N1张图像；MAE小于一定阈值——即参与训练的RGB图像中误差较小，训练得到的图像中人数与图像标注人数相差较小的图像划分成源域，假如有N2张图像。
设定阈值的选择同时需要满足域适应中，源域RGB图像数量远大于目标域RGB图像数量的要求，即N2>>N1。
4)在源域和目标域之间加入第二损失函数，基于该第二损失函数及两个域各自的原损失函数优化获得最终模型。
第二损失函数可以是任意的损失函数，本实施例采用大均值差异(Maximum meandiscrepancy)损失函数，简称为MMD损失函数Lmmd，即将源域和目标域映射到希尔伯特空间求其距离，也可以是其他的空间映射方法表示的损失函数。优化过程中，将该损失函数Lmmd与两个域各自的损失函数(Output和Ground truth)——源域图像的输出与标定真实输出之间的损失函数Lsr，目标域图像的输出与标定真实输出之间的损失函数Ltg一起优化。
实施例2
本实施例一种人群计数方法，采用如实施例1所述的基于自动划分域的人群计数模型训练方法获得最终模型，基于所述最终模型得到人口密度图，通过密度图的卷积得到图片中的人数。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (5)

1.一种基于自动划分域的人群计数模型训练方法，其特征在于，包括以下步骤：
1）建立并训练获得初步训练模型；
2）以一测试集对所述初步训练模型进行验证，获取测试集中每一图像对应的识别误差；
3）将识别误差大于等于一设定阈值的图像划分为目标域，将识别误差小于所述设定阈值的图像划分为源域；
4）在源域和目标域之间加入第二损失函数，基于该第二损失函数及两个域各自的原损失函数优化获得最终模型。
2.根据权利要求1所述的基于自动划分域的人群计数模型训练方法，其特征在于，所述步骤1）中，对用于训练的训练集的图像进行图像标注。
3.根据权利要求1所述的基于自动划分域的人群计数模型训练方法，其特征在于，所述步骤2）中，记录每一图像的绝对路径或相对路径。
4.根据权利要求1所述的基于自动划分域的人群计数模型训练方法，其特征在于，用于训练的训练集和测试集包括不同光线变化、不同背景或不同相机高度的图像。
5.一种人群计数方法，其特征在于，采用如权利要求1所述的基于自动划分域的人群计数模型训练方法获得最终模型，基于所述最终模型进行人群计数。
CN202010070745.0A 2020-01-21 2020-01-21 基于自动划分域的人群计数模型训练方法及应用 Active CN111274973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070745.0A CN111274973B (zh) 2020-01-21 2020-01-21 基于自动划分域的人群计数模型训练方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070745.0A CN111274973B (zh) 2020-01-21 2020-01-21 基于自动划分域的人群计数模型训练方法及应用

Publications (2)

Publication Number Publication Date
CN111274973A CN111274973A (zh) 2020-06-12
CN111274973B true CN111274973B (zh) 2022-02-18

Family

ID=71003362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070745.0A Active CN111274973B (zh) 2020-01-21 2020-01-21 基于自动划分域的人群计数模型训练方法及应用

Country Status (1)

Country Link
CN (1) CN111274973B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509120B (zh) * 2011-11-04 2013-09-25 西安电子科技大学 基于迁移字典学习的高光谱图像的有监督分割方法
US9607245B2 (en) * 2014-12-02 2017-03-28 Xerox Corporation Adapted vocabularies for matching image signatures with fisher vectors
AU2016397318B2 (en) * 2016-03-17 2019-10-24 Nec Corporation Passenger counting device, system, method and program
CN107644212B (zh) * 2017-10-19 2019-12-17 中国地质大学（武汉） 一种高光谱遥感图像分类方法、设备及存储设备
CN107958286A (zh) * 2017-11-23 2018-04-24 清华大学 一种领域适应性网络的深度迁移学习方法
CN108537168B (zh) * 2018-04-09 2021-12-31 云南大学 基于迁移学习技术的面部表情识别方法
CN109447149B (zh) * 2018-10-25 2021-11-02 腾讯医疗健康(深圳)有限公司 一种检测模型的训练方法、装置及终端设备
CN109657159A (zh) * 2018-12-18 2019-04-19 哈尔滨工业大学 舆情数据角色识别中异构关系数据的迁移学习界限的确定方法
CN109800677B (zh) * 2018-12-29 2021-11-02 掌握科技无锡有限公司 一种跨平台掌纹识别方法
CN110321926B (zh) * 2019-05-24 2024-03-26 北京理工大学 一种基于深度残差修正网络的迁移方法及系统

Also Published As

Publication number Publication date
CN111274973A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN108319972B (zh) 一种针对图像语义分割的端到端差异网络学习方法
CN103914802B (zh) 用于使用导入的深度信息的图像选择和掩蔽的系统与方法
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
KR101873202B1 (ko) Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈
CN103810473B (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN105023010A (zh) 一种人脸活体检测方法及系统
CN109584290A (zh) 一种基于卷积神经网络的立体图像匹配方法
CN109583373B (zh) 一种行人重识别实现方法
CN108564673A (zh) 一种基于全局人脸识别的课堂考勤方法及系统
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN105022999A (zh) 一种人码伴随实时采集系统
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110119768A (zh) 用于车辆定位的视觉信息融合系统及方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN116030519A (zh) 一种直播教学平台的学习注意力检测与评估方法
CN112613471B (zh) 人脸活体检测方法、装置及计算机可读存储介质
CN111274973B (zh) 基于自动划分域的人群计数模型训练方法及应用
CN113822256A (zh) 人脸识别方法、电子设备及存储介质
CN106709432A (zh) 基于双目立体视觉的人头检测计数方法
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN113673422A (zh) 一种宠物种类识别方法及识别系统
EP3076370A1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
CN112818950A (zh) 一种基于生成对抗网络和时间卷积网络的唇语识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant