CN104933418B - 一种双像机的人群人数统计方法 - Google Patents

一种双像机的人群人数统计方法 Download PDF

Info

Publication number
CN104933418B
CN104933418B CN201510363524.1A CN201510363524A CN104933418B CN 104933418 B CN104933418 B CN 104933418B CN 201510363524 A CN201510363524 A CN 201510363524A CN 104933418 B CN104933418 B CN 104933418B
Authority
CN
China
Prior art keywords
crowd
block
foreground
demographic
demographic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510363524.1A
Other languages
English (en)
Other versions
CN104933418A (zh
Inventor
张二虎
王海强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201510363524.1A priority Critical patent/CN104933418B/zh
Publication of CN104933418A publication Critical patent/CN104933418A/zh
Application granted granted Critical
Publication of CN104933418B publication Critical patent/CN104933418B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双像机的人群人数统计方法，在监控场景中设定目标像机A和辅助像机B，分别计算这两个像机视频帧中的人群块数据集的特征；使用迁移学习算法从辅助人群数据集中提取与目标人群数据集特征接近的样本数据作为迁移人群数据集；合并迁移人群数据集和目标人群数据集为新的人群数据集；根据新的人群数据集中遮挡人群块真实人数与预测人数差值融合人群数据集的像素特征和纹理特征；根据融合特征训练一个人群人数统计模型；使用训练好的人群人数统计模型预测新输入人群图像的人数。本发明通过迁移学习解决了大量人群数据标定、人群数据分布不均衡和数据缺失问题，通过特征融合充分发挥了不同类型特征的特点，提高了人群统计模型的准确性。

Description

一种双像机的人群人数统计方法
技术领域
本发明属于智能安防监控技术领域，具体涉及一种双像机的人群人数统计方法。
背景技术
在人群人数统计过程中，传统机器学习的任务是在给定充分训练数据的基础上来学习一个模型，然后利用该模型预测人数。然而，传统机器学习需要标定大量训练数据，并且标定的数据可能存在数据分布不均衡和数据缺失现象。因此，本发明利用迁移学习方法从其它像机提取与目标像机有关联的已标定的辅助人群数据来解决上述问题。
在人数统计过程中，像素特征能有效描述低密度人群特征，纹理特征能有效表达高密度人群特征，因此有效融合像素特征和纹理特征能提高人数统计准确率。因此，本发明将遮挡块真实人数与预测人数的差值作为衡量目标块中人群遮挡严重程度的依据来融合像素特征和纹理特征。
发明内容
本发明的目的是提供一种双像机的人群人数统计方法，解决了现有人数统计算法不能准确融合像素特征和纹理特征的问题。
本发明所采用的技术方案是，一种双像机的人群人数统计方法，监控场景中有目标像机A和辅助像机B，利用目标像机A视频帧统计人群人数，利用辅助像机B中的视频帧数据辅助A中数据进行训练，目标人群数据集DA为统计目标像机A视频帧中人群块的像素特征和纹理特征以及目标块实际人数；辅助人群数据集DB为统计辅助像机B视频帧中人群块的像素特征和纹理特征以及目标块实际人数；迁移人群数据集DR为从辅助人群数据集DB中迁移与目标人群数据集DA中样本特征相近的人群数据样本；
具体包括以下方法步骤：
步骤1、合并迁移人群数据集DR和目标人群数据集DA为人群数据集D；
步骤2、根据人群数据集D中遮挡人群块实际人数与预测人数的差值来融合人群数据集D中的像素特征和纹理特征；
步骤3、以步骤2中获取的各人群块的融合人群数据集D中的像素特征和纹理特征作为输入，相应各人群块的实际人数为输出，训练第一支持向量回归模型；
步骤4、输入一幅新的人群图像，提取像素特征和纹理特征，根据步骤3训练好的第一支持向量回归模型预测输入的人群图像中的人群人数。
本发明的特点还在于：
纹理特征包括韦伯特征和局部二值模式。
像素特征包括前景面积、前景边缘像素数和前景周长。
步骤2的具体方法为：
步骤2.1、对人群数据集D，使用线性拟合方法，分别拟合人群数据集D中未遮挡人群块实际人数ypix＝yedge＝ycontour与未遮挡人群块的前景面积xpix、前景边缘像素数xedge和前景周长xedge这三种像素特征之间的线性关系，如式(1)所示：
其中，a～f为需要拟合的参数，利用最小二乘法求取这些拟合参数；
步骤2.2、设和分别表示遮挡人群块的前景面积、前景边缘像素数和前景周长，用公式(1)得到该遮挡人群块预测出的人群人数分别为和该遮挡块的实际人群人数为yreal，则预测出的人群块人数和实际人群块的人数的差值如式(2)所示：
步骤2.3、设为和的均值，计算所有人群数据集D中人群块的同时求人群数据集D中遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值建立第二支持向量回归模型，利用各人群块的及作为第二支持向量回归模型的输入，相应的作为输出，训练该第二支持向量回归模型，训练好的第二支持向量回归模型可预测各人群块的作为衡量各人群块遮挡严重程度的判断依据；
步骤2.4、设FA为融合后的人群块特征向量，Fpixel为人群块像素特征，Ftextural为人群块纹理特征，则融合后的人群块特征向量FA为：
步骤4的具体过程为：
步骤4.1、从所输入的新的人群图像中提取各人群块的像素特征Fpixel和各人群块的纹理特征Ftextural；
步骤4.2、计算各人群块的遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值并将它们作为训练好的第二支持向量回归模型的输入，求各人群块的
步骤4.3、根据步骤4.2中得到的各人群块的代入公式(3)求各人群块融合后的特征向量FA；
步骤4.4、将步骤4.3得到的各人群块融合后的特征向量FA作为第一支持向量回归模型的输入，求出各人群块的人数，最后将各人群块的人数相加作为该人群图像统计出的人数。
本发明的有益效果是：传统机器学习需要标定大量训练数据，且标定的数据可能存在数据分布不均衡和数据缺失现象，而本发明一种双像机的人群人数统计方法利用迁移学习方法从其它像机提取与目标像机有关联的已经标定的辅助人群数据来解决上述问题。同时现有算法直接简单串联像素特征和纹理特征，没有充分利用不同类型特征的特性，而本发明一种双像机的人群人数统计方法将遮挡人群块预测人数与遮挡人群块真实人数的差值作为人群块中人群遮挡严重程度的依据来融合人群块像素特征和纹理特征，从而提高人数统计模型的准确性。
附图说明
图1是本发明一种双像机的人群人数统计方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种双像机的人群人数统计方法，流程图如图1所示，监控场景中有目标像机A和辅助像机B，利用目标像机A视频帧统计人群人数，利用辅助像机B中的视频帧数据辅助A中数据进行训练，目标人群数据集DA为统计目标像机A视频帧中人群块的像素特征和纹理特征以及目标块实际人数；辅助人群数据集DB为统计辅助像机B视频帧中人群块的像素特征和纹理特征以及目标块实际人数；迁移人群数据集DR为从辅助人群数据集DB中迁移与目标人群数据集DA中样本特征相近的人群数据样本；
其中，像素特征包括前景面积、前景边缘像素数和前景周长；纹理特征包括韦伯特征(WLD)和局部二值模式(LBP)；
步骤1、使用基于实例的TraAdaBoost迁移学习算法从辅助人群数据集DB中迁移与目标人群数据集DA中样本特征相近的人群数据样本，设为迁移人群数据集DR，合并迁移人群数据集DR和目标人群数据集DA为人群数据集D；
步骤2、根据人群数据集D中遮挡人群块实际人数与预测人数的差值来融合人群数据集D中的像素特征和纹理特征，具体过程如下：
步骤2.1、对人群数据集D，使用线性拟合方法，分别拟合人群数据集D中未遮挡人群块实际人数ypix＝yedge＝ycontour与未遮挡人群块的前景面积xpix、前景边缘像素数xedge和前景周长xedge这三种像素特征之间的线性关系，如式(1)所示：
其中，a～f为需要拟合的参数，利用最小二乘法求取这些拟合参数；
步骤2.2、当用不遮挡人群像素特征和人群人数拟合公式(1)对遮挡人群人数进行拟合时，拟合出的人数将会和实际人数出现较大的差异，因此该差异值就可以作为衡量人群遮挡严重程度的依据，也反映了人群密度的高低。
设和分别表示遮挡人群块的前景面积、前景边缘像素数和前景周长，用公式(1)得到该遮挡人群块预测出的人群人数分别为 和该遮挡块的实际人群人数为yreal，则预测出的人群块人数和实际人群块的人数的差值如式(2)所示：
步骤2.3、设为和的均值，计算所有人群数据集D中人群块的同时求人群数据集D中遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值建立第二支持向量回归模型SVR2，利用各人群块的及作为第二支持向量回归模型SVR2的输入，相应的作为输出，训练该第二支持向量回归模型SVR2，训练好的第二支持向量回归模型SVR2可预测各人群块的作为衡量各人群块遮挡严重程度的判断依据；
步骤2.4、设FA为融合后的人群块特征向量，Fpixel为人群块像素特征，Ftextural为人群块纹理特征，则融合后的人群块特征向量FA为：
步骤3、采用第一支持向量回归模型(SVR1)作为人群人数统计模型，以步骤2中获取的各人群块的融合人群数据集D中的像素特征和纹理特征作为输入，相应各人群块的实际人数为输出，使用libsvm库中的e-SVR类型支持向量机训练该SVR1模型，其中训练参数设置为为：c＝512.0，g＝0.0625，p＝0.125，其余参数为libsvm库默认参数。
步骤4、输入一幅新的人群图像，提取像素特征和纹理特征，根据步骤3训练好的第一支持向量回归模型SVR1预测输入的人群图像中的人群人数，具体过程如下：
步骤4.1、从所输入的新的人群图像中提取各人群块的像素特征Fpixel和各人群块的纹理特征Ftextural；
步骤4.2、计算各人群块的遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值并将它们作为训练好的第二支持向量回归模型的输入，求各人群块的
步骤4.3、根据步骤4.2中得到的各人群块的代入公式(3)求各人群块融合后的特征向量FA；
步骤4.4、将步骤4.3得到的各人群块融合后的特征向量FA作为第一支持向量回归模型SVR1的输入，求出各人群块的人数，最后将各人群块的人数相加作为该人群图像统计出的人数。
本发明一种双像机的人群人数统计方法利用迁移学习方法解决训练数据缺失和分布不平衡问题，迁移学习能从辅助数据集中迁移出与目标数据集最接近的样本实例，从而解决训练数据缺失和分布不均衡问题。本发明将遮挡块真实人数与预测人数的差值作为衡量目标块中人群遮挡严重程度的依据来融合像素特征和纹理特征，从而使用像素特征描述较低人数的目标块，使用纹理特征描述较高人数的目标块，从而提高人数统计模型的准确性。实验结果表明本发明能较准确预测人群人数，其中平均绝对误差为0.0851。

Claims (5)

1.一种双像机的人群人数统计方法，其特征在于，监控场景中有目标像机A和辅助像机B，利用目标像机A视频帧统计人群人数，利用辅助像机B中的视频帧数据辅助A中数据进行训练，目标人群数据集DA为统计目标像机A视频帧中人群块的像素特征和纹理特征以及目标块实际人数；辅助人群数据集DB为统计辅助像机B视频帧中人群块的像素特征和纹理特征以及目标块实际人数；迁移人群数据集DR为从辅助人群数据集DB中迁移与目标人群数据集DA中样本特征相近的人群数据样本；
具体包括以下方法步骤：
步骤1、合并迁移人群数据集DR和目标人群数据集DA为人群数据集D；
步骤2、根据人群数据集D中遮挡人群块实际人数与预测人数的差值来融合人群数据集D中的像素特征和纹理特征；
步骤3、以步骤2中获取的各人群块的融合人群数据集D中的像素特征和纹理特征作为输入，相应各人群块的实际人数为输出，训练第一支持向量回归模型；
步骤4、输入一幅新的人群图像，提取像素特征和纹理特征，根据步骤3训练好的第一支持向量回归模型预测输入的人群图像中的人群人数。
2.根据权利要求1所述的一种双像机的人群人数统计方法，其特征在于，所述纹理特征包括韦伯特征和局部二值模式。
3.根据权利要求1所述的一种双像机的人群人数统计方法，其特征在于，所述像素特征包括前景面积、前景边缘像素数和前景周长。
4.根据权利要求3所述的一种双像机的人群人数统计方法，其特征在于，所述步骤2的具体方法为：
步骤2.1、对人群数据集D，使用线性拟合方法，分别拟合人群数据集D中未遮挡人群块实际人数ypix＝yedge＝ycontour与未遮挡人群块的前景面积xpix、前景边缘像素数xedge和前景周长xcontour这三种像素特征之间的线性关系，如式(1)所示：
其中，a～f为需要拟合的参数，利用最小二乘法求取这些拟合参数；
步骤2.2、设和分别表示遮挡人群块的前景面积、前景边缘像素数和前景周长，用公式(1)得到该遮挡人群块预测出的人群人数分别为和该遮挡人群块的实际人群人数为yreal，则预测出的人群块人数和实际人群块的人数的差值如式(2)所示：
步骤2.3、设为和的均值，计算所有人群数据集D中人群块的同时求人群数据集D中遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值建立第二支持向量回归模型，利用各人群块的及作为第二支持向量回归模型的输入，相应的作为输出，训练该第二支持向量回归模型，训练好的第二支持向量回归模型可预测各人群块的作为衡量各人群块遮挡严重程度的判断依据；
步骤2.4、设FA为融合后的人群块特征向量，Fpixel为人群块像素特征，Ftextural为人群块纹理特征，则融合后的人群块特征向量FA为：
5.根据权利要求4所述的一种双像机的人群人数统计方法，其特征在于，所述步骤4的具体过程为：
步骤4.1、从所输入的新的人群图像中提取各人群块的像素特征Fpixel和各人群块的纹理特征Ftextural；
步骤4.2、计算各人群块的遮挡块前景面积与前景边缘像素数差的绝对值像素面积与前景周长差的绝对值以及前景边缘与前景周长差的绝对值并将它们作为训练好的第二支持向量回归模型的输入，求各人群块的
步骤4.3、根据步骤4.2中得到的各人群块的代入公式(3)求各人群块融合后的特征向量FA；
步骤4.4、将步骤4.3得到的各人群块融合后的特征向量FA作为第一支持向量回归模型的输入，求出各人群块的人数，最后将各人群块的人数相加作为该人群图像统计出的人数。
CN201510363524.1A 2015-06-25 2015-06-25 一种双像机的人群人数统计方法 Expired - Fee Related CN104933418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510363524.1A CN104933418B (zh) 2015-06-25 2015-06-25 一种双像机的人群人数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510363524.1A CN104933418B (zh) 2015-06-25 2015-06-25 一种双像机的人群人数统计方法

Publications (2)

Publication Number Publication Date
CN104933418A CN104933418A (zh) 2015-09-23
CN104933418B true CN104933418B (zh) 2018-11-06

Family

ID=54120578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510363524.1A Expired - Fee Related CN104933418B (zh) 2015-06-25 2015-06-25 一种双像机的人群人数统计方法

Country Status (1)

Country Link
CN (1) CN104933418B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701469A (zh) * 2016-01-13 2016-06-22 北京大学深圳研究生院 一种基于代价敏感稀疏线性回归的鲁棒人群计数方法
CN106372647B (zh) * 2016-10-13 2019-10-25 河南科技大学 一种基于韦伯局部二值计数的图像纹理分类方法
CN108460325B (zh) * 2018-01-10 2021-07-20 西安理工大学 一种基于elm的双路融合的人群人数统计方法
CN109766865B (zh) * 2019-01-19 2021-02-26 郑州天迈科技股份有限公司 一种分水岭、多区域局域融合和特征跟踪的客流统计方法
CN109919064B (zh) * 2019-02-27 2020-12-22 湖南信达通信息技术有限公司 一种轨道交通车厢内实时人数统计方法和装置
CN112765141A (zh) * 2021-01-13 2021-05-07 杭州电子科技大学 基于迁移学习的连续大规模水质缺失数据填补方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889914B2 (en) * 2003-06-16 2011-02-15 Drexel University Automated learning of model classifications
CN102289686A (zh) * 2011-08-09 2011-12-21 北京航空航天大学 一种基于迁移学习的运动目标分类识别方法
CN104239907A (zh) * 2014-07-16 2014-12-24 华南理工大学 面向变化场景的远红外行人检测方法
CN104615986A (zh) * 2015-01-30 2015-05-13 中国科学院深圳先进技术研究院 利用多检测器对场景变化的视频图像进行行人检测的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889914B2 (en) * 2003-06-16 2011-02-15 Drexel University Automated learning of model classifications
CN102289686A (zh) * 2011-08-09 2011-12-21 北京航空航天大学 一种基于迁移学习的运动目标分类识别方法
CN104239907A (zh) * 2014-07-16 2014-12-24 华南理工大学 面向变化场景的远红外行人检测方法
CN104615986A (zh) * 2015-01-30 2015-05-13 中国科学院深圳先进技术研究院 利用多检测器对场景变化的视频图像进行行人检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于分类一致性的迁移学习及其在行人检测中的应用";于立萍等;《山东大学学报（工学报）》;20130831;第43卷(第4期);全文 *

Also Published As

Publication number Publication date
CN104933418A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104933418B (zh) 一种双像机的人群人数统计方法
CN107133943B (zh) 一种防震锤缺陷检测的视觉检测方法
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN103473542B (zh) 多线索融合的目标跟踪方法
CN104504394B (zh) 一种基于多特征融合的密集人数估计方法和系统
CN106096577A (zh) 一种摄像头分布地图中的目标追踪系统及追踪方法
CN108875794B (zh) 一种基于迁移学习的图像能见度检测方法
CN108876797B (zh) 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法
CN103985108B (zh) 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
CN110517288A (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN106023259B (zh) 一种运动目标频率检测方法及装置
CN108230367A (zh) 一种对灰度视频中既定目标的快速跟踪定位方法
CN101930533B (zh) 在图像采集设备中进行天空检测的装置和方法
CN108596923A (zh) 三维数据的获取方法、装置以及电子设备
CN103679677A (zh) 一种基于模型互更新的双模图像决策级融合跟踪方法
CN109711268A (zh) 一种人脸图像筛选方法及设备
CN103258332A (zh) 一种抗光照变化的运动目标检测方法
CN103049765A (zh) 一种基于鱼眼相机的判断人群密度和人数的方法
CN106709901A (zh) 基于深度先验的模拟雾图生成方法
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN104574381A (zh) 一种基于局部二值模式的全参考图像质量评价方法
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181106

Termination date: 20210625

CF01 Termination of patent right due to non-payment of annual fee