CN108985256A - 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端 - Google Patents

基于场景密度分布的多神经网络人数统计方法、系统、介质、终端 Download PDF

Info

Publication number
CN108985256A
CN108985256A CN201810866332.6A CN201810866332A CN108985256A CN 108985256 A CN108985256 A CN 108985256A CN 201810866332 A CN201810866332 A CN 201810866332A CN 108985256 A CN108985256 A CN 108985256A
Authority
CN
China
Prior art keywords
neural network
scene
demographics
density
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810866332.6A
Other languages
English (en)
Inventor
曹志杰
吴旻烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yobo Intelligent Technology (shanghai) Co Ltd
Original Assignee
Yobo Intelligent Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yobo Intelligent Technology (shanghai) Co Ltd filed Critical Yobo Intelligent Technology (shanghai) Co Ltd
Priority to CN201810866332.6A priority Critical patent/CN108985256A/zh
Publication of CN108985256A publication Critical patent/CN108985256A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端,本发明采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正,且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此,相比传统的检测方法,本发明配合针对不同密度场景训练的网络,更好地克服了高密度以及遮挡带来的问题,又相比于其它针对单张图片的人数计数算法,本发明中不同等级的网络因使用了重叠的人数范围,故使得本发明更加适合对视频的人群计数。

Description

基于场景密度分布的多神经网络人数统计方法、系统、介质、 终端
技术领域
本发明涉及机器视觉领域,特别是涉及基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端。
背景技术
随着深度学习和计算机视觉技术的发展,人们的生活和生产活动都随之产生了极大的优化,尤其是在安防、零售、工业、或者智能终端等方面更是产生了巨大的技术革新。
人流量统计在机场、展览厅、游乐园等公共场合的需求也变得越来越大。快速且精确的人流量统计可以为有人流限制的场所提供有效的预警以挺高安全性,也可以为景区、商店等场所提供客流量的直接反馈,为这些场所商业模型的调整提供了有效的反馈机制。
人流量统计在学术界属于视觉检测的一大重要分支,学术上尚不能尽善尽美,仍处于不断研究和更新的阶段。目前与人流量统计相关的产品,大多使用传统的基于行人检测的统计人数的方法,但该方法在遇到遮挡或者姿态变化时,统计效果就会很差。
相比于传统的检测方法,通过神经网络采用回归的方式输出人群密度图,并通过人群密度的积分来统计人数,在遇到遮挡问题时能够更有效地估计人数。近年来,已陆续出现采用神经网络解决人流统计的问题,但现有的用于统计人数的神经网络带有泛化能力不足且精度较差等问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端,用于解决现有的人数统计方法泛化能力不足,精度较差等技术问题。
为实现上述目的及其他相关目的,本发明提供一种于场景密度分布的多神经网络人数统计方法,用于统计图像中的总人数,所述方法包括,获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像;选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数;加总各子图像中的人数,以得到待统计人数的图像中的总人数。
于本发明的一实施例中,所述方法在执行统计图像中的总人数之前还执行:基于训练数据集获得适用于不同人群密度等级的多个人数统计神经网络模型。
于本发明的一实施例中,所述训练数据集包括现有公共数据集,所述方法包括:按照预设窗口尺寸将现有公共数据集中的每张图像切分为多张切片;判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求;若符合,则保存该切片;若不符合,则将截取窗口移至下一切片。
于本发明的一实施例中,判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求的方式包括:判断当前切片中的人数是否达标;若人数达标,则判断当前切片中的人数方差是否达标;若人数方差达标,则保存该切片;若人数不达标或人数方差不达标,则舍弃该切片。
于本发明的一实施例中,所述训练数据集包括实时数据集,所述实时数据集包括基于室内场景的数据集;所述方法包括:对实时数据集中的各图像进行标定并增强实时数据集。
于本发明的一实施例中,增强实时数据集的方式包括:改变实时数据集中的图像的明暗程度。
于本发明的一实施例中,所述方法还包括:判断统计出的子图像中的人数是否超出预设人数范围;若超出预设人数范围,则将当前密度等级的人数统计神经网络模型切换至与统计出的人数相匹配等级的人数统计神经网络模型。
于本发明的一实施例中,采用滞回方式切换人数统计神经网络模型,其具体包括:相邻等级的人数统计神经网络模型之间具有一重叠的人数区间。
于本发明的一实施例中,所述人群密度等级包括稀疏、中等、密集、及很密集;所述人数统计神经网络模型包括稀疏人群密度神经网络模型、中等人群密度神经网络模型、密集人群密度神经网络模型、及很密集人群密度神经网络模型。
为实现上述目的及其他相关目的,本发明提供一种基于场景密度分布的多神经网络人数统计系统,其包括:图像或视频摄取装置,用于摄取待统计人数的图;人数统计装置,通信连接所述图像或视频摄取装置;所述人数统计装置用于获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像,选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数,加总各子图像中的人数,以得到待统计人数的图像中的总人数。
为实现上述目的及其他相关目的,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述基于场景密度分布的多神经网络人数统计方法。
为实现上述目的及其他相关目的,本发明提供一种电子终端,包括:处理器、存储器、及收发器;所述存储器用于存储计算机程序,所述收发器用于与外部设备通信连接,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行所述基于场景密度分布的多神经网络人数统计方法。
如上所述,本发明的基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端,具有以下有益效果:本发明采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正,且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此,相比传统的检测方法,本发明配合针对不同密度场景训练的网络,更好地克服了高密度以及遮挡带来的问题,又相比于运用统一固定的网络统计方法,更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。
附图说明
图1显示为本发明一实施例中基于场景密度分布的多神经网络人数统计方法的示意图。
图2显示为本发明一实施例中待统计人数的图像的示意图。
图3显示为本发明一实施例中基于场景密度分布的多神经网络人数统计方法的示意图。
图4显示为本发明一实施例中采用滞回方式的多神经网络模型的示意图。
图5显示为本发明一实施例中基于现有公共数据集建立神经网络模型的流程示意图。
图6显示为本发明一实施例中基于场景密度分布的多神经网络人数统计系统的示意图。
图7显示为本发明一实施例中电子终端的结构示意图。
元件标号说明
61 图像或视频摄取装置
62 人数统计装置
71 处理器
72 存储器
73 收发器
74 通信接口
75 系统总线
S11~S13 方法流程
S31~S36 方法流程
S51~S54 方法流程
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明提供基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端,用于统计人数,本发明能够适应疏密不同的场景并有效规避建筑物等背景的影响,从而提升系统的泛化能力及统计精度。下文将结合实施例说明本发明的实施方式及实现原理。
如图1所示,展示本发明一实施例中基于场景密度分布的多神经网络人数统计方法的流程示意图。于本实施例中,所述基于场景密度分布的多神经网络人数统计方法应用于智能终端。所述智能终端可以是移动终端,也可是固定终端;所述移动终端例如为手机、平板电脑、笔记本电脑、或者可穿戴设备等等,其中,所述可穿戴设备例如可以是智能手环、智能手表、智能头盔、或者智能眼镜等设备;所述固定终端例如为台式电脑、云端服务器等设备。
所述基于场景密度分布的多神经网络人数统计方法,针对视频数据流,可通过每隔几帧取出图像数据,并对各图像数据按照如下各步骤的方式进行人数统计;针对单张图像则可直接执行如下各步骤进行人数统计:
S11:获取基于人工分割图像所得到的多个不同人群密度等级的子图像。于本实施例中,由于相机的摆放位置相对固定,故可针对该相机拍摄的图像按照人群密度等级的不同进行人工分割,从而分为多个人群密度等级不同的子图像。
为便于描述,下面以图2所展示的场景为例来说明如何按照人群密度等级分割图像。于本实施例中,该场景展示一商场及其广场,将该场景按照人群密度等级的不同分为背景建筑区域、密集区域、及稀疏区域,其中,背景建筑物区域通常为无人区域,密集区域是指人群密度较高的区域,稀疏区域是指人群密度较为稀疏的区域。需要说明的是,本发明中场景分割的方式并不受限于本实施例中将场景横向分割的方式,且分割子场景的数量亦不限于本实施例中子场景的数量,例如在其它的实施例中可将场景按竖向分割,可分割为多于或少于3个子场景,本发明对此不作限定。
S12:选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数。需要说明的是,与各子图像的人群密度等级相匹配的人数统计神经网络模型包括一建立模型的过程,该过程将于下文中予以详细说明,此处仅涉及如何使用各人数统计神经网络模型。
可选的,所述人群密度等级可具体划分为稀疏、中等、密集、及很密集等多个等级,所述人数统计神经网络模型包括与各人群密度等级相对应的稀疏人群密度神经网络模型、中等人群密度神经网络模型、密集人群密度神经网络模型、及很密集人群密度神经网络模型。举例来说:将人数小于30人的图像对应的人群密度定为稀疏,将30~60人的图像对应的人群密度定为中等,将50~110人的图像对应的人群密度定为密集,将大于100人的图像对应的人群密度定为很密集。本领域技术人员应当知晓的是,本实施例中用于划分人群密度等级的人数只是一种示例,其并非用于限制本发明的范围。
仍以上文中图2为例,针对不同相机只需获取图像的输入端,并根据人流量变化的特点,不同人流密度的子图像分别采用与之相匹配的神经网络模型进行人数统计。具体的,背景建筑部分通常为无人区域,故可不进行人数统计;针对人工分割出的密集区域,则优先选用密集人群密度神经网络模型进行人数统计;针对人工分割出的稀疏区域,则优先选用稀疏人群密度神经网络模型。
值得注意的是,本发明提供的技术方案在人数统计之前先行进行图像分割,分割出的子图像采用与之匹配的神经网络模型分别进行人数统计,这样就有效规避了背景建筑的影响,从而大大提升了人数统计的效率和精度。
S13:加总各子图像中的人数,以得到待统计人数的图像中的总人数。仍以图2为例,该图像中的总人数即为背景建筑区域、密集区域、及稀疏区域的人数的加总。
需要说明的是,本发明适用于公共场合的人数统计,所述公共场合并不限于上文中的商场,其还可例如为机场、展览厅、游乐园、演唱会现场、或者景区等等,本发明对此不作限定。
如图3所示,展示本发明另一实施例中基于场景密度分布的多神经网络人数统计方法的流程示意图。于本实施例中,所述人数统计方法执行如下步骤:
S31:获取基于人工分割图像所得到的多个不同人群密度等级的子图像.
S32:选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数。
S33:加总各子图像中的人数,以得到待统计人数的图像中的总人数。
本实施例中步骤S31~S33的实施方式与图1对应的实施例中步骤S11~S13的实施方式类似,故不再赘述。
S34:判断统计出的子图像中的人数是否超出预设人数范围。
S35:若超出预设人数范围,则将当前密度等级的人数统计神经网络模型切换至与统计出的人数相匹配等级的人数统计神经网络模型。
S36:若未超出预设人数范围,则继续使用当前密度等级的人数统计神经网络模型。
具体的,当统计到的人数超过当前密度等级的人数统计神经网络模型的人数上限时,则切换至上一级密度等级的人数统计神经网络模型;当统计到的人数达到当前密度等级的人数统计神经网络模型的人数下限时,则切换至下一级密度等级的人数统计神经网络模型。本实施例的自动切换模型的功能,可以更加灵活地适应不同人群密度的场景以提高产品的鲁棒性;例如,通常人群密度较低的区域若突然迎来人流高峰,本发明会将神经网络模型及时调整至上一密度等级的人数统计神经网络模型,从而更好的适应当前实际场景以获取更加准确的统计结果。
优选的,在一实施例中,所述方法采用滞回方式切换人数统计神经网络模型。所述滞回方式具体是指相邻等级的人数统计神经网络模型之间具有一重叠的人数区间。为便于描述,下文以图4为例,解释说明如何采用滞回方式切换人数统计神经网络模型。
于图4中,人群密度等级由低到高分别设有人数统计神经网络模型1、人数统计神经网络模型2、及人数统计神经网络模型3,为便于描述,下文以模型1、模型2、模型3指代。其中,模型1与模型2重叠的人数区间为20人~30人,模型2与模型3重叠的人数区间为50~60人。
若针对一待统计人数的图像采用模型1进行人数统计,且统计结果超过模型1的人数上限30人,则将当前的模型1自动切换至模型2;若针对一待统计人数的图像采用模型2进行人数统计,且统计结果低于模型2的人数下限20人,则将当前的模型2自动切换至模型1。模型2与模型3之间的切换方式可基于模型1与模型2之间的切换方式进行,故不再赘述。
值得注意的是,相比于将模型切换的触发条件设为某一人数值,本发明将模型切换的触发条件设为一人数区间,这样的好处在于模型切换更加平稳,若模型切换条件为某个数值,则当统计人数在该数值附近浮动时会导致模型频繁的切换,从而导致人数统计输出显示不稳定的现象,严重影响了系统的稳定性。
上文就多神经网络人数统计方法的执行方法做了详细介绍,下文将针对如何建立不同人群密度等级的神经网络做进一步地说明。
建立不同人群密度等级的神经网络的方式包括:基于训练数据集获得适用于不同人群密度等级的多个人数统计神经网络模型。可选的,所述训练数据集例如为现有公共数据集,例如UCF_CC_50、UCSD、WorldExpo、或者ShanghaiTech等数据集;所述训练数据集还可以是实时数据集,例如基于室内场景的数据集或者其它无背景需裁剪的实时图像等等。
如图5所示,展示本发明一实施例中基于现有公共数据集建立神经网络模型的流程示意图。于本实施例中,基于现有公共数据集建立神经网络模型执行如下各步骤:
S51:按照预设尺寸将现有公共数据集中的每张图像切分为多张切片。
也即,将公共数据集中的每张图像按照不同的人数要求截取切片,同时规避背景占据较多图像面积的情况。关于切片的窗口尺寸,本发明对此未作限定,例如可选用6:5、5:4、4:3、3:2、或者2:1等多种尺寸。
S52:判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求。需要说明的是,在建立神经网络模型的过程中,通过现有的人数统计方法进行人数统计,据以判断当前切片中的人数是否符合预设保存要求。现有的人数统计方法例如为:Ground Truth统计方法或者通过对图像灰度化以后进行像素统计的方式等等,鉴于该些人数统计方法均为现有技术,故不再赘述。
具体的,判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求的方式:具体执行如下各步骤:判断当前切片中的人数是否达标;若人数达标,则判断当前切片中的人数方差是否达标;若人数方差达标,则保存该切片;若人数不达标或人数方差不达标,则舍弃该切片。
其中,判断人数方差是否达标的目的在于舍弃哪些包含太多背景建筑的切片。因神经网络模型无需处理图像中大面积的建筑背景,故通过人数方差法减小建筑背景的干扰,以进一步提升模型建立的效率和精准度。
人数方差的计算方法如下:其中,n代表切片数量,xi代表第i个切片,代表n张切片的平均人数。切片的人数方差std越大,则表示该切片中的人员分布越不均匀。若一切片的人数方差超过一预设阈值,则可判断该切片的人员分布程度不符合保存要求,从而舍弃该切片。
S53:若符合,则保存该切片。
S54:若不符合,则将截取窗口移至下一切片。
对于现有公共数据集,由于该数据集已有现成的标签,故只需通过对图片进行不同人数要求的切割,以及按照不同人数密度汇总来达到密度分类及数据增强的目的。除了在现有公共数据集的基础上建立不同密度等级的神经网络模型之外,本发明还在实时数据集的基础上建立不同密度等级的神经网络模型,从而令神经网络模型更加适应于室内场景等实时图像场景的人数统计。
以室内视频作为实时数据集为例,由于室内视频截取的图像没有标签,需进行数据集标定并进行数据增强。所述数据集标定,是将数据集中无标签的图像进行标定,例如可使用监督式机器学习对无标签的数据进行标签的预测,因数据集标定技术已为现有,故不再赘述。所述数据增强,主要是指机器学习过程中需要大量的训练数据,但现实中数据集的数量有限,而过少的数据量极易造成过拟合问题,故需要增强数据以增大训练数据量。
在一可选的设计中,可通过改变实时数据集中的图像的明暗程度的方式来增强实时数据集,或者可通过改变实时数据集中的图像的背景颜色的方式来增强实时数据集,还可通过对实时数据集中的图像进行旋转、翻转、尺寸缩放、平移变换、对比度变换、噪声扰动、或者随机选择一块区域进行涂黑等操作实现数据增强,从而得到泛化能力更强的神经网络模型。
值得注意的是,现有的人数统计方法大多采用不考虑场景的通用一个或多个网络的方法,这对于场景人数疏密不定的情况而言,会导致泛化能力不足且精度较差等技术问题。本发明采用的基于场景密度分布的多神经网络人数统计方法则很好地解决了上述各技术问题,其采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正,且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此,相比传统的检测方法,本发明配合针对不同密度场景训练的网络,更好地克服了高密度以及遮挡带来的问题,又相比于运用统一固定的网络统计方法,更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。也因此,本专利因此能更高效以及精确地实现对复杂场景例如商场,机场,游乐场,街道等的人数统计。
如图6所示,展示本发明一实施例中基于场景密度分布的多神经网络人数统计系统的示意图。所述人数系统包括图像或视频摄取装置61和人数统计装置62,所述图像或视频摄取装置61例如为照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、或者集成有光学系统和CMOS芯片的摄像模块等等;所述人数统计装置62例如为带有运算功能的智能终端,其可以是移动终端,也可是固定终端;所述移动终端例如为手机、平板电脑、笔记本电脑、或者可穿戴设备等等,其中,所述可穿戴设备例如可以是智能手环、智能手表、智能头盔、或者智能眼镜等设备;所述固定终端例如为台式电脑、云端服务器等设备。
具体的,所述图像或视频摄取装置61用于摄取待统计人数的图像;所述人数统计装置62通信连接所述图像或视频摄取装置61,用于获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像,选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数,加总各子图像中的人数,以得到待统计人数的图像中的总人数。因基于场景密度分布的多神经网络人数统计系统的实施方式与上文中基于场景密度分布的多神经网络人数统计方法的实施方式类似,故不再赘述。
如图7所示,展示本发明一实施例中电子终端的结构示意图。本实施例提供的电子终端包括处理器71、存储器72、收发器73、通信接口74和系统总线75;存储器72和通信接口74通过系统总线75与处理器71和收发器73连接并完成相互间的通信,存储器72用于存储计算机程序,通信接口74和收发器73用于和其他设备进行通信,处理器71用于运行计算机程序,使电子终端执行如上人数统计方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本发明提供的基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端,其采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正,且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此,相比传统的检测方法,本发明配合针对不同密度场景训练的网络,更好地克服了高密度以及遮挡带来的问题,又相比于运用统一固定的网络统计方法,更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。也因此,本专利因此能更高效以及精确地实现对复杂场景例如商场,机场,游乐场,街道等的人数统计。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于场景密度分布的多神经网络人数统计方法,其特征在于,用于统计图像中的总人数,所述方法包括:
获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像;
选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数;
加总各子图像中的人数,以得到待统计人数的图像中的总人数。
2.根据权利要求1所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,所述方法在执行统计图像中的总人数之前还执行:基于训练数据集获得适用于不同人群密度等级的多个人数统计神经网络模型。
3.根据权利要求2所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,所述训练数据集包括现有公共数据集,所述方法包括:
按照预设窗口尺寸将现有公共数据集中的每张图像切分为多张切片;
判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求;
若符合,则保存该切片;
若不符合,则将截取窗口移至下一切片。
4.根据权利要求3所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求的方式包括:
判断当前切片中的人数是否达标;
若人数达标,则判断当前切片中的人数方差是否达标;
若人数方差达标,则保存该切片;
若人数不达标或人数方差不达标,则舍弃该切片。
5.根据权利要求2所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,所述训练数据集包括实时数据集,所述实时数据集包括基于室内场景的数据集;所述方法包括:对实时数据集中的各图像进行标定并增强实时数据集。
6.根据权利要求5所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,增强实时数据集的方式包括:改变实时数据集中的图像的明暗程度。
7.根据权利要求1所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,所述方法还包括:
判断统计出的子图像中的人数是否超出预设人数范围;
若超出预设人数范围,则将当前密度等级的人数统计神经网络模型切换至与统计出的人数相匹配等级的人数统计神经网络模型。
8.根据权利要求7所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,采用滞回方式切换人数统计神经网络模型,其具体包括:相邻等级的人数统计神经网络模型之间具有一重叠的人数区间。
9.根据权利要求1~8中任一项所述的基于场景密度分布的多神经网络人数统计方法,其特征在于,所述人群密度等级包括稀疏、中等、密集、及很密集;所述人数统计神经网络模型包括稀疏人群密度神经网络模型、中等人群密度神经网络模型、密集人群密度神经网络模型、及很密集人群密度神经网络模型。
10.一种基于场景密度分布的多神经网络人数统计系统,其特征在于,包括:
图像或视频摄取装置,用于摄取待统计人数的图像;
人数统计装置,通信连接所述图像或视频摄取装置;所述人数统计装置用于获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像,选用与各子图像的人群密度等级相匹配的人数统计神经网络模型,以统计各子图像中的人数,加总各子图像中的人数,以得到待统计人数的图像中的总人数。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至9中任一项所述基于场景密度分布的的多神经网络人数统计方法。
12.一种电子终端,其特征在于,包括:处理器、存储器、及收发器;
所述存储器用于存储计算机程序,所述收发器用于与外部设备通信连接,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至9中任一项所述的多神经网络人数统计方法。
CN201810866332.6A 2018-08-01 2018-08-01 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端 Pending CN108985256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866332.6A CN108985256A (zh) 2018-08-01 2018-08-01 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866332.6A CN108985256A (zh) 2018-08-01 2018-08-01 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端

Publications (1)

Publication Number Publication Date
CN108985256A true CN108985256A (zh) 2018-12-11

Family

ID=64554602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866332.6A Pending CN108985256A (zh) 2018-08-01 2018-08-01 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端

Country Status (1)

Country Link
CN (1) CN108985256A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN109948443A (zh) * 2019-02-18 2019-06-28 华北电力大学(保定) 基于视频的人数统计方法、装置及终端设备
CN111144329A (zh) * 2019-12-29 2020-05-12 北京工业大学 一种基于多标签的轻量快速人群计数方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN112327661A (zh) * 2020-11-28 2021-02-05 安徽信息工程学院 人员密集度识别技术在能耗管理系统中的运用
CN113822111A (zh) * 2021-01-19 2021-12-21 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN104992223A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深度学习的密集人数估计方法
CN106056078A (zh) * 2016-05-31 2016-10-26 武汉大学深圳研究院 一种基于多特征回归式集成学习的人群密度估计方法
CN106203331A (zh) * 2016-07-08 2016-12-07 苏州平江历史街区保护整治有限责任公司 一种基于卷积神经网络的人群密度估算方法
CN106845621A (zh) * 2017-01-18 2017-06-13 山东大学 基于深度卷积神经网络的密集人群人数计数方法及系统
CN107145821A (zh) * 2017-03-23 2017-09-08 华南农业大学 一种基于深度学习的人群密度检测方法和系统
CN107909044A (zh) * 2017-11-22 2018-04-13 天津大学 一种结合卷积神经网络和轨迹预测的人数统计方法
CN107944327A (zh) * 2016-10-10 2018-04-20 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN104992223A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深度学习的密集人数估计方法
CN106056078A (zh) * 2016-05-31 2016-10-26 武汉大学深圳研究院 一种基于多特征回归式集成学习的人群密度估计方法
CN106203331A (zh) * 2016-07-08 2016-12-07 苏州平江历史街区保护整治有限责任公司 一种基于卷积神经网络的人群密度估算方法
CN107944327A (zh) * 2016-10-10 2018-04-20 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置
CN106845621A (zh) * 2017-01-18 2017-06-13 山东大学 基于深度卷积神经网络的密集人群人数计数方法及系统
CN107145821A (zh) * 2017-03-23 2017-09-08 华南农业大学 一种基于深度学习的人群密度检测方法和系统
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备
CN107909044A (zh) * 2017-11-22 2018-04-13 天津大学 一种结合卷积神经网络和轨迹预测的人数统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆玲等: "《图像目标分割方法》", 30 November 2016, 哈尔滨:哈尔滨工程大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948443A (zh) * 2019-02-18 2019-06-28 华北电力大学(保定) 基于视频的人数统计方法、装置及终端设备
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN109815936B (zh) * 2019-02-21 2023-08-22 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN111144329A (zh) * 2019-12-29 2020-05-12 北京工业大学 一种基于多标签的轻量快速人群计数方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN111178276B (zh) * 2019-12-30 2024-04-02 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN112327661A (zh) * 2020-11-28 2021-02-05 安徽信息工程学院 人员密集度识别技术在能耗管理系统中的运用
CN113822111A (zh) * 2021-01-19 2021-12-21 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
CN113822111B (zh) * 2021-01-19 2024-05-24 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置

Similar Documents

Publication Publication Date Title
CN108985256A (zh) 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端
KR101655102B1 (ko) 이벤트 검출을 위해 시각 정보를 프로세싱하기 위한 시스템 및 방법
CN107145833A (zh) 人脸区域的确定方法和装置
CN105976378B (zh) 基于图模型的显著性目标检测方法
CN103778442B (zh) 一种基于视频人数统计分析的中央空调控制方法
US8472746B2 (en) Fast depth map generation for 2D to 3D conversion
CN110166685A (zh) 用来捕获与目标图像模型对准的数字图像的智能指导
CN110458038A (zh) 基于双链深度双流网络的小数据跨域动作识别方法
WO2019083738A9 (en) Methods and systems for applying complex object detection in a video analytics system
CN110263611B (zh) 上下文感知定位、映射和跟踪
KR101401184B1 (ko) 동영상의 객체 경계 추정 방법
CN110956122B (zh) 图像处理方法及装置、处理器、电子设备、存储介质
CN108764085A (zh) 基于生成对抗网络的人群计数方法
CN109740444B (zh) 人流量信息展示方法及相关产品
CN101231755A (zh) 运动目标跟踪及数量统计方法
CN102184551A (zh) 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统
CN111340882B (zh) 基于图像的室内定位方法及装置
CN107481067B (zh) 一种智能广告系统及其交互方法
WO2020211427A1 (zh) 基于扫描点云数据的分割与识别方法、系统及存储介质
CN109840491A (zh) 视频流播放方法、系统、计算机装置及可读存储介质
CN110827391A (zh) 图像渲染方法、装置、设备及存储介质
Chun et al. Real-time smart lighting control using human motion tracking from depth camera
CN110348343A (zh) 一种暴力行为监测方法、装置、存储介质及终端设备
CN109815936A (zh) 一种目标对象分析方法及装置、计算机设备和存储介质
KR20220024986A (ko) 타깃 추적 방법 및 장치, 저장 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211