CN111209781B - 一种统计室内人数的方法及装置 - Google Patents

一种统计室内人数的方法及装置 Download PDF

Info

Publication number
CN111209781B
CN111209781B CN201811396889.4A CN201811396889A CN111209781B CN 111209781 B CN111209781 B CN 111209781B CN 201811396889 A CN201811396889 A CN 201811396889A CN 111209781 B CN111209781 B CN 111209781B
Authority
CN
China
Prior art keywords
human
video image
frame
target
humanoid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811396889.4A
Other languages
English (en)
Other versions
CN111209781A (zh
Inventor
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201811396889.4A priority Critical patent/CN111209781B/zh
Publication of CN111209781A publication Critical patent/CN111209781A/zh
Application granted granted Critical
Publication of CN111209781B publication Critical patent/CN111209781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种统计室内人数的方法及装置,该方法包括:获取摄像头连续采集的N帧视频图像,N为大于1的正整数;利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;根据所述人形目标的运动轨迹统计室内人数。本发明采用目标检测神经网络进行训练识别人,对视频图像中的人形目标进行检测和跟踪,根据人形目标的运动轨迹更可靠有效的统计室内人数。

Description

一种统计室内人数的方法及装置
技术领域
本发明涉及人工智能识别领域,尤其涉及一种统计室内人数的方法及装置。
背景技术
在实际生活中为了使得空调、风扇等制冷设备更为智能,通常需要让这些制冷设备知道室内人数的多少来控制风量的大小,使得室内温度更快的达到预设温度。
人数统计方法大致可分为三类,分别是红外感应检测、三辊闸统计、和基于图像处理的人数统计方法。随着现在图像处理技术、人工智能识别技术以及计算机速度的进一步发展,图像处理的人数统计方法越来越成为主要方法,因为图像处理统计方法通常在前端设备上只需要一个摄像头即可,成本较低,且使用方便,而三辊闸统计所使用的设备过大,影响美观,使用复杂,特别不适合家庭使用;同理,红外感应检测方式虽然在使用上不复杂,也不太影响美观,但是如果进出的人搬着大件的东西,很容易引起误报,从而造成统计数据错误。另外传统的图像处理技术是通过简单提取少量特征,比如说提取头或者头肩来处理,那势必容易被一些类似头或者头肩的物体造成统计干扰,于是有了采用神经网络进行训练识别人的方法,但是这类方法通常采用前端使用摄像头,后端使用服务器等设备来进行人员识别和统计,成本也较高。
发明内容
本发明提供一种统计室内人数的方法及装置,解决了现有技术统计成本高,使用复杂,统计不准确的问题。
为了解决上述的技术问题,本发明提供了一种统计室内人数的方法及装置,具体包括:
依照本发明第一方面,提供一种统计室内人数的方法,该方法包括:
获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;
根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;
根据所述人形目标的运动轨迹统计室内人数。
依照本发明第二方面,一种统计室内人数的装置,该装置包括存储器和处理器,所述处理器用于:
获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;
根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;
根据所述人形目标的运动轨迹统计室内人数。
依照本发明第三方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,该计算机程序被执行时实现上述的方法。
本发明提供的一种统计室内人数的方法及装置与现有技术相比,具有如下优点和有益效果:
本发明采用目标检测神经网络进行训练识别人,对视频图像中的人形目标进行检测和跟踪,根据人形目标的运动轨迹更可靠有效的统计室内人数,方案结构较为简单,成本较低,安装简便,适合多种使用场合。
附图说明
图1为实施例一提供的一种统计室内人数的方法示意图;
图2为实施例三提供的一种统计室内人数的装置示意图;
图3为实施例一提供的摄像头安装视角侧视图;
图4为实施例一提供的视频图像画面及人形方框位置示意图;
图5为实施例一提供的人形目标追踪和人数统计流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合说明书附图对本发明实施例做进一步详细描述。
实施例一
本发明提供一种统计室内人数的方法,如图1所示,包括:
步骤101,获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
摄像头可以安装在室内出入区域,采集出入区域的视频数据,视频数据由连续的多帧图像组成,获取其中的N帧视频图像。
室内出入区域可以为一个或多个,可以为门框所在的区域。
步骤102,利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;
所述人形目标为所述视频图像上存在符合人形数据特征的一个区域。
所述人形目标在对应的视频图像中的位置可以为人形目标在所述视频图像上的一个区域,也可以为人形目标某一可以代表人形目标位置的点在所述视频图像上的位置。
预先训练的目标检测神经网络为服务器将M帧包括人形目标的视频图像及每个人形目标在的对应的视频图像中位置作为训练样本,通过神经网络学习获得的神经网络模型。
可以采用已有的目标检测神经网络模型,利用M帧包括人形目标的视频图像及每个人形目标在的对应的视频图像中位置进行微调Fine-tuning训练,对神经网络模型的权重进行更新,生产针对本实施例的人形目标识别的权重文件,得到训练好的目标检测神经网络模型,利用所述训练好的目标检测神经网络模型识别人形目标。
定位每帧视频图像中符合人形数据特征的至少一个人形方框区域;
以三线感应区的水平方向和垂直方向建立坐标轴,确定每个人形方框区域的中心坐标为所述人形方框区域内人形目标在对应的视频图像中的位置。
利用预先训练的目标检测神经网络定位每帧视频图像三线感应区,所述三线感应区为室内门框线、室内门框线两侧的第一感应线和第二感应线所在区域;
对每帧视频图像的三线感应区进行人形目标检测。
定位每帧视频图像中符合人形数据特征的至少一个人形方框区域之后,还包括:
通过预先训练的目标检测神经网络,根据设置的单个人形方框面积阈值计算定位到的人形方框区域中的人数。
人形检测就是对进出门的是否是人进行识别和判定,检测的准确性对人数统计有很大的影响。
通过目标检测神经网络自学习识别人形目标,能让系统自动框出人形目标的大致位置(x,y,w,h),如图4所示,实线矩形框代表画面,虚线矩形框代表通过目标检测神经网络识别并框出来的人形目标的人形方框,其中画面的左顶点认为是图像坐标系中的(0,0)位置,(x,y)是目标左顶点相对于(0,0)的位置,w表示目标的宽度,h表示目标的高度。
通过以上方式即完成了人形识别这一关键步骤,并框定了人形目标在视频图像中的相对位置。
步骤103,根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;
根据人形目标的运动轨迹可以确定所述人形目标的运动方向。
根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置计算每个人形目标的移动速度;
根据第n帧视频图像中的每个人形目标的位置和移动速度,预测第n+1帧视频图像中的每个人形目标的预测位置;
根据定位的第n+1帧视频图像中至少一个人形目标的位置,确定离任一个人形目标的预测位置最近的一个人形目标的位置,作为所述人形目标在第n+1帧视频图像中的位置。
步骤104,根据所述人形目标的运动轨迹统计室内人数。
根据所述人形目标的运动轨迹确定所述人形目标的运动方向,若确定运动方向为进入室内,则将室内人数加上进入室内的人形目标的数量,若确定运动方向为离开室内,则将室内人数减去离开室内的人形目标的数量。
作为判定第m人形目标在第n+1帧中对应的人形目标位置坐标,对于重叠的而没有在第n帧中画出框的人形目标,即用作为新帧的追踪点数据,对于离开感应区内的目标,删除位置信息,并根据运动方向提交室内人员加减之后的统计数据。
作为一种优选的实施例:
在具体实施中,为了提高人数统计的准确性,为了尽量减少人形目标重叠造成的人数统计错误,同时又能尽可能多的提取人形特征而提高识别准确性,摄像头的安装采用俯视视角室内正对门(由顶点ABEF组成的矩形),如图3所示,并且摄像头拍摄到的视频图像底边的视角要能拍摄到虚线1位置以内的虚线CD位置,视频图像的顶边位置要能拍摄到门上边沿位置(AB线),这是为了能正确判断人形目标的运动轨迹和运动方向。
本实施例是通过统计进出门的人形目标的数量来计算室内人数,因此摄像头的安装一定要对着门。本实施例中采用正对门是认为可以减少统计错误,因为拍摄到进出门的面积最大,可以减少人与人重叠的误识别,正对门角度最为合适。在具体实施中,但是并不一定非得正对门,本领域相关技术人员可根据实际情况选择摄像头安装的位置。在具体实施中,选择Yolo v2的Tiny版本的目标检测神经网络,一方面是因为它识别速度非常快,能够达到实时效果,对目标识别准确率高,另外一方面它网络层次少,产生的权重文件小,比较适合后续用到嵌入式芯片并安装到摄像头内部。此处不对选择的目标检测神经网络进行限定,本领域相关技术人员可根据实际情况选择合适的目标检测神经网络。
在具体实施中,如图3所示,虚线2是门的底边,虚线1是室内感应线为第一感应线,虚线3是室外感应线为第二感应线,以往都是采用单线或者双线做感应线,本论文中采用3线做感应线,以此三条感应线围成的区域作为三线感应区。
之所以采用三线感应区,一方面是让摄像机有更多机会发现重叠的人形目标从而统计更为精确,另一方面有统一的更新人数数据的标准(就是人形目标追踪点跨过虚线1)。本文采用的是自动设定感应区的方法,由于摄像头是正对着门的俯视角,可以在设备初始化的过程中拍摄一张图,一般门的颜色会跟附近的墙壁有强的对比色差,所以可以将图转化为二值图,然后将0值和1值突变处提取出来,连通的矩形区域形成了门框图,将门框图的底边作为虚线2即可,以虚线2为基础,向左向右平行移动50个像素作为虚线1和虚线3,从而形成了三线感应区。如果存储空间足够且摄像头视角足够的话,可以向左向右平移更多像素。此处对可移动的像素数不做具体限定,本领域相关技术人员可根据实际情况设定移动像素数。
对人形目标进行跟踪的关键在于选择跟踪点,在图像识别领域许多都是采用追踪特征点的方式,那如果追踪的特征点被遮挡会使得追踪点丢失,即使不发生遮挡特征点,运算量也会较大,为了简单起见,本文中采用一种简单的方法来计算追踪点,将追踪点定义为图4中虚线矩形的中心(即人形方框的中心)。
人形目标的位置坐标(xo,yo)的xo,yo值表示如下:
xo=x+w/2
yo=y+h/2
定义:感应区有k个人形目标,第k个人形目标第n帧的中心为(xokn,yokn),上一帧第(n-1)帧的人形目标中心为(xok(n-1),yok(n-1)),下一帧第(n+1)帧的人形目标中心为(xok(n+1),yok(n+1))。
可以得到第n帧的人形目标追踪点(xon,yon)的值表示如下:
xokn=xkn+wkn/2
yokn=ykn+hkn/2
其中(xkn,ykn,wkn,hkn)是第k个目标第n帧的人形方框的位置信息。
在具体实施中,根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置坐标(xokn,yokn)和(xok(n-1),yok(n-1))计算三线感应区内第k个人形目标在x,y轴上的移动速度vkx,vky
vkx=(xokn-xok(n-1))/Δt
vky=(yokn-yok(n-1))/Δt
其中Δt的值是视频帧率的倒数,比如某视频是25fps,那Δt为0.04秒。
根据第n帧视频图像中的人形目标的位置坐标和所述人形目标的移动速度预测第n-1帧视频图像中的人形目标的位置坐标(xo'k(n+1),yo'k(n+1));
在具体实施中,知道了第n帧的追踪点位置,又计算出了vx,vy,就可以预测下一帧追踪点的位置(xo′k(n+1),yo′k(n+1)),
xo'k(n+1)=xokn+vkxΔt
yo'k(n+1)=yokn+vkyΔt
根据获取到的第n-1帧视频图像中的人形目标的位置坐标(xom(n+1),yom(n+1)),根据欧式距离公式,计算出离(xo'k(n+1),yo′k(n+1))最近的(xom(n+1),yom(n+1))作为所述人形目标在第n+1帧视频图像中的位置坐标。
在具体实施中,在第n+1帧获取到新m个人形目标位置坐标的值(xom(n+1),yom(n+1)),m≤k(因为可能存在人员重叠或遮挡),然后根据欧氏距离公式,计算出离(xo'k(n+1),yo'k(n+1))最近的(xom(n+1),yom(n+1))作为判定第m人形目标在第n+1帧中对应的人形目标位置坐标,对于重叠的而没有在第n帧中画出框的人形目标,即用(xo'k(n+1),yo′k(n+1))作为新帧的追踪点数据,对于离开感应区内的目标,删除位置信息,并根据运动方向提交室内人员加减之后的统计数据,从而得出更新的(xokn,yokn)。
在具体实施中,若人形目标的位置坐标从图3中的虚线1处消失,则判定该人形目标为进入室内,若人形方框的面积不大于设定阈值,则室内人数加1,若人形方框的面积大于设定阈值,则室内人数加2;若人形目标的位置坐标从图3中的虚线3处消失,则判定该人形目标为离开室内,若人形方框的面积不大于设定阈值,则室内人数减1,若人形方框的面积大于设定阈值,则室内人数减2。
在具体实施中,为了保证统计的可靠性,需要解决人形目标重叠的问题,以免出现漏检,通过设置单个人形方框面积阀值来判定人数,以在感应线1处的单个人形方框面积阀值来计算,本实施例采用摄像头所拍摄到的所有人次的面积平均值来设置阀值S,公式如下:
Figure BDA0001875396710000081
其中wi和hi分别表示经过感应线1处的第i个人形框的宽和高。可以根据方差公式计算出σ2及σ,根据正态分布规律选取S+2σ为判定单个人形框是否有重叠的标准,某个人形框s>S+2σ的时候,本文统计为两个人,通常在门口进行监控的时候,由于门大小的限制,同时重叠三个及三个以上的人员的情况比较少。此处不对阈值的范围进行具体限定,本领域相关技术人员可根据实际情况进行调整。
根据步骤103和步骤104所述的实施方式,如图5所示,人形目标跟踪和人数统计的具体流程如下:
1501,计算第n帧视频图像k个人形目标位置坐标,存储到a行3列数组1;
1502,计算k个人形目标的速度,存储到a行3列数组2;
1503,预测第n+1帧视频图像k个人形目标位置坐标,存储到a行3列数组3;
1504,计算第n+1帧m个人形目标位置坐标,存储到a行3列数组4;
1505,计算实际m个人形目标的位置坐标和k个预测位置坐标的欧氏距离;
1506,根据最小值将m个人形目标对应到原来k个人形目标中的对应编号值;
1507,根据1506中m个人形目标的位置坐标与k个人形目标中的对应编号,更改a行3列数组4的第一列;
1508,将更改后的a行3列数组4合并到a行3列数组4;
1509,判断人形目标是否超过在感应线1左边或者感应线3右边,若是,则执行1510,若否,则执行1501;
1510,根据a行3列数组1中的数据计算人形目标的行径图和运动方向;
1511,根据人形方框四个顶点的坐标计算人形方框面积;
1512,判断人形方框面积是否大于预设阈值,若是,则执行1513,若否,则执行1514;
1513,根据人形目标的运动方向,对室内人数进行+2或-2计算;
1514,根据人形目标的运动方向,则对室内人数进行+1或-1计算;
1515,计算完毕后,重新更新数组1。
在具体实施中,对于有多个门进出的情况,本文采用通过多个摄像头分别统计,将其中一个摄像头作为主机,剩余摄像头作为从机,通过无线局域网热点模式连接,在某个摄像头数据发生统计数据更新的时候,互相交换数据。
实施例二
本实施例为一种统计室内人数的设备,该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
本实施例还提供一种统计室内人数的装置,其特征在于,包括存储器和处理器,上述处理器用于:
获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;
根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;
根据所述人形目标的运动轨迹统计室内人数。
上述处理器具体用于:
利用预先训练的目标检测神经网络定位每帧视频图像三线感应区,所述三线感应区为室内门框线、室内门框线两侧的第一感应线和第二感应线所在区域;
对每帧视频图像的三线感应区进行人形目标检测。
定位每帧视频图像中符合人形数据特征的至少一个人形方框区域;
以三线感应区的水平方向和垂直方向建立坐标轴,确定每个人形方框区域的中心坐标为所述人形方框区域内人形目标在对应的视频图像中的位置。
上述处理器具体还用于:
通过预先训练的目标检测神经网络,根据设置的单个人形方框面积阈值计算定位到的人形方框区域中的人数。
上述处理器具体用于:
根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置计算每个人形目标的移动速度;
根据第n帧视频图像中的每个人形目标的位置和移动速度,预测第n+1帧视频图像中的每个人形目标的预测位置;
根据定位的第n+1帧视频图像中至少一个人形目标的位置,确定离任一个人形目标的预测位置最近的一个人形目标的位置,作为所述人形目标在第n+1帧视频图像中的位置。
上述处理器具体用于:
根据所述人形目标的运动轨迹确定所述人形目标的运动方向,若确定运动方向为进入室内,则将室内人数加上进入室内的人形目标的数量,若确定运动方向为离开室内,则将室内人数减去离开室内的人形目标的数量。
实施例三
本实施例提供一种统计室内人数的装置,装置示意图如图2所示,上述装置包括:
视频图像获取单元201,用于获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
人形目标位置确定单元202,用于利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置;
运动轨迹确定单元203,用于根据连续N帧视频图像中每个人形目标在对应图像中的位置,确定所述人形目标的运动轨迹;
人数统计单元204,用于根据所述人形目标的运动轨迹统计室内人数。
人形目标位置确定单元202,具体用于利用预先训练的目标检测神经网络定位每帧视频图像三线感应区,所述三线感应区为室内门框线、室内门框线两侧的第一感应线和第二感应线所在区域;
对每帧视频图像的三线感应区进行人形目标检测。
定位每帧视频图像中符合人形数据特征的至少一个人形方框区域;
以三线感应区的水平方向和垂直方向建立坐标轴,确定每个人形方框区域的中心坐标为所述人形方框区域内人形目标在对应的视频图像中的位置。
人形目标位置确定单元202,用于定位每帧视频图像中符合人形数据特征的至少一个人形方框区域之后,还包括:
通过预先训练的目标检测神经网络,根据设置的单个人形方框面积阈值计算定位到的人形方框区域中的人数。
运动轨迹确定单元203,具体用于根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置计算每个人形目标的移动速度;
根据第n帧视频图像中的每个人形目标的位置和移动速度,预测第n+1帧视频图像中的每个人形目标的预测位置;
根据定位的第n+1帧视频图像中至少一个人形目标的位置,确定离任一个人形目标的预测位置最近的一个人形目标的位置,作为所述人形目标在第n+1帧视频图像中的位置。
人数统计单元204,具体用于根据所述人形目标的运动轨迹确定所述人形目标的运动方向,若确定运动方向为进入室内,则将室内人数加上进入室内的人形目标的数量,若确定运动方向为离开室内,则将室内人数减去离开室内的人形目标的数量。
实施例四
本实施例为一种计算机存储介质,上述计算机存储介质存储有计算机程序,该计算机程序被执行时实现上述实施例一至三任一项的内容。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种统计室内人数的方法,其特征在于,包括:
获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标和三线感应区,及每个人形目标在对应的视频图像中的位置,所述三线感应区为室内门框线、室内门框线两侧的第一感应线和第二感应线所在区域,所述预先训练的目标检测神经网络部署在可安装到摄像头内部的嵌入式芯片上;
根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置计算每个人形目标的移动速度;根据第n帧视频图像中的每个人形目标的位置和移动速度,预测第n+1帧视频图像中的每个人形目标的预测位置;根据定位的第n+1帧视频图像中至少一个人形目标的位置,确定离任一个人形目标的预测位置最近的一个人形目标的位置,作为所述人形目标在第n+1帧视频图像中的位置;
若所述人形目标在第n+1帧视频图像中的位置在所述第一感应线处消失,则确定所述人形目标的运动轨迹为进入室内,若所述人形目标在第n+1帧视频图像中的位置在所述第二感应线处消失,则确定所述人形目标的运动轨迹为离开室内;
根据所述人形目标的运动轨迹统计室内人数。
2.如权利要求1所述的方法,其特征在于,定位每帧视频图像中至少一个人形目标,及每个人形目标在对应的视频图像中的位置,包括:
定位每帧视频图像中符合人形数据特征的至少一个人形方框区域;
以三线感应区的水平方向和垂直方向建立坐标轴,确定每个人形方框区域的中心坐标为所述人形方框区域内人形目标在对应的视频图像中的位置。
3.如权利要求2所述的方法,其特征在于,定位每帧视频图像中符合人形数据特征的至少一个人形方框区域之后,还包括:
通过预先训练的目标检测神经网络,根据设置的单个人形方框面积阈值计算定位到的人形方框区域中的人数。
4.如权利要求1所述的方法,其特征在于,根据所述人形目标的运动轨迹计算室内人数,包括:
根据所述人形目标的运动轨迹确定所述人形目标的运动方向,若确定运动方向为进入室内,则将室内人数加上进入室内的人形目标的数量,若确定运动方向为离开室内,则将室内人数减去离开室内的人形目标的数量。
5.如权利要求1所述的方法,其特征在于,获取摄像头连续采集的N帧视频图像,包括:
获取位于不同室内出入区域的多个摄像头分别连续采集的N帧视频图像。
6.如权利要求1所述的方法,其特征在于,所述预先训练的目标检测神经网络为服务器将M帧包括人形目标的视频图像及每个人形目标在的对应的视频图像中位置作为训练样本,通过神经网络学习获得的神经网络模型。
7.一种统计室内人数的装置,其特征在于,该装置包括存储器和处理器,所述处理器用于:
获取摄像头连续采集的N帧视频图像,N为大于1的正整数;
利用预先训练的目标检测神经网络对所述N帧视频图像进行人形目标检测,定位每帧视频图像中至少一个人形目标和三线感应区,及每个人形目标在对应的视频图像中的位置,所述三线感应区为室内门框线、室内门框线两侧的第一感应线和第二感应线所在区域,所述预先训练的目标检测神经网络部署在可安装到摄像头内部的嵌入式芯片上;
根据第n帧视频图像和第n-1帧视频图像中的人形目标的位置计算每个人形目标的移动速度;根据第n帧视频图像中的每个人形目标的位置和移动速度,预测第n+1帧视频图像中的每个人形目标的预测位置;根据定位的第n+1帧视频图像中至少一个人形目标的位置,确定离任一个人形目标的预测位置最近的一个人形目标的位置,作为所述人形目标在第n+1帧视频图像中的位置;
若所述人形目标在第n+1帧视频图像中的位置在所述第一感应线处消失,则确定所述人形目标的运动轨迹为进入室内,若所述人形目标在第n+1帧视频图像中的位置在所述第二感应线处消失,则确定所述人形目标的运动轨迹为离开室内;
根据所述人形目标的运动轨迹统计室内人数。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被执行时实现权利要求1-6任意一项所述的方法。
CN201811396889.4A 2018-11-22 2018-11-22 一种统计室内人数的方法及装置 Active CN111209781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811396889.4A CN111209781B (zh) 2018-11-22 2018-11-22 一种统计室内人数的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811396889.4A CN111209781B (zh) 2018-11-22 2018-11-22 一种统计室内人数的方法及装置

Publications (2)

Publication Number Publication Date
CN111209781A CN111209781A (zh) 2020-05-29
CN111209781B true CN111209781B (zh) 2023-05-23

Family

ID=70788013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811396889.4A Active CN111209781B (zh) 2018-11-22 2018-11-22 一种统计室内人数的方法及装置

Country Status (1)

Country Link
CN (1) CN111209781B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754569B (zh) * 2020-06-28 2023-09-05 中国银行股份有限公司 室内人数报警的方法、装置及系统、电子设备及存储介质
CN112115792B (zh) * 2020-08-14 2024-02-06 深圳大学 一种出入口信息统计系统、方法及计算机设备
CN112509011B (zh) * 2021-02-08 2021-05-25 广州市玄武无线科技股份有限公司 一种静止商品统计方法、终端设备及其存储介质
CN113995316A (zh) * 2021-09-28 2022-02-01 珠海格力电器股份有限公司 煮饭量确定方法、装置、存储介质及电子设备
CN114241015B (zh) * 2022-02-28 2022-05-13 长沙莫之比智能科技有限公司 一种基于毫米波雷达的进出人数计数方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和系统
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
CN104318578A (zh) * 2014-11-12 2015-01-28 苏州科达科技股份有限公司 一种视频图像分析方法及系统
CN105574501A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种人流视频侦测分析系统
CN106127814A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员聚集打斗报警方法和装置
CN106251363A (zh) * 2016-07-18 2016-12-21 四川君逸数码科技股份有限公司 一种智慧金睛识别人流人数统计方法和装置
CN106600631A (zh) * 2016-11-30 2017-04-26 郑州金惠计算机系统工程有限公司 基于多目标跟踪的客流统计方法
CN106951885A (zh) * 2017-04-08 2017-07-14 广西师范大学 一种基于视频分析的人流量统计方法
CN108549846A (zh) * 2018-03-26 2018-09-18 北京航空航天大学 一种结合运动特征和头肩结构的行人检测与统计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和系统
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
CN104318578A (zh) * 2014-11-12 2015-01-28 苏州科达科技股份有限公司 一种视频图像分析方法及系统
CN105574501A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种人流视频侦测分析系统
CN106127814A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员聚集打斗报警方法和装置
CN106251363A (zh) * 2016-07-18 2016-12-21 四川君逸数码科技股份有限公司 一种智慧金睛识别人流人数统计方法和装置
CN106600631A (zh) * 2016-11-30 2017-04-26 郑州金惠计算机系统工程有限公司 基于多目标跟踪的客流统计方法
CN106951885A (zh) * 2017-04-08 2017-07-14 广西师范大学 一种基于视频分析的人流量统计方法
CN108549846A (zh) * 2018-03-26 2018-09-18 北京航空航天大学 一种结合运动特征和头肩结构的行人检测与统计方法

Also Published As

Publication number Publication date
CN111209781A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111209781B (zh) 一种统计室内人数的方法及装置
CN111860282B (zh) 地铁断面客流量统计和行人逆行检测方法及系统
CN109076190B (zh) 检测异常情况的设备和方法
CN109344690B (zh) 一种基于深度相机的人数统计方法
CN110648352B (zh) 一种异常事件的检测方法、装置及电子设备
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
US11049259B2 (en) Image tracking method
WO2015131734A1 (zh) 一种前视监视场景下的行人计数方法、装置和存储介质
CN201255897Y (zh) 一种公交车人流量监测装置
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
US20090262977A1 (en) Visual tracking system and method thereof
CN108776974B (zh) 一种适用于公共交通场景的实时目标跟踪方法
CN102447835A (zh) 无盲区多目标协同跟踪方法及系统
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
Stahlschmidt et al. Applications for a people detection and tracking algorithm using a time-of-flight camera
CN104809742A (zh) 一种复杂场景下的物品安全检测方法
WO2022078134A1 (zh) 一种人员流量分析方法和系统、电子设备和可读存储介质
CN109977796A (zh) 尾随通行检测方法及装置
Van Den Hengel et al. Activity topology estimation for large networks of cameras
Kokul et al. Online multi-person tracking-by-detection method using ACF and particle filter
CN110930432A (zh) 一种视频分析方法、装置及系统
Michael et al. Fast change detection for camera-based surveillance systems
CN110889347A (zh) 基于时空计数特征的密度交通流计数方法及系统
Taalimi et al. Robust multi-object tracking using confident detections and safe tracklets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant