CN116188357A - 一种出入口人体检测方法、摄像设备、装置及存储介质 - Google Patents

一种出入口人体检测方法、摄像设备、装置及存储介质 Download PDF

Info

Publication number
CN116188357A
CN116188357A CN202211180238.8A CN202211180238A CN116188357A CN 116188357 A CN116188357 A CN 116188357A CN 202211180238 A CN202211180238 A CN 202211180238A CN 116188357 A CN116188357 A CN 116188357A
Authority
CN
China
Prior art keywords
human body
depth
image
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211180238.8A
Other languages
English (en)
Other versions
CN116188357B (zh
Inventor
黄志浩
张勇
赵荣杰
秦禹康
牛霄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Shixi Technology Co Ltd
Original Assignee
Zhuhai Shixi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Shixi Technology Co Ltd filed Critical Zhuhai Shixi Technology Co Ltd
Priority to CN202211180238.8A priority Critical patent/CN116188357B/zh
Publication of CN116188357A publication Critical patent/CN116188357A/zh
Application granted granted Critical
Publication of CN116188357B publication Critical patent/CN116188357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

本申请公开了一种出入口人体检测方法、装置、摄像设备及存储介质,用于提高检测的准确性。本申请方法包括:通过深度相机获取包含有人体区域的出入口的深度图像;根据所述深度相机的安装信息计算深度的出入阈值;根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;计算所述第一区域与所述第二区域在所述状态图像中的面积占比;根据所述面积占比确定所述目标人体在所述出入口的进出状态。

Description

一种出入口人体检测方法、摄像设备、装置及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种出入口人体检测方法、摄像设备、装置及存储介质。
背景技术
客流统计(passenger flow statistics)就是通过在目标区域安装客流统计设备,精准的统计出每个入口实时客流进出人数,在实际中,随着科技的不断进步,已经发展出了多种客流统计的方法,从传统的人工统计到红外感应统计方式,再到三辊闸方式,再到现代化的重力感应方式以及基于深度相机的视觉检测方式。
通过视觉检测进行客流统计首先要求通过深度相机来对人体进行检测,即如果无法精准对人体个体进行精准的检测就意味着无法实现统计上的计数,现有技术中基于视觉的人体的检测方法为划线法,其中有单线法和双线法。划线法即使用普通的RGB相机安装在门口正上方,使视线与地面垂直,以俯视的方式自上而下拍摄行人进出的过程;在画面中设置平行于门口的直线作为行人进出的标准,通过识别行人身躯触碰该直线的方式判断行人的出入状态。然而,这种方式要求摄像头位置和视角不可改变,且所视范围狭窄,容易受到其余物体干扰与遮挡。以上情况的存在会使行人检测出现漏检、误检,并影响行人追踪。
发明内容
为了解决上述技术问题,本申请提供了一种出入口人体检测方法,所述方法包括:
通过深度相机获取包含有人体区域的出入口的深度图像;
根据所述深度相机的安装信息计算深度的出入阈值;
根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
根据所述面积占比确定所述目标人体在所述出入口的进出状态;
使用所述进出状态执行客流统计操作。
可选的,所述根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域包括:
将所述深度图像中的目标人体深度值大于所述出入阈值的区域归入第一区域;
将所述深度图像中的目标人体深度值小于所述出入阈值的区域归入第二区域;
可选的,所述根据所述面积占比确定所述目标人体在所述出入口的进出状态包括:
当所述第一区域的面积占比大于30%且小于70时,确定所述目标人体处于出入口的中间;
当所述第一区域的面积占比大于70%时,确定所述目标人体位于出入口的外部;
当所述第一区域的面积占比小于30%时,确定所述目标人体位于所述出入口的内部,所述面积占比用于表示所述第一区域或者所述第二区域在图像中所占像素面积的大小。
可选的,所述使用所述进出状态执行客流统计操作包括:
通过对所述目标人体进行多帧图像的追踪检测,从而获得对所述目标人体的多个进出状态;
根据所述多个进出状态执行进入或者外出的计数。
可选的,所述通过对所述目标人体进行多帧图像的追踪检测包括:
截取前后两帧图像中的人体的头部区域图像;
计算前后两帧图像中头部区域图像的交并比;
根据所述交并比判别所述前后两帧图像中的人体是否为同一目标人体,从而对所述目标人体进行追踪检测。
可选的,若当前检测的环境中的人数为0,则所述根据所述多个进出状态执行进入或者外出的计数包括:
通过所述多个进出状态确定出当前区域的进入人数以及外出人数;
将所述进入人数和所述外出人数中较大的数值加入至客流计数中。
可选的,若当前区域中的人数不为0,则所述根据所述多个进出状态执行进入或者外出的计数包括:
通过所述多个进出状态确定出当前区域的进入人数以及外出人数;
将所述进入人数和所述外出人数中较小的数值加入至客流计数中。
可选的,若当前区域中的人数不为0,则所述根据所述多个进出状态执行进入或者外出的计数包括:
可选的,所述根据所述深度相机的安装信息计算深度的出入阈值包括:
通过下述式子计算深度的出入阈值:
Figure SMS_1
其中,depth表示所述出入阈值,h表示所述深度相机的安装高度,d表示相机与出入口分界面的距离,height表示人体高度。
可选的,在所述通过深度相机获取包含有人体区域的出入口的深度图像之后,所述方法还包括:
对所述深度图像进行滤波预处理。
可选的,在所述通过深度相机获取包含有人体区域的出入口的深度图像之前,所述方法还包括:
获取当前区域的IR图像;
结合所述IR图像以及深度相机获取的深度图像确定人体区域,得到包含有完整的人体区域的深度图像。
本申请第二方面提供了一种出入口人体检测方法,包括:
通过深度相机获取包含有人体区域的出入口的深度图像;
根据所述深度相机的安装信息计算深度的出入阈值;
根据所述出入阈值计算外侧阈值和内侧阈值;
根据所述外侧阈值以及所述内侧阈值对所述深度图像进行处理,得到人体的进出状态;
根据所述进出状态进行客流的计数。
可选的,所述根据所述出入阈值计算外侧阈值和内侧阈值包括:
计算所述出入阈值与预设的间隔阈值的和,得到外侧阈值;
计算所述出入阈值与预设的间隔阈值的差值,得到内侧阈值。
本申请第三方面提供了一种出入口人体检测装置,包括:
获取单元,用于通过深度相机获取包含有人体区域的出入口的深度图像;
第一计算单元,用于根据所述深度相机的安装信息计算深度的出入阈值;
深度处理单元,用于根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
第二计算单元,用于计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
确定单元,用于根据所述面积占比确定所述目标人体在所述出入口的进出状态;
客流统计单元,用于使用所述进出状态执行客流统计操作。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。
本申请第五方面提供了一种摄像设备,所述摄像设备包括处理器和深度摄像头,所述处理器在运行过程中执行第一方面以及第一方面中任一项可选的所述方法。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供的方法中,首先通过深度相机的安装信息来计算出入阈值,通过该出入阈值来对出入口的深度图像进行深度处理,从而获得包含有两个不同深度值的第一区域以及第二区域,通过计算第一区域和第二区域在状态图像中的占比来判别目标人体在出入口的进出状态,该方式能够充分结合行人在出入口的空间上的位置来判别行人的进出状态,以最大程度地降低误检、错检对出入客流的影响,提高了客流统计系统的精度和可靠性。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的出入口人体检测方法的一个实施例流程示意图;
图2为本申请中深度相机的安装位置与传统相机安装位置的对比示意图;
图3为本申请中通过深度处理后获得的状态图像的示意图;
图4为本申请中提供的出入口人体检测方法的另一个实施例流程示意图;
图5为本申请中对深度图像进行滤波预处理后获得的图像示意图;
图6为本申请中计算前后两帧图像中头部区域图像的交并比的示意图;
图7为本申请中不同的区域占比的头部图像的示意图;
图8为本申请中行人进出状态的示意图;
图9为本申请提供的出入口人体检测方法的另一个实施例流程示意图;
图10为本申请中提供的出入口人体检测装置的一个实施例结构示意图;
图11为本申请中提供的出入口人体检测装置的另一个实施例结构示意图。
具体实施方式
本申请提供了一种出入口人体检测方法、装置、摄像设备及存储介质,用于提高检的准确性,下面将对实施例进行具体描述。
请参阅图1,图1为本申请提供的出入口人体检测方法一个实施例流程示意图,该方法包括:
101、通过深度相机获取包含有人体区域的出入口的深度图像;
本申请提出一种基于深度图像的人体检测方法,该方法将普通RGB相机更换为深度相机,巧妙地运用深度图像各像素值代表该点距离摄像头平面的特性,识别行人在出入口内外的状态,并以此统计客流量。所述的出入口可以是实际中的电梯出入口,大门出入口等。
传统的rgb相机所拍摄的照片只能反映现实场景的样貌,不能表示场景中的空间信息,所以只能通过对画面中行人位置的改变判断进出。又因为行人进出是平行于地面移动的,所以需要把相机安装在门口上方,通过俯视图中行人在y轴上的移动判断行人进出,比如在画面中设立两条横线,通过行人触碰这两条线检测进出,因此传统方案的摄像头位置必须固定在门口上方俯拍地面,位置和视野方向都不可改变。本方案中,使用的深度图像保留了大致的现场模样(如:物体轮廓和边缘),所以不仅可以像普通的rgb相机那样采用传统的检测方案,也可以采用本申请所提供的方案,深度图像的优势在于每个像素上的值都代表着物体深度(即距离),所以深度图像实际上是一个三维数据,本申请方案能够充分发挥了这一优势,直接拍摄大门的正面照(从门内往门外拍),通过第三维的深度信息检测行人与相机的距离,从而推断行人进出,所以本方案的相机位置灵活,不被限制,不局限于设置在门口上方俯拍。
在另一个实施例中,深度相机在某些场景中使用时所获得的深度数据可能不准确,因此,本实施例还提供了一种确定人体区域的方法,即在获取深度图像之前,先获取当前区域的全景数据的IR图像,通过该IR图像获取人体区域(例如人头区域,在实际中人头区域容易出现缺失),从而结合IR图像以及深度相机获取的深度图像来在深度图像上得到完整的人体区域,该过程中可以将IR图像上人体区域的像素位置对应到深度图像中,从而在深度图像中确定人体区域。
参阅图2,图2为本申请中深度相机与传统方案相机安装位置以及拍摄机位的对比示意图,其中图2左半图为传统方案,右半图为本方案。
102、根据所述深度相机的安装信息计算深度的出入阈值;
通过设定一个出入阈值来进行后续的深度选通,该出入阈值可以作为一个临界值用于划定出入口的内部和外部两侧,该出入阈值需要根据深度相机的安装信息来进行计算,下面提供一种具体的计算方式:
如图所示,已知相机安装位置的安装高度h,相机与出入口分界面之间的距离d,令一个身高为height的行人站在门口,可得相机到行人头顶上的深度为:
Figure SMS_2
本方法将depth设置为出入阈值。
103、根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
104、计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
105、根据所述面积占比确定所述目标人体在所述出入口的进出状态;
根据步骤102中计算得到的出入阈值对深度图像进行深度图像处理,得到状态图像,状态图像中包含有深度值不同的第一区域和第二区域,具体的可以是,将深度图像中深度值大于出入阈值的像素归为第一区域,小于出入阈值的归为第二区域,参阅图3,图3为深度处理后获得的状态图像,在实际中,从左到右为行人进门过程的深度变化。当行人与深度相机的距离大于depth时,身体深度值被置为0(在图中呈现黑色),也可以是赋予其它值,当行人走近时,身体与深度相机的距离小于depth部分可获得正常深度值(在图中呈现白色)。根据深度图像中个区域的占比,可以推断出行人在出入口内外的进出状态,所述的面积占比,在本申请中用于表征深度选通后获得的第一区域或者第二区域相比于图像中人体区域的大小,这里的人体区域指的是在人体呈现在深度图像中的区域,在此基础上,可以选择将人体的头部区域截取出来,例如通过一个矩形框来进行截取,参阅图7,图7为截取出来的头部区域的示意图,那么面积占比就是第一区域或者第二区域在所截取出来的图像中的面积占比,所述的面积占比可以通过像素点的数量来进行计算得到。值得理解的是,截取的头部区域的图像可以作为一个优选的实施例,实际中也可以是其它方式,例如截取的整个人体区域的图像,或者是整个深度图像,图7中展示了不同的面积占比的头部区域,其中黑色部分为第一区域,白色部分为第二区域。通过面积占比来判断的目的是量化深度图像中,目标人体的深度值的变化。
计算第一区域和第二区域在深度图像上的占比即可确定目标人体在出入口的进出状态,每一帧图像对应的进出状态表示目标人体位于出入口的内侧还是外侧。以第一区域在整个深度图像中的占比为例,当深度图像中被置为0的像素占比大于70%时,即第一区域的占比大于70%,则判定行人在大门外,设定为状态1;当深度图像中被置为0的像素占比大于30%而小于70%时,则判定行人在进入大门的过程中,设定为状态2;当图像中被置为0的像素占比小于30%时,则判断行人已进入大门内,行人设定初始状态为3。
通过计算不同深度值的区域在图像中的占比来确定目标行人的进出状态的好处是能够充分结合行人在出入口的空间上的位置来判别行人的进出状态。
本申请提供的方法能够用于实际中对出入口的客流进行统计,例如用于电梯出入口的客流统计,下面提供一个通过该方法进行客流统计的实施例,参阅图4,该实施例包括:
401、对所述深度图像进行滤波预处理;
获得深度图像之后,先对深度图像做一次初步的深度选通,过滤掉一些明显有误的数据。再对深度图像进行均值滤波处理,例如使用7x7的均值滤波,参阅图5,边线001为行人头部实际边缘,受滤波影响,边线001两端的B区域和C区域将产生灰度值的变化,B区域原为纯黑色背景,灰度为0,因距离实际边缘距离小于7,受到边缘内外物体正常灰度的影响,均值滤波后的灰度值放大;而C区域原为行人头部像素,因距离实际边缘距离小于7,受到边缘外灰度为0的背景影响,均值后的灰度值变小。本发明方案将基于B、C区域的存在而推断行人的位置状态。
402、通过深度相机获取包含有人体区域的出入口的深度图像;
403、根据所述深度相机的安装信息计算深度的出入阈值;
404、根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
405、计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
406、根据所述面积占比确定所述目标人体在所述出入口的进出状态。
407、使用所述进出状态执行客流统计操作。
使用步骤406中所获得的进出状态来执行客流统计,具体的方式可以是通过对多帧图像进行检测,从而获得目标人体的连续的进出状态,进而判定目标人体是外出还是进入,进而执行计数,具体为:
通过对所述目标人体进行多帧图像的追踪检测,从而获得对所述目标人体的多个进出状态,根据所述多个进出状态执行进入或者外出的计数,其中需要对多帧图像进行追踪检测,可以采用预先训练好的检测模型来检测,那么在训练检测模型时,把所有人脸状态都列为检测目标,而在实际中,如果需要进行步骤401中的均值滤波的处理,则会使得人脸边缘的深度值介于0与正常值之间,所以即使行人的深度值在出入阈值之外,身体内部的深度值被置为0,但仍能在画面中保留边缘模样,所以行人在出入阈值之外依然能被模型识别(这里指行人的身体和头有高度差,下半身没有进入深度范围时,头已进入深度范围)。
通过对多帧深度图像进行追踪检测,就可以得到行人的出入信息,进而进行客流计数,上述多帧图像进行追踪检测的一个实施例可以是:
截取前后两帧图像中人体的头部区域图像;计算前后两帧图像中头部区域图像的交并比;根据所述交并比判别所述前后两帧图像中的人体是否为同一目标人体,从而对所述目标人体进行追踪检测。计算前后两帧图像中头部区域图像的交并比即表示两张图像的重合度分数(IOU分数),IOU通过下述方式进行计算:
Figure SMS_3
同时,参阅图6,图6中,PB为上一张图检测到的人脸框,TB为当前帧图像检测到的人脸框。当IOU分数大于预设的阈值时,则认为PB和TB为不同时间段的同一目标,使TB框继承PB框的序号(id),后续将根据id号追踪行人目标。
在一个实施例中,判断区域的占比可以是对深度图像中整个人体区域进行判断,也可以是截取人体头部的区域来进行判断,例如参阅图7,图7为不同的区域占比的头部区域的图像,通过步骤406进行深度处理之后可以得到目标人体的三种状态,即计算第一区域或第二区域在截取的人体头部区域的深度图像上的占比即可确定目标人体在出入口的进出状态,每一帧图像对应的进出状态表示目标人体位于出入口的内侧还是外侧。例如,当深度图像中的被置为0的像素占比大于70%时,则判定行人在大门外,设定为状态1;当深度图像中被置为0的像素占比大于30%而小于70%时,行人位于出入口中间,则判定行人在进入大门的过程中,设定为状态2;当图像中被置为0的像素占比小于30%时,则判断行人已进入大门内,行人设定初始状态为3。
参阅图8,三种状态分别为:
状态1,行人位于出入口外侧;
状态2,行人位于出入口中间;
状态3,行人位于出入口内侧;
那么在进行客流计数时,如果检测到目标人体依次获得状态123,则计算进入人数加1,依次获得状态321则计算外出人数加1,其余顺序无效。这样的办法对于降低误识别的影响非常有效,因为一般误识别标注的物体不能独自移动,就没有了深度变化的趋势,只能停留在三个状态中的某个当中,不会对出入流量的统计产生影响。
本申请还提供了一种更为具体的进行客流统计的实施例,当通过对多帧图像进行追踪检测之后,获得多个进出状态,通过多个进出状态即可确定出当前区域的总的外出人数和进入人数,通过下述式子即可进行客流统计的计数:
TC=Max(in,out)+TC;out=0,in=0;
其中:in为进入人数,out为外出人数,TC为客流量,Max表示较大的数值。
若相机检测到当前区域没有行人时,通过上述式子进行客流统计的计数,并重置进入人数和外出人数(设置为0),即比对进入人数和外出人数,使用较大的那个数值来作为客流统计的计数,该方式的好处是可以防止进入或者外出时因为遮挡而导致漏检对计数的影响,可以在当前区域没有检测到行人时,始终使用较大的数值来进行统计,从而确保客流统计的准确性,避免因为行人头部被遮挡而影响检测,提高了客流统计系统的精度和可靠性。
下面通过表格1进行举例说明:
Figure SMS_4
表格1
表格1中,Stage表示统计的时间阶段,now_people表示当前区域中的人数,即当前空间中现有的检测到的人数,in表示进入的人数,out表示外出的人数,count表示客流统计的计数。
基于上述客流统计的机制,当外出人数和进入人数均大于0时,通过下述式子进行计数:
TC=Min(in,out)+TC
in=in-Min(in,out)
out=out-Min(in,out)
其中:in为进入人数,out为外出人数,TC为客流量,Max表示较大的数值,Min表示较小的数值。
如果当前区域中依然检测有行人,则在外出人数和进入人数中确定较小的数值来加入客流统计中,在进行计数时,将进入人数和外出人数均减去该较小的数值。
下面通过表格2进行举例说明:
Figure SMS_5
表格2
表格2中,Stage表示统计的时间阶段,now_people表示当前区域中的人数,即当前空间中现有的检测到的人数,in表示进入的人数,out表示外出的人数,count表示客流统计的计数。
该方案主要用于加速结算进程,避免in和out积累的数值很大,从而影响客流统计的效率,解决了画面中一直都有行人而无法及时统计的问题,同时也能避免误检的存在卡住客流量的结算,如果之后进入人数或者外出人数有变化,则只将对应的人数变化加入客流计数中。
能够加快客流统计的计算速度,避免计算进程的计算负载过于集中。
此外,本申请中还提供了另外一种用于客流统计的实施例,该实施例通过设定两个阈值来判断行人的出入状态,进而进行计数,下面进行具体介绍:
参阅图9,该实施例包括:
901、通过深度相机获取包含有人体区域的出入口的深度图像;
902、根据所述深度相机的安装信息计算深度的出入阈值;
903、根据所述出入阈值计算外侧阈值和内侧阈值;
本实施例中步骤901与步骤902与前述实施例中步骤101、102中获取深度图像以及计算出入阈值的具体实现方式类似,此处不再赘述。该实施例中,步骤903还通过出入阈值来计算外侧阈值和内侧阈值,具体的计算方式可以是,预先设定一个间隔阈值,计算所述出入阈值与预设的间隔阈值的和,得到外侧阈值,计算所述出入阈值与预设的间隔阈值的差值,得到内侧阈值。间隔阈值的大小可以根据实际需要来设定。
904、根据所述外侧阈值以及所述内侧阈值对所述深度图像进行处理,得到人体的进出状态;
905、根据所述进出状态进行客流的计数。
前述实施例中,通过计算出出入阈值来进行深度图像处理,比如深度选通,由于本实施例中设置了外侧阈值和内侧阈值进行检测,因此在进行深度图像的处理时,可以不对图像所有的像素进行深度选通,只要图像中有像素的深度值达到了外侧阈值或者内侧阈值,即可赋予对应的状态,因为外侧阈值和内侧阈值之间设置有一定的间隔阈值,一旦触发这两个阈值,即可认为行人进行了外出或者进入的完整穿越,进而可以进行统计。
本实施例中,那么为了提高检测的稳定性,防止误识别,设定两个阈值,分别是外侧阈值和内侧阈值,外侧阈值和内侧阈值是根据出入阈值来计算得到的,集体计算方式可以是将出入阈值加上一个预设的间隔阈值得到外侧阈值,将出入阈值减去该预设的间隔阈值,得到内侧阈值,在检测时则分别通过外侧阈值和内侧阈值来进行检测,当对目标行人检测的图像依次穿越这两个阈值时,则可以获得行人的进出状态。也就是说,在对行人进行检测的过程中,一旦图像的深度值依次达到了外侧阈值和内侧阈值,那么判定行人完成进入,如果依次达到了内侧阈值和外侧阈值,那么判定行人完成外出。这种方法相比于前述实施例的方法的好处是,不需要进行面积以及区域占比的计算,仅需要通过两个阈值来进行检测,不仅能够减少计算量,减少设备的算力负载,还能够提高稳定性和方法的适用性,例如实际中可以通过调整间隔阈值的大小来适应检测环境,使得算法的鲁棒性更高,并且该方法所获得行人的进出状态更为准确。
下面举例进行说明:
当行人从外侧进入,并穿越外侧阈值时,行人获得状态1(追踪行人,若行人上一帧图片的深度大于外侧阈值,下一张深度小于外侧阈值),当拥有状态1的行人再次越过内侧阈值时,进入人数加1;同理,当行人从内向外越过内侧阈值时获得状态2,当拥有状态2的行人再次越过内侧阈值时外出人数加1。通过该实施例提供的方法能够更稳定对行人的进出进行检测,能够减少误检的发生。
上述实施例对本申请出入口人体检测方法进行了阐述,下面对本申请中提供的出入口人体检测装置、存储介质以及摄像设备进行描述。
参阅图10,本申请提供的出入口人体检测装置包括:
获取单元1001,用于通过深度相机获取包含有人体区域的出入口的深度图像;
第一计算单元1002,用于根据所述深度相机的安装信息计算深度的出入阈值;
深度处理单元1003,用于根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
第二计算单元1004,用于计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
确定单元1005,用于根据所述面积占比确定所述目标人体在所述出入口的进出状态;
可选的,深度处理单元1003具体用于:
将所述深度图像中的目标人体深度值大于所述出入阈值的区域归入第一区域;
将所述深度图像中的目标人体深度值小于所述出入阈值的区域归入第二区域;
确定单元1005具体用于:
当所述第一区域的面积占比大于70%时,确定所述目标人体位于出入口的外部;
当所述第一区域的面积占比大于30%且小于70时,确定所述目标人体处于出入口的中间;
当所述第一区域的面积占比小于30%时,确定所述目标人体位于所述出入口的内部。
可选的,还包括:客流统计单元1006,用于使用所述进出状态执行客流统计操作。
可选的,客流统计单元1006具体用于:
通过对所述目标人体进行多帧图像的追踪检测,从而获得对所述目标人体的多个进出状态;
根据所述多个进出状态执行进入或者外出的计数
可选的,客流统计单元1006具体用于:
截取前后两帧图像中的人体的头部区域图像;
计算前后两帧图像中头部区域图像的交并比;
根据所述交并比判别所述前后两帧图像中的人体是否为同一目标人体,从而对所述目标人体进行追踪检测。
可选的,第一计算单元1002具体用于:
通过下述式子计算深度的出入阈值:
Figure SMS_6
其中,depth表示所述出入阈值,h表示所述深度相机的安装高度,d表示相机与出入口分界面的距离,height表示人体高度。
可选的,还包括预处理单元1007,用于对所述深度图像进行滤波预处理。
可选的,预处理单元1007具体用于:
对所述深度相机进行初步的深度选通;
对初步选通后的深度图像进行均值滤波。
参阅图11,本申请还提供了一种出入口人体检测装置,包括:
处理器1101、存储器1102、输入输出单元1103、总线1104;
处理器1101与存储器1102、输入输出单元1103以及总线1104相连;
存储器1102保存有程序,处理器1101调用程序以执行如上任一出入口人体检测方法。
本申请还涉及一种计算机可读存储介质,计算机可读存储介质上保存有程序,其特征在于,当程序在计算机上运行时,使得计算机执行如上任一出入口人体检测方法。
本申请还提供了一种摄像设备,所述摄像设备包括处理器和深度摄像头,所述处理器在运行过程中执行如上任一项所述方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种出入口人体检测方法,其特征在于,所述方法包括:
通过深度相机获取包含有人体区域的出入口的深度图像;
根据所述深度相机的安装信息计算深度的出入阈值;
根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
根据所述面积占比确定所述目标人体在所述出入口的进出状态。
2.根据权利要求1中所述的出入口人体检测方法,其特征在于,所述根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域包括:
将所述深度图像中的目标人体深度值大于所述出入阈值的区域归入第一区域;
将所述深度图像中的目标人体深度值小于所述出入阈值的区域归入第二区域。
3.根据权利要求2中所述的出入口人体检测方法,其特征在于,所述根据所述面积占比确定所述目标人体在所述出入口的进出状态包括:
当所述第一区域的面积占比大于70%时,确定所述目标人体位于出入口的外部;
当所述第一区域的面积占比大于30%且小于70%时,确定所述目标人体处于出入口的中间;
当所述第一区域的面积占比小于30%时,确定所述目标人体位于所述出入口的内部,所述面积占比用于表示所述第一区域或者所述第二区域在人体区域的图像中所占面积的大小。
4.根据权利要求1中所述的出入口人体检测方法,其特征在于,在所述根据所述面积占比确定所述目标人体在所述出入口的进出状态之后,还包括:
根据所述进出状态执行客流统计操作。
5.根据权利要求4中所述的出入口人体检测方法,其特征在于,所述使用所述进出状态执行客流统计操作包括:
通过对所述目标人体进行多帧图像的追踪检测,从而获得对所述目标人体的多个进出状态;
根据所述多个进出状态执行进入或者外出的计数。
6.根据权利要求5中所述的出入口人体检测方法,其特征在于,所述通过对所述目标人体进行多帧图像的追踪检测包括:
截取前后两帧图像中的人体的头部区域图像;
计算前后两帧图像中头部区域图像的交并比;
根据所述交并比判别所述前后两帧图像中的人体是否为同一目标人体,从而对所述目标人体进行追踪检测。
7.根据权利要求5中所述的出入口人体检测方法,其特征在于,若当前区域中的人数为0,则所述根据所述多个进出状态执行进入或者外出的计数包括:
通过所述多个进出状态确定出当前区域的进入人数以及外出人数;
将所述进入人数和所述外出人数中较大的数值加入至客流计数中。
8.根据权利要求5中所述的出入口人体检测方法,其特征在于,若当前区域中的人数不为0,则所述根据所述多个进出状态执行进入或者外出的计数包括:
通过所述多个进出状态确定出当前区域的进入人数以及外出人数;
将所述进入人数和所述外出人数中较小的数值加入至客流计数中。
9.根据权利要求1至8中任一项所述的出入口人体检测方法,其特征在于,所述根据所述深度相机的安装信息计算深度的出入阈值包括:
通过下述式子计算深度的出入阈值:
Figure FDA0003866480230000021
其中,depth表示所述出入阈值,h表示所述深度相机的安装高度,d表示相机与出入口分界面的距离,height表示人体高度。
10.根据权利要求1至8中任一项所述的出入口人体检测方法,其特征在于,在所述通过深度相机获取包含有人体区域的出入口的深度图像之后,所述方法还包括:
对所述深度图像进行滤波预处理。
11.根据权利要求1至8中任一项所述的出入口人体检测方法,其特征在于,在所述通过深度相机获取包含有人体区域的出入口的深度图像之前,所述方法还包括:
获取当前区域的IR图像;
结合所述IR图像以及深度相机获取的深度图像确定人体区域,得到包含有完整的人体区域的深度图像。
12.一种出入口人体检测方法,其特征在于,包括:
通过深度相机获取包含有人体区域的出入口的深度图像;
根据所述深度相机的安装信息计算深度的出入阈值;
根据所述出入阈值计算外侧阈值和内侧阈值;
根据所述外侧阈值以及所述内侧阈值对所述深度图像进行处理,得到人体的进出状态;
根据所述进出状态进行客流的计数。
13.根据权利要求12所述的出入口人体检测方法,其特征在于,所述根据所述出入阈值计算外侧阈值和内侧阈值包括:
计算所述出入阈值与预设的间隔阈值的和,得到外侧阈值;
计算所述出入阈值与预设的间隔阈值的差值,得到内侧阈值。
14.一种出入口人体检测装置,其特征在于,包括:
获取单元,用于通过深度相机获取包含有人体区域的出入口的深度图像;
第一计算单元,用于根据所述深度相机的安装信息计算深度的出入阈值;
深度处理单元,用于根据所述出入阈值对所述深度图像进行处理,得到目标人体的状态图像,所述状态图像包含有深度值不同的第一区域以及第二区域;
第二计算单元,用于计算所述第一区域与所述第二区域在所述状态图像中的面积占比;
确定单元,用于根据所述面积占比确定所述目标人体在所述出入口的进出状态;
客流统计单元,用于使用所述进出状态执行客流统计操作。
15.一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行如权利要求1至13中任一项所述方法。
16.一种摄像设备,其特征在于,所述摄像设备包括处理器和深度摄像头,所述处理器在运行过程中执行如权利要求1至13中任一项所述方法。
CN202211180238.8A 2022-09-27 2022-09-27 一种出入口人体检测方法、摄像设备、装置及存储介质 Active CN116188357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211180238.8A CN116188357B (zh) 2022-09-27 2022-09-27 一种出入口人体检测方法、摄像设备、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211180238.8A CN116188357B (zh) 2022-09-27 2022-09-27 一种出入口人体检测方法、摄像设备、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116188357A true CN116188357A (zh) 2023-05-30
CN116188357B CN116188357B (zh) 2024-07-19

Family

ID=86435139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211180238.8A Active CN116188357B (zh) 2022-09-27 2022-09-27 一种出入口人体检测方法、摄像设备、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116188357B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170007070A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 방문객 출입 통계 분석 방법 및 장치
CN106504227A (zh) * 2016-09-26 2017-03-15 深圳奥比中光科技有限公司 基于深度图像的人数统计方法及其系统
CN107416629A (zh) * 2017-09-05 2017-12-01 广州日滨科技发展有限公司 电梯安全运行的控制方法和系统
CN209514646U (zh) * 2019-03-12 2019-10-18 厦门钛尚人工智能科技有限公司 一种人员进出场智能统计装置
CN110717400A (zh) * 2019-09-12 2020-01-21 北京华捷艾米科技有限公司 一种客流统计方法、装置及系统
CN112257520A (zh) * 2020-09-30 2021-01-22 洛伦兹(北京)科技有限公司 人流量统计方法、装置及系统
CN112668525A (zh) * 2020-12-31 2021-04-16 深圳云天励飞技术股份有限公司 一种人流量的计数方法、装置、电子设备及存储介质
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
WO2022088653A1 (zh) * 2020-10-30 2022-05-05 深圳市商汤科技有限公司 场景监测方法、装置、电子设备、存储介质及程序
CN114842393A (zh) * 2022-05-16 2022-08-02 中国工商银行股份有限公司 一种人流量的统计方法和装置
CN114882404A (zh) * 2022-05-06 2022-08-09 安徽工业大学 一种基于深度相机的人数进出实时计数方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170007070A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 방문객 출입 통계 분석 방법 및 장치
CN106504227A (zh) * 2016-09-26 2017-03-15 深圳奥比中光科技有限公司 基于深度图像的人数统计方法及其系统
CN107416629A (zh) * 2017-09-05 2017-12-01 广州日滨科技发展有限公司 电梯安全运行的控制方法和系统
CN209514646U (zh) * 2019-03-12 2019-10-18 厦门钛尚人工智能科技有限公司 一种人员进出场智能统计装置
CN110717400A (zh) * 2019-09-12 2020-01-21 北京华捷艾米科技有限公司 一种客流统计方法、装置及系统
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
CN112257520A (zh) * 2020-09-30 2021-01-22 洛伦兹(北京)科技有限公司 人流量统计方法、装置及系统
WO2022088653A1 (zh) * 2020-10-30 2022-05-05 深圳市商汤科技有限公司 场景监测方法、装置、电子设备、存储介质及程序
CN112668525A (zh) * 2020-12-31 2021-04-16 深圳云天励飞技术股份有限公司 一种人流量的计数方法、装置、电子设备及存储介质
CN114882404A (zh) * 2022-05-06 2022-08-09 安徽工业大学 一种基于深度相机的人数进出实时计数方法及系统
CN114842393A (zh) * 2022-05-16 2022-08-02 中国工商银行股份有限公司 一种人流量的统计方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ENRICO BONDI, ET AL.: "Real-time people counting from depth imagery of crowded environments", 《2014 11TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE》 *
武孝勇: "基于TOF相机的公交客流量采集系统", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN116188357B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN111144247B (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
CN105139425B (zh) 一种人数统计方法及装置
CN107563347B (zh) 一种基于tof相机的客流计数方法和装置
US20170017832A1 (en) Passenger counting system, passenger counting method and passenger counting program
JP6657167B2 (ja) 利用者検知システム
CN107688764B (zh) 检测车辆违章的方法及装置
JP2019505866A (ja) 通行人の頭部識別方法及びシステム
KR101307234B1 (ko) 객체인식 기반의 주차관리 시스템
US20080144961A1 (en) Method and Image Evaluation Unit for Scene Analysis
CN108830152B (zh) 深度学习网络和人工特征相联合的行人检测方法及系统
US20070047811A1 (en) Method for background generation and its system for video surveillance
JP2003524813A (ja) 障害物検知装置
CN110619300A (zh) 一种多人脸同时识别的纠正方法
CN108898042B (zh) 一种应用于atm机舱内用户异常行为的检测方法
CN108629230A (zh) 一种人数统计方法及装置和电梯调度方法及系统
JP2018158842A (ja) 画像解析装置及びエレベータシステム
CN110713082B (zh) 一种电梯控制方法、系统、装置和存储介质
CN112001334A (zh) 人像识别装置
JP4963297B2 (ja) 人物計数装置および人物計数方法
CN104680171B (zh) 图像中斑马线的检测装置、方法
CN116188357B (zh) 一种出入口人体检测方法、摄像设备、装置及存储介质
JP5110246B2 (ja) 転倒検知装置、プログラム、転倒検知方法、及び転倒検知システム
CN110930432A (zh) 一种视频分析方法、装置及系统
KR20030018487A (ko) 영상을 이용한 출입 이동 물체 계수 방법 및 장치
JP7074161B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant