CN110717408B - 一种基于tof相机的人流计数方法 - Google Patents

一种基于tof相机的人流计数方法 Download PDF

Info

Publication number
CN110717408B
CN110717408B CN201910892079.6A CN201910892079A CN110717408B CN 110717408 B CN110717408 B CN 110717408B CN 201910892079 A CN201910892079 A CN 201910892079A CN 110717408 B CN110717408 B CN 110717408B
Authority
CN
China
Prior art keywords
track
image
coordinate
image data
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910892079.6A
Other languages
English (en)
Other versions
CN110717408A (zh
Inventor
邹屹洋
钱学明
侯兴松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Zhibi'an Technology Co ltd
Original Assignee
Taizhou Zhibi'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Zhibi'an Technology Co ltd filed Critical Taizhou Zhibi'an Technology Co ltd
Priority to CN201910892079.6A priority Critical patent/CN110717408B/zh
Publication of CN110717408A publication Critical patent/CN110717408A/zh
Application granted granted Critical
Publication of CN110717408B publication Critical patent/CN110717408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机数字图像处理与模式识别技术领域，公开了一种基于TOF相机的人流计数方法，其包括TOF人头检测样本集的获取S1；人头检测模型训练S2；深度图像的处理S3；处理单元的划分S4；处理单元的检测S5；人头区域的匹配与跟踪S6；轨迹分析及人流量的获取S7。本发明采用检测与跟踪相结合的方式克服了单一检测算法误检率高和跟踪算法易丢失目标的缺点，能有效对空间内的人流进行精准实时监测分析，对课堂出勤率，车厢拥挤程度判断等需要统计现场人数的场景具有非常大的实际应用价值，提高统计效率，节约人力分析成本。

Description

一种基于TOF相机的人流计数方法
技术领域
本发明涉及计算机数字图像处理与模式识别技术领域，特别涉及了一种基于TOF相机的人流计数方法。
背景技术
随着社会与技术的不断发展，人流信息的重要性日益凸显。对于大型商场、超市，实时的人流信息有助于了解顾客行为，检测商场服务设施的合理性，有助于优化资源配置；对于公共汽车、列车车厢实时的人流信息有助于判断车厢拥挤程度，检测超载情况，优化车辆调度；对于教室、大会堂等密闭空间，通过进出的人流信息可以准确计算出空间内部人数，实现自动考勤等；人流量统计是智能监控的重要应用之一，具有重大的社会应用价值。
专利名称为：基于深度卷积神经网络的密集人群计数方法及系统，申请号：CN201710034202.1，申请日：2017-01-18的发明专利申请中记载，基于深度卷积神经网络的密集人群计数方法及系统，该方法通过将原始图像划分成若干小块，用深度神经网络回归每一块图像中的人数，进行累加之后获得原始图像中的人数；公开号为CN106250828A的专利公开了一种基于改进LBP算子的人群计数方法，采用基于圆形领域的自适应尺度的旋转不变等价模式的ASLBP算子描述图像的局部纹理特征实现人群计数；公开号为CN102663491A的专利公开了一种基于SURF特征的高密度人群计数方法，该方法对视频中提取的SURF特征进行聚类，采用支持向量机回归之后得到预测人数。
TOF相机可以通过距离信息获取物体之间更丰富的位置关系，容易区分前景与后景；此外，TOF相机采用主动式光源，对环境中的光线变化不敏感，更适宜全天24小时工作。
得益于深度学习的高速发展，基于卷积神经网络的目标检测算法取得了突破性的进展。基于卷积神经网络的目标检测算法主要思想是将目标检测当做一个回归任务，使网络自动建立图片和目标类别、位置的联系，从而端对端的输入一张图片，卷积神经网络可以直接输出该图片中包含的目标类别和位置。另一方面采用丰富的深度特征比传统手工设计的特征更加鲁棒，性能上远远超过传统的基于滑动窗口和手工设计特征的目标检测算法。另一方面，由于各种轻量级网络的出现和模型压缩技术的高速发展，使得基于神经网络的算法落地成为了现实。
发明内容
本发明目的在于提供一种基于TOF相机的人流计数方法，在乘客上下车或者学生进出教室的过程中，能够对TOF相机采集的深度数据进行实时性处理，获得当前场景中人头的坐标，进而得出客流信息，以解决现有技术的不足。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种基于TOF相机的人流计数方法，包括以下步骤：
S1：TOF人头检测样本集的获取，样本集指在不同相机高度下采集的视频中截取有人头的图像和该图像的坐标标定文件；
S2：人头检测模型训练，采用的是基于基于神经网络的目标检测算法进行人头检测，人头检测模型训练的步骤包括：
(1)对检测的模型进行低精度量化处理；
(2)对训练图像的前景和背景进行噪声增强处理；
(3)模拟TOF相机过爆的情景；
S3：深度图像的处理，通过TOF相机获取深度图像，然后转化为灰度图像；
S4：处理单元的划分，根据S3获取的灰度图像每K帧划分为一个处理单元；
S5：处理单元的检测，根据S4获取的处理单元中的每个单元的第一帧进行处理，获得当前帧的人头位置，再对剩余的K-1帧用跟踪算法获得每帧图像中的人头坐标；
S6：人头区域的匹配与跟踪，根据S5获取的人头坐标进行时空信息和特征的匹配，形成每个人的运动轨迹；
S7：轨迹分析及人流量的获取，根据S6获得的运动轨迹进行分析，统计实时的人流量。
作为优选，步骤S3中，通过TOF相机获取深度图像的步骤包括：
(1)采集深度数据，即场景中每个点至镜头的距离；
(2)对于采集的深度数据按照公式量化为灰度图像的数据；
Figure GDA0003452760560000031
其中f(x,y)图像数据，g(x,y)灰度图像数据，x为图像的x轴坐标，h为相机高度；
(3)确定相机的过爆，即TOF相机采集的数据中过爆的图像数据超过其他的图像数据达到一定阈值，相机的过爆阈值可以根据采集的图像数据进行设置，且同一处理单元的图像过爆数据相等；可以根据公式二确定TOF相机过爆的图像数据，图像数据中最大值为M，根据公式三确定TOF相机的第二大图像数据为N；相机安装好之后，随机抽取2K帧，将2K帧分为2组；按照公式二求出两组数据中的最大值M1，M2，按照公式三求出两组数据的第二大值N1，N2；根据公式四进行判断M1，M2，是否为过爆，如果不是过爆，则重新选择2K帧，重复判断，直到选出过爆；
M＝max{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式二)
N＝max2{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式三)
Figure GDA0003452760560000041
其中，M为最大的图像数据，N为第二大图像数据，i为第i帧，x,y为图像数据的x,y坐标，
(4)随机选取l帧图像，将每帧中过曝点的图像数据值M都替换为该帧中的第二大图像数据值N；；根据公式五求出各帧的方差，并判断方差最小的一帧，该帧的图像数据均值为
Figure GDA0003452760560000042
若Ml满足公式六，则相机高度h与Ml相等；否则重复判断，直到确定相机高度h；
Figure GDA0003452760560000043
Figure GDA0003452760560000044
其中：s为方差，
Figure GDA0003452760560000045
为图像数据均值
作为优选，步骤S5中，处理单元的检测的步骤：
(1)根据步骤S2中的人头检测模型对步骤S3中量化后的灰度图像进行人头检测获得人头坐标；
(2)将步骤S3中的获取的灰度图像数据减去训练数据集上统计的图像数据均值送入神经网络，获得人头预测的位置和置信度，利用置信度阈值对人头检测的人头坐标进行筛选，当阈值设置比较低时，可以避免漏检；该阈值由大规模实验测试决定，最终选择计数性能最佳的阈值。
作为优选，步骤S6中，人头区域的匹配与跟踪；
(1)对步骤S5检测的人头坐标进行初始化，每个人头设置一个目标跟踪器，根据S4划分的每个处理单元剩下的L-1帧，分别预测每帧的人头坐标；如该帧未能预测到人头坐标，则注销该处理单元的目标跟踪器，不再对剩余帧进行预测；
(2)对获取的人头坐标进行匹配，形成每个人的运动轨迹坐标，每个轨迹注册一个包含有位置信息的轨迹ID；
(3)根据空间相似度和特征相似度的匹配原则对每帧的预测人头坐标与运动轨迹的坐标进行匹配；空间相似度匹配，即计算当前帧所预测的人头坐标与所有轨迹的最新坐标之间的空间距离，若该坐标与所有轨迹的最新坐标之间的距离均大于设定的阈值，则将该坐标注册为新的轨迹起点坐标，否则将该坐标匹配给距离最小的轨迹，更新该轨迹的最新坐标；特征相似度匹配规则，即对预测的每个人头提取一个具有区分力的特征，计算当前帧预测出的各个人头特征与系统中所有轨迹ID的特征之间的相似性，若所有的相似性均小于设定的阈值，将该坐标注册为新的轨迹ID坐标起点，否则将该坐标匹配给相似度最高的轨迹ID，更新该轨迹ID的最新坐标；连续n帧某个轨迹的最新坐标未得到更新，则注销该轨迹；
作为优选，步骤S7中，轨迹分析及人流量的获取，根据步骤S6获取的运动轨迹进行分析，对视场进行垂直方向划分，中间线为界，左侧为上区，右侧为下区若轨迹中包含的坐标数量大于n，则该轨迹为有效的轨迹，否则为无效轨迹，对于有效轨迹，若起始坐标在上区，终止坐标在下区则为进门，反之为出门；对各轨迹的进出门个数进行统计，即可获得实时的人流量。
本发明由于采用了以上技术方案，具有显著的技术效果：通过垂直设在门顶部的TOF相机获取深度数据组成人头检测训练样本集；基于训练样本集学习生成神经网络人头检测器；对于新获取的待处理的深度数据根据条件采用训练好的人头检测器或者追踪器预测人头坐标；根据时空关系和特征对预测的人头坐标进行匹配，生成每个人的运动轨迹ID，剔除无效轨迹；最后根据计数规则判断各轨迹的进出门情况，统计出实时的人流量。本发明通过神经网络检测人头和低阈值选取方式避免了漏检，采用跟踪的结果进行计数有避免了误检，采用时空信息和特征相似度对预测的人头坐标进行匹配有效的防止丢失目标。本发明适应多种架设高度，能够对多人拥挤、相向而行、并肩行走、手拿重物等多种复杂场景中的人头进行精准识别，实时统计出室内(或车厢)的人数，快速判断出车厢(或会场、教室等)的拥挤程度。。
附图说明
图1是本发明的总体步骤示意图。
图2是本发明人流计数流程图。
图3是本发明样本集图。
图4是本发明人头检测结果图。
图5是本发明人流实时计数结果图。
图6是本发明人流变化曲线图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
一种基于TOF相机的人流计数方法，包括以下步骤：
S1：TOF人头检测样本集的获取，样本集指在不同相机高度下采集的视频中截取有人头的图像和该图像的坐标标定文件，如附图3所示，样本集包括图片和图片对应的xml文件；
S2：根据步骤S1获取的样本集转化为VOC格式的标准数据集，然后是基于神经网络的目标检测算法进行人头检测，具体步骤包括：
(1)对检测的模型进行低精度量化处理；
(2)对训练图像的前景和背景进行噪声增强处理；
(3)模拟TOF相机过爆的情景，增加网络泛化性能；
用深度神经网络进行训练140000次，生成深度神经网络人头检测器，迭代100000次之后每隔100次进行模型测试挑选一个性能最好的人头检测模型进行保存。
S3：深度图像的处理，通过TOF相机获取深度图像，然后转化为灰度图像；
S4：处理单元的划分，根据S3获取的灰度图像每K帧划分为一个处理单元；
S5：处理单元的检测，根据S4获取的处理单元中的每个单元的第一帧进行处理，获得当前帧的人头位置，再对剩余的K-1帧用跟踪算法获得每帧图像中的人头坐标；
S6：人头区域的匹配与跟踪，根据S5获取的人头坐标进行时空信息和特征的匹配，形成每个人的运动轨迹；
S7：轨迹分析及人流量的获取，根据S6获得的运动轨迹进行分析，统计实时的人流量。
步骤S3中，通过TOF相机获取深度图像的步骤包括：
(1)采集深度数据，即场景中每个点至镜头的距离；
(2)对于采集的深度数据按照公式量化为灰度图像的数据；
Figure GDA0003452760560000071
其中f(x,y)为图像数据，g(x,y)为灰度图像数据，x为图像的x轴坐标，h为相机高度；
(3)确定相机的过爆，即TOF相机采集的数据中过爆的图像数据超过其他的图像数据达到一定阈值，相机的过爆阈值可以根据采集的图像数据进行设置，且同一处理单元的图像过爆数据相等；据相等；可以根据公式二确定TOF相机过爆的图像数据，图像数据中最大值为M，根据公式三确定TOF相机的第二大图像数据为N；相机安装好之后，随机抽取2K帧，将2K帧分为2组；按照公式二求出两组数据中的最大值M1，M2，按照公式三求出两组数据的第二大值N1，N2；根据公式四进行判断M1，M2，是否为过爆，如果不是过爆，则重新选择2K帧，重复判断，直到选出过爆；
M＝max{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式二)
N＝max2{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式三)
Figure GDA0003452760560000081
M为最大的图像数据，N为第二大图像数据，i为第i帧，x,y为图像数据的x,y坐标，
(4)随机选取l帧图像，将每帧中过曝点的图像数据值M都替换为该帧中的第二大图像数据值N；根据公式五求出各帧的方差，并判断方差最小的一帧，该帧的图像数据均值为
Figure GDA0003452760560000082
若Ml满足公式六，则相机高度h与Ml相等；否则重复判断，直到确定相机高度h；
Figure GDA0003452760560000083
Figure GDA0003452760560000084
其中：s为方差，
Figure GDA0003452760560000085
为图像数据均值
作为优选，步骤S5中，处理单元的检测的步骤：
(1)根据步骤S2中的人头检测模型对步骤S3中量化后的灰度图像进行人头检测获得人头坐标；
(2)将步骤S3中的获取的灰度图像数据减去训练数据集上统计的图像数据均值送入神经网络，获得人头预测的位置和置信度，利用置信度阈值对人头检测的人头坐标进行筛选，一般置信度阈值设置较低，可以增加人头的召回率，人头的召回率＝正确检出的人头数量/总的人头数量。
步骤S6中，人头区域的匹配与跟踪；
(1)对步骤S5检测的人头坐标进行初始化，每个人头设置一个目标跟踪器，根据S4划分的每个处理单元剩下的L-1帧，分别预测每帧的人头坐标；如该帧未能预测到人头坐标，则注销该处理单元的目标跟踪器，不再对剩余帧进行预测；
(2)对获取的人头坐标进行匹配，形成每个人的运动轨迹坐标，每个轨迹注册一个包含有位置信息的轨迹ID；
(3)根据空间相似度和特征相似度的匹配原则对每帧的预测人头坐标与运动轨迹ID的坐标进行匹配；空间相似度匹配，即计算当前帧所预测的人头坐标与所有轨迹ID的最新坐标之间的空间距离，若该坐标与所有轨迹ID的最新坐标之间的距离均大于设定的阈值，则将该坐标注册为新的轨迹ID起点，否则将该坐标匹配给距离最小的轨迹，更新该轨迹的最新坐标；特征相似度匹配规则，即对预测的每个人头提取一个具有区分力的特征，计算当前帧预测出的各个人头特征与系统中所有轨迹ID的特征之间的相似性，若所有的相似性均小于设定的阈值，将该坐标注册为新的轨迹ID坐标起点，否则将该坐标匹配给相似度最高的轨迹ID，更新该轨迹ID的最新坐标；连续n帧某个轨迹的最新坐标未得到更新，则注销该轨迹。
步骤S7中，轨迹分析及人流量的获取，根据步骤S6获取的运动轨迹进行分析，对视场进行垂直方向划分，中间线为界，左侧为上区，右侧为下区若轨迹中包含的坐标数量大于n，则该轨迹为有效的轨迹，否则为无效轨迹，对于有效轨迹，若起始坐标在上区，终止坐标在下区则为进门，反之为出门；对各轨迹的进出门个数进行统计，即可获得实时的人流量。
实施例2
依据附图6所示，在一段时间内的人流变化曲线。1)一段时间内进入空间的人数变化曲线；2)一段时间内离开空间的人数变化曲线；3)空间内部实时人数变化曲线。
实施例3
连续n帧某个轨迹的最新坐标未得到更新，则注销该轨迹，与实施例不同的是n指根据实验进行测试根据相机高度h的不同，n取值在20到30之间。
通过设计的神经网络，单帧图像的人头召回率大于95％，像素处理速率为90帧；通过神经网络检测人头和低阈值选取方式有效的避免了漏检情况，采用跟踪的结果进行计数有效的避免了误检情况；采用时空信息和特征相似度对预测的人头坐标进行匹配有效的防止了跟踪算法容易丢失目标的情况；结合设计的TOF相机安装高度自适应方法，在1.9m，2m，2.5m高度下，计数准确率分别为96％，99％和98％。
总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (4)

1.一种基于TOF相机的人流计数方法，其特征在于，包括以下步骤：
S1：TOF人头检测样本集的获取，样本集指在采集的视频中截取有人头的图像和该图像的坐标标定文件；
S2：人头检测模型训练，采用的是基于神经网络的目标检测算法进行人头检测，具体步骤包括：
(1)对检测的模型进行不同精度的量化处理；
(2)对训练图像的前景和背景进行噪声增强处理；
(3)模拟TOF相机过爆的情景；
S3：深度图像的处理，通过TOF相机获取深度图像，然后转化为灰度图像；
通过TOF相机获取深度图像的步骤包括：
(1)采集深度图像数据；
(2)对于采集的深度图像数据按照公式一量化为灰度图像数据；
Figure FDA0003452760550000011
其中f(x,y)深度图像数据，g(x,y)灰度图像数据，x为图像横轴坐标，y为图像纵轴坐标，h为相机高度；
(3)确定相机的过爆，即TOF相机采集的数据中过爆的图像数据超过其他的图像数据达到一定阈值，相机的过爆阈值可以根据采集的图像数据进行设置，且同一处理单元的图像过爆数据相等；可以根据公式二确定TOF相机过爆的图像数据，图像数据中最大值为M，根据公式三确定TOF相机的第二大图像数据为N；相机安装好之后，随机抽取2K帧，将2K帧分为2组；按照公式二求出两组数据中的最大值M1，M2，按照公式三求出两组数据的第二大值N1，N2；根据公式四进行判断M1，M2，是否为过爆，如果不是过爆，则重新选择2K帧，重复判断，直到选出过爆；
M＝max{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式二)
N＝max2{fi(x,y),i≤K,0≤x≤w,0<y≤h} (公式三)
Figure FDA0003452760550000021
其中，M为最大的图像数据，N为第二大图像数据，i为第i帧，x为图像横轴坐标，y为图像纵轴坐标；
(4)随机选取l帧图像，将每帧中过曝点的图像数据值M都替换为该帧中的第二大图像数据值N；然后根据公式五求出各帧的方差，并选择方差最小的一帧，该帧的图像数据均值为
Figure FDA0003452760550000022
根据公式六确定相机的安装高度；否则重复判断，直到确定相机高度h；
Figure FDA0003452760550000023
Figure FDA0003452760550000024
其中：s为每帧图像的方差，
Figure FDA0003452760550000025
为图像数据均值；
S4：处理单元的划分，根据S3获取的灰度图像每K帧划分为一个处理单元；
S5：处理单元的检测，根据S4获取的处理单元中的每个单元的第一帧进行处理，获得当前帧的人头位置，再对剩余的K-1帧用跟踪算法获得每帧图像中的人头坐标；
S6：人头区域的匹配与跟踪，根据S5获取的人头坐标进行时空信息和特征相似度的匹配，形成每个人的运动轨迹，并给每个运动轨迹分配轨迹ID；
S7：轨迹分析及人流量的获取，根据S6获得的运动轨迹，统计实时的人流量。
2.根据权利要求1所述的一种基于TOF相机的人流计数方法，其特征在于：S5中，处理单元的检测的步骤：
(1)根据S2中的人头检测模型对S3中量化后的灰度图像进行人头检测获得人头坐标；
(2)将S3中的获取的灰度图像数据减去训练数据集上统计的图像数据均值送入神经网络，获得人头预测的位置和置信度，利用置信度阈值对人头检测的人头坐标进行筛选。
3.根据权利要求1所述的一种基于TOF相机的人流计数方法，其特征在于：SS6中，人头区域的匹配与跟踪；
(1)对S5检测的人头坐标进行初始化，每个人头设置一个目标跟踪器，根据S4划分的每个处理单元剩下的L-1帧，分别预测每帧的人头坐标；如该帧未能预测到人头坐标，则注销该处理单元的目标跟踪器，不再对剩余帧进行预测；
(2)对获取的人头坐标进行匹配，形成每个人的运动轨迹坐标，每个轨迹注册一个包含有位置信息的轨迹ID坐标；
(3)根据空间相似度和特征相似度的匹配原则对每帧的预测人头坐标与运动轨迹ID的坐标进行匹配；空间相似度匹配，即计算当前帧所预测的人头坐标与所有轨迹ID的最新坐标之间的空间距离，若该坐标与所有轨迹ID的最新坐标之间的距离均大于设定的阈值，则将该坐标注册为新的轨迹ID起点，否则将该坐标匹配给距离最小的轨迹，更新该轨迹的最新坐标；特征相似度匹配规则，即对预测的每个人头提取一个具有区分力的特征，计算当前帧预测出的各个人头特征与系统中所有轨迹ID的特征之间的相似性，若所有的相似性均小于设定的阈值，将该坐标注册为新的轨迹ID坐标起点，否则将该坐标匹配给相似度最高的轨迹ID，更新该轨迹ID的最新坐标；连续n帧某个轨迹的最新坐标未得到更新，则注销该轨迹。
4.根据权利要求1所述的一种基于TOF相机的人流计数方法，其特征在于：S7中轨迹分析及人流量的获取，根据S6获取的运动轨迹进行分析，对于一个视场对垂直方向进行划分，中间线为界，左侧为上区，右侧为下区，当轨迹中包含的坐标数量大于n，则该轨迹为有效的轨迹，否则为无效轨迹，对于有效轨迹，若起始坐标在上区，终止坐标在下区则为进门，反之为出门；对各轨迹的进出门个数进行统计，即可获得实时的人流量。
CN201910892079.6A 2019-09-20 2019-09-20 一种基于tof相机的人流计数方法 Active CN110717408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910892079.6A CN110717408B (zh) 2019-09-20 2019-09-20 一种基于tof相机的人流计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910892079.6A CN110717408B (zh) 2019-09-20 2019-09-20 一种基于tof相机的人流计数方法

Publications (2)

Publication Number Publication Date
CN110717408A CN110717408A (zh) 2020-01-21
CN110717408B true CN110717408B (zh) 2022-04-12

Family

ID=69210659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910892079.6A Active CN110717408B (zh) 2019-09-20 2019-09-20 一种基于tof相机的人流计数方法

Country Status (1)

Country Link
CN (1) CN110717408B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034544B (zh) * 2021-03-19 2024-10-15 奥比中光科技集团股份有限公司 一种基于深度相机的人流分析方法及装置
CN116665243A (zh) * 2021-03-23 2023-08-29 福建诺诚数字科技有限公司 一种基于tof深度图测量行人间距的方法和装置以及设备
CN114694088A (zh) * 2022-02-18 2022-07-01 北京市建筑设计研究院有限公司 一种人流量数据检测方法、装置及电子设备
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统
CN117423067B (zh) * 2023-12-18 2024-03-12 成都华芯智云科技有限公司 一种基于tof技术的客流统计终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951905A (zh) * 2017-02-16 2017-07-14 江苏大学 一种基于tof相机的树上苹果识别与定位方法
CN107563347A (zh) * 2017-09-20 2018-01-09 南京行者易智能交通科技有限公司 一种基于tof相机的客流计数方法和装置
CN109145708A (zh) * 2018-06-22 2019-01-04 南京大学 一种基于rgb和d信息融合的人流量统计方法
CN109325404A (zh) * 2018-08-07 2019-02-12 长安大学 一种公交场景下的人数统计方法
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101557376B1 (ko) * 2014-02-24 2015-10-05 에스케이 텔레콤주식회사 사람 계수 방법 및 그를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951905A (zh) * 2017-02-16 2017-07-14 江苏大学 一种基于tof相机的树上苹果识别与定位方法
CN107563347A (zh) * 2017-09-20 2018-01-09 南京行者易智能交通科技有限公司 一种基于tof相机的客流计数方法和装置
CN109145708A (zh) * 2018-06-22 2019-01-04 南京大学 一种基于rgb和d信息融合的人流量统计方法
CN109325404A (zh) * 2018-08-07 2019-02-12 长安大学 一种公交场景下的人数统计方法
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于TOF相机的公交客流量采集系统;武孝勇;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190115(第12期);全文 *

Also Published As

Publication number Publication date
CN110717408A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717408B (zh) 一种基于tof相机的人流计数方法
CN105844234B (zh) 一种基于头肩检测的人数统计的方法及设备
CN104303193B (zh) 基于聚类的目标分类
US10997428B2 (en) Automated detection of building entrances
JP6474919B2 (ja) 混雑状況監視システム及び混雑状況監視方法
CN103049787B (zh) 一种基于头肩特征的人数统计方法和系统
CN109325404A (zh) 一种公交场景下的人数统计方法
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN112287753B (zh) 一种基于机器学习提升人脸识别精度的系统及其算法
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN103488993A (zh) 一种基于fast的人群异常行为识别方法
Li et al. A traffic state detection tool for freeway video surveillance system
CN107038411A (zh) 一种基于视频中车辆运动轨迹的路侧停车行为精确识别方法
CN110189355A (zh) 安全疏散通道占用检测方法、装置、电子设备及存储介质
CN107483894A (zh) 基于场景判断实现客运管理的高铁车站视频监控系统
CA3196344A1 (en) Rail feature identification system
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN111738327B (zh) 一种基于典型云层遮挡辐照差异的超短期辐照预测方法
CN107452212A (zh) 路口信号灯控制方法及其系统
CN109919068B (zh) 基于视频分析适应密集场景人流实时监测方法
CN105740819A (zh) 一种基于整数规划的人群密度估计方法
CN104123569B (zh) 一种基于有监督学习的视频人数信息统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant