CN113052058A - 一种车载客流统计方法、装置及存储介质 - Google Patents

一种车载客流统计方法、装置及存储介质 Download PDF

Info

Publication number
CN113052058A
CN113052058A CN202110298119.1A CN202110298119A CN113052058A CN 113052058 A CN113052058 A CN 113052058A CN 202110298119 A CN202110298119 A CN 202110298119A CN 113052058 A CN113052058 A CN 113052058A
Authority
CN
China
Prior art keywords
video image
head
position information
vehicle
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110298119.1A
Other languages
English (en)
Other versions
CN113052058B (zh
Inventor
纪向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Minicreate Technology Co ltd
Original Assignee
Shenzhen Minicreate Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minicreate Technology Co ltd filed Critical Shenzhen Minicreate Technology Co ltd
Priority to CN202110298119.1A priority Critical patent/CN113052058B/zh
Publication of CN113052058A publication Critical patent/CN113052058A/zh
Application granted granted Critical
Publication of CN113052058B publication Critical patent/CN113052058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种车载客流统计方法，通过在车辆的车门区域安装摄像设备并实时获取摄像设备的视频图像，然后对每一帧视频图像中所出现的人头进行目标识别、对比、统计分析得出每个人头的移动轨迹，进而根据每个人头的移动轨迹实现对乘客的上车或下车的判断，实现车载客流的统计，解决了现有技术中无法针对车载客流进行统计的问题。本发明还提供一种车载客流统计装置及存储介质。

Description

一种车载客流统计方法、装置及存储介质
技术领域
本发明涉及客流统计，尤其涉及一种车载客流统计方法、装置及存储介质。
背景技术
对于诸如商场、菜场等公共场所进行人流统计时，一般采用基于视频的客流统计，包括首先在通道处安装摄像设备，并在视频图像中划分分界线；分界线是用于判断目标在场所内还是场所外；然后采用目标检测技术检测视频图像中的目标，并结合跟踪算法对目标进行跟踪，通过判断目标的轨迹与分界线的关系，来判断人流是进入场所或离开场所。该方法需要通过标定指定分界线，才能进行统计。相对于商场、菜场来说，公交车的数量巨大，因此，分界线的设置难以设定；另外，上述的目标各种过程一般采用粒子滤波等跟踪算法，特征一般基于颜色，比较适合于商场等场所，而对于车载环境由于光影的变化大，很容易失效，导致统计不准确。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种车载客流统计方法，其能够解决现有技术无法针对诸如公交车等的车载人流量进行统计的问题。
本发明的目的之二在于提供一种车载客流统计装置，其能够解决现有技术无法针对诸如公交车等的车载人流量进行统计的问题。
本发明的目的之三在于提供一种存储介质，其能够解决现有技术无法针对诸如公交车等的车载人流量进行统计的问题。
本发明的目的之一采用如下技术方案实现：
一种车载客流统计方法，所述车载客流统计方法包括：
图像获取步骤：当车辆停止运行并当车门开启时，通过摄像设备实时获取每一帧视频图像；所述摄像设备安装于车辆的车门区域的正上方；
位置获取步骤：对每一帧视频图像进行目标识别处理得出每一帧视频图像中每个人头在每一帧视频图像中的位置信息；
设定步骤：按照每一帧视频图像获取的先后顺序依次取一帧视频图像并记为当前帧视频图像；
判断步骤：判断当前帧视频图像是否为第一帧，若是，则执行初始化步骤；若否，则执行预测步骤：
初始化步骤：获取第一帧视频图像中的每个人头在第一帧视频图像中的位置信息，并为每个人头进行编号以及根据第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置，然后执行设定步骤；
预测步骤：获取前一帧视频图像中的每个人头在前一帧视频图像中的位置信息，并根据前一帧视频图像的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息，执行对比步骤；
对比步骤：获取当前帧视频图像中的每个人头在当前帧视频图像中的位置信息，并将其与前一帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比得出第一子集、第二子集和第三子集；其中，第一子集包括存在于前一帧视频图像但不存在当前帧视频图像的人头及其在前一帧视频图像中的位置信息；第二子集包括存在于前一帧视频图像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息；第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头的位置信息及其在当前帧视频图像中的位置信息；然后执行第一统计步骤；
第一统计步骤：获取第三子集中的每个人头并进行编号，以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中的每个人头的初始位置并存储系统中；获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置，并按照第二子集中的每个人头的编号将第二子集中的每个人头的中间位置存储于系统中；获取第一子集中的每个人头，以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置，并根据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹，然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘客数量；然后执行设定步骤；直到所有的视频图像均判断完毕，根据系统中的上车乘客数量和下车乘客数量得出车载客流量。
进一步地，所述图像获取步骤还包括：对获取到的每一帧视频图像进行预处理；所述预处理包括尺寸缩放和归一化处理。
进一步地，还包括：第二统计步骤：当车门关闭时，获取车门区域的人并将其判断为上车人员，并更新系统中的上车乘客数量。
进一步地，所述位置获取步骤包括：采用目标检测神经网络对每一帧视频图像进行目标识别处理；所述目标检测神经网络为以下任意一种：SSD神经网络、RCNN神经网络、FASTER-RCNN神经网络以及YOLO神经网络。
进一步地，每个人头在视频图像中的位置信息为每个人头在视频图像中所占的区域的位置信息。
进一步地，每个人头在视频图像中所占的区域为方形区域；每个人头在视频图像中的位置信息包括每个人头在视频图像中所占的方形区域的左上角坐标和右下角坐标；其中，左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的右下角在视频图像中的像素坐标。
进一步地，所述预测步骤还包括：采用卡尔曼滤波算法根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息。
进一步地，所述对比步骤包括：首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵，然后根据匈牙利匹配算法求解得出IOU矩阵的最优解，进而得出第一子集、第二子集和第三子集。
本发明的目的之二采用如下技术方案实现：
一种车载客流统计装置，包括存储器和处理器，所述存储器上存储有可在处理器上运行的车载客流统计程序，所述车载客流统计程序为计算机程序，所述处理器执行所述车载客流统计程序时实现如本发明的目之一采用的一种车载客流统计方法的步骤。
本发明的目的之三采用如下技术方案实现：
一种存储介质，所述存储介质为计算机可读存储介质，其上存储有车载客流统计程序，所述车载客流统计程序为计算机程序，所述车载客流统计程序被处理器执行时实现如本发明的目的之一采用的一种车载客流统计方法的步骤。
相比现有技术，本发明的有益效果在于：
本发明只需要通过在车辆的车门区域的上方安装对应的摄像设备，并在车门开启的过程中实时获取摄像设备的视频图像，并对获取的所有的视频图像进行处理后判断得出在车门开启过程中的上车乘客和下车乘客，从而可实现车载客流的统计。本发明无需标定任何的分界线即可实现车载客流统计，具有统计精确等特点。
附图说明
图1为本发明提供的视频图像中人头所占的方形区域与视频图像的位置关系图；
图2为本发明提供的一种车载客流统计方法的步骤S1、步骤S2以及步骤S3的流程图；
图3为本发明提供的一种车载客流统计方法的步骤S4、步骤S5、步骤S61、步骤S62、步骤S7、步骤S81、步骤S82、步骤S83以及步骤S9的流程图；
图4为本发明提供的一种车载客流统计装置模块图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
本发明提供一种优选的实施例，一种车载客流统计方法，不需要预先进行任何分界线的标定即可实现车载的人流量统计，方便快捷。如图2-3所示，该方法包括以下步骤：
步骤S1、将摄像设备安装于车辆的车门区域的正上方。其中，本实施例中的车辆一般指公交车辆、有轨车辆、地铁等公共交通，一般来说，这些公共交通车门处均设有车门区域，本实施例通过将摄像设备安装于车辆的车门区域的正上方，通过对摄像设备所拍摄的图像进行分析对上车的人数以及下车的人数进行统计，进而实现车载人流的统计。
更为具体地，诸如公交车、有轨电车、地铁等公共交通工具，车门区域一般设置有“禁止站立区域”。也即，本实施例中的车门区域的正上方是指该禁止站立区域的正上方。
步骤S2、当车辆停止运行并且车门开启时，通过摄像设备实时获取每一帧视频图像。具体地，通过设定预设时间，按照每隔预设时间通过摄像设备获取一帧视频图像。优选地，可通过在车辆上装置相应的微处理器和存储器，通过微处理器与摄像设备连接，来获取摄像设备发送的每一帧视频图像并存储存储器中，以便后续对每一帧视频图像进行分析。
优选地，为了便于后续对视频图像的分析，本实施例还包括对获取的每一帧视频图像进行预处理。其中，预处理包括尺寸缩放、归一化处理等。比如，将视频图像缩放到320pixel*320pixel，并除以255进行归一化。
步骤S3、对每一帧视频图像进行目标识别处理得出每一帧视频图像中的每个人头以及每个人头在每一帧视频图像中的位置信息。
优选地，本实施例在对视频图像进行目标识别处理时，通过目标检测神经网络实现。其中，目标检测神经网络可为以下任意一种：SSD系列神经网络、RCNN神经网络、FASTER-RCNN神经网络以及YOLO系列神经网络。通过上述用于目标检测的神经网络来实现对视频图像进行目标识别处理，以实现目标检测。优选地，本实施例中的每个人头在视频图像中的位置信息是指每个人头在视频图像中所占的区域的位置信息。本实施例中通过每个人头在视频图像中所占的区域表示一个人头的位置。具体地，每个人头在对应视频图像中所占的区域采用方形区域表示，如图1所示，视频图像中每个方形区域均表示一个人头在视频图像中所占的区域。其中，每个人头的位置信息包括方形区域的左上角坐标和右下角坐标。左上角坐标、右下角坐标均为值左上角、右下角在视频图像中的像素坐标值。
步骤S4、按照每一帧视频图像获取的先后顺序依次取出一帧视频图像并记为当前帧视频图像。
步骤S5、判断当前帧视频图像是否为第一帧，若是，则执行步骤S61；若否，则执行步骤S62。
步骤S61、获取第一帧视频图像中的每个人头，并为每个人头进行编号以及将第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置，然后执行步骤S5。
当一帧视频图像为第一帧视频图像时，将该视频图像中出现的每个人头所对应的人均认为进入摄像设备拍摄范围内的新人。为了区分每个人，本实施例首先对判断为新人的人头进行编号并将第一帧视频图像中的每个人头在第一帧视频图像中的位置信息记为该人头的初始位置，以便后续对该人头的位置进行追踪，判断该人头对应的人为上车还是下车。
当每一帧视频图像判断完成后，继续取下一帧视频图像进行判断。
步骤S62、获取前一帧视频图像中的每个人头，并根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像中每个人头在当前帧视频图像中的位置信息。
当当前帧视频图像不是第一帧时，首先获取前一帧视频图像中每个人头在前一帧视频图像的位置信息，并根据前一帧视频图像中每个人头在前一帧视频图像的位置信息对其进行预测得出前一帧视频图像中每个人头在当前帧视频图像中的位置信息。
设定前一帧视频图像中的每个人头在前一帧视频图像中的位置信息集合记为Dt-1＝(d1,d2,…di,…,dn)。其中，n表示前一帧视频图像中出现的人头数，di为前一帧视频图像中第i个人头在前一帧视频图像中的位置信息。具体地，当每个人头在一帧视频图像中所在的区域为方形区域时，则前一帧视频图像中的第i个人头在前一帧视频图像中的位置信息di表示为：di＝(x1,y1,x2,y2)。其中，x1、y1，x2、y2分别为前一帧视频图像中的第i个人头在前一帧视频图像中所占的方形区域的左上角坐标、右下角的坐标。
则根据卡尔曼滤波算法对Dt-1进行处理，进而得出在前一帧视频图像中的每个人头在当前帧视频图像中的位置信息的集合表示为：DPt-1＝(dp1,dp2,……dpn)。其中，DPt-1是指前一帧视频图像中每个人头在当前帧视频图像中的位置信息的集合。dpi表示前一帧视频图像中的第i个人头在当前帧视频图像中的位置信息。
由于乘客处于上车或下车的状态，因此，在实时获取的摄像设备发送的每一帧视频图像来说，人头的位置均会发生一定的变化，本申请根据人头的位置变化来判断乘客是上车还是下车，进而实现对乘客的数量统计。
步骤S7、获取当前帧视频图像中的每个人头以及每个人头在当前帧视频图像中的位置信息，然后将前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像的位置信息进行对比得出第一子集、第二子集和第三子集，执行步骤S81、步骤S82以及步骤S83。
由于人的流动性，当人下车后或下车到车厢内时，人头不会处于摄像设备的拍摄范围内。因此，前后两帧视频图像中的人头数量可能相同，也可能不同，人头也可能不同，也可能不同。
设定当前帧视频图像的每个人头的位置信息的集合为Dt＝(d1,d2,…dj,…,dm)。其中，m表示当前帧视频图像中的人头的数量，dj为当前帧视频图像中第j个人头在当前帧视频图像中的位置信息。其中，m与n可以相同，也可以不同。
也即，第一子集包括在前一帧视频图像中出现但未在当前帧视频图像中出现的人头及其在前一帧视频图像中的位置信息。由于人的上车或下车的因素，导致该人头已经不在摄像设备的拍摄范围内，也即，第一子集中的人头是指消失的人头。
第二子集包括在前一帧视频图像中出现并且在当前帧视频图像中出现的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息。第二子集中的人头可能正处于上车或下车的过程中，也即正处于摄像设备拍摄的范围内的人头。
第三子集包括在前一帧视频图像中未出现但在当前帧视频图像中出现的人头及其在当前帧视频图像中的位置信息。第三子集中的人头是指新出现的人头。
优选地，步骤S62中根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像中每个人头在当前帧视频图像中的位置信息时，可通过采用卡尔曼滤波算法来实现。
步骤S7中将前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比可采用匈牙利匹配算法进行。
也即，步骤S7还包括：首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵，然后根据匈牙利匹配算法求解IOU矩阵的最优解，进而得出第一子集、第二子集和第三子集。
具体地，根据DPt-1与Dt计算得出IOU矩阵，然后通过匈牙利匹配算法对该矩阵求解最优解即可得出三个子集。其中，IOU矩阵为m×n矩阵。
当得出上述三个子集后，根据每个子集中的人头的类型不同，本发明做如下统计处理：
步骤S81、获取第三子集中的每个人头并进行编号，以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中每个人头的初始位置并存储系统中。也即，第三子集中的人头为新出现的人头，对新出现的人头进行编号并存储初始位置。
步骤S82、获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置，并根据第二子集中的每个人头的编号将每个人头的中间位置存储于系统中。
第二子集中的人头为正在上车或下车的人头，根据第二子集中每个人头在前一帧视频图像中的位置信息得出中间位置，以及当前帧视频图像中的位置信息可得出中间位置。这里的中间位置是相对于第三子集中的人头的初始位置而言。
步骤S83、获取第一子集中的每个人头，以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置并根据第一子集中的每个人头的初始位置、中间位置得出第一子集中的每个人头的移动轨迹，然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客，并更新系统中的上车乘客数量和下车乘客数量。
由于每个人头的初始位置、中间位置均是根据人头在视频图像中的位置信息得到的，因此，每个人头的位置的先后顺序可根据对应的视频图像获取的先后顺序得出，这样，就可以确定每个人头的移动轨迹，也即移动方向。根据每个人头所在的视频图像的先后顺序可判断得出每个人头移动的轨迹或方向，这样可判断得出乘客为上车还是下车。由于摄像设备安装于车门的正上方，因此，本实施例中认为当乘客的移动方向从上至下(也即在视频图像中的移动轨迹的中的多个位置从视频图像的上方变化到下方时，认为乘客的移动方向为从上至下)，则认为乘客为上车；反之同理，当乘客的移动方向为从下至上，则认为乘客为下车。
第一子集中的人头表示已经上车完毕或下车完毕，因此，可根据第一子集中的每个人头的编号来匹配系统中存储的每个人头的位置，包括初始位置、中间位置，这样既可根据每个人头的初始位置、中间位置来判断得出每个人头在视频图像中的移动轨迹，进而可判断该人头对应的人是上车还是下车，进而统计得出上车乘客和下车乘客并对系统中存储的数量进行更新。
第一子集中的人头在前一帧视频图像中的位置信息也即人头的最终位置。
当步骤S81、步骤S82以及步骤S83执行完毕后，继续取下一帧视频图像作为当前帧视频图像后进行判断，直到所有的视频图像判断完毕。
步骤S9、当车辆车门关闭时，获取车门区域的人并将其判断为上车人员，并更新系统中的上车乘客数量。由于早高峰等时段，车辆的人流量较大时，车门区域也会有人，因此，当车门关闭后，在该区域的人均认为上车人员。
实施例二
本发明提供了一种车载客流统计装置。如图4所示，本发明一实施例提供的车载客流统计装置的内部结构示意图。
在本实施例中，车载客流统计装置可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该车载客流统计装置至少包括：处理器12、通信总线13、网络接口14以及存储器11。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是车载客流统计装置的内部存储单元，例如该车载客流统计装置的硬盘。存储器11在另一些实施例中也可以是车载客流统计装置的外部存储设备，例如车载客流统计装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括车载客流统计装置的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于车载客流统计装置的应用软件及各类数据，例如车载客流统计程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行车载客流统计程序等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该车载客流统计装置与其他电子设备之间建立通信连接。
可选地，该车载客流统计装置还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在车载客流统计装置中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有组件11-14以及车载客流统计程序的车载客流统计装置，本领域技术人员可以理解的是，图4示出的结构并不构成对车载客流统计装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图4所示的车载客流统计装置实施例中，存储器11中存储有车载客流统计程序；处理器12执行存储器11中存储的车载客流统计程序时实现如下步骤：
图像获取步骤：当车辆停止运行并当车门开启时，通过摄像设备实时获取每一帧视频图像；所述摄像设备安装于车辆的车门区域的正上方；
位置获取步骤：对每一帧视频图像进行目标识别处理得出每一帧视频图像中每个人头在每一帧视频图像中的位置信息；
设定步骤：按照每一帧视频图像获取的先后顺序依次取一帧视频图像并记为当前帧视频图像；
判断步骤：判断当前帧视频图像是否为第一帧，若是，则执行初始化步骤；若否，则执行预测步骤：
初始化步骤：获取第一帧视频图像中的每个人头在第一帧视频图像中的位置信息，并为每个人头进行编号以及根据第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置，然后执行设定步骤；
预测步骤：获取前一帧视频图像中的每个人头在前一帧视频图像中的位置信息，并根据前一帧视频图像的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息，执行对比步骤；
对比步骤：获取当前帧视频图像中的每个人头在当前帧视频图像中的位置信息，并将其与前一帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比得出第一子集、第二子集和第三子集；其中，第一子集包括存在于前一帧视频图像但不存在当前帧视频图像的人头及其在前一帧视频图像中的位置信息；第二子集包括存在于前一帧视频图像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息；第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头的位置信息及其在当前帧视频图像中的位置信息；然后执行第一统计步骤；
第一统计步骤：获取第三子集中的每个人头并进行编号，以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中的每个人头的初始位置并存储系统中；获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置，并按照第二子集中的每个人头的编号将第二子集中的每个人头的中间位置存储于系统中；获取第一子集中的每个人头，以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置，并根据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹，然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘客数量；然后执行设定步骤；直到所有的视频图像均判断完毕，根据系统中的上车乘客数量和下车乘客数量得出车载客流量。
进一步地，所述图像获取步骤还包括：对获取到的每一帧视频图像进行预处理；所述预处理包括尺寸缩放和归一化处理。
进一步地，还包括：第二统计步骤：当车门关闭时，获取车门区域的人并将其判断为上车人员，并更新系统中的上车乘客数量。
进一步地，所述位置获取步骤包括：采用目标检测神经网络对每一帧视频图像进行目标识别处理；所述目标检测神经网络为以下任意一种：SSD神经网络、RCNN神经网络、FASTER-RCNN神经网络以及YOLO神经网络。
进一步地，每个人头在视频图像中的位置信息为每个人头在视频图像中所占的区域的位置信息。
进一步地，每个人头在视频图像中所占的区域为方形区域；每个人头在视频图像中的位置信息包括每个人头在视频图像中所占的方形区域的左上角坐标和右下角坐标；其中，左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的右下角在视频图像中的像素坐标。
进一步地，所述预测步骤还包括：采用卡尔曼滤波算法根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息。
进一步地，所述对比步骤包括：首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵，然后根据匈牙利匹配算法求解得出IOU矩阵的最优解，进而得出第一子集、第二子集和第三子集。
实施例三
一种存储介质，所述存储介质为计算机可读存储介质，其上存储有车载客流统计程序，所述车载客流统计程序为计算机程序，所述车载客流统计程序被处理器执行时实现以下步骤：
图像获取步骤：当车辆停止运行并当车门开启时，通过摄像设备实时获取每一帧视频图像；所述摄像设备安装于车辆的车门区域的正上方；
位置获取步骤：对每一帧视频图像进行目标识别处理得出每一帧视频图像中每个人头在每一帧视频图像中的位置信息；
设定步骤：按照每一帧视频图像获取的先后顺序依次取一帧视频图像并记为当前帧视频图像；
判断步骤：判断当前帧视频图像是否为第一帧，若是，则执行初始化步骤；若否，则执行预测步骤：
初始化步骤：获取第一帧视频图像中的每个人头在第一帧视频图像中的位置信息，并为每个人头进行编号以及根据第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置，然后执行设定步骤；
预测步骤：获取前一帧视频图像中的每个人头在前一帧视频图像中的位置信息，并根据前一帧视频图像的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息，执行对比步骤；
对比步骤：获取当前帧视频图像中的每个人头在当前帧视频图像中的位置信息，并将其与前一帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比得出第一子集、第二子集和第三子集；其中，第一子集包括存在于前一帧视频图像但不存在当前帧视频图像的人头及其在前一帧视频图像中的位置信息；第二子集包括存在于前一帧视频图像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息；第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头的位置信息及其在当前帧视频图像中的位置信息；然后执行第一统计步骤；
第一统计步骤：获取第三子集中的每个人头并进行编号，以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中的每个人头的初始位置并存储系统中；获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置，并按照第二子集中的每个人头的编号将第二子集中的每个人头的中间位置存储于系统中；获取第一子集中的每个人头，以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置，并根据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹，然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘客数量；然后执行设定步骤；直到所有的视频图像均判断完毕，根据系统中的上车乘客数量和下车乘客数量得出车载客流量。
进一步地，所述图像获取步骤还包括：对获取到的每一帧视频图像进行预处理；所述预处理包括尺寸缩放和归一化处理。
进一步地，还包括：第二统计步骤：当车门关闭时，获取车门区域的人并将其判断为上车人员，并更新系统中的上车乘客数量。
进一步地，所述位置获取步骤包括：采用目标检测神经网络对每一帧视频图像进行目标识别处理；所述目标检测神经网络为以下任意一种：SSD神经网络、RCNN神经网络、FASTER-RCNN神经网络以及YOLO神经网络。
进一步地，每个人头在视频图像中的位置信息为每个人头在视频图像中所占的区域的位置信息。
进一步地，每个人头在视频图像中所占的区域为方形区域；每个人头在视频图像中的位置信息包括每个人头在视频图像中所占的方形区域的左上角坐标和右下角坐标；其中，左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的右下角在视频图像中的像素坐标。
进一步地，所述预测步骤还包括：采用卡尔曼滤波算法根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息。
进一步地，所述对比步骤包括：首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵，然后根据匈牙利匹配算法求解得出IOU矩阵的最优解，进而得出第一子集、第二子集和第三子集。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种车载客流统计方法，其特征在于，所述车载客流统计方法包括：
图像获取步骤：当车辆停止运行并当车门开启时，通过摄像设备实时获取每一帧视频图像；所述摄像设备安装于车辆的车门区域的正上方；
位置获取步骤：对每一帧视频图像进行目标识别处理得出每一帧视频图像中每个人头在每一帧视频图像中的位置信息；
设定步骤：按照每一帧视频图像获取的先后顺序依次取一帧视频图像并记为当前帧视频图像；
判断步骤：判断当前帧视频图像是否为第一帧，若是，则执行初始化步骤；若否，则执行预测步骤：
初始化步骤：获取第一帧视频图像中的每个人头在第一帧视频图像中的位置信息，并为每个人头进行编号以及根据第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置，然后执行设定步骤；
预测步骤：获取前一帧视频图像中的每个人头在前一帧视频图像中的位置信息，并根据前一帧视频图像的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息，执行对比步骤；
对比步骤：获取当前帧视频图像中的每个人头在当前帧视频图像中的位置信息，并将其与前一帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比得出第一子集、第二子集和第三子集；其中，第一子集包括存在于前一帧视频图像但不存在当前帧视频图像的人头及其在前一帧视频图像中的位置信息；第二子集包括存在于前一帧视频图像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息；第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头的位置信息及其在当前帧视频图像中的位置信息；然后执行第一统计步骤；
第一统计步骤：获取第三子集中的每个人头并进行编号，以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中的每个人头的初始位置并存储系统中；获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置，并按照第二子集中的每个人头的编号将第二子集中的每个人头的中间位置存储于系统中；获取第一子集中的每个人头，以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置，并根据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹，然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘客数量；然后执行设定步骤；直到所有的视频图像均判断完毕，根据系统中的上车乘客数量和下车乘客数量得出车载客流量。
2.根据权利要求1所述的一种车载客流统计方法，其特征在于，所述图像获取步骤还包括：对获取到的每一帧视频图像进行预处理；所述预处理包括尺寸缩放和归一化处理。
3.根据权利要求1所述的一种车载客流统计方法，其特征在于，还包括：第二统计步骤：当车门关闭时，获取车门区域的人并将其判断为上车人员，并更新系统中的上车乘客数量。
4.根据权利要求1所述的一种车载客流统计方法，其特征在于，所述位置获取步骤包括：采用目标检测神经网络对每一帧视频图像进行目标识别处理；所述目标检测神经网络为以下任意一种：SSD神经网络、RCNN神经网络、FASTER-RCNN神经网络以及YOLO神经网络。
5.根据权利要求1所述的一种车载客流统计方法，其特征在于，每个人头在视频图像中的位置信息为每个人头在视频图像中所占的区域的位置信息。
6.根据权利要求5所述的一种车载客流统计方法，其特征在于，每个人头在视频图像中所占的区域为方形区域；每个人头在视频图像中的位置信息包括每个人头在视频图像中所占的方形区域的左上角坐标和右下角坐标；其中，左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的右下角在视频图像中的像素坐标。
7.根据权利要求1所述的一种车载客流统计方法，其特征在于，所述预测步骤还包括：采用卡尔曼滤波算法根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息。
8.根据权利要求1所述的一种车载客流统计方法，其特征在于，所述对比步骤包括：首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵，然后根据匈牙利匹配算法求解得出IOU矩阵的最优解，进而得出第一子集、第二子集和第三子集。
9.一种车载客流统计装置，包括存储器和处理器，所述存储器上存储有可在处理器上运行的车载客流统计程序，所述车载客流统计程序为计算机程序，其特征在于：所述处理器执行所述车载客流统计程序时实现如权利要求1-8中任一项所述的一种车载客流统计方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有车载客流统计程序，所述车载客流统计程序为计算机程序，其特征在于：所述车载客流统计程序被处理器执行时实现如权利要求1-8中任一项所述的一种车载客流统计方法的步骤。
CN202110298119.1A 2021-03-19 2021-03-19 一种车载客流统计方法、装置及存储介质 Active CN113052058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110298119.1A CN113052058B (zh) 2021-03-19 2021-03-19 一种车载客流统计方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110298119.1A CN113052058B (zh) 2021-03-19 2021-03-19 一种车载客流统计方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113052058A true CN113052058A (zh) 2021-06-29
CN113052058B CN113052058B (zh) 2022-04-19

Family

ID=76513899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110298119.1A Active CN113052058B (zh) 2021-03-19 2021-03-19 一种车载客流统计方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113052058B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120293A (zh) * 2021-11-30 2022-03-01 北京华高世纪科技股份有限公司 一种地铁列车乘客检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512720A (zh) * 2015-12-15 2016-04-20 广州通达汽车电气股份有限公司 一种公交车辆客流统计方法和系统
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法
CN108446611A (zh) * 2018-03-06 2018-08-24 深圳市图敏智能视频股份有限公司 一种车门状态关联的双目图像公交客流计算方法
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN112465855A (zh) * 2021-02-02 2021-03-09 南京甄视智能科技有限公司 客流统计方法、装置、存储介质及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512720A (zh) * 2015-12-15 2016-04-20 广州通达汽车电气股份有限公司 一种公交车辆客流统计方法和系统
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法
CN108446611A (zh) * 2018-03-06 2018-08-24 深圳市图敏智能视频股份有限公司 一种车门状态关联的双目图像公交客流计算方法
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN112465855A (zh) * 2021-02-02 2021-03-09 南京甄视智能科技有限公司 客流统计方法、装置、存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANJV WANG: "A passenger flow statistic algorithm based on machine learning", 《2017 10TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI)》 *
尹振智: "基于深度学习的公共交通监控视频客流统计系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
沈爽: "基于深度学习的密集人流量统计研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120293A (zh) * 2021-11-30 2022-03-01 北京华高世纪科技股份有限公司 一种地铁列车乘客检测方法及系统

Also Published As

Publication number Publication date
CN113052058B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US20220138959A1 (en) Asset tracking systems
US8339282B2 (en) Security systems
CN105512660B (zh) 车牌号码识别方法及装置
CN110298300B (zh) 一种检测车辆违章压线的方法
CN105913367A (zh) 基于人脸识别和位置定位的公交客流量检测系统与方法
CN108710827B (zh) 一种社区微警务巡查和信息自动分析系统及方法
CN110619277A (zh) 一种多社区智慧布控方法以及系统
US20200293794A1 (en) Methods and systems for accurately recognizing vehicle license plates
CN106600628B (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN114067295A (zh) 一种车辆装载率的确定方法、装置及车辆管理系统
CN109615904A (zh) 停车管理方法、装置、计算机设备和存储介质
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN205608812U (zh) 基于人脸识别和位置定位的公交客流量检测系统
CN115035744B (zh) 一种基于图像分析及rfid的车辆识别方法、装置及系统
CN112270253A (zh) 一种高空抛物的检测方法及装置
WO2021184570A1 (zh) 电动自行车驾驶行为的识别方法、装置和计算机设备
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN113052058B (zh) 一种车载客流统计方法、装置及存储介质
CN111382735A (zh) 夜间车辆检测方法、装置、设备及存储介质
CN111241918B (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN112489436A (zh) 一种车辆身份识别方法、装置、系统、以及电子装置
CN111950499A (zh) 一种检测车载人员统计信息的方法
de Almeida et al. Vehicle Occurrence-based Parking Space Detection
US11288519B2 (en) Object counting and classification for image processing
EP3244344A1 (en) Ground object tracking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant