CN112633210A - 基于目标检测的轨道交通客流密度估计系统及其方法 - Google Patents

基于目标检测的轨道交通客流密度估计系统及其方法 Download PDF

Info

Publication number
CN112633210A
CN112633210A CN202011601306.4A CN202011601306A CN112633210A CN 112633210 A CN112633210 A CN 112633210A CN 202011601306 A CN202011601306 A CN 202011601306A CN 112633210 A CN112633210 A CN 112633210A
Authority
CN
China
Prior art keywords
model
passenger flow
video
picture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011601306.4A
Other languages
English (en)
Other versions
CN112633210B (zh
Inventor
潘尚考
刘光杰
刘伟伟
赵华伟
陆赛杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Publication of CN112633210A publication Critical patent/CN112633210A/zh
Application granted granted Critical
Publication of CN112633210B publication Critical patent/CN112633210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的轨道交通客流密度估计系统及其方法，基于Atlas200开发板实现，获取视频数据进行硬件解码，获取YUV格式的图片，并对图片进行预处理，包括尺寸调整、格式转换；加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量；对模型推理输出的特征向量进行处理，得到图片中行人的数量，再将数量与额定容量相比较，得到当前密度值；基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则重新进行模型的训练与部署，否则利用该模型估计实际轨道交通客流密度。本发明能够真实反映当前地铁站内客流情况，相比于现有技术更加可靠。

Description

基于目标检测的轨道交通客流密度估计系统及其方法
技术领域
本发明涉及深度学习、目标检测、人群计数技术，具体涉及一种基于目标检测的轨道交通客流密度估计系统及其方法。
背景技术
城市化的进展使得轨道交通系统的负担越来越大，在地铁站内时常出现人潮拥挤的情况，因此需要地铁工作人员使用人力来维护秩序。但人力的局限性在于不能快速精确判断当前拥挤情况，往往反应会比较慢，造成乘客的体验变差。随着智慧车站的概念被提出，很多智能技术被带入车站，例如人脸识别等技术。于是可利用AI技术来代替人力判断当前的客流情况，即使用人群计数算法来得到客流量。通过得到监控摄像头的视频流数据，使用人群计数算法测出监控区域的行人数量，与额定容纳人数比较以得出当前区域的客流密度。
通常地铁站内摄像头不具有人群计数的功能，客流的估计仅通过AFC(自动售检票系统)得到进站出站人数；或根据地铁工作人员的经验，例如在科技园区附近地铁站，在下午五点半至六点半必然出现大客流。本发明直接采集监控图片得到客流情况，相比AFC系统更真实反映地铁站内滞留人数，相比人力经验判断更加高效准确。
发明内容
本发明的目的在于提供一种基于目标检测的轨道交通客流密度估计系统及其方法。
实现本发明目的的技术解决方案为：一种基于目标检测的轨道交通客流密度估计系统，基于Atlas200开发板实现，具体包括：
视频采集模块，用于获取视频数据，一是通过树莓派摄像头采集视频流；二是通过网络摄像头采集视频流；
视频编解码与图像预处理模块，用于对采集的视频进行硬件解码，获取YUV格式的图片，并对图片进行预处理，包括尺寸调整、格式转换；
模型训练与部署模块，用于加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量，所述人群计数模型的训练在GPU平台进行，利用开发板提供的MindStudio工具，将训练好的模型转换为开发板支持的离线模型；
后处理模块，用于对模型推理输出的特征向量进行处理，得到图片中行人的数量，再将数量与额定容量相比较，得到当前密度值；
测试模块，用于基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则利用模型训练与部署模块重新进行模型的训练与部署，否则利用该模型估计实际轨道交通客流密度。
进一步的，在视频采集模块中，树莓派摄像头直接与开发板相连，且利用开发板操作系统提供的Media媒体库，对视频进行采集；网络摄像头利用交换机和开发板相连，通过以太网接口获取摄像头的rtsp视频流。
进一步的，在视频编解码与图像预处理模块中，综合了开发板操作系统提供的DVPP(数字视觉预处理)接口，作为调用底层硬件解码的接口，对采集的视频调用硬件进行解码，得到YUV格式的图片，并对图片进行格式转换、尺寸调整操作，以满足算法对图片的格式、分辨率需求。
进一步的，在模型训练与部署模块中，利用MindStudio工具集成的ATC工具将GPU平台的人群计数模型转为开发板支持的离线模型。
进一步的，在后处理模块中，输入的特征向量是模型提取图片的特征，含有可能为行人的坐标信息，在后处理模块中，进一步处理得到行人的数量。
进一步的，在测试模块中，精度测试中下降5％以内，为可接受的预期。
一种基于目标检测的轨道交通客流密度估计方法，基于所述系统估计轨道交通客流密度，包括的步骤如下：
步骤1：视频流输入与处理：利用树莓派摄像头采集视频流，或通过以太网接口获取网络摄像头的rtsp视频流；视频流经过芯片的硬解码SDK对视频流进行快速解码，获取YUV格式的图片，经过尺寸调整、标准化操作，以达到算法模型的输入要求；
步骤2：模型的训练与部署：加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量，所述人群计数模型的训练在GPU平台进行，利用开发板提供的MindStudio工具，将训练好的模型转换为开发板支持的离线模型；
步骤3，后处理：对图片的特征向量做NMS(非极大值抑制)操作，到图片中人群数量，将预测的人群与额定容量相比较，得到当前估计密度；
步骤4：精度测试：基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则利用模型训练与部署模块重新进行模型的训练与部署，否则利用该模型估计实际轨道交通客流密度。
进一步的，所述人群计数模型的训练框架为caffe，算法首先在coco数据集上迭代至收敛，再使用地铁摄像头采集的数据集进行调优，使得算法适合在地铁场景下的人群计数。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法，进行基于目标检测的轨道交通客流密度估计。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法，进行基于目标检测的轨道交通客流密度估计。
一个智能客流密度估计系统，基于对传统摄像头的改造，在端侧部署人群计数算法，对摄像头采集到的视频数据进行解码、推理，经过后处理得到行人的数量并经过网络总线上传至控制台，控制台经过处理得到指定区域的客流密度情况，并反馈给地铁站管理人员。且多个摄像头之间的协同合作也可提供整个地铁站时空上的客流变化。
本发明相比于现有技术，其显著优点在于：1)真实反映了当前地铁站内客流情况，相比于现有技术更加可靠；2)为满足神经网络算力的需求，采用Atlas200开发板，其低功耗AI加速模块具有体积小、功耗低、工作温度范围广的特点，适合端侧场景；支持16通道高清视频处理，支持H.264、H.265高清视频通道编解码；支持的AI算力分别为8TOPS、16TOPS、22TOPS的INT8算力，可对大部分算法模型进行加速，实时处理30FPS的1080P高清视频流。
附图说明
图1是本发明系统的结构示意图。
图2是本发明的算法网络结构图。
图3是本发明方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明基于目标检测的轨道交通客流密度估计系统，对传统摄像头的改造，基于Atlas200开发板实现，在端侧部署人群计数算法，对摄像头采集到的视频数据进行解码、推理，经过后处理得到行人的数量并经过网络总线上传至控制台，控制台经过处理得到指定区域的客流密度情况，并反馈给地铁站管理人员，且多个摄像头之间的协同合作也可提供整个地铁站时空上的客流变化。包括：
视频采集模块，该模块提供两种方式获取视频数据，一是通过连接在开发板的树莓派摄像头；二是通过以太网获取网络摄像机的rtsp视频流。
视频编解码与图像预处理模块，该模块对采集的视频进行硬件解码，获取YUV格式的图片，图片经过一些预处理工作，包括尺寸调整、格式转换，使得图片满足算法模型的输入要求。
模型训练与部署模块，该模块负责加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量。其中，模型的训练在GPU平台进行，并使用开发板提供的MindStudio工具将训练好的模型转换为模型支持的离线模型。
后处理模块，该模块对模型推理输出的特征向量进行处理，得到图片中行人的数量。再将数量与额定容量相比较，得到当前密度值，提示与工作人员。
测试模块，基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，可测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则利用模型训练与部署模块重新进行模型的训练与部署，否则可允许该模型估计实际轨道交通客流密度。
上述系统中，在视频采集模块中，树莓派摄像头直接与开发板相连，利用开发板操作系统提供的Media媒体库，可对视频进行采集；网络摄像头利用交换机和开发板相连，通过以太网接口即可获取摄像头的rtsp视频流。
在视频编解码与图像预处理模块中，综合了开发板操作系统提供的DVPP(数字视觉预处理)接口，作为调用底层硬件解码的接口，可对采集的视频调用硬件进行解码，得到YUV格式的图片。此时，图片还需进行格式转换、尺寸调整操作，以满足算法对图片的格式、分辨率需求。
在模型训练与部署模块中，利用MindStudio工具集成的ATC工具，可将GPU平台的模型转为开发板支持的离线模型。
在后处理模块中，模型输出的特征向量是模型提取图片的特征，含有可能为行人的坐标信息，在后处理模块中要进一步处理得到行人的数量。
在测试模块中，开发板上精度测试中下降5％为可接受的预期。
采用上述系统，基于目标检测的轨道交通客流密度估计方法，包括的步骤如下:
步骤1：视频流输入与处理：系统采集树莓派摄像头的视频流，或通过以太网接口获取网络摄像头的rtsp视频流，视频流经过芯片操作系统提供的硬解码SDK进行快速解码，获取YUV格式的图片，图片经过尺寸调整、标准化操作，满足算法模型的输入要求。
步骤2：模型的训练与部署：具体是设计一个基于目标检测的人群计数算法，算法模型的设计与训练均在GPU平台进行，使用的训练框架为caffe。算法首先在coco数据集上迭代至收敛，再使用地铁摄像头采集的数据集进行调优，使得算法适合在地铁场景下的人群计数。模型部署首先需要将模型转换为开发板支持的离线模型格式，这一步可在MindStudio工具上进行，转换好的模型可供芯片加载调用，对采集的视频图片进行推理，得到图片中的人群数量。
步骤3：后处理：模型推理出的是图片的特征向量，在后处理阶段对该特征向量做NMS(非极大值抑制)操作可得到图片中人群数量。最后将预测的人群与额定容量相比较，得到当前估计密度，并返回给控制台。
步骤4：精度测试：GPU平台与开发板平台架构的差别与计算精度的差别带来一定的精度差别，因此需要添加精度测试的步骤，若精度测试不及预期，转至步骤2重新训练。
上述方法中，步骤1中，若使用树莓派摄像头接口，视频采集模块的Media API可获取摄像头的视频流数据；若使用网络摄像头，则可直接从rtsp资源地址中获取视频流数据。通常开发初期使用树莓派摄像头做方案验证，后期用网络摄像头进行实地测试。视频流的处理则使用视频编解码与图像预处理模块的DVPP硬解码接口，该接口可对视频数据进行解码、对图片数据做尺寸调整、格式转换操作。
步骤2中，首先设计该方法中使用的人群计数算法，算法需要适合地铁场景，兼顾精度与效率。再使用模型训练与部署模块的ATC工具，将GPU平台模型转换为开发板处理器支持的离线模型，在转换过程中设置输入的标准化参数。
步骤3中，模型输出的特征向量经过简单的处理可得到当前区域人数，需要与额定容量相比较可得到密度值，以反应当前的客流密度与拥挤情况。
步骤4中，Atlas200开发板的昇腾AI处理器最高可提供22TOPS(INT8)的计算能力，而GPU平台的模型计算精度通常是Float32，因此会带来精度上的差别，需要实地测试精度下降是否在可接受的范围，使其不影响实际业务
Atlas200开发板集成了昇腾310AI处理器，支持视频图片编解码与神经网络加速计算，开发板体积小、功耗低，且拥有强大算力，适合很多端侧AI场景，本发明的应用场景是地铁站台场景，根据华为公司提供的MindStudio开发工具，可快速地进行算法开发与功能迭代。本发明专用于地铁场景下的人群计数，是一套完整的硬件软件解决方案，为地铁站内管理人员提供精确的客流信息，便于在拥挤情况出现之后及时处理。
实施例
为了验证本发明方案的有效性，进行如下实验。
本实施例以轨道交通场景下行人图片数据训练人群计数算法，当算法训练达到最优时将其转化为Atlas200开发板支持的离线模型。通过对传统摄像头的智能改造，将算法部署到与摄像头连接的Atlas200开发板上。整个系统的输入是前端的网络摄像头采集的视频流，Atlas200开发板提供整个系统的视频编解码能力与AI算力，输出通过网络总线同视频流传输至地铁控制台。作为一个完整的硬件软件系统可获得当前监控区域内的乘客数量，以实时提醒地铁管理人员，且地铁站内各摄像头的协同合作也可呈现整个地铁站的客流时空变化。
步骤一：装配智能摄像头，如图1所示，智能摄像头由网络摄像头、交换机、Atlas200开发板三部分组成，摄像头、开发板分别与交换机相连，通过交换机进行局域网通信。其中网络摄像头可采集视频，Atlas200开发板提供视频流解码和AI计算能力。
步骤二：人群计数算法设计与训练，如图2所示，本发明设计算法采用mobilenet-yolov3网络，算法基于目标检测网络，设计过程遵循目标检测算法设计流程，即分别设计网络的backbone、neck与head部分，backbone部分用于提取浅层特征，neck部分进行特征融合，而head部分检测得到目标。具体设计为：
a、backbone设计
模型backbone部分提取浅层特征，包含13个卷积层，且采用可分离卷积以降低模型的参数量，降低了运算成本。对于维度为5×5×3的输入张量，分辨率为5×5，3通道，经过一个3×3卷积核的卷积层，输出通道为3，则该卷积层中的参数量为3×3×3×3；若经过3×3卷积核的可分离卷积层，由于一个卷积核仅与一个通道进行运算，参数量下降为3×3×3。通过引入可分离卷积，提高了算法的效率。
b、neck设计
模型的neck部分加入spp(spatial pyramidpooling)模块，spp模块将以核大小为k×k(k＝1,5,9,13)的最大池化输出拼接在一起，可增加主干网络特征的感受野，对backbone提取的浅层特征是一种很好的特征融合手段。
c、head设计
在检测头部分，Yolo-v3或者Yolo-v4为使网络可检测到小目标，采用多尺度特征图输出，包含32倍下采样、16倍下采样、8倍下采样，形成三路检测头，对于图片中目标的尺度差异较大的情况具有鲁棒性。而对于地铁场景内通常人体尺度变化不大，因此目标检测网络可以仅采用一个检测头，例如采用32倍下采样的特征图输出，这种设计也提高了算法的效率。
d、损失函数设计
算法的损失函数方面加入CIOU loss,其中CIOU loss源于DIOU loss，DIOU loss在IOU loss基础上添加一个惩罚项，即同时考虑重叠区域与中心点距离，该惩罚项用于优化bounding box之间中心点距离。而CIOU loss中再增加涉及boundingbox长宽比的惩罚项，如式(1)：
Figure BDA0002868877010000061
其中b,bgt分别是预测框和实际框的中心点坐标，ρ代表欧式距离，c为包含两个预测框的最小矩形的对角线距离，α是可调节参数，v项调节长宽比，v表达式见式(2)。
Figure BDA0002868877010000071
式(2)中
Figure BDA0002868877010000072
分别为实际框和预测框的长宽比，因此损失函数可被定义为(3)：
Figure BDA0002868877010000073
IOU为预测框与实际框的交并比，其中α定义为：
Figure BDA0002868877010000074
e、训练细节
训练时先在coco数据集上训练至收敛，随后使用在地铁站采集的数据进行调优。
步骤三：模型转换与部署，MindStudio工具集成的ATC工具可将GPU平台训练完成的模型，转为开发板支持的离线模型。
步骤四：模型精度测试。精度测试分为两部分，一是在GPU平台测试模型的精度与速率，二是对开发板上INT8计算精度的离线模型进行精度测试。测试数据集均采用地铁实际场景数据集，若精度下降严重，需要采取新的训练策略，例如增加数据集或者更改模型的网络结构。
步骤五：计算人群密度与拥挤警报，从摄像头传到控制台的客流数据，需要与特定区域可容纳的额定人数相比较，以反映当前的拥挤程度，可以百分比形式呈现，当过于拥挤时可发出警报。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于目标检测的轨道交通客流密度估计系统，其特征在于，基于Atlas200开发板实现，具体包括：
视频采集模块，用于获取视频数据，一是通过树莓派摄像头采集视频流；二是通过网络摄像头采集视频流；
视频编解码与图像预处理模块，用于对采集的视频进行硬件解码，获取YUV格式的图片，并对图片进行预处理，包括尺寸调整、格式转换；
模型训练与部署模块，用于加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量，所述人群计数模型的训练在GPU平台进行，利用开发板提供的MindStudio工具，将训练好的模型转换为开发板支持的离线模型；
后处理模块，用于对模型推理输出的特征向量进行处理，得到图片中行人的数量，再将数量与额定容量相比较，得到当前密度值；
测试模块，用于基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则利用模型训练与部署模块重新进行模型的训练与部署，否则利用该模型估计实际轨道交通客流密度。
2.根据权利要求1所述的基于目标检测的轨道交通客流密度估计系统，其特征在于，在视频采集模块中，树莓派摄像头直接与开发板相连，且利用开发板操作系统提供的Media媒体库，对视频进行采集；网络摄像头利用交换机和开发板相连，通过以太网接口获取摄像头的rtsp视频流。
3.根据权利要求1所述的基于目标检测的轨道交通客流密度估计系统，其特征在于，在视频编解码与图像预处理模块中，综合了开发板操作系统提供的DVPP(数字视觉预处理)接口，作为调用底层硬件解码的接口，对采集的视频调用硬件进行解码，得到YUV格式的图片，并对图片进行格式转换、尺寸调整操作，以满足算法对图片的格式、分辨率需求。
4.根据权利要求1所述的基于目标检测的轨道交通客流密度估计系统，其特征在于，在模型训练与部署模块中，利用MindStudio工具集成的ATC工具将GPU平台的人群计数模型转为开发板支持的离线模型。
5.根据权利要求1所述的基于目标检测的轨道交通客流密度估计系统，其特征在于，在后处理模块中，输入的特征向量是模型提取图片的特征，含有可能为行人的坐标信息，在后处理模块中，进一步处理得到行人的数量。
6.根据权利要求1所述的基于目标检测的轨道交通客流密度估计系统，其特征在于，在测试模块中，精度测试中下降5％以内，为可接受的预期。
7.基于目标检测的轨道交通客流密度估计方法，其特征在于，基于权利要求1-6任一项所述系统估计轨道交通客流密度，包括的步骤如下：
步骤1：视频流输入与处理：利用树莓派摄像头采集视频流，或通过以太网接口获取网络摄像头的rtsp视频流；视频流经过芯片的硬解码SDK对视频流进行快速解码，获取YUV格式的图片，经过尺寸调整、标准化操作，以达到算法模型的输入要求；
步骤2：模型的训练与部署：加载训练好的人群计数模型，对预处理完成的图片完成推理过程，得到图片的特征向量，所述人群计数模型的训练在GPU平台进行，利用开发板提供的MindStudio工具，将训练好的模型转换为开发板支持的离线模型；
步骤3，后处理：对图片的特征向量做NMS(非极大值抑制)操作，到图片中人群数量，将预测的人群与额定容量相比较，得到当前估计密度；
步骤4：精度测试：基于视频采集模块采集的数据，使用MindStudio工具对模型进行测试，测得其在测试集上的精度，若相比GPU平台存在精度下降，且结果不及预期，则利用模型训练与部署模块重新进行模型的训练与部署，否则利用该模型估计实际轨道交通客流密度。
8.根据权利要求7所述的基于目标检测的轨道交通客流密度估计方法，其特征在于，所述人群计数模型的训练框架为caffe，算法首先在coco数据集上迭代至收敛，再使用地铁摄像头采集的数据集进行调优，使得算法适合在地铁场景下的人群计数。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求7-8任一项所述的方法，进行基于目标检测的轨道交通客流密度估计。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7-8任一项所述的方法，进行基于目标检测的轨道交通客流密度估计。
CN202011601306.4A 2020-12-14 2020-12-29 基于目标检测的轨道交通客流密度估计系统及其方法 Active CN112633210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011469293X 2020-12-14
CN202011469293 2020-12-14

Publications (2)

Publication Number Publication Date
CN112633210A true CN112633210A (zh) 2021-04-09
CN112633210B CN112633210B (zh) 2022-10-21

Family

ID=75286376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011601306.4A Active CN112633210B (zh) 2020-12-14 2020-12-29 基于目标检测的轨道交通客流密度估计系统及其方法

Country Status (1)

Country Link
CN (1) CN112633210B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553921A (zh) * 2021-07-02 2021-10-26 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法
CN113673406A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN116245911A (zh) * 2023-02-08 2023-06-09 珠海安联锐视科技股份有限公司 一种视频过线统计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122570A1 (en) * 2000-09-06 2002-09-05 Nikos Paragios Real-time crowd density estimation from video
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122570A1 (en) * 2000-09-06 2002-09-05 Nikos Paragios Real-time crowd density estimation from video
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553921A (zh) * 2021-07-02 2021-10-26 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法
CN113553921B (zh) * 2021-07-02 2022-06-10 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法
CN113673406A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN116245911A (zh) * 2023-02-08 2023-06-09 珠海安联锐视科技股份有限公司 一种视频过线统计方法
CN116245911B (zh) * 2023-02-08 2023-11-03 珠海安联锐视科技股份有限公司 一种视频过线统计方法

Also Published As

Publication number Publication date
CN112633210B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112633210B (zh) 基于目标检测的轨道交通客流密度估计系统及其方法
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102194499B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
JP4451330B2 (ja) 圧縮ビデオにおいて交通事象を検出する方法
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
CN112528961B (zh) 一种基于Jetson Nano的视频分析方法
CN111814755A (zh) 面向夜间运动场景的多帧图像行人检测方法和装置
CN109448027A (zh) 一种基于算法融合的自适应、持久的运动目标识别方法
CN115223009A (zh) 基于改进型YOLOv5的小目标检测方法及装置
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
CN114140636A (zh) 困难样本获取方法、装置、设备及可读存储介质
CN115866205A (zh) 基于5g边缘计算的船舶管控分析装置及方法
CN114613006A (zh) 一种远距离手势识别方法及装置
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN115240133A (zh) 一种公交车拥挤度分析方法、装置和设备
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
CN116363542A (zh) 到离岗事件检测方法、装置、设备及计算机可读存储介质
CN112200006A (zh) 一种社区监控场景下人体属性检测识别方法
CN116645810B (zh) 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法
CN115955603B (zh) 一种基于智慧屏的体感交互的智能摄像头装置和实现方法
Kadam et al. Semantic Communication-Empowered Traffic Management using Vehicle Count Prediction
CN113703977B (zh) 一种智能人脸和人体检测过滤装置及图片输出装置
CN118798300A (zh) 编码器的训练方法、图像识别方法及存储介质
Magrini et al. Smart cameras for ITS in urban environment
CN115240232A (zh) 人体头肩区域检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Guangjie

Inventor after: Liu Weiwei

Inventor after: Pan Shangkao

Inventor after: Zhao Huawei

Inventor after: Lu Saijie

Inventor before: Pan Shangkao

Inventor before: Liu Guangjie

Inventor before: Liu Weiwei

Inventor before: Zhao Huawei

Inventor before: Lu Saijie

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant