CN109389543B - 公交运营数据统计方法、系统、计算设备及存储介质 - Google Patents

公交运营数据统计方法、系统、计算设备及存储介质 Download PDF

Info

Publication number
CN109389543B
CN109389543B CN201811053692.0A CN201811053692A CN109389543B CN 109389543 B CN109389543 B CN 109389543B CN 201811053692 A CN201811053692 A CN 201811053692A CN 109389543 B CN109389543 B CN 109389543B
Authority
CN
China
Prior art keywords
passenger
convolution
processed
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811053692.0A
Other languages
English (en)
Other versions
CN109389543A (zh
Inventor
张勇
涂文涛
赖颖昕
张席
何钦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201811053692.0A priority Critical patent/CN109389543B/zh
Publication of CN109389543A publication Critical patent/CN109389543A/zh
Application granted granted Critical
Publication of CN109389543B publication Critical patent/CN109389543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用计算机技术领域，提供了一种公交运营数据统计方法、系统、计算设备及存储介质，通过获得若干待处理视频图像，待处理视频图像由对公交环境视频进行处理得来，不同待处理视频图像之间存在时序关系；利用深度学习网络对待处理视频图像中乘客进行检测；根据检测结果确定乘客在不同时间点所在的位置信息并获得乘客的运动轨迹；基于乘客的运动轨迹，统计公交运营数据。这样，利用深度学习网络对图像中乘客进行检测，并对乘客进行跟踪，得到乘客运动轨迹，进而统计公交运营数据，从而能对常规图像进行处理，从而前端传感器件的部署要求较低，降低了设备部署、维护成本，且深度学习网络能对图像进行精准处理，进而保证了统计数据的精准度。

Description

公交运营数据统计方法、系统、计算设备及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种公交运营数据统计方法、系统、计算设备及存储介质。
背景技术
随着以深度学习算法为代表的人工智能算法的崛起，图像处理、图像识别、语言信号处理、自然语言处理等研究领域得到了飞速的发展。
在进行公交客流等运营数据统计方面，目前常用的方法主要是利用红外传感或压力传感等获得前端数据，再对前端数据进行处理，进行统计得到公交运营数据。但是，基于红外传感或压力传感所获得前端数据时，容易导致误判，所得数据准确度得不到保证，且部署相对复杂、设备易损，维护成本较高。
发明内容
本发明的目的在于提供一种公交运营数据统计方法、系统、计算设备及存储介质，旨在解决现有技术所存在的、数据准确度不高且成本较高的问题。
一方面，本发明提供了一种公交运营数据统计方法，所述方法包括下述步骤：
获得若干待处理视频图像，所述待处理视频图像由对公交环境视频进行处理得来，不同所述待处理视频图像之间存在时序关系；
利用深度学习网络对所述待处理视频图像中乘客进行检测；
根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹；
基于所述乘客的运动轨迹，统计所需的公交运营数据。
进一步的，获得若干待处理视频图像之前，还包括下述步骤：
对所述公交环境视频进行切帧处理，得到原始视频图像；
对所述原始视频图像进行预处理，得到所述待处理视频图像。
进一步的，所述深度学习网络为单发多框检测SSD深度学习网络，利用深度学习网络对所述待处理视频图像中乘客进行检测，具体包括下述步骤：
利用所述SSD深度学习网络中的前卷积网络，对所述待处理视频图像进行特征提取处理，得到由所述前卷积网络的若干卷积层处理所得的若干前卷积特征图；
利用所述SSD深度学习网络中的后卷积网络，对所述前卷积特征图进行所述乘客的初步分类识别及先验框匹配处理，得到初步分类结果以及先验框匹配结果。
进一步的，利用深度学习网络对所述待处理视频图像中乘客进行检测之后，还包括如下步骤：
利用分类网络层，对所述初步分类结果进行最终分类，
根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹，具体为：
利用解码框网络层，采用卡尔曼滤波算法对所述先验框匹配结果进行处理，得到所述位置信息，并获得所述运动轨迹。
进一步的，所述公交运营数据为客流数据和/或乘客拥挤度数据，
基于所述乘客的运动轨迹，统计所需的公交运营数据，具体包括下述步骤：
将所述乘客的运动轨迹、视频图像中的背景以及预设的上下车标定线进行拟合；
根据所述拟合结果，判断所述乘客是否存在上下车动作；
根据所述乘客上下车动作的判断结果，统计所述客流数据和/或所述乘客拥挤度数据。
进一步的，利用深度学习网络对所述待处理视频图像中乘客进行检测，具体包括下述步骤：
采用损失函数对检测进行优化，其中，所述损失函数包括：置信度误差、位置误差以及正则化项，所述正则化项是针对所述深度学习网络中各卷积网络层的参数进行计算所得。
进一步的，所述前卷积网络采用视觉几何组VGG-16中的第一段卷积、第二段卷积、第三段卷积、第四段卷积及第五段卷积，在针对所述第四段卷积中第三卷积网络层的参数进行正则化子项计算时，对所述第三卷积网络层的参数赋于预设定权重值，所述预设定权重值小于1。
另一方面，本发明提供了一种公交运营数据统计系统，所述系统包括：
获取单元，用于获得若干待处理视频图像，所述待处理视频图像由对公交环境视频进行处理得来，不同所述待处理视频图像之间存在时序关系；
检测单元，用于利用深度学习网络对所述待处理视频图像中乘客进行检测；
跟踪单元，用于根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹；以及，
统计单元，用于基于所述乘客的运动轨迹，统计所需的公交运营数据。
另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。
本发明通过获得若干待处理视频图像，待处理视频图像由对公交环境视频进行处理得来，不同待处理视频图像之间存在时序关系；利用深度学习网络对待处理视频图像中乘客进行检测；根据检测结果确定乘客在不同时间点所在的位置信息并获得乘客的运动轨迹；基于乘客的运动轨迹，统计公交运营数据。这样，利用深度学习网络对图像中乘客进行检测，并对乘客进行跟踪，得到乘客运动轨迹，进而统计公交运营数据，从而能对常规图像进行处理，从而前端传感器件的部署要求较低，降低了设备部署、维护成本，且深度学习网络能对图像进行精准处理，进而保证了统计数据的精准度。
附图说明
图1是本发明实施例一提供的公交运营数据统计方法的实现流程图；
图2是本发明实施例二提供的公交运营数据统计方法的实现流程图；
图3是本发明实施例三提供的SSD深度学习网络架构的示意图；
图4是本发明实施例三中步骤S102的细化流程图；
图5是本发明实施例五中步骤S104的细化流程图；
图6是本发明实施例八提供的公交运营数据统计系统的结构示意图；
图7是本发明实施例九提供的计算设备的结构示意图；
图8是本发明一应用实例中先验框的设置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的公交运营数据统计方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获得若干待处理视频图像，待处理视频图像由对公交环境视频进行处理得来，不同待处理视频图像之间存在时序关系。
在本实施例中，可在需要针对某一公交环境统计客流数据、乘客拥挤度数据等公交运营数据时，可在该公交环境搭建视频拍摄系统或利用现有用于监控的视频拍摄系统，该视频拍摄系统可采用普通垂直悬挂式摄像头进行相应公交场景的拍摄，拍摄所得实时视频流或拍摄所得的离线视频文件会被进行切帧处理，得到的若干原始视频图像经过一系列预处理，即可获得待处理视频图像。因为拍摄的连续性，这些待处理视频图像之间即存在时序上的先后关系，进而后续的运动轨迹也会在连续时间上，呈现相应的方向性。当然，只要能获得所需的视频图像，摄像头的种类、数量可以不限于上述普通的垂直悬挂式摄像头。采用垂直悬挂式摄像头，可有效降低乘客遮挡率。垂直悬挂式摄像头可安装在公交车前门及后门各一个。
在步骤S102中，利用深度学习网络对待处理视频图像中乘客进行检测。
在本实施例中，可选择适合种类的神经网络，例如：基于区域的卷积神经网络(Region-based Convolutional Neural Network，R-CNN)、快速基于区域的卷积神经网络(Fast R-CNN)、加快基于区域的卷积神经网络(Faster R-CNN)、单发多框检测(SingleShot MultiBox Detector，SSD)等。当采用R-CNN、Fast R-CNN等网络时，其计算精度相对较高，但运算速度相对较慢，而采用SSD时，其能保证较高的计算精度，而且运算速度相对较快，适合于大批量数据的计算环境。采用神经网络可对待处理视频图像中的目标(乘客或者背景)进行识别检测，并且能够得到目标的位置信息。
在步骤S103中，根据检测结果确定乘客在不同时间点所在的位置信息并获得乘客的运动轨迹。
在本实施例中，当从视频图像中检测出乘客及其位置，即可对乘客进行跟踪，形成乘客相对背景的运动轨迹，该运动轨迹是连续的、具有方向性的。当乘客在一定预设时间段内未被检测到，则表明该乘客运动轨迹失效，不再对该运动轨迹进行留存。
在步骤S104中，基于乘客的运动轨迹，统计所需的公交运营数据。
在本实施例中，公交运营数据可以是客流数据，也可以是乘客拥挤度数据等。基于乘客的运动轨迹，即可对乘客的上下车动作进行判断，进而获得相应客流数据或乘客拥挤度数据等。
实施本实施例，利用深度学习网络对图像中乘客进行检测，并对乘客进行跟踪，得到乘客运动轨迹，进而统计公交运营数据，从而能对常规图像进行处理，从而前端传感器件的部署要求较低，降低了设备部署、维护成本，且深度学习网络能对图像进行精准处理，进而保证了统计数据的精准度。另外，视频可以是离线视频文件，可以对历史数据进行分析，视频也可以是实时视频流。
实施例二：
本实施例在实施例一基础上，进一步提供了如下内容：
如图2所示，在步骤S101之前，还包括：
在步骤S201中，对公交环境视频进行切帧处理，得到原始视频图像。
在本实施例中，切帧处理时，切出的原始视频图像(帧)之间具有合适的时间间隔，不宜过短，以避免出现重复图像。
在步骤S202中，对原始视频图像进行预处理，得到待处理视频图像。
在本实施例中，为使得后续深度学习网络能输入所需的待处理视频图像，需要对原始视频图像进行相应的预处理，预处理可包括如下处理方式中的一种或多种的组合：其一，去噪处理，可采用三维块匹配(Block Matching 3D，BM3D)、自适应似然概率对数期望(Expected Patch Log Likelihood，EPLL)或加权核范数最小化(Weighted Nuclear NormMinimization，WNNW)等技术进行相应去噪处理。其二，格式转换，可将图像转换为tfrecord格式，以tensorflow读取，其中，tensorflow是谷歌基于DistBelief进行研发的第二代人工智能学习系统。其三，对图像进行裁剪等，以得到适合后续处理的图像尺度(即图像大小)等。
实施例三：
本实施例在其他实施例基础上，进一步提供了下述内容：
步骤S102中所采用的深度学习网络优选为SSD深度学习网络。
在本实施例中，该SSD深度学习网络可基于python语言的tensorflow框架，经过20多万轮样本训练得来，前5万多轮训练设置学习速率可以为0.0005，在第5万轮、第10万轮、第15万轮训练的时候学习速率再分别乘上0.5、0.1、0.05以进一步降低学习速率，并且使用视觉几何组(Visual Geometry Group，VGG)-16基于ImageNet数据集上训练好的模型进行迁移学习，最终得到本实施例所称SSD深度学习网络。
SSD深度学习网络架构可如图3所示，包括：前卷积网络301以及后卷积网络302，其中，前卷积网络301可用于对图像进行特征提取处理，得到特征图，而后卷积网络302可用于对特征图进行初步分类识别以及先验框匹配，得到初步分类结果以及先验框匹配结果。所得到的初步分类结果还需要后续进行最终的分类，而基于先验框匹配结果可以进一步确定检测到的目标所在位置。
其中，前卷积网络301可基于VGG-16进行重新架构，即在VGG-16的基础上将其全连接网络层替换为两个卷积网络层构成的新全连接网络层(Fully Connected layer，FC)，去掉VGG-16最后的分类网络层而添加一系列的额外的卷积网络层。
后卷积网络302可对前卷积网络301上指定卷积网络层提取的特征图(后续称之为：前卷积特征图)进行目标的初步分类识别及先验框匹配处理。指定卷积网络层可以是对应VGG-16的第四段卷积中第三卷积网络层(Conv4_3)、第七全连接网络层fc7、第八段卷积中第二卷积网络层(Conv8_2)、第九段卷积中第二卷积网络层(Conv9_2)、第十段卷积中第二卷积网络层(Conv10_2)及第十一段卷积中第二卷积网络层(Conv11_2)。
基于上述SSD深度学习网络，步骤S102具体可包括如图4所示的步骤：
在步骤S401中，利用SSD深度学习网络中的前卷积网络301，对待处理视频图像进行特征提取处理，得到由前卷积网络的若干卷积层处理所得的若干前卷积特征图。
在步骤S402中，利用所述SSD深度学习网络中的后卷积网络302，对前卷积特征图进行乘客的初步分类识别及先验框匹配处理，得到初步分类结果以及先验框匹配结果。
上述步骤S401及S402中所涉及内容同上述前卷积网络301以及后卷积网络302中所述，此处不再赘述。
实施本实施例，采用SSD深度学习网络，可精确检测到图像中的乘客，为后续跟踪乘客形成运动轨迹减轻压力，并能提高统计精准度。选取Conv4_3的特征图作为后卷积网络的输入，由于Conv4_3较为靠前，有利于检测出小目标。
实施例四：
本实施例在实施例三基础上进一步提供了如下内容：
仍如图3所示，在SSD深度学习网络中的后卷积网络302之后，还设置相应的分类网络层303及解码框网络层304。
其中，分类网络层303可对后卷积网络302所得初步分类结果进行最终分类。解码框网络层304可采用卡尔曼滤波算法对先验框匹配结果进行处理，得到位置信息，并获得乘客的运动轨迹，其中，可使用卡尔曼滤波算法对传入的先验框匹配结果进行解码，得到位置信息，更新目标位置及滤波误差协方差，利用匈牙利算法将解码所得当前位置与之前确定的该乘客运动轨迹匹配，从而更新该乘客的运动轨迹。
在步骤S102的利用深度学习网络对待处理视频图像中乘客进行检测之后，还包括下述步骤：
利用分类网络层303，对初步分类结果进行最终分类。
而步骤S103具体为：
利用解码框网络层304，采用卡尔曼滤波算法对先验框匹配结果进行处理，得到位置信息，并获得运动轨迹。
实施例五：
本实施例在其他实施例基础上，进一步提供了如下内容：
公交运营数据可为客流数据和/或乘客拥挤度数据。
步骤S104具体包括如图5所示的步骤：
在步骤S501中，将乘客的运动轨迹、视频图像中的背景以及预设的上下车标定线进行拟合。
在步骤S502中，根据拟合结果，判断乘客是否存在上下车动作。
在步骤S503中，根据乘客上下车动作的判断结果，统计所述客流数据和/或所述乘客拥挤度数据。
在本实施例中，上下车标定先可以通过人为进行设置，通常是默认配置。通过判断乘客是否存在上下车动作，来统计上下车人数，进而确定客流数据、乘客拥挤度数据。其中，乘客拥挤度数据是将上车人数与下车人数之差除以标称载客量。
实施例六：
本实施例在其他实施例基础上，进一步提供了如下内容：
在步骤S102中，还进一步包括如下步骤：
采用损失函数对检测进行优化，其中，损失函数包括：置信度误差、位置误差以及正则化项，正则化项是针对深度学习网络中各卷积层的参数进行计算所得。
在本实施例中，SSD深度学习网络中所采用的损失函数中将添加正则化项，具体是针对SSD深度学习网络中，除最大池化网络层外的所有卷积网络层的参数，计算其L2范数，将其求和之后作为正则化项加入到损失函数中。这样，可增强SSD深度学习网络的泛化能力、提高网络检测准确率。另外，可以对损失函数进行梯度下降，相应调整网络参数。
实施例七：
本实施例在实施例六基础上，进一步提供了如下内容：
在针对Conv4_3的参数进行正则化子项计算时，对Conv4_3的参数赋于预设定权重值，该预设定权重值小于1，优选的，该预设权重值为0.1。
这样设置的目的是考虑到：Conv4_3在整个SSD深度学习网络中较为靠前，其参数进行正则化计算所得正则化子项，会比后续卷积网络层对应正则化子项大很多，容易导致前后特征图检测结果会有较大差异，因此，需要对Conv4_3的L2范数进行抑制。
实施例八：
如图6所示，本实施例相应提供了一种公交运营数据统计系统，具体包括：
获取单元601，用于获得若干待处理视频图像，待处理视频图像由对公交环境视频进行处理得来，不同待处理视频图像之间存在时序关系。
检测单元602，用于利用深度学习网络对待处理视频图像中乘客进行检测。
跟踪单元603，用于根据检测结果确乘客在不同时间点所在的位置信息并获得乘客的运动轨迹。以及，
统计单元604，用于基于乘客的运动轨迹，统计所需的公交运营数据。
以上各单元的处理可如上述各实施例中相应位置所描述内容，此处不再赘述。
当然，本实施例中各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例九：
图7示出了本实施例提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备包括处理器701及存储器702，处理器701执行存储器中存储的计算机程序703时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器701执行计算机程序703时实现上述各设备实施例中各单元的功能，例如图6所示单元601至604的功能。
该设备中处理器701执行计算机程序703时实现方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
该设备可以是完整的计算机，也可以是单个处理芯片，也可以是芯片级联系统等。例如：英伟达NVIDIA GTX 1070Ti GPU，优化器可采用Momentum等。
实施例十：
在本实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各设备实施例中各单元的功能，例如图6所示单元601至604的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
另外，需要说明的是：
1、在成型上述各实施例中所述SSD深度学习网络时，需要对样本进行训练。而样本在训练前同样需要进行相应的去噪、格式转换等处理，另外，还可以进行相应的图片尺度缩小、随机水平翻转等处理，以增加训练样本，避免出现过拟合，提升训练效果。
2、样本训练时，可进行分类种类设置，例如：设置为两种，一种为背景，另一种为乘客。检测到背景时，自动作为负样本进行训练；检测到乘客时，自动作为正样本进行训练。具体地，在对训练样本进行预处理时，设置类别列表为两类，训练时，类别参数设置为2；在训练进行先验框匹配时，可根据经验设置阈值，使背景匹配框和乘客匹配框接近1:1，即正负样本比例调整为1:1。这样设置，可以平衡背景和乘客的预测值，防止训练过拟合。
3、先验框的设置大致可参考如下一应用实例所示的方法：
一般情况下，特征图上每个单元会设置多个先验框，不同类型先验框在尺度和长宽比上存在差异。如图8所示，每个单元使用了4种不同的先验框，采用最适合目标形状的先验框来进行训练。
对于每个单元的每个先验框，都会输出一套独立的检测值，对应一个边界框，主要分为两个部分，第一部分是各个类别的置信度或者评分，第二部分是边界框的位置location，包含4个值，分别表示边界框的中心坐标以及宽高。
对于一个大小为m×n的特征图，共有m×n个单元，每个单元设置的先验框数目记为k，那么，每个单元共需要(c+4)×k个预测值，其中，c表示检测目标共有c个类别，“4”表示边界框的位置信息中的4个值。所有的单元共需要(c+4)×k×m×n个预测值，由于SSD采用卷积做检测，所以就需要(c+4)×k个卷积核完成特征图的检测过程。
从后面新增卷积网络层中提取fc7、Conv8_2、Conv9_2、Conv10_2及Conv11_2对应的特征图作为检测所用的特征图，加上Conv4_3，共提取6个特征图，其大小分别是(38,38)、(19,19)、(10,10)、(5,5)、(3,3)、(1,1)，但是，不同特征图之间先验框数目(单个单元的先验框数目)不同，而同一个特征图上每个单元设置的先验框是相同的。先验框的设置包括了尺度和长宽比两个方面。对于先验框的尺度，其设置遵守一个线性递增规则：随着特征图尺度的变小，先验框尺度线性增大，可如下公式(1)所示：
Figure BDA0001795201650000121
其中，m指特征图个数，sk表示先验框与图片尺度的比例，smin和smax分别表示该比例的最小值与最大值，在本应用实例中，smin和smax分别取0.2和0.9。对于第一个特征图，其先验框与图片尺度的比例一般设置为smin/2＝0.1，那么，当图片尺度取300时，该先验框的尺度则是300×0.1＝30。后续的特征图，其先验框的尺度按上述公式(1)线性增加，后续特征图的先验框尺度在计算时，是先将先验框与图片尺度的比例扩大100倍，此时，增长步长如下公式(2)所示：
Figure BDA0001795201650000122
这样，各个特征图的sk为20、37、54、71、88，将这些比例除以100，然后再乘以图片尺度，可以得到各个特征图的尺度为60、111、162、213、264。综上，可以得到各个特征图的先验框尺度为30、60、111、162、213、264。
对于长宽比，一般选取
Figure BDA0001795201650000123
对于特定的长宽比，按如下公式(3)计算先验框的宽度
Figure BDA0001795201650000137
与高度
Figure BDA0001795201650000131
Figure BDA0001795201650000132
其中，公式(3)中以及下文中的sk均指先验框实际尺度，而非先验框与图片的尺度比例。
默认情况下，每个特征图会有一个ar＝1且尺度为sk的先验框，除此之外，还会设置一个尺度为
Figure BDA0001795201650000133
且ar＝1的先验框，这样，每个特征图都设置了两个长宽比为1但尺度不同的正方形先验框。这里要注意：最后一个特征图需要参考一个虚拟sm+1＝300×105/100＝315来计算s′m。因此，每个特征图一共有6个先验框
Figure BDA0001795201650000134
但是在实现时，Conv4_3、Conv10_2和Conv11_2层仅使用4个先验框，它们不使用长宽比为
Figure BDA0001795201650000135
的先验框。每个单元的先验框的中心点分布在各个单元的中心，即：
Figure BDA0001795201650000136
其中，|fk|为特征图的尺度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种公交运营数据统计方法，其特征在于，所述方法包括下述步骤：
获得若干待处理视频图像，所述待处理视频图像由对公交环境视频进行处理得来，不同所述待处理视频图像之间存在时序关系；
利用深度学习网络对所述待处理视频图像中乘客进行检测；
根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹；
基于所述乘客的运动轨迹，统计所需的公交运营数据；
所述深度学习网络为单发多框检测SSD深度学习网络，利用深度学习网络对所述待处理视频图像中乘客进行检测，具体包括下述步骤：
采用损失函数对检测进行优化，其中，所述损失函数包括：置信度误差、位置误差以及正则化项，所述正则化项是针对所述深度学习网络中各卷积网络层的参数进行计算所得，所述单发多框检测SSD深度学习网络包括前卷积网络以及后卷积网络，所述前卷积网络采用视觉几何组VGG-16中的第一段卷积、第二段卷积、第三段卷积、第四段卷积及第五段卷积，在针对所述第四段卷积中第三卷积网络层的参数进行正则化子项计算时，对所述第三卷积网络层的参数赋于预设定权重值，所述预设定权重值为0.1。
2.如权利要求1所述的方法，其特征在于，获得若干待处理视频图像之前，还包括下述步骤：
对所述公交环境视频进行切帧处理，得到原始视频图像；
对所述原始视频图像进行预处理，得到所述待处理视频图像。
3.如权利要求1所述的方法，其特征在于，利用深度学习网络对所述待处理视频图像中乘客进行检测，具体包括下述步骤：
利用所述SSD深度学习网络中的前卷积网络，对所述待处理视频图像进行特征提取处理，得到由所述前卷积网络的若干卷积层处理所得的若干前卷积特征图；
利用所述SSD深度学习网络中的后卷积网络，对所述前卷积特征图进行所述乘客的初步分类识别及先验框匹配处理，得到初步分类结果以及先验框匹配结果。
4.如权利要求3所述的方法，其特征在于，利用深度学习网络对所述待处理视频图像中乘客进行检测之后，还包括如下步骤：
利用分类网络层，对所述初步分类结果进行最终分类，
根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹，具体为：
利用解码框网络层，采用卡尔曼滤波算法对所述先验框匹配结果进行处理，得到所述位置信息，并获得所述运动轨迹。
5.如权利要求1所述的方法，其特征在于，所述公交运营数据为客流数据和/或乘客拥挤度数据，
基于所述乘客的运动轨迹，统计所需的公交运营数据，具体包括下述步骤：
将所述乘客的运动轨迹、视频图像中的背景以及预设的上下车标定线进行拟合；
根据所述拟合结果，判断所述乘客是否存在上下车动作；
根据所述乘客上下车动作的判断结果，统计所述客流数据和/或所述乘客拥挤度数据。
6.一种公交运营数据统计系统，其特征在于，所述系统包括：
获取单元，用于获得若干待处理视频图像，所述待处理视频图像由对公交环境视频进行处理得来，不同所述待处理视频图像之间存在时序关系；
检测单元，用于利用深度学习网络对所述待处理视频图像中乘客进行检测；
跟踪单元，用于根据所述检测结果确定所述乘客在不同时间点所在的位置信息并获得所述乘客的运动轨迹；以及，
统计单元，用于基于所述乘客的运动轨迹，统计所需的公交运营数据；
所述深度学习网络为单发多框检测SSD深度学习网络，所述检测单元还用于采用损失函数对检测进行优化，其中，所述损失函数包括：置信度误差、位置误差以及正则化项，所述正则化项是针对所述深度学习网络中各卷积网络层的参数进行计算所得，所述单发多框检测SSD深度学习网络包括前卷积网络以及后卷积网络，所述前卷积网络采用视觉几何组VGG-16中的第一段卷积、第二段卷积、第三段卷积、第四段卷积及第五段卷积，在针对所述第四段卷积中第三卷积网络层的参数进行正则化子项计算时，对所述第三卷积网络层的参数赋于预设定权重值，所述预设定权重值为0.1。
7.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至5任一项所述方法中的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法中的步骤。
CN201811053692.0A 2018-09-11 2018-09-11 公交运营数据统计方法、系统、计算设备及存储介质 Active CN109389543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811053692.0A CN109389543B (zh) 2018-09-11 2018-09-11 公交运营数据统计方法、系统、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811053692.0A CN109389543B (zh) 2018-09-11 2018-09-11 公交运营数据统计方法、系统、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN109389543A CN109389543A (zh) 2019-02-26
CN109389543B true CN109389543B (zh) 2022-03-04

Family

ID=65417613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811053692.0A Active CN109389543B (zh) 2018-09-11 2018-09-11 公交运营数据统计方法、系统、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN109389543B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197259A (zh) * 2019-05-30 2019-09-03 浙江大学 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
CN112801903A (zh) * 2021-01-29 2021-05-14 北京博雅慧视智能技术研究院有限公司 一种基于视频降噪的目标跟踪方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778656A (zh) * 2016-12-27 2017-05-31 清华大学苏州汽车研究院（吴江） 一种基于ToF相机的公交车客流量统计系统
CN107527355A (zh) * 2017-07-20 2017-12-29 中国科学院自动化研究所 基于卷积神经网络回归模型的视觉跟踪方法、装置
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195903B2 (en) * 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
CN108320296B (zh) * 2017-12-28 2020-08-21 新智数字科技有限公司 一种视频中目标对象的检测跟踪方法、装置及设备
CN108446611A (zh) * 2018-03-06 2018-08-24 深圳市图敏智能视频股份有限公司 一种车门状态关联的双目图像公交客流计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778656A (zh) * 2016-12-27 2017-05-31 清华大学苏州汽车研究院（吴江） 一种基于ToF相机的公交车客流量统计系统
CN107527355A (zh) * 2017-07-20 2017-12-29 中国科学院自动化研究所 基于卷积神经网络回归模型的视觉跟踪方法、装置
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置

Also Published As

Publication number Publication date
CN109389543A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109559320B (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN112506342A (zh) 基于动态手势识别的人机交互方法及系统
CN107909027B (zh) 一种具有遮挡处理的快速人体目标检测方法
CN108921877B (zh) 一种基于宽度学习的长期目标跟踪方法
CN110956111A (zh) 人工智能cnn、lstm神经网络步态识别系统
CN101276468A (zh) 在视频帧序列中跟踪目标的由计算机执行的方法
WO2017177367A1 (en) Method and system for object tracking
Zhang et al. An intruder detection algorithm for vision based sense and avoid system
CN109242019B (zh) 一种水面光学小目标快速检测与跟踪方法
CN109859250B (zh) 一种航空红外视频多目标检测与跟踪方法及装置
CN109389543B (zh) 公交运营数据统计方法、系统、计算设备及存储介质
CN110716792A (zh) 一种目标检测器及其构建方法和应用
CN111385459A (zh) 一种无人机云台自动控制与对焦、测光方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
WO2017124221A1 (en) System and method for object detection
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质
CN111062291B (zh) 一种机器人视觉跟踪方法及系统
CN111275733A (zh) 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法
CN112632601B (zh) 面向地铁车厢场景的人群计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant