CN113989749A - 车站客流监控方法、电子设备及存储介质 - Google Patents

车站客流监控方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113989749A
CN113989749A CN202111361206.3A CN202111361206A CN113989749A CN 113989749 A CN113989749 A CN 113989749A CN 202111361206 A CN202111361206 A CN 202111361206A CN 113989749 A CN113989749 A CN 113989749A
Authority
CN
China
Prior art keywords
video data
detection model
loss function
sample video
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111361206.3A
Other languages
English (en)
Inventor
殷娇阳
郝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Control Technology TCT Co Ltd
Original Assignee
Traffic Control Technology TCT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Control Technology TCT Co Ltd filed Critical Traffic Control Technology TCT Co Ltd
Priority to CN202111361206.3A priority Critical patent/CN113989749A/zh
Publication of CN113989749A publication Critical patent/CN113989749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种车站客流监控方法、电子设备及存储介质，该方法包括：获取候车区域的实时视频数据；将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件；若满足，则进行疏导预警；其中，检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。本申请预先基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。

Description

车站客流监控方法、电子设备及存储介质
技术领域
本申请涉及轨道交通技术领域，尤其涉及一种车站客流监控方法、电子设备及存储介质。
背景技术
人群聚集及四散行为经常发生于火车站、汽车站、机场、地铁站等公共场合，目前解决该问题的方案如下几点：
1、站内站台乘务人员巡视时发现，然后组织乘客进行疏散或者引导。
2、进出站口乘务人员巡视时发现，然后组织乘客进行疏散或者引导。
但是上述两种方案均需要人工进行发现，发现较为滞后。
发明内容
为了解决上述问题，本申请提供了一种车站客流监控方法、电子设备及存储介质。
本申请第一个方面，提供了一种车站客流监控方法，所述方法包括：
获取候车区域的实时视频数据；
将所述视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件；
若满足，则进行疏导预警；
所述检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。
可选地，所述方法，还包括：
通过位于候车区域的图像采集设备采集样本视频原始数据；
对所述样本视频原始数据进行扩充，得到样本视频扩充数据；
将所述样本视频原始数据和所述样本视频扩充数据均作为样本视频数据。
可选地，所述损失函数为网格误差、置信度误差、类别误差之和；
所述网格误差根据交并比、欧式距离、对角线距离、长宽比一致性以及长宽比的惩罚项确定；
所述置信度误差根据网格面积，各网格中的各锚框是否负责目标类别、各锚框的置信度确定；
所述类别误差根据各网格中负责各类别的概率确定；
所述目标类别为满足疏导条件的视频数据所在类别；
所述各类别中包括所述目标类别。
可选地，所述长宽比一致性根据锚框的宽和高确定。
可选地，所述长宽比的惩罚项根据所述长宽比一致性和交并比确定。
可选地，所述方法还包括：通过优化器自动调整学习率加快损失函数的收敛。
可选地，所述非极大值抑制为加权非极大值抑制。
可选地，所述检测模型的训练过程，包括：
基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练；
对训练得到的结果使用卡尔曼滤波算法进行预测；
使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配；
根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型。
本申请第二个方面，提供了一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。
本申请第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。
本申请提供一种车站客流监控方法、电子设备及存储介质，该方法包括：获取候车区域的实时视频数据；将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件；若满足，则进行疏导预警；其中，检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。
其中，本申请提供的方法预先基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
另外，在一种实现中，对样本视频数据的确定过程进行限定，保证了训练检测模型的样本的多样性，通过多样性的样本可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，对损失函数进行限定，损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，对损失函数中长宽比一致性的确定过程进行限定，该参数是实现损失函数的重要参数，而损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，对损失函数中长宽比的惩罚项的确定过程进行限定，该参数是实现损失函数的重要参数，而损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，提供了加快损失函数收敛的方案，通过该方案可以实现损失函数的快速收敛，而损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，限定了非极大值抑制为加权非极大值抑制，加权非极大值抑制对于遮挡重叠目标有较佳的效果提升，进而进一步提升检测模型的效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
另外，在一种实现中，对训练得到的结果使用卡尔曼滤波算法进行预测；使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配；根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型，保证了检测模型的进一步调优，进一步提升检测模型的效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
本申请提供的电子设备，其上计算机程序被处理器执行以预先训练检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
本申请提供的计算机可读存储介质，其上的计算机程序被处理器执行以预先训练检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种车站客流监控方法的流程示意图；
图2为本申请实施例提供的一种Focus结构的示意图；
图3为本申请实施例提供的一种Yolov5s网络结构的示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在实现本申请的过程中，发明人发现，人群聚集及四散行为经常发生于火车站、汽车站、机场、地铁站等公共场合，目前解决该问题的方案如下几点：1、站内站台乘务人员巡视时发现，然后组织乘客进行疏散或者引导。2、进出站口乘务人员巡视时发现，然后组织乘客进行疏散或者引导。但是上述两种方案均需要人工进行发现，发现较为滞后。
针对上述问题，本申请实施例中提供了一种车站客流监控方法、电子设备及存储介质，该方法包括：获取候车区域的实时视频数据；将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件；若满足，则进行疏导预警。本申请预先训练检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
参见图1，本实施例提供的一种车站客流监控方法，实现过程如下：
101，获取候车区域的实时视频数据。
本步骤可以通过位于候车区域的图像采集设备获取候车区域的实时视频数据。
具体的，
例如，在车站候车区域共设十个图像采集设备(如监控摄像头)，将十个摄像头分为两组，分别将数据送往两个算法服务器，每个算法服务器通过本实施提供的车站客流监控方法轮询推理五路摄像头的数据，确定出现人群四散或者聚集情况后，进行疏导预警(如将预警推送到显示终端)。
102，将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件。
在执行本步骤之前会训练得到一个检测模型，本步骤就是将步骤101得到的实时视频数据输入至该检测模型中，对实时视频数据进行检测，确定是否满足疏导条件。
该检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。检测模型的具体训练过程如下：
201，确定样本视频数据。
由于位于候车区域的图像采集设备采集样的本视频原始数据较少，仅有5000余张，因此会对样本数据进行扩充。
因此，步骤201的具体实现过程为：通过位于候车区域的图像采集设备采集样本视频原始数据。对样本视频原始数据进行扩充，得到样本视频扩充数据。将样本视频原始数据和样本视频扩充数据均作为样本视频数据。
另外，在扩充时可以采用DAGAN网络实现，例如，采用DAGAN(Data Augmented GAN)网络对现有5000余张数据集进行扩充到50000张。
除此之外，还可以将扩充得到的数据集分为训练集、测试集和验证集。其中，训练集用于对检测模型进行训练，测试集用于对训练好的检测模型进行测试，验证集用于对测试好的检测模型进行验证，当验证也通过后即得到最终的检测模型。
还可以对训练集中的样本视频数据进行数据标注，例如，使用标注工具对训练集进行数据标注，最终得到xml文件。
202，获取样本视频数据的特征金字塔。
203基于特征金字塔，通过损失函数和非极大值抑制进行训练，得到检测模型。
其中，损失函数为网格误差、置信度误差、类别误差之和。
网格误差根据交并比、欧式距离、对角线距离、长宽比一致性以及长宽比的惩罚项确定。
长宽比一致性根据锚框的宽和高确定。长宽比的惩罚项根据长宽比一致性和交并比确定。
置信度误差根据网格面积，各网格中的各锚框是否负责目标类别、各锚框的置信度确定。
类别误差根据各网格中负责各类别的概率确定。
其中，所述目标类别为满足疏导条件的视频数据所在类别；各类别中包括所述目标类别，除此之外，还包括其他类别。
检测模型实际是一个分类模型，该模型会对输入的视频数据进行分类，该分类可以为两类或多于两类，如果是两类，那么一个类别为满足疏导条件的视频数据，另一个类别为不满足疏导条件的视频数据。如果是多于两类，那么一个类别为满足疏导条件的视频数据，其他类别是对不满足疏导条件的视频数据的具体细分，例如，无人群的视频数据、稀疏人群的视频数据等，本实施例不对其他类别的具体内容进行限定。无论多少类，其中一个类别一定是满足疏导条件的视频数据，该类别即目标类别。各类别是实际分的所有类别，包括目标类别和其他类别。
另外，非极大值抑制为加权非极大值抑制(DIOU_nms)。
通过对检测模型的训练过程进行限定，保证了检测模型对是否进行疏导预警的检测准确性，提升了通过该检测模型进行车站客流监控的准确度。
通过对样本视频数据的确定过程进行限定，保证了训练检测模型的样本的多样性，通过多样性的样本可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
通过对损失函数进行限定，损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
通过对损失函数中长宽比一致性、长宽比的惩罚项的确定过程进行限定，上述两个参数是实现损失函数的重要参数，而损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
通过对非极大值抑制为加权非极大值抑制的限定，加权非极大值抑制对于遮挡重叠目标有较佳的效果提升，进而进一步提升检测模型的效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
在具体实现时，步骤202和203可以采用Yolov5s网络结构实现。
Yolov5s网络结构如图3所示，由输入端、Backbone、Neck、输出端构成。
输入端，包括Mosaic数据增强、自适应锚框计算、自适应图片缩放。在数据增强时可以采用Focus结构(该结构如图2所示)对图片进行了切片操作。
Backbone为ResNet。
Neck，包括FPN网络和PAN结构，用于生成样本视频数据对应的特征金字塔。其中，现有的FPN网络结构输出三层，分别检测大、中、小三类目标，而本提案的类别中只有小目标，因此本提案将FPN网络中检测大目标的P4、P5层删除掉，仅留检测小目标的输出层。PAN网络结构与FPN网络结构相反。
输出端，包括损失函数(如锚框(Bounding box)损失函数)和NMS(Non-MaximumSuppression，非极大值抑制)。
以Bounding box损失函数为例，Bounding box损失函数loss为网格误差lbox、置信度误差lobj、类别误差lcls之和。
即loss＝lbox+lobj+lcls。
1、网格误差lbox
网格误差根据交并比IoU、欧式距离d、对角线距离c、长宽比一致性v以及长宽比的惩罚项α确定。
即
Figure BDA0003359051400000091
其中，IoU为交并比，d为欧式距离，c为对角线距离，v为衡量长宽比一致性的参数，α为正数，为长宽比的惩罚项。
v根据长宽比一致性根据锚框的宽和高确定，例如通过如下公式确定：
Figure BDA0003359051400000092
其中，wgt为真实锚框的宽，hgt为真实锚框的高，w为预测锚框的宽，h为预测锚框的高。
α根据所述长宽比一致性和交并比确定，例如通过如下公式确定：
Figure BDA0003359051400000093
2、置信度误差lobj
置信度误差根据网格面积，各网格中的各锚框是否负责目标目标、各锚框的置信度确定。
即
Figure BDA0003359051400000094
其中，λnoobj和λobj均为超参数，s为特征图网格数量，如13×13，26×26，52×52，i为网格标识，j为锚框标识，B为锚框总数量，
Figure BDA0003359051400000095
和
Figure BDA0003359051400000096
均为第i个网格的第j个锚框是否负责目标类别，如果i个网格的第j个锚框负责目标类别，则
Figure BDA0003359051400000097
如果第i个网格的第j个锚框没有负责目标类别，则
Figure BDA0003359051400000098
cj为第j个锚框的实际置信度，
Figure BDA0003359051400000099
为第j个锚框的预测置信度。
3、类别误差lcls
类别误差根据各网格中负责各类别的概率确定。
即
Figure BDA0003359051400000101
其中，λclass为超参数，classes为类别集合，e为类别标识，pi(e)为第i个网格负责第e类别的实际概率，
Figure BDA0003359051400000102
为第i个网格负责第e类别的预测概率。
通过输入端、Backbone、Neck可以实现步骤202，通过输出端可以实现步骤203。
训练模型使用Yolov5s网络结构(参见图2)，Yolov5s由输入端、Backbone、Neck、输出端四个部分构成。输入端主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；Backbone使用ResNet；Neck包括FPN网络和PAN结构，主要用于生成特征金字塔，特征金字塔会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺寸的同一个物体；输出端包括Bounding box损失函数和NMS非极大值抑制，损失函数使用GIOU_Loss，NMS采用加权nms。但是根据车站场景中多出现遮挡或重叠等复杂情况，我们将加权nms更换为DIOU_nms，DIOU_nms对于遮挡重叠目标有一定效果提升，mAP提升了5.8％。
另外，还可以通过优化器自动调整学习率加快损失函数的收敛。例如，使用Adam优化器自动调整学习率加快损失函数的收敛。
通过使用Adam优化器自动调整学习率加快损失函数的收敛，实验结果对比得出Adam对于训练较小的数据集效果优于SGD。
通过该方案可以实现损失函数的快速收敛，而损失函数是检测模型实现的较为重要要素，损失函数用来表现预测与实际数据的差距程度，通过损失函数可以保证检测模型的训练效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
此外，backbone中卷积层后面还可以加入CBAM注意力机制，使得头部特征信息更加明显
除此之外，在基于特征金字塔，通过损失函数和非极大值抑制进行训练之后，还会对训练得到的结果使用卡尔曼滤波算法进行预测，使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配，根据匹配结果使用卡尔曼滤波算法进行更新，得到最终的检测模型。
使用Yolov5s网络结构进行训练之后，使用卡尔曼滤波算法进行预测预测，使用匈牙利算法将预测后的结构和当前样本视频数据中的标注结果进行匹配，然后在使用卡尔曼滤波算法进行更新。
通过现场进行测试，最终的检测模型的检测准确率达到了96.5％，漏检率为0，误检率为0。
通过对训练得到的结果使用卡尔曼滤波算法进行预测；使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配；根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型，保证了检测模型的进一步调优，进一步提升检测模型的效果，提升检测模型的检测准确性，进而提升了通过该检测模型进行车站客流监控的准确度。
103，若满足，则进行疏导预警。
满足则为确定出现人群四散或者聚集情况，在满足之后，则进行疏导预警(如将预警推送到显示终端)。
除此之前，还可以启动应急方案系统。
本实施例针对目前轨道交通车站应对人群四散及聚集等行为普遍还采用人工参与的方式，这种方式存在效率低、响应速度慢等问题，提出一套智能化、自动化的应急解决方案，即车站客流监控方法。该方法可以基于对乘客头部检测及轨迹跟踪判别是否存在人群四散行为。
本实施例提供的车站客流监控方法在地铁车站检测人群四散应急方案中技术亮点如下：
1、因车站出现人群四散行为较少，即数据集少。因此本实施例提供的车站客流监控方法采用了DAGAN网络来增加数据集数量，yolov5模型输入端采用Mosaic做数据增强，采用随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标(人头)的检测效果很好。
2、轨道交通车站存在遮挡场景较多，为了提高人头识别准确率，本实施例提供的车站客流监控方法在车站顶部增加鱼眼相机，通过俯拍可以有效避免遮挡，并且在检测模型中NMS采用DIOU_nms，DIOU_nms对于遮挡重叠目标有一定效果提升，实验结果表明，mAP提升了5.8％。
3、Yolov5s网络结构中采用图2所示的Focus结构，输入端图像为608*608*3输入Focus结构，采用切片操作，先变成304*304*12的feature map，在经过一次32个卷积核的卷积操作，最终变成304*304*32的feature map。图片在经过Focus结构后，起到了下采样的作用，和普通卷积下采样相比，Foucs结构在图片下采样的过程中，不会带来信息丢失的情况，使得后续特征提取更加充分。
4、本实施例提供的车站客流监控方法检测目标为人头，这个物体属于小目标，而且类别特征不是很复杂，因此，本实施例提供的车站客流监控方法中1)Yolov5s网络结构中的backbone网络结构为轻量及的ResNet网络进行特征提取；2)现有的FPN网络结构输出三层，分别检测大、中、小三类目标，而本提案的类别中只有小目标，因此本提案将FPN网络中检测大目标的P4、P5层删除掉，仅留检测小目标的输出层。PAN网络结构与FPN网络结构相反，自底向上传递强定位信息，两个改进加速了模型的识别速度；3)由于本实施例的方案更关注头部的特征信息，因此在backbone中卷积层后面加入了CBAM注意力机制，使得头部特征信息更加明显。
5、NMS非极值抑制采用DIOU_nms,，在原始的NMS中，IoU指标用于抑制多余的检测框，但由于仅考虑了重叠区域，经常造成错误的抑制，特别是在Bounding box包含的情况下；DIOU_nms不仅考虑重叠区域，还考虑了两个Bounding box中心点之间的距离，当两个Bounding box之间的IoU比较大时，如果两个Bunding box的中心点距离也比较大，就会认为是两个物体的锚框，而不会被过滤掉。
具体公式为：
Figure BDA0003359051400000131
其中，Sj是分类置信度，ε为NMS阈值，M为最高置信度的锚框，Bj代表其他锚框，IoU表示交并比，RDIoU(M,Bj)表示两个锚框中心点之间的距离。
本实施例提供的方法预先训练检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
基于列车折返能力提升方法的同一发明构思，本实施例提供一种电子设备，该电子设备包括：存储器，处理器，以及计算机程序。
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现上述列车折返能力提升方法。
具体的，
获取候车区域的实时视频数据。
将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件。
若满足，则进行疏导预警；
其中，检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。
可选地，该包括：
通过位于候车区域的图像采集设备采集样本视频原始数据。
对样本视频原始数据进行扩充，得到样本视频扩充数据。
将样本视频原始数据和样本视频扩充数据均作为样本视频数据。
可选地，损失函数为网格误差、置信度误差、类别误差之和。
网格误差根据交并比、欧式距离、对角线距离、长宽比一致性以及长宽比的惩罚项确定。
置信度误差根据网格面积，各网格中的各锚框是否负责目标类别、各锚框的置信度确定。
类别误差根据各网格中负责各类别的概率确定。
其中，目标类别为满足疏导条件的视频数据所在类别。
各类别中包括该目标类别。
可选地，长宽比一致性根据锚框的宽和高确定。
可选地，长宽比的惩罚项根据长宽比一致性和交并比确定。
可选地，还包括：通过优化器自动调整学习率加快损失函数的收敛。
可选地，非极大值抑制为加权非极大值抑制。
可选地，检测模型的训练过程，包括：
基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练。
对训练得到的结果使用卡尔曼滤波算法进行预测。
使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配。
根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型。
本实施例提供的电子设备，其上计算机程序被处理器执行以预先基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
基于列车折返能力提升方法的同一发明构思，本实施例提供一种计算机可其上存储有计算机程序。计算机程序被处理器执行以实现上述列车折返能力提升方法。
具体的，
获取候车区域的实时视频数据。
将视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件。
若满足，则进行疏导预警。
其中，检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。
可选地，还包括：
通过位于候车区域的图像采集设备采集样本视频原始数据。
对样本视频原始数据进行扩充，得到样本视频扩充数据。
将样本视频原始数据和样本视频扩充数据均作为样本视频数据。
可选地，损失函数为网格误差、置信度误差、类别误差之和。
网格误差根据交并比、欧式距离、对角线距离、长宽比一致性以及长宽比的惩罚项确定。
置信度误差根据网格面积，各网格中的各锚框是否负责目标类别、各锚框的置信度确定。
类别误差根据各网格中负责各类别的概率确定。
其中，目标类别为满足疏导条件的视频数据所在类别。
各类别中包括该目标类别。
可选地，长宽比一致性根据锚框的宽和高确定。
可选地，长宽比的惩罚项根据长宽比一致性和交并比确定。
可选地，还包括：通过优化器自动调整学习率加快损失函数的收敛。
可选地，非极大值抑制为加权非极大值抑制。
可选地，检测模型的训练过程，包括：
基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练。
对训练得到的结果使用卡尔曼滤波算法进行预测。
使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配。
根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型。
本实施例提供的计算机可读存储介质，其上的计算机程序被处理器执行以预先基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到检测模型，通过该检测模型对实时视频数据进行检测，可以确定是否需要疏导，若需要疏导则进行疏导预警，实现了疏导的自动预警，保证了疏导的及时性，避免了现有技术由于人工进行疏导预警带来的疏导滞后问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种车站客流监控方法，其特征在于，所述方法包括：
获取候车区域的实时视频数据；
将所述视频数据输入至预先训练的检测模型，检测客流是否满足疏导条件；
若满足，则进行疏导预警；
所述检测模型是基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
通过位于候车区域的图像采集设备采集样本视频原始数据；
对所述样本视频原始数据进行扩充，得到样本视频扩充数据；
将所述样本视频原始数据和所述样本视频扩充数据均作为样本视频数据。
3.根据权利要求1所述的方法，其特征在于，所述损失函数为网格误差、置信度误差、类别误差之和；
所述网格误差根据交并比、欧式距离、对角线距离、长宽比一致性以及长宽比的惩罚项确定；
所述置信度误差根据网格面积，各网格中的各锚框是否负责目标类别、各锚框的置信度确定；
所述类别误差根据各网格中负责各类别的概率确定；
所述目标类别为满足疏导条件的视频数据所在类别；
所述各类别中包括所述目标类别。
4.根据权利要3所述的方法，其特征在于，所述长宽比一致性根据锚框的宽和高确定。
5.根据权利要3所述的方法，其特征在于，所述长宽比的惩罚项根据所述长宽比一致性和交并比确定。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过优化器自动调整学习率加快损失函数的收敛。
7.根据权利要求1所述的方法，其特征在于，所述非极大值抑制为加权非极大值抑制。
8.根据权利要求1所述的方法，其特征在于，所述检测模型的训练过程，包括：
基于样本视频数据的特征金字塔，通过损失函数和非极大值抑制进行训练；
对训练得到的结果使用卡尔曼滤波算法进行预测；
使用匈牙利算法将预测后的结果和当前样本视频数据中的标注结果进行匹配；
根据匹配结果使用卡尔曼滤波算法进行更新，得到检测模型。
9.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的方法。
CN202111361206.3A 2021-11-17 2021-11-17 车站客流监控方法、电子设备及存储介质 Pending CN113989749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111361206.3A CN113989749A (zh) 2021-11-17 2021-11-17 车站客流监控方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111361206.3A CN113989749A (zh) 2021-11-17 2021-11-17 车站客流监控方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113989749A true CN113989749A (zh) 2022-01-28

Family

ID=79749036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111361206.3A Pending CN113989749A (zh) 2021-11-17 2021-11-17 车站客流监控方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113989749A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310597A (zh) * 2023-05-09 2023-06-23 广东工业大学 垃圾分类和定位方法、无人清洁艇控制方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310597A (zh) * 2023-05-09 2023-06-23 广东工业大学 垃圾分类和定位方法、无人清洁艇控制方法及系统

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN111564015B (zh) 一种轨道交通周界入侵的监测方法及装置
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN111611970A (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
CN113743260A (zh) 一种地铁站台密集人流情况下的行人跟踪方法
CN111815616A (zh) 一种基于深度学习的x光安检图像中危险品检测方法
CN113989749A (zh) 车站客流监控方法、电子设备及存储介质
CN113095301B (zh) 占道经营监测方法、系统与服务器
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN114926422A (zh) 一种上下车客流量检测方法及系统
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN111814773A (zh) 一种划线车位识别方法及系统
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
CN115661683A (zh) 一种基于多注意力机制网络的车辆识别统计方法
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN111931572B (zh) 一种遥感影像的目标检测方法
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination