CN113435402A - 一种用于列车车厢的不文明行为检测方法及系统 - Google Patents
一种用于列车车厢的不文明行为检测方法及系统 Download PDFInfo
- Publication number
- CN113435402A CN113435402A CN202110794667.3A CN202110794667A CN113435402A CN 113435402 A CN113435402 A CN 113435402A CN 202110794667 A CN202110794667 A CN 202110794667A CN 113435402 A CN113435402 A CN 113435402A
- Authority
- CN
- China
- Prior art keywords
- train
- target
- image
- behavior
- civilized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000006399 behavior Effects 0.000 claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000391 smoking effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 235000013361 beverage Nutrition 0.000 claims description 3
- 235000019504 cigarettes Nutrition 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Abstract
本发明提供一种用于列车车厢的不文明行为检测方法及系统，包括以下步骤：步骤S1，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；步骤S2，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出乘客位置及其所携带物品，标出携带物品的种类，然后通过多目标跟踪操作，对图像的视频帧中的每个乘客单独进行分析处理；步骤S3，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并进行检测和识别。本发明能够实时且便捷地发现列车车厢中的不文明行为，以便及时阻止或向列车上报，进而有效降低人力成本。
Description
技术领域
本发明涉及一种不文明行为检测方法，尤其涉及一种用于列车车厢的不文明行为检测方法，并涉及采用了该用于列车车厢的不文明行为检测方法的不文明行为检测系统。
背景技术
随着轨道交通的迅速发展，地铁以其便利性和准时性在众多交通工具中脱颖而出，成为一、二线城市的主要出行方式。在车厢中，偶尔会发生躺睡、乞讨、卖唱、吸烟、乱扔废弃物和多占座位等不文明行为。这些不文明行为不仅给其他乘客和乘务人员带来不便，还有影响了列车的安全运营，损害了公众及国家形象。目前地铁对于这一类问题主要通过乘务人员的巡检来避免这些问题，然而车辆较多，人力不足和早晚高峰期难以检查等原因导致这一类问题难以得到根本性的解决。
发明内容
本发明所要解决的技术问题是需要提供一种能够实时且便捷地发现不文明行为，以便及时阻止或向列车上报的用于列车车厢的不文明行为检测方法，在此基础上，还进一步提供采用了该用于列车车厢的不文明行为检测方法的不文明行为检测系统。
对此，本发明提供一种用于列车车厢的不文明行为检测方法，包括以下步骤：
步骤S1，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
步骤S2，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
步骤S3，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
本发明的进一步改进在于，所述步骤S1中，对列车车厢图像的视频帧进行防抖处理包括以下子步骤：
步骤S101，先将列车车厢图像的车顶部分转化为灰度图像，计算列车车厢图像中水平和垂直方向的一维投影曲线，再通过前后一维投影两帧的投影曲线，加入运动搜索宽度进行获取水平和垂直方向上的位移矢量，以此获取最优运动向量；
步骤S102，根据获取的最优运动向量判断是否发生超过预设阈值的抖动，若不超过所述预设阈值则跳转至步骤S2，若超过所述预设阈值则跳转至步骤S103；
步骤S103，把当前列车车厢图像向位移矢量的反方向移动相应的像素距离，以此对当前整幅列车车厢图像进行补偿。
本发明的进一步改进在于，所述步骤S2中对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类的过程包括以下子步骤：
步骤S201，通过地铁运营方获取车厢监控视频数据作为原始数据的数据集；
步骤S202，从车厢监控视频数据中抽取有效帧，生成相应的标签文件，并进行数据标注；
步骤S203，按照预设比例设置数据的训练集、验证集和测试集，通过网络模型的训练和测试得到学习的结果。
本发明的进一步改进在于，所述步骤S202中，从车厢监控视频数据中抽取包含有目标事件的有效帧，所述目标事件包括桌椅、吊环扶手、人体、口罩、气球、香烟、滑板车、溜冰鞋、气球、足球以及饮料中的任意一种或几种，并生成相应的标签文件，然后以数据集训练出的faster-RCNN目标检测模型作为自动化标注工具对所述目标事件进行自动化标注。
本发明的进一步改进在于，所述步骤S203中网络模型的训练和测试过程包括以下子步骤：
步骤S2031，网络模型的骨架参数采用数据集训练后的参数进行初始化，全连接层使用；
步骤S2032，网络模型服从均值为0、标准差为0.1的高斯分布随机数进行初始；
步骤S2033，使用Adam梯度下降算法训练权重，并设置批处理大小；
步骤S2034，根据步骤S202制作的图像集对所有目标事件进行聚类，根据聚类对网络模型的anchor参数进行修改；
步骤S2035，在执行预设数量的训练后，每一代都进行验证集的测试，将结果最好的那一代训练模型保存并应用于测试集的测试，该结果作为学习的结果。
本发明的进一步改进在于，所述步骤S3中，对有特征目标的不文明行为的检测和识别包括对携带宠物、携带气球、未戴口罩和抽烟中的任意一种或几种行为进行yolov5目标检测，当检测到有特征目标时，框住人脸及所携带物品，并标出物品种类，通过人体和物品的相对位置确定并分析出有特征目标类的不文明行为。
本发明的进一步改进在于，所述步骤S3中，对无特征目标的不文明行为的检测和识别通过结合乘客的动作状态来确认是否存在不文明行为，包括以下子步骤：
步骤S301，检测是否存在疑似不文明行为，直到存在，则跳转至步骤S302；
步骤S302，根据多目标跟踪的结果对乘客进行运动检测，确认是否为无特征目标的不文明行为。
本发明的进一步改进在于，所述步骤S301中，若检测到包括滑板或溜冰鞋的目标物体，则跳转至步骤S302进行运动检测；并通过乘客的人体目标框的宽高比和相对位置分析乘客姿势，乘客姿势包括站姿、坐姿以及卧躺状态，通过相对位置的目标中心距离以及修改的交并比来评估是否为无特征目标的不文明行为。
本发明的进一步改进在于，通过公式
计算相对位置的目标中心距离DAB，其中，ta为目标物体的第一左上角横轴坐标值，la为目标物体的第一左上角纵轴坐标值，ba为目标物体的第一右下角横轴坐标值，ra为目标物体的第一右下角纵轴坐标值，tb为目标物体的第二左上角横轴坐标值，lb为目标物体的第二左上角纵轴坐标值，bb为目标物体的第二右下角横轴坐标值，rb为目标物体的第二右下角纵轴坐标值；通过公式
计算相对位置的修改的交并比。
本发明还提供一种用于列车车厢的不文明行为检测系统，采用了如上所述的用于列车车厢的不文明行为检测方法，并包括：
图像预处理模块，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
场景分析模块，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
行为分析模块，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
与现有技术相比，本发明的有益效果在于：采用了人工智能视频分析的方法对列车车厢的乘客不文明行为进行自动检测和分析，能够实时且便捷地发现列车车厢中的不文明行为，以便及时阻止或向列车上报，进而有效降低人力成本，解决了列车车厢中不文明行为难以检查的缺点，具有及时性、高准确率和成本低等特点。通过本发明的技术方案，在列车行驶过程中通过高清视频检测即可快速且准确地获得结果，对于异常现象只需要配合少量的人工复检即可完成确认并制止。
附图说明
图1是本发明一种实施例的工作流程示意图；
图2是本发明一种实施例的详细工作流程示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
如图1和图2所示，本例提供一种用于列车车厢的不文明行为检测方法，包括以下步骤：
步骤S1，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
步骤S2，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
步骤S3，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
本例所述步骤S1用于实现图像预处理，便于提升采集到的列车车厢图像的质量，图像预处理操作中，先自适应图像亮度调整，将明暗跳变的视频帧归一化到同一亮度区间，以便为后续处理提供基础；而由于列车行驶过程中可能会由于设备架设等原因造成画面抖动，需要先对视频帧进行防抖处理。
本例所述步骤S1中，对列车车厢图像的视频帧进行防抖处理包括以下子步骤：
步骤S101，进行运动估计，通过局部图像获取全局的运动向量，由于列车车厢图像中车顶部分是稳定的，先将列车车厢图像的车顶部分转化为灰度图像，计算列车车厢图像中水平和垂直方向的一维投影曲线，再通过前后一维投影两帧的投影曲线，加入运动搜索宽度进行获取水平和垂直方向上的位移矢量，以此获取最优运动向量；
本例优选通过公式
计算水平和垂直方向的一维投影，Rk(i)和Ck(j)分别代表第k帧灰度图像中第i行和第j列的灰度投影值，i和j为行和列的序号，Gk(i，j)代表第k帧灰度图像中第i行第j列的灰度值。
本例优选通过公式
估计水平方向上的位移矢量wr和垂直方向上的位移矢量wc，Rk和Rr分别代表第k和r帧灰度图像中的行灰度投影值，k和r是图像的序号，Ck和Cr分别代表第k和r帧灰度图像中的列灰度投影值，N和M是图像的行数和列数，n和m是水平和垂直方向的运动搜索宽度，wr和wc是水平和垂直方向上的位移矢量，wrmin和wcmin是当Cov(wr)和Cov(wc)最小时获取的位移矢量。则第k帧图像对于第r帧图像的最优运动向量(Dr，Dc)通过公式
表示。
步骤S102，根据获取的最优运动向量判断是否发生超过预设阈值的抖动，若不超过所述预设阈值则跳转至步骤S2，若超过所述预设阈值则跳转至步骤S103；所述预设阈值是预设设置的用于判断抖动的阈值，可以根据实际情况和需求进行自定义修改和调整；
步骤S103，把当前列车车厢图像向位移矢量的反方向移动相应的像素距离，以此对当前整幅列车车厢图像进行补偿。
为了获得准确的乘客不文明行为的分析结果，本例所述步骤S2对预处理后的视频流数据进行场景分析。首先对列车车厢图像的视频帧进行目标检测，通过目标检测框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪的操作，可以将视频帧图像中的每个乘客单独进行处理(即步骤S3)。这样可以去除地铁复杂场景因素的影响，因为乘客的行为分析需要进行更细致的检测，去除视频帧中的无用信息，可以更专注于识别乘客的不文明行为，提升分析速度。
本例所步骤S2需要实现用于实现目标识别和检测，优选采用的是yolov5目标检测算法，这是一种端到端的智能目标识别检测方法，通过深度网络的学习，自动拟合目标位置同时根据提取到的图像特征确定目标的类别，采用模型骨架为v5s，输入图像尺寸为608*608，具体的实现过程包括以下子步骤：
步骤S201，通过地铁运营方获取车厢监控视频数据作为原始数据的数据集；
步骤S202，从车厢监控视频数据中抽取有效帧，生成相应的标签文件，并进行数据标注；
步骤S203，按照预设比例设置数据的训练集、验证集和测试集，通过网络模型的训练和测试得到学习的结果。
更为具体的，本例所述步骤S202中，从车厢监控视频数据中抽取包含有目标事件的有效帧，所述目标事件包括桌椅、吊环扶手、人体、口罩、气球、香烟、滑板车、溜冰鞋、气球、足球以及饮料中的任意一种或几种，选用含有目标事件的视频帧生成相应的标签文件，然后以数据集(优选为coco数据集)训练出的faster-RCNN目标检测模型作为自动化标注工具对所述目标事件进行自动化标注。
本例所述步骤S203优选按照8∶1∶1的比例设置数据的训练集、验证集和测试集；最后，实现网络模型的训练和测试；网络模型的训练和测试过程包括以下子步骤：
步骤S2031，网络模型的骨架参数采用数据集(优选为coco数据集)训练后的参数进行初始化，全连接层使用；
步骤S2032，网络模型服从均值为0、标准差为0.1的高斯分布随机数进行初始；
步骤S2033，使用Adam梯度下降算法训练权重，并设置批处理大小，默认设置为16，当然，在实际应用中，也可以根据实际应用场景修改为其他的数值；
步骤S2034，根据步骤S202制作的图像集对所有目标的目标尺寸进行K-means聚类，目标尺寸数据为目标的高度和宽度两维特征，由于图像尺寸不同，因此需要采用图像的尺寸对目标进行归一化，该过程优选通过公式
来实现。其中，t为目标物体的第一左上角横轴坐标值，l为目标物体的第一左上角纵轴坐标值，b为目标物体的第一右下角横轴坐标值，r为目标物体的第一右下角纵轴坐标值，wimg和himg分别为图像的高度和宽度。
对目标尺寸进行K-means的步骤优选为：
步骤S20341，随机选取K个目标尺寸作为网络模型中的初始anchor(即位置)；
步骤S20342，使用
度量，其中anchor＝(wa，ha)，表示一个簇的高度和宽度；目标box＝(wb，hb)，表示目标图像的高度和宽度；通过IOU(anchor，box)将每个目标分配给与其距离最近的anchor；
步骤S20343，计算每个簇中所有目标宽和高的均值，更新anchor；
步骤S20343，重复步骤S20342和S20343，直到anchor不再变化，或者达到了最大迭代可聚出9个不同的目标尺寸类，使用目标尺寸类对网络模型的anchor参数进行修改；
步骤S2035，在执行预设数量的训练后，比如训练100代(该数值可以根据实际需求进行调整)后，每一代都进行验证集的测试，将结果最好的那一代训练模型保存并应用于测试集的测试，该结果作为学习的结果。
此外，本例所述多目标跟踪操作优选采用的方法是DeepSort物体跟踪算法，基于上述目标检测所获取的人体框的基础上，首先采用卡尔曼滤波器的匀速运动和线性观测模型进行预测，另外，在更新模块的部分，使用交并比来进行匈牙利算法的匹配，以此实现对每一个人的跟踪。
本例所述步骤S3中，对有特征目标的不文明行为的检测和识别包括对携带宠物、携带气球、未戴口罩和抽烟中的任意一种或几种行为进行yolov5目标检测，当检测到有特征目标时，框住人脸及所携带物品，并标出物品种类，通过人体和物品的相对位置确定并分析出有特征目标类的不文明行为。
本例所述步骤S3中，对无特征目标的不文明行为的检测和识别通过结合乘客的动作状态来确认是否存在不文明行为，由于躺卧、玩滑板溜冰等不文明行为有一个共同的特点是无法通过携带物品直接确认是否存在不文明行为，必须结合乘客的动作状态如站、坐以及躺等乘客姿势是否发生移动来进行行为分析，不同的情况下，首先确定是否为疑似不文明行为，其中需要检测到目标物体如滑板或溜冰鞋等作为触发疑似不文明行为的判断标准。更为具体的，对无特征目标的不文明行为的检测和识别包括以下子步骤：
步骤S301，检测是否存在疑似不文明行为，直到存在，则跳转至步骤S302；
步骤S302，根据多目标跟踪的结果对乘客进行运动检测，进一步确认是否为无特征目标的不文明行为，以避免误判。
本例所述步骤S301中，若检测到滑板或溜冰鞋等目标物体，则跳转至步骤S302进行运动检测；并通过乘客的人体目标框的宽高比和相对位置分析乘客姿势，乘客姿势包括站姿、坐姿以及卧躺状态，当乘客为坐姿或卧躺状态时，则认为乘客不存在不文明行为，反之通过相对位置的目标中心距离以及修改的交并比，当交并比大于0.5，距离小于0.5倍人体框高度且目标物体在人体框下方时，则评估为不文明行为。
本例所述步骤S301中，通过公式
计算相对位置的目标中心距离DAB，其中，ta为目标物体的第一左上角横轴坐标值，la为目标物体的第一左上角纵轴坐标值，ba为目标物体的第一右下
角横轴坐标值，ra为目标物体的第一右下角纵轴坐标值，tb为目标物体的第二左上角横轴坐标值，lb为目标物体的第二左上角纵轴坐标值，bb为目标物体的第二右下角横轴坐标值，rb为目标物体的第二右下角纵轴坐标值，即两个目标物体的左上和右下坐标分别为A(ta，la，ba，ra)和B(tb，lb，bb，rb)；通过公式
计算相对位置的修改的交并比。
本例还提供一种用于列车车厢的不文明行为检测系统，采用了如上所述的用于列车车厢的不文明行为检测方法，并包括：
图像预处理模块，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
场景分析模块，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
行为分析模块，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
综上所述，本例采用了人工智能视频分析的方法对列车车厢的乘客不文明行为进行自动检测和分析，能够实时且便捷地发现列车车厢中的不文明行为，以便及时阻止或向列车上报，进而有效降低人力成本，解决了列车车厢中不文明行为难以检查的缺点，具有及时性、高准确率和成本低等特点。通过本发明的技术方案，在列车行驶过程中通过高清视频检测即可快速且准确地获得结果，对于异常现象只需要配合少量的人工复检即可完成确认并制止。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种用于列车车厢的不文明行为检测方法，其特征在于，包括以下步骤：
步骤S1，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
步骤S2，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
步骤S3，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
2.根据权利要求1所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S1中，对列车车厢图像的视频帧进行防抖处理包括以下子步骤：
步骤S101，先将列车车厢图像的车顶部分转化为灰度图像，计算列车车厢图像中水平和垂直方向的一维投影曲线，再通过前后一维投影两帧的投影曲线，加入运动搜索宽度进行获取水平和垂直方向上的位移矢量，以此获取最优运动向量；
步骤S102，根据获取的最优运动向量判断是否发生超过预设阈值的抖动，若不超过所述预设阈值则跳转至步骤S2，若超过所述预设阈值则跳转至步骤S103；
步骤S103，把当前列车车厢图像向位移矢量的反方向移动相应的像素距离，以此对当前整幅列车车厢图像进行补偿。
3.根据权利要求1或2所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S2中对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类的过程包括以下子步骤：
步骤S201，通过地铁运营方获取车厢监控视频数据作为原始数据的数据集；
步骤S202，从车厢监控视频数据中抽取有效帧，生成相应的标签文件，并进行数据标注；
步骤S203，按照预设比例设置数据的训练集、验证集和测试集，通过网络模型的训练和测试得到学习的结果。
4.根据权利要求3所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S202中，从车厢监控视频数据中抽取包含有目标事件的有效帧，所述目标事件包括桌椅、吊环扶手、人体、口罩、气球、香烟、滑板车、溜冰鞋、气球、足球以及饮料中的任意一种或几种，并生成相应的标签文件，然后以数据集训练出的faster-RCNN目标检测模型作为自动化标注工具对所述目标事件进行自动化标注。
5.根据权利要求3所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S203中网络模型的训练和测试过程包括以下子步骤：
步骤S2031，网络模型的骨架参数采用数据集训练后的参数进行初始化，全连接层使用；
步骤S2032，网络模型服从均值为0、标准差为0.1的高斯分布随机数进行初始；
步骤S2033，使用Adam梯度下降算法训练权重，并设置批处理大小；
步骤S2034，根据步骤S202制作的图像集对所有目标事件进行聚类，根据聚类对网络模型的anchor参数进行修改；
步骤S2035，在执行预设数量的训练后，每一代都进行验证集的测试，将结果最好的那一代训练模型保存并应用于测试集的测试，该结果作为学习的结果。
6.根据权利要求1或2所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S3中，对有特征目标的不文明行为的检测和识别包括对携带宠物、携带气球、未戴口罩和抽烟中的任意一种或几种行为进行yolov5目标检测，当检测到有特征目标时，框住人脸及所携带物品，并标出物品种类，通过人体和物品的相对位置确定并分析出有特征目标类的不文明行为。
7.根据权利要求1或2所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S3中，对无特征目标的不文明行为的检测和识别通过结合乘客的动作状态来确认是否存在不文明行为，包括以下子步骤：
步骤S301，检测是否存在疑似不文明行为，直到存在，则跳转至步骤S302；
步骤S302，根据多目标跟踪的结果对乘客进行运动检测，确认是否为无特征目标的不文明行为。
8.根据权利要求7所述的用于列车车厢的不文明行为检测方法，其特征在于，所述步骤S301中，若检测到包括滑板或溜冰鞋的目标物体，则跳转至步骤S302进行运动检测；并通过乘客的人体目标框的宽高比和相对位置分析乘客姿势，乘客姿势包括站姿、坐姿以及卧躺状态，通过相对位置的目标中心距离以及修改的交并比来评估是否为无特征目标的不文明行为。
9.根据权利要求7所述的用于列车车厢的不文明行为检测方法，其特征在于，通过公式
计算相对位置的目标中心距离DAB，其中，ta为目标物体的第一左上角横轴坐标值，la为目标物体的第一左上角纵轴坐标值，ba为目标物体的第一右下角横轴坐标值，ra为目标物体的第一右下角纵轴坐标值，tb为目标物体的第二左上角横轴坐标值，lb为目标物体的第二左上角纵轴坐标值，bb为目标物体的第二右下角横轴坐标值，rb为目标物体的第二右下角纵轴坐标值；通过公式
计算相对位置的修改的交并比。
10.一种用于列车车厢的不文明行为检测系统，其特征在于，采用了如权利要求1至9任意一项所述的用于列车车厢的不文明行为检测方法，并包括：
图像预处理模块，自适应调整列车车厢图像的亮度，将列车车厢图像的视频帧进行归一化处理至同一亮度区间，对列车车厢图像的视频帧进行防抖处理；
场景分析模块，对防抖处理后的数据进行场景分析，先对列车车厢图像的视频帧进行目标检测，框选出车厢内的乘客位置及其所携带物品，并标出携带物品的种类，然后通过多目标跟踪操作，对列车车厢图像的视频帧中的每个乘客单独进行分析处理；
行为分析模块，根据不文明行为的特点将其分有特征目标的不文明行为和无特征目标的不文明行为，并针对性进行检测和识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110794667.3A CN113435402A (zh) | 2021-07-14 | 2021-07-14 | 一种用于列车车厢的不文明行为检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110794667.3A CN113435402A (zh) | 2021-07-14 | 2021-07-14 | 一种用于列车车厢的不文明行为检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435402A true CN113435402A (zh) | 2021-09-24 |
Family
ID=77760313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110794667.3A Pending CN113435402A (zh) | 2021-07-14 | 2021-07-14 | 一种用于列车车厢的不文明行为检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435402A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524573A (zh) * | 2023-05-19 | 2023-08-01 | 北京弘治锐龙教育科技有限公司 | 异常物品与口罩检测系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN108734091A (zh) * | 2018-03-30 | 2018-11-02 | 暨南大学 | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 |
| CN110188644A (zh) * | 2019-05-22 | 2019-08-30 | 广东寰球智能科技有限公司 | 一种基于视觉分析的扶梯乘客危险行为监控系统及方法 |
| CN111144247A (zh) * | 2019-12-16 | 2020-05-12 | 浙江大学 | 一种基于深度学习的自动扶梯乘客逆行检测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| CN112289031A (zh) * | 2020-11-03 | 2021-01-29 | 蚌埠学院 | 一种公交行驶过程中异常情况检测与报警的方法及装置 |
| CN112528960A (zh) * | 2020-12-29 | 2021-03-19 | 之江实验室 | 一种基于人体姿态估计和图像分类的吸烟行为检测方法 |
| CN112633057A (zh) * | 2020-11-04 | 2021-04-09 | 北方工业大学 | 一种公交车内异常行为智能监控方法 |
| CN113033300A (zh) * | 2021-02-07 | 2021-06-25 | 广东省科学院智能制造研究所 | 一种基于计算机视觉的扶梯安全自动监控方法及系统 |
-
2021
- 2021-07-14 CN CN202110794667.3A patent/CN113435402A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN108734091A (zh) * | 2018-03-30 | 2018-11-02 | 暨南大学 | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 |
| CN110188644A (zh) * | 2019-05-22 | 2019-08-30 | 广东寰球智能科技有限公司 | 一种基于视觉分析的扶梯乘客危险行为监控系统及方法 |
| CN111144247A (zh) * | 2019-12-16 | 2020-05-12 | 浙江大学 | 一种基于深度学习的自动扶梯乘客逆行检测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| CN112289031A (zh) * | 2020-11-03 | 2021-01-29 | 蚌埠学院 | 一种公交行驶过程中异常情况检测与报警的方法及装置 |
| CN112633057A (zh) * | 2020-11-04 | 2021-04-09 | 北方工业大学 | 一种公交车内异常行为智能监控方法 |
| CN112528960A (zh) * | 2020-12-29 | 2021-03-19 | 之江实验室 | 一种基于人体姿态估计和图像分类的吸烟行为检测方法 |
| CN113033300A (zh) * | 2021-02-07 | 2021-06-25 | 广东省科学院智能制造研究所 | 一种基于计算机视觉的扶梯安全自动监控方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524573A (zh) * | 2023-05-19 | 2023-08-01 | 北京弘治锐龙教育科技有限公司 | 异常物品与口罩检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN103593678B (zh) | 一种大跨度桥梁车辆动态荷载分布检测方法 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN109118479A (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN106875424A (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
| CN103810717B (zh) | 一种人体行为检测方法及装置 | |
| CN104050481B (zh) | 多模板轮廓特征和灰度相结合的红外图像实时行人检测 | |
| CN107292870A (zh) | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统 | |
| CN110633678B (zh) | 一种基于视频图像的快速高效的车流量计算方法 | |
| CN102073846A (zh) | 基于航拍图像的交通信息获取方法 | |
| CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
| CN105005773A (zh) | 一种融合时域信息和空域信息的行人检测方法 | |
| CN108717789A (zh) | 一种车辆样本的采集标注方法及装置 | |
| CN104112138A (zh) | 物体颜色分类方法及装置 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN114248819B (zh) | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 | |
| CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
| CN113743260A (zh) | 一种地铁站台密集人流情况下的行人跟踪方法 | |
| CN113435402A (zh) | 一种用于列车车厢的不文明行为检测方法及系统 | |
| CN112668441B (zh) | 一种结合先验知识的卫星遥感影像飞机目标识别方法 | |
| CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
| CN102063726B (zh) | 一种运动目标分类方法和系统 | |
| CN109409294A (zh) | 基于对象运动轨迹的停球事件的分类方法和系统 | |
| Veni et al. | Video-Based Detection, Counting and Classification of Vehicles Using OpenCV | |
| CN110728214B (zh) | 一种基于尺度匹配的弱小人物目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |