CN116630900A - 基于机器学习的客运站旅客流线识别方法、系统及设备 - Google Patents

基于机器学习的客运站旅客流线识别方法、系统及设备 Download PDF

Info

Publication number
CN116630900A
CN116630900A CN202310902407.2A CN202310902407A CN116630900A CN 116630900 A CN116630900 A CN 116630900A CN 202310902407 A CN202310902407 A CN 202310902407A CN 116630900 A CN116630900 A CN 116630900A
Authority
CN
China
Prior art keywords
module
passenger
output
streamline
cbl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310902407.2A
Other languages
English (en)
Other versions
CN116630900B (zh
Inventor
郑洪�
光振雄
凌汉东
陶志祥
李其龙
吕清扬
周家中
彭利辉
雷中林
吴文伟
曾琼
李建斌
周厚文
李恒鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Siyuan Survey and Design Group Co Ltd
Original Assignee
China Railway Siyuan Survey and Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Siyuan Survey and Design Group Co Ltd filed Critical China Railway Siyuan Survey and Design Group Co Ltd
Priority to CN202310902407.2A priority Critical patent/CN116630900B/zh
Publication of CN116630900A publication Critical patent/CN116630900A/zh
Application granted granted Critical
Publication of CN116630900B publication Critical patent/CN116630900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习的客运站旅客流线识别方法、系统及设备，首先获取客运站内旅客流线数据；然后将旅客流线数据输入旅客识别网络，进行旅客识别；接着根据旅客识别结果，对每一名旅客的行程进行追踪；最后识别不同方向和路径的旅客客流，获得旅客流线。本发明可以可视化分析高铁站内客流的换乘情况，且适用于具有相似旅客外貌特征的高铁站内。

Description

基于机器学习的客运站旅客流线识别方法、系统及设备
技术领域
本发明属于基于机器学习进行出行行为分析技术领域，涉及一种旅客流线识别方法、系统及设备，特别涉及一种使用机器学习技术对高铁站内的客流交织情况进行识别并疏解的方法、系统及设备。
背景技术
出行行为分析领域一直是交通规划中的重要辅助手段之一。而机器学习也随着新兴计算机技术的发展再次迈入人们的视线。从机器视觉开始的机器学习技术，不仅可以有利辅助交通规划领域中的人为决策部分，改善流线交织、人车分流等物理层面的问题，更可以实时的进行交通需求预测，将未产生的交通问题扼杀在摇篮。因此，将新兴的机器学习技术代入传统的站内客流换乘模式研究具有实际的研究价值。
发明内容
本发明目的在于提供一种客运站内旅客流线识别方法、系统及设备，本发明融合了机器视觉、机器学习、深度学习等新兴计算机新技术，可以可视化的给出高铁站内不同方向和流线的客流产生严重流线交织的区域。
本发明的方法所采用的技术方案是：一种基于机器学习的客运站旅客流线识别方法，包括以下步骤：
步骤1：获取客运站内旅客流线数据；
步骤2：将旅客流线数据输入旅客识别网络，进行旅客识别；
所述旅客识别网络，包括主干网络层、多尺度融合层和检测头层；
所述主干网络层，由顺序连接的Focus模块、第一CBL模块、CSP1-1模块、第二CBL模块、第一CSP1-3模块、第三CBL模块、第二CSP1-3模块、第四CBL模块、SPP模块组成；
所述多尺度融合层，所述SPP模块输出经过第一CSP2-1模块、第五CBL模块和第一upsample模块，所述第一upsample模块输出与所述第二CSP1-3模块的输出经过第一ConCat层融合后输入第二CSP2-1模块、第六CBL模块和第二upsample模块，所述第二upsample模块输出与所述第一CSP1-3模块的输出经过第二ConCat层融合后输入第三CSP2-1模块和第七CBL模块，所述第七CBL模块输出与所述第六CBL模块输出经过第三ConCat层融合后输入第四CSP2-1模块和第八CBL模块，所述第八CBL模块输出与所述第五CBL模块输出经过第是ConCat层融合后输入第五CSP2-1模块；
所述检测头层，所述第三CSP2-1模块输出，经过第一Conv模块和第一Prediction模块后输出；所述第四CSP2-1模块输出，经过第二Conv模块和第二Prediction模块后输出；所述第五CSP2-1模块输出，经过第三Conv模块和第三Prediction模块后输出；
步骤3：根据旅客识别结果，对每一名旅客的行程进行追踪；
步骤4：识别不同方向和路径的旅客客流，获得旅客流线。
作为优选，步骤1中，包括数据获取和数据标定；所述数据标定，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定。
作为优选，步骤2中所述旅客识别网络，是训练好的网络；其训练过程包括以下子步骤：
步骤2.1：获取若干客运站内旅客流线数据；包括数据获取和数据标定；所述数据标定，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定以确立groundtruth，经过数据标定确定的groundtruth数据转换为txt文件，即可进行后续的训练和测试；
步骤2.2：将标定后数据输入所述旅客识别网络，进行网络训练；当损失函数下降曲线稳定低于阈值之后，获取到最优的旅客识别网络权重；
所述损失函数为：
；
其中，为横坐标的预测值，/>为横坐标的标注值，/>为纵坐标的预测值，/>为纵坐标的标注值，/>为每一个锚框所有具有的坐标类型数量，S、B分别为网格数量和锚框数量；/>为挑选出负责检测物体的锚框，第i个网格的第j个锚框是否含有物体；为宽度的预测值，/>为宽度的标注值，/>为高度的预测值，/>为高度的标注值；分别表示物体i的预测置信度和物体i的标注置信度；/>为不负责检测物体的交并比的阈值；/>为挑出不负责检测物体的锚框，第i个网格的第j个锚框是否含有物体，若无物体，则为1，若有则为0；/>为挑出包含物体的网格，共S×S个网格，判断第i个网格是否含有物体，即groundtruth的中心点是否落在此网格中，若有则为1，若无则为0；，则/>；/>，则/>；/>为物体i的预测类别概率，/>为物体i的标注类别概率，C为某一类别，Classes为全部类别的集合。
作为优选，步骤3的具体实现包括以下子步骤：
步骤3.1：提取目标特征；
步骤3.2：初始化拓展卡尔曼滤波器；
步骤3.3：利用拓展卡尔曼滤波预测当前帧的目标位置；
步骤3.4：计算预测目标和目标实际位置的交并比，根据跟踪器得到的参数的不同大小，得到不同的优先级，作为相似度，进行不同优先级的匹配；
步骤3.5：将前述步骤中得到了视频中前后两帧的相似度矩阵，利用匈牙利算法通过求解相似度矩阵，关联前后两帧中的数据，进行前后两帧的目标匹配；
步骤3.6：根据匈牙利算法，判断前后两帧的目标是否匹配成功，如果匹配成功则继续跟踪，处理结束；如果不匹配成功，则按照新增了检测目标处理，再进行新的拓展后的卡尔曼滤波预测位置，同时对之前的检测目标判定为丢失，分配一个暂时的跟踪器，当丢失帧数大于N帧时，判定彻底丢失，重新计算交并比，进行级联匹配过程，如果小于等于N帧，重新出现了之前的检测目标，则重新加入处理重新处理；其中，N为预设值。
作为优选，首先对高铁站内环境进行物理建模，再根据追踪到的旅客流线，使用可视化或者数字孪生手段，对其流线径路进行分析；对不同方向和径路的旅客用不同权重数值进行区分，用以判定流线交织区域，识别流线交织危险区。
作为优选，根据旅客流量和现有的物理设施，使用IoT物联网技术，后台统一管理识别闸机出入口数量、行人走行通道智能分隔、智慧大屏和列车到达间隔时间，实现风险控制。
本发明的系统所采用的技术方案是：一种基于机器学习的客运站旅客流线识别系统，包括以下模块：
旅客流线数据获取模块，用于获取客运站内旅客流线数据；
旅客识别模块，用于将旅客流线数据输入旅客识别网络，进行旅客识别；
所述旅客识别网络，包括主干网络层、多尺度融合层和检测头层；
所述主干网络层，由顺序连接的Focus模块、第一CBL模块、CSP1-1模块、第二CBL模块、第一CSP1-3模块、第三CBL模块、第二CSP1-3模块、第四CBL模块、SPP模块组成；
所述多尺度融合层，所述SPP模块输出经过第一CSP2-1模块、第五CBL模块和第一upsample模块，所述第一upsample模块输出与所述第二CSP1-3模块的输出经过第一ConCat层融合后输入第二CSP2-1模块、第六CBL模块和第二upsample模块，所述第二upsample模块输出与所述第一CSP1-3模块的输出经过第二ConCat层融合后输入第三CSP2-1模块和第七CBL模块，所述第七CBL模块输出与所述第六CBL模块输出经过第三ConCat层融合后输入第四CSP2-1模块和第八CBL模块，所述第八CBL模块输出与所述第五CBL模块输出经过第是ConCat层融合后输入第五CSP2-1模块；
所述检测头层，所述第三CSP2-1模块输出，经过第一Conv模块和第一Prediction模块后输出；所述第四CSP2-1模块输出，经过第二Conv模块和第二Prediction模块后输出；所述第五CSP2-1模块输出，经过第三Conv模块和第三Prediction模块后输出；
旅客行程追踪模块，用于根据旅客识别结果，对每一名旅客的行程进行追踪；
旅客流线获取模块，用于识别不同方向和路径的旅客客流，获得旅客流线。
作为优选，所述系统还包括：流线交织危险区识别模块，用于首先对高铁站内环境进行物理建模，再根据追踪到的旅客流线，使用可视化或者数字孪生手段，对其流线径路进行分析；对不同方向和径路的旅客用不同权重数值进行区分，用以判定流线交织区域，识别流线交织危险区。
作为优选，所述系统还包括：风险控制模块，用于根据旅客流量和现有的物理设施，使用IoT物联网技术，后台统一管理识别闸机出入口数量、行人走行通道智能分隔、智慧大屏和列车到达间隔时间，实现风险控制。
本发明的设别所采用的技术方案是：一种基于机器学习的客运站旅客流线识别设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于机器学习的客运站旅客流线识别方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、该方法在数据标定过程中，标定了大量的目前开源的数据集中没有的特征数据，填补了此领域无相关数据集的空白，后续可以应用在具有相似旅客外貌特征的高铁站内。
2、目标检测过程，创新性的提出了一种改进后的YOLOv5s网络，使用K-Means++算法对数据集进行聚类并生成目标物体的锚框，而不是传统的K-Means算法，对数据集的聚类效果更加优化。
3、多目标追踪子系统，使用了改进后的DeepSort算法，对其中的卡尔曼滤波算法进行了优化改进，使得对行人追踪过程中产生的非线性因素进行了近似线性化处理，改良了目标物体的预测位置准确性。
4、使用可视化手段，站内行人流线交织严重区域得以数字孪生，实时显示并给出预判结果，决策者可以迅速反应。结合物联网技术，推出自决策子系统，省略人工判定，直接根据预判结果，结合物理设施，直接后台统一控制，达到智能端控。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的旅客识别网络结构图；
图3为本发明实施例的旅客行程追踪流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于机器学习的客运站旅客流线识别方法，包括以下步骤：
步骤1：获取客运站内旅客流线数据，包括数据获取和数据标定；
在一种实施方式中，数据源为站内拍摄的各角度视频。获取途径有人工获取许可后拍摄的视频片段（视角较低），或者官方途径获取的监控视频角度（视角较高），这两种角度所摄取的人像角度不同，在后续的数据标定模块需要区分开来以获得更准确的效果。
在一种实施方式中，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定，以确立groundtruth，即为后续的子系统设立参考标准。确定的groundtruth数据一般是VOC适合的xml文件，需注意选择YOLO模式，获取txt文件，即可进行后续的训练和测试。
具体数据格式为：每一行即为一个识别成功的标记框，每一个标记框都拥有5个数据。
第一位数字代表识别的数据类别（1代表行人），即ID。
第二位数字是标记框中心横坐标与图像宽度比值，即X。
X0= left + width / 2标记框中心x轴坐标；
X = X0/ img_w标记框中心x轴坐标归一化；
img_w：标记框的物理宽度。
第三位数字表示标记框中心纵坐标与图像高度比值，即Y。
Y0= top + height / 2标记框中心y轴坐标；
Y = Y0/ img_h标记框中心y轴坐标归一化；
img_h：标记框的物理高度；
第四位数字是标记框宽度与图像宽度比值，即width；width = width / img_w。
最后一位数字表示的是标记框高度与图像高度比值，即height；height = height/ img_h。
步骤2：将旅客流线数据输入旅客识别网络，进行旅客识别；
请见图2，在一种实施方式中，所述旅客识别网络，包括主干网络层、多尺度融合层和检测头层；
其中主干网络层，由顺序连接的Focus模块、第一CBL模块、CSP1-1模块、第二CBL模块、第一CSP1-3模块、第三CBL模块、第二CSP1-3模块、第四CBL模块、SPP模块组成；
其中多尺度融合层，所述SPP模块输出经过第一CSP2-1模块、第五CBL模块和第一upsample模块，所述第一upsample模块输出与所述第二CSP1-3模块的输出经过第一ConCat层融合后输入第二CSP2-1模块、第六CBL模块和第二upsample模块，所述第二upsample模块输出与所述第一CSP1-3模块的输出经过第二ConCat层融合后输入第三CSP2-1模块和第七CBL模块，所述第七CBL模块输出与所述第六CBL模块输出经过第三ConCat层融合后输入第四CSP2-1模块和第八CBL模块，所述第八CBL模块输出与所述第五CBL模块输出经过第是ConCat层融合后输入第五CSP2-1模块；
其中检测头层，所述第三CSP2-1模块输出，经过第一Conv模块和第一Prediction模块后输出；所述第四CSP2-1模块输出，经过第二Conv模块和第二Prediction模块后输出；所述第五CSP2-1模块输出，经过第三Conv模块和第三Prediction模块后输出。
主干网络层包含了Focus、CBL、CSP和SPP四种模块，输入的图片首先通过Focus模块进行自我复制，然后进行切片操作，以此减少网络的计算量，加快对候选区域特征提取的速度。切片后的图像通过CBL模块进行卷积、归一化、激活操作，进行特征提取。在特征提取的过程中利用CSP残差结构来优化网络中的梯度信息，减少推理计算量，加快网络的计算速度。最后由SPP模块将不同尺寸的输入转变为相同大小的输出，已解决输入图像尺寸不统一的问题；Neck部分主要负责对提取的特征进行融合操作。Neck部分使用了ReLU激活函数，采用路径聚合网络结果融合不同尺寸的特征图。
然后通过自顶向下对图片进行上采样，将提取到的特征与主干网络中提取到的特征进行融合，之后还添加了一个自底向上的特征金字塔结构，对图片进行降采样，将提取到的所有特征进行融合。通过PANet网络结构可以对所有提取的特征进行融合，提高网络特征融合的能力。输出端采用GIoU作为目标框的损失函数，通过NMS非极大值抑制来筛选目标框。
改进的YOLOv5s其中原始的YOLOv5s采用的K-Means算法对COCO数据集进行聚类并生成目标物体的锚框，锚框的值较大，容易导致模型无法定位较小的目标，且K-Means算法在聚类之前需要自主选择初始化的k个样本作为初始聚类中心，即初始聚类中心是人为确定的，此算法虽然简单，易于实现，但在实际应用过程中不同的初始聚类中心可能导致完全不同的聚类结果，因此该算法容易收初始质心的影响而产生空簇，导致算法收敛到局部最小值。由于K-Means++算法的聚类中心不是随机产生，而是通过一种“轮盘法”的有效方法生成的，可以克服K-Means的不足，因此本发明选择K-Means++算法对所用数据集进行聚类优化，以获取适合不同尺寸的目标物体的锚框。
在一种实施方式中，所述旅客识别网络，是训练好的网络；其训练过程包括以下子步骤：
步骤2.1：获取若干客运站内旅客流线数据；包括数据获取和数据标定；所述数据标定，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定以确立groundtruth，经过数据标定确定的groundtruth数据转换为txt文件，即可进行后续的训练和测试；
步骤2.2：将标定后数据输入所述旅客识别网络，进行网络训练；当损失函数下降曲线稳定低于阈值之后，获取到最优的旅客识别网络权重；
所述损失函数为：
；
其中，为横坐标的预测值，/>为横坐标的标注值，/>为纵坐标的预测值，/>为纵坐标的标注值，/>为每一个锚框所有具有的坐标类型数量，S、B分别为网格数量和锚框数量；/>为挑选出负责检测物体的锚框，第i个网格的第j个锚框是否含有物体；为宽度的预测值，/>为宽度的标注值，/>为高度的预测值，/>为高度的标注值；分别表示物体i的预测置信度和物体i的标注置信度；/>为不负责检测物体的交并比的阈值；/>为挑出不负责检测物体的锚框，第i个网格的第j个锚框是否含有物体，若无物体，则为1，若有则为0；/>为挑出包含物体的网格，共S×S个网格，判断第i个网格是否含有物体，即groundtruth的中心点是否落在此网格中，若有则为1，若无则为0；，则/>；/>，则/>；/>为物体i的预测类别概率，/>为物体i的标注类别概率，C为某一类别，Classes为全部类别的集合。
本实施例在进行训练时主要包含三个方面的损失：矩形框损失(box_loss)、置信度损失（obj_loss）和分类损失(cls_loss)。在预测阶段的后处理过程使用了NMS非极大值抑制技术，即把低置信度的锚框过滤掉，把重复的锚框去掉，每一个物体只留一个锚框。
步骤3：根据旅客识别结果，对每一名旅客的行程进行追踪；
请见图3，在一种实施方式中，步骤3的具体实现包括以下子步骤：
步骤3.1：利用目标检测算法提取目标特征；
步骤3.2：初始化拓展卡尔曼滤波器；
步骤3.3：利用拓展卡尔曼滤波预测当前帧的目标位置；
步骤3.4：计算预测目标和目标实际位置的交并比，根据跟踪器得到的参数的不同大小，得到不同的优先级，作为相似度，进行不同优先级的匹配，即级联匹配；
步骤3.5：将前述步骤中得到了视频中前后两帧的相似度矩阵，利用匈牙利算法通过求解相似度矩阵，关联前后两帧中的数据，进行前后两帧的目标匹配；
步骤3.6：根据匈牙利算法，判断前后两帧的目标是否匹配成功，如果匹配成功则继续跟踪，处理结束；如果不匹配成功，则按照新增了检测目标处理，再进行新的拓展后的卡尔曼滤波预测位置，同时对之前的检测目标判定为丢失，分配一个暂时的跟踪器，当丢失帧数大于60帧时，判定彻底丢失，重新计算交并比，进行级联匹配过程，如果小于等于60帧，重新出现了之前的检测目标，则重新加入处理重新处理。
DeepSort算法是目前非常常见的多目标追踪算法，在跟踪过程中利用卡尔曼滤波对目标的下一帧位置进行预测，再进行级联匹配，利用匈牙利算法进行数据关联，提升跟踪效果，相对于初级的Sort算法来说，检测物体的身份切换的问题会减少发生。DeepSort计算相似度主要基于两方面的因素：分别是目标运动信息和目标外观信息。
目标运动信息使用了马氏距离判断预测目标与检测目标的关联度；
，/>表示锚框j的位置，/>表示跟踪器i预测的位置，/>表示检测与预测位置的协方差矩阵；/>表示锚框j和跟踪器i预测的位置之间的马氏距离；
目标外观信息是通过使用余弦距离来解决因遮挡带来的身份切换、ID跳动的问题。，/>表示锚框/>的本征向量，/>表示跟踪器i对应最近100帧本征向量的集合；/>表示外观特征向量库；/>表示锚框j和跟踪器i预测的位置之间的余弦距离；
再求得马氏距离和余弦距离之后，再采用线性加权的方式对二者进行求和：
；/>为超参数，当且仅当度量值/>存在于/>和/>之间，才认为目标关联。
对于行人跟踪领域来说，存在大量非线性因素，卡尔曼滤波无法对目标的下一帧位置进行较好的预测，因为卡尔曼滤波只适用于线性系统中。因此对上述的DeepSort算法中的卡尔曼滤波进行优化改进。
改进后的卡尔曼滤波通过对非线性函数进行泰勒展开、线性化截断，忽略高阶项等措施，对行人跟踪过程中的非线性因素进行近似线性化处理。拓展卡尔曼滤波算法在迭代过程中，非线性系统可以用如下公式表示：
；
其中，为高斯白噪声，/>为状态转移函数，/>为量测的非线性函数；
迭代过程中的公式如下：
；
其中，为目标k-1帧的估计值，/>为目标第k帧的预测值，/>和/>分别为函数/>的雅可比矩阵。
步骤4：识别不同方向和路径的旅客客流，获得旅客流线。
进一步地，在一种实施方式中，使用BIM或者CAD对高铁站内环境进行物理建模，再根据追踪到的旅客流线，使用可视化或者数字孪生手段，对其流线径路进行分析；对不同方向和径路的旅客用不同权重数值进行区分，用以判定流线交织区域，识别流线交织危险区。为了判定亟需改善的区域，使用热力图加附加权重辅助判定。其中某一地块附加权重较大的区域即可被判定成流线交织严重的区域，并生成具体的旅客流线图。
进一步地，在一种实施方式中，根据旅客流量和现有的物理设施，使用IoT物联网技术，后台统一管理识别闸机出入口数量、行人走行通道智能分隔、智慧大屏和列车到达间隔时间，实现风险控制。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于机器学习的客运站旅客流线识别方法，其特征在于，包括以下步骤：
步骤1：获取客运站内旅客流线数据；
步骤2：将旅客流线数据输入旅客识别网络，进行旅客识别；
所述旅客识别网络，包括主干网络层、多尺度融合层和检测头层；
所述主干网络层，由顺序连接的Focus模块、第一CBL模块、CSP1-1模块、第二CBL模块、第一CSP1-3模块、第三CBL模块、第二CSP1-3模块、第四CBL模块、SPP模块组成；
所述多尺度融合层，所述SPP模块输出经过第一CSP2-1模块、第五CBL模块和第一upsample模块，所述第一upsample模块输出与所述第二CSP1-3模块的输出经过第一ConCat层融合后输入第二CSP2-1模块、第六CBL模块和第二upsample模块，所述第二upsample模块输出与所述第一CSP1-3模块的输出经过第二ConCat层融合后输入第三CSP2-1模块和第七CBL模块，所述第七CBL模块输出与所述第六CBL模块输出经过第三ConCat层融合后输入第四CSP2-1模块和第八CBL模块，所述第八CBL模块输出与所述第五CBL模块输出经过第是ConCat层融合后输入第五CSP2-1模块；
所述检测头层，所述第三CSP2-1模块输出，经过第一Conv模块和第一Prediction模块后输出；所述第四CSP2-1模块输出，经过第二Conv模块和第二Prediction模块后输出；所述第五CSP2-1模块输出，经过第三Conv模块和第三Prediction模块后输出；
步骤3：根据旅客识别结果，对每一名旅客的行程进行追踪；
步骤4：识别不同方向和路径的旅客客流，获得旅客流线。
2.根据权利要求1所述的基于机器学习的客运站旅客流线识别方法，其特征在于：步骤1中，包括数据获取和数据标定；所述数据标定，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定。
3.根据权利要求1所述的基于机器学习的客运站旅客流线识别方法，其特征在于，步骤2中所述旅客识别网络，是训练好的网络；其训练过程包括以下子步骤：
步骤2.1：获取若干客运站内旅客流线数据；包括数据获取和数据标定；所述数据标定，使用可视化图像标定工具LabelImg对高铁站内客流视频数据按帧数进行人工标定以确立groundtruth，经过数据标定确定的groundtruth数据转换为txt文件，即可进行后续的训练和测试；
步骤2.2：将标定后数据输入所述旅客识别网络，进行网络训练；当损失函数下降曲线稳定低于阈值之后，获取到最优的旅客识别网络权重；
所述损失函数为：
；
其中，为横坐标的预测值，/>为横坐标的标注值，/>为纵坐标的预测值，/>为纵坐标的标注值，/>为每一个锚框所有具有的坐标类型数量，S、B分别为网格数量和锚框数量；/>为挑选出负责检测物体的锚框，第i个网格的第j个锚框是否含有物体；/>为宽度的预测值，/>为宽度的标注值，/>为高度的预测值，/>为高度的标注值；/>分别表示物体i的预测置信度和物体i的标注置信度；/>为不负责检测物体的交并比的阈值；/>为挑出不负责检测物体的锚框，第i个网格的第j个锚框是否含有物体，若无物体，则为1，若有则为0；/>为挑出包含物体的网格，共S×S个网格，判断第i个网格是否含有物体，即groundtruth的中心点是否落在此网格中，若有则为1，若无则为0；/>，则/>；/>，则/>；/>为物体i的预测类别概率，/>为物体i的标注类别概率，C为某一类别，Classes为全部类别的集合。
4.根据权利要求1所述的基于机器学习的客运站旅客流线识别方法，其特征在于，步骤3的具体实现包括以下子步骤：
步骤3.1：提取目标特征；
步骤3.2：初始化拓展卡尔曼滤波器；
步骤3.3：利用拓展卡尔曼滤波预测当前帧的目标位置；
步骤3.4：计算预测目标和目标实际位置的交并比，根据跟踪器得到的参数的不同大小，得到不同的优先级，作为相似度，进行不同优先级的匹配；
步骤3.5：将前述步骤中得到了视频中前后两帧的相似度矩阵，利用匈牙利算法通过求解相似度矩阵，关联前后两帧中的数据，进行前后两帧的目标匹配；
步骤3.6：根据匈牙利算法，判断前后两帧的目标是否匹配成功，如果匹配成功则继续跟踪，处理结束；如果不匹配成功，则按照新增了检测目标处理，再进行新的拓展后的卡尔曼滤波预测位置，同时对之前的检测目标判定为丢失，分配一个暂时的跟踪器，当丢失帧数大于N帧时，判定彻底丢失，重新计算交并比，进行级联匹配过程，如果小于等于N帧，重新出现了之前的检测目标，则重新加入处理重新处理；其中，N为预设值。
5.根据权利要求1-4任意一项所述的基于机器学习的客运站旅客流线识别方法，其特征在于：首先对高铁站内环境进行物理建模，再根据追踪到的旅客流线，使用可视化或者数字孪生手段，对其流线径路进行分析；对不同方向和径路的旅客用不同权重数值进行区分，用以判定流线交织区域，识别流线交织危险区。
6.根据权利要求5所述的基于机器学习的客运站旅客流线识别方法，其特征在于：根据旅客流量和现有的物理设施，使用IoT物联网技术，后台统一管理识别闸机出入口数量、行人走行通道智能分隔、智慧大屏和列车到达间隔时间，实现风险控制。
7.一种基于机器学习的客运站旅客流线识别系统，其特征在于，包括以下模块：
旅客流线数据获取模块，用于获取客运站内旅客流线数据；
旅客识别模块，用于将旅客流线数据输入旅客识别网络，进行旅客识别；
所述旅客识别网络，包括主干网络层、多尺度融合层和检测头层；
所述主干网络层，由顺序连接的Focus模块、第一CBL模块、CSP1-1模块、第二CBL模块、第一CSP1-3模块、第三CBL模块、第二CSP1-3模块、第四CBL模块、SPP模块组成；
所述多尺度融合层，所述SPP模块输出经过第一CSP2-1模块、第五CBL模块和第一upsample模块，所述第一upsample模块输出与所述第二CSP1-3模块的输出经过第一ConCat层融合后输入第二CSP2-1模块、第六CBL模块和第二upsample模块，所述第二upsample模块输出与所述第一CSP1-3模块的输出经过第二ConCat层融合后输入第三CSP2-1模块和第七CBL模块，所述第七CBL模块输出与所述第六CBL模块输出经过第三ConCat层融合后输入第四CSP2-1模块和第八CBL模块，所述第八CBL模块输出与所述第五CBL模块输出经过第是ConCat层融合后输入第五CSP2-1模块；
所述检测头层，所述第三CSP2-1模块输出，经过第一Conv模块和第一Prediction模块后输出；所述第四CSP2-1模块输出，经过第二Conv模块和第二Prediction模块后输出；所述第五CSP2-1模块输出，经过第三Conv模块和第三Prediction模块后输出；
旅客行程追踪模块，用于根据旅客识别结果，对每一名旅客的行程进行追踪；
旅客流线获取模块，用于识别不同方向和路径的旅客客流，获得旅客流线。
8.根据权利要求7所述的基于机器学习的客运站旅客流线识别系统，其特征在于，所述系统还包括：流线交织危险区识别模块，用于首先对高铁站内环境进行物理建模，再根据追踪到的旅客流线，使用可视化或者数字孪生手段，对其流线径路进行分析；对不同方向和径路的旅客用不同权重数值进行区分，用以判定流线交织区域，识别流线交织危险区。
9.根据权利要求8所述的基于机器学习的客运站旅客流线识别系统，其特征在于，所述系统还包括：风险控制模块，用于根据旅客流量和现有的物理设施，使用IoT物联网技术，后台统一管理识别闸机出入口数量、行人走行通道智能分隔、智慧大屏和列车到达间隔时间，实现风险控制。
10.一种基于机器学习的客运站旅客流线识别设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的基于机器学习的客运站旅客流线识别方法。
CN202310902407.2A 2023-07-21 2023-07-21 基于机器学习的客运站旅客流线识别方法、系统及设备 Active CN116630900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310902407.2A CN116630900B (zh) 2023-07-21 2023-07-21 基于机器学习的客运站旅客流线识别方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310902407.2A CN116630900B (zh) 2023-07-21 2023-07-21 基于机器学习的客运站旅客流线识别方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116630900A true CN116630900A (zh) 2023-08-22
CN116630900B CN116630900B (zh) 2023-11-07

Family

ID=87642127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310902407.2A Active CN116630900B (zh) 2023-07-21 2023-07-21 基于机器学习的客运站旅客流线识别方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116630900B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330333A1 (en) * 2016-05-16 2017-11-16 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for detecting movement direction of target object
WO2021174755A1 (zh) * 2020-03-02 2021-09-10 北京全路通信信号研究设计院集团有限公司 一种基于深度学习的轨道交通客流需求预测方法和装置
US20210312329A1 (en) * 2020-04-02 2021-10-07 Amadeus S.A.S. Reinforcement learning for website ergonomics
CN113971784A (zh) * 2021-10-28 2022-01-25 北京市商汤科技开发有限公司 一种客流统计方法、装置、计算机设备及存储介质
CN114139251A (zh) * 2021-11-14 2022-03-04 深圳市规划国土发展研究中心 一种边境地区陆路口岸整体布局方法
CN114864103A (zh) * 2022-04-29 2022-08-05 杭州城市大脑技术与服务有限公司 一种城市客流精准溯源系统及方法
CN114973473A (zh) * 2022-05-15 2022-08-30 中铁第四勘察设计院集团有限公司 一种票检、安检、防疫一体化智能设备及使用方法
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium
CN115983487A (zh) * 2023-01-10 2023-04-18 大连理工大学 一种基于卡方分布的机场航站楼旅客时空分布预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330333A1 (en) * 2016-05-16 2017-11-16 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for detecting movement direction of target object
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium
WO2021174755A1 (zh) * 2020-03-02 2021-09-10 北京全路通信信号研究设计院集团有限公司 一种基于深度学习的轨道交通客流需求预测方法和装置
US20210312329A1 (en) * 2020-04-02 2021-10-07 Amadeus S.A.S. Reinforcement learning for website ergonomics
CN113971784A (zh) * 2021-10-28 2022-01-25 北京市商汤科技开发有限公司 一种客流统计方法、装置、计算机设备及存储介质
CN114139251A (zh) * 2021-11-14 2022-03-04 深圳市规划国土发展研究中心 一种边境地区陆路口岸整体布局方法
CN114864103A (zh) * 2022-04-29 2022-08-05 杭州城市大脑技术与服务有限公司 一种城市客流精准溯源系统及方法
CN114973473A (zh) * 2022-05-15 2022-08-30 中铁第四勘察设计院集团有限公司 一种票检、安检、防疫一体化智能设备及使用方法
CN115983487A (zh) * 2023-01-10 2023-04-18 大连理工大学 一种基于卡方分布的机场航站楼旅客时空分布预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUI XIANGQUAN等: "《Passenger Flow Statistics Algorithm of Scenic Spots Based on Multi-Target Tracking》", 《2021 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER APPLICATIONS》 *
YING LI等: "《One-Stage Disease Detection Method for Maize Leaf Based on Multi-Scale Feature》", 《APPLIED SCIENCES》 *
杨国亮 等: "《改进YOLOV5s的多尺度融合口罩佩戴检测方法》", 《计算机工程与应用》, vol. 59, no. 14 *
杨振北 等: "《基于YOLOv4-tiny的铁路车站旅客流量和旅客异常行为监测研究》", 《工业控制计算机》, vol. 35, no. 8 *

Also Published As

Publication number Publication date
CN116630900B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN101800890B (zh) 一种高速公路监控场景下多车辆视频跟踪方法
CN108549846B (zh) 一种结合运动特征和头肩结构的行人检测与统计方法
CN105654139B (zh) 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108009473A (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN113269073A (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN104574445A (zh) 一种目标跟踪方法及装置
CN111723654A (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN105335701A (zh) 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN113409252B (zh) 一种架空输电线路巡检机器人障碍物检测方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN111582380A (zh) 一种基于时空特征的船舶轨迹密度聚类方法及装置
CN106778650A (zh) 基于多类型信息融合的场景自适应行人检测方法和系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
CN113177439A (zh) 一种行人翻越马路护栏检测方法
CN105404682A (zh) 一种基于数字图像内容的图书检索方法
CN116630900B (zh) 基于机器学习的客运站旅客流线识别方法、系统及设备
CN103996207A (zh) 一种物体跟踪方法
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant