CN115311617A - 城轨车站区域客流信息获取方法及系统 - Google Patents

城轨车站区域客流信息获取方法及系统 Download PDF

Info

Publication number
CN115311617A
CN115311617A CN202210870695.3A CN202210870695A CN115311617A CN 115311617 A CN115311617 A CN 115311617A CN 202210870695 A CN202210870695 A CN 202210870695A CN 115311617 A CN115311617 A CN 115311617A
Authority
CN
China
Prior art keywords
passengers
passenger
motion
urban rail
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210870695.3A
Other languages
English (en)
Inventor
王艳辉
赵盛盛
丁子峰
郭建媛
李曼
刁欣然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202210870695.3A priority Critical patent/CN115311617A/zh
Publication of CN115311617A publication Critical patent/CN115311617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种城轨车站区域客流信息获取方法及系统，属于城市轨道交通运营维护技术领域，获取城轨车站区域的监控视频；利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。本发明对客流速度和客流密度的检测精度高，对目标的跟踪定位更加准确。

Description

城轨车站区域客流信息获取方法及系统
技术领域
本发明涉及城市轨道交通运营维护技术领域，具体涉及一种基于优化YOLOv5+DeepSort结合相机标定的城轨车站区域客流信息获取方法及系统。
背景技术
城市轨道交通的中客流对车站的运营有很大的影响，对城轨车站中的客流信息进行辨识是很有必要的。
目前城轨车站客流信息获取方法并未得到广泛应用，描述客流状态的主要属性除了客流密度还有客流速度，客流密度和速度信息的获取还停留在车站工作人员巡视、对区域监控图像观察的方式，严重消耗了人力资源，而且由于车站中乘客数量较多且乘客行为易受周围环境的干扰而复杂多变，这种方式获取的客流信息只能得到数据的数量级范围，不能得到精确的数据，存在严重误差并且时效性差，获取的数据不能对客流信息进一步利用来对区域客流情况进行智能化分析。
发明内容
本发明的目的在于提供一种城轨车站区域客流信息获取方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种城轨车站区域客流信息获取方法，包括：
获取城轨车站区域的监控视频；
利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
优选的，像素坐标与真实世界坐标的转换关系包括：
选取监控区域内的多个特征点；
获取所述多个特征点在监控视频图像中的像素坐标以及真实世界坐标；
根据所述多个特征点的像素坐标与真实世界坐标的对应关系，建立坐标关系方程组，利用最小二乘法进行求解得到视频监控设备的投影矩阵；
结合投影矩阵和图像中任意一点的像素坐标通过坐标换算公式得到真实坐标。
优选的，得到视频监控设备的投影矩阵，包括：
Figure BDA0003761075110000021
Figure BDA0003761075110000022
其中，(u,v)为特征点的像素坐标，(xw,yw)特征点的真实坐标，
Figure BDA0003761075110000023
为投影矩阵；其中，
优选的，所述检测模型的预先训练包括：
搭建原始YOLOv5模型，将算法的输入端、Backbone、Neck结构、输出端搭建出来并进行连接；在Backbone尾部加入CBAM注意力机制，对YOLOv5的网络结构进行优化；采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化；采用α-CIoU-NMS算法作为非极大值抑制方法对YOLOv5的后处理方法进行优化。
优选的，采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化，包括：
Figure BDA0003761075110000031
Figure BDA0003761075110000032
Figure BDA0003761075110000033
其中，b，bgt分别代表了检测框B和真实框G的中心点，ρ代表的是计算两个中心点间的欧式距离；c代表的是能够同时覆盖检测框B和真实框G的最小矩形的对角线距离；IoU为预测框和真实框的交并比，w和h为预测框的宽和高，wgt和hgt分别为真实框的宽和高，α为常数。
优选的，基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息，包括：
使用DeepSort算法对乘客跟踪；
其中，提取目标运动特征和外观特征，运动特征包括目标的检测框中心位置、长宽比、高度，外观特征为深度学习模型提取的目标图像特征；将检测的结果与追踪的轨迹进行匹配，即根据目标特征的关联性来对检测结果能否与跟踪轨迹进行匹配进行判断；其中，针对目标的运动特征，使用马氏距离来度量跟踪与检测之间的相似度；针对目标的外观特征，使用余弦距离来度量外观特征的相似度，然后使用匈牙利算法对目标前后两帧的特征进行级联匹配，匹配到的目标则跟踪成功，未匹配成功的目标继续使用IOU匹配对目标进行跟踪；
最终使用卡尔曼滤波结合目标跟踪的结果更新目标当前轨迹以确定所有目标的运动轨迹。
第二方面，本发明提供一种城轨车站区域客流信息获取系统，包括：
获取模块，用于获取城轨车站区域的监控视频；
检测模块，用于利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
匹配模块，用于基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
计算模块，用于基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的城轨车站区域客流信息获取方法。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的城轨车站区域客流信息获取方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的城轨车站区域客流信息获取方法的指令。
本发明有益效果：利用监控视频获取城轨车站区域客流信息，减少了车站运营人员的工作强度，提高了客流信息数据获得的准确度，为客流信息的智能化分析提供了基础，对保障城轨车站的运营安全有重大意义。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的客流信息获取流程图。
图2为本发明实施例所述的YOLOv5模型原始结构图。
图3为本发明实施例所述的CBAM注意力机制原理图。
图4为本发明实施例所述的YOLOv5模型训练过程损失变化图。
图5为本发明实施例所述的DeepSort算法流程图。
图6为本发明实施例所述的标定特征点图。
图7为本发明实施例所述的效果图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种城轨车站区域客流信息获取系统，该系统包括：
获取模块，用于获取城轨车站区域的监控视频；
检测模块，用于利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
匹配模块，用于基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
计算模块，用于基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
在本实施例1中，利用上述的系统，实现了城轨车站区域客流信息获取方法，包括：
首先，利用获取模块获取城轨车站区域的监控视频；
然后，利用监测模块基于预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
再利用匹配模块基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
最后，利用计算模块基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
其中，像素坐标与真实世界坐标的转换关系包括：
选取监控区域内的多个特征点；
获取所述多个特征点在监控视频图像中的像素坐标以及真实世界坐标；
根据所述多个特征点的像素坐标与真实世界坐标的对应关系，建立坐标关系方程组，利用最小二乘法进行求解得到视频监控设备的投影矩阵；
结合投影矩阵和图像中任意一点的像素坐标通过坐标换算公式得到真实坐标。
得到视频监控设备的投影矩阵，包括：
Figure BDA0003761075110000071
Figure BDA0003761075110000081
其中，(u,v)为特征点的像素坐标，(xw,yw)特征点的真实坐标，
Figure BDA0003761075110000082
为投影矩阵；其中，
所述检测模型的预先训练包括：
搭建原始YOLOv5模型，将算法的输入端、Backbone、Neck结构、输出端搭建出来并进行连接；在Backbone尾部加入CBAM注意力机制，对YOLOv5的网络结构进行优化；采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化；采用α-CIoU-NMS算法作为非极大值抑制方法对YOLOv5的后处理方法进行优化。
采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化，包括：
Figure BDA0003761075110000083
Figure BDA0003761075110000084
Figure BDA0003761075110000085
其中，b，bgt分别代表了检测框B和真实框G的中心点，ρ代表的是计算两个中心点间的欧式距离；c代表的是能够同时覆盖检测框B和真实框G的最小矩形的对角线距离；IoU为预测框和真实框的交并比，w和h为预测框的宽和高，wgt和hgt分别为真实框的宽和高，α为常数。
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息，包括：
使用DeepSort算法对乘客跟踪；
其中，提取目标运动特征和外观特征，运动特征包括目标的检测框中心位置、长宽比、高度，外观特征为深度学习模型提取的目标图像特征；将检测的结果与追踪的轨迹进行匹配，即根据目标特征的关联性来对检测结果能否与跟踪轨迹进行匹配进行判断；其中，针对目标的运动特征，使用马氏距离来度量跟踪与检测之间的相似度；针对目标的外观特征，使用余弦距离来度量外观特征的相似度，然后使用匈牙利算法对目标前后两帧的特征进行级联匹配，匹配到的目标则跟踪成功，未匹配成功的目标继续使用IOU匹配对目标进行跟踪；
最终使用卡尔曼滤波结合目标跟踪的结果更新目标当前轨迹以确定所有目标的运动轨迹。
实施例2
本实施例2提供一种基于优化YOLOv5+DeepSort结合相机标定的城轨车站区域客流信息获取方法，包括如下步骤：
步骤1：获取城轨车站各区域的监控视频；
步骤2：对监控相机进行标定，在监控图像中选取地面上的六个特征点，获取特征点的真实位置关系，通过计算得出投影矩阵，进一步得出图像中地面一点的像素坐标与真实世界坐标的换算公式，由此可实现真实坐标的转换；
步骤3：将获取的城轨车站监控视频送入优化的YOLOv5模型对乘客进行检测，得到视频中乘客的数量和乘客的位置信息，结合监控区域的面积得到区域的客流密度；
步骤4：将检测到的乘客位置信息输入到DeepSort算法，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息，结合图像坐标与真实坐标的换算关系得到乘客的运动速度，对区域中所有乘客的运动速度取平均值得到区域客流速度。
所述步骤2中，得出像素坐标与真实世界坐标的换算方法包括：
步骤21：根据所应用的监控区域情况选取位置关系明确的六个特征点；
步骤22：获取监控视频图像中六点的像素坐标与真实世界坐标；
步骤23：通过坐标对应关系方程利用最小二乘法进行求解得到相机投影矩阵；
步骤24：结合投影矩阵和图像中任意一点的像素坐标通过坐标换算公式得到真实坐标。
所述步骤23具体计算公式如下：
Figure BDA0003761075110000101
所述步骤24具体计算公式如下：
Figure BDA0003761075110000102
其中，(u,v)为一点的像素坐标，(xw,yw)为一点的真实坐标，
Figure BDA0003761075110000103
为投影矩阵。
所述步骤3中，优化的YOLOv5模型的搭建包括如下步骤：
步骤31：搭建原始YOLOv5模型，将算法的输入端、Backbone、Neck结构、输出端搭建出来并进行连接；
步骤32：在Backbone尾部加入CBAM注意力机制，对YOLOv5的网络结构进行优化；
步骤33：采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化；
步骤34：采用α-CIoU-NMS算法作为非极大值抑制方法对YOLOv5的后处理方法进行优化。
所述步骤33具体计算公式如下：
Figure BDA0003761075110000111
Figure BDA0003761075110000112
Figure BDA0003761075110000113
其中，b，bgt分别代表了检测框B和真实框G的中心点，且ρ代表的是计算两个中心点间的欧式距离。c代表的是能够同时覆盖检测框B和真实框G的最小矩形的对角线距离。IoU为预测框和真实框的交并比，w和h为预测框的宽和高，wgt和hgt分别为真实框的宽和高，α为常数，推荐取3。
进一步地，所述步骤4中，DeepSort算法对乘客跟踪包括如下步骤：
步骤41：特征提取，提取目标运动特征和外观特征，运动特征包括目标的检测框中心位置、长宽比、高度，外观特征为深度学习模型提取的目标图像特征。
步骤42：数据关联，将检测的结果与追踪的轨迹进行匹配，即根据目标特征的关联性来对检测结果能否与跟踪轨迹进行匹配进行判断。针对目标的运动特征，使用马氏距离来度量跟踪与检测之间的相似度；针对目标的外观特征，使用余弦距离来度量外观特征的相似度，然后使用匈牙利算法对目标前后两帧的特征进行级联匹配，匹配到的目标则跟踪成功，未匹配成功的目标继续使用IoU匹配对目标进行跟踪。最终使用卡尔曼滤波结合目标跟踪的结果更新目标当前轨迹以确定所有目标的运动轨迹。
实施例3
如图1所示，本发明实施例公开了一种基于优化YOLOv5+DeepSort结合相机标定的城轨车站区域客流信息获取方法，包括如下步骤：
步骤1：数据采集：获取城轨车站各区域的监控视频；
步骤2：相机标定：对监控相机进行标定，在监控图像中选取地面上的六个特征点，获取特征点的真实位置关系，通过计算得出投影矩阵，进一步得出图像中地面一点的像素坐标与真实世界坐标的换算公式，由此可实现真实坐标的转换；
步骤3：目标检测计算客流密度：将获取的城轨车站监控视频送入优化的YOLOv5模型对乘客进行检测，得到视频中乘客的数量和乘客的位置信息，结合监控区域的面积得到区域的客流密度；
步骤4：目标追踪计算客流速度：将检测到的乘客位置信息输入到DeepSort算法，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息，结合图像坐标与真实坐标的换算关系得到乘客的运动速度，对区域中所有乘客的运动速度取平均值得到区域客流速度。
本实施例中，所述步骤1中，视频数据为地铁站真实监控视频，涵盖车站各个监控覆盖区域，在各区域内选取行人较多的视频样本，对视频进行按帧提取图片的操作，考虑到视频为25帧/s，每帧之间行人变化极小，对每帧图片进行提取会导致数据集的冗余。因此选择每10帧提取一次图片，最终在提取出3916张样本图片，经过筛选剔除无人图片以及重复图片，最终将3000张图片纳入车站乘客数据集。使用LabelImg标注工具对获取到的数据进行标注，得到带有Xml文件标注信息的数据集。
所述步骤2中，得出像素坐标与真实世界坐标的换算方法包括如下步骤：
步骤21：根据所应用的监控区域情况选取位置关系明确的六个特征点；
步骤22：获取监控视频图像中六点的像素坐标与真实世界坐标；
步骤23：通过坐标对应关系方程利用最小二乘法进行求解得到相机投影矩阵；
步骤24：结合投影矩阵和图像中任意一点的像素坐标通过坐标换算公式得到真实坐标。
所述步骤23具体计算公式如下：
Figure BDA0003761075110000131
所述步骤24具体计算公式如下：
Figure BDA0003761075110000132
其中，(u,v)为一点的像素坐标，(xw,yw)为一点的真实坐标，
Figure BDA0003761075110000133
为投影矩阵。
所述步骤3中，优化的YOLOv5模型的搭建包括如下步骤：
步骤31：如图2所示，搭建原始YOLOv5模型，将算法的输入端、Backbone、Neck结构、输出端搭建出来并进行连接；
步骤32：如图3所示，在Backbone尾部加入CBAM注意力机制，对YOLOv5的网络结构进行优化；
步骤33：采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化；
步骤34：采用α-CIoU-NMS算法作为非极大值抑制方法对YOLOv5的后处理方法进行优化。
所述步骤33具体计算公式如下：
Figure BDA0003761075110000141
Figure BDA0003761075110000142
Figure BDA0003761075110000143
其中，b，bgt分别代表了检测框B和真实框G的中心点，且ρ代表的是计算两个中心点间的欧式距离。c代表的是能够同时覆盖检测框B和真实框G的最小矩形的对角线距离。IOU为预测框和真实框的交并比，w和h为预测框的宽和高，wgt和hgt分别为真实框的宽和高，α为常数，推荐取3。
通过上述步骤可以得到改进后的YOLOv5m模型，并在数据集上训练最终得到具有较高收敛精度的模型，将数据集按照9：1的比例划分为训练集和验证集，设置Batch_size为16，epoch为1000，从训练过程中选取最优的模型文件保存，训练过程损失变化如图4所示，900个epoch后基本损失函数平稳，结束训练。
将监控视频输入到优化后的YOLOv5m模型对乘客进行检测，统计检测出的乘客数量，根据监控区域面积计算得出监控区域客流密度，同时检测到的乘客位置信息输入到DeepSort算法用于乘客的跟踪。
如图5所示，DeepSort目标跟踪算法对连续帧间检测到的目标进行匹配得出目标的运动轨迹，得出运动轨迹后结合真实坐标转换方法计算得出乘客运动速度，对区域中所有乘客的速度取平均得出区域客流速度。
所述DeepSort算法对乘客跟踪包括如下步骤：
步骤41：特征提取，提取目标运动特征和外观特征，运动特征包括目标的检测框中心位置、长宽比、高度，外观特征为深度学习模型提取的目标图像特征。
步骤42：数据关联，将检测的结果与追踪的轨迹进行匹配，即根据目标特征的关联性来对检测结果能否与跟踪轨迹进行匹配进行判断。针对目标的运动特征，使用马氏距离来度量跟踪与检测之间的相似度；针对目标的外观特征，使用余弦距离来度量外观特征的相似度，然后使用匈牙利算法对目标前后两帧的特征进行级联匹配，匹配到的目标则跟踪成功，未匹配成功的目标继续使用IOU匹配对目标进行跟踪。最终使用卡尔曼滤波结合目标跟踪的结果更新目标当前轨迹以确定所有目标的运动轨迹。
本实施例3中，在真实城轨车站监控视频中进行实验。
如图6所示，选取OABCDE六点作为特征点进行标定，得到坐标转换关系后利用优化后的YOLOv5+DeepSort模型对监控视频区域中客流密度和客流速度进行检测，效果图如图7所示。
实验表明，本实施例中所述的客流速度检测方法对客流速度和客流密度的检测精度要高于现有相关技术，且对目标的跟踪定位更加准确。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现城轨车站区域客流信息获取方法及，该方法包括：
获取城轨车站区域的监控视频；
利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
实施例5
本发明实施例5提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现城轨车站区域客流信息获取方法，该方法包括：
获取城轨车站区域的监控视频；
利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
实施例6
本发明实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现城轨车站区域客流信息获取方法的指令，该方法包括：
获取城轨车站区域的监控视频；
利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种城轨车站区域客流信息获取方法，其特征在于，包括：
获取城轨车站区域的监控视频；
利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
2.根据权利要求1所述的城轨车站区域客流信息获取方法，其特征在于，像素坐标与真实世界坐标的转换关系包括：
选取监控区域内的多个特征点；
获取所述多个特征点在监控视频图像中的像素坐标以及真实世界坐标；
根据所述多个特征点的像素坐标与真实世界坐标的对应关系，建立坐标关系方程组，利用最小二乘法进行求解得到视频监控设备的投影矩阵；
结合投影矩阵和图像中任意一点的像素坐标通过坐标换算公式得到真实坐标。
3.根据权利要求2所述的城轨车站区域客流信息获取方法，其特征在于，得到视频监控设备的投影矩阵，包括：
Figure RE-FDA0003859340990000011
Figure RE-FDA0003859340990000021
其中，(u,v)为特征点的像素坐标，(xw,yw)特征点的真实坐标，
Figure RE-FDA0003859340990000022
为投影矩阵。
4.根据权利要求1所述的城轨车站区域客流信息获取方法，其特征在于，所述检测模型的预先训练包括：
搭建原始YOLOv5模型，将算法的输入端、Backbone、Neck结构、输出端搭建出来并进行连接；在Backbone尾部加入CBAM注意力机制，对YOLOv5的网络结构进行优化；采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化；采用α-CIoU-NMS算法作为非极大值抑制方法对YOLOv5的后处理方法进行优化。
5.根据权利要求4所述的城轨车站区域客流信息获取方法，其特征在于，采用α-CIoU作为YOLOv5的损失函数，对YOLOv5的损失函数进行优化，包括：
Figure FDA0003761075100000023
Figure FDA0003761075100000024
Figure FDA0003761075100000025
其中，b，bgt分别代表了检测框B和真实框G的中心点，ρ代表的是计算两个中心点间的欧式距离；c代表的是能够同时覆盖检测框B和真实框G的最小矩形的对角线距离；IoU为预测框和真实框的交并比，w和h为预测框的宽和高，wgt和hgt分别为真实框的宽和高，α为常数。
6.根据权利要求4所述的城轨车站区域客流信息获取方法，其特征在于，基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息，包括：
使用DeepSort算法对乘客跟踪；
其中，提取目标运动特征和外观特征，运动特征包括目标的检测框中心位置、长宽比、高度，外观特征为深度学习模型提取的目标图像特征；将检测的结果与追踪的轨迹进行匹配，即根据目标特征的关联性来对检测结果能否与跟踪轨迹进行匹配进行判断；其中，针对目标的运动特征，使用马氏距离来度量跟踪与检测之间的相似度；针对目标的外观特征，使用余弦距离来度量外观特征的相似度，然后使用匈牙利算法对目标前后两帧的特征进行级联匹配，匹配到的目标则跟踪成功，未匹配成功的目标继续使用IOU匹配对目标进行跟踪；
最终使用卡尔曼滤波结合目标跟踪的结果更新目标当前轨迹以确定所有目标的运动轨迹。
7.一种城轨车站区域客流信息获取系统，其特征在于，包括：
获取模块，用于获取城轨车站区域的监控视频；
检测模块，用于利用预先训练好的检测模型对获取的监控视频进行处理，得到视频中乘客的数量和乘客的位置信息；
匹配模块，用于基于检测到的乘客位置信息，根据乘客外观特征和运动特征对乘客进行匹配，根据匹配结果将乘客运动轨迹进行关联，得到乘客运动信息；
计算模块，用于基于乘客运动信息，结合视频中像素坐标与真实世界坐标的转换关系，得到乘客的运动速度，并结合乘客的数量得到所有乘客运动速度的平均值，作为区域客流速度。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的城轨车站区域客流信息获取方法。
9.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如权利要求1-6任一项所述的城轨车站区域客流信息获取方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的城轨车站区域客流信息获取方法的指令。
CN202210870695.3A 2022-07-22 2022-07-22 城轨车站区域客流信息获取方法及系统 Pending CN115311617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210870695.3A CN115311617A (zh) 2022-07-22 2022-07-22 城轨车站区域客流信息获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210870695.3A CN115311617A (zh) 2022-07-22 2022-07-22 城轨车站区域客流信息获取方法及系统

Publications (1)

Publication Number Publication Date
CN115311617A true CN115311617A (zh) 2022-11-08

Family

ID=83858519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210870695.3A Pending CN115311617A (zh) 2022-07-22 2022-07-22 城轨车站区域客流信息获取方法及系统

Country Status (1)

Country Link
CN (1) CN115311617A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071710A (zh) * 2023-04-06 2023-05-05 南京运享通信息科技有限公司 一种基于智慧体育场馆监控视频的客流量统计方法
CN117994987A (zh) * 2024-04-07 2024-05-07 东南大学 基于目标检测技术的交通参数提取方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071710A (zh) * 2023-04-06 2023-05-05 南京运享通信息科技有限公司 一种基于智慧体育场馆监控视频的客流量统计方法
CN117994987A (zh) * 2024-04-07 2024-05-07 东南大学 基于目标检测技术的交通参数提取方法及相关装置

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN115311617A (zh) 城轨车站区域客流信息获取方法及系统
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN104637058A (zh) 一种基于图像信息的客流量识别统计方法
CN103488993A (zh) 一种基于fast的人群异常行为识别方法
CN104299243A (zh) 一种基于霍夫森林的目标跟踪方法
CN104050818A (zh) 基于目标跟踪和特征点匹配的运动车辆测速方法
CN103440667A (zh) 一种遮挡状态下运动目标稳定追踪的自动装置
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN112100435A (zh) 一种基于边缘端交通音视频同步样本的自动标注方法
Fernández et al. Robust Real‐Time Traffic Surveillance with Deep Learning
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN116993681A (zh) 一种变电站巡检缺陷检测方法及系统
CN102136060A (zh) 一种群体密度检测方法
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
CN109215059A (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
CN105335758A (zh) 一种基于视频费舍尔向量描述符的车型识别方法
CN113076808A (zh) 一种通过图像算法精准获取双向人流量的方法
CN103996207A (zh) 一种物体跟踪方法
Song et al. An accurate vehicle counting approach based on block background modeling and updating

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination