CN112444311A - 一种桥梁车辆时空荷载监控方法 - Google Patents

一种桥梁车辆时空荷载监控方法 Download PDF

Info

Publication number
CN112444311A
CN112444311A CN202011315926.1A CN202011315926A CN112444311A CN 112444311 A CN112444311 A CN 112444311A CN 202011315926 A CN202011315926 A CN 202011315926A CN 112444311 A CN112444311 A CN 112444311A
Authority
CN
China
Prior art keywords
vehicle
frame
bridge
detection
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011315926.1A
Other languages
English (en)
Other versions
CN112444311B (zh
Inventor
潘玥
陈艾荣
王达磊
董一庆
马云龙
顾振雄
吉煜鹏
庄骁磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011315926.1A priority Critical patent/CN112444311B/zh
Publication of CN112444311A publication Critical patent/CN112444311A/zh
Application granted granted Critical
Publication of CN112444311B publication Critical patent/CN112444311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/02—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing wheeled or rolling bodies, e.g. vehicles
    • G01G19/03—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing wheeled or rolling bodies, e.g. vehicles for weighing during motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G23/00—Auxiliary devices for weighing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种桥梁车辆时空荷载监控方法，包括：在桥梁上安装动态称重系统和视觉系统，并同步两者的时间戳；根据视觉系统构建桥面车辆全景图；采用车辆检测模型，实时识别视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；通过预设的改进卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将该预测框与对应车辆的检测框匹配，获取或更新车辆轨迹信息；根据动态称重系统获取车辆荷载信息，将该车辆荷载信息与车辆轨迹信息进行同时刻同车道匹配，实现车辆时空荷载的监控。与现有技术相比，本发明同时考虑了车辆的荷载以及空间位置变化，信息完整且精度高。

Description

一种桥梁车辆时空荷载监控方法
技术领域
本发明涉及桥梁监控领域，尤其是涉及一种桥梁车辆时空荷载监控方法。
背景技术
桥梁车辆荷载获取技术是桥梁维护领域的重要问题之一，车辆荷载的准确获取对于桥梁的运营管理、性能评价至关重要。
目前常用的桥梁车辆荷载数据采集方法有：基于规范的车辆荷载给定、现场人工调查、动态称重系统、桥梁称重技术等。然而，由于车辆荷载为动态荷载，而目前的这些方法仅能做到单点、单断面采样，无法获取车辆在桥面行驶过程中的空间位置变化，导致车辆动态荷载获取不完整。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种同时考虑车辆的荷载以及空间位置变化的桥梁车辆时空荷载监控方法。
本发明的目的可以通过以下技术方案来实现：
一种桥梁车辆时空荷载监控方法，包括以下步骤：
在桥梁上安装动态称重系统和视觉系统，并同步两者的时间戳，所述动态称重系统用于检测车辆荷载，所述视觉系统用于检测桥梁中的车辆；
根据所述视觉系统构建桥面车辆全景图；
采用预先构建和训练好的车辆检测模型，实时识别所述视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；
通过预设的改进卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将该预测框与对应车辆的检测框匹配，获取或更新车辆轨迹信息；
根据所述动态称重系统获取车辆荷载信息，将该车辆荷载信息与所述车辆轨迹信息进行同时刻同车道匹配，实现车辆时空荷载的监控。
进一步地，所述改进卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，所述改进卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有所述跟踪器构成跟踪器组群，所述改进卡尔曼滤波模型初始化后将预设的丢失帧数置零；
所述改进卡尔曼滤波模型的数据处理过程包括以下步骤：
S1：通过所述改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；
S2：计算第n帧桥面车辆全景图中所述检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤S3，否则将该预测框与检测框标记为未匹配检测，并执行步骤S5；
S3：采用所述跟踪器校验模块校验所述初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤S6：
S5：判断所述检测框是否位于所述桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进所述跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；
S6：判断所述预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断所述丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。
进一步地，所述改进的状态预测模块的数据处理过程包括以下步骤：
邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；
长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；
预测框获取步骤：根据所述平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将所述预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。
进一步地，所述改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：
碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为Eov，则根据该重叠长度，将两预测框向远离方向分别位移；
扩大搜索：若所述丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。
进一步地，所述跟踪器校验模块的数据处理过程包括以下步骤：
形状校验步骤：记检测框的长和宽分别为Ldet、Wdet，预测框的长和宽分别为Lpred、Wpred，则须满足：
0.75×Lpred≤Ldet≤1.25×Lpred
0.75×Wpred≤Wdet≤1.25×Wpred。
进一步地，所述跟踪器校验模块的数据处理过程还包括：
速度校验步骤：跟踪器的邻速为Vavg，记当前匹配到的检测框形心位置为Xdet、时刻帧为Fdet，记跟踪器的上一次检测更新位置的Xlast、Flast，则须满足：
-5<(Xdet-Xlast)/(Fdet-Flast)<150。
进一步地，所述重叠阈值为60％。
进一步地，所述视觉系统包括多个摄像机，所述桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域，
相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。
进一步地，所述桥面车辆全景图的获取包括以下步骤：根据所述每个桥塔横梁上方的多个摄像机的摄像机观测区域，建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图。
进一步地，所述车辆时空荷载的获取包括：
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将称重系统获取的车辆信息进行重新排序；
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将视觉系统获取的车辆信息进行重新排序；所述经过动态称重系统的时间、经过动态称重系统时的车道由所述动态称重系统获取；
将两系统获取的车辆信息进行逐条比对和匹配，其中仅在所述动态称重系统和视觉系统的其中一个出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息和时空分布信息，形成车辆时空荷载。
与现有技术相比，本发明具有以下优点：
(1)本发明通过在桥梁上分别安装动态称重系统和视觉系统，同步两系统的时间戳进行系统校核，然后根据视觉系统建立桥面坐标系，获取桥面车辆全景图；接着训练深度学习车辆检测模型，识别车辆类型和位置；进而通过改进卡尔曼滤波模型，通过检测框与预测框的对比，获取车辆轨迹信息，得到车辆的时空分布信息，匹配精度高，且能实现追踪捕捉；最后融合动态称重系统获取的车辆荷载信息和视觉系统获取的时空分布信息，汇总得到车辆时空荷载，实现了对桥梁上车辆动态荷载的全面监控。
(2)本发明方法精度高，通过最先进的目标检测神经网络框架，实现高精度的车辆类型识别和位置检测，根据场景优化改进的卡尔曼滤波模型，实现高精度的车辆跟踪。
(3)本发明方法具有信息完整性，通过系统组的数据融合，可以实现车辆荷载和空间位置的信息获取。
附图说明
图1为本发明的方法流程示意图；
图2为本发明中的视觉系统安装和视域示意图；
图3为本发明中的车辆检测和跟踪流程示意图；
图4为本发明中的改进的状态预测模块示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例提供一种桥梁车辆时空荷载监控方法，包括以下步骤：
在桥梁上安装动态称重系统和视觉系统，并同步两者的时间戳，动态称重系统用于检测车辆荷载，视觉系统用于检测桥梁中的车辆；
根据视觉系统构建桥面车辆全景图；
采用预先构建和训练好的车辆检测模型，实时识别视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；
通过预设的改进卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将第n帧桥面车辆全景图中的检测框与对应车辆的预测框匹配，获取或更新车辆轨迹信息；
根据动态称重系统获取车辆荷载信息，将该车辆荷载信息与车辆轨迹信息进行同时刻同车道匹配，实现车辆时空荷载的监控。
改进卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，改进卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有跟踪器构成跟踪器组群，改进卡尔曼滤波模型初始化后将预设的丢失帧数置零；
改进卡尔曼滤波模型的数据处理过程包括以下步骤：
S1：通过改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；
S2：计算第n帧桥面车辆全景图中检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤S3，否则将该预测框与检测框标记为未匹配检测，并执行步骤S5；
S3：采用跟踪器校验模块校验初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤S6：
S5：判断检测框是否位于桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；
S6：判断预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。
作为一种优选的实施方式，改进的状态预测模块的数据处理过程包括以下步骤：
邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；
长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；
预测框获取步骤：根据平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。
进一步地，作为一种优选的实施方式，改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：
碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为Eov，则根据该重叠长度，将两预测框向远离方向分别位移；
扩大搜索：若丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。
作为一种优选的实施方式，跟踪器校验模块的数据处理过程包括以下步骤：
形状校验步骤：记检测框的长和宽分别为Ldet、Wdet，预测框的长和宽分别为Lpred、Wpred，则须满足：
0.75×Lpred≤Ldet≤1.25×Lpred
0.75×Wpred≤Wdet≤1.25×Wpred。
进一步地，作为一种优选的实施方式，跟踪器校验模块的数据处理过程还包括：
速度校验步骤：跟踪器的邻速为Vavg，记当前匹配到的检测框形心位置为Xdet、时刻帧为Fdet，记跟踪器的上一次检测更新位置的Xlast、Flast，则须满足：
-5<(Xdet-Xlast)/(Fdet-Flast)<150。
作为一种优选的实施方式，重叠阈值为60％。
作为一种优选的实施方式，视觉系统包括多个摄像机，桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域，
相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。
作为一种优选的实施方式，桥面车辆全景图的获取包括以下步骤：根据每个桥塔横梁上方的多个摄像机的摄像机观测区域，建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图。
作为一种优选的实施方式，车辆时空荷载的获取包括：
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将称重系统获取的车辆信息进行重新排序；
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将视觉系统获取的车辆信息进行重新排序；经过动态称重系统的时间、经过动态称重系统时的车道由动态称重系统获取；
将两系统获取的车辆信息进行逐条比对和匹配，其中仅在动态称重系统和视觉系统的其中一个出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息和时空分布信息，形成车辆时空荷载。
将上述优选的实施方式进行组合，可以得到一种最优的实施方式，下面对该最优的实施方式的具体实施过程进行详细描述。
如图1所示，一种桥梁车辆时空荷载监控方法，包括以下步骤：
步骤1：安装动态称重系统和多视场摄像系统，进行时间戳同步；
步骤2：建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图；
步骤3：人工标记车辆数据集，训练深度学习车辆检测模型，识别当前时间帧的车辆类型和位置；
步骤4：通过改进卡尔曼滤波模型，预测和匹配不同帧的同一车辆，获取车辆轨迹信息；
步骤5：匹配同时刻、经过同车道的车辆荷载信息和时空分布信息，从而汇总得到车辆时空荷载。
如图2所示，所述的步骤1包括以下分步骤：
步骤1-1：在桥梁铺装层下方，安装线圈式桥梁动态称重系统，包括称重传感器、轮轴识别传感器、工控机等；
步骤1-2：在两个桥塔横梁上方，分别安装3台高清摄像机，形成多视场摄影系统，保证相邻的摄像机观测区域具有影像重叠，保证跨中观测区域具有影像重叠；
步骤1-3：根据系统时钟差异，进行双系统时间戳同步，使系统时间校验一致。
所述的步骤2包括以下分步骤：
步骤2-1：从视频流中，获取6台高清摄像机的同一时间帧的图像；
步骤2-2：根据桥梁设计施工图纸，建立桥面坐标系，以纵桥向为X轴，横桥向为Y轴；
步骤2-3：以已知坐标点的车道线边缘为透视标记点，对各个图像进行透视投影矫正；
步骤2-4：通过匹配图像在桥面坐标系中的位置，对同一时间帧的图像进行拼接，得到带坐标的桥面全景图像。
所述的步骤3包括以下分步骤：
步骤3-1：随机选取2000张车辆分布全景图，人工框选车辆的位置(左上角点和右下角点)，标注车辆类型，分为小汽车、卡车、巴士和面包车4类；
步骤3-2：通过DarkNet深度学习框架，使用YOLO-V4目标检测框架，训练得到用于车辆检测的模型；
步骤3-3：使用车辆检测模型，对于所有时间帧的桥面车辆全景图，进行车辆检测，获得各帧各车辆的检测框，包括位置和类型信息。
如图3和4所示，所述的步骤4包括以下分步骤：
步骤4-1：改进卡尔曼滤波模型主要包括两部分，一是改进的状态预测模块，包括速度平均、长度拉伸、碰撞分离和扩大搜索；二是跟踪器校验模块，包括形状校验、特征校验和速度校验；
步骤4-2：定义相机拍摄的近塔视域为“开始域”；
步骤4-3：对第n帧的桥面车辆全景图，通过车辆检测模型获得当前帧的检测框；
步骤4-4：对于第n-1帧的每个跟踪器，分别得到它们各自第n帧的预测框，方法如下：
1)邻速平均：通过最近21次实际检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到20次速度，进行算术平均，得到平均速度Vavg；
2)长度拉伸：根据车辆距离最近桥塔的距离，乘拉伸系数Cs，得到长度拉伸后的预测长度Cs×Linit。
预测位置的形心为当前位置的形心向前Vavg，长度为Cs×Linit，宽度为W。
步骤4-5：对于第n-1帧的每个跟踪器，得到各自第n帧的预测框后，按条件进行微调：
1)碰撞分离：若相邻的两预测框在车长方向有重叠，重叠长度为Eov，则两预测框向远离方向分别位移Eov/2；
2)扩大搜索：定义跟踪器的丢失帧数Nmiss为距离上次更新的帧数，若Nmiss大于25，小于500，则将该跟踪器的预测长度扩大为1.5×Cs×Linit，宽度扩大为1.5×W。
得到当前帧的预测框。
步骤4-6：计算当前帧的检测框与当前帧的预测框的重叠度，以T1(＝60％)为阈值，不足阈值的未配对框标记为“未匹配”，包括“未匹配检测”和“未匹配跟踪器”。
步骤4-7：计算当前帧的检测框与当前帧的预测框的重叠度，以T1(＝60％)为阈值，配对的两个框，作为“初步匹配的检测-跟踪对”。若有一对多的情况出现，则以最大重叠度的配对为准。
步骤4-8：通过改进卡尔曼滤波模型的跟踪器校验模块，校验“初步匹配的检测-跟踪对”，包括两点：
1)形状校验：记检测框的长和宽分别为Ldet、Wdet，预测框的长和宽分别为Lpred、Wpred，则须满足：
0.75×Lpred≤Ldet≤1.25×Lpred
0.75×Wpred≤Wdet≤1.25×Wpred
2)速度校验：跟踪器的邻速为Vavg，记当前匹配到的检测框形心和时刻帧为Xdet、Fdet，记跟踪器的上一次检测更新位置为Xlast、Flast，则须满足：
-5<(Xdet-Xlast)/(Fdet-Flast)<150
其中，不等式下限表示速度不能反向，数值-5(单位：km/h)为考虑识别误差；不等式上限表示速度不能过大，如不能超过150(单位：km/h)。
步骤4-9：经过校验，满足要求的“初步匹配的检测-跟踪对”，使用当前的检测框更新对应跟踪器的卡尔曼滤波，成为“匹配跟踪器”，将Nmiss置于0，更新当前的跟踪器组群；不满足要求的“初步匹配的检测-跟踪对”，成为“未匹配”，包括“未匹配检测”和“未匹配跟踪器”。
步骤4-10：对于“未匹配检测”，若其位于“开始域”内，则以此为首帧，生成新的跟踪器，添加进当前的跟踪器组群；若不位于“开始域”内，删除该检测结果。
步骤4-11：对于“未匹配跟踪器”，若预测框超出坐标边界，则该跟踪器成为“完成跟踪器”，从当前的跟踪器组群中删除，且保存为该车辆的时空轨迹数据。
步骤4-12：对于“未匹配跟踪器”，若预测框未超出坐标边界，且丢失帧数Nmiss大于500，则该跟踪器成为“完成跟踪器”，从当前的跟踪器组群中删除，且保存为该车辆的时空轨迹数据，其部分示意如表1所示。
表1车辆的时空轨迹数据表格(示例)
Figure BDA0002791403950000101
步骤4-13：对于“未匹配跟踪器”，若预测框未超出坐标边界，且丢失帧数Nmiss不大于500，则该跟踪器成为“丢帧跟踪器”，其丢失帧数Nmiss自身加一，进而更新当前的跟踪器组群。
所述的步骤5包括以下分步骤：
步骤5-1：以“经过动态称重系统的时间”、“经过动态称重系统时的车道”为索引，将称重系统获取的车辆信息进行重新排序；
步骤5-2：以“经过动态称重系统的时间”、“经过动态称重系统时的车道”为索引，将视觉系统获取的车辆信息进行重新排序；
步骤5-3：将两系统获取的车辆信息进行逐条比对和匹配，其中仅在一个系统中出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息(轴重、总重、轴型、轴数等)和时空分布信息(时间、轨迹、车速、类型等)，形成车辆时空荷载。
本实施例还提供一种桥梁维护方法，包括采用如上所述的一种桥梁车辆时空荷载监控方法监控桥梁的时空荷载，从而进行桥梁维护。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种桥梁车辆时空荷载监控方法，其特征在于，包括以下步骤：
在桥梁上安装动态称重系统和视觉系统，并同步两者的时间戳，所述动态称重系统用于检测车辆荷载，所述视觉系统用于检测桥梁中的车辆；
根据所述视觉系统构建桥面车辆全景图；
采用预先构建和训练好的车辆检测模型，实时识别所述视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；
通过预设的改进卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将该预测框与对应车辆的检测框匹配，获取或更新车辆轨迹信息；
根据所述动态称重系统获取车辆荷载信息，将该车辆荷载信息与所述车辆轨迹信息进行同时刻同车道匹配，实现车辆时空荷载的监控。
2.根据权利要求1所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述改进卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，所述改进卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有所述跟踪器构成跟踪器组群，所述改进卡尔曼滤波模型初始化后将预设的丢失帧数置零；
所述改进卡尔曼滤波模型的数据处理过程包括以下步骤：
S1：通过所述改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；
S2：计算第n帧桥面车辆全景图中所述检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤S3，否则将该预测框与检测框标记为未匹配检测，并执行步骤S5；
S3：采用所述跟踪器校验模块校验所述初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤S6：
S5：判断所述检测框是否位于所述桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进所述跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；
S6：判断所述预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断所述丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。
3.根据权利要求2所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述改进的状态预测模块的数据处理过程包括以下步骤：
邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；
长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；
预测框获取步骤：根据所述平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将所述预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。
4.根据权利要求3所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：
碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为Eov，则根据该重叠长度，将两预测框向远离方向分别位移；
扩大搜索：若所述丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。
5.根据权利要求2所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述跟踪器校验模块的数据处理过程包括以下步骤：
形状校验步骤：记检测框的长和宽分别为Ldet、Wdet，预测框的长和宽分别为Lpred、Wpred，则须满足：
0.75×Lpred≤Ldet≤1.25×Lpred
0.75×Wpred≤Wdet≤1.25×Wpred。
6.根据权利要求5所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述跟踪器校验模块的数据处理过程还包括：
速度校验步骤：跟踪器的邻速为Vavg，记当前匹配到的检测框形心位置为Xdet、时刻帧为Fdet，记跟踪器的上一次检测更新位置的Xlast、Flast，则须满足：
-5<(Xdet-Xlast)/(Fdet-Flast)<150。
7.根据权利要求2所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述重叠阈值为60％。
8.根据权利要求1所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述视觉系统包括多个摄像机，所述桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域，
相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。
9.根据权利要求8所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述桥面车辆全景图的获取包括以下步骤：根据所述每个桥塔横梁上方的多个摄像机的摄像机观测区域，建立桥面坐标系，通过透视投影和图像拼接，获取桥面车辆全景图。
10.根据权利要求1所述的一种桥梁车辆时空荷载监控方法，其特征在于，所述车辆时空荷载的获取包括：
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将称重系统获取的车辆信息进行重新排序；
以经过动态称重系统的时间、经过动态称重系统时的车道为索引，将视觉系统获取的车辆信息进行重新排序；所述经过动态称重系统的时间、经过动态称重系统时的车道由所述动态称重系统获取；
将两系统获取的车辆信息进行逐条比对和匹配，其中仅在所述动态称重系统和视觉系统的其中一个出现的车辆视为错检车辆，进行删除，保留匹配车辆的信息，包括荷载信息和时空分布信息，形成车辆时空荷载。
CN202011315926.1A 2020-11-22 2020-11-22 一种桥梁车辆时空荷载监控方法 Active CN112444311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011315926.1A CN112444311B (zh) 2020-11-22 2020-11-22 一种桥梁车辆时空荷载监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011315926.1A CN112444311B (zh) 2020-11-22 2020-11-22 一种桥梁车辆时空荷载监控方法

Publications (2)

Publication Number Publication Date
CN112444311A true CN112444311A (zh) 2021-03-05
CN112444311B CN112444311B (zh) 2021-11-09

Family

ID=74738186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011315926.1A Active CN112444311B (zh) 2020-11-22 2020-11-22 一种桥梁车辆时空荷载监控方法

Country Status (1)

Country Link
CN (1) CN112444311B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392695A (zh) * 2021-04-02 2021-09-14 太原理工大学 一种公路货车及其轮轴识别方法
CN113610442A (zh) * 2021-08-25 2021-11-05 浙江大华技术股份有限公司 车辆上桥管理方法和装置
CN113837007A (zh) * 2021-08-23 2021-12-24 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法
CN114898585A (zh) * 2022-04-20 2022-08-12 清华大学 基于路口多视角的车辆轨迹预测规划方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593678A (zh) * 2013-10-16 2014-02-19 长安大学 一种大跨度桥梁车辆动态荷载分布检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN109118776A (zh) * 2018-10-10 2019-01-01 中交基础设施养护集团有限公司 一种基于桥梁监测数据识别车辆荷载空间分布的方法
CN109167956A (zh) * 2018-05-21 2019-01-08 同济大学 基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统
CN111709332A (zh) * 2020-06-04 2020-09-25 浙江大学 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN111964763A (zh) * 2020-08-17 2020-11-20 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车断续行驶行为检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593678A (zh) * 2013-10-16 2014-02-19 长安大学 一种大跨度桥梁车辆动态荷载分布检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN109167956A (zh) * 2018-05-21 2019-01-08 同济大学 基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN109118776A (zh) * 2018-10-10 2019-01-01 中交基础设施养护集团有限公司 一种基于桥梁监测数据识别车辆荷载空间分布的方法
CN111709332A (zh) * 2020-06-04 2020-09-25 浙江大学 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN111964763A (zh) * 2020-08-17 2020-11-20 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车断续行驶行为检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392695A (zh) * 2021-04-02 2021-09-14 太原理工大学 一种公路货车及其轮轴识别方法
CN113392695B (zh) * 2021-04-02 2023-04-25 太原理工大学 一种公路货车及其轮轴识别方法
CN113837007A (zh) * 2021-08-23 2021-12-24 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法
CN113837007B (zh) * 2021-08-23 2022-04-12 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法
CN113610442A (zh) * 2021-08-25 2021-11-05 浙江大华技术股份有限公司 车辆上桥管理方法和装置
CN113610442B (zh) * 2021-08-25 2024-04-26 浙江大华技术股份有限公司 车辆上桥管理方法和装置
CN114898585A (zh) * 2022-04-20 2022-08-12 清华大学 基于路口多视角的车辆轨迹预测规划方法及系统

Also Published As

Publication number Publication date
CN112444311B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN112444311B (zh) 一种桥梁车辆时空荷载监控方法
TWI393074B (zh) 移動物體偵測裝置與方法
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
JP6904614B2 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
CN105930768A (zh) 一种基于时空约束的目标重识别方法
JPH09322155A (ja) 映像監視方法及び装置
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111292432A (zh) 基于车型识别和轮轴检测的车辆收费类型判别方法与装置
CN113011283B (zh) 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法
CN114758322B (zh) 基于机器识别的道路质量检测系统
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN113221839A (zh) 一种货车图像自动识别方法及识别系统
CN116128360A (zh) 道路交通拥堵等级评估方法、装置、电子设备及存储介质
CN109410598B (zh) 一种基于计算机视觉的交通路口拥堵检测方法
Nejadasl et al. Optical flow based vehicle tracking strengthened by statistical decisions
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
JP6998710B2 (ja) 点検作業支援装置、距離標情報管理方法、及びプログラム
CN115457215A (zh) 一种应用于自动驾驶的相机传感器建模方法
CN115330726A (zh) 一种钢筋保护层质量及墙体质量快速评定系统
CN112461345A (zh) 一种基于lsd直线检测算法的汽车衡轧线出界检测方法
JP6971731B2 (ja) 点検作業支援装置、隙間計測方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant