CN114155495B - 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 - Google Patents
跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114155495B CN114155495B CN202210123175.6A CN202210123175A CN114155495B CN 114155495 B CN114155495 B CN 114155495B CN 202210123175 A CN202210123175 A CN 202210123175A CN 114155495 B CN114155495 B CN 114155495B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- network
- trained
- data
- sea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 9
- 241001513371 Knautia arvensis Species 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 101100425816 Dictyostelium discoideum top2mt gene Proteins 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 101150082896 topA gene Proteins 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 206010039203 Road traffic accident Diseases 0.000 description 10
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了跨海桥梁中车辆运行的安全监控方法、装置、设备及介质，涉及数据处理领域。该方法包括：将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息；预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。本申请提高了海域环境下跨海桥梁的车辆监控的准确性。
Description
技术领域
本申请涉及数据处理领域，尤其涉及跨海桥梁中车辆运行的安全监控方法、装置、设备及介质。
背景技术
近年来，我国的交通流量呈上升趋势，进而也导致了交通事故的频发。此外，东部沿海地区石化产业发展迅速，使得跨海大桥上的危化品车辆运输量日益增加，进一步提高了对行车风险评估与监控预警的要求。海域环境交通由于受强风、暴雨、浓雾等极端天气的影响，车辆行驶风险显著提升，又因跨海桥梁一般为国家陆海交通要道，所以对海域环境下跨海大桥的交通事故风险进行评估和监控预警极为重要。现有的车辆行驶监控方法主要有根据事故数据库，利用决策树方法、层次分析法、专家经验分析评定等方法，以及仿真软件模拟法分析事故的致灾机理，再通过构建随机森林模型、反向传播（Back Propagation，BP）神经网络模型、贝叶斯模型等模型，结合雷达、全球定位系统（Global PositioningSystem，GPS）、车载传感器或者路侧传感器传入的信息，对事故进行预警。
现有的车辆行驶监控方法存在监测不够全面、精度较低、数据可靠性不足等问题。
发明内容
本申请提供跨海桥梁中车辆运行的安全监控方法、装置、设备及介质，以提高海域环境下跨海桥梁的车辆监控的准确性。
第一方面，本申请提供了一种跨海桥梁中车辆运行的安全监控方法，包括：
将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据所述预先训练的车辆位置识别网络输出的所述车辆的位置数据确定所述车辆的运动状态数据；
将所述车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据所述预先训练的车辆行驶监控网络输出的危险系数确定是否对所述车辆发送监控信息；
其中，所述预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；所述预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
第二方面，本申请还提供了一种跨海桥梁中车辆运行的安全监控装置，包括：
运动状态数据确定模块，用于将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据所述预先训练的车辆位置识别网络输出的所述车辆的位置数据确定所述车辆的运动状态数据；
监控信息发送模块，用于将所述车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据所述预先训练的车辆行驶监控网络输出的危险系数确定是否对所述车辆发送监控信息；
其中，所述预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；所述预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
第三方面，本申请还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请所述的跨海桥梁中车辆运行的安全监控方法。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所述的跨海桥梁中车辆运行的安全监控方法。
本申请提供的跨海桥梁中车辆运行的安全监控方法、装置、设备及介质，将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否车辆发送监控信息；其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。本申请提供的方案通过网络结构重构获得轻量级的可搭载于视觉传感器的车辆位置识别网络，可在精度损失不大的条件下，减小车辆位置识别网络的大小，减小车辆位置识别网络的计算量，使车辆位置识别网络更适配于跨海桥梁的视觉传感器。其次，本申请中的车辆行驶监控网络基于模糊解释结构模型训练得到，该模糊解释结构模型考虑了影响跨海桥梁上事故的关键影响因素以及多因素耦合致灾的机理，提高了海域环境下跨海桥梁的车辆监控的准确性。
附图说明
图1为本申请实施例提供的一种跨海桥梁中车辆运行的安全监控方法的流程示意图；
图2为本申请实施例提供的另一种跨海桥梁中车辆运行的安全监控方法的流程示意图；
图3为本申请实施例提供的一种模糊解释结构模型的结构示意图；
图4为本申请实施例提供的一种跨海桥梁中车辆运行的安全监控装置的结构框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
近年来，我国的交通流量呈上升趋势，进而也导致了交通事故的频发。此外，东部沿海地区石化产业发展迅速，使得跨海大桥上的危化品车辆运输量日益增加，进一步提高了对行车风险评估与监控预警的要求。海域环境交通由于受强风、暴雨、浓雾等极端天气的影响，车辆行驶风险显著提升，又因跨海桥梁一般为国家陆海交通要道，所以对海域环境下跨海大桥的交通事故风险进行评估和监控预警极为重要。现有的车辆行驶监控方法主要有根据事故数据库，利用决策树方法、层次分析法、专家经验分析评定等方法，以及仿真软件模拟法分析事故的致灾机理，再通过构建随机森林模型、BP神经网络模型、贝叶斯模型等模型，结合雷达、GPS、车载传感器或者路侧传感器传入的信息，对事故进行预警。
现有技术中的基于天气情况，道路情况，驾驶员反应时间以及车辆行驶状况构建的监控方法。该方法首先通过事故仿真模拟的方法分析各个因素导致事故发生的概率以及相关关系，并构建贝叶斯监控网络，然后再通过模拟软件构建事故样本数据库进行训练，利用得到的监控模型对车辆行驶危险状况进行预警。但是海域条件下，天气状况复杂、极端，通过事故模拟的方法形成的数据库不能真实反应天气因素对事故发生的影响程度。
现有技术中，通过在特定道路采集交通流数据构建数据库，根据深度信念网络（Deep Belief Network，DBN）模型结构分析事故致灾原因，并利用事故数据进行训练得到风险预估模型，然后根据交通流数据对事故进行预测。但是，将交通流作为车辆运动状态因素对事故进行评估，没有对车辆个体行驶过程中的横向加速度过大、侧滑等因素进行考虑，对事故的判断不全面。
现有技术中的基于车速、车距、车辆类型、车流量等因素构建的监控方法。该方法首先通过路侧传感器收集数据并构建特定路段的交通事故数据库，根据专家经验分析评定的方法构建贝叶斯模型的节点网络结构，再通过训练数据库得到事故监控模型，通过事故监控模型结合路侧传感器传来的实时数据进行预警。然而通过专家经验分析评定的方法确定贝叶斯网络的网络节点，难以着重考虑海域条件下天气状况的极端影响，更是忽略了天气状况因素与其它因素耦合导致的事故发生。
综上所述，现有技术中存在以下缺陷：
1、现有的车辆传感器、路侧传感器等基于雷达的车辆行驶状态识别传感器传输距离有限，且在大雾、雨雪环境下，穿透能力显著下降、容易受遮挡影响，所以其测得的数据不能对车辆的行驶进行全程地监测。
2、现有的基于GPS的车辆行驶状态识别传感器接收频率低、精度范围大于5米，且在大雾、雨雪条件下，信号的受影响较大，其精度远远不能达到实时监测及车辆碰撞预警的目的。
3、现有的监控方法主要通过广泛的交通事故分析或者专家评定法确定交通事故的关键影响因素，没有着重考虑海域环境下强风、暴雨、浓雾等特殊因素及其影响程度。
4、现有的监控方法未能考虑事故影响因素间的联系，尤其是在海域环境下，气象因素与道路因素以及车辆行驶状态因素的耦合极易导致事故的发生。
5、海域环境下，利用事故模拟的方法构建事故数据库，不能真实模拟海域环境特殊情况，更不能反映多种危险因素耦合导致的危险情况，数据可靠性不足。
为了克服上述现有技术中的缺陷，本申请提出一种跨海桥梁中车辆运行的安全监控方法。
图1为本申请实施例提供的一种跨海桥梁中车辆运行的安全监控方法的流程示意图。该方法可以由跨海桥梁中车辆运行的安全监控装置执行，其中，该装置可以由软件和/或硬件实现，可配置于电子设备中。本申请实施例提供的跨海桥梁中车辆运行的安全监控方法适用于在海域环境下对跨海桥梁上的车辆进行安全监控的场景。如图1所示，本实施例提供的跨海桥梁中车辆运行的安全监控方法可以包括：
S110、将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据。
其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络。
本实施例中，通过在跨海桥梁上搭载视觉传感器，可以实时获取跨海桥梁上的车辆的图像数据，典型的，该视觉传感器为双目视觉传感器，双目视觉传感器设置于跨海桥梁上沿车辆运动方向的两侧。
在获取实时图像数据后，将实时图像数据输入预先训练的车辆位置识别网络，该预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络。一般情况下，用于位置识别的网络占用的存储空间均大于200M，针对视觉传感器，例如智能摄像头，难以将该用于位置识别的网络搭载其中。本实施例中，对初始车辆位置识别网络（也就是一般情况下的用于位置识别的网络）的结构进行重构，精简网络内部的结构，获得轻量级的车辆位置识别网络，通过对轻量级的车辆位置识别网络进行训练可以得到用于实时图像数据处理的车辆位置识别网络。一实施例中，重构后的车辆位置识别网络占用的存储空间在20M到30M之间。
预先训练的车辆位置识别网络的输入为实时图像数据，输出为车辆在每帧图像数据中位置数据。根据该位置数据以及预设处理方式可以确定车辆在跨海桥梁上的运动状态数据。其中，预设处理方式可以是双目视觉算法、单目视觉算法、差分法、基于区域的卷积神经网络（Region-based Convolutional Neural Networks，RCNN）算法或使用单个深度神经网络检测图像中的目标（Single Shot MutiBox Detector，SSD）算法。该运动状态数据包括车辆的行驶速度、行驶加速度以及与相邻车辆间的距离等，本申请实施例对此不作限定。
S120、将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息。
其中，预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
本实施例中，海域环境数据包括海域环境下的路段风险情况以及海域环境下的天气情况。海域环境下的路段风险情况确定方式为：根据车辆的位置数据确定车辆所处的路段位置，进而根据路段位置确定路段风险情况是急上坡、急下坡、转弯处、道路交汇处等。海域环境下的天气情况可以根据设置于跨海桥梁上的多种监测传感器确定，该监测传感器包括雨量计、风速仪等。
将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，其中，预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络，该模糊解释结构模型是基于影响跨海桥梁上事故的关键影响因素以及模糊算法确定的模型。现有技术中，一般采用专家诊断的方式确定关键影响因素，该种方式难以着重考虑海域条件下天气状况的极端影响，更是忽略了天气状况因素与其它因素耦合导致的事故发生。本实施例中通过主成分分析方法确定关键影响因素，在得到海域环境下影响事故的关键影响因素的同时，考虑了多因素耦合致灾的机理。一实施例中，上述模糊解释结构模型还可以是其他解释结构模型，例如通过隐形马尔可夫法、决策分析法或交叉影响矩阵相乘模型等结合关键影响因素得到的解释结构模型。
预先训练的车辆行驶监控网络可以根据输入的车辆的运动状态数据以及海域环境数据输出危险系数，在该危险系数大于设定阈值时确定对车辆发送监控信息。
本实施例提供的跨海桥梁中车辆运行的安全监控方法中，将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息；其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。本申请实施例提供的方案通过网络结构重构获得轻量级的可搭载于视觉传感器的车辆位置识别网络，可在精度损失不大的条件下，减小车辆位置识别网络的大小，减小车辆位置识别网络的计算量，使车辆位置识别网络更适配于跨海桥梁的视觉传感器。其次，本申请实施例中的车辆行驶监控网络基于模糊解释结构模型训练得到，该模糊解释结构模型考虑了影响跨海桥梁上事故的关键影响因素以及多因素耦合致灾的机理，提高了海域环境下跨海桥梁的车辆监控的准确性。
图2为本申请实施例提供的另一种跨海桥梁中车辆运行的安全监控方法的流程示意图，本实施例中的方案可以与上述实施例中的一个或多个可选方案组合。如图2所示，本实施例提供的跨海桥梁中车辆运行的安全监控方法可以包括：
S210、确定预先训练的车辆位置识别网络。
本实施例中，在进行实时的图像数据处理，对车辆进行安全监控之前，需要先确定车辆位置识别网络以及车辆行驶监控网络。
预先训练的车辆位置识别网络通过以下方式训练得到：采集海域环境下的多帧图像数据，对每帧图像数据进行标注，建立车辆图像数据集；对初始车辆位置识别网络的结构进行重构，以使重构后的网络占用的存储空间较初始车辆位置识别网络占用的存储空间小；根据车辆图像数据集对重构后的网络进行训练，得到预先训练的车辆位置识别网络。
本实施例中，采集海域环境下的多帧图像数据，该多帧图像数据可以是涉及不同类型车辆的图像数据，对每帧图像数据进行人工标注，框选出每帧图像数据中车辆的位置，将标注后的每帧图像数据以及与该帧图像数据对应的记载有车辆位置数据的本文作为一组车辆图像数据样本，从而获得包含多组车辆图像数据样本的车辆图像数据集。
一实施例中，初始车辆位置识别网络为CSPdarknet53网络；对初始车辆位置识别网络的结构进行重构，包括：修改CSPdarknet53网络的通道间的传输方式，将原始传输方式中的跨通道的3*3卷积替换为单通道的3*3卷积以及跨通道的1*1卷积以构建MobileNetv2网络；通过PW_Conv模块以及BottleneckMOB模块，构建Pointwise Convolution结构；在CSPdarknet53网络的backbone部分设计Squeeze-and-Excitation结构。
Darknet为一种基于深度学习的卷积网络框架，最早由基于深度学习的快速目标识别（You Only Look Once，YOLO）算法团队开发，并在YOLO中用来对图片数据集进行特征提取，支持中央处理器（Central Processing Unit，CPU）与图形处理器（GraphicsProcessing Unit，GPU）两种计算方式。CSPdarknet53为在YOLOv4，即YOLO的第四个版本中提出的Darknet网络的升级版，具有53层卷积层进行特征提取，并引入了跨阶段部分（CrossStage Partial，CSP）结构，通过将原输入图片数据分成两个分支，分别进行卷积操作，实现减少计算量并且增强梯度的效果，便于网络的训练。MobileNetv2网络是主要应用在移动端的轻量级基于深度学习的网络，其特点为网络中主要通过深度可分离代替大部分普通卷积网络，极大程度减小了训练得到的模型大小，更适合搭载于移动端设备。PW_Conv模块的全称为Pointwise Convolution模块，是一种全新卷积运算方式构成的模块，其运算与常规卷积运算非常相似，唯一的不同是在n个常规卷积核卷积运算得到的n层特征图上再进行加权，得到n+1层特征图，从而在计算量增加不大的条件下，提高识别精度。BottleneckMOB模块是卷积网络中的一种经典的沙漏型结构框架，通过将特征图降维，再升维的手段，减少参数的数量以减少计算量。Pointwise Convolution结构由PW_Conv模块和Bottleneck-MOB模块组成，利用BottleneckMOB模块进行升维计算的过程中，利用PW_Conv模块进行计算，然后再进行降维得到全新的特征图，相较于传统的卷积计算结构，该方式通过减少参数的数量以减少计算量，并仍保持较高的精度。backbone为主干网络，指的是提取特征的网络，其作用为提取图片中的信息，供其后面的网络使用，backbone部分即为识别算法的特征提取网络部分。Squeeze-and-Excitation结构是一种应用于卷积网络特征信息传递通道的结构，该结构首先通过对特征图进行压缩，得到一维的特征向量，然后通过分析各个特征的重要性，对不同特征赋予不同权重，并重构得到全新的特征图，该结构的作用是在增加很小的计算量的前提下，极大地提升特征提取网络性能。本实施例中，首先，重构特征网络间图像信息的传输方式，将跨通道的3*3卷积换成单通道的3*3卷积以及跨通道的1*1卷积来构建MobileNetv2网络，达到使网路能搭载在智能摄像头上的目的；在bottleneck部分使用线性激活函数代替ReLU，减少图片信息损耗；在未替换部分，通过增加γ倍通道数以减少图片信息损耗，根据训练效果，γ可在5-10之间调整。然后，通过PW_Conv模块、BottleneckMOB模块，构建Pointwise Convolution结构，从深度方向加权组合上层网络传递下来的信息，生成新的图像信息，借此增加网络深度，提高网络的识别能力。最后，通过在网络的backbone部分设计了Squeeze-and-Excitation结构，提升训练时对通道特征识别的敏感性。通过上述步骤，可在精度损失不大的条件下，显著减小了车辆位置识别网络的大小，减小其计算量，大大提升车辆位置识别网络的识别效率。
本实施例中，通过Mosaic训练法根据车辆图像数据集对重构后的网络进行训练，得到Resized-YOLO车辆位置识别网络（预先训练的车辆位置识别网络），通过Mosaic训练法对网络进行训练可提高训练得到的Resized-YOLO车辆识别网络的环境鲁棒性。其中，Mosaic训练法是一种数据集处理方法，其思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据，丰富图片背景，其作用是提高训练的效率，并提升识别模型的识别能力。YOLO通过前期的训练，将图片组成的图片数据集放入基于深度学习的特征提取网络进行训练得到一个识别模型，利用识别模型对照片或者视频识别特定物体的编辑框坐标以及所属类别的概率。Resized-YOLO为通过结构化改进基于深度学习的特征提取网络得到的更高速，更符合道路实时检测的快速目标识别算法。
本实施例通过视觉传感器采集得到海域环境下多元化车辆图像数据集对初始车辆位置识别网络进行训练，得到预先训练的车辆位置识别网络，显著提升了识别算法的环境鲁棒性，使其在不同时段、不同环境下仍有稳定的识别能力，同时还保持了视觉传感器有效距离高达400米的优势。
S220、确定预先训练的车辆行驶监控网络。
预先训练的车辆行驶监控网络通过以下方式训练得到：构建海域环境下的车辆事故数据集，其中，车辆数据集中的每个样本数据包括多个影响因素，多个影响因素包括车辆运动状态、海域环境下的路段风险情况以及海域环境下的天气情况；根据主成分分析方法对车辆事故数据集进行分析，确定多个影响因素中的多个关键影响因素；根据多个关键影响因素建立模糊解释结构模型，并根据模糊解释结构模型得到初始车辆行驶监控网络；根据车辆事故数据集对初始车辆行驶监控警网络进行训练，得到预先训练的车辆行驶监控网络。其中，初始车辆行驶监控网络为初始的模糊贝叶斯车辆行驶监控网络。
根据主成分分析方法对车辆事故数据集进行分析，确定多个影响因素中的多个关键影响因素，包括：从车辆事故数据集中选取多个样本数据，组成样本数据矩阵X，其中，样本数据矩阵X为q行p列的矩阵，q为选取的多个样本数据的个数，p为每个样本数据中包括的影响因素的个数，样本数据矩阵X中的每个元素用于表征每个元素所在行的样本数据中与每个元素所在列对应的影响因素的指标得分；根据样本数据矩阵X构建标准化矩阵Z，并根据标准化矩阵Z计算相关系数矩阵R；计算相关系数矩阵R中与p个影响因素分别对应的p个特征值，并根据p个特征值计算p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，其中，m=1,2,…,p；根据计算得到的累积贡献率确定p个影响因素中的多个关键影响因素。
本实施例中，构建海域环境下的车辆事故数据集，其中，车辆数据集中的每个样本数据包括多个影响因素，多个影响因素包括车辆运动状态、海域环境下的路段风险情况以及海域环境下的天气情况等。
收集国内外海域环境交通事故的调查报告，从车辆运动状态、路段风险情况以及天气情况等方面对因素进行梳理得到海域环境交通事故因素的数据并建立原始数据库。一实施例中，多个影响因素包括：车辆超速、车速过低、车距过小、车辆加速度过大等车辆行驶因素、急上坡、急下坡、转弯处、道路交汇处等路段风险因素、大风天、大雾天、暴雨天、雪天等天气因素。
对原始数据进行属性分类过滤，即将原始数据库中不相关属性进行删除；然后对定性属性量化，用自适应分区间法将定性属性转化为几个值域区间对等的离散变量；最后对定量属性归一化处理，将各属性的取值范围放缩到一定大小的区间，利用定量化数据库中相关属性的数据减去各属性的均值，然后除以原取值范围作为样本数据的取值范围，得到车辆事故数据集。
本实施例中，根据主成分分析方法对车辆事故数据集进行分析，确定多个影响因素中的多个关键影响因素。
以海域环境下的车辆事故数据集为样本，对事故进行统计分析，关键影响因素包括天气情况，路段风险情况，车辆运动状态。将事故案例样本数据用矩阵形式表示：
其中，x ij 表示第i个事故案例样本数据中第j个影响因素的指标得分，
i = 1,2,…,q; j = 1,2,…,p。
表1 车辆运动状态影响因素表
如表1所示，本实施例中先根据50个事故案例样本数据，对车辆运动状态相关的6种因素提取主成分，构建样本数据矩阵X50×6，表1中的影响因素可以理解为是根据专家诊断的方式确定的影响因素，其中为考虑各影响因素之间的耦合性。如果事故发生过程某一环节涉及到车辆运动状态因素A j (j=1,2,…6)，则A j 得分增加1；令u j 为因素A j 的总得分，u s 为车辆运动状态风险因素的总得分（u s 等于样本数据矩阵X50×6中所有指标得分的和），则重要程度值I j 为：
重要程度对照表如表2所示。
表2 重要程度对照表
处理各指标原始数据并构建标准化矩阵Z：
其中，
表示第j列各指标原始数据的平均值，
表示第j列各指标原始数据
的标准差值。
计算相关系数矩阵R：
表3是与表1对应的相关系数矩阵的数据表。
表3 所求得相关系数矩阵数据表
求相关系数矩阵R的特征值(λ 1,λ 2,…,λ p )与特征向量a i = (a i1,a i2,…,a ip)，其中(i = 1,2…,p)；计算b m 表示第m个影响因素（主成分信息）的贡献率(m = 1,2…,p)：
计算a m 表示将各影响因素（主成分信息）按照特征值从大到小排序后前m个影响因素（主成分信息）的累积贡献率，其中，a m 为p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，λ i 为第i个影响因素对应的特征值，i=1,2,…,p，λ k 为第k个影响因素对应的特征值，k=1,2,…,m：
表4 车辆运动状态主成分分析-总方差解释表
表4是主成分分析的总方差解释结果，从表4中可知，原始的各个因素变量经过主成分分析后，前3个主成分的累计贡献率大于85%，其特征值分别为2.06、1.63、1.46，因此可提取这三个因素作为影响事故的关键影响因素，即车辆超速、分心驾驶、未保持安全车距。所提取的三个关键因素的累积方差贡献率为85.82%，说明这三个关键影响因素能概括速度影响因素85.82%的信息，能很好地表达速度因素的总体信息。
表5 旋转成分矩阵数据表
利用成分矩阵数据表对原始数据矩阵进行处理，可以得到降维后的旋转成分矩阵，并将其作为新的原始数据。
本实施例中，根据多个关键影响因素建立模糊解释结构模型，并根据模糊解释结构模型得到初始车辆行驶监控网络。
一实施例中，构建事故类型和事故影响因素指标的集合；根据上述步骤分析可以确定海域环境交通事故产生的关键因素指标集合，见下表6，其中F表示影响因素，S表示结果。
表6 关键因素指标表
通过对事故数据的分析，筛选出对事故发生有关联的因素，构建关联数据矩阵A F 。其中，若影响因素Fi与Fj有关联，则关联数据矩阵A F 中的元素a ij = c ij + 1 (c ij 为旋转成分矩阵C中的元素)；若无关联，则a ij =0；
利用隶属度函数对关联数据矩阵A F 计算得到模糊关联矩阵G F ，用布尔运算式将模糊关联矩阵G F 中元素抽象为0，1，计算得到模糊邻接矩阵H；
其中，
采用布尔代数运算法则求模糊可达矩阵D。
(H + E) n = C n + … + C 2 + C 1 ，n为波动系数，当n取一定值时，有：
D = (H + E) n+1 = (H + E) n ，其中，E为单位矩阵。
根据得到的模糊可达矩阵建立海域环境车辆行驶致灾模糊解释结构模型如图3所示。
在确定模糊解释结构模型后，在Python平台引入贝叶斯网络结构。将模糊解释结构模型当中的目标指标层、最终影响因素指标层、根源影响因素指标层分别对应作为贝叶斯网络模型中的目标节点、子节点、根节点，构建初始车辆行驶监控网络，该初始车辆行驶监控网络为海域环境模糊贝叶斯监控网络。
本实施例中，根据车辆事故数据集对初始车辆行驶监控网络进行训练，得到预先训练的车辆行驶监控网络。
在构建好的初始车辆行驶监控网络上，将车辆事故数据集中的数据按4比1分为正样本与负样本导入构建好的初始车辆行驶监控网络中进行训练，得到预先训练的车辆行驶监控网络。
需要说明的是，还可以通过随机森林网络构建初始车辆行驶监控网络，本申请对此不作限定。
S230、将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络。
其中，实时图像数据是通过双目视觉传感器获取的。
S240、根据双目视觉原理对预先训练的车辆位置识别网络输出的车辆的二维位置数据进行转换，得到车辆的三维位置数据。
本实施例中，根据双目视觉原理标定双目视觉传感器，并搭建基于海域环境的双目视觉车辆识别预警硬件系统。
由摄像机标定可得摄像机外参，即得到坐标转换矩阵M：
由双目视觉理论可得：
x=zx l /f l
y=zy l /f l
其中，(x l ,y l )，(x r ,y r )分别为标定过程中左摄像得到的图像坐标、右摄像头得到的图像坐标；f l ，f r 为左右相机焦距；r 1、r 2、r 3、r 4、r 5、r 6、r 7、r 8、r 9、t x 、t y 、t z 为坐标转换矩阵M中的参数。
利用车辆位置识别网络输出的车辆的二维位置数据以及坐标转换矩阵可以计算得到车辆的三维位置数据。
S250、根据最小二乘法对车辆的三维位置数据进行轨迹拟合，得到车辆的运动状态数据。
本实施例通过最小二乘法拟合轨迹并计算车辆运动状态数据，降低了计算车辆运动状态的识别误差。
其中，运动状态数据包括车辆的行驶速度、行驶加速度以及与相邻车辆间的距离。
S260、将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息。
本实施例中，跨海桥梁中车辆运行的安全监控方法还包括：在使用预先训练的车辆行驶监控网络对跨海桥梁的车辆进行监控的过程中，根据实时获得的样本数据更新车辆事故数据集；根据更新后的车辆事故数据集对预先训练的车辆行驶监控网络进行训练以更新预先训练的车辆行驶监控网络。后期通过事故数据集的不断迭代更新，不断优化车辆行驶监控网络。
本实施例提供的跨海桥梁中车辆运行的安全监控方法中构建车辆行驶监控网络时，通过收集得到海域环境下的车辆事故数据集，并采用了主成分分析方法对海域环境下的车辆事故数据集进行分析，在得到海域环境下影响事故的关键因素的同时，考虑了多因素耦合致灾的机理；通过得到的海域环境车辆行驶致灾模糊解释结构模型构建模糊贝叶斯车辆行驶监控网络，并用海域环境事故数据集对其进行对抗训练，克服了经验分析、非针对性事故数据训练导致的事故预测精度低、效率不高的问题。
图4为本申请实施例提供的一种跨海桥梁中车辆运行的安全监控装置的结构框图。该装置可以由软件和/或硬件实现，可配置于电子设备中，可通过跨海桥梁中车辆运行的安全监控方法实现在海域环境下对跨海桥梁上的车辆进行监控。如图4所示，本实施例提供的跨海桥梁中车辆运行的安全监控装置可以包括：运动状态数据确定模块401以及监控信息发送模块402，其中，
运动状态数据确定模块401，用于将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；
监控信息发送模块402，用于将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息；
其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
本实施例提供的跨海桥梁中车辆运行的安全监控装置中，将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息；其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。本申请实施例提供的方案通过网络结构重构获得轻量级的可搭载于视觉传感器的车辆位置识别网络，可在精度损失不大的条件下，减小车辆位置识别网络的大小，减小车辆位置识别网络的计算量，使车辆位置识别网络更适配于跨海桥梁的视觉传感器。其次，本申请实施例中的车辆行驶监控网络基于模糊解释结构模型训练得到，该模糊解释结构模型考虑了影响跨海桥梁上事故的关键影响因素以及多因素耦合致灾的机理，提高了海域环境下跨海桥梁的车辆监控的准确性。
在上述方案的基础上，跨海桥梁中车辆运行的安全监控装置还包括第一训练模块，用于：
采集海域环境下的多帧图像数据，对每帧图像数据进行标注，建立车辆图像数据集；
对初始车辆位置识别网络的结构进行重构，以使重构后的网络占用的存储空间较初始车辆位置识别网络占用的存储空间小；
根据车辆图像数据集对重构后的网络进行训练，得到预先训练的车辆位置识别网络。
在上述方案的基础上，初始车辆位置识别网络为CSPdarknet53网络；第一训练模块具体用于通过如下方式对初始车辆位置识别网络的结构进行重构：
修改CSPdarknet53网络的通道间的传输方式，将原始传输方式中的跨通道的3*3卷积替换为单通道的3*3卷积以及跨通道的1*1卷积以构建MobileNetv2网络；
通过PW_Conv模块以及BottleneckMOB模块，构建Pointwise Convolution结构；
在CSPdarknet53网络的backbone部分设计Squeeze-and-Excitation结构。
在上述方案的基础上，运动状态数据确定模块401具体用于通过如下方式根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据：
根据双目视觉原理对预先训练的车辆位置识别网络输出的车辆的二维位置数据进行转换，得到车辆的三维位置数据；
根据最小二乘法对车辆的三维位置数据进行轨迹拟合，得到车辆的运动状态数据；
其中，运动状态数据包括车辆的行驶速度、行驶加速度以及与相邻车辆间的距离。
在上述方案的基础上，跨海桥梁中车辆运行的安全监控装置还包括第二训练模块，用于：
构建海域环境下的车辆事故数据集，其中，车辆数据集中的每个样本数据包括多个影响因素，多个影响因素包括车辆运动状态、海域环境下的路段风险情况以及海域环境下的天气情况；
根据主成分分析方法对车辆事故数据集进行分析，确定多个影响因素中的多个关键影响因素；
根据多个关键影响因素建立模糊解释结构模型，并根据模糊解释结构模型得到初始车辆行驶监控网络；
根据车辆事故数据集对初始车辆行驶监控网络进行训练，得到预先训练的车辆行驶监控网络。
在上述方案的基础上，第二训练模块具体用于通过如下方式根据主成分分析方法对车辆事故数据集进行分析，确定多个影响因素中的多个关键影响因素：
从车辆事故数据集中选取多个样本数据，组成样本数据矩阵X，其中，样本数据矩阵X为q行p列的矩阵，q为选取的多个样本数据的个数，p为每个样本数据中包括的影响因素的个数，样本数据矩阵X中的每个元素用于表征每个元素所在行的样本数据中与每个元素所在列对应的影响因素的指标得分；
根据样本数据矩阵X构建标准化矩阵Z，并根据标准化矩阵Z计算相关系数矩阵R；
计算相关系数矩阵R中与p个影响因素分别对应的p个特征值，并根据p个特征值计算p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，其中，m=1,2,…,p；
根据计算得到的累积贡献率确定p个影响因素中的多个关键影响因素。
在上述方案的基础上，第二训练模块具体用于通过如下方式根据p个特征值计算p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率：
其中，α m 为p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，λ i 为第i个影响因素对应的特征值，i=1,2,…,p，λ k 为第k个影响因素对应的特征值，k=1,2,…,m。
在上述方案的基础上，初始车辆行驶监控网络为初始的模糊贝叶斯车辆行驶监控网络。
在上述方案的基础上，跨海桥梁中车辆运行的安全监控装置还包括更新模块，用于：
在使用预先训练的车辆行驶监控网络对跨海桥梁的车辆进行监控的过程中，根据实时获得的样本数据更新车辆事故数据集；
根据更新后的车辆事故数据集对预先训练的车辆行驶监控网络进行训练以更新预先训练的车辆行驶监控网络。
本申请实施例提供的跨海桥梁中车辆运行的安全监控装置可执行本申请任意实施例提供的跨海桥梁中车辆运行的安全监控方法，具备执行跨海桥梁中车辆运行的安全监控方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的跨海桥梁中车辆运行的安全监控方法。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备（例如终端设备）600的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如个人数字助理（PDA）、平板电脑（PAD）、便携式多媒体播放器（PMP）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置606加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本申请实施例的方法中限定的上述功能。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如超文本传输协议（HyperTextTransfer Protocol，HTTP）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据预先训练的车辆位置识别网络输出的车辆的位置数据确定车辆的运动状态数据；将车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控络，根据预先训练的车辆行驶监控网络输出的危险系数确定是否对车辆发送监控信息；其中，预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (11)
1.一种跨海桥梁中车辆运行的安全监控方法，其特征在于，包括：
将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据双目视觉原理对所述预先训练的车辆位置识别网络输出的所述车辆的二维位置数据进行转换，得到所述车辆的三维位置数据，根据最小二乘法对所述车辆的三维位置数据进行轨迹拟合，得到所述车辆的运动状态数据，其中，所述运动状态数据包括所述车辆的行驶速度、行驶加速度以及与相邻车辆间的距离；
将所述车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据所述预先训练的车辆行驶监控网络输出的危险系数确定是否对所述车辆发送监控信息；
其中，所述预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；所述预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
2.根据权利要求1所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述预先训练的车辆位置识别网络通过以下方式训练得到：
采集海域环境下的多帧图像数据，对每帧图像数据进行标注，建立车辆图像数据集；
对所述初始车辆位置识别网络的结构进行重构，以使重构后的网络占用的存储空间较所述初始车辆位置识别网络占用的存储空间小；
根据所述车辆图像数据集对所述重构后的网络进行训练，得到所述预先训练的车辆位置识别网络。
3.根据权利要求2所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述初始车辆位置识别网络为CSPdarknet53网络；
所述对所述初始车辆位置识别网络的结构进行重构，包括：
修改所述CSPdarknet53网络的通道间的传输方式，将原始传输方式中的跨通道的3*3卷积替换为单通道的3*3卷积以及跨通道的1*1卷积以构建MobileNetv2网络；
通过PW_Conv模块以及BottleneckMOB模块，构建Pointwise Convolution结构；
在所述CSPdarknet53网络的backbone部分设计Squeeze-and-Excitation结构。
4.根据权利要求1所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述预先训练的车辆行驶监控网络通过以下方式训练得到：
构建海域环境下的车辆事故数据集，其中，所述车辆数据集中的每个样本数据包括多个影响因素，所述多个影响因素包括车辆运动状态、海域环境下的路段风险情况以及海域环境下的天气情况；
根据主成分分析方法对所述车辆事故数据集进行分析，确定所述多个影响因素中的多个关键影响因素；
根据所述多个关键影响因素建立所述模糊解释结构模型，并根据所述模糊解释结构模型得到初始车辆行驶监控网络； 1
根据所述车辆事故数据集对所述初始车辆行驶监控网络进行训练，得到所述预先训练的车辆行驶监控网络。
5.根据权利要求4所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述根据主成分分析方法对所述车辆事故数据集进行分析，确定所述多个影响因素中的多个关键影响因素，包括：
从所述车辆事故数据集中选取多个样本数据，组成样本数据矩阵X，其中，所述样本数据矩阵X为q行p列的矩阵，q为选取的所述多个样本数据的个数，p为每个样本数据中包括的影响因素的个数，所述样本数据矩阵X中的每个元素用于表征所述每个元素所在行的样本数据中与所述每个元素所在列对应的影响因素的指标得分；
根据所述样本数据矩阵X构建标准化矩阵Z，并根据所述标准化矩阵Z计算相关系数矩阵R；
计算所述相关系数矩阵R中与p个影响因素分别对应的p个特征值，并根据所述p个特征值计算所述p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，其中，m=1,2,…,p；
根据计算得到的累积贡献率确定所述p个影响因素中的多个关键影响因素。
6.根据权利要求5所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述根据所述p个特征值计算所述p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，包括：
其中，α m 为所述p个影响因素按照特征值从大到小排序后前m个影响因素的累积贡献率，λ i 为第i个影响因素对应的特征值，i=1,2,…,p，λ k 为第k个影响因素对应的特征值，k=1,2,…,m。
7.根据权利要求4所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，所述初始车辆行驶监控网络为初始的模糊贝叶斯车辆行驶监控网络。
8.根据权利要求4所述的跨海桥梁中车辆运行的安全监控方法，其特征在于，还包括：
在使用所述预先训练的车辆行驶监控网络对跨海桥梁的车辆进行监控的过程中，根据实时获得的样本数据更新所述车辆事故数据集；
根据更新后的车辆事故数据集对所述预先训练的车辆行驶监控网络进行训练以更新所述预先训练的车辆行驶监控网络。
9.一种跨海桥梁中车辆运行的安全监控装置，其特征在于，包括：
运动状态数据确定模块，用于将跨海桥梁上车辆的实时图像数据输入预先训练的车辆位置识别网络，根据双目视觉原理对所述预先训练的车辆位置识别网络输出的所述车辆的二维位置数据进行转换，得到所述车辆的三维位置数据，根据最小二乘法对所述车辆的三维位置数据进行轨迹拟合，得到所述车辆的运动状态数据，其中，所述运动状态数据包括所述车辆的行驶速度、行驶加速度以及与相邻车辆间的距离；
监控信息发送模块，用于将所述车辆的运动状态数据以及海域环境数据输入预先训练的车辆行驶监控网络，根据所述预先训练的车辆行驶监控网络输出的危险系数确定是否对所述车辆发送监控信息；
其中，所述预先训练的车辆位置识别网络为对初始车辆位置识别网络的结构进行重构后训练得到的可搭载于视觉传感器上的网络；所述预先训练的车辆行驶监控网络为基于模糊解释结构模型训练得到的网络。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的跨海桥梁中车辆运行的安全监控方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的跨海桥梁中车辆运行的安全监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210123175.6A CN114155495B (zh) | 2022-02-10 | 2022-02-10 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210123175.6A CN114155495B (zh) | 2022-02-10 | 2022-02-10 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114155495A CN114155495A (zh) | 2022-03-08 |
| CN114155495B true CN114155495B (zh) | 2022-05-06 |
Family
ID=80450183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210123175.6A Active CN114155495B (zh) | 2022-02-10 | 2022-02-10 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155495B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116822899B (zh) * | 2023-07-13 | 2024-10-15 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种轨道交通沿线气象监测点综合布设优化方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314768A (zh) * | 2017-07-06 | 2017-11-03 | 上海海洋大学 | 水下地形匹配辅助惯性导航定位方法及其定位系统 |
| CN110633690A (zh) * | 2019-09-24 | 2019-12-31 | 北京邮电大学 | 基于桥梁监控的车辆特征识别方法及系统 |
| CN111561974A (zh) * | 2020-06-29 | 2020-08-21 | 浙江工业大学 | 一种桥梁冲刷多源监测系统及其监测方法、冲深评定方法 |
| CN111757329A (zh) * | 2020-06-23 | 2020-10-09 | 国汽(北京)智能网联汽车研究院有限公司 | 一种安全行车提示方法、装置及计算机设备 |
| CN112712098A (zh) * | 2019-10-25 | 2021-04-27 | 北京四维图新科技股份有限公司 | 图像数据处理方法及装置 |
| CN113256993A (zh) * | 2021-07-15 | 2021-08-13 | 杭州华鲤智能科技有限公司 | 一种模型训练、分析车辆行驶风险的方法 |
| CN113469158A (zh) * | 2021-09-06 | 2021-10-01 | 智广海联(天津)大数据技术有限公司 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
| CN113642708A (zh) * | 2021-08-13 | 2021-11-12 | 北京赛目科技有限公司 | 一种车辆环境等级识别模型的训练方法、识别方法及装置 |
| CN113819905A (zh) * | 2020-06-19 | 2021-12-21 | 北京图森未来科技有限公司 | 一种基于多传感器融合的里程计方法及装置 |
| CN113963350A (zh) * | 2021-11-08 | 2022-01-21 | 西安链科信息技术有限公司 | 车辆识别检测方法、系统、计算机设备、存储介质及终端 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11507064B2 (en) * | 2016-05-09 | 2022-11-22 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for industrial internet of things data collection in downstream oil and gas environment |
| US11012667B1 (en) * | 2018-02-21 | 2021-05-18 | Alarm.Com Incorporated | Vehicle monitoring |
| CN109243205B (zh) * | 2018-08-29 | 2020-09-04 | 上海海事大学 | 一种沿海水上交通安全风险监测与预警系统及方法 |
| CN111104538A (zh) * | 2019-12-06 | 2020-05-05 | 深圳久凌软件技术有限公司 | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 |
| CN113945206B (zh) * | 2020-07-16 | 2024-04-19 | 北京图森未来科技有限公司 | 一种基于多传感器融合的定位方法及装置 |
| CN113888754B (zh) * | 2021-08-20 | 2024-04-26 | 北京工业大学 | 一种基于雷达视觉融合的车辆多属性识别方法 |
-
2022
- 2022-02-10 CN CN202210123175.6A patent/CN114155495B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314768A (zh) * | 2017-07-06 | 2017-11-03 | 上海海洋大学 | 水下地形匹配辅助惯性导航定位方法及其定位系统 |
| CN110633690A (zh) * | 2019-09-24 | 2019-12-31 | 北京邮电大学 | 基于桥梁监控的车辆特征识别方法及系统 |
| CN112712098A (zh) * | 2019-10-25 | 2021-04-27 | 北京四维图新科技股份有限公司 | 图像数据处理方法及装置 |
| CN113819905A (zh) * | 2020-06-19 | 2021-12-21 | 北京图森未来科技有限公司 | 一种基于多传感器融合的里程计方法及装置 |
| CN111757329A (zh) * | 2020-06-23 | 2020-10-09 | 国汽(北京)智能网联汽车研究院有限公司 | 一种安全行车提示方法、装置及计算机设备 |
| CN111561974A (zh) * | 2020-06-29 | 2020-08-21 | 浙江工业大学 | 一种桥梁冲刷多源监测系统及其监测方法、冲深评定方法 |
| CN113256993A (zh) * | 2021-07-15 | 2021-08-13 | 杭州华鲤智能科技有限公司 | 一种模型训练、分析车辆行驶风险的方法 |
| CN113642708A (zh) * | 2021-08-13 | 2021-11-12 | 北京赛目科技有限公司 | 一种车辆环境等级识别模型的训练方法、识别方法及装置 |
| CN113469158A (zh) * | 2021-09-06 | 2021-10-01 | 智广海联(天津)大数据技术有限公司 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
| CN113963350A (zh) * | 2021-11-08 | 2022-01-21 | 西安链科信息技术有限公司 | 车辆识别检测方法、系统、计算机设备、存储介质及终端 |
Non-Patent Citations (8)
| Title |
|---|
| Bayesian operational modal analysis of a long-span cable-stayed sea-crossing bridge;Yanlong Xie 等;《Journal of Zhejiang University-SCIENCE A (Applied Physics & Engineering》;20200717;第21卷(第07期);509-513 * |
| Technical challenges in the construction of bridge-tunnel sea-crossing projects in China;Shenyou Song 等;《Journal of Zhejiang University-SCIENCE A (Applied Physics & Engineering)》;20200717;第21卷(第7期);509-513 * |
| 危险品公路运输安全保障关键技术研究进展;郭健 等;《交通信息与安全》;20201031;第38卷(第05期);129-136 * |
| 危险品公路运输安全保障技术的评估方法;郭健 等;《公路交通科技》;20171231;第34卷(第S2期);1-7 * |
| 基于列车数据分析的故障预警技术研究;张晓岚;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20210615;C033-332 * |
| 跨海大桥危险化学品运输事故应急保障能力评估;郭健 等;《消防科学与技术》;20200730;第39卷(第07期);1033-1036 * |
| 跨海桥梁船撞风险综合评估;郭健 等;《海洋工程》;20200930;第38卷(第05期);125-133 * |
| 风险治理导向下滨海城市综合防灾规划路径研究;王思成;《中国博士学位论文全文数据库 工程科技II辑》;20220115;C038-162 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114155495A (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220105961A1 (en) | Method for automatic control of vehicle and method for training lane change intention prediction network | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| RU2743895C2 (ru) | Способы и системы для определения компьютером наличия объектов | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| Lin et al. | Efficient data collection and accurate travel time estimation in a connected vehicle environment via real-time compressive sensing | |
| KR20210043516A (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN113269168B (zh) | 障碍物数据处理方法、装置、电子设备和计算机可读介质 | |
| CN114360239A (zh) | 一种多层时空交通知识图谱重建的交通预测方法及系统 | |
| CN114155495B (zh) | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 | |
| US20230196749A1 (en) | Training Neural Networks for Object Detection | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| CN114972758A (zh) | 一种基于点云弱监督的实例分割方法 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN114048536A (zh) | 一种基于多任务神经网络的道路结构预测与目标检测方法 | |
| CN116912628A (zh) | 训练缺陷检测模型及检测缺陷的方法和装置 | |
| CN114724414B (zh) | 城市空中交通分担率的确定方法、装置、电子设备及介质 | |
| CN116522648A (zh) | 湖泊藻类状态预测方法及应用 | |
| CN116227549A (zh) | 一种模型量化方法及其装置 | |
| CN115773744A (zh) | 模型训练和路网处理方法、装置、设备、介质和产品 | |
| US20230202507A1 (en) | Control system for autonomous vehicle simulator | |
| CN115512336A (zh) | 基于路灯光源的车辆定位方法、装置和电子设备 | |
| CN115115597A (zh) | 一种目标检测方法、装置、设备及介质 | |
| Raiyn et al. | Naturalistic Driving Studies Data Analysis Based on a Convolutional Neural Network. | |
| CN115063976A (zh) | 基于多通道卷积神经网络的车辆冲突风险评估与预测方法 | |
| JP2023549036A (ja) | 点群からの効率的な三次元物体検出 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |