CN117746288A - 车辆重量预测、样本数据构建、模型训练方法及装置 - Google Patents

车辆重量预测、样本数据构建、模型训练方法及装置 Download PDF

Info

Publication number
CN117746288A
CN117746288A CN202311688113.0A CN202311688113A CN117746288A CN 117746288 A CN117746288 A CN 117746288A CN 202311688113 A CN202311688113 A CN 202311688113A CN 117746288 A CN117746288 A CN 117746288A
Authority
CN
China
Prior art keywords
data
vehicle
cable
sample
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311688113.0A
Other languages
English (en)
Inventor
孙涛
吴军
杨广
袁睿
楚帅
吴凡
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Kedalian Safety Technology Co ltd
Original Assignee
Hefei Kedalian Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Kedalian Safety Technology Co ltd filed Critical Hefei Kedalian Safety Technology Co ltd
Priority to CN202311688113.0A priority Critical patent/CN117746288A/zh
Publication of CN117746288A publication Critical patent/CN117746288A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Bridges Or Land Bridges (AREA)

Abstract

本发明公开了一种车辆重量预测、样本数据构建、模型训练方法及装置,车辆重量预测方法包括:获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及所述指定时段内的拉索索力序列数据和桥体位移序列数据;基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征;根据所述长期时序特征对所述目标车辆进行重量预测,得到所述目标车辆的重量。由此,根据车辆位置、拉索索力和桥体位移三个方面综合考虑车辆对桥梁的影响,可以有效提高车辆重量预测的准确性。

Description

车辆重量预测、样本数据构建、模型训练方法及装置
技术领域
本发明涉及车辆荷载识别技术领域,尤其涉及一种车辆重量预测、样本数据构建、模型训练方法及装置。
背景技术
随着我国经济和交通运输行业的快速发展,车辆的数量和重量不断增加,车辆超载超限现象屡有发生。车辆重量是高速公路和桥梁最重要的荷载之一,超载车辆会对斜拉桥等基础设施的路面造成严重的损害,因此,识别并限制车辆的重量对于斜拉桥等基础设施的监测和维护具有重要的作用。
相关技术中通常基于传感器采集的静态与路面动态响应数据进行车辆重量预测和超载检测。然而,由于传感器感应范围和精度等的限制,车辆重量预测的精度有待提高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明提供一种车辆重量预测、样本数据构建、模型训练方法及装置,有助于提高车辆重量预测的精度,从而提高对斜拉桥超载车辆进行实时监测预警的精度,减少桥梁结构性损伤的风险。
为达到上述目的,本发明第一方面实施方式提出了一种车辆重量预测方法,所述方法包括:获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及所述指定时段内的拉索索力序列数据和桥体位移序列数据;其中,所述位置序列数据包括所述目标车辆在指定时刻的车辆位置数据;所述拉索索力序列数据包括所述斜拉桥在所述指定时刻的拉索索力数据;所述桥体位移序列数据包括所述斜拉桥在所述指定时刻的桥体位移数据;所述指定时刻是所述指定时段内的任一时刻;基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征;其中,所述长期时序特征用于描述所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据之间的长期依赖关系;根据所述长期时序特征对所述目标车辆进行重量预测,得到所述目标车辆的重量。
根据本发明的一个实施方式,所述基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征,包括:将所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据输入至车辆重量预测模型中的特征提取网络进行局部特征提取,得到局部时序特征;其中,所述局部时序特征用于描述在局部时间段内所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据表现出的模式和规律;所述局部时间段是所述指定时段内的任一时间段;将所述局部时序特征输入至所述车辆重量预测模型中的依赖关系提取网络进行长期依赖关系提取,得到所述长期时序特征;其中,所述车辆重量预测模型用于对所述目标车辆进行重量预测。
根据本发明的一个实施方式,所述斜拉桥对应有斜拉桥坐标系;所述车辆位置数据是所述目标车辆在所述斜拉桥坐标系中的位置数据;通过以下方式获取所述车辆位置数据:获取在所述指定时刻拍摄得到的所述目标车辆的车辆图像;其中,所述车辆图像对应有像素坐标系;确定所述目标车辆在所述像素坐标系中的图像位置数据;将所述图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据。
根据本发明的一个实施方式,所述目标车辆的数量为多个;所述将所述目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据,包括:将任一目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述任一目标车辆的任一车辆位置数据;其中,所述车辆位置数据包括所述任一车辆位置数据。
根据本发明的一个实施方式,所述斜拉桥上设置有车辆摄像机,所述车辆图像是根据所述车辆摄像机在所述指定时段内拍摄的所述目标车辆在所述斜拉桥上行驶的车辆行驶视频得到的。
根据本发明的一个实施方式,所述车辆摄像机对应有摄像机坐标系;所述将所述目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据,包括:根据所述车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述摄像机坐标系中的摄像机坐标数据;基于所述摄像机坐标系和所述斜拉桥坐标系之间的坐标系映射关系对所述摄像机坐标数据进行转换,得到所述车辆位置数据;其中,所述坐标系映射关系是根据所述车辆摄像机在所述斜拉桥上的设置位置和朝向对所述车辆摄像机进行外部参数标定得到的。
根据本发明的一个实施方式,所述车辆摄像机的数量为多个,所述车辆图像的数量为多个,多个车辆摄像机与多个车辆图像一一对应;针对所述多个车辆图像中的指定车辆图像,所述图像位置数据是在所述指定车辆图像对应的像素坐标系中的位置数据;所述根据所述车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述摄像机坐标系中的摄像机坐标数据,包括:根据指定车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述指定车辆摄像机对应的指定摄像机坐标系中的第一坐标数据;其中,所述指定车辆图像是由所述指定车辆摄像机拍摄得到的;所述摄像机坐标系包括所述指定摄像机坐标系;所述摄像机坐标数据包括所述第一坐标数据。
根据本发明的一个实施方式,所述基于所述摄像机坐标系和所述斜拉桥坐标系之间的坐标系映射关系对所述摄像机坐标数据进行转换,得到所述车辆位置数据,包括:基于所述指定摄像机坐标系和所述斜拉桥坐标系之间的指定映射关系对所述第一坐标数据进行转换,得到所述目标车辆在所述斜拉桥坐标系中的第二坐标数据;其中,所述坐标系映射关系包括所述指定映射关系;根据所述目标车辆在所述斜拉桥坐标系中的多个第二坐标数据进行拟合处理,得到所述车辆位置数据。
根据本发明的一个实施方式,所述斜拉桥具有多个拉索;通过以下方式获取所述斜拉桥在所述指定时刻的拉索索力数据:获取所述斜拉桥的任一拉索在所述指定时刻的张力数据;基于所述多个拉索在所述指定时刻的张力数据生成所述拉索索力数据。
根据本发明的一个实施方式,所述斜拉桥的桥体设置有多个位移标记点;通过以下方式获取所述斜拉桥在所述指定时刻的桥体位移数据:获取任一位移标记点在所述指定时刻的挠度位移数据;基于所述多个位移标记点在所述指定时刻的挠度位移数据生成所述桥体位移数据。
为达到上述目的,本发明第二方面实施方式提出了一种样本数据构建方法,所述方法包括:获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及所述斜拉桥在所述指定时段内的索力样本序列数据和位移样本序列数据;其中,所述位置样本序列数据包括所述样本车辆在指定时刻的车辆位置样本数据;所述索力样本序列数据包括所述斜拉桥在所述指定时刻的拉索索力样本数据;所述位移样本序列数据包括所述斜拉桥在所述指定时刻的桥体位移样本数据;所述指定时刻是所述指定时段内的任一时刻;将所述位置样本序列数据、所述索力样本序列数据和所述位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,所述样本数据标注有重量标签;所述重量标签是根据所述样本车辆的重量数据生成的。
为达到上述目的,本发明第三方面实施方式提出了一种车辆重量预测模型训练方法,所述方法包括:获取通过前述实施方式所述的样本数据构建方法所构建的样本数据;将所述样本数据输入至车辆重量预测模型进行重量预测,得到所述样本车辆对应的重量预测数据;根据所述重量预测数据、所述样本数据被标注的重量标签对所述车辆重量预测模型进行更新,直至满足模型停止训练条件。
为达到上述目的,本发明第四方面实施方式提出了一种车辆重量预测装置,所述装置包括:序列数据获取模块,用于获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及所述指定时段内的拉索索力序列数据和桥体位移序列数据;其中,所述位置序列数据包括所述目标车辆在指定时刻的车辆位置数据;所述拉索索力序列数据包括所述斜拉桥在所述指定时刻的拉索索力数据;所述桥体位移序列数据包括所述斜拉桥在所述指定时刻的桥体位移数据;所述指定时刻是所述指定时段内的任一时刻;时序特征获取模块,用于基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征;其中,所述长期时序特征用于描述所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据之间的长期依赖关系;车辆重量预测模块,用于根据所述长期时序特征对所述目标车辆进行重量预测,得到所述目标车辆的重量。
为达到上述目的,本发明第五方面实施方式提出了一种样本数据构建装置,所述装置包括:样本序列获取模块,用于获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及所述斜拉桥在所述指定时段内的索力样本序列数据和位移样本序列数据;其中,所述位置样本序列数据包括所述样本车辆在指定时刻的车辆位置样本数据;所述索力样本序列数据包括所述斜拉桥在所述指定时刻的拉索索力样本数据;所述位移样本序列数据包括所述斜拉桥在所述指定时刻的桥体位移样本数据;所述指定时刻是所述指定时段内的任一时刻;样本序列组合模块,用于将所述位置样本序列数据、所述索力样本序列数据和所述位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,所述样本数据标注有重量标签;所述重量标签是根据所述样本车辆的重量数据生成的。
为达到上述目的,本发明第六方面实施方式提出了一种车辆重量预测模型训练装置,所述装置包括:样本数据获取模块,用于获取通过前述实施方式所述的样本数据构建方法所构建的样本数据;预测数据获取模块,用于将所述样本数据输入至车辆重量预测模型进行重量预测,得到所述样本车辆对应的重量预测数据;预测模型更新模块,用于根据所述重量预测数据、所述样本数据被标注的重量标签对所述车辆重量预测模型进行更新,直至满足模型停止训练条件。
为达到上述目的,本发明第七方面实施方式提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现前述任一项实施方式所述的车辆重量预测方法,和/或,样本数据构建方法,和/或,车辆重量预测模型训练方法的步骤。
为达到上述目的,本发明第八方面实施方式提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一项实施方式所述的车辆重量预测方法,和/或,样本数据构建方法,和/或,车辆重量预测模型训练方法的步骤。
根据本发明提供的多个实施方式,根据车辆位置、拉索索力和桥体位移三个方面综合考虑车辆对桥梁的影响,可以更全面地考虑到车辆与桥梁之间的相互作用,从而更准确地预测车辆的重量。考虑到车辆在不同位置时,因桥梁的结构特性和受力分布可能对同一辆车产生不同的拉索索力响应和桥体位移响应,因此通过实时获取目标车辆的位置信息,可以对斜拉桥的拉索索力数据和桥体位移数据进行相应的修正,从而提高车辆重量预测的准确性。同时,通过使用多个方面的数据进行车辆重量预测,使得预测方法具有更高的鲁棒性。通过对斜拉桥上的车辆进行实时监控和重量预测,对于进一步预防桥梁结构受损或垮塌等严重事故具有重要意义,能够确保桥梁的安全使用。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为根据本说明书实施方式提供的车辆重量预测方法的流程示意图。
图2为根据本说明书实施方式提供的长期时序特征的获取流程示意图。
图3为根据本说明书实施方式提供的车辆位置数据的获取流程示意图。
图4为根据本说明书实施方式提供的车辆位置数据的获取流程示意图。
图5a为根据本说明书实施方式提供的车辆位置数据的获取流程示意图。
图5b为根据本说明书实施方式提供的车辆实时位置的计算流程示意图。
图6为根据本说明书实施方式提供的拉索索力数据的获取流程示意图。
图7为根据本说明书实施方式提供的桥体位移数据的获取流程示意图。
图8为根据本说明书实施方式提供的样本数据构建方法的流程示意图。
图9a为根据本说明书实施方式提供的车辆重量预测模型训练方法的流程示意图。
图9b为根据本说明书实施方式提供的车辆超载监测的流程示意图。
图10为根据本说明书实施方式提供的车辆重量预测装置的结构框图。
图11为根据本说明书实施方式提供的样本数据构建装置的结构框图。
图12为根据本说明书实施方式提供的车辆重量预测模型训练装置的结构框图。
图13为根据本说明书实施方式提供的计算机设备的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
近些年,随着经济社会的发展与科学技术的进步,在城镇基础建设与居民工作生活的需求下,桥梁特别是大跨度斜拉桥的建设规模与建设技术也在不断发展进步。然而,由于国内物流行业存在的部分运输企业成本竞争、驾驶员培训不规范等行业乱象,道路车辆超载超限现象屡有发生。这些超载超限行为会极大程度上提高行车危险性,对桥梁等基础设施路面造成破坏,严重者甚至会引起严重的交通事故和桥梁坍塌断裂等事故,对居民与社会安全造成重大危害。
传统的斜拉桥超载检测主要采用基于静态与路面动态响应数据进行检测的方法,这些方法主要利用高精度应变传感器采集车辆通过传感器时路面的应变数据,通过应变-质量函数关系得到通过的车辆的预测质量,并通过激光测距仪与相机测量车辆的车牌和尺寸等参数,得到与车辆车牌对应的限定载荷及限定尺寸等信息。通过将车辆的预测质量与限定载荷进行对比,以及将测量得到的车辆的尺寸与限定尺寸进行对比,可以实现对车辆的超载现象的判断和监控。传统的斜拉桥超载检测系统主要采用单独使用应变数据对车辆载重进行测量的方式,结构简单且成本较低,但是能够实现的测量精度也较低,且传统的斜拉桥超载检测系统中传感器的安装方式受到较大的限制,导致传感器的感应范围受限,难以满足复杂的桥梁道路环境下的车辆超载检测的需求。
相关技术中提出了一种基于计算机视觉技术结合深度学习框架的用于检测货车超载超限的预警方法和系统。该方法通过训练并建立车型、车牌、货物等车辆特征信息图像数据库,实现车流图像识别、分类、计算、查询、对比、分析,并进一步实现了车辆超载超限报警和交通管制。该方法仅需要在道路沿线部署多个摄像头,成本较低,且可以实现超载超限监测和报警的实时化。然而,仅利用视觉图像的方法难以对超载车辆的质量实现高精度的测量,且该方法在夜间或雨雪天气等探测视野不利的情境下比较容易发生误判的情况。
相关技术中还提出了一种基于机器视觉的城市高架桥梁超重超载动态预警方法。该方法利用摄像机采集桥梁标记点的视频图像并基于视频图像数据计算出桥梁标记点的位移数据,然后通过力-位移函数计算得到桥梁上通过车辆的实际载重,将计算得到的车辆重量与车辆载荷限值进行比较,以此实现城市高架桥梁的动态超重超载预警。该方法具有测量成本低、摄像机安装方便、操作简单的特点,然而,该方法无法应对桥梁上分布有复杂车流的场景,且在恶劣天气或夜间难以获取标记点的清晰准确的视频图像,从而难以基于视频图像数据实现高精度的标记点位移监测。
为了提高车辆重量预测的准确度,从而提高对斜拉桥超载车辆进行实时监测预警的精度,减少斜拉桥结构性损伤的风险,有必要提出一种车辆重量预测、样本数据构建、模型训练方法及装置。本说明书提供的车辆重量预测方法在车辆通过斜拉桥时,通过采集斜拉桥上的目标车辆的车辆位置数据获取目标车辆在指定时段内的位置序列数据,以及通过采集斜拉桥的拉索索力数据获取在指定时段内斜拉桥的拉索索力序列数据,通过采集斜拉桥的桥体位移数据获取桥体位移序列数据。通过结合位置序列数据、拉索索力序列数据和桥体位移序列数据进行特征提取,可以识别出这些数据之间的长期依赖关系,以根据这些数据之间的长期依赖关系对目标车辆的重量进行预测。其中,指定时刻可以是目标车辆在斜拉桥上行驶的实时时刻。
由此,可以通过车辆位置、拉索索力和桥体位移三个方面综合考虑车辆对桥梁的影响。通过结合这些数据对目标车辆的重量进行预测,可以更全面地考虑到车辆与桥梁之间的相互作用,从而更准确地预测车辆的重量。同时,本说明书提供的车辆重量预测方法考虑到车辆在不同位置时,由于桥梁的结构特性和受力分布,可能对同一辆车产生不同的拉索索力响应和桥体位移响应,因此通过实时获取目标车辆的位置信息,可以对斜拉桥的拉索索力数据和桥体位移数据进行相应的修正,从而提高车辆重量预测的准确性。由于使用了多个方面的数据进行车辆重量预测,该方法对于单一数据源可能出现的异常或错误具有更高的鲁棒性。
进一步地,本说明书提供的车辆重量预测方法基于CNN-LSTM结构构建车辆重量预测模型,其中,模型中的CNN(Convolutional Neural Networks,卷积神经网络)网络模块用于提取输入数据的高维时序特征,LSTM(Long-Short Term Memory,长短期记忆)网络模块用于提取输入数据的长期依赖特征。通过采集斜拉桥通过车辆的视频图像数据,并对视频图像中的车辆进行目标识别与坐标系变换得到桥上车辆的实时位置数据。通过采集斜拉桥拉索的拉索索力数据以及斜拉桥主体结构的桥体位移数据,并结合车辆的实时位置数据、拉索索力数据和桥体位移数据以形成基于CNN-LSTM结构的斜拉桥通行车辆重量实时预测模型的输入集。训练后的车辆重量预测模型可以用于预测在斜拉桥梁上通过的车辆的重量,进而将预测的重量和对应车辆的限重进行对比,可以实现复杂通行环境下的斜拉桥超载车辆高精度实时监测预警,以提高道路交通车辆超载现象的监测能力,保障斜拉桥上通行车辆的通行秩序及安全,减少斜拉桥结构性损伤风险,带来显著的经济与社会效益。
另外,本说明书提供的车辆重量预测方法利用索力、桥体位移、视频图像等多种传感器数据,通过神经网络学习的方法预测得到桥梁上通过车辆的重量信息,由于传感器数据来源丰富,因此该方法具有较强的容错性,且通过识别多种传感器数据之间的长期依赖关系,可以实现更可靠、更高精度的车辆重量预测,鲁棒性强。同时,该方法支持同时对多个目标车辆进行高精度的重量预测,因此能够很好地适应复杂的桥梁通行场景,对于多车并行或超车等场景也有良好的监测效果,可以满足在桥梁上分布有复杂车流的场景下的车辆重量预测需求。
本说明书实施方式提供一种车辆重量预测方法,参考图1所示,车辆重量预测方法可以包括以下步骤。
S110、获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及指定时段内的拉索索力序列数据和桥体位移序列数据。
其中,位置序列数据包括目标车辆在指定时刻的车辆位置数据;拉索索力序列数据包括斜拉桥在指定时刻的拉索索力数据;桥体位移序列数据包括斜拉桥在指定时刻的桥体位移数据;指定时刻是指定时段内的任一时刻。
S120、基于位置序列数据、拉索索力序列数据和桥体位移序列数据进行特征提取,得到长期时序特征。
其中,长期时序特征用于描述位置序列数据、拉索索力序列数据和桥体位移序列数据之间的长期依赖关系。
S130、根据长期时序特征对目标车辆进行重量预测,得到目标车辆的重量。
其中,指定时段可以是目标车辆行驶通过斜拉桥过程中的任一时间段。位置序列数据用于描述目标车辆在指定时段内的位置变化情况,拉索索力序列数据用于描述斜拉桥的拉索在指定时段内的应变响应变化情况,桥体位移序列数据用于描述斜拉桥的主体结构在指定时段内的应变响应变化情况。
位置序列数据、拉索索力序列数据和桥体位移序列数据均为时间序列数据,长期时序特征和长期依赖关系可以用于描述车辆位置、拉索索力和桥体位移三者之间在长期作用下的相互影响和变化趋势。
具体地,根据目标车辆行驶通过斜拉桥过程中的指定时段,将指定时段内的任一时刻作为指定时刻,通过获取目标车辆在指定时刻所处的位置,得到目标车辆的车辆位置数据。通过采集斜拉桥的拉索在指定时刻的应变响应数据,得到斜拉桥的拉索索力数据;通过采集斜拉桥的主体结构在指定时刻的应变响应数据,得到斜拉桥的桥体位移数据。
根据目标车辆在指定时段内任一时刻的车辆位置数据可以得到目标车辆在指定时段内的位置序列数据,根据斜拉桥在指定时段内任一时刻的拉索索力数据可以得到指定时段内的拉索索力序列数据,以及根据斜拉桥在指定时段内任一时刻的桥体位移数据可以得到指定时段内的桥体位移序列数据。
可以通过时间序列分析或机器学习等方法对指定时段内的位置序列数据、拉索索力序列数据和桥体位移序列数据进行特征提取,以识别位置序列数据、拉索索力序列数据和桥体位移序列数据之间的长期依赖关系,得到长期时序特征。根据长期时序特征对目标车辆进行重量预测,得到预测的目标车辆的重量。
在一些实施例中,目标车辆的数量可以是一个或者多个。拉索索力数据包括针对斜拉桥的多个拉索测量得到的索力数据,桥体位移数据可以包括针对斜拉桥的主体结构上的多个测量点测量得到的纵向位移数据和/或横向位移数据等。
示例性地,指定时段包括m个时刻,分别记为时刻t1、时刻t2、……、时刻tm,目标车辆包括车辆C1。假设斜拉桥具有p个拉索,分别记为拉索D1、拉索D2、……、拉索Dp,主体结构具有q个测量点,分别记为测量点M1、测量点M2、……测量点Mq
将时刻t1作为指定时刻,获取车辆C1在该时刻的车辆位置数据,记为L1(t1)。获取拉索D1在该时刻的索力数据,记为s1(t1);获取拉索D2在该时刻的索力数据,记为s2(t1),以此类推,可以获取p个拉索各自在指定时刻的索力数据,包括s1(t1)、s2(t1)、……、sp(t1)。获取测量点M1在该时刻的纵向位移数据和/或横向位移数据,记为w1(t1);获取测量点M2在该时刻的纵向位移数据和/或横向位移数据,记为w2(t1),以此类推,可以获取q个测量点各自在指定时刻的纵向位移数据和/或横向位移数据,包括w1(t1)、w2(t1)、……、wq(t1)。可以理解的是,车辆C1的车辆位置数据L1(t1)可以是车辆C1在斜拉桥上的位置坐标。
将时刻t2作为指定时刻,获取车辆C1在该时刻的车辆位置数据,记为L1(t2)。获取拉索D1在该时刻的索力数据,记为s1(t2);获取拉索D2在该时刻的索力数据,记为s2(t2),以此类推,可以获取p个拉索各自在指定时刻的索力数据,包括s1(t2)、s2(t2)、……、sp(t2)。获取测量点M1在该时刻的纵向位移数据和/或横向位移数据,记为w1(t2);获取测量点M2在该时刻的纵向位移数据和/或横向位移数据,记为w2(t2),以此类推,可以获取q个测量点各自在指定时刻的纵向位移数据和/或横向位移数据,包括w1(t2)、w2(t2)、……、wq(t2)。关于将时刻t3、时刻t4、……、时刻tm分别作为指定时刻的情况的描述与上述描述类似,具体不再赘述。
由此,根据车辆C1在m个时刻的车辆位置数据L1(t1)、L1(t2)、……、L1(tm)可以得到车辆C1在指定时段内的位置序列数据;根据斜拉桥的p个拉索在m个时刻的索力数据s1(t1)、……、sp(t1)、s1(t2)、……、sp(t2)、s1(tm)、……、sp(tm)可以得到在指定时段内斜拉桥的拉索索力序列数据;根据斜拉桥的q个测量点在m个时刻的纵向位移数据和/或横向位移数据w1(t1)、……、wq(t1)、w1(t2)、……、wq(t2)、w1(tm)、……、wq(tm)可以得到在指定时段内斜拉桥的桥体位移序列数据。
示例性地,以上述指定时段和斜拉桥为例,目标车辆包括n个车辆,分别记为车辆C1、车辆C2、……、车辆Cn
将时刻t1作为指定时刻,获取车辆C1在该时刻的位置数据,记为L1(t1);获取车辆C2在该时刻的位置数据,记为L2(t1),以此类推,可以获取n个车辆在指定时刻的车辆位置数据,包括L1(t1)、L2(t1)、……、Ln(t1)。
将时刻t2作为指定时刻,获取车辆C1在该时刻的位置数据,记为L1(t2);获取车辆C2在该时刻的位置数据,记为L2(t2),以此类推,可以获取n个车辆在指定时刻的车辆位置数据,包括L1(t2)、L2(t2)、……、Ln(t2)。以此类推,可以获取n个车辆在m个时刻的车辆位置数据L1(t1)、……、Ln(t1)、L1(t2)、……、Ln(t2)、L1(tm)、……、Ln(tm),从而得到n个车辆在指定时段内的位置序列数据。关于获取斜拉桥的拉索索力序列数据和桥体位移序列数据的描述与上述描述类似,具体不再赘述。
在另一些实施例中,桥体位移数据可以包括对斜拉桥的主体结构上的多个测量点测量得到的挠度位移数据和/或横向位移数据等,关于获取斜拉桥在指定时段内的桥体位移序列数据的描述与上述描述类似,具体不再赘述。
可以理解的是,若目标车辆的数量为多个,则车辆位置数据可以是由多个目标车辆的位置数据构成的车辆位置子序列,例如上述示例中由n个目标车辆各自在指定时刻t1的位置数据L1(t1)、L2(t1)、……、Ln(t1)构成的车辆位置子序列。根据指定时段内的多个车辆位置子序列可以得到位置序列数据。
同样地,斜拉桥在指定时刻的拉索索力数据可以是由多个拉索的索力数据构成的拉索索力子序列,例如上述示例中由p个拉索各自在指定时刻t1的索力数据s1(t1)、s2(t1)、……、sp(t1)构成的拉索索力子序列。桥体位移数据可以是由多个测量点的位移数据构成的桥体位移子序列,例如上述示例中由q个测量点各自在指定时刻t1的纵向位移数据和/或横向位移数据w1(t1)、w2(t1)、……、wq(t1)构成的桥体位移子序列。根据指定时段内的多个拉索索力子序列可以得到拉索索力序列数据,以及根据指定时段内的多个桥体位移子序列可以得到桥体位移序列数据。
斜拉桥的拉索索力数据可以通过测量拉索的张力、振动频率、应力波中的任一种获取,也可以通过高精度的光学仪器等测量拉索的变形或振动等获取,桥体位移数据可以通过传感器测量、光学测量、数字图像相关法等方法进行测量得到,本说明书中不作具体的限定。
另外,在目标车辆通过斜拉桥时,可以通过实时获取目标车辆的车辆位置数据,并基于在一定时间段内实时获取的实时的车辆位置数据得到指定时段内目标车辆的位置序列数据,即指定时刻可以是实时时刻。拉索索力序列数据和桥体位移序列数据的获取方式与该位置序列数据的获取方式相同,具体不再赘述。
上述实施方式中,根据车辆位置、拉索索力和桥体位移三个方面综合考虑车辆对桥梁的影响,可以更全面地考虑到车辆与桥梁之间的相互作用,从而更准确地预测车辆的重量。考虑到车辆在不同位置时,因桥梁的结构特性和受力分布可能对同一辆车产生不同的拉索索力响应和桥体位移响应,因此通过实时获取目标车辆的位置信息,可以对斜拉桥的拉索索力数据和桥体位移数据进行相应的修正,从而提高车辆重量预测的准确性。
同时,通过使用多个方面的数据进行车辆重量预测,使得预测方法具有更高的鲁棒性。通过对斜拉桥上的车辆进行实时监控和重量预测,对于进一步预防桥梁结构受损或垮塌等严重事故具有重要意义,能够确保桥梁的安全使用。
在一些实施方式中,参考图2所示,基于位置序列数据、拉索索力序列数据和桥体位移序列数据进行特征提取,得到长期时序特征,可以包括以下步骤。
S210、将位置序列数据、拉索索力序列数据和桥体位移序列数据输入至车辆重量预测模型中的特征提取网络进行局部特征提取,得到局部时序特征。
其中,局部时序特征用于描述在局部时间段内位置序列数据、拉索索力序列数据和桥体位移序列数据表现出的模式和规律;局部时间段是指定时段内的任一时间段。
S220、将局部时序特征输入至车辆重量预测模型中的依赖关系提取网络进行长期依赖关系提取,得到长期时序特征;其中,车辆重量预测模型用于对目标车辆进行重量预测。
其中,依赖关系提取网络可以用于提取时序序列的动态特性和演化规律等。
具体地,可以基于深度学习技术设计包括特征提取网络和依赖关系提取网络的车辆重量预测模型。将位置序列数据、拉索索力序列数据和桥体位移序列数据输入至特征提取网络,以使特征提取网络可以识别并提取这些数据在局部时间段内表现出的模式和规律,得到局部时序特征。
将局部时序特征作为输入数据输入至依赖关系提取网络,以使依赖关系提取网络可以识别并提取局部时序特征在时间上的长期变化和相互影响,得到长期时序特征。根据提取到的长期时序特征,车辆重量预测模型可以对目标车辆的重量进行预测。
在一些实施例中,特征提取网络可以采用CNN网络,依赖关系提取网络可以采用LSTM网络,以此构建得到基于CNN-LSTM结构的车辆重量预测模型。可以将位置序列数据、拉索索力序列数据和桥体位移序列数据进行组合,得到组合序列数据,以将组合序列数据输入至特征提取网络。
示例性地,以前述车辆C1在m个时刻的车辆位置数据L1(t1)、L1(t2)、……、L1(tm),以及斜拉桥的p个拉索在m个时刻的索力数据s1(t1)、……、sp(tm)和q个测量点在m个时刻的桥体位移数据w1(t1)、……、wq(tm)为例,可以将位置序列数据、拉索索力序列数据和桥体位移序列数据进行组合,得到组合序列数据L1(t1)、……、L1(tm)、s1(t1)、……、sp(tm)、w1(t1)、……、wq(tm)。
构建CNN网络卷积层,用于提取输入的组合序列数据中的局部时序特征信息,卷积层中的滤波器(也称为卷积核或特征检测器)可以对原始输入的组合序列数据进行卷积计算,以生成高维特征向量,这个高维特征向量可以表示输入的组合序列数据中存在的多种局部特征。同时需要构建CNN网络池化层,用于对卷积层提取出来的高维特征向量进行下采样操作,以进一步从卷积层提取的特征中筛选出更重要的、更具代表性的特征,优化特征向量的长度,得到主体特征,作为特征提取网络得到的局部时序特征。随后,对经过池化层处理过的局部时序特征数据进行拉平处理,形成一维特征向量。
CNN网络提取出的一维特征向量需要输入到具有多个存储器的LSTM网络中进行时序处理,即需要利用LSTM网络提取局部时序特征向量中的长期依赖关系。将经过池化层下采样处理后得到的一维特征向量作为输入数列输入至LSTM网络中进行长期依赖关系提取,以利用LSTM网络提取得到长期时序特征。
需要说明的是,特征提取网络也可以采用Transformer网络等,依赖关系提取网络也可以采用RNN(Recurrent Neural Network,循环神经网络)网络、GRU(Gate RecurrentUnit,门控循环单元)网络等,具体可以根据实际应用需求进行选择,本说明书中不作具体限定。
上述实施方式中,利用特征提取网络提取局部时序特征,再结合依赖关系提取网络来处理这些特征之间的长期时序依赖关系,可以使车辆重量预测模型更全面地捕捉位置序列数据、拉索索力序列数据和桥体位移序列数据中的关键信息,有助于基于历史时序数据的特征和信息更精确地预测车辆的重量。与相关技术中仅关注桥梁的瞬时或短期的应变响应的方法相比,本说明书提供的车辆重量预测方法通过识别位置序列数据、拉索索力序列数据和桥体位移序列数据之间的长期依赖关系,可以提供更可靠的重量预测。
在一些实施方式中,斜拉桥对应有斜拉桥坐标系;车辆位置数据是目标车辆在斜拉桥坐标系中的位置数据。参考图3所示,可以通过以下方式获取车辆位置数据:
S310、获取在指定时刻拍摄得到的目标车辆的车辆图像;其中,车辆图像对应有像素坐标系。
S320、确定目标车辆在像素坐标系中的图像位置数据。
S330、将图像位置数据转换至斜拉桥坐标系下,得到车辆位置数据。
其中,像素坐标系是原点位于车辆图像的左上角,x轴和y轴分别与车辆图像平面的两边平行的二维坐标系,也可以称为数字坐标系。在这个坐标系中,坐标的单位是像素(pixel),每个像素的坐标是根据其在图像数组中的位置来计算的。
斜拉桥坐标系是基于斜拉桥的结构建立的三维世界坐标系,因此斜拉桥坐标系也可以称为世界坐标系,则车辆位置数据为目标车辆在世界坐标系中的位置数据,即在世界坐标系中的位置坐标。
具体地,可以根据目标车辆在斜拉桥上行驶的视频图像得到在指定时刻拍摄的目标车辆的车辆图像,该车辆图像对应有自己的像素坐标系。通过图像处理的方法可以在车辆图像中识别目标车辆并确定目标车辆在车辆图像中的像素坐标位置信息,以得到目标车辆在像素坐标系中的坐标,作为目标车辆的图像位置数据。
通过获取车辆图像中目标车辆的深度信息(或者,获取目标车辆距离用于拍摄车辆图像的摄像机或照相机的深度),基于深度信息以及用于拍摄车辆图像的摄像机或照相机的光学特性和几何特性等可以将二维的图像位置数据转换至三维。由于摄像机或照相机相对于斜拉桥坐标系的原点具有一定的平移和旋转角度,因此可以对转换后的数据进行一系列旋转、平移等坐标变换操作,以实现将图像位置数据转换至斜拉桥坐标系下,得到目标车辆在斜拉桥坐标系中的坐标,作为目标车辆的车辆位置数据。
示例性地,指定时段包括m个时刻,分别记为时刻t1、时刻t2、……、时刻tm。针对在指定时刻t1拍摄得到包含有目标车辆的车辆图像,可以通过对车辆图像中的目标车辆进行目标检测得到目标检测结果,以根据目标检测结果确定目标车辆在车辆图像中的像素坐标位置,记为(ximage(t1),yimage(t1)),作为图像位置数据。将目标车辆距离用于拍摄车辆图像的摄像机的深度记为zdeep(t1),则基于深度信息和摄像机的光学特性和几何特性等可以将图像位置数据转换为三维数据,记为(xcamera(t1),ycamera(t1),zcamera(t1))。
对(xcamera(t1),ycamera(t1),zcamera(t1))进行一系列旋转、平移等坐标变换操作,可以得到目标车辆在斜拉桥坐标系中的坐标,记为(xworld(t1),yworld(t1),zworld(t1)),作为车辆位置数据。关于将时刻t3、时刻t4、……、时刻tm分别作为指定时刻的情况的描述与上述描述类似,具体不再赘述。
可以理解的是,车辆图像中目标车辆的深度信息可以通过深度传感器技术、双目视觉或立体视觉技术、多视图几何技术、机器学习技术等获取,本说明书中不作具体限定。
在一些实施方式中,目标车辆的数量为多个;将目标车辆在像素坐标系中的图像位置数据转换至斜拉桥坐标系下,得到车辆位置数据,可以包括:将任一目标车辆在像素坐标系中的图像位置数据转换至斜拉桥坐标系下,得到任一目标车辆的任一车辆位置数据;其中,车辆位置数据包括任一车辆位置数据。
具体地,针对同一车辆图像,车辆图像中可以包含有多个目标车辆。针对多个目标车辆中的任一目标车辆,可以通过图像处理的方法在车辆图像中识别该目标车辆在车辆图像中的图像位置数据。通过对该目标车辆的图像位置数据进行转换,可以得到该目标车辆在斜拉桥坐标系中的任一车辆位置数据。由此,可以得到多个目标车辆在斜拉桥坐标系中的车辆位置数据。
可以理解的是,可以通过对车辆图像中的多个目标车辆进行目标检测,得到目标检测结果,根据目标检测结果中识别到的各目标车辆的边界框的坐标作为各目标车辆的图像位置数据。
示例性地,指定时段包括m个时刻,分别记为时刻t1、时刻t2、……、时刻tm。针对指定时刻t1,车辆图像中包括n个目标车辆,分别记为车辆C1、车辆C2、……、车辆Cn。对车辆图像中的目标车辆进行目标检测,可以得到车辆C1的图像位置数据,记为(xi1(t1),yi1(t1));得到车辆C2的图像位置数据,记为(xi2(t1),yi2(t1)),以此类推,得到车辆Cn的图像位置数据,记为(xin(t1),yin(t1))。
将车辆C1的图像位置数据转换至斜拉桥坐标系下,得到车辆C1的车辆位置数据,记为(xw1(t1),yw1(t1),zw1(t1));将车辆C2的图像位置数据转换至斜拉桥坐标系下,得到车辆C2的车辆位置数据,记为(xw2(t1),yw2(t1),zw2(t1))。以此类推,可以得到车辆Cn的车辆位置数据,记为(xwn(t1),ywn(t1),zwn(t1))。
进一步地,可以得到在指定时刻t1的n个目标车辆在斜拉桥坐标系中三个维度方向上的坐标为[xw1(t1),xw2(t1),…,xwn(t1)]、[yw1(t1),yw2(t1),…,ywn(t1)]、[zw1(t1),zw2(t1),…,zwn(t1)]。由此可以得到n个目标车辆在指定时刻t1的车辆位置数据为:
[xw1(t1),…,xwn(t1),yw1(t1),…,ywn(t1),zw1(t1),…,zwn(t1)]
关于将时刻t3、时刻t4、……、时刻tm分别作为指定时刻的情况的描述与上述描述类似,具体不再赘述。
需要说明的是,不同的指定时刻的车辆图像中的目标车辆以及目标车辆的数量可能不同。
上述实施方式中,可以实现同时获取多个目标车辆的车辆位置数据以得到位置序列数据,从而可以通过多个目标车辆的实时位置信息对斜拉桥的拉索索力数据和桥体位移数据进行相应的修正,实现同时对多个目标车辆的重量进行准确预测,以满足在桥梁上分布有复杂车流的场景下的车辆重量预测需求。
在一些实施方式中,斜拉桥上设置有车辆摄像机,车辆图像是根据车辆摄像机在指定时段内拍摄的目标车辆在斜拉桥上行驶的车辆行驶视频得到的。
其中,车辆摄像机是用于拍摄斜拉桥上车辆行驶情况的摄像机,可以覆盖桥上的特定区域。
具体地,通过在斜拉桥上安装车辆摄像机用于拍摄在桥上行驶的过往车辆,生成车辆行驶视频。从拍摄得到的车辆行驶视频中,可以通过截取、处理或识别特定的帧来获取指定时刻的视频图像作为车辆图像,则目标车辆为车辆图像中的任一车辆或者多个车辆。
可以理解的是,可以通过车辆摄像机实时采集在桥上行驶的过往车辆的图像数据,并基于在一定时间段内实时采集的图像数据生成指定时段内的车辆行驶视频。
在一些实施方式中,车辆摄像机对应有摄像机坐标系。参考图4所示,将目标车辆在像素坐标系中的图像位置数据转换至斜拉桥坐标系下,得到车辆位置数据,可以包括以下步骤。
S410、根据车辆摄像机的内部参数对图像位置数据进行转换,得到目标车辆在摄像机坐标系中的摄像机坐标数据。
S420、基于摄像机坐标系和斜拉桥坐标系之间的坐标系映射关系对摄像机坐标数据进行转换,得到车辆位置数据;其中,坐标系映射关系是根据车辆摄像机在斜拉桥上的设置位置和朝向对车辆摄像机进行外部参数标定得到的。
其中,摄像机坐标系是以摄像机的光学中心为原点,x轴和y轴分别与成像平面的两边平行,z轴与摄像机光轴平行并指向镜头拍摄方向的三维坐标系,也可以称为照相机坐标系。
内部参数可以用于描述车辆摄像机的固有属性,例如焦距、主点坐标等,进一步描述了车辆摄像机如何将三维的世界坐标转换为二维的图像坐标。外部参数可以用于描述车辆摄像机在斜拉桥上的位置和方向等。坐标系映射关系可以用于描述摄像机坐标系中的坐标与斜拉桥坐标系中的坐标之间的转换关系。
具体地,通过获取车辆摄像机的内部参数,可以利用内部参数将目标车辆的图像位置数据转换为摄像机坐标系中的坐标,以得到摄像机坐标数据。
通过根据车辆摄像机在斜拉桥上的设置位置和朝向对车辆摄像机进行外部参数标定,可以确定车辆摄像机在斜拉桥坐标系中的准确位置和方向,从而可以得到摄像机坐标系和斜拉桥坐标系之间的坐标系映射关系。基于该坐标系映射关系可以将目标车辆的摄像机坐标数据转换为斜拉桥坐标系中的坐标,以得到车辆位置数据。
可以理解的是,车辆摄像机的内部参数可以通过对车辆摄像机进行内部参数标定得到。
示例性地,可以通过对车辆摄像机进行内参预标定得到包含有车辆摄像机的内部参数的内参矩阵,以及通过对车辆摄像机进行外参预标定得到能够反映摄像机与斜拉桥坐标系之间的相对关系(包括旋转与平移关系)的外参矩阵。
根据标定得到的内参矩阵可以对拍摄得到的车辆图像进行畸变矫正,并利用图像处理的方法识别目标车辆在车辆摄像机拍摄的视频图像中的图像位置数据。根据内参矩阵可以得到像素坐标系中的像素坐标与实际目标车辆在摄像机坐标系中的位置之间的关系,根据该关系将目标车辆的图像位置数据转换为摄像机坐标系中的摄像机坐标数据。
根据标定得到的外参矩阵可以得到由摄像机坐标系转换到斜拉桥坐标系的旋转矩阵和位移矩阵,即得到坐标系映射关系,可以用于对车辆图像进行投影变换等几何矫正。根据该旋转矩阵和位移矩阵可以将摄像机坐标数据转换为斜拉桥坐标系中的坐标,以得到车辆位置数据。
进一步地,目标车辆在像素坐标系中的坐标与斜拉桥坐标系中的坐标存在可供分析计算的转换关系,计算公式如下所示:
其中,Zc为摄像机坐标系中目标观测点在z轴方向上的坐标;(u,v)为像素坐标系中目标观测点的坐标位置;dx为图像中一个像素在x轴方向上的长度,dy为图像中一个像素在y轴方向上的长度;(u0,v0)为图像坐标系原点在像素坐标系中的位置坐标,图像坐标系是以车辆摄像机光轴与成像平面的交点或成像平面的中心为原点,x轴和y轴平行于图像两边的坐标系;f为车辆摄像机的焦距;R为由斜拉桥坐标系转换到摄像机坐标系的旋转矩阵,T为由斜拉桥坐标系转换到摄像机坐标系的位移矩阵,可以根据车辆摄像机的外参矩阵得到;(Xw,Yw,Zw)为斜拉桥坐标系中目标观测点的坐标。其中,目标观测点可以是通过目标检测方法得到的目标车辆的边界框对应的坐标点。
再进一步地,由于目标车辆始终在斜拉桥上侧表面行驶,而斜拉桥上侧表面在斜拉桥坐标系下对应有一个函数关系(斜拉桥上侧表面可以是平面或者曲面),因此目标车辆的位置需要受到桥梁路面在斜拉桥坐标系中对应的平面或曲面的约束,即车辆位置数据需要满足在斜拉桥坐标系中的桥梁平面或曲面对应的函数关系。根据以上两个约束条件即可根据目标车辆在视频图像中的像素坐标计算得到目标车辆在斜拉桥坐标系中的位置坐标,也就可以得到多个目标车辆在斜拉桥上的实时位置。
需要说明的是,可以事先根据斜拉桥桥梁施工图纸建立待测斜拉桥模型,并可以根据车辆摄像机在斜拉桥上的实际位置和朝向在斜拉桥模型上布置对应的车辆摄像机模型。根据斜拉桥模型建立对应的世界坐标系,即可得到斜拉桥坐标系,并可以对斜拉桥模型上布置的车辆摄像机模型进行内参预标定得到内参矩阵,以及进行外参预标定得到外参矩阵。
可以采用相关技术中的参数标定方法对车辆摄像机分别进行内参预标定和外参预标定,本说明书中不作具体限定。
在一些实施方式中,车辆摄像机的数量为多个,车辆图像的数量为多个,多个车辆摄像机与多个车辆图像一一对应;针对多个车辆图像中的指定车辆图像,图像位置数据是在指定车辆图像对应的像素坐标系中的位置数据。根据车辆摄像机的内部参数对图像位置数据进行转换,得到目标车辆在摄像机坐标系中的摄像机坐标数据,可以包括:根据指定车辆摄像机的内部参数对图像位置数据进行转换,得到目标车辆在指定车辆摄像机对应的指定摄像机坐标系中的第一坐标数据。
其中,指定车辆图像是由指定车辆摄像机拍摄得到的;摄像机坐标系包括指定摄像机坐标系;摄像机坐标数据包括第一坐标数据。
指定车辆图像可以是多个车辆图像中的任一个图像,指定车辆摄像机可以是多个车辆摄像机中的任一个摄像机。
在一些情况中,为了避免视野盲区,提高定位精度,可以在斜拉桥上安装多个车辆摄像机装置。
具体地,斜拉桥上设置有多个车辆摄像机,在指定时段内每个车辆摄像机都可以拍摄有一个车辆行驶视频,因此每个车辆摄像机都可以采集到指定时刻的一个车辆图像。
针对多个车辆摄像机中的指定车辆摄像机拍摄得到的指定车辆图像,可以根据指定车辆摄像机的内部参数,将目标车辆在指定车辆图像对应的像素坐标系中的位置数据转换为指定摄像机坐标系中的坐标,以得到第一坐标数据。按照此方法,可以对同一目标车辆在不同的车辆图像中的位置数据分别进行相应的转换,得到同一目标车辆在不同的摄像机坐标系中分别对应的第一坐标数据。
在一些实施方式中,参考图5a所示,基于摄像机坐标系和斜拉桥坐标系之间的坐标系映射关系对摄像机坐标数据进行转换,得到车辆位置数据,可以包括以下步骤。
S510、基于指定摄像机坐标系和斜拉桥坐标系之间的指定映射关系对第一坐标数据进行转换,得到目标车辆在斜拉桥坐标系中的第二坐标数据;其中,坐标系映射关系包括指定映射关系。
S520、根据目标车辆在斜拉桥坐标系中的多个第二坐标数据进行拟合处理,得到车辆位置数据。
在一些情况中,每个车辆摄像机都有自己的视角和位置,基于不同的车辆摄像机拍摄的车辆图像得到的同一目标车辆在斜拉桥坐标系中的坐标数据可能因为误差而有所差异。为了得到同一目标车辆的最优的车辆位置数据,可以对同一目标车辆在斜拉桥坐标系中的坐标数据进行拟合处理。
具体地,针对指定车辆摄像机,根据指定车辆摄像机在斜拉桥上的设置位置和朝向对指定车辆摄像机进行外部参数标定,可以确定指定车辆摄像机在斜拉桥坐标系中的准确位置和方向,从而可以得到指定车辆摄像机和斜拉桥坐标系之间的指定映射关系。
针对目标车辆在指定摄像机坐标系中的第一坐标数据,可以基于指定映射关系将第一坐标数据转换为斜拉桥坐标系中的第二坐标数据。按照此方法,可以对同一目标车辆在不同的摄像机坐标系中的第一坐标数据分别进行转换,得到同一目标车辆在斜拉桥坐标系中的多个不同的第二坐标数据。
根据同一目标车辆在斜拉桥坐标系中的多个第二坐标数据进行拟合处理,可以找到一个最佳逼近的该目标车辆在斜拉桥上的位置坐标,从而得到该目标车辆的车辆位置数据。
在一些实施例中,可以采用最小二乘法对多个第二坐标数据进行拟合处理。
示例性地,车辆摄像机包括摄像机V1、摄像机V2、摄像机V3、摄像机V4。将摄像机V1拍摄的指定时刻t的车辆图像记为P1,将摄像机V2拍摄的指定时刻t的车辆图像记为P2,将摄像机V3拍摄的指定时刻t的车辆图像记为P3,将摄像机V4拍摄的指定时刻t的车辆图像记为P4。假设通过目标检测,得到图像P1中的目标车辆包括车辆C1、车辆C2、车辆C3;图像P2中的目标车辆包括车辆C1、车辆C2、车辆C3、车辆C4;图像P3中的目标车辆包括车辆C2、车辆C4、车辆C5;图像P4中的目标车辆包括车辆C4、车辆C5
针对车辆C1,可以得到该车辆在图像P1中的图像坐标数据,记为(u11(t),v11(t))。根据摄像机V1的内参矩阵和外参矩阵,可以按照前述转换关系的计算公式将(u11(t),v11(t))转换为斜拉桥坐标系中的第二坐标数据,记为(xw11(t),yw11(t),zw11(t))。将该车辆在图像P2中的图像坐标数据,记为(u12(t),v12(t))。根据摄像机V2的内参矩阵和外参矩阵,可以按照前述转换关系的计算公式将(u12(t),v12(t))转换为斜拉桥坐标系中的第二坐标数据,记为(xw12(t),yw12(t),zw12(t))。利用最小二乘法对上述两个第二坐标数据进行拟合处理,可以得到一个最佳逼近的车辆C1在斜拉桥上的位置坐标,记为(xw1(t),yw1(t),zw1(t)),作为车辆C1的车辆位置数据。
针对车辆C2,可以得到该车辆在图像P1中的图像坐标数据,记为(u21(t),v21(t))。根据摄像机V1的内参矩阵和外参矩阵,可以按照前述转换关系的计算公式将(u21(t),v21(t))转换为斜拉桥坐标系中的第二坐标数据,记为(xw21(t),yw21(t),zw21(t))。将该车辆在图像P2中的图像坐标数据记为(u22(t),v22(t))。根据摄像机V2的内参矩阵和外参矩阵,可以按照前述转换关系的计算公式将(u22(t),v22(t))转换为斜拉桥坐标系中的第二坐标数据,记为(xw22(t),yw22(t),zw22(t))。将该车辆在图像P3中的图像坐标数据记为(u23(t),v23(t))。根据摄像机V3的内参矩阵和外参矩阵,可以按照前述转换关系的计算公式将(u23(t),v23(t))转换为斜拉桥坐标系中的第二坐标数据,记为(xw23(t),yw23(t),zw23(t))。利用最小二乘法对上述三个第二坐标数据进行拟合处理,可以得到一个最佳逼近的车辆C2在斜拉桥上的位置坐标,记为(xw2(t),yw2(t),zw2(t)),作为车辆C2的车辆位置数据。针对车辆C3、车辆C4、车辆C5的情况的描述与上述描述类似,具体不再赘述。
示例性地,参考图5b所示,在斜拉桥上通行的车辆的实时位置计算流程主要可以包括:
首先,通过斜拉桥上设置的多个车辆摄像机分别拍摄得到车辆视频图像数据(即拍摄得到实时的车辆图像)。针对任一车辆摄像机,根据对该车辆摄像机进行摄像机参数标定(包括内参预标定和外参预标定)得到的摄像机内参和摄像机外参对该车辆摄像机拍摄的视频图像进行矫正,包括对图像进行几何变换和畸变矫正等。其次,根据矫正后的视频图像进行像素坐标计算,得到目标车辆在视频图像中的图像位置数据。然后,根据该车辆摄像机的摄像机外参对目标车辆的图像位置数据进行一系列坐标系变换处理,包括将目标车辆的图像位置数据转换为在该车辆摄像机的摄像机坐标系中的第一坐标数据,以及将第一坐标数据转换为在斜拉桥坐标系中的第二坐标数据,由此,可以基于多个车辆摄像机拍摄的视频图像分别计算得到目标车辆在斜拉桥坐标系中的多个第二坐标数据。最后,根据目标车辆的多个第二坐标数据进行实时坐标拟合,得到目标车辆在斜拉桥上的实时坐标,作为目标车辆的车辆位置数据。
进一步地,继续参考图5b所示,还可以利用图像处理的方法在矫正后的视频图像中进行车牌识别,以识别得到目标车辆的车牌信息,并可以在交管部门的相关数据库中根据车牌信息匹配到与目标车辆对应的车重阈值信息等,用于后续将预测得到的目标车辆的重量与车重阈值信息进行比较,以检测目标车辆是否超载。
在另一些实施例中,也可以采用加权平均法等方法对同一目标车辆的多个第二坐标数据进行拟合处理,具体这里不再赘述。
可以理解的是,在多摄像机系统中,为了将不同摄像机捕捉到的图像进行准确的空间对齐和融合,需要知道摄像机之间的相对位置与姿态关系。通过外参预标定,可以建立多个摄像机拍摄的图像之间的正确对应关系。因此,通过对各车辆摄像机进行外参预标定得到的外参矩阵除了能够反映各车辆摄像机与斜拉桥坐标系之间的相对位置与姿态关系,还能够反映车辆摄像机之间(即,不同的车辆摄像机对应的摄像机坐标系之间)的旋转与位移关系。由此,通过结合不同的车辆摄像机的内参矩阵和外参矩阵,可以针对目标车辆的位置实现多视角的三维重建,以提供更准确的桥梁变形检测和车辆载重检测结果。
在一些实施方式中,斜拉桥具有多个拉索。参考图6所示,可以通过以下方式获取斜拉桥在指定时刻的拉索索力数据:
S610、获取斜拉桥的任一拉索在指定时刻的张力数据。
S620、基于多个拉索在指定时刻的张力数据生成拉索索力数据。
其中,张力数据可以用于表明拉索的张力变化情况,也可以称为索力数据。拉索索力数据可以是由多个拉索的张力数据生成的序列(或者数列,或者一维向量)。
具体地,可以通过传感器或其他测量设备等对斜拉桥的多个拉索分别进行监测,以用于捕捉任一拉索在不同时刻的张力变化,得到任一拉索在指定时刻的张力数据。根据获取到的多个拉索在指定时刻的张力数据可以生成对应的序列,作为拉索索力数据。
在一些实施例中,可以通过测量拉索的加速度数据得到张力数据。
示例性地,可以将多个加速度传感器分别布置在斜拉桥的多个斜拉索上,以利用加速度传感器实时采集桥梁斜拉索上的加速度数据,并可以将采集到的拉索的加速度数据传输至数据处理主机,经过数据预处理与计算得到桥梁的各个斜拉索上的实时索力数据,即可得到各个拉索在指定时刻的张力数据。
在另一些实施例中,也可以通过测量拉索的振动频率、应力波或变形数据等获取,具体不再赘述。
在一些实施方式中,斜拉桥的桥体设置有多个位移标记点。参考图7所示,可以通过以下方式获取斜拉桥在指定时刻的桥体位移数据:
S710、获取任一位移标记点在指定时刻的挠度位移数据。
S720、基于多个位移标记点在指定时刻的挠度位移数据生成桥体位移数据。
其中,位移标记点是预先在斜拉桥的桥体上标记的用于测量斜拉桥主体结构(梁、桁架等受弯构件)的变形情况的测量点,也可以称为挠度测量点。
挠度位移数据可以用于表明斜拉桥的主体结构在动态和静态荷载作用下的变形情况。桥体位移数据可以是由多个位移标记点的挠度位移数据生成的序列(或者数列,或者一维向量)。
具体地,可以通过位移传感器或其他测量设备等对斜拉桥上的多个位移标记点分别进行监测,以用于捕捉任一位移标记点在不同时刻的挠度位移变化,得到任一位移标记点在指定时刻的挠度位移数据。根据获取到的多个位移标记点在指定时刻的挠度位移数据可以生成对应的序列,作为桥体位移数据。
在一些实施例中,可以通过测量位移标记点的运动轨迹来得到挠度位移数据。
示例性地,可以在斜拉桥桥体的多个底部挠度测量点做对应的标记,得到多个位移标记点,并可以在斜拉桥桥体底部安装多台桥体摄像机设备,用于分别拍摄多个位移标记点的运动轨迹。通过桥体摄像机设备拍摄得到视频图像,并可以将视频图像传输至数据处理主机,经过数据预处理与计算实现对各位移标记点的运动轨迹的追踪,以此准确测量斜拉桥桥体动态和静态下多个点位的挠度位移数据。
示例性地,还可以通过位移传感器测量或光学测量等方法对位移标记点的运动轨迹进行测量,具体不再赘述。
本说明书实施方式提供一种样本数据构建方法,参考图8所示,样本数据构建方法可以包括以下步骤。
S810、获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及斜拉桥在指定时段内的索力样本序列数据和位移样本序列数据。
其中,位置样本序列数据包括样本车辆在指定时刻的车辆位置样本数据;索力样本序列数据包括斜拉桥在指定时刻的拉索索力样本数据;位移样本序列数据包括斜拉桥在指定时刻的桥体位移样本数据;指定时刻是指定时段内的任一时刻。
S820、将位置样本序列数据、索力样本序列数据和位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,样本数据标注有重量标签;重量标签是根据样本车辆的重量数据生成的。
其中,样本车辆是重量已知的车辆,可以包括不同类型不同重量的多个车辆。
具体地,根据样本车辆行驶通过斜拉桥过程中的指定时段,将指定时段内的任一时刻作为指定时刻,以获取样本车辆在指定时刻的车辆位置样本数据,以及获取斜拉桥的拉索索力样本数据和桥体位移样本数据。
根据样本车辆在多个不同的指定时刻的车辆位置样本数据可以得到样本车辆在指定时段内的位置样本序列数据,根据斜拉桥在多个不同的指定时刻的拉索索力样本数据可以得到指定时段内的索力样本序列数据,以及根据斜拉桥在多个不同的指定时刻的桥体位移样本数据可以得到指定时段内的位移样本序列数据。将位置样本序列数据、索力样本序列数据和位移样本序列数据进行组合,可以得到用于训练车辆重量预测模型的样本数据。
根据样本车辆的重量数据生成样本车辆的重量标签,以用于在利用样本数据训练车辆重量预测模型时,基于车辆重量预测模型针对样本数据输出的重量预测数据和样本数据的重量标签对车辆重量预测模型的参数进行更新。
需要说明的是,关于上述实施方式中指定时段、指定时刻、位置样本序列数据、索力样本序列数据和位移样本序列数据的描述,请参考本说明书中关于车辆重量预测方法中的指定时段、指定时刻、位置序列数据、拉索索力序列数据和桥体位移序列数据的描述,具体这里不再赘述。
示例性地,将指定时刻记为时刻t,采集斜拉桥在车辆通过状态下在时刻t的m个斜拉索索力数据[s1(t),s2(t),…,sm(t)],作为拉索索力样本数据,并采集斜拉桥桥体底部l个挠度测量点的挠度位移数据[w1(t),w2(t),…,wl(t)],作为桥体位移样本数据。获取时刻t的n个样本车辆在斜拉桥坐标系下三个维度方向上的坐标[x1(t),x2(t),…,xn(t)]、[y1(t),y2(t),…,yn(t)]、[z1(t),z2(t),…,zn(t)],作为车辆位置样本数据。对获取的这些样本参数进行组合形成如下所示的新的参数向量(或者,参数数列),作为样本数据:
P(t)=[s1(t),…,sm(t),w1(t),…,wlt),x1(t),…,xn(t),y1(t),…,yn(t),z1(t),…,zn(t)]
同时,根据时刻t斜拉桥上通过的n个样本车辆的重量,可以生成对应的如下所示的重量参数向量(或者,重量参数数列),用于生成样本数据的重量标签:
Q(t)=[q1(t),q2(t),…,qn(t)]
按照这种方法,可以得到多个时刻下的样本数据及对应的重量标签。对这些数据进行数据清洗、去除异常值、归一化等预处理,并按照一定比例对样本数据及对应的重量标签进行划分,得到用于训练车辆重量预测模型的训练集和验证集。
需要说明的是,由于斜拉桥上不同时刻通过的车辆数量是一个变量,因此与样本车辆对应的不同时刻的位置坐标的数量以及归一化后的参数向量(即归一化后的样本数据和重量标签)的长度也是可变的。
可以理解的是,利用图像识别技术可以获取斜拉桥上过往车辆的车牌信息。因此,根据识别到的n个样本车辆的车牌信息,可以为每个样本车辆分配一个对应的标识号,以用于将获取的样本车辆在斜拉桥上的位置坐标与样本车辆进行对应,以及将样本车辆的重量与样本车辆进行对应。进一步地,由于斜拉桥上不同时刻的通行车辆的数量可能不同,因此,通过每个样本车辆对应的标识号,还可以将不同时刻识别到的同一样本车辆的相关数据进行对应,从而保证车辆信息的准确性和一致性。
本说明书实施方式提供一种车辆重量预测模型训练方法,参考图9a所示,车辆重量预测模型训练方法可以包括以下步骤。
S910、获取通过前述实施方式中的样本数据构建方法所构建的样本数据。
S920、将样本数据输入至车辆重量预测模型进行重量预测,得到样本车辆对应的重量预测数据。
S930、根据重量预测数据、样本数据被标注的重量标签对车辆重量预测模型进行更新,直至满足模型停止训练条件。
具体地,通过前述样本数据构建方法,可以得到构建完成的样本数据。根据车辆重量预测模型针对样本数据输出的重量预测数据和样本数据被标注的重量标签计算准确率、损失函数的损失值等模型的评价标准数据,来对车辆重量预测模型的参数进行训练和调整,直到最终训练得到的车辆重量预测模型的准确率、损失值等满足训练停止条件为止。
在一些实施例中,车辆重量预测模型为CNN-LSTM混合神经网络模型。
示例性地,通过在用于测试的斜拉桥的两侧通行方向上部署多辆各种类型、各种重量的样本车辆来模拟真实的车辆在斜拉桥上的通行场景,桥梁上需要部署加速度传感器与多个摄像头设备(包括车辆摄像机和桥体摄像机),用于采集和分析计算得到各个样本车辆的位置信息数据和斜拉桥的实时索力、挠度信息数据。
利用在上述斜拉桥环境下采集到的位置信息数据和斜拉桥的实时索力、挠度信息数据构建多个时刻下的样本数据P(t),以及根据样本车辆的重量生成对应的重量标签Q(t),以用于对CNN-LSTM混合神经网络模型进行训练。其中,参数向量P(t)作为模型的输入数据,Q(t)作为模型的目标输出数据。按照一定比例对样本数据及对应的重量标签进行划分,得到用于训练车辆重量预测模型的训练集和验证集,通过模型训练可以得到具有实时预测或估计桥梁上通行车辆的重量的功能的车辆重量预测模型。
在设计初始化的车辆重量预测模型时,可以通过构建CNN网络卷积层,用于提取输入的训练集中各传感器和摄像机采集的数据中的局部时序特征信息。卷积层中的滤波器可以对原始输入的参数向量进行卷积计算,以生成高维特征向量。同时,可以通过构建CNN网络池化层对卷积层提取出来的高维特征向量进行下采样操作,进一步优化特征向量的长度,提取主体特征。随后,将经过池化层处理后得到的数据进行拉平处理,形成一维特征向量,以用于作为LSTM网络结构的输入。
CNN网络提取出的一维特征向量需要被输入到具有多个存储器的LSTM网络中进行时序处理,以利用LSTM网络提取时序特征数列中的长期依赖关系,即需要将经过池化层下采样后得到的特征向量作为输入时序特征数列在LSTM网络中做进一步处理,以使LSTM网络最终输出维度与长度相对较小的车辆重量数列,作为重量预测数据。
对初始化的CNN-LSTM网络模型进行训练时,选择上述提到的输入与输出向量训练集对网络结构进行训练,并利用损失函数更新网络结构中的权重系数直至收敛。此处可以选用在自然语言处理领域常用的Adam优化器,用于自动调节学习率,提高训练效果,并可以选用HuberLoss损失函数作为用于评价模型的预测效果的损失函数,该损失函数可以同时满足在模型鲁棒性与快速收敛方面的需求。Huber Loss损失函数的公式如下式所示:
其中,Lδ(y,f(x))表示损失函数的计算结果;y表示真实值,即样本车辆的真实重量;f(x)表示预测值,即模型预测得到的样本车辆的重量;δ表示用于调节损失函数精度与收敛速度的超参数,此处可以选用超参数δ=0.1。
将完成训练的CNN-LSTM神经网络模型作为在斜拉桥上通过的车辆的重量预测模型。参考图9b所示,利用完成训练的CNN-LSTM神经网络模型对斜拉桥上的通行车辆进行超载监测的流程可以包括:
首先,获取斜拉桥上通行的n个车辆在时刻t的实时坐标得到实时坐标向量(即n个车辆的车辆位置数据)[x1′(t),x2′(t),…,xn′(t)]、[y1′(t),y2′(t),…,yn′(t)]、和[z1′(t),z2′(t),…,zn′(t)],获取斜拉桥上m个斜拉索在时刻t的实时加速度得到斜拉桥索力向量(即拉索索力数据)[s1′(t),s2′(t),…,sm′(t)]以及l个挠度测量点的挠度向量(即桥体位移数据)[w1′(t),w2′(t),…,wl′(t)]。将实时坐标向量、斜拉桥索力向量和挠度向量结合为新的参数向量,即可得到CNN-LSTM神经网络模型的输入数据为:
P′(t)=[s1′(t),…,sm′(t),w1′(t),…,wl′(t),x1′(t),…,xn′(t),y1(t),…,yn′(t),z1′(t),…,zn′(t)]
CNN-LSTM神经网络模型的卷积层可以根据输入的多个时刻的参数向量进行局部特征提取,以提取输入数据的局部时序特征,并经过池化层进一步提取输入数据中的主体特征,以对特征向量的长度进行优化。然后通过模型的拉平层对主体特征进行拉平处理,以将主体特征转化为一维特征向量,作为LSTM网络的输入向量,并利用LSTM网络提取特征的长期依赖关系,得到长期时序特征。CNN-LSTM神经网络模型根据提取到的长期时序特征对n个车辆的重量进行预测,输出车辆重量向量。针对n个车辆中的任一车辆,可以将车辆重量向量中该车辆对应的预测重量与事先获取的该车辆的车重阈值信息进行比较,以得到该车辆的超载信息。
由此,通过车辆摄像机获取斜拉桥上通过车辆的视频图像数据,通过目标识别与坐标系变换计算得到斜拉桥通过车辆的实时位置坐标,并将车辆的实时位置坐标与桥梁斜拉索索力数据以及挠度位移数据相结合,共同作为CNN-LSTM模型的输入。经过CNN-LSTM模型进行数据时序特征与长期依赖关系提取后,即可对斜拉桥通行车辆的重量进行高精度预测,也就可以实现斜拉桥通行车辆的超载预警。
可以理解的是,上述时刻t与样本数据中的时刻t并不相同,且n个车辆与n个样本车辆并不相同。
在实际应该用场景中,利用图像处理的方法可以识别得到在斜拉桥上通行的车辆车牌信息。由于通过交管部门的相关数据库可以将车辆车牌信息与车辆型号、满载质量、及尺寸数据直接对应,因此可以直接通过摄像机采集到的图像数据得到在斜拉桥上通行的车辆的相关信息。车辆重量预测模型输出的各个车辆的预测重量可以与对应车型的超载限重进行对比,从而判断对应的车辆是否发生超载状况。在预测发生超载状况的情况下可以进一步向交管部门发送车辆信息与报警信号,以配合交管部门对可能发生超载的车辆实施拦截与超载二次验证,以此实现斜拉桥上超载车辆的实时监测与预警,在较大程度上保障桥梁道路交通秩序,避免由车辆超载现象引起的社会与人员事故。
本说明书实施方式提供一种车辆重量预测装置,参考图10所示,车辆重量预测装置1000可以包括:序列数据获取模块1010、时序特征获取模块1020、车辆重量预测模块1030。
序列数据获取模块1010,用于获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及指定时段内的拉索索力序列数据和桥体位移序列数据;其中,位置序列数据包括目标车辆在指定时刻的车辆位置数据;拉索索力序列数据包括斜拉桥在指定时刻的拉索索力数据;桥体位移序列数据包括斜拉桥在指定时刻的桥体位移数据;指定时刻是指定时段内的任一时刻。
时序特征获取模块1020,用于基于位置序列数据、拉索索力序列数据和桥体位移序列数据进行特征提取,得到长期时序特征;其中,长期时序特征用于描述位置序列数据、拉索索力序列数据和桥体位移序列数据之间的长期依赖关系。
车辆重量预测模块1030,用于根据长期时序特征对目标车辆进行重量预测,得到目标车辆的重量。
本说明书实施方式提供一种样本数据构建装置,参考图11所示,样本数据构建装置1100可以包括:样本序列获取模块1110、样本序列组合模块1120。
样本序列获取模块1110,用于获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及斜拉桥在指定时段内的索力样本序列数据和位移样本序列数据;其中,位置样本序列数据包括样本车辆在指定时刻的车辆位置样本数据;索力样本序列数据包括斜拉桥在指定时刻的拉索索力样本数据;位移样本序列数据包括斜拉桥在指定时刻的桥体位移样本数据;指定时刻是指定时段内的任一时刻。
样本序列组合模块1120,用于将位置样本序列数据、索力样本序列数据和位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,样本数据标注有重量标签;重量标签是根据样本车辆的重量数据生成的。
本说明书实施方式还提供一种车辆重量预测模型训练装置,参考图12所示,车辆重量预测模型训练装置1200可以包括:样本数据获取模块1210、预测数据获取模块1220、预测模型更新模块1230。
样本数据获取模块1210,用于获取通过前述实施方式中的样本数据构建方法所构建的样本数据。
预测数据获取模块1220,用于将样本数据输入至车辆重量预测模型进行重量预测,得到样本车辆对应的重量预测数据。
预测模型更新模块1230,用于根据重量预测数据、样本数据被标注的重量标签对车辆重量预测模型进行更新,直至满足模型停止训练条件。
关于车辆重量预测装置的具体限定可以参见上文中对于车辆重量预测方法的限定,关于样本数据构建装置的具体限定可以参见上文中对于样本数据构建方法的限定,关于车辆重量预测模型训练装置的具体限定可以参见上文中对于车辆重量预测模型训练方法的限定,在此不再赘述。上述车辆重量预测装置、样本数据构建装置、车辆重量预测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本说明书实施方式还提供一种计算机设备,参考图13所示,计算机设备1300包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1330,处理器1320执行计算机程序1330时,实现前述任一项实施方式中的车辆重量预测方法,和/或,样本数据构建方法,和/或,车辆重量预测模型训练方法。
本说明书实施方式还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现前述任一项实施方式中的车辆重量预测方法,和/或,样本数据构建方法,和/或,车辆重量预测模型训练方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种车辆重量预测方法,其特征在于,所述方法包括:
获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及所述指定时段内的拉索索力序列数据和桥体位移序列数据;其中,所述位置序列数据包括所述目标车辆在指定时刻的车辆位置数据;所述拉索索力序列数据包括所述斜拉桥在所述指定时刻的拉索索力数据;所述桥体位移序列数据包括所述斜拉桥在所述指定时刻的桥体位移数据;所述指定时刻是所述指定时段内的任一时刻;
基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征;其中,所述长期时序特征用于描述所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据之间的长期依赖关系;
根据所述长期时序特征对所述目标车辆进行重量预测,得到所述目标车辆的重量。
2.根据权利要求1所述的方法,所述基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征,包括:
将所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据输入至车辆重量预测模型中的特征提取网络进行局部特征提取,得到局部时序特征;其中,所述局部时序特征用于描述在局部时间段内所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据表现出的模式和规律;所述局部时间段是所述指定时段内的任一时间段;
将所述局部时序特征输入至所述车辆重量预测模型中的依赖关系提取网络进行长期依赖关系提取,得到所述长期时序特征;其中,所述车辆重量预测模型用于对所述目标车辆进行重量预测。
3.根据权利要求1所述的方法,其特征在于,所述斜拉桥对应有斜拉桥坐标系;所述车辆位置数据是所述目标车辆在所述斜拉桥坐标系中的位置数据;通过以下方式获取所述车辆位置数据:
获取在所述指定时刻拍摄得到的所述目标车辆的车辆图像;其中,所述车辆图像对应有像素坐标系;
确定所述目标车辆在所述像素坐标系中的图像位置数据;
将所述图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据。
4.根据权利要求3所述的方法,其特征在于,所述目标车辆的数量为多个;所述将所述目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据,包括:
将任一目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述任一目标车辆的任一车辆位置数据;其中,所述车辆位置数据包括所述任一车辆位置数据。
5.根据权利要求3所述的方法,其特征在于,所述斜拉桥上设置有车辆摄像机,所述车辆图像是根据所述车辆摄像机在所述指定时段内拍摄的所述目标车辆在所述斜拉桥上行驶的车辆行驶视频得到的。
6.根据权利要求5所述的方法,其特征在于,所述车辆摄像机对应有摄像机坐标系;所述将所述目标车辆在所述像素坐标系中的图像位置数据转换至所述斜拉桥坐标系下,得到所述车辆位置数据,包括:
根据所述车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述摄像机坐标系中的摄像机坐标数据;
基于所述摄像机坐标系和所述斜拉桥坐标系之间的坐标系映射关系对所述摄像机坐标数据进行转换,得到所述车辆位置数据;其中,所述坐标系映射关系是根据所述车辆摄像机在所述斜拉桥上的设置位置和朝向对所述车辆摄像机进行外部参数标定得到的。
7.根据权利要求6所述的方法,其特征在于,所述车辆摄像机的数量为多个,所述车辆图像的数量为多个,多个车辆摄像机与多个车辆图像一一对应;针对所述多个车辆图像中的指定车辆图像,所述图像位置数据是在所述指定车辆图像对应的像素坐标系中的位置数据;所述根据所述车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述摄像机坐标系中的摄像机坐标数据,包括:
根据指定车辆摄像机的内部参数对所述图像位置数据进行转换,得到所述目标车辆在所述指定车辆摄像机对应的指定摄像机坐标系中的第一坐标数据;其中,所述指定车辆图像是由所述指定车辆摄像机拍摄得到的;所述摄像机坐标系包括所述指定摄像机坐标系;所述摄像机坐标数据包括所述第一坐标数据。
8.根据权利要求7所述的方法,其特征在于,所述基于所述摄像机坐标系和所述斜拉桥坐标系之间的坐标系映射关系对所述摄像机坐标数据进行转换,得到所述车辆位置数据,包括:
基于所述指定摄像机坐标系和所述斜拉桥坐标系之间的指定映射关系对所述第一坐标数据进行转换,得到所述目标车辆在所述斜拉桥坐标系中的第二坐标数据;其中,所述坐标系映射关系包括所述指定映射关系;
根据所述目标车辆在所述斜拉桥坐标系中的多个第二坐标数据进行拟合处理,得到所述车辆位置数据。
9.根据权利要求1所述的方法,其特征在于,所述斜拉桥具有多个拉索;通过以下方式获取所述斜拉桥在所述指定时刻的拉索索力数据:
获取所述斜拉桥的任一拉索在所述指定时刻的张力数据;
基于所述多个拉索在所述指定时刻的张力数据生成所述拉索索力数据。
10.根据权利要求1所述的方法,其特征在于,所述斜拉桥的桥体设置有多个位移标记点;通过以下方式获取所述斜拉桥在所述指定时刻的桥体位移数据:
获取任一位移标记点在所述指定时刻的挠度位移数据;
基于所述多个位移标记点在所述指定时刻的挠度位移数据生成所述桥体位移数据。
11.一种样本数据构建方法,其特征在于,所述方法包括:
获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及所述斜拉桥在所述指定时段内的索力样本序列数据和位移样本序列数据;其中,所述位置样本序列数据包括所述样本车辆在指定时刻的车辆位置样本数据;所述索力样本序列数据包括所述斜拉桥在所述指定时刻的拉索索力样本数据;所述位移样本序列数据包括所述斜拉桥在所述指定时刻的桥体位移样本数据;所述指定时刻是所述指定时段内的任一时刻;
将所述位置样本序列数据、所述索力样本序列数据和所述位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,所述样本数据标注有重量标签;所述重量标签是根据所述样本车辆的重量数据生成的。
12.一种车辆重量预测模型训练方法,其特征在于,所述方法包括:
获取通过权利要求11所述的方法所构建的样本数据;
将所述样本数据输入至车辆重量预测模型进行重量预测,得到所述样本车辆对应的重量预测数据;
根据所述重量预测数据、所述样本数据被标注的重量标签对所述车辆重量预测模型进行更新,直至满足模型停止训练条件。
13.一种车辆重量预测装置,其特征在于,所述装置包括:
序列数据获取模块,用于获取斜拉桥上的目标车辆在指定时段内的位置序列数据,以及所述指定时段内的拉索索力序列数据和桥体位移序列数据;其中,所述位置序列数据包括所述目标车辆在指定时刻的车辆位置数据;所述拉索索力序列数据包括所述斜拉桥在所述指定时刻的拉索索力数据;所述桥体位移序列数据包括所述斜拉桥在所述指定时刻的桥体位移数据;所述指定时刻是所述指定时段内的任一时刻;
时序特征获取模块,用于基于所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据进行特征提取,得到长期时序特征;其中,所述长期时序特征用于描述所述位置序列数据、所述拉索索力序列数据和所述桥体位移序列数据之间的长期依赖关系;
车辆重量预测模块,用于根据所述长期时序特征对所述目标车辆进行重量预测,得到所述目标车辆的重量。
14.一种样本数据构建装置,其特征在于,所述装置包括:
样本序列获取模块,用于获取斜拉桥上的样本车辆在指定时段内的位置样本序列数据,以及所述斜拉桥在所述指定时段内的索力样本序列数据和位移样本序列数据;其中,所述位置样本序列数据包括所述样本车辆在指定时刻的车辆位置样本数据;所述索力样本序列数据包括所述斜拉桥在所述指定时刻的拉索索力样本数据;所述位移样本序列数据包括所述斜拉桥在所述指定时刻的桥体位移样本数据;所述指定时刻是所述指定时段内的任一时刻;
样本序列组合模块,用于将所述位置样本序列数据、所述索力样本序列数据和所述位移样本序列数据进行组合,得到用于训练车辆重量预测模型的样本数据;其中,所述样本数据标注有重量标签;所述重量标签是根据所述样本车辆的重量数据生成的。
15.一种车辆重量预测模型训练装置,其特征在于,所述装置包括:
样本数据获取模块,用于获取通过权利要求11所述的方法所构建的样本数据;
预测数据获取模块,用于将所述样本数据输入至车辆重量预测模型进行重量预测,得到所述样本车辆对应的重量预测数据;
预测模型更新模块,用于根据所述重量预测数据、所述样本数据被标注的重量标签对所述车辆重量预测模型进行更新,直至满足模型停止训练条件。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202311688113.0A 2023-12-07 2023-12-07 车辆重量预测、样本数据构建、模型训练方法及装置 Pending CN117746288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311688113.0A CN117746288A (zh) 2023-12-07 2023-12-07 车辆重量预测、样本数据构建、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311688113.0A CN117746288A (zh) 2023-12-07 2023-12-07 车辆重量预测、样本数据构建、模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN117746288A true CN117746288A (zh) 2024-03-22

Family

ID=90251921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311688113.0A Pending CN117746288A (zh) 2023-12-07 2023-12-07 车辆重量预测、样本数据构建、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN117746288A (zh)

Similar Documents

Publication Publication Date Title
Khuc et al. Computer vision-based displacement and vibration monitoring without using physical target on structures
Tian et al. Noncontact cable force estimation with unmanned aerial vehicle and computer vision
Ali et al. Real-time multiple damage mapping using autonomous UAV and deep faster region-based neural networks for GPS-denied structures
CN109341903B (zh) 一种基于计算机视觉中边缘识别的拉索索力测量方法
CN108692719B (zh) 物体检测装置
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
US20230083004A1 (en) Method of monitoring health status of bridges in normal traffic conditions
KR101966666B1 (ko) 교량의 내하력 평가 장치 및 방법
US20220383478A1 (en) Computer vision-based system and method for assessment of load distribution, load rating, and vibration serviceability of structures
CN113252051A (zh) 一种地图构建方法及装置
Yu et al. Camera-radar data fusion for target detection via Kalman filter and Bayesian estimation
CN115808324A (zh) 一种中小跨径桥梁轻量化安全管理监测方法及系统
Wang et al. Target-free recognition of cable vibration in complex backgrounds based on computer vision
Wang et al. Completely non-contact modal testing of full-scale bridge in challenging conditions using vision sensing systems
Debus et al. Multi-scale flight path planning for UAS building inspection
US20090226094A1 (en) Image correcting device and method, and computer program
Zhu et al. Fine-grained identification of vehicle loads on bridges based on computer vision
US20230314169A1 (en) Method and apparatus for generating map data, and non-transitory computer-readable storage medium
CN117746288A (zh) 车辆重量预测、样本数据构建、模型训练方法及装置
Khuc Computer vision based structural identification framework for bridge health mornitoring
Kye et al. Feasibility study for the fine crack width estimation of concrete structures based on fiducial markers
CN116433755B (zh) 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination