CN107634864A - 一种用于公路网级桥梁的高频数据实时采集传输方法 - Google Patents

Abstract

本发明涉及一种用于公路网级桥梁的高频数据实时采集传输方法，与现有技术相比解决了高频数据无法有针对性地实时优先传输的缺陷。本发明包括以下步骤：创建基于监测元的桥梁监测点分布模型；对监测元的监测优先级进行赋值；动态计算数据上报通道；数据实时传输，根据建立的数据传输通道，进行数据实时动态上报传输。本发明对桥梁各类高频采集的传感器数据上报进行优先级划分，优先传输重要关键采集数据信息，并动态计算数据上报通道，获得空闲、带宽大的传输通道，将关键采集数据信息通过空闲通道进行上传，以实现高频数据的实时传输。

Description

一种用于公路网级桥梁的高频数据实时采集传输方法

技术领域

本发明涉及数据传输技术领域，具体来说是一种用于公路网级桥梁的高频数据实时采集传输方法。

背景技术

目前，中国公路网级桥梁已达70多万座，绝大部分桥梁的安全运营问题日趋严峻，甚至部分桥梁出现严重损坏和重大交通事故。2007年和2013年，中国交通运输部相继出台了《公路桥梁养护管理工作制度》和《交通运输部关于进一步加强公路桥梁养护管理的若干意见》等规范制度，来进一步提升中国公路网级桥梁的安全监测、预警分析和养护管理水平和效率。

随着中国在智能化、物联网和大数据领域的不断重视和投入力度，特别是涉及到民生及公共基础安全领域。公路网级桥梁是各级公路基础设施中监管重点，而数字化、数据化、智能化监管运营是各级政府及运营单位进行监管运营最为有效的手段，对中国交通现代化发展的影响极为重大。同时，数字化、数据化、智能化的桥梁监管运营中，数据的精确采集、实时上报又是非常重要的基础环节。因此，基于公路网级桥梁数据采集监测实时上报与桥梁物联网的建设是密不可分的。

公路网级桥梁数据采集监测具有多样化、复杂化、高频化特点，特别是振动类传感器的数据高频(50-100Hz)采集上报，在实际应用中具有较大的难度。一是其数据传输链路的不稳定性、二是数据分发的不确定性，导致公路网级桥梁数据采集的频率高。而在应用时，公路网级桥梁数据中部分数据为关键的监测数据、部分数据为普通的监测数据(如温度、湿度)，致使出现关键监测点数据无法及时上传、非关键监测点数据频繁上传阻碍传输通道、占用传输速率的情况，导致物联网平台化监测、预警分析不够及时准确，存在严重的时间滞后性现象。

因此，如何研究出一种针对于高频数据进行有针对性的有效传输方法已经成急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中高频数据无法有针对性地实时优先传输的缺陷，提供一种用于公路网级桥梁的高频数据实时采集传输方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于公路网级桥梁的高频数据实时采集传输方法，包括以下步骤：

创建基于监测元的桥梁监测点分布模型，根据桥梁监测设计各项监测指标及类型确定监测元，构建出若干个桥梁监测元，通过若干个桥梁监测元组成桥梁的监测点分布模型；

对监测元的监测优先级进行赋值，结合桥梁设计专家经验值变量区间对所有监测元模型采集数据上报优先级指数P进行赋值；

动态计算数据上报通道，根据监测元的监测优先级来选择数据传输通道并建立数据传输通道；

数据实时传输，根据建立的数据传输通道，进行数据实时动态上报传输。

所述的创建基于监测元的桥梁监测点分布模型包括以下步骤：

依据桥梁监测设计指标统计出监测点的监测类型、数据采集频率、监测优先级；

将每一个监测点虚拟为一个监测元模型进行建模，监测元模型包括：数据部分d、采集频率f和采集数据上报优先级指数P；

标识监测元模型，给监测元标识身份ID；

单个监测元模型截面数据流量的计算，以每秒截面流量为单位，计算单个监测元模型截面数据流量，单个监测元模型截面数据流量单位为字节，其计算公式如下：

单个监测元截面数据流量d＝单个监测元变量字节数x1000÷f，

其中，f为采集频率。

所述的对监测元的监测优先级进行赋值包括以下步骤：

获取桥梁设计专家经验值变量r区间，经验值变量r区间为(0,1]，1为重点监测元模型，0为最低监测元模型或无需监测元模型；

根据桥梁设计专家经验值变量区间设定采集数据上报优先级指数P，采集数据上报优先级指数P分为高、中、低。

所述的动态计算数据上报通道包括以下步骤：

计算采集数据上报通道数量S及每个通道带宽F(m,n)，其计算公式如下：

S＝Z÷∑(N_i×d_i)，

F(m,n)＝{Z÷∑(N_i×d_i÷r_i)}×m，i＝1、2、…、n，

其中，Z为网络总带宽，m是迭代优化次数，“{}”在此处代表迭代符号，N_i代表监测元域及同类监测元数量，d_i代表监测元的截面数据流量，r_i为监测元i的经验值变量，i代表第i个监测元；

确立每个通道数据上报频度E，其计算如下：

E＝{Q÷∑d_i}×p，

其中，Q为数据管束数据量，P为采集数据上报优先级指数；

数据管束，建立多个临时存放数据的管道集合，其步骤如下：

根据采集数据上报优先级指数P划分数据管束；

创建数据管束；

调度相近监测优先级监测元数据到相应的数据管束；

通道和数据管束确定后，根据网络控制堵塞及数据碰撞优化法建立数据传输通道。

所述的根据网络控制堵塞及数据碰撞优化法建立数据传输通道包括以下步骤：

向待传输数据的目标主机发送ping命令，获取网络响应参数；

根据获取的不同目标主机网络响应参数进行迭代路由优化，将网络速度稳定、响应快且丢包数小的路由路径作为最佳路由路径；

优化TCP传输参数，调用操作系统底层接口函数进行TCP参数设置，其包括以下步骤：

设定应答响应频率，根据检测的网络响应设定应答响应频率，应答响应频率的范围为1-13；

设定TCP控制块，TCP控制块设定范围为1到65536，将TCP控制块设定为处理器核心数的2-4倍；

动态设置回环时间，设定发送端和接收端往返通信所需的时间，提高TCP三次握手成功率；

向目标主机发送TCP三次握手请求，确立TCP数据包序列号；

优化TCP ACK机制，建立数据传输通道，通过TCP报文到达确认机制对于不属于自己处理范畴的序列号数据包进行过滤。

有益效果

本发明的一种用于公路网级桥梁的高频数据实时采集传输方法，与现有技术相比对桥梁各类高频采集(50-100Hz)的传感器数据上报进行优先级划分，优先传输重要关键采集数据信息，并动态计算数据上报通道，获得空闲、带宽大的传输通道，将关键采集数据信息通过空闲通道进行上传，以实现高频数据的实时传输。

本发明解决了公路网级桥梁数据采集监测多样化、复杂化、高频化特

点，为基于公路网级桥梁物联网平台监测、预警分析及桥梁健康分析提供基础数据，减少了桥端现场监测、勘测复杂度和施工成本，有利于提升公路网级桥梁公共基础设施监测监管效率。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种用于公路网级桥梁的高频数据实时采集传输方法，包括以下步骤：

第一步，创建基于监测元的桥梁监测点分布模型。根据桥梁监测设计各项监测指标及类型确定监测元，即将根据桥梁的设计在其关键部位加装的传感器作为监测元，监测元的具体安装位置是桥梁的建设特性决定的，由此构建出若干个桥梁监测元。通过多个桥梁监测元组成桥梁的监测点分布模型，后期则针对这些监测点分布模型进行优先级分析、通道优先选择，以实现高频数据的实时传输。其具体步骤如下：

(1)依据桥梁监测设计指标统计出监测点的监测类型、数据采集频率、监测优先级，通过桥梁建设特性，获得监测点(传感器)的相关属性、指标。

(2)将每一个监测点虚拟为一个监测元模型进行建模。

监测元模型包括：数据部分d、采集频率f和采集数据上报优先级指数P。数据部分为监测点的实际监测内容，采集频率为此监测点的采集频次，采集数据上报优先级指数为此监测点上传的优先级。例如，像桥梁上的温、湿度传感器，其采集频率无需太高，一天几次即可，同理，其采集数据上报优先级指数也比较低，因为温、湿度的变化对桥梁安全性的影响较小。

(3)标识监测元模型，给监测元标识身份ID，便于对监测元的特定属性信息进行绑定。

(4)单个监测元模型截面数据流量的计算。通过计算单个监测元截面数据流量，可以为后面的数据管道带宽计算做准备，即每秒(1秒＝1000毫秒)产生的的字节数。如果某个监测元数据采集频率为50Hz，监测元每来一个信号变量数据(浮点数据：8个字节)占用8个字节，8x1000÷50＝160个字节，这样后续就可以计算某个传输通道每秒要传输这个监测元多少个字节。

以每秒截面流量为单位，计算单个监测元模型截面数据流量d，单个监测元模型截面数据流量d的单位为字节，其计算公式如下：

单个监测元截面数据流量d＝单个监测元变量字节数x1000÷f，

其中，f为采集频率。

第二步，对监测元的监测优先级进行赋值。结合桥梁设计专家经验值变量区间对所有监测元模型采集数据上报优先级指数P进行赋值。通过桥梁专家根据桥梁的结构特性、位置特性对监测元进行评估，将不同的监测元进行监测等级划分，比如关键点的监测元等级为1，次关键为0.8，以此类推，由于监测元已经确定，根据其桥梁结构、位置等特性就能够标定监测元的优先级，同时监测元的优先级也可以根据后续监测过程进行调整。其具体步骤如下：

(1)获取桥梁设计专家经验值变量r区间，经验值变量r区间为(0,1]，1为重点监测元模型，0为最低监测元模型或无需监测元模型；

(2)根据桥梁设计专家经验值变量区间设定采集数据上报优先级指数P，采集数据上报优先级指数P分为高、中、低，在实际计算中，可以将高、中、低转换成相隔较大的数值体现，如100、50、10的数值表示。

第三步，动态计算数据上报通道，根据监测元的监测优先级来选择数据传输通道并建立数据传输通道。在此，根据监测元优先级来选择数据传输通道，即优先级高的优先上报，如果传输管道不够，其他的传输管道数据传输则让出，同时修改传输管道的上报优先级，达到动态实时调整，以提供监测优先级高的数据上报的实时性。其具体步骤如下：

(1)计算采集数据上报通道数量S及每个通道带宽F(m,n)，其计算公式如下：

S＝Z÷∑(N_i×d_i)，

F(m,n)＝{Z÷∑(N_i×d_i÷r_i)}×m，i＝1、2、…、n，

其中，Z为网络总带宽，m是迭代优化次数，“{}”在此处代表迭代符号，N_i代表监测元域及同类监测元数量，d_i代表监测元的截面数据流量，r_i为监测元i的经验值变量，i代表第i个监测元。

(2)确立每个通道数据上报频度E，其计算如下：

E＝{Q÷∑d_i}×p，

其中，Q为数据管束数据量，P为采集数据上报优先级指数。

(3)数据管束，建立多个临时存放数据的管道集合。数据管束是存放采集数据的内存管道池，是根据监测元域数量和数据采集频率确定，数据管束吞吐量受采集数据量的级别决定，采集数据量越大，数据管束吞吐量越大，以此进一步提高传输效率。其具体要求步骤如下：

A、根据采集数据上报优先级指数P划分数据管束；

B、创建数据管束；

C、调度相近监测优先级监测元数据到相应的数据管束；

D、通道和数据管束确定后，根据网络控制堵塞及数据碰撞优化法建立数据传输通道。网络控制堵塞及数据碰撞优化法(OCBI-Optimize for Controlling data Block andImpact)用于建立数据传输通道。OCBI原理主要是在TCP协议基础上基于Ping机制、实时速率以及ACK机制建立起来的数据实时传输通道，优化了传统的路由协议。根据OCBI及通道数量建立数据传输总线，根据不同数据管束数据吞吐量系统调度数据传输总线中的不同通道进行数据分发。

根据网络控制堵塞及数据碰撞优化法建立数据传输通道包括以下步骤：

A、向待传输数据的目标主机发送ping命令，获取网络响应参数。利用操作系统ping要进行数据传输的目标主机，获取响应时间，网络速度及丢包数等网络响应参数。

B、根据获取的不同目标主机网络响应参数进行迭代路由优化，将网络速度稳定、响应快且丢包数小的路由路径作为最佳路由路径(网络速度稳定且丢包数小的路由路径)。

C、优化TCP传输参数(TCP数据段、回环时间以及单个连接的TCP控制块和TCP应答开销)，调用操作系统底层接口函数进行TCP参数设置。其包括以下步骤：

先设定应答响应频率，根据检测的网络响应设定应答响应频率，应答响应频率的范围为1-13，在此网络速度越快，其值相应设置大些，该值的范围1-13，如100兆对应5,1000兆对应12，其目的是增加更大数据量的传输和提高网络吞吐量和性能；

再设定TCP控制块，TCP控制块设定范围为1到65536，将TCP控制块设定为处理器核心数的2-4倍，对性能好的计算机系统，TCP控制块设置大些，以确保有足够的预置的TCB，该值的范围是从1到65536，因此建议设为处理器核心数的2-4倍；

最后动态设置回环时间，即发送端和接收端往返通信所需的时间。设定发送端和接收端往返通信所需的时间，提高TCP三次握手成功率。

D、向目标主机发送TCP三次握手请求，确立TCP数据包序列号(SN)；

E、优化TCP ACK机制，建立数据传输通道，通过TCP报文到达确认机制对于不属于自己处理范畴的序列号数据包进行过滤。TCP的报文到达确认(ACK)，是对接收到的数据的最高序列号的确认，并向发送端返回一个下次接收时期望的TCP数据包的序列号(AckNumber)。例如，主机A发送的当前数据序号是400，数据长度是100，则接收端收到后会返回一个确认号是501的确认号给主机A。TCP提供的这种确认机制，在通信过程中可以不对每一个TCP数据包发出单独的确认包(Delayed ACK机制)，而是在传送数据时，顺便把确认信息传出，这样可以大大提高网络的利用率和传输效率。

第四步，数据实时传输。根据建立的数据传输通道，进行数据实时动态上报传输。进入数据传输总线中的数据进行压缩后上传桥梁物联网数据监测运营平台进行相关业务处理(预警分析、运营决策等)。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种用于公路网级桥梁的高频数据实时采集传输方法，其特征在于，包括以下步骤：

11)创建基于监测元的桥梁监测点分布模型，根据桥梁监测设计各项监测指标及类型确定监测元，构建出若干个桥梁监测元，通过若干个桥梁监测元组成桥梁的监测点分布模型；

12)对监测元的监测优先级进行赋值，结合桥梁设计专家经验值变量区间对所有监测元模型采集数据上报优先级指数P进行赋值；

13)动态计算数据上报通道，根据监测元的监测优先级来选择数据传输通道并建立数据传输通道；

14)数据实时传输，根据建立的数据传输通道，进行数据实时动态上报传输。

2.根据权利要求1所述的一种用于公路网级桥梁的高频数据实时采集传输方法，其特征在于，所述的创建基于监测元的桥梁监测点分布模型包括以下步骤：

21)依据桥梁监测设计指标统计出监测点的监测类型、数据采集频率、监测优先级；

22)将每一个监测点虚拟为一个监测元模型进行建模，监测元模型包括：数据部分d、采集频率f和采集数据上报优先级指数P；

23)标识监测元模型，给监测元标识身份ID；

24)单个监测元模型截面数据流量的计算，以每秒截面流量为单位，计算单个监测元模型截面数据流量d，单个监测元模型截面数据流量d的单位为字节，其计算公式如下：

单个监测元截面数据流量d＝单个监测元变量字节数x1000÷f，

其中，f为采集频率。

3.根据权利要求1所述的一种用于公路网级桥梁的高频数据实时采集传输方法，其特征在于，所述的对监测元的监测优先级进行赋值包括以下步骤：

31)获取桥梁设计专家经验值变量r区间，经验值变量r区间为(0,1]，1为重点监测元模型，0为最低监测元模型或无需监测元模型；

32)根据桥梁设计专家经验值变量区间设定采集数据上报优先级指数P，采集数据上报优先级指数P分为高、中、低。

4.根据权利要求1所述的一种用于公路网级桥梁的高频数据实时采集传输方法，其特征在于，所述的动态计算数据上报通道包括以下步骤：

41)计算采集数据上报通道数量S及每个通道带宽F(m,n)，其计算公式如下：

S＝Z÷∑(N_i×d_i)，

F(m,n)＝{Z÷∑(N_i×d_i÷r_i)}×m，i＝1、2、…、n，

其中，Z为网络总带宽，m是迭代优化次数，“{}”在此处代表迭代符号，N_i代表监测元域及同类监测元数量，d_i代表监测元的截面数据流量，r_i为监测元i的经验值变量，i代表第i个监测元；

42)确立每个通道数据上报频度E，其计算如下：

E＝{Q÷∑d_i}×p，

其中，Q为数据管束数据量，P为采集数据上报优先级指数；

43)数据管束，建立多个临时存放数据的管道集合，其步骤如下：

431)根据采集数据上报优先级指数P划分数据管束；

432)创建数据管束；

433)调度相近监测优先级监测元数据到相应的数据管束；

44)通道和数据管束确定后，根据网络控制堵塞及数据碰撞优化法建立数据传输通道。

5.根据权利要求4所述的一种用于公路网级桥梁的高频数据实时采集传输方法，其特征在于，所述的根据网络控制堵塞及数据碰撞优化法建立数据传输通道包括以下步骤：

51)向待传输数据的目标主机发送ping命令，获取网络响应参数；

52)根据获取的不同目标主机网络响应参数进行迭代路由优化，将网络速度稳定、响应快且丢包数小的路由路径作为最佳路由路径；

53)优化TCP传输参数，调用操作系统底层接口函数进行TCP参数设置，其包括以下步骤：

531)设定应答响应频率，根据检测的网络响应设定应答响应频率，应答响应频率的范围为1-13；

532)设定TCP控制块，TCP控制块设定范围为1到65536，将TCP控制块设定为处理器核心数的2-4倍；

533)动态设置回环时间，设定发送端和接收端往返通信所需的时间，提高TCP三次握手成功率；

54)向目标主机发送TCP三次握手请求，确立TCP数据包序列号；

55)优化TCP ACK机制，建立数据传输通道，通过TCP报文到达确认机制对于不属于自己处理范畴的序列号数据包进行过滤。