CN109460401B - 一种智能化的盾构tbm数据采集与补全方法 - Google Patents

Abstract

本发明公开了一种盾构TBM掘进过程中对盾构TBM设备进行远程监控的智能化的数据采集与补全方法，主要包括盾构TBM采集算法，采集参数阈值算法和关键数据补全方法三部分，实现了在减少盾构TBM数据采集频率的情况下，确保采集数据有效性和完整性，解决了盾构TBM数据采集完整性和数据量的最优比，过滤了无用数据，节省了数据中心数据传输带宽，硬盘存储容量，服务器的数量，减轻了数据中心数据查询以及大数据分析和挖掘的压力。提高大数据分析的效率，同时使用高鲁棒性的算法，来计算采集参数的阈值，剔除少量异常数据对阈值计算的干扰，对盾构TBM关键数据补全，提高数据的完整性和可用性。

Description

一种智能化的盾构TBM数据采集与补全方法

技术领域

本发明涉及盾构TBM施工信息化领域，特别是涉及使用一种智能化的盾构TBM数据采集与补全方法来采集和处理盾构TBM设备的实时数据。

背景技术

近年来，国家基建隧道建设规模持续增加，国家一批超大、超埋深、水下高风险隧道及小间距，大坡度等复杂线性隧道也越来趋向盾构法施工。工程项目的广泛分布给盾构TBM施工统一管理、设备及时调度、工程风险管控、企业重大决策等增加了很大的难度。但是由于盾构TBM信息化管理处于研究阶段，盾构TBM数据采集受到带宽、存储的影响，不允许进行高频采集，同时即时花费高昂的代价购置硬件等一系列设备来增加系统容量，也会导致大量无用数据占据数据库，给数据的检索、大数据的分析挖掘以及后续的智能决策带来很大的困难，目前急需一种智能化的盾构TBM数据采集与数据补全方法，既能满是数据完整性、有效性的要求，有不需要高昂的硬件条件。

发明内容

为解决上述技术问题，本发明的目的是提供一种智能化的盾构TBM数据采集与补全方法。主要包括盾构TBM采集算法，采集参数阈值算法和关键数据补全方法三部分。

盾构TBM采集算法：

盾构TBM采集算法通过两个定时器来采集清洗盾构TBM状态参数数据。第一个定时器使用尽可能高的采集频率读取盾构TBM设备实时数据并缓存到一个队列中，保证数据的完整性；第二个定时器可以使用较低的频率定时读取该队列的数据，根据设定的规则来提取数据，只提取满足客户需求的有效数据。

设定的规则第一步是在所有采集的盾构TBM状态参数中人工选择哪些是关键参数并对其进行标识。

设定的规则第二步是先依次检查该采集参数是否被标识，如果没有，则选取该参数的数组中的最后一个值，如果被标识，则根据TBM状态参数的阈值来提取数据，该参数的一组数据都没有超出该参数的阈值范围的情况下，选取该参数的数组中的最后一个值，超出该参数的阈值范围的情况下，选取该参数的数组中的极限值。

通过以上算法，在第二个定时器的定时周期内，第一个定时器采集盾构TBM关键参数的一组数据，如果其极限值如果没有超过该参数的报警阈值，则取得是当前时间的实时数据，反之，则取得是极限值，这样既不会丢失重要数据，也不需要高频的把采集的所有数据都存储起来，既保证了数据的完整性，又减少了存储的数据量。

盾构TBM状态参数阙值算法：

盾构TBM状态参数的阈值使用高鲁棒性的算法，根据采集的数据来自动计算状态参数的阈值。本方法使用中位绝对方差法（MAD），将MAD当作标准差σ 估计的一种一致估计量来计算标准差，

在统计学中，绝对中位数MAD是对单变量数值型数据的样本偏差的一种鲁棒性测量。同时也可以表示由样本的MAD估计得出的总体参数。

绝对中位差是一种统计离差的测量。而且，MAD是一种鲁棒统计量，比标准差更能适应数据集中的异常值。对于标准差，使用的是数据到均值的距离平方，所以大的偏差权重更大，异常值对结果也会产生重要影响。对于MAD，少量的异常值不会影响最终的结果。

MAD与标准差的关系

为了能将MAD当作标准差σ估计的一种一致估计量，使用

σ ^ =k⋅MAD

其中 k 为比例因子常量，值取决于分布类型。

对于正态分布数据，k的值为：

k=1/(Φ −1 (3/4))≈1.4826 k=1/(Φ−1(3/4))≈1.4826

盾构TBM状态参数阈值算法为：

阈值 = Median +/- 3 * σ ^；

Median是中位数，σ ^为标准差σ 估计的一种一致估计量

关键数据补全方法：

本发明设置了一套可配置的函数运算工具，根据同一时间采集到的其它参数数据，来补全缺失的盾构TBM关键参数数据。第一步要分析缺失的关键参数的意义以及通过怎么样的算法能够通过其它的数据计算出来，第二步选择要参与运算的参数名称，第三步选择参数之间的运算关系(加减乘除乘方 或者 与或非等)，函数运算工具会根据你设置的条件，来虚拟添加一个采集参数，使得重要的不可或缺的数据得以补全，保证了采集的这一组数据是用意义的数据。

本发明技术效果：

本发明通过一种盾构TBM数据采集与清洗方法解决了盾构TBM数据采集完整性、有效性和数据量的最优比，过滤了无用数据，节省了数据中心数据传输带宽，硬盘存储容量，服务器的数量，减轻了数据中心数据查询以及大数据分析和挖掘的压力。提高大数据分析的效率，同时使用高鲁棒性的算法，来计算采集参数的阈值，剔除少量异常数据对阈值计算的干扰，对盾构TBM关键数据补全，提高数据的完整性和可用性。

附图说明

图1是智能化的盾构TBM数据采集与补全方法所示的数据采集算法流程图；

图2是智能化的盾构TBM数据采集与补全方法所示的阈值计算方法流程图；

图3是智能化的盾构TBM数据采集与补全方法所示的数据补全算法流程图；

图4是智能化的盾构TBM数据采集与补全方法所示的数据补全流程；

图1中的标记示意如下：

101设备，102采集设置，103队列，104数据反馈线路，105数据提取频率，106队列参数数组，107判断参数是否设置标识，108查询参数阙值，109判断是否超出参数阙值，110取出该参数数组中的极值作为当前值，111最后一个值最为当前值，112数据补全环节；

图2中的标记示意如下：

201数据集合，202参数是否设定标识，203下一个参数，204中值，205中位绝对方差，206标准差估计值，207参数阙值范围，208缓存到参数阙值数组；

图3中的标记示意如下：

301分析缺失关键数据，302选择要参与运算的参数名称，303选择参数之间的运算关系，304函数运算工具生成新的参数，305存入补全算法库；

图4中的标记示意如下：

401查询补全数据库，402判断设置数据补全算法，403退出出具补全模块，404去除第一条算法，405从数据集查找计算需要的数据，406判断查找的数据是否有效，407根据数据和算法生成新的数据，408根据标识把数据插入数组中，409取出下一条算法。

具体实施方式

以下结合附图对本发明的具体实施方式作进一步地说明。

（1）盾构TBM数据采集算法

如图1所示， 采集程序根据采集设置（102），提取采集频率，采集频率可以设置到接口所允许的最大采集频率，例如100ms，采集程序从设备(101)采集到盾构TBM工况和状态数据存储到一个队列（103）中，队列（103）也可通过数据反馈线路（104）返回到设备（101）。等到下次采集时间到达，采集的数据又被存储到该队列（103）中，如此一直循环该过程。

队列里的存储结构为一个二维数组，每一个参数根据时间顺序被存储到一个一维数组中，需要采集的所有参数一起存储变成一个二维数组。

我们选取3个参数做个例子，例如3分1秒，采集的参数总推力为10000，刀盘扭矩为3000，刀盘转速为1.5，那么队列里这个参数纵向存储在第一列，3分1.1秒，同样的参数放在队列的第二列，以此类推。

表1

客户根据需要展示或者存储的要求，设置一个数据提取频率（105），例如客户需要1秒的频率返回数据。定时时间到，从队列（103）中取出所有的队列参数数组（106），并且清空队列（103）。

循环检查队列中的每个参数，检查该参数是否设置标识(107)，例如参数采集”总推力”，”刀盘扭矩”，” 刀盘转速”等。如果该参数没有设置标识，则取最后一个值最为当前值(111).例如表1中，总推力没有设置标识，那么就选时间最靠后的一个值”13000”作为当前值，也就是当前时间点的瞬时值。如果设置了标识,查询该参数的阈值（108）， 检查该参数的数据是否超出该参数的阈值 (109),如果没有则取最后一个值最为当前值(111)，如果超出，取出该参数数组中的极值作为当前值(110), 例如表2中，总推力设置报警阈值为小于50000，那么200000是该组数据中的最大值，并且大于报警阈值50000，则当前值取200000。对于每个参数都依次做以上处理，形成一个一维数组作为每个参数存储该时间点的实时值。该数据采集环节结束，数据进入下一个数据补全环节（112）。

表2

该采集数据提取算法有以下技术效果：

可以在减少盾构TBM数据采集频率的情况下，确保有效数据的完整性，从而大幅度的减少数据存储量，降低对存储空间、带宽、以及硬件的要求，解决了盾构TBM数据采集完整性和数据量的最优比，提高大数据分析的效率。

（2） 采集参数阈值算法

图1所示的盾构TBM数据采集算法里需要查询盾构TBM状态参数的阈值，

盾构TBM状态参数的阈值使用高鲁棒性的算法，根据采集的数据来自动计算状态参数的阈值。

图2所示的采集参数阈值算法的流程，依次轮询参数集合（201），查询该参数是否设置标识（202），如果没有设置标识，则查询下一个参数（203），如果设置标识，则在该参数采集的数组中，计算才该参数的中值（204），同时计算参数的中位绝对方差MAD(205),接着使用公式[标准差估计值σ ^=1.4826 * Mad]计算标准差估计值（206），最后通过公式参数阈值范围（207）：

[Median - 3 *σ ^，Median + 3 *σ ^ ], Median代表中位数，σ ^代表标准差。

把计算结果缓存到参数阈值数组（208）中，然后轮询下一个参数（203）。

（3）关键数据补全方法

设置了一套可配置的函数运算工具，根据同一时间采集到的其它参数数据，来补全缺失的盾构TBM关键参数数据。

首先添加规则到补全算法库

如图3所示，第一步要分析缺失的关键参数（301）的意义以及选择何种算法能够通过其它的数据计算出来，第二步选择要参与运算的参数名称（302），第三步选择参数之间的运算关系(加减乘除乘方或者与或非等)（303），函数运算工具会根据你设置的条件，来虚拟添加一个采集参数（304），存入补全算法库（305）。例如没有采集到参数”贯入度”，采集到的其它数据里有“推进速度”和“刀盘转速”，就设置一个”贯入度”算法 =“推进速度”/“刀盘转速”，那么这个算法被存入补全算法库。

然后采集流程进入数据补全模块后，如图4所示，查询查询补全算法库（401），是否设置数据补全算法（402），如果没有设置，退出数据补全模块（403），如果已经设置，从补全算法库中取出第一条算法（404），从数据集查找计算需要的数据（405），查找的数据是否有效（406），如果无效，从补全算法库中取出下一条算法（409），反之根据数据和算法生成新的数据（407），根据标识把该数据插入数组中（408），然后再从补全算法库中取出下一条算法（409），知道算法库的算法取完。这样使得重要的不可或缺的数据得以补全，保证了采集的这一组数据是用意义的数据。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围，任何本领域的技术人员在不脱离本发明构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (2)

1.一种智能化的盾构TBM数据采集与补全方法，包括盾构TBM采集算法，采集参数阈值算法和关键数据补全方法，其特征在于，该方法包含下述步骤：

步骤一、盾构TBM采集算法通过两个定时器来采集清洗盾构TBM状态参数数据；

第一个定时器读取盾构TBM设备实时数据并缓存到一个队列中，保证数据的完整性；

从设备采集到的盾构TBM工况和状态数据存储到一个队列中，队列通过数据反馈线路返回到设备，等到下次采集时间到达，采集的数据又被存储到该队列中，如此循环；队列里的存储结构为一个二维数组，每一个参数根据时间顺序被存储到一个一维数组中，需要采集的所有参数一起存储变成一个二维数组；

第二个定时器定时读取该队列的数据，根据设定的规则来提取数据，只提取满足客户需求的有效数据；

从盾构TBM状态参数数据数组中提取有效数据的规则为：

（1）在所有采集的盾构TBM状态参数中人工选择哪些是关键参数并对其进行标识；

（2）使用高鲁棒性的算法，根据采集的数据来自动计算盾构TBM状态参数的阈值；

（3）先依次检查该采集参数是否被标识，如果没有，则选取该参数的数组中的最后一个值，如果被标识，则根据TBM状态参数的阈值来提取数据，该参数的一组数据都没有超出该参数的阈值范围的情况下，选取该参数的数组中的最后一个值，超出该参数的阈值范围的情况下，选取该参数的数组中的极限值；

通过以上算法，在第二个定时器的定时周期内，第一个定时器采集盾构TBM关键参数的一组数据，如果其极限值没有超过该参数的报警阈值，则取得是当前时间的实时数据，反之，则取得是极限值；

步骤二、根据采集的盾构TBM状态参数数据，补全缺失的盾构TBM关键参数数据，提高数据的完整性和可用性。

2.根据权利要求1所述的智能化的盾构TBM数据采集与补全方法，其特征在于：本方法使用中位绝对方差法（MAD），将MAD当作标准差σ 估计的一种一致估计量来计算标准差，从而少量的异常值不会影响最终的结果，剔除少量异常数据对阈值计算的干扰。

Images