CN115578841A - 基于Z-score模型的盾构异常数据检测方法及系统 - Google Patents

基于Z-score模型的盾构异常数据检测方法及系统 Download PDF

Info

Publication number
CN115578841A
CN115578841A CN202211200926.6A CN202211200926A CN115578841A CN 115578841 A CN115578841 A CN 115578841A CN 202211200926 A CN202211200926 A CN 202211200926A CN 115578841 A CN115578841 A CN 115578841A
Authority
CN
China
Prior art keywords
data
shield
abnormal
score
score model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211200926.6A
Other languages
English (en)
Inventor
安国勇
何小华
冯小朋
张鹏翔
徐宏
仇峰涛
董静怡
刘丹
李勇
王勇
温克兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway First Engineering Group Co Ltd
Intelligent Technology Branch of China Railway First Engineering Group Co Ltd
Original Assignee
China Railway First Engineering Group Co Ltd
Intelligent Technology Branch of China Railway First Engineering Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway First Engineering Group Co Ltd, Intelligent Technology Branch of China Railway First Engineering Group Co Ltd filed Critical China Railway First Engineering Group Co Ltd
Priority to CN202211200926.6A priority Critical patent/CN115578841A/zh
Publication of CN115578841A publication Critical patent/CN115578841A/zh
Priority to ZA2023/07568A priority patent/ZA202307568B/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了一种基于Z‑score模型的盾构异常数据检测方法及系统，涉及盾构施工技术领域，包括：利用智能化手段采集盾构数据，并将所述盾构数据上传至云端进行存储；对采集的所述盾构数据进行分析处理，获取预处理后的盾构数据；对所述预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；选取盾构数据基本属性，并基于Z‑score模型进行异常数据检测。本发明中可有效进行盾构异常数据预警，提升盾构施工工程的智能化水平。

Description

基于Z-score模型的盾构异常数据检测方法及系统
技术领域
本发明涉及盾构施工技术领域，更具体的说是涉及一种基于Z-score模型的盾构异常数据检测方法及系统。
背景技术
在盾构施工过程中，为保证盾构机的安全运行，通常会通过对掘进线路进行地质勘探确定地质情况，对异常地质情况进行提前识别，以减少盾构施工过程中的风险。但是由于盾构机在行进过程中受到开挖面土压力和盾壳外围土压力的不均衡性、地下土层变化等其他方面的影响，仅根据提前勘探的信息无法准确提供异常工况的预警，为保证施工安全，需要对盾构施工中的数据进行分析研究，实现异常工况的预警。
传统的异常工况预警方法是通过人工记录相关的参数值，当发现偏差量超过一定范围后，报告上级主管部门进行处理，该方法对原始数据进行分析研究，并不能直观看出各数据的偏离程度。因此，如何解决人工数据筛选所具有的主观性及偏差性问题，对盾构异常数据进行有效预警是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于Z-score模型的盾构异常数据检测方法及系统，可有效进行盾构异常数据预警，提升盾构施工工程的智能化水平。
为了实现上述目的，本发明提供如下技术方案：
一种基于Z-score模型的盾构异常数据检测方法，包括以下步骤：
利用智能化手段采集盾构数据，并将所述盾构数据上传至云端进行存储；
对采集的所述盾构数据进行分析处理，获取预处理后的盾构数据；
对所述预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
上述技术达到的技术效果为：引入Z-score进行数据偏离程度的衡量，针对人工数据筛选所具有的主观性及偏差性问题，利用数据分析的方法进行数据筛选，并根据所提出的Z-score方法进行异常数据检测及预警。
可选的，所述盾构数据的采集及存储的具体方式为：
通过SCADA系统采集盾构机行进过程中的PLC数据，并运用通信模块将所述PLC数据实时传送至控制台，达到数据采集监控的目标；
按照参数需求从传送至控制台的所述PLC数据中进行数据抽取，并存储至sql数据库中，以便后续对数据分析及计算过程的存储。
可选的，所述获取预处理后的盾构数据，具体包括以下步骤：
利用数据挖掘中的聚类算法，从所述盾构数据中识别并剔除异常数据；
剔除缺失数据的数据样本，获得预处理后的盾构数据。
上述技术方案达到的技术效果为：提供了对盾构数据进行预处理的方法，可以从盾构数据中剔除某些与正常数据偏差很大的数据，保证数据的有效性，还能够剔除因数据中参数存在缺失而使该条数据无实用意义的数据样本。
可选的，所述进行数据相关性分析，具体为：
将所述预处理后的盾构数据作为训练数据，运用相关性分析算法，对所有参数进行相关性参数分析；
基于相关性分析结果和施工项目经验参数进行综合分析，得到对整体数据有影响的参数，作为后续进行报警解除方案建议的调整参数。
可选的，所述进行异常数据检测，具体包括以下步骤：
选取能够表征盾构机运行过程中异常状况的盾构数据基本属性，分别为总推力、推进速度、刀盘扭矩、刀盘转速；
Z-score模型的定义如下：
Figure BDA0003872435480000031
Figure BDA0003872435480000032
Figure BDA0003872435480000033
式中：xi表示观测值，μ表示总体均值，δ表示总体标准差；
假设参数特征值服从正态分布，根据数理统计的基本原理，确定Z-score的异常值的范围为：
|Z-score|＞3。
可选的，所述方法还包括：当Z-score得分在[2,3]区间内时进行提醒预警，具体为：
当2＜|Z-score|≤2.7时，发出一级预警信号；
当2.7＜|Z-score|≤3时，发出二级预警信号。
本发明还提供了一种基于Z-score模型的盾构异常数据检测系统，包括：采集模块、存储模块、预处理模块、分析模块、异常检测模块；
所述采集模块，用于通过智能化手段采集盾构数据；
所述存储模块，用于将所述盾构数据上传至云端进行存储；
所述预处理模块，用于对采集的所述盾构数据进行分析处理，获取预处理后的盾构数据；
所述分析模块，用于对所述预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
所述异常检测模块，用于选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
可选的，所述预处理模块包括异常数据处理子模块和缺失数据处理子模块；
所述异常数据处理子模块，通过数据挖掘中的聚类算法从所述盾构数据中识别并剔除异常数据；
所述缺失数据处理子模块，用于剔除缺失数据的数据样本。
可选的，所述盾构数据基本属性包括总推力、推进速度、刀盘扭矩、刀盘转速。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于Z-score模型的盾构异常数据检测方法及系统，引入Z-score异常检测方法进行数据偏离程度的衡量，针对人工数据筛选所具有的主观性及偏差性问题，利用数据分析的方法进行异常数据筛选，根据所提出的Z-score进行异常数据检测及预警，可有效提升盾构施工工程的智能信息化水平，提升企业技术实力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为基于Z-score模型的盾构异常数据检测方法的流程图；
图2为基于Z-score模型的盾构异常数据检测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
在盾构施工的过程中，盾构机可采集盾构掘进过程中的各种数据，工程上通常通过对主要参数设置阈值实现盾构异常工况的预警，但是仅依靠这种方式，忽视了各参数之间的联动性，造成漏报或者误报。通过对主要参数的计算定义掘进指数，可以更有效地进行盾构异常工况预警。
因此，本发明实施例公开了一种基于Z-score模型的盾构异常数据检测方法，包括以下步骤：
利用智能化手段采集盾构数据，并将盾构数据上传至云端进行存储；
对采集的盾构数据进行分析处理，获取预处理后的盾构数据；
对预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
接下来，参照图1，对本技术方案中基于掘进指数的异常工况分析进行详细阐述。
(1)盾构数据采集
盾构数据需要通过智能化手段进行实时采集并上传至云端进行存储，在本实施例中，基于现有的施工技术及环境，可通过SCADA系统(数据采集与监视控制系统)采集盾构机行进过程中的PLC数据，并运用通信模块将PLC数据实时传送至控制台，达到数据采集监控的目标。
在此方法中，按照参数需求从传送至控制台的PLC数据中进行数据抽取，并存储至sql数据库中，以便后续对数据分析及处理过程值的存储。
(2)数据分析处理
1)异常数据处理。盾构掘进数据中存在某些与正常数据偏差很大的数据，该部分数据可能是由于采集系统的异常造成的，因此可利用数据挖掘中的聚类算法，从盾构数据中识别并剔除异常数据，保证数据的有效性；
2)缺失数据处理。如数据中参数存在缺失，则该条数据无实用意义，可剔除缺失数据的数据样本。
(3)数据相关性分析
将预处理后的盾构数据作为训练数据，运用相关性分析算法，对所有参数进行相关性参数分析；基于相关性分析结果和施工项目经验参数进行综合分析，得到对整体数据有影响的参数，作为后续进行报警解除方案建议的调整参数。
(4)Z-score异常数据检测及预警
结合相关性分析结果及专家经验可知，盾构掘进数据基本属性为：总推力、推进速度、刀盘扭矩、刀盘转速，这四个能够表征盾构机运行过程中的异常状况，因此选取这四个基本属性进行异常数据检测。
Z-score模型的定义如下：
Figure BDA0003872435480000061
Figure BDA0003872435480000062
Figure BDA0003872435480000063
式中：xi表示观测值，μ表示总体均值，δ表示总体标准差；
假设参数特征值服从正态分布，根据数理统计的基本原理，正常情况下，随机变量取值在(μ±3δ)范围的比例为99.73％，则超出这一范围的概率仅为0.0027为小概率事件，通常情况下不会发生，据此可以确定Z-score的异常值的范围为：
|Z-score|＞3。
当Z-score得分在[2,3]区间内时进行提醒预警，具体为：
当2＜|Z-score|≤2.7时，发出一级预警信号；
当2.7＜|Z-score|≤3时，发出二级预警信号。
实施例2
本实施例公开了一种基于Z-score模型的盾构异常数据检测系统，如图2所示，包括：采集模块、存储模块、预处理模块、分析模块、异常检测模块；
采集模块，用于通过智能化手段采集盾构数据；
存储模块，用于将盾构数据上传至云端进行存储；
预处理模块，用于对采集的盾构数据进行分析处理，获取预处理后的盾构数据；
分析模块，用于对预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
异常检测模块，用于选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
进一步地，所述预处理模块包括异常数据处理子模块和缺失数据处理子模块；
异常数据处理子模块，通过数据挖掘中的聚类算法从盾构数据中识别并剔除异常数据；
缺失数据处理子模块，用于剔除缺失数据的数据样本。
具体地，所述盾构数据基本属性包括总推力、推进速度、刀盘扭矩、刀盘转速。
传统的通过人工进行异常工况预警的方法存在主观性及偏差性问题，本技术方案通过引入Z-score异常检测方法进行数据偏离程度的衡量，利用数据分析的方法进行异常数据筛选，根据所提出的Z-score进行异常数据检测及预警，可有效提升盾构施工工程的智能信息化水平，提升企业技术实力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于Z-score模型的盾构异常数据检测方法，其特征在于，包括以下步骤：
利用智能化手段采集盾构数据，并将所述盾构数据上传至云端进行存储；
对采集的所述盾构数据进行分析处理，获取预处理后的盾构数据；
对所述预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
2.根据权利要求1所述的一种基于Z-score模型的盾构异常数据检测方法，其特征在于，所述盾构数据的采集及存储的具体方式为：
通过SCADA系统采集盾构机行进过程中的PLC数据，并运用通信模块将所述PLC数据实时传送至控制台；
按照参数需求从传送至控制台的所述PLC数据中进行数据抽取，并存储至sql数据库中。
3.根据权利要求1所述的一种基于Z-score模型的盾构异常数据检测方法，其特征在于，所述获取预处理后的盾构数据，具体包括以下步骤：
利用数据挖掘中的聚类算法，从所述盾构数据中识别并剔除异常数据；
剔除缺失数据的数据样本，获得预处理后的盾构数据。
4.根据权利要求1所述的一种基于Z-score模型的盾构异常数据检测方法，其特征在于，所述进行数据相关性分析，具体为：
将所述预处理后的盾构数据作为训练数据，运用相关性分析算法，对所有参数进行相关性参数分析；
基于相关性分析结果和施工项目经验参数进行综合分析，得到对整体数据有影响的参数。
5.根据权利要求1所述的一种基于Z-score模型的盾构异常数据检测方法，其特征在于，所述进行异常数据检测，具体包括以下步骤：
选取能够表征盾构机运行过程中异常状况的盾构数据基本属性，分别为总推力、推进速度、刀盘扭矩、刀盘转速；
Z-score模型的定义如下：
Figure FDA0003872435470000021
Figure FDA0003872435470000022
Figure FDA0003872435470000023
式中：xi表示观测值，μ表示总体均值，δ表示总体标准差；
假设参数特征值服从正态分布，根据数理统计的基本原理，确定Z-score的异常值的范围为：
|Z-score|＞3。
6.根据权利要求5所述的一种基于Z-score模型的盾构异常数据检测方法，其特征在于，所述方法还包括：当Z-score得分在[2,3]区间内时进行提醒预警，具体为：
当2＜|Z-score|≤2.7时，发出一级预警信号；
当2.7＜|Z-score|≤3时，发出二级预警信号。
7.一种基于Z-score模型的盾构异常数据检测系统，其特征在于，包括：采集模块、存储模块、预处理模块、分析模块、异常检测模块；
所述采集模块，用于通过智能化手段采集盾构数据；
所述存储模块，用于将所述盾构数据上传至云端进行存储；
所述预处理模块，用于对采集的所述盾构数据进行分析处理，获取预处理后的盾构数据；
所述分析模块，用于对所述预处理后的盾构数据进行数据相关性分析，确认对整体数据有影响的参数；
所述异常检测模块，用于选取盾构数据基本属性，并基于Z-score模型进行异常数据检测。
8.根据权利要求7所述的一种基于Z-score模型的盾构异常数据检测系统，其特征在于，所述预处理模块包括异常数据处理子模块和缺失数据处理子模块；
所述异常数据处理子模块，通过数据挖掘中的聚类算法从所述盾构数据中识别并剔除异常数据；
所述缺失数据处理子模块，用于剔除缺失数据的数据样本。
9.根据权利要求7所述的一种基于Z-score模型的盾构异常数据检测系统，其特征在于，所述盾构数据基本属性包括总推力、推进速度、刀盘扭矩、刀盘转速。
CN202211200926.6A 2022-09-29 2022-09-29 基于Z-score模型的盾构异常数据检测方法及系统 Pending CN115578841A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211200926.6A CN115578841A (zh) 2022-09-29 2022-09-29 基于Z-score模型的盾构异常数据检测方法及系统
ZA2023/07568A ZA202307568B (en) 2022-09-29 2023-07-31 A shield abnormal data detection method and a system based on a z-score model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211200926.6A CN115578841A (zh) 2022-09-29 2022-09-29 基于Z-score模型的盾构异常数据检测方法及系统

Publications (1)

Publication Number Publication Date
CN115578841A true CN115578841A (zh) 2023-01-06

Family

ID=84583265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211200926.6A Pending CN115578841A (zh) 2022-09-29 2022-09-29 基于Z-score模型的盾构异常数据检测方法及系统

Country Status (2)

Country Link
CN (1) CN115578841A (zh)
ZA (1) ZA202307568B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235063A (zh) * 2023-11-10 2023-12-15 广州汇通国信科技有限公司 一种基于人工智能技术的数据质量管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235063A (zh) * 2023-11-10 2023-12-15 广州汇通国信科技有限公司 一种基于人工智能技术的数据质量管理方法
CN117235063B (zh) * 2023-11-10 2024-03-29 广州汇通国信科技有限公司 一种基于人工智能技术的数据质量管理方法

Also Published As

Publication number Publication date
ZA202307568B (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN108038553B (zh) 轧机设备状态在线监测与诊断系统及监测诊断方法
CN112114995B (zh) 基于进程的终端异常分析方法、装置、设备及存储介质
CN106375339A (zh) 基于事件滑动窗口的攻击模式检测方法
CN115018343A (zh) 矿井海量瓦斯监测数据异常识别与处置系统及方法
CN115578841A (zh) 基于Z-score模型的盾构异常数据检测方法及系统
CN117194919A (zh) 一种生产数据分析系统
CN116579615A (zh) 一种基于无人机遥感的植被覆盖监测系统
CN115220396A (zh) 一种数控机床智能监控方法及系统
CN109460401B (zh) 一种智能化的盾构tbm数据采集与补全方法
CN113869603A (zh) 一种基于掘进指数的异常工况预警方法
CN117033501A (zh) 大数据采集分析系统
CN116862109A (zh) 一种区域碳排放态势感知预警方法
CN114088194A (zh) 一种tbm主机振动异常自适应判别方法及tbm
CN116378764A (zh) 一种盾构环流系统堵塞预警方法
CN113590663B (zh) 一种环境检测方法及系统
CN114662977A (zh) 海上钻井平台运动状态的异常检测方法、系统和电子设备
CN117271980B (zh) 钻进数据处理方法、装置、电子设备及存储介质
CN116290203B (zh) 基于神经网络的疏浚施工参数选优模型方法
CN109102001A (zh) 一种遗传基因改进神经网络的转子在线故障诊断方法
CN219654743U (zh) 一种盾构环流系统堵塞预警系统
CN117540854B (zh) 一种基于云平台的多通道土壤信息监测系统
CN113761048B (zh) 地质灾害异常数据可视化处理方法及系统
CN117172542B (zh) 一种基于大数据的施工现场巡查管理系统
CN117439827B (zh) 一种网络流量大数据分析方法
CN113554085B (zh) 一种感知引风机振动安全态势的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination