CN115795350B - 一种血流变测试杯生产过程中异常数据信息处理方法 - Google Patents

一种血流变测试杯生产过程中异常数据信息处理方法 Download PDF

Info

Publication number
CN115795350B
CN115795350B CN202310043038.6A CN202310043038A CN115795350B CN 115795350 B CN115795350 B CN 115795350B CN 202310043038 A CN202310043038 A CN 202310043038A CN 115795350 B CN115795350 B CN 115795350B
Authority
CN
China
Prior art keywords
data
abnormal
representing
abnormal data
production process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310043038.6A
Other languages
English (en)
Other versions
CN115795350A (zh
Inventor
杨军京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zongci Technology Development Co ltd
Original Assignee
Beijing Zongci Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zongci Technology Development Co ltd filed Critical Beijing Zongci Technology Development Co ltd
Priority to CN202310043038.6A priority Critical patent/CN115795350B/zh
Publication of CN115795350A publication Critical patent/CN115795350A/zh
Application granted granted Critical
Publication of CN115795350B publication Critical patent/CN115795350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一种血流变测试杯生产过程中异常数据信息处理方法,涉及数据信息处理技术领域,解决技术问题是提高血流变测试被生产过程中异常数据信息处理能力。采用的方案是,一种血流变测试杯生产过程中异常数据信息处理方法,通过异常数据信息处理系统实现生产过程的异常数据信息检测。数据快速存取记录器保存生产设备工作时的所有数据,并对检测到的异常数据进行分类保存;异常检测系统通过WSN异常检测算法实现异常数据的检测;异常数据特性分析系统通过对异常数据进行因果分析确定异常数据异常原因;异常数据计算处理系统通过对异常数据进行重建处理、剔除处理和上报处理;异常警示系统通过图像形式显示数据异常情况和处理进度。

Description

一种血流变测试杯生产过程中异常数据信息处理方法
技术领域
本发明涉及数据信息处理技术领域,且更确切地涉及一种血流变测试杯生产过程中异常数据信息处理方法。
背景技术
近年来工业发展逐渐兴起,许多生产设备逐渐由半自动化转为自动化,生产效率得以大幅度提高。但是自动化生产设备在生产过程中也会出现异常情况,造成生产产品的不合格,严重时会出现生产成本的全部浪费。生产工厂需要一种可以实时监测产品生产过程,甚至可以在发现异常情况并及时处理的方法。比如血流变测试杯生产,血流变测试杯在血流变是体检中重要的一项检查,血流变分析仪能够监测是否存在高血压、高血脂、糖尿病等疾病形成因素,该产品适用于做血流变检查的人群主要为中老年人、高压上班族、长期从事重体力劳动者、体重超重者以及有遗传性心脏病、冠心病者。血液流变学是通过血流变分析仪研究血液及其成分的流动性和变形性规律的科学,它与临床多种疾病有关。血流变检测仪的各项检测指标,对高血压、动脉硬化,冠心病、心肌梗塞,肺心病、脑栓塞、脑梗塞等心脑血管病、外周血管病、糖尿病、肿瘤、神经精神病等病因。血流变测试杯生产过程中异常数据信息处理直接关系到血流变测试杯生产状况。如何实时监测血流变测试杯生产过程中异常数据信息处理就成为亟待解决的技术问题。
对异常数据处理方法中, 近年来,也出现多种案例,在专利CN201810014200.0中,提到了一种根据数据变化率判断数据异常情况并加以剔除的异常数据处理方法;这种方法在数据信息处理时,将待处理数据进行分段;计算各段数据的变化率ki;计算待处理数据的各段数据的所述变化率ki的算术平均值设定数据变化率的正常阈值范围为:并据此判定各所述数据变化率ki是否在正常阈值范围内,判定出异常数据和可信数据。虽然通过这种方法在一定程度上能够提高异常数据处理,快速、准确地发现异常数据,提高了数据的准确性。但该方法无法实时、动态对异常数据信息进行处理。在专利CN201811488043.3中,提到一种根据数据点排序方法判断异常数据,该方法应用于数据处理技术领域,所述方法包括:获取待处理数据;根据预设排序方法对所述待处理数据中的数据点进行排序;若所述数据点的排序序号小于预设阈值,则确定所述数据点为异常数据;根据预设修正方法对所述异常数据进行修正。本发明提供的异常数据处理方法及装置能够准确地检测并修正数据集中的异常数据。由此可见,该方法通过阈值设置与判断实现异常数据信息的判断,这种判断方法误差高,需要不停调节阈值才能实现异常数据处理。因此如何对异常数据进行实时、在线、全面检测就成为亟待解决的技术问题。
发明内容
针对上述问题,本发明公开一种血流变测试杯生产过程中异常数据信息处理方法,能够针对血流变测试杯生产过程中出现的异常数据信息进行实时、在线诊断,提高异常数据信息处理能力,便于全方面监控血流变测试杯生产过程中异常状况,提高了血流变测试杯生产过程中异常监控能力。
为了实现上述技术效果,本发明采用以下技术方案:
一种血流变测试杯生产过程中异常数据信息处理方法,包括以下步骤:
S1:通过数据快速存取记录器存储血流变测试杯生产过程中的所有数据,其中所述数据至少包括生产设备传感器检测数据、生产过程产品信息数据、设备流程数据和生产状态数据,所有数据按照血流变测试杯生产设备、数据用途、测试杯生产过程、测试杯应用种类分类,并将分类数据分别储存在数据记录器不同地址文件;
S2:基于数据快速存取记录器的WSN异常检测算法网络模型对数据记录器中所有异常数据信息进行快速读取,其中WSN异常检测算法网络模型对读取的数据信息进行预置处理,遍历所有数据得到多类数据的多源时序数据,对多源时序数据建立异常检测模型,根据时序数据产生时间不同分成不同子序列,异常检测模型中生成单元和鉴别单元对子序列中时序数据进行处理分析,获得血流变测试杯生产过程中异常数据;
S3:异常数据存储库对产生的异常数据进行类别识取,待存储异常数据在存储库中有相同类型异常数据组,则存入同一类型异常数据组中;待存储异常数据是一个新类型异常数据,则将异常数据重新定义类型再存放;
S4:异常数据特性分析系统对异常数据进行数值化特性分析,对异常数据的各个属性生成指标,FPGA控制器对数据指标进行因果分析,确定异常数据原因的具体数据类型,异常分析库中根据异常原因选择出异常解决方案,对于异常分析库中没有输出结果的异常原因,通过异常数据处理系统进行异常处理;
S5:异常数据计算处理系统对获得的异常数据进行重构处理、请求处理或者删除,一部分异常数据通过重构处理实现异常数据的修正;无法处理的异常问题传输到控制端请求工作人员处理;对异常缺失数据进行删除处理;
S6:通过异常警示系统实现血流变测试杯生产过程中异常数据的显示与报警,并显示异常处理进度。
作为本发明进一步技术方案,所述异常数据重构模型包括第一层集群拓扑模块、第二层处理模块和第三层优化重建模块;其中所述第一层集群拓扑模块中分解异常数据特征权重,第二层处理模块在多维空间中将异常信息分层梳理,筛选出每层数据的优化值,第三层优化重建模块对优化的数据值通过原有数据结构进行组合,重建一个新的正常数据并投入工作运行系统中。
作为本发明进一步技术方案,数据分类通过逻辑树数据特征分析实现血流变测试杯生产过程中异常数据的分类。
作为本发明进一步技术方案,WSN异常检测算法通过时序中值检测算法实现血流变测试杯生产过程中数据信息的异常检测,时序中值检测算法步骤如下:
步骤一:计算多维时间序列
定义多维时间序列是由多个血流变测试杯生产过程中向量信息组成的矩阵,每个向量都代表不同数据在一段时间的状态变化,如式(1):
(1)
式(1)中,表示生产过程中信息的数据特征个数,表示多为时间序列的采集时刻,表示数据特征1在第采集时刻的数据值,表示某一特征时间序列数据,表示第1个数据特征在第采集时刻的数据值,表示数据特征在某一时刻采集数据值,表示采集时刻集;
然后通过降维函数对采集到血流变测试杯生产数据降维处理,处理函数为:
(2)
式(2)中,表示输入血流变测试杯生产过程中采集到的数据量函数,表示血流变测试杯生产过程中出现的噪音数据信息函数,表示采集到的血流变测试杯生产过程数据输出次数,表示维度等级,中的表示维度,其中表示维度固定参数;表示采集到的血流变测试杯生产数据有效应用率;
步骤二:中值滤波
利用中值滤波消除时间序列中点的孤立干扰,以多个血流变测试杯生产过程中采集到的第一个数据特征的时间序列数据为例,则,定义中值滤波可调节长度为m,中值滤波过后,滑动窗口生成新的数据序列,如式(3)所示:
(3)
式(3)中,表示采集时刻中的某一时刻,表示滑动窗口中数据特征1在采集时刻的中间数据值,表示采取的序列重点作为中心的样本数量;选择滑动窗口的中间数据值代替第一个数据特征的时间序列数据
由于血流变测试杯生产过程中数据传递网络的波动,在中值滤波期间动态过滤的数据走向函数为:
(4)
式(4)中,表示中值滤波期间动态过滤的数据走向函数,表示降维后的处理函数,表示数据传递网络波动量,表示数据传递网络波动类型,表示异常故障参数,i表示故障数据信息数,表示采集到的故障数据信息集合,表示网络传输过程的约束条件,表示网络传输异常参数出现的概率;
步骤三:预测数据误差
对历史记录中的特征数据值赋予不同权重,通过权重分配移动平均值,计算指数式递减加权移动平均值,当前时刻指数加权移动平均计算公式如式(5):
(5)
式(5)中,表示历史记录特征数据对当前数据的影响程度的权重参数,表示采集时刻的实际值,表示加权移动平均指数,表示上一时刻指数加权移动平均;其中权重参数为1时,原始时间序列数据不变;对当前时刻指数加权移动平均进行递归处理,如式(6):
(6)
式(6)中,表示随着样本平均数增加而指数递减,且权重和为1,表示采集时刻数据值,表示初始加权指数;
步骤四:建立异常数据判断阈值
定义初始阈值为,计算公式为:
(7)
式(7)中, 表示时间序列当前时刻指数加权移动平均的标准偏差,表示当前时刻时间序列指数加权移动平均的特征均值,表示特征均值,表示标准偏差,表示一定范围内大于标准偏差的时间序列数量;
通过初始阈值将时间序列中误差序列和异常序列划分出来,计算判断阈值,如式(8)所示:
(8)
式(8)中,表示每个数据特征中异常序列的个数,表示当前误差序列与初始误差序列特征均值差,表示当前异常序列与初始异常序列特征均值差;
不断增加时间序列数量,通过判断阈值比较,选择大阈值替换,小阈值保留,确定每个特征的最终判断阈值,对血流变测试杯生产过程中异常信息特征数据进行动态阈值判断,超过判断阈值的为异常数据,未超过判断阈值的为正常数据。
作为本发明进一步技术方案,异常数据处理系统对获得的异常数据进行重构处理,异常数据重构方法采用Adam优化算法,重构步骤为:
定义血流变测试杯生产过程中异常数据的正常数据为,其中表示采集到的异常数据,表示采集次数,表示采集地址,定义表示异常数据中已知的完整数据值,完整数据与正常数据关系如式(9)所示:
(9)
式(9)中,表示异常数据采样算子,其中,异常数据缺失部分为0,其余部分为1,表示正常数据对异常数据采样算子的映射;
逆推过程加入先验条件进行反演约束,反演目标函数最优解为:
(10)
式(10)中,表示数据保真函数,表示先验证则化函数,表示反演参数,表示数据处理系统输入原始参数数据,表示待处理数据,表示CNN模型,表示网络参数为的CNN模型,表示反演参数为网络参数的CNN模型;求解反演目标函数最优参数与数据处理系统预测的处理输出,如公式组(11)所示:
(11)
式(11)中, 表示预处理输出值与已知的完整数据值的二阶范数;
优化迭代更新,通过网络CNN模型控制之间差距,获得最优参数,得到完整的数据,如式(12)所示:
式(12)中,表示反演参数为最优参数的CNN模型;式(9)-式(12)建立了从的复杂映射关系,对网络参数的优化过程中,通过运算将血流变测试杯生产过程中其他相同类型的数据特征施加到异常数据的缺失部分,从而重新构建出一个新的正常数据。
作为本发明进一步技术方案,一种血流变测试杯生产过程中异常数据信息处理系统,包括:数据快速存取记录器、异常检测系统、异常数据特性分析系统、异常数据计算处理系统和异常警示系统;其中所述数据快速存取记录器通过GSM网络将数据发送到控制端,并存储生产过程中所有数据;所述异常检测系统通过时序中值检测算法实现异常数据的检测;所述异常数据特性分析系统通过分析数据异常原因锁定需要存储栏目里的异常数据;所述异常数据计算处理系统通过数据重构方法修补残缺异常数据;异常警示系统通过数据图表显示数据异常情况;其中数据快速存取记录器连接异常检测系统,异常检测系统连接异常数据特性分析系统,异常数据特性分析系统连接异常数据计算处理系统,异常数据计算处理系统连接异常警示系统。
作为本发明进一步技术方案,异常图像显示采用傅里叶转换法实现一定时域内异常数据的数据分析情况的图像显示。
作为本发明进一步技术方案,数据快速存取记录器包括监控采集单元、无线通信单元、固态存储器、ARM处理器和分类单元。
本发明有益的积极效果在于:
一种血流变测试杯生产过程中异常数据信息处理方法通过异常数据信息处理系统实现生产过程的异常数据信息检测。数据快速存取记录器保存生产设备工作时的所有数据,并对检测到的异常数据进行分类保存;异常检测系统通过WSN异常检测算法实现异常数据的检测;异常数据特性分析系统通过对异常数据进行因果分析确定异常数据异常原因;异常数据计算处理系统通过对异常数据进行重建处理、剔除处理和上报处理;异常警示系统通过图像形式显示数据异常情况和处理进度。本发明通过时序中值过滤法高效实现异常数据的检测,可以对异常数据采用合理的处理方式进行处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图,其中:
图1展示了本发明一种血流变测试杯生产过程中异常数据信息处理系统图;
图2展示了本发明异常数据检测重构处理流程图;
图3展示了本发明一种血流变测试杯生产过程中异常数据信息处理步骤图;
图4展示了本发明不同算法重构数据信噪比示意图;
图5展示了本发明不同算法MSE损失曲线示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明;
在具体实施例中,一种血流变测试杯生产过程中异常数据信息处理方法和实施过程如图1-图5所示。
一种血流变测试杯生产过程中异常数据信息处理方法,包括以下步骤:
S1:通过数据快速存取记录器存储血流变测试杯生产过程中的所有数据,其中所述数据至少包括生产设备传感器检测数据、生产过程产品信息数据、设备流程数据和生产状态数据,所有数据按照血流变测试杯生产设备、数据用途、测试杯生产过程、测试杯应用种类分类,并将分类数据分别储存在数据记录器不同地址文件;
S2:基于数据快速存取记录器的WSN异常检测算法网络模型对数据记录器中所有异常数据信息进行快速读取,其中WSN异常检测算法网络模型对读取的数据信息进行预置处理,遍历所有数据得到多类数据的多源时序数据,对多源时序数据建立异常检测模型,根据时序数据产生时间不同分成不同子序列,异常检测模型中生成单元和鉴别单元对子序列中时序数据进行处理分析,获得血流变测试杯生产过程中异常数据;
S3:异常数据存储库对产生的异常数据进行类别识取,待存储异常数据在存储库中有相同类型异常数据组,则存入同一类型异常数据组中;待存储异常数据是一个新类型异常数据,则将异常数据重新定义类型再存放;
S4:异常数据特性分析系统对异常数据进行数值化特性分析,对异常数据的各个属性生成指标,FPGA控制器对数据指标进行因果分析,确定异常数据原因的具体数据类型,异常分析库中根据异常原因选择出异常解决方案,对于异常分析库中没有输出结果的异常原因,通过异常数据处理系统进行异常处理;
S5:异常数据计算处理系统对获得的异常数据进行重构处理、请求处理或者删除,一部分异常数据通过重构处理实现异常数据的修正;无法处理的异常问题传输到控制端请求工作人员处理;对异常缺失数据进行删除处理;
S6:通过异常警示系统实现血流变测试杯生产过程中异常数据的显示与报警,并显示异常处理进度。
在本发明中,数据快速存取记录器是类似于航天领域黑匣子技术的记录模块,它负责监督整个血流变测试杯生产过程出现的所有数据,包括指令、设备生产数据和系统运行数据,通过时间、位置、数据类型把数据完整保存,便于调用。
在上述实施例中,所述异常数据重构模型包括第一层集群拓扑模块、第二层处理模块和第三层优化重建模块;其中所述第一层集群拓扑模块中分解异常数据特征权重,第二层处理模块在多维空间中将异常信息分层梳理,筛选出每层数据的优化值,第三层优化重建模块对优化的数据值通过原有数据结构进行组合,重建一个新的正常数据并投入工作运行系统中。
在本发明中,异常数据重构模型属于异常数据计算处理系统,负责待重建数据的重建操作。
在上述实施例中,数据分类通过逻辑树数据特征分析实现血流变测试杯生产过程中异常数据的分类。血流变测试杯生产过程会出现多维样本数据特征,数据分类过程易受到奇异性问题的影响,本发明采用基于模糊数学理论的多维样本数据特征分类系统。本发明采用交互单元、逻辑处理单元和数据分类单元,实现多维样本数据进入交互端口,在数据特征处理端口实现多维样本数据特征识别提取,根据数据特征在分类端口实现数据分类。利用模糊数学理论方法构建立方差矩阵,分析高维小样本数据特征,引入约简方法简化多维样本数据特征,最后分类降低数据集维数。
在上述实施例中,WSN异常检测算法通过时序中值检测算法实现血流变测试杯生产过程中数据信息的异常检测,在本发明中,通过WSA进行异常检测可以降低血流变测试杯生产过程中异常数据检测过程中能量损耗,延长检测周期。该方法通过结合变距已确定数据节点,动态跟踪数据并对数据下一步位置进行预测,本发明采用WSN异常检测算法也是能够对异常数据的位置和异常原因进行进一步跟踪检测。时序中值检测算法步骤如下:
步骤一:计算多维时间序列
定义多维时间序列是由多个血流变测试杯生产过程中向量信息组成的矩阵,每个向量都代表不同数据在一段时间的状态变化,如式(1):
(1)
式(1)中,表示生产过程中信息的数据特征个数,表示多为时间序列的采集时刻,表示数据特征1在第采集时刻的数据值,表示某一特征时间序列数据,表示第1个数据特征在第采集时刻的数据值,表示数据特征在某一时刻采集数据值,表示采集时刻集。
在本发明中,可以从多维时间序列数据中检测出数据在各维度点异常。
然后通过降维函数对采集到血流变测试杯生产数据降维处理,处理函数为:
(2)
式(2)中,表示输入血流变测试杯生产过程中采集到的数据量函数,表示血流变测试杯生产过程中出现的噪音数据信息函数,表示采集到的血流变测试杯生产过程数据输出次数,表示维度等级,中的表示维度,其中表示维度固定参数;表示采集到的血流变测试杯生产数据有效应用率。
在具体实施例中,输入血流变测试杯生产过程中采集到的数据量函数包含测试杯生产过程的输入数据信息,比如设备运行数据信息、测试杯本身数据信息、人为数据信息、操作数据信息、测试杯运行过程中出现的数据信息等多种信息等。噪音数据信息函数表示血流变测试杯生产过程中输出的异常数据信息等,血流变测试杯生产过程数据输出次数比如分批次输入数据信息,维度等级比如三维数据信息包含图片、噪音和文字等,二维数据信息表示图片、文字等数据信息,一维数据信息比如文字数据信息等。通过这种方式对输入的数据信息进行维度增加或者变换,维度固定参数表示,比如当存在图片、噪音和文字时,就有一定的维度系数存在,当二维数据存在时,则有与二维数据信息对应的维度参数存在。
步骤二:中值滤波
利用中值滤波消除时间序列中点的孤立干扰,以多个血流变测试杯生产过程中采集到的第一个数据特征的时间序列数据为例,则,定义中值滤波可调节长度为m,中值滤波过后,滑动窗口生成新的数据序列,如式(3)所示:
(3)
式(3)中,表示采集时刻中的某一时刻,表示滑动窗口中数据特征1在采集时刻的中间数据值,表示采取的序列重点作为中心的样本数量;选择滑动窗口的中间数据值代替第一个数据特征的时间序列数据
在本发明中,如果n是一个偶数,则输出值是中间两个样本值的平均值。
由于血流变测试杯生产过程中数据传递网络的波动,在中值滤波期间动态过滤的数据走向函数为:
(4)
式(4)中,表示中值滤波期间动态过滤的数据走向函数,表示降维后的处理函数,表示数据传递网络波动量,表示数据传递网络波动类型,表示异常故障参数,i表示故障数据信息数,表示采集到的故障数据信息集合,表示网络传输过程的约束条件,表示网络传输异常参数出现的概率。
在具体实施例中,为了动态监控中值滤波期间动态过滤的数据走向,本发明区别于现有技术,能够将降维后的处理函数通过在滤波过程中动态监控过滤状况,以提高数据过滤过程中的监测或者监控能力,数据传递网络波动量比如在传输过程中,受到电线路中磁场、电流、纹波、振动、噪音或者其他数据信息参数的影响,能够动态监控网络数据信息,以提高数据信息过滤能力,数据传递网络波动类型比如受到网络信息不同数据的影响,网络传输过程的约束条件可以为通信条件、磁场、纹波等其他环境条件等,以在不同参数或者环境下进行故障数据信息交互。网络传输异常参数出现的概率在应用过程中能够侧面影响中值滤波期间动态过滤的数据走向,通过上述方案,提高了血流变测试杯生产过程中数据传递网络的波动,进而提高数据信息过滤处理能力。步骤三:预测数据误差
对历史记录中的特征数据值赋予不同权重,通过权重分配移动平均值,计算指数式递减加权移动平均值,当前时刻指数加权移动平均计算公式如式(5):
(5)
式(5)中,表示历史记录特征数据对当前数据的影响程度的权重参数,表示采集时刻的实际值,表示加权移动平均指数,表示上一时刻指数加权移动平均;其中权重参数为1时,原始时间序列数据不变。在本发明中,指数加权移动平均具有良好的平滑性能,可用于预测误差产生的序列,提高异常检测精度。
对当前时刻指数加权移动平均进行递归处理,如式(6):
(6)
式(6)中,表示随着样本平均数增加而指数递减,且权重和为1,表示采集时刻数据值,表示初始加权指数。
在本发明中,,指数加权移动平均对数据变化的敏感性与权重参数成反比,权重参数越小则历史值对当前值的影响越大,当权重参数为1时,原始时间序列数据并不发生任何改变。
步骤四:建立异常数据判断阈值
基于固定阈值的异常检测算法大多通过使用带有标签示例的监督方法或者半监督方法学习适当的异常阈值,高于阈值的数据被标记为异常,反之则为正常数据。但是在实际应用中,时间序列数据并没有足够的标签示例用来学习,本发明引入无监督的动态阈值计算方法,该方法能以较少的计算过程获得较高的计算效率,并且无须标签数据。
步骤四:建立异常数据判断阈值
定义初始阈值为,计算公式为:
(7)
式(7)中, 表示时间序列当前时刻指数加权移动平均的标准偏差,表示当前时刻时间序列指数加权移动平均的特征均值,表示特征均值,表示标准偏差,表示一定范围内大于标准偏差的时间序列数量。
通过初始阈值将时间序列中误差序列和异常序列划分出来,计算判断阈值,如式(8)所示:
(8)
式(8)中,表示每个数据特征中异常序列的个数,表示当前误差序列与初始误差序列特征均值差,表示当前异常序列与初始异常序列特征均值差。
不断提高,通过判断阈值比较,选择大阈值替换,小阈值保留,确定每个特征的最终判断阈值,对血流变测试杯生产过程中异常信息特征数据进行动态阈值判断,超过判断阈值的为异常数据,未超过判断阈值的为正常数据。
在上述实施例中,异常数据处理系统对获得的异常数据进行重构处理,异常数据重构方法采用Adam优化算法,Adam中每一个网络参数都保持一个工作速率,并随着工作进行的展开而单独地进行调整。该方法从梯度的第一次和第二次矩的预算来计算不同参数的自适应学习速率。本发明基于Adam优化算法实现对异常数据的重构,实施步骤为:
定义血流变测试杯生产过程中异常数据的正常数据为,其中表示采集到的异常数据,表示采集次数,表示采集地址,定义表示异常数据中已知的完整数据值,完整数据与正常数据关系如式(9)所示:
(9)
式(9)中,表示异常数据采样算子,其中,异常数据缺失部分为0,其余部分为1,表示正常数据对异常数据采样算子的映射;在本发明中,采样算子是由0和1组成的矩阵,用于存储数据,用以区分异常数据中已有数据和需要重构的数据。因为反推正常数据是一个不确定的反演问题,对逆推过程加入先验条件进行反演约束,反演目标函数最优解为:
(10)
式(10)中,表示数据保真函数,表示先验证则化函数,表示反演参数, 表示数据处理系统输入原始参数数据,表示待处理数据,表示CNN模型,表示网络参数为的CNN模型,表示反演参数为网络参数的CNN模型。
在本发明中,CNN模型表示数据输入与输出之间的非线性映射函数,需要用Adam算法中优化网络参数捕获异常数据中的内在属性。
求解反演目标函数最优参数与数据处理系统预测的处理输出,如公式组(11)所示:
(11)
式(11)中, 表示预处理输出值与已知的完整数据值的二阶范数;在本发明中,网络参数由网络各层的深度、大小、中心核数量、元素核和元素核对应的每个偏差数值构成,网络参数的初始值是随机的。
优化迭代更新,通过网络CNN模型控制之间差距,获得最优参数,得到完整的数据,如式(12)所示:
(12)
式(12)中,表示反演参数为最优参数的CNN模型;式(9)-式(12)建立了从的复杂映射关系,对网络参数的优化过程中,通过运算将血流变测试杯生产过程中其他相同类型的数据特征施加到异常数据的缺失部分,从而重新构建出一个新的正常数据。
在上述实施例中,一种血流变测试杯生产过程中异常数据信息处理系统,包括:数据快速存取记录器、异常检测系统、异常数据特性分析系统、异常数据计算处理系统和异常警示系统;其中所述数据快速存取记录器通过GSM网络将数据发送到控制端,并存储生产过程中所有数据;所述异常检测系统通过时序中值检测算法实现异常数据的检测;所述异常数据特性分析系统通过分析数据异常原因锁定需要存储栏目里的异常数据;所述异常数据计算处理系统通过数据重构方法修补残缺异常数据;异常警示系统通过数据图表显示数据异常情况;其中数据快速存取记录器连接异常检测系统,异常检测系统连接异常数据特性分析系统,异常数据特性分析系统连接异常数据计算处理系统,异常数据计算处理系统连接异常警示系统。
在上述实施例中,异常图像显示通过傅里叶转换法实现一定时域内异常数据的数据分析情况的图像显示。在本发明中,异常图像显示是异常数据图像显示的一个环节。显示单元把数字图像转化为更易看懂的形式。在图像显示中,离散的异常数据的数字信息通过插值被重构为连续图像。数字信息也可以是异常处理进度、异常原因和待解决异常数据。
在上述实施例中,数据快速存取记录器包括监控采集单元、无线通信单元、固态存储器、ARM处理器和分类单元。
在具体实施例中,对本发明一种血流变测试杯生产过程中异常数据信息处理方法进行分析和验证,下面进行具体实验:
为验证本发明的异常数据重构效果,利用理论模拟数据进行测试,使用Marmousi模型作为实验信息变量检测模型,数据源采用同一类型控制数据,频率为200HZ,记录时长为10s。
实验环境:计算机网络检测系统、信号模拟箱。
本发明的数据重构方法采用Adam优化算法,通过与R、RMP算法进行对比测试。对模拟控制数据随机去除其中60%的数据信息,然后使用上述三个优化算法对缺失的控制数据进行重构。设置迭代次数k为4000。使用不同优化算法的网络重构数据的信噪比和MSE损失函数随迭代次数的变化如图4、图5所示。
由图4可见,Adam优化算法重构数据结果信噪比曲线达到稳定时,得到的重构数据信噪比最高,而且相比于其他算法,Adam优化算法重构控制数据的信噪比随迭代次数上升得更快。由图5可见,使用R优化算法的MSE损失曲线下降很慢;RMP的MSE损失曲线波动剧烈;使用Adam优化算法的MSE损失曲线更稳定、更快速收敛。
所以,本发明使用Adam优化算法进行数据重构,可以更高效率实现数据重构,提高重构数据质量。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变;例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围;因此,本发明的范围仅由所附权利要求书限定。

Claims (7)

1.一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:包括以下步骤:
S1:通过数据快速存取记录器存储血流变测试杯生产过程中的所有数据,其中所述数据至少包括生产设备传感器检测数据、生产过程产品信息数据、设备流程数据和生产状态数据,所有数据按照血流变测试杯生产设备、数据用途、测试杯生产过程、测试杯应用种类分类,并将分类数据分别储存在数据记录器不同地址文件;
S2:基于数据快速存取记录器的WSN异常检测算法网络模型对数据记录器中所有异常数据信息进行快速读取,其中WSN异常检测算法网络模型对读取的数据信息进行预置处理,遍历所有数据得到多类数据的多源时序数据,对多源时序数据建立异常检测模型,根据时序数据产生时间不同分成不同子序列,异常检测模型中生成单元和鉴别单元对子序列中时序数据进行处理分析,获得血流变测试杯生产过程中异常数据;
S3:异常数据存储库对产生的异常数据进行类别识取,待存储异常数据在存储库中有相同类型异常数据组,则存入同一类型异常数据组中;待存储异常数据是一个新类型异常数据,则将异常数据重新定义类型再存放;
S4:异常数据特性分析系统对异常数据进行数值化特性分析,对异常数据的各个属性生成指标,FPGA控制器对数据指标进行因果分析,确定异常数据原因的具体数据类型,异常分析库中根据异常原因选择出异常解决方案,对于异常分析库中没有输出结果的异常原因,通过异常数据处理系统进行异常处理;
S5:异常数据计算处理系统对获得的异常数据进行重构处理、请求处理或者删除,一部分异常数据通过重构处理实现异常数据的修正;无法处理的异常问题传输到控制端请求工作人员处理;对异常缺失数据进行删除处理;
S6:通过异常警示系统实现血流变测试杯生产过程中异常数据的显示与报警,并显示异常处理进度;
在步骤(S2)中,WSN异常检测算法通过时序中值检测算法实现血流变测试杯生产过程中数据信息的异常检测,时序中值检测算法步骤如下:
步骤一:计算多维时间序列
定义多维时间序列是由多个血流变测试杯生产过程中向量信息组成的矩阵,每个向量都代表不同数据在一段时间的状态变化,如式(1):
(1)
式(1)中,表示生产过程中信息的数据特征个数,表示多为时间序列的采集时刻,表示数据特征1在第采集时刻的数据值,表示某一特征时间序列数据,表示第1个数据特征在第采集时刻的数据值,表示数据特征在某一时刻采集数据值,表示采集时刻集;
然后通过降维函数对采集到血流变测试杯生产数据降维处理,处理函数为:
(2)
式(2)中,表示输入血流变测试杯生产过程中采集到的数据量函数,表示血流变测试杯生产过程中出现的噪音数据信息函数,表示采集到的血流变测试杯生产过程数据输出次数,表示维度等级,中的表示维度,其中表示维度固定参数;表示采集到的血流变测试杯生产数据有效应用率;
步骤二:中值滤波
利用中值滤波消除时间序列中点的孤立干扰,以多个血流变测试杯生产过程中采集到的第一个数据特征的时间序列数据为例,则,定义中值滤波可调节长度为m,中值滤波过后,滑动窗口生成新的数据序列,如式(3)所示:
(3)
式(3)中,表示采集时刻中的某一时刻,表示滑动窗口中数据特征1在采集时刻的中间数据值,表示采取的序列重点作为中心的样本数量;选择滑动窗口的中间数据值代替第一个数据特征的时间序列数据
由于血流变测试杯生产过程中数据传递网络的波动,在中值滤波期间动态过滤的数据走向函数为:
(4)
式(4)中,表示中值滤波期间动态过滤的数据走向函数,表示降维后的处理函数,表示数据传递网络波动量,表示数据传递网络波动类型,表示异常故障参数,i表示故障数据信息数,表示采集到的故障数据信息集合,表示网络传输过程的约束条件,表示网络传输异常参数出现的概率;
步骤三:预测数据误差
对历史记录中的特征数据值赋予不同权重,通过权重分配移动平均值,计算指数式递减加权移动平均值,当前时刻指数加权移动平均计算公式如式(5):
(5)
式(5)中,表示历史记录特征数据对当前数据的影响程度的权重参数,表示采集时刻的实际值,表示加权移动平均指数,表示上一时刻指数加权移动平均;其中权重参数为1时,原始时间序列数据不变;
对当前时刻指数加权移动平均进行递归处理,如式(6):
(6)
式(6)中,表示随着样本平均数增加而指数递减,且权重和为1,表示不同时间数据值之差,表示初始加权指数;
步骤四:建立异常数据判断阈值
定义初始阈值为,计算公式为:
(7)
式(7)中,表示时间序列当前时刻指数加权移动平均的标准偏差,表示当前时刻时间序列指数加权移动平均的特征均值,表示特征均值,表示标准偏差,表示一定范围内大于标准偏差的时间序列数量;
通过初始阈值将时间序列中误差序列和异常序列划分出来,计算判断阈值,如式(8)所示:
(8)
式(8)中,表示每个数据特征中异常序列的个数,表示当前误差序列与初始误差序列特征均值差,表示当前异常序列与初始异常序列特征均值差;
不断增加时间序列数量,通过判断阈值比较,选择大阈值替换,小阈值保留,确定每个特征的最终判断阈值,对血流变测试杯生产过程中异常信息特征数据进行动态阈值判断,超过判断阈值的为异常数据,未超过判断阈值的为正常数据。
2.根据权利要求1所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:所述异常数据重构模型包括第一层集群拓扑模块、第二层处理模块和第三层优化重建模块;其中所述第一层集群拓扑模块中分解异常数据特征权重,第二层处理模块在多维空间中将异常信息分层梳理,筛选出每层数据的优化值,第三层优化重建模块对优化的数据值通过原有数据结构进行组合,重建一个新的正常数据并投入工作运行系统中。
3.根据权利要求1所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:数据分类通过逻辑树数据特征分析实现血流变测试杯生产过程中异常数据的分类。
4.根据权利要求1所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:异常数据处理系统对获得的异常数据进行重构处理,异常数据重构方法采用Adam优化算法,重构步骤为:
定义血流变测试杯生产过程中异常数据的正常数据为,其中表示采集到的异常数据,表示采集次数,表示采集地址,定义表示异常数据中已知的完整数据值,完整数据与正常数据关系如式(9)所示:
(9)
式(9)中,表示异常数据采样算子,其中,异常数据缺失部分为0,其余部分为1,表示正常数据对异常数据采样算子的映射;
逆推过程加入先验条件进行反演约束,反演目标函数最优解为:(10)
式(10)中,表示数据保真函数,表示先验证则化函数,表示反演参数,表示数据处理系统输入原始参数数据,表示待处理数据,表示CNN模型,表示网络参数为的CNN模型,表示反演参数为网络参数的CNN模型;
求解反演目标函数最优参数与数据处理系统预测的处理输出,如公式组(11)所示:
(11)
式(11)中,表示预处理输出值与已知的完整数据值的二阶范数;
优化迭代更新,通过网络CNN模型控制之间差距,获得最优参数,得到完整的数据,如式(12)所示:
(12)
式(12)中,表示反演参数为最优参数的CNN模型;式(9)-式(12)建立了从的复杂映射关系,对网络参数的优化过程中,通过运算将血流变测试杯生产过程中其他相同类型的数据特征施加到异常数据的缺失部分,从而重新构建出一个新的正常数据。
5.根据权利要求1所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:所述异常数据计算处理系统包括:数据快速存取记录器、异常检测系统、异常数据特性分析系统、异常数据计算处理系统和异常警示系统;其中所述数据快速存取记录器通过GSM网络将数据发送到控制端,并存储生产过程中所有数据;所述异常检测系统通过时序中值检测算法实现异常数据的检测;所述异常数据特性分析系统通过分析数据异常原因锁定需要存储栏目里的异常数据;所述异常数据计算处理系统通过数据重构方法修补残缺异常数据;异常警示系统通过数据图表显示数据异常情况;其中数据快速存取记录器连接异常检测系统,异常检测系统连接异常数据特性分析系统,异常数据特性分析系统连接异常数据计算处理系统,异常数据计算处理系统连接异常警示系统。
6.根据权利要求5所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:异常图像显示采用傅里叶转换法实现一定时域内异常数据的数据分析情况的图像显示。
7.根据权利要求5所述的一种血流变测试杯生产过程中异常数据信息处理方法,其特征在于:数据快速存取记录器包括监控采集单元、无线通信单元、固态存储器、ARM处理器和分类单元。
CN202310043038.6A 2023-01-29 2023-01-29 一种血流变测试杯生产过程中异常数据信息处理方法 Active CN115795350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310043038.6A CN115795350B (zh) 2023-01-29 2023-01-29 一种血流变测试杯生产过程中异常数据信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310043038.6A CN115795350B (zh) 2023-01-29 2023-01-29 一种血流变测试杯生产过程中异常数据信息处理方法

Publications (2)

Publication Number Publication Date
CN115795350A CN115795350A (zh) 2023-03-14
CN115795350B true CN115795350B (zh) 2023-05-09

Family

ID=85428974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310043038.6A Active CN115795350B (zh) 2023-01-29 2023-01-29 一种血流变测试杯生产过程中异常数据信息处理方法

Country Status (1)

Country Link
CN (1) CN115795350B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821809B (zh) * 2023-08-30 2023-12-12 济宁医学院附属医院 基于人工智能的生命体征数据采集系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709250A (zh) * 2016-12-22 2017-05-24 河海大学 一种基于并行Kalman算法的数据流异常检测方法
CN112784965B (zh) * 2021-01-28 2022-07-29 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN114492826A (zh) * 2021-11-22 2022-05-13 杭州电子科技大学 一种基于多元时序流数据的无监督异常检测分析解决方法
CN115484102A (zh) * 2022-09-16 2022-12-16 上海交通大学宁波人工智能研究院 一种面向工业控制系统的异常检测系统和方法

Also Published As

Publication number Publication date
CN115795350A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
JP2022500745A (ja) 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
CN111504676A (zh) 基于多源监控数据融合的设备故障诊断方法、装置及系统
Baraldi et al. Reconstruction of missing data in multidimensional time series by fuzzy similarity
CN115795350B (zh) 一种血流变测试杯生产过程中异常数据信息处理方法
CN109033513B (zh) 电力变压器故障诊断方法与电力变压器故障诊断装置
US20220004163A1 (en) Apparatus for predicting equipment damage
CN112179653A (zh) 滚动轴承振动信号盲源分离方法、装置及计算机设备
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
WO2023226355A1 (zh) 基于多源感知的双向锂离子电池故障检测方法及系统
JP2022176136A (ja) 時系列基盤の異常探知方法およびシステム
CN114648060A (zh) 基于机器学习的故障信号规范化处理及分类方法
KR102266182B1 (ko) 복수의 시계열 데이터의 모니터링 방법 및 장치
CN116595465A (zh) 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统
CN116702005A (zh) 一种基于神经网络的数据异常诊断方法和电子设备
Saha et al. Enhancing Bearing Fault Diagnosis Using Transfer Learning and Random Forest Classification: A Comparative Study on Variable Working Conditions
CN112765219B (zh) 一种跳过平稳区域的流数据异常检测方法
CN115310499A (zh) 一种基于数据融合的工业设备故障诊断系统及方法
CN113377630B (zh) 一种通用的kpi异常检测框架实现方法
CN114993671A (zh) 一种基于q因子小波变换的振动故障诊断方法及其系统
KR102486463B1 (ko) 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치
CN115617604A (zh) 基于图像模式匹配的磁盘故障预测方法及系统
Nguyen Feature Engineering and Health Indicator Construction for Fault Detection and Diagnostic
CN117592870B (zh) 基于水环境监测信息的综合分析系统
KR102592762B1 (ko) 합성곱 신경망 기반의 덴스넷을 통한 부정맥 분류 방법
KRISHNA et al. DETECTING ECG ANOMALIES WITH AUTOENCODERS: A NOVEL APPROACH

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant