CN117131035B - 一种化工染料生产数据智能储存方法及系统 - Google Patents
一种化工染料生产数据智能储存方法及系统 Download PDFInfo
- Publication number
- CN117131035B CN117131035B CN202311378461.8A CN202311378461A CN117131035B CN 117131035 B CN117131035 B CN 117131035B CN 202311378461 A CN202311378461 A CN 202311378461A CN 117131035 B CN117131035 B CN 117131035B
- Authority
- CN
- China
- Prior art keywords
- data
- data point
- sequence
- compression
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000000126 substance Substances 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 146
- 230000006835 compression Effects 0.000 claims abstract description 130
- 230000008859 change Effects 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000013144 data compression Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000011958 production data acquisition Methods 0.000 claims description 3
- 239000000975 dye Substances 0.000 description 29
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Recording Measured Values (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据处理技术领域,提出了一种化工染料生产数据智能储存方法及系统,包括:采集化工染料生产过程中的温度数据,得到若干待储存温度序列;获取初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性;根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储。本发明旨在解决对生产数据进行有损压缩式对数据的准确性造成影响的问题。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种化工染料生产数据智能储存方法及系统。
背景技术
在化工染料生产过程中,会产生众多生产数据,而其中的温度数据的相关控制非常重要,温度的精准控制不仅影响反应速率、产物选择性和质量,还与生产过程的安全性、能源效率、产品一致性及稳定性密切相关;通过监测温度数据,可以及时检测到设备故障、传感器失效或温度异常等状况,从而采取相应的措施进行修复或预防,避免生产中断或出现产品质量问题,然而由于对温度数据精细化存储来保障化工染料制备过程顺利进行的做法,会造成过多的数据冗余,对温度数据进行数据压缩储存可以有效提高系统的资源利用率和性能表现。
现有技术中采用旋转门压缩算法对温度数据进行数据压缩处理,可以显著减少存储空间,并提高数据的压缩比;但旋转门算法对温度数据压缩过程中,异常变化导致幅度较大的时候存在拐点滞后性变化的影响,即是直线拟合后的拐点与实际曲线的拐点存在滞后性的偏移,从而降低了温度数据压缩的准确性,进而在化工染料生产数据储存场景中,不满足温度数据精细化存储的要求,而异常拐点表示的温度信息往往是决定化工染料生产质量的重要信息,即温度数据中发生异常的信息,因此需要保证这些温度数据在压缩过程中不会由于滞后性而损失较多信息。
发明内容
本发明提供一种化工染料生产数据智能储存方法及系统,以解决现有的对生产数据进行有损压缩式对数据的准确性造成影响的问题,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种化工染料生产数据智能储存方法,该方法包括以下步骤:
采集化工染料生产过程中的温度数据,得到若干待储存温度序列;
通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;
根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性;
根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储。
进一步的,所述得到若干待储存温度序列,包括的具体方法为:
将每个生产环节中每个分段时间间隔采集到的温度数据,按照采集顺序排列为一个待储存温度序列。
进一步的,所述每个待储存温度序列的初始压缩数据及每个数据点的上下内角,具体的获取方法为:
对于任意一个待储存温度序列,对该序列进行旋转门压缩,压缩拐点的选择与传统旋转门算法相同;在压缩过程中,数据点与上内点得到的是上夹角,与下内点得到的是下夹角,对每个数据点得到上下夹角,将压缩得到的数据记为该序列的初始压缩数据。
进一步的,所述得到每个数据点的直线拟合程度,包括的具体方法为:
根据相邻数据点的上下内角获取每个数据点的区间可分程度;对于任意一个待储存温度序列,对于该序列中任意一个数据点,以该数据点作为旋转门压缩过程中的一个分段点,其他条件不变,重新对该序列进行旋转门压缩,压缩得到的数据记为该数据点的压缩拟合数据;
对该数据点的区间可分程度获取对于该数据点对应时刻的导数,记为该数据点的区间可分因子;对初始压缩数据与该压缩拟合数据的曲线的差进行积分,得到的结果记为该数据点的拟合差异因子;将区间可分因子与拟合差异因子的比值,作为该数据点的直线拟合程度。
进一步的,所述根据相邻数据点的上下内角获取每个数据点的区间可分程度,包括的具体方法为:
对于任意一个待储存温度序列,对于该序列中任意一个数据点,获取该数据点的上内角与相邻前一个数据点的上内角的差值绝对值,记为该数据点的上内角变化量;获取该数据点的下内角与相邻前一个数据点的下内角的差值绝对值,记为该数据点的下内角变化量;对该数据点的上内角变化量与下内角变化量计算差值绝对值,得到的结果记为该数据点的上下内角变化程度;
获取该序列中每个数据点的上下内角变化程度,序列中第一个数据点的上下内角变化程度设置为0;对该序列中所有数据点的上下内角变化程度进行线性归一化,得到的结果记为每个数据点的区间可分程度。
进一步的,所述得到每个数据点的压缩必要性,包括的具体方法为:
根据相邻数据点的直线拟合程度获取每个数据点的停止必要性;对于任意一个待储存温度序列中任意一个数据点,对于该数据点的压缩拟合数据,获取该序列中每个数据点在该压缩拟合数据下对应的上下内角,得到每个数据点在该压缩拟合数据下的上下内角变化程度,对得到的上下内角变化程度按照时序排列,得到的序列记为该数据点的拟合内角变化序列;将初始压缩数据下得到的每个数据点的上下内角变化程度按照时序排列,得到的序列记为初始内角变化序列;
获取该数据点的拟合内角变化序列与初始内角变化序列的DTW距离,获取该压缩拟合数据中直线的数量;获取直线数量与DTW距离的乘积,将该数据点的直线拟合程度,与乘积加上超参数的和的比值,记为该数据点的压缩必要性。
进一步的,所述根据相邻数据点的直线拟合程度获取每个数据点的停止必要性,包括的具体方法为:
对每个数据点获取邻域范围;对于任意一个待储存温度序列中任意一个数据点,获取该数据点的直线拟合程度分别减去其邻域范围中每个数据点的直线拟合程度得到的差值,将所有差值的和记为该数据点的停止必要程度;
获取该序列中每个数据点的停止必要程度,对所有停止必要程度进行线性归一化,得到的结果记为每个数据点的停止必要性。
进一步的,所述对每个数据点获取邻域范围,包括的具体方法为:
预设一个邻域大小,对于任意一个待储存温度序列中任意一个数据点,将该数据点之前邻域大小个数据点及之后邻域大小个数据点,作为该数据点的邻域范围。
进一步的,所述得到压缩后温度序列并进行存储,包括的具体方法为:
对于任意一个待储存温度序列,在对该序列进行旋转门压缩过程中,通过传统方法进行压缩时压缩过程中对每个数据点的压缩必要性进行判断,若压缩必要性大于必要性阈值,将该数据点作为旋转门压缩的分段点并继续压缩;对该序列完成旋转门压缩后,得到压缩后的序列,记为该序列的压缩后温度序列;
对每个待储存温度序列都得到压缩后温度序列,化工染料生产过程中每采集一个待储存温度序列,得到压缩后温度序列后,都进行一次存储。
第二方面,本发明另一个实施例提供了一种化工染料生产数据智能储存系统,该系统包括:
生产数据采集模块,用于采集化工染料生产过程中的温度数据,得到若干待储存温度序列;
生产数据分析模块:用于通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;
根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性;
数据压缩存储模块,用于根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储。
本发明的有益效果是:本发明通过对化工染料生产过程中的产生的温度数据(生产数据)进行自适应的旋转门压缩,避免传统旋转门压缩产生的拐点滞后性表现,通过获取压缩必要性来使得压缩后温度数据能够更多保留待储存温度序列中的变化信息,降低旋转门算法有损压缩带来的信息损失;而在压缩必要性获取过程中,通过对压缩过程中上下内角的变化的分析,结合数据点作为分段点(拐点)得到的压缩拟合数据,通过拟合效果的差异量化,以及上下内角的比较分析,最终得到压缩必要性,使得拟合效果越好,且上下内角越相似的数据点的压缩必要性越大,进而提高旋转门压缩对于变化信息的保留效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种化工染料生产数据智能储存方法流程示意图;
图2为本发明另一个实施例所提供的一种化工染料生产数据智能储存系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例所提供的一种化工染料生产数据智能储存方法流程图,该方法包括以下步骤:
步骤S001、采集化工染料生产过程中的温度数据,得到若干待储存温度序列。
本实施例的目的是对化工染料生产过程中产生的数据进行智能储存,生产过程中的温度数据都是实时产生的,本实施例以生产过程中的温度数据为例,其他类型数据均可按照对温度数据压缩的方法进行压缩,并尽心存储,因此首先需要获取化工染料生产过程中的温度数据。
具体的,本实施例通过温度传感器对化工染料生产过程中的温度数据进行采集,对于生产过程中每个生产环节,均在设备旁布置温度传感器,温度数据的采样时间间隔设置为5秒,分段时间间隔设置为10分钟,每10分钟采集到的温度数据,按照采集顺序排列为一个待储存温度序列,每个生产环节均从环节开始采集温度数据,生产环节结束时,若采集到的温度数据不足以组成一个待储存温度序列,即生产环节不足10分钟,或生产环节获取到多个待储存温度序列后,剩余的温度数据不足以组成一个待储存温度序列,则将温度数据直接组成一个待储存温度序列,且无需进行特殊处理,与其他待储存温度序列一样进行后续分析。
至此,采集了化工染料生产过程中的温度数据,并得到若干待储存温度序列。
步骤S002、通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度。
需要说明的是,化工染料生产过程中的温度数据用于分析、预测和控制化工染料生产质量与效率,而旋转门算法是有损压缩,其针对温度数据的压缩会存在温度变化拐点的滞后性偏差,这是由于直线拟合过程中对温度变化拐点附近的温度值进行无差别拟合造成的,随着温度曲线上的温度变化速率的较大波动,旋转门停止条件对于小范围波动的敏感程度有限,其中产生温度误差往往会导致温度数据的变化信息丢失,严重影响温度控制的精准程度。
进一步需要说明的是,由于旋转门算法对温度数据的压缩处理,存在温度变化拐点的滞后性偏差,表现在处理过程中则为发生偏差位置的数据点的上下支点的门内角和变化,则根据上下支点与数据点的连线形成的上下夹角,通过相邻数据点上下夹角的变化,得到数据点的区间可分程度;因此首先需要对待储存温度序列通过传统方法的旋转门压缩,得到每个数据点的上下内角。
具体的,对于任意一个待储存温度序列,对该序列进行旋转门压缩,压缩拐点的选择与传统旋转门算法相同,则在压缩过程中,数据点与压缩过程的上下支点的内角会发生变化,与上内点得到的是上夹角,与下内点得到的是下夹角,则对数据点得到了上下夹角,同时将压缩得到的数据记为该序列的初始压缩数据。
进一步的,对于该序列中任意一个数据点,获取该数据点的上内角与相邻前一个数据点的上内角的差值绝对值,记为该数据点的上内角变化量;获取该数据点的下内角与相邻前一个数据点的下内角的差值绝对值,记为该数据点的下内角变化量;对该数据点的上内角变化量与下内角变化量计算差值绝对值,得到的结果记为该数据点的上下内角变化程度;按照上述方法获取该序列中每个数据点的上下内角变化程度,序列中第一个数据点的上下内角变化程度设置为0;对该序列中所有数据点的上下内角变化程度进行线性归一化,得到的结果记为每个数据点的区间可分程度;按照上述方法获取每个待储存温度序列中每个数据点的区间可分程度。
此时,数据点的上下内角变化量的差异越大,相应变化程度就会越大,表明数据点在待储存温度序列中与领域数据点存在较大的竖直变化,使得内角变化程度较大,进而得到越大的区间可分程度;而区间可分程度越大的数据点,其作为待储存温度序列中分段点的可能性越大,很大可能为生产过程中化学反映或物理过程的两阶段的分段点。
进一步需要说明的是,获取到每个数据点的区间可分程度后,则可以将数据点作为旋转门压缩中的分段点进行压缩,进而得到每个数据点对应的压缩拟合数据,根据压缩拟合数据与初始压缩数据进行每个数据点的直线拟合程度的量化,直线拟合效果可由压缩拟合数据与初始压缩数据的差的积分表示,积分越小,两次压缩得到的数据的差异越小,相应的数据点的直线拟合程度就越大,同时由于每个数据点均得到了区间可分程度,因此将区间可分程度作为时序数据,而区间可分程度对于时间的导数越大,分段点可能性就越大,相应的直线拟合程度就越高。
具体的,对于任意一个待储存温度序列,对于该序列中任意一个数据点,以该数据点作为旋转门压缩过程中的一个分段点,其他条件不变,重新对该序列进行旋转门压缩,压缩得到的数据记为该数据点的压缩拟合数据;则对于初始压缩数据及该压缩拟合数据,以及区间可分程度,在该待储存温度序列上,都可以表现为时序上的一条曲线,则对该数据点的区间可分程度获取对于该数据点对应时刻的导数,记为该数据点的区间可分因子;同时对初始压缩数据与该压缩拟合数据的曲线的差进行积分,得到的结果记为该数据点的拟合差异因子;将区间可分因子与拟合差异因子的比值,作为该数据点的直线拟合程度;需要说明的是,拟合差异因子可能为零,因此在比值获取过程中,将拟合差异因子与一个超参数相加来作为分母,其中超参数本实施例采用0.01进行叙述;按照上述方法获取每个待储存温度序列中每个数据点的压缩拟合数据,并得到直线拟合程度。
至此,获取到了每个数据点的直线拟合程度。
步骤S003、根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性。
需要说明的是,获取到数据点的直线拟合程度后,其表明的是数据点的压缩拟合数据与初始压缩数据的拟合效果的差异,反映了数据点作为拐点造成的与初始压缩数据的偏移差异,因此可以根据直线拟合程度来获取停止必要性;而获取到停止必要性后,则需要结合压缩拟合数据的上下内角变化,与初始压缩数据得到的上下内角进行相似程度量化,最终得到每个数据点的压缩必要性。
具体的,预设一个邻域大小,本实施例邻域大小采用12进行叙述;对于任意一个待储存温度序列中任意一个数据点,将该数据点之前12个数据点及之后12个数据点,作为该数据点的邻域范围,获取该序列中每个数据点的邻域范围,需要说明的是,对于无法获取完整邻域范围的数据点,即数据点靠近序列边界,本实施例通过对直线拟合程度进行二次线性插值,来补全超出序列部分的邻域范围的数据点的直线拟合程度。
进一步的,对于该序列中任意一个数据点,获取该数据点的直线拟合程度分别减去其邻域范围中每个数据点的直线拟合程度得到的差值,邻域范围内每个数据点对应一个差值,将所有差值的和记为该数据点的停止必要程度;获取该序列中每个数据点的停止必要程度,对所有停止必要程度进行线性归一化,得到的结果记为每个数据点的停止必要性;按照上述方法获取每个待储存温度序列中每个数据点的停止必要性。
进一步的,对于任意一个待储存温度序列中任意一个数据点,对于该数据点的压缩拟合数据,获取该序列中每个数据点在该压缩拟合数据下对应的上下内角,按照步骤S002的方法得到每个数据点在该压缩拟合数据下的上下内角变化程度,对得到的上下内角变化程度按照时序排列,得到的序列记为该数据点的拟合内角变化序列;将初始压缩数据下得到的每个数据点的上下内角变化程度按照时序排列,得到的序列记为初始内角变化序列;获取该数据点的拟合内角变化序列与初始内角变化序列的DTW距离,同时获取该压缩拟合数据中直线的数量,即旋转门压缩得到的多段直线中,直线的数量;获取直线数量与DTW距离的乘积,同时由于DTW距离可能为0,即该数据点本就是初始压缩数据中的分段点的情况,需要对乘积加上一个超参数,本实施例超参数采用0.01进行叙述,将该数据点的直线拟合程度,与乘积加上超参数的和的比值,记为该数据点的压缩必要性;按照上述方法获取每个待储存温度序列中每个数据点的压缩必要性。
至此,获取到了每个数据点的压缩必要性,反映了数据点在旋转门压缩过程中的拐点可能性,可以在后续旋转门压缩过程中根据压缩必要性来调整传统旋转门压缩自适应得到的拐点,使得最终得到的压缩后温度数据能够更多保留待储存温度序列中的变化信息。
步骤S004、根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储。
对于任意一个待储存温度序列,获取到该序列中每个数据点的压缩必要性后,预设一个必要性阈值,本实施例必要性阈值采用0.35进行叙述,在对该序列进行旋转门压缩过程中,通过传统方法进行压缩,同时压缩过程中对每个数据点的压缩必要性进行判断,若压缩必要性大于必要性阈值,则将该数据点作为旋转门压缩的分段点并继续压缩,即是通过压缩必要性判断,在旋转门压缩原有的自适应分段基础上,添加压缩必要性产生的分段点;对该序列通过上述方法完成旋转门压缩后,得到压缩后的序列,记为该序列的压缩后温度序列;按照上述方法对每个待储存温度序列都得到压缩后温度序列,化工染料生产过程中每采集一个待储存温度序列,得到其压缩后温度序列后,都进行一次存储,则对化工染料生产过程中的温度数据完成了压缩存储。
进一步的,化工染料生产数据在进行存储后,同样需要调用,而调用过程中,对于任意一个压缩后温度序列,通过旋转门算法进行解压缩,即可得到解压缩的温度序列,旋转门算法存在一定信息损失,但通过压缩必要性进行分段点获取后,能够保证解压缩的温度序列保留较多温度数据的有效信息,从而提高生产数据调用后进行监测的准确性。
至此,完成了对于化工染料生产数据的智能储存。
请参阅图2,其示出了本发明另一个实施例所提供的一种化工染料生产数据智能储存系统结构框图,该系统包括:
生产数据采集模块101,用于采集化工染料生产过程中的温度数据,得到若干待储存温度序列。
生产数据分析模块102:
(1)通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;
(2)根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性。
数据压缩存储模块103,用于根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种化工染料生产数据智能储存方法,其特征在于,该方法包括以下步骤:
采集化工染料生产过程中的温度数据,得到若干待储存温度序列;
通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;
根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性;
根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储;
所述得到每个数据点的直线拟合程度,包括的具体方法为:
根据相邻数据点的上下内角获取每个数据点的区间可分程度;对于任意一个待储存温度序列,对于该序列中任意一个数据点,以该数据点作为旋转门压缩过程中的一个分段点,其他条件不变,重新对该序列进行旋转门压缩,压缩得到的数据记为该数据点的压缩拟合数据;
对该数据点的区间可分程度获取对于该数据点对应时刻的导数,记为该数据点的区间可分因子;对初始压缩数据与该压缩拟合数据的曲线的差进行积分,得到的结果记为该数据点的拟合差异因子;将区间可分因子与拟合差异因子的比值,作为该数据点的直线拟合程度;
所述根据相邻数据点的上下内角获取每个数据点的区间可分程度,包括的具体方法为:
对于任意一个待储存温度序列,对于该序列中任意一个数据点,获取该数据点的上内角与相邻前一个数据点的上内角的差值绝对值,记为该数据点的上内角变化量;获取该数据点的下内角与相邻前一个数据点的下内角的差值绝对值,记为该数据点的下内角变化量;对该数据点的上内角变化量与下内角变化量计算差值绝对值,得到的结果记为该数据点的上下内角变化程度;
获取该序列中每个数据点的上下内角变化程度,序列中第一个数据点的上下内角变化程度设置为0;对该序列中所有数据点的上下内角变化程度进行线性归一化,得到的结果记为每个数据点的区间可分程度。
2.根据权利要求1所述的一种化工染料生产数据智能储存方法,其特征在于,所述得到若干待储存温度序列,包括的具体方法为:
将每个生产环节中每个分段时间间隔采集到的温度数据,按照采集顺序排列为一个待储存温度序列。
3.根据权利要求1所述的一种化工染料生产数据智能储存方法,其特征在于,所述每个待储存温度序列的初始压缩数据及每个数据点的上下内角,具体的获取方法为:
对于任意一个待储存温度序列,对该序列进行旋转门压缩,压缩拐点的选择与传统旋转门算法相同;在压缩过程中,数据点与上内点得到的是上夹角,与下内点得到的是下夹角,对每个数据点得到上下夹角,将压缩得到的数据记为该序列的初始压缩数据。
4.根据权利要求1所述的一种化工染料生产数据智能储存方法,其特征在于,所述得到每个数据点的压缩必要性,包括的具体方法为:
根据相邻数据点的直线拟合程度获取每个数据点的停止必要性;对于任意一个待储存温度序列中任意一个数据点,对于该数据点的压缩拟合数据,获取该序列中每个数据点在该压缩拟合数据下对应的上下内角,得到每个数据点在该压缩拟合数据下的上下内角变化程度,对得到的上下内角变化程度按照时序排列,得到的序列记为该数据点的拟合内角变化序列;将初始压缩数据下得到的每个数据点的上下内角变化程度按照时序排列,得到的序列记为初始内角变化序列;
获取该数据点的拟合内角变化序列与初始内角变化序列的DTW距离,获取该压缩拟合数据中直线的数量;获取直线数量与DTW距离的乘积,将该数据点的直线拟合程度,与乘积加上超参数的和的比值,记为该数据点的压缩必要性。
5.根据权利要求4所述的一种化工染料生产数据智能储存方法,其特征在于,所述根据相邻数据点的直线拟合程度获取每个数据点的停止必要性,包括的具体方法为:
对每个数据点获取邻域范围;对于任意一个待储存温度序列中任意一个数据点,获取该数据点的直线拟合程度分别减去其邻域范围中每个数据点的直线拟合程度得到的差值,将所有差值的和记为该数据点的停止必要程度;
获取该序列中每个数据点的停止必要程度,对所有停止必要程度进行线性归一化,得到的结果记为每个数据点的停止必要性。
6.根据权利要求5所述的一种化工染料生产数据智能储存方法,其特征在于,所述对每个数据点获取邻域范围,包括的具体方法为:
预设一个邻域大小,对于任意一个待储存温度序列中任意一个数据点,将该数据点之前邻域大小个数据点及之后邻域大小个数据点,作为该数据点的邻域范围。
7.根据权利要求1所述的一种化工染料生产数据智能储存方法,其特征在于,所述得到压缩后温度序列并进行存储,包括的具体方法为:
对于任意一个待储存温度序列,在对该序列进行旋转门压缩过程中,通过传统方法进行压缩时压缩过程中对每个数据点的压缩必要性进行判断,若压缩必要性大于必要性阈值,将该数据点作为旋转门压缩的分段点并继续压缩;对该序列完成旋转门压缩后,得到压缩后的序列,记为该序列的压缩后温度序列;
对每个待储存温度序列都得到压缩后温度序列,化工染料生产过程中每采集一个待储存温度序列,得到压缩后温度序列后,都进行一次存储。
8.一种化工染料生产数据智能储存系统,其特征在于,该系统包括:
生产数据采集模块,用于采集化工染料生产过程中的温度数据,得到若干待储存温度序列;
生产数据分析模块:用于通过旋转门压缩获取每个待储存温度序列的初始压缩数据及每个数据点的上下内角;根据相邻数据点的上下内角,以及初始压缩数据与每个数据点的压缩拟合数据,得到每个数据点的直线拟合程度;
根据相邻数据点的直线拟合程度,以及初始压缩数据与压缩拟合数据中数据点的上下内角,得到每个数据点的压缩必要性;
数据压缩存储模块,用于根据数据点的压缩必要性对待储存温度序列进行旋转门压缩,得到压缩后温度序列并进行存储;
所述得到每个数据点的直线拟合程度,包括的具体方法为:
根据相邻数据点的上下内角获取每个数据点的区间可分程度;对于任意一个待储存温度序列,对于该序列中任意一个数据点,以该数据点作为旋转门压缩过程中的一个分段点,其他条件不变,重新对该序列进行旋转门压缩,压缩得到的数据记为该数据点的压缩拟合数据;
对该数据点的区间可分程度获取对于该数据点对应时刻的导数,记为该数据点的区间可分因子;对初始压缩数据与该压缩拟合数据的曲线的差进行积分,得到的结果记为该数据点的拟合差异因子;将区间可分因子与拟合差异因子的比值,作为该数据点的直线拟合程度;
所述根据相邻数据点的上下内角获取每个数据点的区间可分程度,包括的具体方法为:
对于任意一个待储存温度序列,对于该序列中任意一个数据点,获取该数据点的上内角与相邻前一个数据点的上内角的差值绝对值,记为该数据点的上内角变化量;获取该数据点的下内角与相邻前一个数据点的下内角的差值绝对值,记为该数据点的下内角变化量;对该数据点的上内角变化量与下内角变化量计算差值绝对值,得到的结果记为该数据点的上下内角变化程度;
获取该序列中每个数据点的上下内角变化程度,序列中第一个数据点的上下内角变化程度设置为0;对该序列中所有数据点的上下内角变化程度进行线性归一化,得到的结果记为每个数据点的区间可分程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311378461.8A CN117131035B (zh) | 2023-10-24 | 2023-10-24 | 一种化工染料生产数据智能储存方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311378461.8A CN117131035B (zh) | 2023-10-24 | 2023-10-24 | 一种化工染料生产数据智能储存方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117131035A CN117131035A (zh) | 2023-11-28 |
CN117131035B true CN117131035B (zh) | 2024-01-05 |
Family
ID=88858493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311378461.8A Active CN117131035B (zh) | 2023-10-24 | 2023-10-24 | 一种化工染料生产数据智能储存方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117131035B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117743280B (zh) * | 2024-02-21 | 2024-04-23 | 盈客通天下科技(大连)有限公司 | 一种公路桥梁施工数据智能管理方法 |
CN117807546B (zh) * | 2024-02-29 | 2024-04-30 | 山东德源电力科技股份有限公司 | 一种用于光伏协议转换器的数据高效存储方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102056189A (zh) * | 2009-10-28 | 2011-05-11 | 中国移动通信集团广东有限公司 | 一种客户网络行为数据重构方法及装置 |
CN109146063A (zh) * | 2018-08-27 | 2019-01-04 | 广东工业大学 | 一种基于重要点分割的多分段短期负荷预测方法 |
WO2020056968A1 (zh) * | 2018-09-18 | 2020-03-26 | 平安科技(深圳)有限公司 | 数据降噪方法、装置、计算机设备和存储介质 |
CN112965976A (zh) * | 2021-02-26 | 2021-06-15 | 中国人民解放军海军工程大学 | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 |
CN115061376A (zh) * | 2022-08-18 | 2022-09-16 | 南通高米精密机械有限公司 | 基于lof算法的挤塑过程优化控制方法 |
CN116823492A (zh) * | 2023-05-05 | 2023-09-29 | 陕西长瑞安驰信息技术集团有限公司 | 一种数据的存储方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7099487B2 (ja) * | 2020-03-31 | 2022-07-12 | 横河電機株式会社 | データ管理システム、データ管理方法、および、データ管理プログラム |
US11809475B2 (en) * | 2020-12-14 | 2023-11-07 | University Of South Florida | Representation and visualization of multivariate sensory time series data |
-
2023
- 2023-10-24 CN CN202311378461.8A patent/CN117131035B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102056189A (zh) * | 2009-10-28 | 2011-05-11 | 中国移动通信集团广东有限公司 | 一种客户网络行为数据重构方法及装置 |
CN109146063A (zh) * | 2018-08-27 | 2019-01-04 | 广东工业大学 | 一种基于重要点分割的多分段短期负荷预测方法 |
WO2020056968A1 (zh) * | 2018-09-18 | 2020-03-26 | 平安科技(深圳)有限公司 | 数据降噪方法、装置、计算机设备和存储介质 |
CN112965976A (zh) * | 2021-02-26 | 2021-06-15 | 中国人民解放军海军工程大学 | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 |
CN115061376A (zh) * | 2022-08-18 | 2022-09-16 | 南通高米精密机械有限公司 | 基于lof算法的挤塑过程优化控制方法 |
CN116823492A (zh) * | 2023-05-05 | 2023-09-29 | 陕西长瑞安驰信息技术集团有限公司 | 一种数据的存储方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于SDLST算法的导弹状态数据压缩方法;李其昌;王广龙;王竹林;张姗姗;高敏;高凤岐;;计算机测量与控制(第11期);全文 * |
基于时间序列趋势转折点的分段线性表示;尚福华;孙达辰;;计算机应用研究(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117131035A (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117131035B (zh) | 一种化工染料生产数据智能储存方法及系统 | |
CN109446189A (zh) | 一种工业参数离群点检测系统及方法 | |
KR20180031698A (ko) | 공간 왜곡 유사도를 사용하는 툴 오류 분석 | |
CN115801901A (zh) | 一种企业生产排放数据压缩处理方法 | |
CN117235557B (zh) | 基于大数据分析的电气设备故障快速诊断方法 | |
CN117556377B (zh) | 用于站所自动化终端的多源数据融合处理方法 | |
CN116308963B (zh) | 一种政务数据分析方法及系统 | |
CN115329910A (zh) | 一种企业生产排放数据智能处理方法 | |
CN113568774A (zh) | 使用无监督深度神经网络的多维时序数据实时异常检测方法 | |
CN117591986B (zh) | 基于人工智能的汽车数据实时处理方法 | |
CN116935384A (zh) | 一种细胞异常样本智能化检测方法 | |
CN114594398A (zh) | 储能锂离子电池数据预处理方法 | |
CN117556364B (zh) | 一种矿用矿压安全智能监测系统 | |
CN117313020B (zh) | 一种承载式张力传感器数据处理方法 | |
CN111538755B (zh) | 一种基于归一化互相关与单位根检验的设备运行状态异常检测方法 | |
CN115081514A (zh) | 一种数据不平衡情况下的工业设备故障识别方法 | |
CN115796660A (zh) | 一种基于大数据的制造业产品质量监测方法及系统 | |
CN117113107B (zh) | 一种转子压铸异常误差数据处理方法 | |
CN109932908B (zh) | 一种基于报警信度融合的多向主元分析过程监测方法 | |
CN113283157A (zh) | 智能冲压压力机部件生命周期预测系统、方法、终端、介质 | |
CN116974258B (zh) | 基于多维数据的生产过程监测方法 | |
CN117931897B (zh) | 一种加热装置温度数据运行监测方法 | |
CN111260818B (zh) | 扣件成型机的模具状态诊断方法 | |
CN117792404B (zh) | 一种用于铝合金压铸零件的数据管理方法 | |
CN117990041B (zh) | 一种无线无源的形变监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |