CN117112514B - 基于对氯甲基苯乙烯生产数据的记录存储方法 - Google Patents
基于对氯甲基苯乙烯生产数据的记录存储方法 Download PDFInfo
- Publication number
- CN117112514B CN117112514B CN202311371115.7A CN202311371115A CN117112514B CN 117112514 B CN117112514 B CN 117112514B CN 202311371115 A CN202311371115 A CN 202311371115A CN 117112514 B CN117112514 B CN 117112514B
- Authority
- CN
- China
- Prior art keywords
- data
- point
- value
- sequence
- modification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 73
- ZRZHXNCATOYMJH-UHFFFAOYSA-N 1-(chloromethyl)-4-ethenylbenzene Chemical compound ClCC1=CC=C(C=C)C=C1 ZRZHXNCATOYMJH-UHFFFAOYSA-N 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012986 modification Methods 0.000 claims abstract description 92
- 230000004048 modification Effects 0.000 claims abstract description 92
- 230000002159 abnormal effect Effects 0.000 claims abstract description 84
- 230000000737 periodic effect Effects 0.000 claims abstract description 82
- IWTYTFSSTWXZFU-UHFFFAOYSA-N 3-chloroprop-1-enylbenzene Chemical compound ClCC=CC1=CC=CC=C1 IWTYTFSSTWXZFU-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 abstract description 11
- 238000013144 data compression Methods 0.000 abstract description 10
- 238000003860 storage Methods 0.000 abstract description 5
- 238000012937 correction Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 8
- 238000012512 characterization method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及存储结构技术领域，具体涉及一种基于对氯甲基苯乙烯生产数据的记录存储方法，该方法首先获取时序上的对氯甲基苯乙烯生产数据，根据各数据点与对应的待分析序列中数据点之间的差异和各数据点在对应周期序列中的分布，筛选出各个异常点。根据在各个周期序列中各数据点与对应的拟合数据值的区别，筛选出各个数据点中的第一修改点和第二修改点，异常点为第二修改点，根据拟合数据值对第一修改点进行调整，根据调整数据对第二修改点进行调整获取待压缩数据，将待压缩数据进行压缩存储。本发明通过对异常情况的数据深入分析并进行针对性修改，提高数据压缩效率，提高氯甲基苯乙烯生产数据对应的存储数据的准确性。
Description
技术领域
本发明涉及存储结构技术领域，具体涉及一种基于对氯甲基苯乙烯生产数据的记录存储方法。
背景技术
对氯甲基苯乙烯生产的历史数据对工厂生产的分析或者预测具有重要意义，由于对氯甲基苯乙烯生产数据通常数据较长且数据量巨大，在创建数据库存储记录对氯甲基苯乙烯生产数据时，为了降低对氯甲基苯乙烯生产数据占据存储空间，需要对数据进行压缩处理。由于通常对氯甲基苯乙烯生产数据按时间顺序进行记录且数据具有一定规律性，可以采用LZW对于此类在时间序列具有规律性排布并且存在一定时间长度的数据进行压缩。
然而由于工艺调整或噪声原因，对氯甲基苯乙烯生产的历史数据的局部数据段存在异常数据，破坏原始数据整体规律性，导致采用LZW压缩数据效率很低。现有技术在识别异常数据后使用纠正算法进行异常数据修正，对识别异常情况的数据考虑因素少，对数据修改考虑不够全面，导致修改数据效果不佳，进而影响存储数据的准确性。
发明内容
为了解决现有技术进行数据修改考虑因素少，导致修改数据效果不佳的技术问题，本发明的目的在于提供一种基于对氯甲基苯乙烯生产数据的记录存储方法，所采用的技术方案具体如下：
一种基于对氯甲基苯乙烯生产数据的记录存储方法，所述方法包括以下步骤：
获取时序上的对氯甲基苯乙烯生产数据；
根据所述对氯甲基苯乙烯生产数据的频率成分，获取各个周期序列；不同所述周期序列中各个相同周期时刻下数据，组成各个待分析序列；
在各个所述周期序列中，根据各数据点与对应的所述待分析序列中数据点之间的差异，获取各个数据点的不同周期差异性；根据各数据点在对应所述周期序列中的分布，获取各个数据点的相同周期差异性；根据在各个所述周期序列中各数据点的所述不同周期差异性和所述相同周期差异性，筛选出各个异常点；
根据各个所述周期序列中各数据点和对应的待分析序列，获取各个周期序列中各数据点对应的各个拟合数据值；根据在各个所述周期序列中各数据点与对应的所述拟合数据值的区别，获取各个数据点的数据偏差值；根据各个数据点的所述数据偏差值，筛选出各个数据点中的第一修改点和第二修改点；所述异常点为所述第二修改点；
根据各个所述第二修改点的数据偏差值和对应的拟合数据值，获取各个所述第二修改点的对应的调整数据；
在所述对氯甲基苯乙烯生产数据中，根据所述拟合数据值对所述第一修改点进行调整，根据所述调整数据对所述第二修改点进行调整获取待压缩数据，利用LZW压缩算法将所述待压缩数据进行压缩存储。
进一步地，所述周期序列的获取方法，具体包括：
将对氯甲基苯乙烯生产数据进行离散傅里叶变化，获取频域数据；在所述频域数据中，根据对应最大幅值的频率，获取主要周期；统计在同一个所述主要周期的对氯甲基苯乙烯生产数据，获取所述周期序列。
进一步地，所述不同周期差异性的获取方法，具体包括：
依次计算数据点与对应的所有所述待分析序列中数据点差异的累加和，获取所述不同周期差异性。
进一步地，所述相同周期差异性的获取方法，具体包括：
计算数据点与对应所述周期序列的均值的差异，获取均值差异值；
计算所述均值差异值和对应方差的比值，获取分布偏差值；
根据所述分布偏差值与对应二阶差分的乘积，获取所述相同周期差异性。
进一步地，所述异常点的获取方法，具体包括：
计算所述不同周期差异性和调整之后所述相同周期差异性的比值，获取第一异常值；
对所述第一异常值进行归一化，获取异常程度；
当异常程度大于预设异常值，将数据点标记为异常点。
进一步地，所述拟合数据值的获取方法，具体包括：
依次计算数据点对应在待分析序列的占比，获取拟合权重；
计算数据点与所述拟合权重的乘积，获取第一拟合值；
计算对应所述待分析序列中的数据点所述第一拟合值的累加值，获取数据点的所述拟合数据值。
进一步地，所述数据偏差值的获取方法，具体包括：
计算数据点与对应的所述拟合数据值的差异，获取第一偏差值；
将所述第一偏差值进行归一化，获取所述数据偏差值。
进一步地，所述第一修改点和所述第二修改点的获取方法，具体包括：
在各个所述周期序列中，当数据点的所述数据偏差值小于预设偏差值且不为所述异常点时，将数据点标记为所述第一修改点，其余数据点标记为所述第二修改点。
进一步地，所述调整数据的获取方法，具体包括：
将所述数据偏差值反比例归一化，获得第一权重；
将所述数据偏差值归一化，获得第二权重，所述第二权重与所述第一权重的和值为1；
计算第一权重与所述拟合数据值的乘积，获取第一调整值；
计算第二权重与所述第二修改点的乘积，获取第二调整值；
计算第一调整值与第二调整值的和值，获取调整数据。
进一步地，所述待压缩数据的获取方法，具体包括：
在所述对氯甲基苯乙烯生产数据中，依次将所述第一修改点替换为所述拟合数据值对应数据，获取第二修正数据；将所述第一修改点替换为所述调整数据，获取所述待压缩数据。
本发明具有如下有益效果：
在本发明实施例中，为了分析对氯甲基苯乙烯生产数据在时序上变化的规律性和关联性，进而确定对氯甲基苯乙烯生产数据的异常点。根据对氯甲基苯乙烯生产数据的频率成分，获取各个周期序列；不同周期序列中各个相同周期时刻下数据，组成各个待分析序列。因为生产调整、人员错误操作和设备故障等原因造成的异常数据是重要数据，对异常原因分析至关重要，将此类异常原因造成的异常数据点作为异常点，进行着重分析。由于在单周期内的异常点往往与周围数据点趋势不同，在不同周期的同一周期时刻异常点往往是相同的，根据各数据点与对应的待分析序列中数据点之间的差异，获取各个数据点的不同周期差异性；根据各数据点在对应周期序列中的分布，获取各个数据点的相同周期差异性；根据在各个周期序列中各数据点的不同周期差异性和相同周期差异性，筛选出各个异常点。为了使得数据点不仅满足后续进行数据压缩操作时需要的规律性且能反映变化趋势，所以需要根据数据点特征进行数据调整，根据各个周期序列中各数据点和对应的待分析序列，获取各个周期序列中各数据点对应的各个拟合数据值；根据在各个周期序列中各数据点与对应的拟合数据值的区别，获取各个数据点的数据偏差值；根据各个数据点的数据偏差值，筛选出各个数据点中的第一修改点和第二修改点；由于第二修改点与对应拟合数据值之间偏差较大或者为异常点，为了实际应用中分析异常原因，对于第二修改点需要调整需要保留异常趋势，因此根据各个第二修改点的数据偏差值和对应的拟合数据值，获取各个第二修改点的对应的调整数据。通过拟合数据值调整第一修正点，使得待压缩数据整体更具有规律性，根据调整数据对第二修改点进行调整获取待压缩数据，在获取第二修改点的调整数据时，对于异常的原始数据点给予更高的权重，在保留异常趋势的前提下，使得待压缩数据整体更具有规律性且存在一定周期长度，利用LZW压缩算法将待压缩数据进行压缩存储的效果更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于对氯甲基苯乙烯生产数据的记录存储方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于对氯甲基苯乙烯生产数据的记录存储方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于对氯甲基苯乙烯生产数据的记录存储方法的流程图。该方法包括以下步骤：
步骤S1，获取时序上的对氯甲基苯乙烯生产数据。
具体的，在对氯甲基苯乙烯生产过程中，通过工艺设备中设置的传感器获取对应的生产数据，对氯甲基苯乙烯生产数据通常按照时间顺序进行采样记录，具有时间序列性质。氯甲基苯乙烯生产数据一般存在多种类别数据，例如压强数据、温度数据、浓度数据。这些类别数据随着时间变化，类别数据的属性变化与时序具有规律性和关联性。通过分析对氯甲基苯乙烯生产数据在时序上变化的规律性和时序上的关联性，确定对氯甲基苯乙烯生产数据的异常点，进而从对氯甲基苯乙烯生产数据筛选出不同修改点并进行不同程度的修改。
需要说明的是，为了方便运算，本发明实施例中所参与运算的所有指标数据均经过数据预处理，进而取消量纲影响。具体去量纲影响的手段为本领域技术人员熟知的技术手段，在此不做限定。
步骤S2，根据对氯甲基苯乙烯生产数据的频率成分，获取各个周期序列；不同周期序列中各个相同周期时刻下数据，组成各个待分析序列。
由于对氯甲基苯乙烯生产数据在时序上变化的具有规律性，通过对氯甲基苯乙烯生产数据的频率成分，确定对氯甲基苯乙烯生产数据的各个周期序列，进而研究对氯甲基苯乙烯生产数据在周期序列中的数据变化趋势，供后续根据数据变化趋势确定数据异常程度作为参考。由于数据点在不同周期序列中各个相同周期时刻下具有关联性，通过不同周期序列中各个相同周期时刻下数据，组成各个待分析序列，以供后续根据关联性确定数据异常程度作为参考。综合分析周期序列和待分析序列，获取数据异常变化并确定异常点，以供后续确定不同修改点并进行不同程度的修改进行参考。
优选地，在本发明一个实施例中周期序列获取方法包括：
由于不明确对氯甲基苯乙烯生产数据的周期，将对氯甲基苯乙烯生产数据进行离
散傅里叶变化，获取频域数据；在频域数据中，不同频率对应不同的幅值，即。
由于幅值代表了该频率在对氯甲基苯乙烯生产数据中的相对强度。以对应最大幅值的频率作为最大频率，以最大频率对应的周期作为主要周期，统计在同
一个主要周期的对氯甲基苯乙烯生产数据，获取周期序列，以供后续分析相同周期差异性
作为参考。
具体的，随机从周期序列选择一个数据点，依次统计不同周期序列中与数据点
在相同周期时刻下数据，组成待分析序列，其中k是周期序列的数量，表示
数据点在第k个周期序列中对应的数据，待分析序列中元素的排列方式按照时序上周期
的顺序进行排列。通过获取每个数据点的待分析序列供后续分析不同周期差异性作为参
考。需要说明的是，根据待分析序列的构成可知，不同周期序列对应的相同位置下的数据点
的待分析序列相同。
步骤S3，在各个周期序列中，根据各数据点与对应的待分析序列中数据点之间的差异，获取各个数据点的不同周期差异性；根据各数据点在对应周期序列中的分布，获取各个数据点的相同周期差异性；根据在各个周期序列中各数据点的不同周期差异性和相同周期差异性，筛选出各个异常点。
由于生产调整、人员错误操作、噪声等原因影响，会导致各个周期序列中部分数据的分布异常，降低周期序列的规律性，然而后续进行数据压缩操作时需要数据尽可能具有规律性，所以对异常数据进行调整。造成数据异常的原因不同，因为生产调整、人员错误操作和设备故障等原因造成的异常数据是重要数据，对异常原因分析至关重要，将此类异常原因造成的异常数据点作为异常点，进行着重分析，进行后续数据调整进行恰当调整。在单周期内的异常点往往与周围数据点趋势不同，在不同周期的同一周期时刻异常点往往是相同的，通过根据各数据点与对应的待分析序列中数据点之间的差异，获取各个数据点的不同周期差异性，不同周期差异性越大，异常点的可能性就越小；根据各数据点在对应周期序列中的分布，获取各个数据点的相同周期差异性，相同周期差异性越大，异常点的可能性就越大；基于异常点的分布特征，根据在各个周期序列中各数据点的不同周期差异性和相同周期差异性，筛选出各个异常点，以供后续筛选第一修改点和第二修改的作为参考。
优选地，在本发明一个实施例中不同周期差异性获取方法包括：
依次计算数据点与对应的所有待分析序列中数据点差异的累加和，获取不同周期差异性。
数据点对应的待分析序列，待分析序列包含不同周期相同周期
时刻的数据，通过分析数据点对应的待分析序列获取不同周期差异性。本发明一个实施
例中不同周期差异性公式包括：
其中，为数据点对应的不同周期差异性，为数据点对应的待分析序列中
第一个数据点，为数据点对应的待分析序列中第二个数据点，为数据点对应的待分
析序列中第三个数据点，为待分析序列中的数据点，为数据点对应的待分析序列中最
后一个数据点，k是待分析序列中数据的数量。
在不同周期差异性公式中，数据点与对应的所有待分析序列中数据点差异越大，
不同周期差异性越大，所以不同周期差异性越大，数据点为异常点的概率越小。
需要说明的是是对应的待分析序列中的其中一个数据点，表述仅为方便理解待
分析序列的位置关系，对在对应的待分析序列的位置不做限定。
优选地，在本发明一个实施例中相同周期差异性获取方法包括：
计算数据点与对应周期序列的均值的差异，获取均值差异值；
计算均值差异值和对应周期序列的方差的比值，获取分布偏差值；
根据分布偏差值与对应二阶差分的乘积，获取相同周期差异性。
将数据对应的周期序列标记为：，其中为周期
大小，即表示周期序列的数据量，通过分析数据点对应的周期序列进而获取相同周期差
异性。本发明一个实施例中相同周期差异性公式包括：
其中，为数据点的相同周期差异性，为周期序列的方差，为周期序
列中的任意一个数据点，为周期序列的均值，为在周期序列中的
二阶差分，为数据点对应的周期序列。
在相同周期差异性公式中，为均值差异值，反映数据点相对于周期序列
均值的偏差，均值差异值越大，分布偏差值越大，相同周期差异性就越大。方差反映周
期序列整体分布的离散程度，方差越大，分布偏差值越小，相同周期差异性就越小。
为分布偏差值，反映数据点相对于周期序列整体分布的偏差，分布偏差值越大，相同周期差
异性就越大。为在周期序列中的二阶差分，反映表示数据点前后数据分布
的趋势差异性，前后变化趋势差异性越大，相同周期差异性就越大。综合了数据点相对于周
期序列整体分布的偏差和数据点前后数据分布的趋势差异性，获取相同周期差异性，相
同周期差异性越大，异常点的概率就越大。
优选地，在本发明一个实施例中异常点获取方法包括：
计算不同周期差异性和调整之后相同周期差异性的比值，获取第一异常值；
对第一异常值进行归一化，获取异常程度；
当异常程度大于预设异常值，将数据点标记为异常点。
本发明一个实施例中异常程度公式包括：
其中，为数据点的异常程度，为数据点的相同周期差异性，为数据
点对应的不同周期差异性，为归一化函数，归一化函数将数据归一化至[0,1]区间
内，本发明实施例中，令分母的调参因子取值为，用以避免分母为零的情况，实
施者可根据实际情况自行设置。
在异常程度公式中，不同周期差异性越大，异常程度越小，数据点为异常点的
概率越小。相同周期差异性越大，异常程度越大，异常点的概率就越大。异常程度体现了
数据点异常情况，符合异常点的分布规律。即在相同周期内的异常点往往与周围数据点的
趋势不同，在不同周期的同一周期时刻异常点往往是相同的，进而可以根据数据点异常程
度获取异常点。
在单个周期中，数据点符合该周期中的数据变化趋势，常规LOF检测算法会将其检测为正常点，然而传统异常检测算法识别的正常点会有误差，可能包括异常点；由于异常点的分布规律，所以可通过异常程度获取异常点，实现更准确的区分异常点。当数据点的异常程度大于预设异常值，将数据点标记为异常点。本发明实施例令预设异常值取值为0.6，实施者可根据实际情况自行设置。
步骤S4，根据各个周期序列中各数据点和对应的待分析序列，获取各个周期序列中各数据点对应的各个拟合数据值；根据在各个周期序列中各数据点与对应的拟合数据值的区别，获取各个数据点的数据偏差值；根据各个数据点的数据偏差值，筛选出各个数据点中的第一修改点和第二修改点；异常点为第二修改点；
为了使得数据点不仅满足后续进行数据压缩操作时需要的规律性，而且能反映变化趋势，所以需要根据数据点特征进行数据调整，根据各个周期序列中各数据点和对应的待分析序列，获取各个周期序列中各数据点对应的各个拟合数据值；拟合数据值具有规律性且能反映异常趋势，为后续进行数据的调整作为参考。为了更好的反映异常数据且满足数据规律性，根据在各个周期序列中各数据点与对应的拟合数据值的区别，获取各个数据点的数据偏差值；从而将数据点进行分类，以供后续根据不同数据点类别进行不同程度调整，根据各个数据点的数据偏差值，筛选出各个数据点中的第一修改点和第二修改点；异常点为第二修改点。第二修正点为想重点保留异常程度的数据点，对其满足规律性的调整程度相对较小，以供实际应用中更好对异常情况进行分析，第一修正点为异常程度较小或者不异常的数据点，对第一修正点进行调整，以满足后续进行数据压缩对数据规律性的要求。
优选地，在本发明一个实施例中拟合数据值获取方法包括：
依次计算数据点对应在待分析序列的占比，获取拟合权重；
计算数据点与拟合权重的乘积，获取第一拟合值；
计算对应待分析序列中的数据点第一拟合值的累加值，获取数据点的拟合数据值。
通过分析数据点对应的待分析序列为，求取数据点的拟合数据
值。本发明一个实施例中拟合数据值公式包括：
其中，为数据点的拟合数据值，为数据点的拟合权重，为待分析序列
中第个数据点，为对应的待分析序列中第一个数据点，为对应的待分析序列中第
二个数据点，为对应的待分析序列中第三个数据点，为对应的待分析序列中最后一
个数据点，k是对应的待分析序列的数据数量。
在拟合数据值公式中，拟合权重反映了对应数据点在待分析数据的占比，进而反映数据点的特征，拟合权重越大，拟合数据值就能更好体现该数据点。拟合数据值可以反映对应数据点规律性和数据特征，通过拟合数据值调整数据点，使得数据点更符合规律性，以供进行数据调整和获取数据偏差值作为参考，进而待压缩数据更具有规律性。
优选地，在本发明一个实施例中数据偏差值获取方法包括：
计算数据点与对应的拟合数据值的差异，获取第一偏差值；
将第一偏差值进行归一化，获取数据偏差值。
本发明一个实施例中数据偏差值公式包括：
其中，为数据点对应周期序列的数据偏差值，为数据点对应的拟合数据
值，为归一化函数，归一化函数将数据归一化至[0,1]区间内。
在数据偏差序列公式中，反映数据点与对应的拟合数据值的差异，数
据偏差值反映拟合数据值对原始数据点的表征效果，当数据差异越大，拟合数据值对原始
数据点的表征效果越好，即拟合数据值可以反映对应数据点规律性和数据特征，当数据差
异越小，拟合数据值对原始数据点的表征效果越差，即拟合数据值不能很好反映对应数据
点规律性和数据特征；进而根据数据偏差序列确定第一修改点和第二修改点。
具体的，依次计算数据点对应周期序列数据点的所有数据偏差值，获取数据点
对应的数据偏差序列，数据偏差序列中数据偏差值最大的为数据偏差极值。
优选地，在本发明一个实施例中第一修改点和第二修改点获取方法包括：
为了使得数据点具有规律性且保留数据的异常情况，所以对数据点进行分类处理。第二修正点为想重点保留异常程度的数据点，对其满足规律性的调整程度相对较小，以供实际应用中更好对异常情况进行分析，第一修正点为异常程度较小或者不异常的数据点，对第一修正点进行调整，以满足后续进行数据压缩对数据规律性的要求。在各个周期序列中，当数据偏差值小于预设偏差值且不为异常点时，将对应数据点标记为第一修改点，其余数据点标记为第二修改点。将数据点进行分类，进而方便后续对第一修改点和第二修改点进行不同程度的修改。本发明实施例令预设偏差值取值为0.7，实施者可根据实际情况自行设置。
步骤S5，根据各个第二修改点的数据偏差值和对应的拟合数据值，获取各个第二修改点的对应的调整数据。
由于第二修改点与对应拟合数据值之间偏差较大或者为异常点，为了实际应用中分析异常原因，对于第二修改点需要调整需要保留异常趋势，因此根据各个第二修改点的数据偏差值和对应的拟合数据值，获取各个第二修改点的对应的调整数据。以供后续对第二修改点进行针对性调整，使得调整数据保留异常变化趋势且比较具有规律性，以满足后续进行数据压缩对数据规律性的要求。
优选地，在本发明一个实施例中调整数据获取方法包括：
将数据偏差值反比例归一化，获得第一权重；
将数据偏差值归一化，获得第二权重，第二权重与第一权重的和值为1；
计算第一权重与拟合数据值的乘积，获取第一调整值；
计算第二权重与第二修改点的乘积，获取第二调整值；
计算第一调整值与第二调整值的和值，获取调整数据。
假设数据点为第二修改点，通过分析第二修改点对应的数据偏差值和拟合数
据值，进而分析第二修改点的调整数据。本发明一个实施例中调整数据公式包括：
其中，为数据点的调整数据，为数据点对应的数据偏差值，
为数据点对应的数据偏差序列中数据偏差极值，为数据点对应的拟合数据值，为假
设的第二修改点，为分母的调参因子。通过作为分母将数据偏差值进行
归一化，可以实现将数据偏差值进行反比例归一化，在本发明其他实
施例中可采用其他归一化方法在此不做限定。本发明实施例中，令分母的调参因子取值
为，用以避免分母为零的情况，实施者可根据实际情况自行设置。
在调整数据公式中，数据偏差值反映数据点与拟合数据值的差异，数据偏差
值越大，第二权重越大，调整数据中的占比就越高。数据偏差值反映
数据点与拟合数据值的差异，数据偏差值越大，第一权重越小，调整数据中的占比就越低。根据第二修改点的数据偏差值，对调整数据的第二修改点和原
始数据占比进行调整，当数据点与拟合数据值的差异越大时，对原始数据第二修改点的保
留程度就越高，使得调整数据反映数据点的异常程度。当数据点与拟合数据值的差异越小
时，对原始数据第二修改点的保留程度就越小，使得调整数据满足规律性。通过调整数据根
据异常情况的灵活调整，为后续待压缩数据满足规律性且保留异常程度作为参考。
需要说明的是，数据偏差极值为在数据点对应的数据偏差序列中数据偏
差值最大值，和能实现将数据偏差值归一化。
步骤S6，在对氯甲基苯乙烯生产数据中，根据拟合数据值对第一修改点进行调整，根据调整数据对第二修改点进行调整获取待压缩数据，利用LZW压缩算法将待压缩数据进行压缩存储。
在获取对氯甲基苯乙烯生产数据的调整数据和待调整数据的类别后，在对氯甲基苯乙烯生产数据中，根据拟合数据值对第一修改点进行调整，根据调整数据对第二修改点进行调整获取待压缩数据，利用LZW压缩算法将待压缩数据进行压缩存储。通过拟合数据值调整第一修正点，使得待压缩数据整体更具有规律性，在获取第二修改点的调整数据时，对于异常的原始数据点给予更高的权重，在保留异常趋势的前提下，使得待压缩数据整体更具有规律性且存在一定周期长度。由于LZW对于有一定长度并且存在有规律性的长字符串压缩效果好，优化了对氯甲基苯乙烯生产数据的存储。
优选地，在本发明一个实施例中待压缩数据获取方法包括：
在对氯甲基苯乙烯生产数据中，依次将第一修改点替换为拟合数据值对应数据，获取第二修正数据，使得待压缩数据整体更具有规律性。调整数据根据异常情况的灵活调整，将第一修改点替换为调整数据，获取待压缩数据，待压缩数据满足规律性且保留异常程度。具体的，使用LZW压缩编码对待压缩数据进行数据压缩，将压缩数据进行存储，获取氯甲基苯乙烯生产数据对应的存储数据。通过数据修改进行深层挖掘，改善修改数据效果，提高数据压缩效率，提高氯甲基苯乙烯生产数据对应的存储数据的准确性。
综上所述，本发明实施例提供了一种基于对氯甲基苯乙烯生产数据的记录存储方法，首先获取时序上的对氯甲基苯乙烯生产数据，根据各数据点与对应的待分析序列中数据点之间的差异和各数据点在对应周期序列中的分布，筛选出各个异常点。根据在各个周期序列中各数据点与对应的拟合数据值的区别，筛选出各个数据点中的第一修改点和第二修改点，异常点为第二修改点，根据拟合数据值对第一修改点进行调整，根据调整数据对第二修改点进行调整获取待压缩数据，将待压缩数据进行压缩存储。本发明实施例中通过对异常情况的数据深入分析并进行针对性修改，改善修改数据效果，提高数据压缩效率，提高氯甲基苯乙烯生产数据对应的存储数据的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (9)
1.一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述方法包括以下步骤：
获取时序上的对氯甲基苯乙烯生产数据；
根据所述对氯甲基苯乙烯生产数据的频率成分，获取各个周期序列；不同所述周期序列中各个相同周期时刻下数据，组成各个待分析序列；
在各个所述周期序列中，根据各数据点与对应的所述待分析序列中数据点之间的差异，获取各个数据点的不同周期差异性；根据各数据点在对应所述周期序列中的分布，获取各个数据点的相同周期差异性；根据在各个所述周期序列中各数据点的所述不同周期差异性和所述相同周期差异性，筛选出各个异常点；
根据各个所述周期序列中各数据点和对应的待分析序列，获取各个周期序列中各数据点对应的各个拟合数据值；根据在各个所述周期序列中各数据点与对应的所述拟合数据值的区别，获取各个数据点的数据偏差值；根据各个数据点的所述数据偏差值，筛选出各个数据点中的第一修改点和第二修改点；所述异常点为所述第二修改点；
根据各个所述第二修改点的数据偏差值和对应的拟合数据值，获取各个所述第二修改点的对应的调整数据；
在所述对氯甲基苯乙烯生产数据中，根据所述拟合数据值对所述第一修改点进行调整，根据所述调整数据对所述第二修改点进行调整获取待压缩数据，利用LZW压缩算法将所述待压缩数据进行压缩存储；
所述周期序列获取方法包括：
将对氯甲基苯乙烯生产数据进行离散傅里叶变化，获取频域数据；在所述频域数据中，根据对应最大幅值的频率，获取主要周期；统计在同一个所述主要周期的对氯甲基苯乙烯生产数据，获取所述周期序列。
2.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述不同周期差异性的获取方法包括：
依次计算数据点与对应的所有所述待分析序列中数据点差异的累加和，获取所述不同周期差异性。
3.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述相同周期差异性的获取方法包括：
计算数据点与对应所述周期序列的均值的差异，获取均值差异值；
计算所述均值差异值和对应方差的比值，获取分布偏差值；
根据所述分布偏差值与对应二阶差分的乘积，获取所述相同周期差异性。
4.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述异常点的获取方法包括：
计算所述不同周期差异性和调整之后所述相同周期差异性的比值，获取第一异常值；
对所述第一异常值进行归一化，获取异常程度；
当异常程度大于预设异常值，将数据点标记为异常点。
5.根据权利要求4所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述拟合数据值的获取方法包括：
依次计算数据点对应在待分析序列的占比，获取拟合权重；
计算数据点与所述拟合权重的乘积，获取第一拟合值；
计算对应所述待分析序列中的数据点所述第一拟合值的累加值，获取数据点的所述拟合数据值。
6.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述数据偏差值的获取方法包括：
计算数据点与对应的所述拟合数据值的差异，获取第一偏差值；
将所述第一偏差值进行归一化，获取所述数据偏差值。
7.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述第一修改点和所述第二修改点的获取方法包括：
在各个所述周期序列中，当数据点的所述数据偏差值小于预设偏差值且不为所述异常点时，将数据点标记为所述第一修改点，其余数据点标记为所述第二修改点。
8.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述调整数据的获取方法，具体包括：
将所述数据偏差值反比例归一化，获得第一权重；
将所述数据偏差值归一化，获得第二权重，所述第二权重与所述第一权重的和值为1；
计算第一权重与所述拟合数据值的乘积，获取第一调整值；
计算第二权重与所述第二修改点的乘积，获取第二调整值；
计算第一调整值与第二调整值的和值，获取调整数据。
9.根据权利要求1所述的一种基于对氯甲基苯乙烯生产数据的记录存储方法，其特征在于，所述待压缩数据的获取方法包括：
在所述对氯甲基苯乙烯生产数据中，依次将所述第一修改点替换为所述拟合数据值对应数据，获取第二修正数据；将所述第一修改点替换为所述调整数据，获取所述待压缩数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311371115.7A CN117112514B (zh) | 2023-10-23 | 2023-10-23 | 基于对氯甲基苯乙烯生产数据的记录存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311371115.7A CN117112514B (zh) | 2023-10-23 | 2023-10-23 | 基于对氯甲基苯乙烯生产数据的记录存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117112514A CN117112514A (zh) | 2023-11-24 |
| CN117112514B true CN117112514B (zh) | 2024-01-09 |
Family
ID=88809501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311371115.7A Active CN117112514B (zh) | 2023-10-23 | 2023-10-23 | 基于对氯甲基苯乙烯生产数据的记录存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117112514B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475336A (zh) * | 2020-03-09 | 2020-07-31 | 平安科技（深圳）有限公司 | 基于文件信息的备份数据分析方法、装置和计算机设备 |
| WO2021000361A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于经验正交函数分解法的静止海洋水色卫星数据重构方法 |
| WO2021104638A1 (en) * | 2019-11-29 | 2021-06-03 | Huawei Technologies Co., Ltd. | Devices, system and methods for optimization in deduplication |
| WO2021110241A1 (en) * | 2019-12-03 | 2021-06-10 | Huawei Technologies Co., Ltd. | Devices, system and methods for optimization in deduplication |
| CN113987033A (zh) * | 2021-12-28 | 2022-01-28 | 国网江西省电力有限公司电力科学研究院 | 主变在线监测数据群体偏差识别与校准方法 |
| CN115858832A (zh) * | 2023-03-01 | 2023-03-28 | 天津市邱姆预应力钢绞线有限公司 | 一种用于钢绞线生产数据存储方法及系统 |
| CN116702081A (zh) * | 2023-08-07 | 2023-09-05 | 西安格蒂电力有限公司 | 基于人工智能的配电设备智能巡检方法 |
| CN116823175A (zh) * | 2023-07-10 | 2023-09-29 | 深圳市昭行云科技有限公司 | 一种石油化工生产信息化系统智能运维方法及系统 |
-
2023
- 2023-10-23 CN CN202311371115.7A patent/CN117112514B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021000361A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于经验正交函数分解法的静止海洋水色卫星数据重构方法 |
| WO2021104638A1 (en) * | 2019-11-29 | 2021-06-03 | Huawei Technologies Co., Ltd. | Devices, system and methods for optimization in deduplication |
| WO2021110241A1 (en) * | 2019-12-03 | 2021-06-10 | Huawei Technologies Co., Ltd. | Devices, system and methods for optimization in deduplication |
| CN111475336A (zh) * | 2020-03-09 | 2020-07-31 | 平安科技（深圳）有限公司 | 基于文件信息的备份数据分析方法、装置和计算机设备 |
| CN113987033A (zh) * | 2021-12-28 | 2022-01-28 | 国网江西省电力有限公司电力科学研究院 | 主变在线监测数据群体偏差识别与校准方法 |
| CN115858832A (zh) * | 2023-03-01 | 2023-03-28 | 天津市邱姆预应力钢绞线有限公司 | 一种用于钢绞线生产数据存储方法及系统 |
| CN116823175A (zh) * | 2023-07-10 | 2023-09-29 | 深圳市昭行云科技有限公司 | 一种石油化工生产信息化系统智能运维方法及系统 |
| CN116702081A (zh) * | 2023-08-07 | 2023-09-05 | 西安格蒂电力有限公司 | 基于人工智能的配电设备智能巡检方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于时间序列的预测模型应用与异常检测;李健;孙广中;许胤龙;;计算机辅助工程(第02期);全文 * |
| 联合HJ-1/CCD和Landsat 8/OLI数据反演黑河中游叶面积指数;赵静;李静;柳钦火;范闻捷;曾也鲁;徐保东;尹高飞;;遥感学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117112514A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU745828B2 (en) | System for surveillance of spectral signals | |
| Worden et al. | Novelty detection in a changing environment: regression and interpolation approaches | |
| Jablonski et al. | Modeling of probability distribution functions for automatic threshold calculation in condition monitoring systems | |
| CN111046341A (zh) | 一种基于主成分分析的非常规天然气压裂效果评价及产能预测方法 | |
| CN108549908B (zh) | 基于多采样概率核主成分模型的化工过程故障检测方法 | |
| CN116108008A (zh) | 一种装饰材料甲醛检测数据处理方法 | |
| CN117196353B (zh) | 基于大数据的环境污染评估与监测方法及系统 | |
| CN112213687B (zh) | 基于伪异常点辨识的关口电能表数据异常检测方法及系统 | |
| CN111307438A (zh) | 一种基于信息熵的旋转机械振动故障诊断方法及其系统 | |
| Zhong et al. | A nonparametric health index and its statistical threshold for machine condition monitoring | |
| CN117272210A (zh) | 一种建筑施工异常隐患数据检测方法及系统 | |
| Shi et al. | The VMD-scale space based hoyergram and its application in rolling bearing fault diagnosis | |
| CN117540325B (zh) | 基于数据变化量捕获的业务数据库异常检测方法及系统 | |
| CN116597939A (zh) | 基于大数据的药品质量控制管理分析系统及方法 | |
| CN117271987B (zh) | 一种配电设备环境状态数据智能采集处理方法 | |
| CN117112514B (zh) | 基于对氯甲基苯乙烯生产数据的记录存储方法 | |
| CN113837591A (zh) | 一种面向多工况运行条件的装备健康评估方法 | |
| CN114265840A (zh) | 异常得分计算装置、方法以及存储介质 | |
| CN111339986A (zh) | 基于时域/频域分析的装备用频规律挖掘方法和系统 | |
| CN116046968A (zh) | 一种液相色谱工作站数据处理方法、系统及可存储介质 | |
| Zhang et al. | Dynamic evaluation of degradation space variation for machine condition monitoring | |
| CN116933119A (zh) | 一种基于卷积神经网络的信号数据去除趋势方法 | |
| CN114993671A (zh) | 一种基于q因子小波变换的振动故障诊断方法及其系统 | |
| CN113283157A (zh) | 智能冲压压力机部件生命周期预测系统、方法、终端、介质 | |
| CN113408383A (zh) | 基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Record and Storage Method Based on Production Data of Chloromethylstyrene Granted publication date: 20240109 Pledgee: Jining Jinxiang sub branch of Rizhao Bank Co.,Ltd. Pledgor: Shandong Tongli New Material Co.,Ltd. Registration number: Y2024980008743 |