CN117540304A - 一种粘合剂生产数据高效处理方法 - Google Patents
一种粘合剂生产数据高效处理方法 Download PDFInfo
- Publication number
- CN117540304A CN117540304A CN202410032301.6A CN202410032301A CN117540304A CN 117540304 A CN117540304 A CN 117540304A CN 202410032301 A CN202410032301 A CN 202410032301A CN 117540304 A CN117540304 A CN 117540304A
- Authority
- CN
- China
- Prior art keywords
- data
- point
- adhesive production
- production data
- data point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000853 adhesive Substances 0.000 title claims abstract description 221
- 230000001070 adhesive effect Effects 0.000 title claims abstract description 221
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 221
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000005856 abnormality Effects 0.000 claims abstract description 31
- 238000007906 compression Methods 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 229960003089 pramipexole Drugs 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Factory Administration (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种粘合剂生产数据高效处理方法,该方法根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,根据变化趋势差异和粘合剂生产数据构建两个孤立森林,确定每个数据点的异常程度,根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定极值点为目标数据点的概率,根据异常程度对极值点为目标数据点的概率进行修正,根据极值点为目标数据点的修正概率确定目标数据点,根据目标数据点通过道格拉斯‑普克算法对粘合剂生产数据时序曲线压缩;通过只计算目标数据点与边界数据点之间的直线的距离,减少计算量,提高压缩效率。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种粘合剂生产数据高效处理方法。
背景技术
粘合剂是具有粘性的物质,借助其粘性能将两种分离的材料连接在一起;在粘合剂的生产加工过程中,需要通过持续监测生产过程中的温度、压力和湿度等粘合剂生产数据,来保证粘合剂的质量。
持续监测粘合剂的生产过程中的温度、压力和湿度等粘合剂生产数据,会导致粘合剂生产数据的数量剧增,因此,需要对采集的粘合剂生产数据进行压缩存储。
在通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩时,每次迭代都需要对所有数据点到直线的距离进行计算,计算量大导致压缩效率低。
发明内容
有鉴于此,本发明实施例提供了一种粘合剂生产数据高效处理方法,以解决通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩时,计算量大导致压缩效率低的问题。
本发明实施例中提供了一种粘合剂生产数据高效处理方法,所述一种粘合剂生产数据高效处理方法包括:
将采集的每个时刻的粘合剂生产数据作为数据点,所有数据点按照时间顺序组成粘合剂生产数据时序曲线;
根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异;
分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度;
对粘合剂生产数据时序曲线进行均值滤波,获得调整后的粘合剂生产数据时序曲线;根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率;
根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,根据极值点为目标数据点的修正概率确定目标数据点;
根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩。
进一步地,所述根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,包括:
式中,表示第i个数据点的变化趋势差异,/>、/>、/>分别表示第i-1个数据点、第i个数据点、第i+1个数据点的粘合剂生产数据,/>表示取最大值函数,/>表示取最小值函数,/>表示符号判断函数。
进一步地,所述符号判断函数,包括:。
进一步地,所述分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,包括:
将所有数据点作为样本输入孤立森林异常检测算法,针对数据点的粘合剂生产数据,随机选取阈值生成C个孤立树,所有孤立树组成第一孤立森林;
针对数据点的变化趋势差异,通过随机选取阈值的方式生成C个孤立树,所有孤立树组成第二孤立森林,C表示预设数量。
进一步地,所述根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度,包括:
式中,表示第i个数据点的异常程度,/>表示第i个数据点在第一孤立森林的第j个孤立树上的异常得分,/>表示第i个数据点在第二孤立森林的第j个孤立树上的异常得分,C表示预设数量。
进一步地,所述根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率,包括:
式中,表示第t个极值点为目标数据点的概率,/>表示第t个极值点的粘合剂生产数据,/>表示第t个极值点的调整后的粘合剂生产数据。
进一步地,所述根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,包括:
式中,表示第t个极值点为目标数据点的修正概率,/>表示第t个极值点的异常程度,/>表示第t个极值点为目标数据点的概率。
进一步地,所述根据极值点为目标数据点的修正概率确定目标数据点,包括:
将为边界数据点的修正概率大于预设阈值的极值点作为目标数据点。
进一步地,所述根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩,包括:
将粘合剂生产数据时序曲线上的第一个数据点和最后一个数据点作为边界数据点,连接粘合剂生产数据时序曲线的两个边界数据点获得直线,计算粘合剂生产数据时序曲线上每个目标数据点与第一直线的距离,将与第一直线的距离最大且距离大于阈值的目标数据点作为边界数据点;
连接粘合剂生产数据时序曲线的每两个相邻的边界数据点获得直线,计算每两个相邻的边界数据点之间的每个目标数据点与每两个相邻的边界数据点组成的直线的距离,将与每两个相邻的边界数据点组成的直线的距离最大且距离大于阈值的目标数据点作为边界数据点;
通过不断迭代获得所有边界数据点,通过记录所有边界数据点实现对粘合剂生产数据时序曲线的压缩,进而实现对所有粘合剂生产数据的压缩。
进一步地,所述极值点的调整后的粘合剂生产数据,包括:
调整后的粘合剂生产数据时序曲线上每个时刻的数据点的粘合剂生产数据,作为每个时刻的数据点的调整后的粘合剂生产数据。
本发明实施例至少具有如下有益效果:本发明结合道格拉斯-普克算法提取的边界数据点的特征,根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,确定每个数据点的异常程度,根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率,根据极值点的异常程度对极值点为目标数据点的概率进行修正,根据极值点为目标数据点的修正概率确定目标数据点,在后续通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩时,只计算目标数据点与边界数据点之间的直线的距离,减少计算量,提高压缩效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种粘合剂生产数据高效处理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种粘合剂生产数据高效处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种粘合剂生产数据高效处理方法的具体方案。
持续监测粘合剂的生产过程中的温度、压力和湿度等粘合剂生产数据,会导致粘合剂生产数据的数量剧增,因此,需要对采集的粘合剂生产数据进行压缩存储。
道格拉斯-普克算法通过从大量冗余的数据点中提取必要的边界数据点,进而实现对数据的压缩;将采集的粘合剂生产数据按照时间顺序组成粘合剂生产数据时序曲线,在通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩时,通过连接粘合剂生产数据时序曲线的两个边界数据点获得直线,计算粘合剂生产数据时序曲线上每个数据点与直线的距离,将与直线的距离最大且距离大于阈值的数据点作为边界数据点,通过不断迭代获得所有边界数据点,用所有边界数据点之间的直线来近似表示粘合剂生产数据时序曲线;此时,对于所有粘合剂生产数据组成粘合剂生产数据时序曲线,只需要记录边界数据点即可,通过从大量冗余的数据点提取必要的数据点,通过减少需要记录的数据点的数量,进而实现对数据的压缩。
在通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩的过程中,每次迭代获取边界数据点,都需要计算粘合剂生产数据时序曲线上所有数据点与直线的距离,计算量大导致压缩效率低。
为了提高压缩效率,需要通过减少需要计算的数据点的数量,由于道格拉斯-普克算法的计算过程是为了获取边界数据点,因此,可以通过边界数据点的特征,从粘合剂生产数据时序曲线的所有数据点中提前选取部分可能是边界数据点的数据点,在后续通过计算数据点与边界数据点之间的直线提取边界数据点时,只计算可能是边界数据点的数据点与边界数据点之间的直线,来减少计算量,进而提高压缩效率。
道格拉斯-普克算法从大量冗余的数据点中提取必要的边界数据点时,选取的边界数据点具有以下特征:
(1)边界数据点之前的部分数据点的变化趋势和边界数据点之后的部分数据点的变化趋势不同;
(2)边界数据点的粘合剂生产数据与其他数据点的粘合剂生产数据不同;
(3)边界数据点是粘合剂生产数据时序曲线中的局部极值点。
请参阅图1,其示出了本发明一个实施例提供的一种粘合剂生产数据高效处理方法的步骤流程图,该方法包括以下步骤:
步骤S001,将采集的每个时刻的粘合剂生产数据作为数据点,所有数据点按照时间顺序组成粘合剂生产数据时序曲线。
在一些实现中,在粘合剂的生产加工过程中,需要通过持续监测生产过程中的温度、压力和湿度等粘合剂生产数据,来保证粘合剂的质量。
具体的,通过传感器采集粘合剂的生产过程中每个时刻的温度数据、压力数据和湿度数据,其中,通过温度传感器采集粘合剂的生产过程中的温度数据,通过压力传感器采集粘合剂的生产过程中的压力数据,通过湿度传感器采集粘合剂的生产过程中的湿度数据。
进一步,后续对温度数据、压力数据和湿度数据的压缩过程相同,因此,以温度数据为例进行说明;将温度数据作为粘合剂生产数据,以时间为横坐标,以粘合剂生产数据为纵坐标,将每个时刻的每种粘合剂生产数据转换为一个数据点,将所有数据点按照时间顺序组成粘合剂生产数据时序曲线。
步骤S002,根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异;分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度。
在一些实现中,结合道格拉斯-普克算法提取的边界数据点的特征,从粘合剂生产数据时序曲线的所有数据点中提前选取部分可能是边界数据点的目标数据点时,考虑到边界数据点之前的部分数据点的变化趋势和边界数据点之后的部分数据点的变化趋势不同,同时边界数据点的粘合剂生产数据与其他数据点的粘合剂生产数据不同,因此,本实施例根据每个数据点与前一个数据点的粘合剂生产数据的差值,以及每个数据点与后一个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异;进而分别根据数据点的变化趋势差异和数据点的粘合剂生产数据构建孤立森林,根据孤立森林选取部分可能是边界数据点的目标数据点。
1、根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异。
在一些实现中,根据每个数据点与前一个数据点的粘合剂生产数据的差值,以及每个数据点与后一个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异时,不仅要考虑数据点的变化趋势的程度,还要结合数据点的变化趋势的方向。
具体的,根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,具体计算公式为:
式中,表示第i个数据点的变化趋势差异,/>、/>、/>分别表示第i-1个数据点、第i个数据点、第i+1个数据点的粘合剂生产数据,/>表示取最大值函数,/>表示取最小值函数,/>表示符号判断函数。
可以理解的是,根据每个数据点与前一个数据点的粘合剂生产数据的差值,以及每个数据点与后一个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异时,差值的绝对值越大,则数据点的变化趋势的程度越大,两个差值的绝对值的差异越大,则数据点的变化趋势差异越大;同时,每个差值是正数还是负数,反映了数据点的变化趋势的方向是正向还是负向,如果两个差值的变化趋势的方向是相反的,则数据点的变化趋势差异越大。
2、分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度。
在一些实现中,考虑到边界数据点代表粘合剂生产数据时序曲线的变化趋势,即边界数据点之前的部分数据点的变化趋势和边界数据点之后的部分数据点的变化趋势不同,而不是边界数据点的数据点,数据点之前的部分数据点的变化趋势和数据点之后的部分数据点的变化趋势近似相同,因此,边界数据点的变化趋势差异和不是边界数据点的数据点的变化趋势差异是不同,即在变化趋势差异方面,边界数据点相对于不是边界数据点的数据点,属于异常点的存在;同时边界数据点的粘合剂生产数据与其他数据点的粘合剂生产数据不同,即在粘合剂生产数据方面,边界数据点相对于不是边界数据点的数据点,也属于异常点的存在;孤立森林算法通过不断分割数据集,将异常点孤立出来,通过数据点的异常得分确定异常点。
综上,本实施例分别根据数据点的变化趋势差异和数据点的粘合剂生产数据构建孤立森林,根据孤立森林选取部分可能是边界数据点的目标数据点。
具体的,将所有数据点作为样本输入孤立森林异常检测算法,针对数据点的粘合剂生产数据,随机选取阈值生成C个孤立树,所有孤立树组成第一孤立森林;针对数据点的变化趋势差异,通过随机选取阈值的方式生成C个孤立树,所有孤立树组成第二孤立森林,C表示预设数量,实施人员可根据实际实施情况设置数量,例如C=9。
其中,所述针对数据点的粘合剂生产数据,随机选取阈值生成孤立树,包括:在数据点的粘合剂生产数据的最小值和最大值之间随机选取阈值,根据选取的阈值对所有数据点进行划分,生成对应的孤立树;所述针对数据点的变化趋势差异,随机选取阈值生成孤立树,包括:在数据点的变化趋势差异的最小值和最大值之间随机选取阈值,根据选取的阈值对所有数据点进行划分,生成对应的孤立树。
进一步,根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度,具体计算公式为:
式中,表示第i个数据点的异常程度,/>表示第i个数据点在第一孤立森林的第j个孤立树上的异常得分,/>表示第i个数据点在第二孤立森林的第j个孤立树上的异常得分,C表示预设数量。
需要说明的是,孤立森林异常检测算法为公知技术,数据点在第一孤立森林的孤立树上的异常得分和数据点在第二孤立森林的孤立树上的异常得分的计算,均为孤立森林异常检测算法中的公知步骤,此处不再进行赘述。
可以理解的是,数据点在第一孤立森林和第二孤立森林的孤立树上的异常得分越大,则数据点在变化趋势差异和粘合剂生产数据两个方面,与不是边界数据点的数据点的差异越大,数据点越可能是边界数据点,则数据点的异常程度越大。
步骤S003,对粘合剂生产数据时序曲线进行均值滤波,获得调整后的粘合剂生产数据时序曲线,根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率。
在一些实现中,结合道格拉斯-普克算法提取的边界数据点的特征,从粘合剂生产数据时序曲线的所有数据点中提前选取部分可能是边界数据点的目标数据点时,考虑到边界数据点是粘合剂生产数据时序曲线中的局部极值点,但是在采集粘合剂生产数据时,由于噪声的影响,导致粘合剂生产数据在局部存在波动,导致粘合剂生产数据时序曲线的局部存在多个极值点,但是这些极值点并不能代表粘合剂生产数据时序曲线的局部的真实变化趋势,因此,本实施例先对粘合剂生产数据时序曲线进行均值滤波进行均值滤波,获取均值滤波后的粘合剂生产数据时序曲线的极值点,排除噪声对极值点获取的准确性的影响。
具体的,对粘合剂生产数据时序曲线进行均值滤波,获得调整后的粘合剂生产数据时序曲线,调整后的粘合剂生产数据时序曲线上每个时刻的数据点的粘合剂生产数据,作为每个时刻的数据点的调整后的粘合剂生产数据;所述对粘合剂生产数据时序曲线进行均值滤波,包括:以每个数据点为窗口中心,以预设尺寸K为窗口尺寸,获得每个数据点的窗口,将每个数据点的窗口内的所有数据点的粘合剂生产数据的均值作为每个数据点的调整后的粘合剂生产数据,实施人员可根据实际实施情况设置尺寸,例如K=7。
进一步,获得调整后的粘合剂生产数据时序曲线上的所有极值点,根据每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率,具体计算公式为:
式中,表示第t个极值点为目标数据点的概率,/>表示第t个极值点的粘合剂生产数据,/>表示第t个极值点的调整后的粘合剂生产数据。
可以理解的是,对于代表粘合剂生产数据时序曲线的局部的真实变化趋势的极值点,在该极值点的前后,粘合剂生产数据时序曲线的变化趋势的差异较大,因此,在均值滤波后,该极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异较大;而对于噪声导致的并不代表粘合剂生产数据时序曲线的局部的真实变化趋势的极值点,在该极值点的前后,粘合剂生产数据时序曲线的变化趋势的差异较小,因此,在均值滤波后,该极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异较小;因此,对于任意一个极值点,该极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异较大,则该极值点为目标数据点的概率越大。
步骤S004,根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,根据极值点为目标数据点的修正概率确定目标数据点;根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩。
在一些实现中,持续监测粘合剂的生产过程中的温度、压力和湿度等粘合剂生产数据,会导致粘合剂生产数据的数量剧增,因此,需要对采集的粘合剂生产数据进行压缩存储;由于粘合剂生产数据是时序数据,因此,能够通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩。在通过道格拉斯-普克算法对粘合剂生产数据组成的粘合剂生产数据时序曲线进行压缩的过程中,每次迭代获取边界数据点,都需要计算粘合剂生产数据时序曲线上所有数据点与直线的距离,计算量大导致压缩效率低。
综上,本实施例结合道格拉斯-普克算法提取的边界数据点的特征,从粘合剂生产数据时序曲线的所有数据点中提前选取部分可能是边界数据点的数据点,在后续通过计算数据点与边界数据点之间的直线提取边界数据点时,只计算可能是边界数据点的数据点与边界数据点之间的直线,来减少计算量,进而提高压缩效率。
1、根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,根据极值点为目标数据点的修正概率确定目标数据点。
具体的,根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,具体计算公式为:
式中,表示第t个极值点为目标数据点的修正概率,/>表示第t个极值点的异常程度,/>表示第t个极值点为目标数据点的概率。
可以理解的是,极值点为目标数据点的概率越大,该极值点越可能是道格拉斯-普克算法提取的边界数据点;极值点的异常程度越大,极值点越服从道格拉斯-普克算法提取的边界数据点的特征,该极值点越可能是道格拉斯-普克算法提取的边界数据点,因此,通过极值点的异常程度对极值点为目标数据点的概率进行修正。
进一步,将为边界数据点的修正概率大于预设阈值的极值点作为目标数据点。
2、根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩。
具体的,通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩,包括:将粘合剂生产数据时序曲线上的第一个数据点和最后一个数据点作为边界数据点,连接粘合剂生产数据时序曲线的两个边界数据点获得直线,计算粘合剂生产数据时序曲线上每个目标数据点与第一直线的距离,将与第一直线的距离最大且距离大于阈值的目标数据点作为边界数据点;连接粘合剂生产数据时序曲线的每两个相邻的边界数据点获得直线,计算每两个相邻的边界数据点之间的每个目标数据点与每两个相邻的边界数据点组成的直线的距离,将与每两个相邻的边界数据点组成的直线的距离最大且距离大于阈值的目标数据点作为边界数据点;通过不断迭代获得所有边界数据点,通过记录所有边界数据点实现对粘合剂生产数据时序曲线的压缩,进而实现对所有粘合剂生产数据的压缩。
可以理解的是,所有边界数据点之间的直线能够近似表示粘合剂生产数据时序曲线,通过记录边界数据点,从大量冗余的数据点中提取必要的边界数据点,通过减少需要记录的数据点的数量,进而实现对粘合剂生产数据的压缩。
综上所述,本发明结合道格拉斯-普克算法提取的边界数据点的特征,根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,确定每个数据点的异常程度,根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率,根据极值点的异常程度对极值点为目标数据点的概率进行修正,根据极值点为目标数据点的修正概率确定目标数据点,在后续通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩时,只计算目标数据点与边界数据点之间的直线的距离,减少计算量,提高压缩效率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种粘合剂生产数据高效处理方法,其特征在于,所述一种粘合剂生产数据高效处理方法包括:
将采集的每个时刻的粘合剂生产数据作为数据点,所有数据点按照时间顺序组成粘合剂生产数据时序曲线;
根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异;
分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度;
对粘合剂生产数据时序曲线进行均值滤波,获得调整后的粘合剂生产数据时序曲线;根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率;
根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,根据极值点为目标数据点的修正概率确定目标数据点;
根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩。
2.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据每个数据点与相邻两个数据点的粘合剂生产数据的差值,确定每个数据点的变化趋势差异,包括:
式中,表示第i个数据点的变化趋势差异,/>、/>、/>分别表示第i-1个数据点、第i个数据点、第i+1个数据点的粘合剂生产数据,/>表示取最大值函数,/>表示取最小值函数,/>表示符号判断函数。
3.如权利要求2所述的一种粘合剂生产数据高效处理方法,其特征在于,所述符号判断函数,包括:。
4.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述分别根据数据点的变化趋势差异和粘合剂生产数据构建第一孤立森林和第二孤立森林,包括:
将所有数据点作为样本输入孤立森林异常检测算法,针对数据点的粘合剂生产数据,随机选取阈值生成C个孤立树,所有孤立树组成第一孤立森林;
针对数据点的变化趋势差异,通过随机选取阈值的方式生成C个孤立树,所有孤立树组成第二孤立森林,C表示预设数量。
5.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据每个数据点在第一孤立森林和第二孤立森林的异常得分,确定每个数据点的异常程度,包括:
式中,表示第i个数据点的异常程度,/>表示第i个数据点在第一孤立森林的第j个孤立树上的异常得分,/>表示第i个数据点在第二孤立森林的第j个孤立树上的异常得分,C表示预设数量。
6.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据调整后的粘合剂生产数据时序曲线上每个极值点的粘合剂生产数据和调整后的粘合剂生产数据的差异,确定每个极值点为目标数据点的概率,包括:
式中,表示第t个极值点为目标数据点的概率,/>表示第t个极值点的粘合剂生产数据,/>表示第t个极值点的调整后的粘合剂生产数据。
7.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据极值点的异常程度对极值点为目标数据点的概率进行修正,确定极值点为目标数据点的修正概率,包括:
式中,表示第t个极值点为目标数据点的修正概率,/>表示第t个极值点的异常程度,表示第t个极值点为目标数据点的概率。
8.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据极值点为目标数据点的修正概率确定目标数据点,包括:
将为边界数据点的修正概率大于预设阈值的极值点作为目标数据点。
9.如权利要求1所述的一种粘合剂生产数据高效处理方法,其特征在于,所述根据目标数据点通过道格拉斯-普克算法对粘合剂生产数据时序曲线进行压缩,包括:
将粘合剂生产数据时序曲线上的第一个数据点和最后一个数据点作为边界数据点,连接粘合剂生产数据时序曲线的两个边界数据点获得直线,计算粘合剂生产数据时序曲线上每个目标数据点与第一直线的距离,将与第一直线的距离最大且距离大于阈值的目标数据点作为边界数据点;
连接粘合剂生产数据时序曲线的每两个相邻的边界数据点获得直线,计算每两个相邻的边界数据点之间的每个目标数据点与每两个相邻的边界数据点组成的直线的距离,将与每两个相邻的边界数据点组成的直线的距离最大且距离大于阈值的目标数据点作为边界数据点;
通过不断迭代获得所有边界数据点,通过记录所有边界数据点实现对粘合剂生产数据时序曲线的压缩,进而实现对所有粘合剂生产数据的压缩。
10.如权利要求6所述的一种粘合剂生产数据高效处理方法,其特征在于,所述极值点的调整后的粘合剂生产数据,包括:
调整后的粘合剂生产数据时序曲线上每个时刻的数据点的粘合剂生产数据,作为每个时刻的数据点的调整后的粘合剂生产数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410032301.6A CN117540304B (zh) | 2024-01-10 | 2024-01-10 | 一种粘合剂生产数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410032301.6A CN117540304B (zh) | 2024-01-10 | 2024-01-10 | 一种粘合剂生产数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117540304A true CN117540304A (zh) | 2024-02-09 |
CN117540304B CN117540304B (zh) | 2024-05-17 |
Family
ID=89796201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410032301.6A Active CN117540304B (zh) | 2024-01-10 | 2024-01-10 | 一种粘合剂生产数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117540304B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786543A (zh) * | 2024-02-28 | 2024-03-29 | 沂水友邦养殖服务有限公司 | 一种数字化肉鸡养殖信息存储管理方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091414A (zh) * | 2019-11-28 | 2020-05-01 | 公安部第三研究所 | 基于孤立森林模型实现烟草销售异常行为检测的方法 |
CN111784392A (zh) * | 2020-06-29 | 2020-10-16 | 中国平安财产保险股份有限公司 | 基于孤立森林的异常用户群组检测方法、装置、设备 |
CN113190843A (zh) * | 2018-09-05 | 2021-07-30 | 甲骨文国际公司 | 使用深度递归神经网络的上下文感知特征嵌入和序列日志数据的异常检测 |
US20230325632A1 (en) * | 2022-03-28 | 2023-10-12 | Workday, Inc. | Automated anomaly detection using a hybrid machine learning system |
CN117238058A (zh) * | 2023-11-10 | 2023-12-15 | 无锡明诚汽车部件有限公司 | 基于数据分析的汽车用起动机监测方法 |
CN117332341A (zh) * | 2023-11-28 | 2024-01-02 | 贵州空港智能科技有限公司 | 基于物联网的飞机轮挡数据智能管理方法及系统 |
CN117349764A (zh) * | 2023-12-05 | 2024-01-05 | 河北三臧生物科技有限公司 | 一种干细胞诱导数据智能分析方法 |
-
2024
- 2024-01-10 CN CN202410032301.6A patent/CN117540304B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190843A (zh) * | 2018-09-05 | 2021-07-30 | 甲骨文国际公司 | 使用深度递归神经网络的上下文感知特征嵌入和序列日志数据的异常检测 |
CN111091414A (zh) * | 2019-11-28 | 2020-05-01 | 公安部第三研究所 | 基于孤立森林模型实现烟草销售异常行为检测的方法 |
CN111784392A (zh) * | 2020-06-29 | 2020-10-16 | 中国平安财产保险股份有限公司 | 基于孤立森林的异常用户群组检测方法、装置、设备 |
US20230325632A1 (en) * | 2022-03-28 | 2023-10-12 | Workday, Inc. | Automated anomaly detection using a hybrid machine learning system |
CN117238058A (zh) * | 2023-11-10 | 2023-12-15 | 无锡明诚汽车部件有限公司 | 基于数据分析的汽车用起动机监测方法 |
CN117332341A (zh) * | 2023-11-28 | 2024-01-02 | 贵州空港智能科技有限公司 | 基于物联网的飞机轮挡数据智能管理方法及系统 |
CN117349764A (zh) * | 2023-12-05 | 2024-01-05 | 河北三臧生物科技有限公司 | 一种干细胞诱导数据智能分析方法 |
Non-Patent Citations (3)
Title |
---|
GUANYU CHEN: "A study on the prediction model of dam seepage volume based on isolated forest-multiple stepwise linear regression", 《2023 4TH INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND APPLICATION (ICCEA)》, 1 June 2023 (2023-06-01) * |
俞力: "双目视觉中立体匹配算法研究", 《中国优秀硕士学位论文全文数据库》, 15 July 2019 (2019-07-15) * |
吴铮: "基于改进高斯混合模型的热工过程异常值检测", 《系统仿真学报》, 31 May 2023 (2023-05-31) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786543A (zh) * | 2024-02-28 | 2024-03-29 | 沂水友邦养殖服务有限公司 | 一种数字化肉鸡养殖信息存储管理方法及系统 |
CN117786543B (zh) * | 2024-02-28 | 2024-05-10 | 沂水友邦养殖服务有限公司 | 一种数字化肉鸡养殖信息存储管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117540304B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117540304B (zh) | 一种粘合剂生产数据处理方法 | |
US11664013B2 (en) | Speech feature reuse-based storing and calculating compression method for keyword-spotting CNN | |
CN111062278B (zh) | 基于改进残差网络的异常行为识别方法 | |
CN110766681B (zh) | 一种基于三重损失网络的竹条表面缺陷检测方法 | |
CN109143370B (zh) | 地震动加速度记录基线漂移的校正方法 | |
CN108537133A (zh) | 一种基于监督学习深度自编码器的人脸重构方法 | |
CN110688942A (zh) | 一种基于InResNet网络的心电信号联合识别模块及方法 | |
CN111104855B (zh) | 一种基于时序行为检测的工作流识别方法 | |
CN110689113A (zh) | 一种基于大脑共识主动性的深度神经网络压缩方法 | |
CN112466290A (zh) | 异常声音检测模型的训练方法、装置和计算机存储介质 | |
CN113269720A (zh) | 一种直缝焊管的缺陷检测方法、系统和可读介质 | |
CN112734017A (zh) | 一种降水量预测模型的建立方法 | |
CN117847844B (zh) | 一种二氧化碳热泵的分温区控制方法及系统 | |
CN117914954B (zh) | 一种危险化学品储运过程中数据传输方法及系统 | |
CN111091122B (zh) | 一种多尺度特征卷积神经网络的训练和检测方法、装置 | |
CN111695561A (zh) | 基于ssd的车牌检测和矫正识别方法及识别系统 | |
CN117893763B (zh) | 一种基于ResCo-UNet的荞麦籽粒图像分割方法 | |
CN117650790B (zh) | 基于工况智能识别的焊接保护气测量数据压缩存储方法 | |
CN103336963A (zh) | 一种图像特征提取的方法及装置 | |
CN110598674B (zh) | 一种基于模式识别的转辙机故障识别方法 | |
CN115311269B (zh) | 一种纺织品异常检测方法 | |
CN114723043A (zh) | 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法 | |
CN115270895A (zh) | 一种用于柴油机的故障检测方法 | |
CN104901703B (zh) | 一种整数序列快速压缩存储算法 | |
CN113808035A (zh) | 一种基于半监督学习的瑕疵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |