CN114996245A - 一种应用在水泥生产大数据的数据压缩方法 - Google Patents
一种应用在水泥生产大数据的数据压缩方法 Download PDFInfo
- Publication number
- CN114996245A CN114996245A CN202210363328.4A CN202210363328A CN114996245A CN 114996245 A CN114996245 A CN 114996245A CN 202210363328 A CN202210363328 A CN 202210363328A CN 114996245 A CN114996245 A CN 114996245A
- Authority
- CN
- China
- Prior art keywords
- data
- cache
- kiln
- recording
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013144 data compression Methods 0.000 title claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 title claims description 23
- 239000004568 cement Substances 0.000 title claims description 20
- 238000003860 storage Methods 0.000 claims abstract description 35
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000004804 winding Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明设计一种应用于工业大数据的数据压缩方法，此技术中应用了数据库存储与读取技术、支持向量机算法等技术。利用本发明中的方法可以进行有效数据的存储，把所有有用数据都记录下来，不会造成有用数据的丢失，并且可以记录下每一时刻的数据变化趋势，让数据变得更好分析；也可以大大增大存储周期，让本来需要1秒一存的数据数据量减少百倍；同时也可以让用户查询每一时刻的数据，与每一时刻的数据变化趋势，能够更好的追溯历史数据。
Description
技术领域
本发明一种应用在水泥生产大数据的数据压缩方法，本发明在减少水泥生产的生产数据量存储同时，亦能保存更多的有效数据。
背景技术
随着水泥企业信息化水平的提高，水泥生产时序数据量也在逐步增加，数据量不断扩大乃至海量。大量生产时序数据如果没有进行有效的处理且不断累积形成数据冗余，从而造成有效数据的遗漏且数据库存储空间的利用率不高，就很难实现数据的实际分析与应用。以临沂某水泥厂为例，水泥生产工艺复杂，生产过程连续且生产周期短，生产线设置3000个左右监测点，规定DCS系统以1秒钟采集一次数据，在水泥生产过程中只需少量数据即可反映水泥熟料线设备开关状态但仍然记录大量的设备设定值数据，造成数据量的不断堆砌。如何在减少冗余生产时序数据量的同时能最大程度地真实还原生产过程的历史场景，找到合适的存储压缩方法是目前亟需解决的问题。
目前，很多方法为了减小存储，只能去增大存储周期，存储周期过大容易造成有用数据的丢失，存储周期小，不能有效的减小存储量，同时也会有丢失有用数据；并且如果只增大存储周期，用户无法查询每一精确时刻的数据，也无法具体分析小段时间内的变化趋势。
发明内容
针对背景意义中现象与问题，本文设计一种应用于工业大数据的数据压缩方法，此技术中应用了数据库存储与读取技术、支持向量机算法等技术。利用本发明中的方法可以进行有效数据的存储，把所有有用数据都记录下来，不会造成有用数据的丢失，并且可以记录下每一时刻的数据变化趋势，让数据变得更好分析；也可以大大增大存储周期，让本来需要1秒一存的数据数据量减少百倍；同时也可以让用户查询每一时刻的数据，与每一时刻的数据变化趋势，能够更好的追溯历史数据。
本文中主要抽取水泥工业中的窑主机电流、窑头罩温度、窑头罩压力、尾排风机前轴承温度、窑主电机绕组温度、窑尾排风机电流、窑门罩负压等数据作为本发明需要存储的数据量。
一种应用于工业大数据的数据压缩方法具体实现步骤如下：
步骤(1):根据实际情况，设计支持准对水泥行业的支持向量机算法；
步骤(2):设计压缩存储的存储方案；
步骤(3):设计压缩存储的读取方案；
所述步骤(1)中，第一步设计支持向量机的超平面wx+b＝y，其中 w,x,y∈Rn。核函数为高斯(RBF)核函数。
第二步选出n组相似数据和不相似数据(窑主机电流、窑头罩温度、窑头罩压力、尾排风机前轴承温度、窑主电机绕组温度、窑尾排风机电流、窑门罩负压为一组数据，两组数据的差值组成一组相似数据或不相似数据)，把两次窑主机电流差a1、两次窑头罩温度差a2、两次窑头罩压力差a3、尾排风机前轴承温度差a4、窑主电机绕组温度差a5、窑尾排风机电流差a6、窑门罩负压差a7作为输入量，使得w＝[a1,a2,a3,a4,a5,a6,a7]T，输出y∈{-1,1}，数据相似则为1，数据不相似则为-1；
第三步把选出n组数据作为训练集，训练集T＝{[x1,y1],[x2,y2],...,[xn,yn]}，最后进行训练，得出支持向量机算法的参数和函数，进而进行水泥熟料产线数据存储的相似数据过滤。
所述步骤(2)中，第一步首先建立两个数据表，数据表表1存储水泥熟料产线的过程数据存储，如窑主机电流、窑头罩温度等，表1中增加记录存储数据组索引，不需要记录时间，表2用于记录记录每时刻记录的数据索引和记录时间；并在内存中建立滚动缓存数据表，可存储m条缓存数据，用于相似数据比较。
步骤(2)第二步进行实时数据的存储，存储流程为：(1)从水泥生产现场每秒获取实时数据->(2)本次数据代入支持向量机模型，与缓存数据表的m条数据逐条进行数据相似度比对->(3)如果数据为不相似数据把数据存入到缓存数据表中，把最老的缓存数据在缓存表中剔除；并把数据插入到表1中进行生产数据记录和数据索引记录，把新增数据索引和时间记录到表2中->(4)如果数据为相似数据，缓存表和表1中不需要记录数据，需要把缓存中的与此次采集数据的相似数据索引和当前时刻记录到表2中->(5)为防止数据过多丢失，如果5分钟无新数据更新，则强制记录一次数据。具体流程见附图图1。
很多方法为了减小存储，只能去增大存储周期，存储周期过大容易造成有用数据的丢失，存储周期小，不能有效的减小存储量，同时也会有丢失有用数据；并且如果只增大存储周期，用户无法查询每一精确时刻的数据，也无法具体分析小段时间内的变化趋势。此发明的方法既可以减小存储量，又可以保证记录有效数据。建立两个表亦方便用户按时间查询每一时刻的数据，并能分析每一时刻的数据变化趋势，更好的追溯历史数据。
所述步骤(3)，关于数据读取的具体步骤：(1)查询具体时刻的数据->(2)在表2中根据具体时刻查询到数据索引->(3)根据表2的数据索引在表1中查询到具体生产数据->(4)返回查询具体结果。具体步骤见附图图2。
本发明有效收益：
本发明可以增大存储周期，能够有效的减小存储空间
本发明可以在减小存储空间的同时，尽可能保留有效数据，避免有效数据的丢失。
本发明可以更好的便于数据查询和历史数据追溯。本发明记录可以在减小存储空间的同时，又能记录每一时刻的数据或相似数据，能够精确的查询每一时刻的数据，并可以查询到变化趋势，更好的进行历史数据追溯。。
附图说明：
图1为本发明大数据压缩存储流程图。
图2为本发明的物理结构图。
具体实施方式
本发明的具体实施方式如下：
中主要抽取水泥工业中的窑主机电流、窑头罩温度、窑头罩压力、尾排风机前轴承温度、窑主电机绕组温度、窑尾排风机电流、窑门罩负压等数据作为本发明需要存储的数据量。
一种应用于工业大数据的数据压缩方法具体实现步骤如下：
步骤(1):根据实际情况，设计支持准对水泥行业的支持向量机算法；算法设计具体实施方案如上述[0010]-[0012]所示。
步骤(2):设计压缩存储的存储方案，存储方案具体实施方式如上述上述 [0013]-[0015]所示。
步骤(3):设计压缩存储的读取方案，读取方案具体实施方式如上述上述 [0016]所示。
Claims (4)
1.本发明设计的在水泥生产大数据的数据压缩方法其特点在于设计其专属的支持向量机算法，其算法特点在于把两次窑主机电流差、两次窑头罩温度差、两次窑头罩压力差、尾排风机前轴承温度差、窑主电机绕组温度差、窑尾排风机电流差、窑门罩负压差作为输入量，使得，输出数据相似则为1，数据不相似则为-1。
2.其特点2在于建立两个数据表，数据表表1存储水泥熟料产线的过程数据存储，如窑主机电流、窑头罩温度等，表1中增加记录存储数据组索引，不需要记录时间，表2用于记录记录每时刻记录的数据索引和记录时间；并在内存中建立滚动缓存数据表，可存储m条缓存数据，利用本文设计的支持向量机算法进行逐条相似数据比较。
3.其特点3在于存储流程的设计：进行实时数据的存储，存储流程为：(1)从水泥生产现场每秒获取实时数据->(2)本次数据代入支持向量机模型，与缓存数据表的m条数据逐条进行数据相似度比对->(3)如果数据为不相似数据把数据存入到缓存数据表中，把最老的缓存数据在缓存表中剔除；并把数据插入到表1中进行生产数据记录和数据索引记录，把新增数据索引和时间记录到表2中->(4)如果数据为相似数据，缓存表和表1中不需要记录数据，需要把缓存中的与此次采集数据的相似数据索引和当前时刻记录到表2中->(5)为防止数据过多丢失，如果5分钟无新数据更新，则强制记录一次数据，具体流程见附图图1。
4.其特点4在于读取流程，于数据读取的具体步骤：(1)查询具体时刻的数据->(2)在表2中根据具体时刻查询到数据索引->(3)根据表2的数据索引在表1中查询到具体生产数据->(4)返回查询具体结果，具体步骤见附图图2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210363328.4A CN114996245A (zh) | 2022-04-07 | 2022-04-07 | 一种应用在水泥生产大数据的数据压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210363328.4A CN114996245A (zh) | 2022-04-07 | 2022-04-07 | 一种应用在水泥生产大数据的数据压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114996245A true CN114996245A (zh) | 2022-09-02 |
Family
ID=83023796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210363328.4A Pending CN114996245A (zh) | 2022-04-07 | 2022-04-07 | 一种应用在水泥生产大数据的数据压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114996245A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033894A (zh) * | 2023-10-10 | 2023-11-10 | 北京英沣特能源技术有限公司 | 一种闭式蓄冷罐瞬间失水防负压抽真空检测系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198157A (zh) * | 2013-04-28 | 2013-07-10 | 南京信息工程大学 | 一种大地电场数据的压缩存储处理方法 |
| CN106354774A (zh) * | 2016-08-22 | 2017-01-25 | 东北大学 | 一种实时工业过程大数据压缩存储系统及方法 |
| CN108595553A (zh) * | 2018-04-10 | 2018-09-28 | 红云红河烟草(集团)有限责任公司 | 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法 |
| CN111796775A (zh) * | 2020-07-07 | 2020-10-20 | 威胜集团有限公司 | 智能电表数据存储方法及装置 |
| CN113408076A (zh) * | 2021-07-12 | 2021-09-17 | 扬州力创机床有限公司 | 基于支持向量机模型的小样本机械剩余寿命预测方法 |
-
2022
- 2022-04-07 CN CN202210363328.4A patent/CN114996245A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198157A (zh) * | 2013-04-28 | 2013-07-10 | 南京信息工程大学 | 一种大地电场数据的压缩存储处理方法 |
| CN106354774A (zh) * | 2016-08-22 | 2017-01-25 | 东北大学 | 一种实时工业过程大数据压缩存储系统及方法 |
| CN108595553A (zh) * | 2018-04-10 | 2018-09-28 | 红云红河烟草(集团)有限责任公司 | 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法 |
| CN111796775A (zh) * | 2020-07-07 | 2020-10-20 | 威胜集团有限公司 | 智能电表数据存储方法及装置 |
| CN113408076A (zh) * | 2021-07-12 | 2021-09-17 | 扬州力创机床有限公司 | 基于支持向量机模型的小样本机械剩余寿命预测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033894A (zh) * | 2023-10-10 | 2023-11-10 | 北京英沣特能源技术有限公司 | 一种闭式蓄冷罐瞬间失水防负压抽真空检测系统 |
| CN117033894B (zh) * | 2023-10-10 | 2023-12-22 | 北京英沣特能源技术有限公司 | 一种闭式蓄冷罐瞬间失水防负压抽真空检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102611454B (zh) | 一种实时历史数据动态无损压缩方法 | |
| CN106777093B (zh) | 基于空间时序数据流应用的Skyline查询系统 | |
| CN101620617B (zh) | 日志文件的查询和处理的方法及装置 | |
| CN109165202A (zh) | 一种多源异构大数据的预处理方法 | |
| EP3709127A1 (en) | Novel olap precomputation model and precomputation result generation method | |
| CN113297135A (zh) | 数据处理方法以及装置 | |
| CN109408501B (zh) | 一种位置数据的处理方法、装置、服务器及存储介质 | |
| CN114996245A (zh) | 一种应用在水泥生产大数据的数据压缩方法 | |
| CN102073712B (zh) | 基于动态变化帧的过程数据全息归档和反演方法 | |
| CN1612252A (zh) | 实时数据在线压缩与解压缩方法 | |
| CN109446184B (zh) | 基于大数据分析平台的发电大数据预处理方法及系统 | |
| CN103744913A (zh) | 一种基于搜索引擎技术的数据库检索方法 | |
| KR101656750B1 (ko) | 인덱스정보를 생성하는 데이터베이스의 아카이빙 방법 및 장치, 인덱스정보를 포함하는 아카이빙된 데이터베이스의 검색 방법 및 장치 | |
| CN111930782B (zh) | 两种基于阈值的历史数据采样方法 | |
| CN104850564A (zh) | 数据文件的索引查找方法和系统 | |
| CN113052265A (zh) | 基于特征选择的移动对象轨迹简化算法 | |
| CN112764686A (zh) | 一种基于数据压缩的大数据处理系统节能方法 | |
| CN108595553B (zh) | 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法 | |
| CN108182198A (zh) | 存储先进控制器运行数据的控制装置和读取方法 | |
| CN109885607A (zh) | 一种工业海量非结构化数据处理方法及系统 | |
| CN113191003A (zh) | 一种核电实时数据趋势拟合算法 | |
| JPH1069498A (ja) | プラントデータ収集収録装置 | |
| CN109143974B (zh) | 一种应用于数控机床监控领域的sdt改进方法 | |
| KR20120132878A (ko) | 공정 제어 데이터베이스 시스템 구조 | |
| CN110083487A (zh) | 一种基于数据局部性的引用数据块碎片消除方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |