CN112291214B - 一种基于redis缓存的工业报文解析方法及系统 - Google Patents
一种基于redis缓存的工业报文解析方法及系统 Download PDFInfo
- Publication number
- CN112291214B CN112291214B CN202011115574.5A CN202011115574A CN112291214B CN 112291214 B CN112291214 B CN 112291214B CN 202011115574 A CN202011115574 A CN 202011115574A CN 112291214 B CN112291214 B CN 112291214B
- Authority
- CN
- China
- Prior art keywords
- message
- information
- module
- redis
- message information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于redis缓存的工业报文解析方法及系统，包括：工业设备，产生报文信息，并将报文信息发送给计算机模块；计算机模块，用于对工业设备传输过来的报文信息进行处理；所述计算机模块包括读取模块，用于读取工业设备传输过来的报文信息，并用于接收用户所选择的解析参数；redis模块，用于将读取模块获得的报文信息直接转储到redis服务器上；处理模块，用于对转储到redis模块的报文信息进行处理并进行解析；数据库模块，用于储存解析后的报文信息；显示模块，用于在接受到查看指令时，从数据库模块中取出报文信息进行查看；本发明保证了工业数据传递实时性，工业设备运行安全性，实现稳定的工业自动化系统。
Description
技术领域
本发明涉及计算机技术领域，具体为一种基于redis缓存的工业报文解析方法及系统。
背景技术
1、现有技术的方案简述：
（1）目前工业行业内许多设备，例如监控、各种传感器等，由于设备本身体积有限，容不下大面积的电路板及内存，只能通过搭载微小的集成电路板，配备微系统来完成设备的通信，因此通常用报文的形式向计算机传递信息；
（2）计算机通过网线或者数据线连接到工业设备上，工业设备向计算机发送报文信息，一次只能发送有限长度的报文信息，计算机再通过拆解报文及翻译报文来解析出设备上的传递过来的信息，并将最终解析结果存储到数据库中；
（3）通常情况下，工业自动化程序工作流程为：读取报文、解析报文、存储，反复循环；
2、现有技术的客观缺点：
（1）单一程序运行时，接收到一条报文信息后，需要经过解析后才能接收下一条报文，效率较差；
（2）使用传统的方式读取、解析报文，只适用于少量设备的情况下，如果遇到多设备、报文多的情况下，无法实时解析设备传递过来的信息，如果遇到紧急情况，如设备报警，不及时处理将直接影响设备运转；
（3）传输的报文不及时解析，将缓存在工业设备内部，长期运行累积超过设备存储容量，将导致工业设备运行崩溃。
所以我们需要一种基于redis缓存的工业报文解析方法及系统来解决上述问题。
发明内容
本发明的目的在于提供一种基于redis缓存的工业报文解析方法及系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于redis缓存的工业报文解析系统，包括：
工业设备，产生报文信息，并将报文信息发送给计算机模块；
计算机模块，用于对工业设备传输过来的报文信息进行处理；
所述工业设备和计算机模块通过网线或数据线进行电性连接，工业设备通过网线或数据线将数据报文传输给计算机模块，通过网线或数据线进行数据传输相较于无线数据传输，具有更高的安全性和传输速度。
进一步的，所述计算机模块包括读取模块、redis模块、处理模块、数据库模块和显示模块；
所述读取模块，用于读取工业设备传输过来的报文信息，并用于接收用户所选择的解析参数；
所述redis模块，用于将读取模块获得的报文信息直接转储到redis服务器上，使用redis缓存工业报文可以有效减少工业设备的运行压力，特别是需要传输大量数据信息的设备；
所述处理模块，用于对转储到redis模块的报文信息进行处理并进行解析；
所述数据库模块，用于储存解析后的报文信息；
所述显示模块，用于在接受到查看指令时，从数据库模块中取出报文信息进行查看，可以让用户更直观的了解设备的信息以及运行状态等等，方便用户及时对设备做出调整。
进一步的，所述处理模块包括识别单元、解析单元、分类聚合单元和压缩模块；
所述识别单元，用于识别redis模块中是否存在新的报文信息，将识别到的报文信息取出；
所述解析单元，根据用户所选择的解析参数，下达解析指令，开启解析程序对报文进行解析，并生成解析后的信息文件，根据用户的解析参数进行解析，可以有效避免解析后的报文信息参数过于杂乱，影响报文信息的分类，减少了后续的工作量；
所述分类聚合单元，预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，所述IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号，对解析后的信息文件进行分类，可以让用户在查询信息文件时可以根据分类信息更快的找到所需查看的内容，并且对文件信息进行分类对后续的文件进行处理可以批量进行，极大的提高了工作效率以及设备的运行速度；
所述压缩模块，将分类完成的信息文件进行文件压缩。
进一步的，还包括：权限设置单元、权限检查单元和预警单元；
所述权限设置单元，根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限，设置查看权限可以避免信息文件被恶意篡改；
所述权限检查单元，用于在接受到任一终端的显示模块的显示指令时，判断所述终端的显示模块是否有权限对解析完成后的报文信息进行查看，可以防止有人擅自在中途对信息文件进行修改，影响数据的安全性，并且设置安全权限检查，可以增加数据储存的保密性，避免重要的信息文件泄漏，对用户造成经济上的损失；
所述预警单元，用于在所述解析完成后的报文信息达到预设的报警状态时，对用户发出警示。
一种基于redis缓存的工业报文解析方法，包括以下步骤：
步骤S1、工业设备通过网线或数据线将产生的报文信息传输给计算机模块；
步骤S2、计算机模块在读取到工业设备传输过来的报文信息后，直接将报文信息转储到redis模块中，redis数据结构简单，对数据操作也简单，redis中的数据结构是专门进行设计的，redis服务器将报文数据存储到内存中，读取速度快，且支持多种数据类型，资源丰富；
步骤S3、利用redis读写分离的特性，开启报文解析程序，一旦识别到redis中有报文信息，即将报文信息从redis中取出，多线程进行解析，得到解析完成的信息文件，读取程序每一次读取后实时将报文存放到redis中，即可读取下一条报文，运行效率高；
步骤S4、预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，所述IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号；
步骤S5、将分类完成的信息文件进行文件压缩，并将压缩完成的文件存入数据库中；
步骤S6、显示模块接收查看指令时，将数据库中的报文信息取出，显示经过解析后的报文信息。
进一步的，所述步骤S3中：
当识别单元检测到redis模块中出现了新的报文信息时，解析单元下达解析指令，多个解析程序同时进行工作，解析程序在redis模块中提取出报文信息，并在网络报文中查找与所述工业设备产生的报文信息对应的消息头标志，并进行报文解析；
所述解析程序包括第一解析程序、第二解析程序和第三解析程序，每个解析程序得到各自的报文解析结果，得到解析完成后的信息文件，可以开启多台解析设备进行解析redis中的报文，可以多台服务器同时运行，保证最快速、最实时解析数据，极大的提高了报文解析的效率。
进一步的，将解析完成的信息文件进行压缩；
在压缩之前对解析完成后的信息文件进行分类，对分类的信息文件中数据内容相同的信息文件进行压缩，将不同分类的信息文件先缓存至不同的缓存列队，根据为不同分类的信息文件分别预配置优先级，按照优先级从高到低的顺序针对各缓存队列进行排序；配置优先级可以使信息文件按照重要程度进行有序的解析，可以更快的得到重要的信息文件，避免重要信息传递过慢，影响设备的运行；
基于排序后的缓存队列生成对应的缓存清单；
依次查找所述缓存清单中的缓存队列，是否存在数据内容相同的信息文件；
如果存在数据内容相同的数据报文，统计数据内容相同的信息文件的数量，并从所述数据内容相同的报文中裁剪出数据内容；基于裁剪出的数据内容构建对应的压缩报文；当对分类后的信息文件中数据内容相同的信息文件进行压缩，生成压缩报文后，将与所述信息文件对应的原始报文删除，压缩完成后的信息文件可以节省数据库的空间;可以把多个文件压缩成一个压缩包,此功能在数据传送时用处比较大不需要把多个文件一个个的上传,把多个文件压缩成一个压缩包后就可以完成一次上传，提高了报文信息的传输及查看效率;
通过将压缩报文对应的原始报文删除，可以留出缓存空间缓存更多的数据报文，从而在大量数据报文缓存至缓存队列时，可以在一定程度上数据库的缓存压力，避免数据报文的丢失。
进一步的，步骤S6中；
显示模块在接受到查看指令时，从数据库模块中取出报文信息进行查看，并且采用一种主动索引的方式输入所需查看的报文信息的关键词，从所有的请求中至少选择出一个请求，并获得至少一个请求的预查看的信息文件的参数信息，通过关键词检索可以极大的提高报文信息查看的范围，帮助用户更快的找到自己所需查看的信息文件；
根据输入的关键词确定所调用的服务类型，并判断是否和所述的至少一个请求的参数信息相同，若相同则根据预查看的信息文件的参数信息从所述数据库中取出所需的信息文件，可以有效的对需要查看的信息文件进行检索，大大地提高了检索信息文件的检索速度,节约了用户的查找时间,提高了工作效率。
进一步的，取出报文信息进行查看时需要进行权限检查；
预先根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限；并在接受到任一终端的显示模块的显示指令时，判断所述终端的显示模块是否有权限对解析完成后的报文信息进行查看，保证了信息文件的安全性，防止报文信息泄漏，对企业及个人造成危害和损失。
进一步的，还包括：
预设置redis模块中数据存活的生命周期，可以长期保存，必要时再解析，也可以定时销毁数据，防止redis模块中缓存的报文数据由于无法解析而缓存过多，造成空间浪费，提高了redis模块的使用效率。
与现有技术相比，本发明所达到的有益效果是：本发明采用基于redis缓存解析工业设备报文，目的在于保证了工业数据传递实时性，工业设备运行安全性，可以根据设备数量、报文数量控制解析设备的数量，灵活配置，同时搭配redis进行缓存，读写分离，读取写入速度非常快，实现稳定的工业自动化系统；将解析完成的信息文件进行压缩，可以节省数据库的空间，并且可以一次传输多个文件，提高了工作效率；定时清理redis模块中缓存的报文信息，提高了redis模块的使用效率；可以开启多台解析设备进行解析redis中的报文，可以多台服务器同时运行，保证最快速、最实时解析数据，极大的提高了报文解析的效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的一种基于redis缓存的工业报文解析方法及系统步骤示意图；
图2是本发明的一种基于redis缓存的工业报文解析方法及系统流程示意图；
图3是本发明的一种基于redis缓存的工业报文解析方法及系统模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供技术方案：
本发明的工作原理：
一种基于redis缓存的工业报文解析系统，包括：
工业设备，产生报文信息，并将报文信息发送给计算机模块；
计算机模块，用于对工业设备传输过来的报文信息进行处理；
工业设备和计算机模块通过网线或数据线进行电性连接，工业设备通过网线或数据线将数据报文传输给计算机模块。
计算机模块包括读取模块、redis模块、处理模块、数据库模块和显示模块；
读取模块，用于读取工业设备传输过来的报文信息，并用于接收用户所选择的解析参数；
redis模块，用于将读取模块获得的报文信息直接转储到redis服务器上；
处理模块，用于对转储到redis模块的报文信息进行处理并进行解析；
数据库模块，用于储存解析后的报文信息；
显示模块，用于在接受到查看指令时，从数据库模块中取出报文信息进行查看。
处理模块包括识别单元、解析单元、分类聚合单元和压缩模块；
识别单元，用于识别redis模块中是否存在新的报文信息，将识别到的报文信息取出；
解析单元，根据用户所选择的解析参数，下达解析指令，开启解析程序对报文进行解析，并生成解析后的信息文件；
分类聚合单元，预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号；
压缩模块，将分类完成的信息文件进行文件压缩。
还包括：权限设置单元、权限检查单元和预警单元；
权限设置单元，根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限；
权限检查单元，用于在接受到任一终端的显示模块的显示指令时，判断终端的显示模块是否有权限对解析完成后的报文信息进行查看；
预警单元，用于在解析完成后的报文信息达到预设的报警状态时，对用户发出警示。
一种基于redis缓存的工业报文解析方法，包括以下步骤：
步骤S1、工业设备通过网线或数据线将产生的报文信息传输给计算机模块；
步骤S2、计算机模块在读取到工业设备传输过来的报文信息后，直接将报文信息转储到redis模块中；
步骤S3、利用redis读写分离的特性，开启多个报文解析程序，一旦识别到redis中有报文信息，即将报文信息从redis中取出，多线程进行解析，得到解析完成的信息文件；
步骤S4、预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号；
步骤S5、将分类完成的信息文件进行文件压缩，并将压缩完成的文件存入数据库中；
步骤S6、显示模块接收查看指令时，将数据库中的报文信息取出，显示经过解析后的报文信息。
步骤S3中：
当识别单元检测到redis模块中出现了新的报文信息时，解析单元下达解析指令，多个解析程序同时进行工作，解析程序在redis模块中提取出报文信息，并在网络报文中查找与工业设备产生的报文信息对应的消息头标志，并进行报文解析；
实施过程中，在服务启动之后开一个线程专门用于解析落地数据，这个线程里开多个解析数据的线程，用于数据落地；
每次循环都会重新从数据库中获取最新的线程最大数的配置做到可控。
如果redis中没有报文信息，则线程休；
如果redis中有报文信息，则将获取的数据分配给解析线程，并更新该数据在交易表中的状态。
解析程序包括第一解析程序、第二解析程序和第三解析程序，每个解析程序得到各自的报文解析结果，得到解析完成后的信息文件；
将解析完成的信息文件进行压缩；
在压缩之前对解析完成后的信息文件进行分类，对分类的信息文件中数据内容相同的信息文件进行压缩，将不同分类的信息文件先缓存至不同的缓存列队，根据为不同分类的信息文件分别预配置优先级，按照优先级从高到低的顺序针对各缓存队列进行排序；
基于排序后的缓存队列生成对应的缓存清单；
依次查找缓存清单中的缓存队列，是否存在数据内容相同的信息文件；
如果存在数据内容相同的数据报文，统计数据内容相同的信息文件的数量，并从数据内容相同的报文中裁剪出数据内容；基于裁剪出的数据内容构建对应的压缩报文；当对分类后的信息文件中数据内容相同的信息文件进行压缩，生成压缩报文后，将与信息文件对应的原始报文删除。
在实施例中，用户可以在上述交换设备上预先配置ACL(Access Control list，访问控制列表)规则，其中，上述ACL规则用于将交换设备接收到的数据报文进行分类在该ACL规则中可以包含用于进行匹配的分类特征；
其中，上述分类特征，在本例中不进行特别限定，可以基于实际的分类需求进行设定；例如，可以包括三层报文头、协议类型、二层报文头、以太网类型、VLAN等不同的报文特征；
上述ACL规则中，除了上述分类特征以外，还可以包括与上述分类特征对应的执行动作。其中，在一种实施方式中，上述执行动作可以是将与分类特征匹配的数据报文缓存至指定的缓存队列；
当物理口接收到数据报文后，可以基于CPU下发的ACL规则对接收到的数据报文进行分类；
其中，CPU下发上述ACL规则时，可以在物理端口收到数据报文之前预先下发，也可以在物理端口接收到数据报文后，进行动态下发，在本例中不进行特别限定。
步骤S6中；
显示模块在接受到查看指令时，从数据库模块中取出报文信息进行查看，并且采用一种主动索引的方式输入所需查看的报文信息的关键词，从所有的请求中至少选择出一个请求，并获得至少一个请求的预查看的信息文件的参数信息；
根据输入的关键词确定所调用的服务类型，并判断是否和所述的至少一个请求的参数信息相同，若相同则根据预查看的信息文件的参数信息从数据库中取出所需的信息文件。
取出报文信息进行查看时需要进行权限检查；
预先根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限；并在接受到任一终端的显示模块的显示指令时，判断终端的显示模块是否有权限对解析完成后的报文信息进行查看。
预设置redis模块中数据存活的生命周期，可以长期保存，必要时再解析，也可以定时销毁数据。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于redis缓存的工业报文解析系统，其特征在于，包括：
工业设备，产生报文信息，并将报文信息发送给计算机模块；
计算机模块，用于对工业设备传输过来的报文信息进行处理；
所述工业设备和计算机模块通过网线或数据线进行电性连接，工业设备通过网线或数据线将数据报文传输给计算机模块；
所述计算机模块包括读取模块、redis模块、处理模块、数据库模块、显示模块；
所述读取模块，用于读取工业设备传输过来的报文信息，并用于接收用户所选择的解析参数；
所述redis模块，用于将读取模块获得的报文信息直接转储到redis服务器上；
所述处理模块，用于对转储到redis模块的报文信息进行处理并进行解析；
所述数据库模块，用于储存解析后的报文信息；
所述显示模块，用于在接受到查看指令时，从数据库模块中取出报文信息进行查看；
所述处理模块包括识别单元、解析单元、分类聚合单元和压缩模块；
所述识别单元，用于识别redis模块中是否存在新的报文信息，将识别到的报文信息取出；
所述解析单元，根据用户所选择的解析参数，下达解析指令，开启解析程序对报文进行解析，并生成解析后的信息文件；
所述分类聚合单元，预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，所述IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号；
所述压缩模块，将分类完成的信息文件进行文件压缩。
2.根据权利要求1所述的一种基于redis缓存的工业报文解析系统，其特征在于：还包括：权限设置单元、权限检查单元和预警单元；
所述权限设置单元，根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限；
所述权限检查单元，用于在接受到任一终端的显示模块的显示指令时，判断所述终端的显示模块是否有权限对解析完成后的报文信息进行查看；
所述预警单元，用于在所述解析完成后的报文信息达到预设的报警状态时，对用户发出警示。
3.一种基于redis缓存的工业报文解析方法，其特征在于：包括以下步骤：
步骤S1、工业设备通过网线或数据线将产生的报文信息传输给计算机模块；
步骤S2、计算机模块在读取到工业设备传输过来的报文信息后，直接将报文信息转储到redis模块中；
步骤S3、利用redis读写分离的特性，开启多个报文解析程序，一旦识别到redis中有报文信息，即将报文信息从redis中取出，多线程进行解析，得到解析完成的信息文件；
步骤S4、预先设置报文分类模板，将解析后的信息文件根据IP五元组进行分类，所述IP五元组包括源地址、源端口号、协议号、目的地址、目的端口号；
步骤S5、将分类完成的信息文件进行文件压缩，并将压缩完成的文件存入数据库中；
步骤S6、显示模块接收查看指令时，将数据库中的报文信息取出，显示经过解析后的报文信息。
4.根据权利要求3所述的一种基于redis缓存的工业报文解析方法，其特征在于：所述步骤S3中：
当识别单元检测到redis模块中出现了新的报文信息时，解析单元下达解析指令，多个解析程序同时进行工作，解析程序在redis模块中提取出报文信息，并在网络报文中查找与所述工业设备产生的报文信息对应的消息头标志，并进行报文解析；
所述解析程序包括第一解析程序、第二解析程序和第三解析程序，每个解析程序得到各自的报文解析结果，得到解析完成后的信息文件。
5.根据权利要求4所述的一种基于redis缓存的工业报文解析方法，其特征在于：将解析完成的信息文件进行压缩；
在压缩之前对解析完成后的信息文件进行分类，对分类的信息文件中数据内容相同的信息文件进行压缩，将不同分类的信息文件先缓存至不同的缓存列队，根据为不同分类的信息文件分别预配置优先级，按照优先级从高到低的顺序针对各缓存队列进行排序；
基于排序后的缓存队列生成对应的缓存清单；
依次查找所述缓存清单中的缓存队列，是否存在数据内容相同的信息文件；
如果存在数据内容相同的数据报文，统计数据内容相同的信息文件的数量，并从所述数据内容相同的报文中裁剪出数据内容；基于裁剪出的数据内容构建对应的压缩报文；当对分类后的信息文件中数据内容相同的信息文件进行压缩，生成压缩报文后，将与所述信息文件对应的原始报文删除。
6.根据权利要求3所述的一种基于redis缓存的工业报文解析方法，其特征在于：步骤S6中；
显示模块在接受到查看指令时，从数据库模块中取出报文信息进行查看，并且采用一种主动索引的方式输入所需查看的报文信息的关键词，从所有的请求中至少选择出一个请求，并获得至少一个请求的预查看的信息文件的参数信息；
根据输入的关键词确定所调用的服务类型，并判断是否和所述的至少一个请求的参数信息相同，若相同则根据预查看的信息文件的参数信息从所述数据库中取出所需的信息文件。
7.根据权利要求6所述的一种基于redis缓存的工业报文解析方法，其特征在于：取出报文信息进行查看时需要进行权限检查；
预先根据报文的种类信息，设置解析完成后的报文信息在显示模块上的查看权限；并在接受到任一终端的显示模块的显示指令时，判断所述终端的显示模块是否有权限对解析完成后的报文信息进行查看。
8.根据权利要求7所述的一种基于redis缓存的工业报文解析方法，还包括：
预设置redis模块中数据存活的生命周期长期保存或定期销毁。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115574.5A CN112291214B (zh) | 2020-10-19 | 2020-10-19 | 一种基于redis缓存的工业报文解析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115574.5A CN112291214B (zh) | 2020-10-19 | 2020-10-19 | 一种基于redis缓存的工业报文解析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112291214A CN112291214A (zh) | 2021-01-29 |
| CN112291214B true CN112291214B (zh) | 2022-12-16 |
Family
ID=74497712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011115574.5A Active CN112291214B (zh) | 2020-10-19 | 2020-10-19 | 一种基于redis缓存的工业报文解析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112291214B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220536A (zh) * | 2021-05-31 | 2021-08-06 | 中富通集团股份有限公司 | 机房动力设备运行环境监控的监控数据传输方法及其应用 |
| CN115150209B (zh) * | 2022-09-06 | 2023-01-06 | 军工保密资格审查认证中心 | 数据处理方法、工业控制系统、电子设备及存储介质 |
| CN115484091A (zh) * | 2022-09-13 | 2022-12-16 | 国网智能电网研究院有限公司 | 一种虚拟电厂聚合网关装置及内外网数据传输方法 |
| CN117424948B (zh) * | 2023-10-31 | 2024-10-18 | 中科驭数（北京）科技有限公司 | 可编程报文解析方法、流水线装置及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546484B (zh) * | 2013-11-01 | 2017-02-15 | 深圳中兴网信科技有限公司 | 报文解析装置和报文解析方法 |
| CN107506375A (zh) * | 2017-07-17 | 2017-12-22 | 上海斐讯数据通信技术有限公司 | 数据存储方法及装置 |
| CN109947810A (zh) * | 2017-11-16 | 2019-06-28 | 上海明匠智能系统有限公司 | 工业设备数据实时采集系统 |
| CN109600258B (zh) * | 2018-12-10 | 2022-02-22 | 英赛克科技（北京）有限公司 | 工业协议报文记录装置及方法 |
| CN111427307B (zh) * | 2020-04-22 | 2021-08-24 | 国网浙江省电力有限公司 | 一种工控异常检测方法、装置及设备 |
-
2020
- 2020-10-19 CN CN202011115574.5A patent/CN112291214B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112291214A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112291214B (zh) | 一种基于redis缓存的工业报文解析方法及系统 | |
| EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
| RU2601201C2 (ru) | Способ и устройство для анализа пакетов данных | |
| CN112491602B (zh) | 行为数据的监控方法、装置、计算机设备及介质 | |
| CN110690984A (zh) | 基于Spark的大数据网络日志采集分析和预警的方法、系统 | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
| CN112052138A (zh) | 业务数据质量检测方法、装置、计算机设备及存储介质 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| CN111277274B (zh) | 数据压缩方法、装置、设备及存储介质 | |
| CN113485999A (zh) | 数据清理方法、装置和服务器 | |
| CN111651595A (zh) | 一种异常日志处理方法及装置 | |
| CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
| CN113672475A (zh) | 告警处理方法、装置、计算机设备和存储介质 | |
| CN109032904A (zh) | 被监控、管理服务器及数据获取、分析方法和管理系统 | |
| CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| CN110177024B (zh) | 热点设备的监控方法及客户端、服务端、系统 | |
| CN114490280A (zh) | 一种日志处理方法、装置、设备及介质 | |
| CN113626869A (zh) | 数据处理方法、系统、电子设备以及存储介质 | |
| CN112307046A (zh) | 数据采集方法和装置、计算机可读存储介质、电子设备 | |
| CN115396142A (zh) | 基于零信任的信息访问方法、装置、计算机设备及介质 | |
| CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
| CN115809222A (zh) | 一种日志处理方法、装置、设备以及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for parsing industrial packets based on Redis caching Granted publication date: 20221216 Pledgee: Agricultural Bank of China Limited Shanghai Huangpu Sub branch Pledgor: Aopu (Shanghai) new energy Co.,Ltd. Registration number: Y2024310000206 |