CN113885366B - 一种大数据处理的监测系统及方法 - Google Patents
一种大数据处理的监测系统及方法 Download PDFInfo
- Publication number
- CN113885366B CN113885366B CN202110949344.7A CN202110949344A CN113885366B CN 113885366 B CN113885366 B CN 113885366B CN 202110949344 A CN202110949344 A CN 202110949344A CN 113885366 B CN113885366 B CN 113885366B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- processing result
- processing
- register
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000012544 monitoring process Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000004806 packaging method and process Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims description 10
- 238000012856 packing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 208000033999 Device damage Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24215—Scada supervisory control and data acquisition
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种大数据处理的监测系统及方法，涉及数据处理技术领域，该系统包括：上位机控制模块、协议解析模块以及运行监测模块，其中所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块均与所述协议解析模块以及所述运行监测模块建立连接，所述上位机控制模块、所述运行监测模块与所述协议解析模块建立连接，本发明实现快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种大数据处理的监测系统及方法。
背景技术
在目前的大数据处理系统中，一般会使用现场可编程逻辑门阵列(FieldProgrammable Gate Array，FPGA)处理系统采集到的大数据，如图1，通常FPGA大数据处理系统可分为数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60，各个模块按照不同的大数据处理需求对采集系统采集到的大数据进行相应的处理计算，最终可以将处理的结果以用户数据包格式通过万兆网发送至存储服务器用于科学观测研究，万兆网发送的数据帧帧头会包含数据的相关信息，上位机通过数据帧头和包含的数据是否正常判断接收到的数据是否正确。
FPGA大数据处理系统受到环境温度、环境湿度、硬件老化、器件损坏等因素影响，有可能会导致处理的数据出现异常或者错误，仅通过数据帧包含的数据是否正常判断接收到的数据是否正确，存在无法及时发现错误的缺陷。FPGA大数据处理系统的处理流量十分庞大，每秒钟可达几百Gb，若是有部分数据帧出现错误，通常难以发现错误，且一旦发现错误，就需要从代码开始进行分析，定位问题是出现在FPGA系统中还是硬件层面比较困难，定位问题出现的关键点更是需要大量时间进行分析，设计调试以及维护都十分麻烦，且需要的时间非常长，效率低下。
发明内容
本发明提供一种大数据处理的监测系统及方法，用以解决现有技术中大数据系统在定位问题出现的关键点、设计调试以及维护都十分不便的缺陷，实现快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率。
本发明提供一种大数据处理的监测系统，包括顺序连接的数据采集缓存模块、数据预处理模块、数据计算模块、处理结果缓存模块、处理结果打包模块和万兆网模块，该系统还包括：
上位机控制模块、协议解析模块以及运行监测模块，其中：
所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块均与所述协议解析模块以及所述运行监测模块建立连接，所述上位机控制模块、所述运行监测模块与所述协议解析模块建立连接。
根据本发明提供的一种大数据处理的监测系统，所述协议解析模块用于解析所述上位机控制模块下发的数据包，并根据所述数据包中包含目的寄存器地址以及所述目的寄存器对应的所述控制指令，发送至对应的目的寄存器，以及，获取关键信号和过程数据，并将所述关键信号和所述过程数据打包后发送至所述上位机控制模块；其中，目的寄存器为其中一个或者多个运行监测模块中的接收寄存器，所述关键信号包括所述控制指令和状态信息。
根据本发明提供的一种大数据处理的监测系统，所述上位机控制模块内存储有编写完毕的所述数据包，所述数据包与该系统基于简单文件传输协议建立通信。
根据本发明提供的一种大数据处理的监测系统，所述上位机控制模块输出状态检测结果，所述状态检测结果用于描述所述上位机控制模块抓取的数据的情况，用以展示该系统的运行状态。
根据本发明提供的一种大数据处理的监测系统，所述运行监测模块嵌入在所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块中。
根据本发明提供的一种大数据处理的监测系统，所述运行监测模块包括若干寄存器和缓存随机存取存储器，所述寄存器与所述缓存随机存取存储器连接。
根据本发明提供的一种大数据处理的监测系统，所述寄存器包括：
发送寄存器，所述发送寄存器寄存并刷新其内寄存的状态信号、控制信号；其中，所述发送寄存器以与该系统主频相同的频率触发寄存并刷新指令。
根据本发明提供的一种大数据处理的监测系统，所述寄存器包括：
寄存有控制指令的接收寄存器，所述接收寄存器用于控制所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块内的逻辑；其中，所述逻辑包括触发所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块记录在数据处理过程中产生的过程数据以及修改逻辑参数。
根据本发明提供的一种大数据处理的监测系统，所述寄存器包括：
发送寄存器，所述发送寄存器寄存并刷新其内寄存的关键信号；其中，所述发送寄存器以与该系统主频相同的频率触发寄存并刷新指令；
寄存有控制指令的接收寄存器，所述接收寄存器用于控制所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块内的逻辑；其中，所述逻辑包括触发所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块记录在数据处理过程中产生的过程数据、切换所述发送寄存器寄存的所述关键信号以及修改逻辑参数。
本发明提供一种大数据处理的监测方法，包括以下步骤：
由顺序连接的所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块构成的所述大数据处理的监测系统接收来自所述协议解析模块的所述控制指令，并将所述控制指令转发给对应的模块；
所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块中内嵌的所述运行监测模块根据所述控制指令，采集并发送对应的模块的所述关键信号和所述过程数据；
所述协议解析模块获取来自所述运行监测模块的所述关键信号和所述过程数据，并将所述关键信号和所述过程数据打包为支持简单文件传输协议的数据包后发送给所述上位机控制模块；
所述上位机控制模块对抓取的数据进行处理。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大数据处理的监测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大数据处理的监测方法的步骤。
本发明提供的大数据处理的监测系统及方法，通过增加上位机控制模块、协议解析模块以及运行监测模块，并将运行监测模块内嵌在FPGA系统中的各个模块中，协议解析模块解析并转发来自上位机控制模块的数据包，使得运行监测模块根据控制指令监测对应的模块，可以实现实时监测FPGA处理大数据过程中各个模块是否正确执行，并快速分析抓取的关键信号精准定位具体出现问题的关键点，与以往的FPGA大数据处理系统相比，即能够实时监测整个系统中的各个模块，使得系统可视化直观展现，使得出现问题能够及时发现，并快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率，在FPGA大数据处理领域中应用前景非常广泛。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中FPGA大数据处理系统的结构示意图；
图2是本发明提供的大数据处理的监测系统的结构示意图；
图3是本发明提供的大数据处理的监测系统中寄存器具体的结构示意图之一；
图4是本发明提供的大数据处理的监测系统中寄存器具体的结构示意图之二；
图5是本发明提供的大数据处理的监测系统中寄存器具体的结构示意图之三；
图6是本发明提供的大数据处理的监测方法的流程示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图2描述本发明的大数据处理的监测系统，具体的是FPGA大数据处理系统，该系统包括顺序连接的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60，上述模块为现有技术中常规选用的模块，可以理解的是，万兆网模块60即为通信模块，用于将数据处理后的处理结果发送给存储服务器。采用以上结构的FPGA大数据处理系统受到环境温度、环境湿度、硬件老化、器件损坏等因素影响，有可能会导致处理的数据出现异常或者错误，通过数据帧包含的数据是否正常判断接收到的数据是否正确，存在无法及时发现错误的缺陷。FPGA大数据处理系统的处理流量十分庞大，每秒钟可达几百Gb，若是有部分数据帧出现错误，通常难以发现错误，且一旦发现错误，就需要从代码开始进行分析，定位问题是出现在FPGA系统中还是硬件层面比较困难，定位问题出现的关键点更是需要大量时间进行分析，设计调试以及维护都十分麻烦，且需要的时间非常长，效率低下。
区别于现有技术，该系统还包括：
上位机控制模块70、协议解析模块80以及运行监测模块90，其中：
数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60均与协议解析模块80以及运行监测模块90建立连接，即FPGA大数据处理系统中的各个模块均与协议解析模块80以及运行监测模块90建立连接，上位机控制模块70、运行监测模块90与协议解析模块80建立连接。
具体的，上位机控制模块70发送系统控制用的数据包对该系统进行控制及监测，上位机控制模块70会将上位机的控制指令发送给协议解析模块80，并读取解析模块发送的数据。该数据包的作用在于监测FPGA大数据处理系统中的各个模块，也就是现有技术中的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60，以及其他可能存在的模块，上位机控制模块70与该系统基于简单文件传输协议(Trivial File Transfer Protocol，TFTP)建立通信。
上位机控制模块70会对其抓取的数据进行处理，得到各个模块对应的监测结果，便于直观地展示抓取到的数据，如抓取多通道的经过模拟数字转换器(Analog to DigitalConverter，ADC)采集的原始数据，并直观地观察每一路的原始数据是否正常，且，便于定位处于不正常状态的原始数据以及对应的ADC通道。
上位机控制模块70在抓取数据并进行处理之后还可以输出状态检测结果，例如用说明性文本来表示状态检测结果，状态检测结果用于描述上位机控制模块70抓取的数据的情况(监测情况)，用以展示系统的运行状态。
具体的，协议解析模块80用于解析上位机控制模块70下发的数据包，并根据数据包中包含目的寄存器地址以及目的寄存器对应的控制指令，发送至对应的目的寄存器，以及，获取关键信号和过程数据，并将关键信号和过程数据打包后发送至上位机控制模块70。其中，目的寄存器为其中一个或者多个运行监测模块90中的接收寄存器912，即目的寄存器表示的是控制指令对应需要发送的运行监测模块90以及该运行监测模块90的对应的模块，关键信号包括控制指令和状态信息。
在本实施例中，可以理解的是，关键信号和过程数据打包为支持TFTP协议后发送给上位机控制模块70。
具体的，运行监测模块90嵌入在数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60中，并且，运行监测模块90包括若干寄存器91和缓存随机存取存储器92，寄存器91与缓存随机存取存储器(Random Access Memory，RAM)92连接。缓存RAM 92可以理解的是用于缓存一段过程数据，过程数据为FPGA大数据处理系统中各个模块在数据处理过程中产生的数据。
下面结合图3描述本发明的大数据处理的监测系统，寄存器91包括：
发送寄存器911，发送寄存器911寄存并刷新其内寄存的关键信号。其中，发送寄存器911以与该系统主频相同的频率触发寄存并刷新指令，寄存并刷新指令用于指示发送寄存器911寄存并刷新发送寄存器911内寄存的关键信号。
下面结合图4描述本发明的大数据处理的监测系统，寄存器91还可以包括：
寄存有控制指令的接收寄存器912，接收寄存器912用于控制数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60内的逻辑；其中，逻辑包括触发数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60记录在数据处理过程中产生的过程数据以及修改逻辑参数。控制指令来自于协议解析模块80，接收寄存器912根据控制指令可以实时控制各个模块内的逻辑，用于触发各个模块记录一段过程数据以及修改各个模块的逻辑参数。
下面结合图5描述本发明的大数据处理的监测系统，寄存器91还可以包括：
发送寄存器911，发送寄存器911寄存并刷新其内寄存的关键信号。其中，发送寄存器911以与该系统主频相同的频率触发寄存并刷新指令，寄存并刷新指令用于指示发送寄存器911寄存并刷新发送寄存器911内寄存的关键信号。
寄存有控制指令的接收寄存器912，接收寄存器912用于控制数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60内的逻辑；其中，逻辑包括触发数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60记录在数据处理过程中产生的过程数据、切换发送寄存器911寄存的关键信号以及修改逻辑参数。控制指令同样来自于协议解析模块80，接收寄存器912根据控制指令可以实时控制各个模块内的逻辑，用于触发各个模块记录一段过程数据、切换发送寄存器911内寄存的关键信号以及修改各个模块的逻辑参数。
FPGA大数据处理系统中产生的原始数据、预处理结果、处理结果等过程数据都可以由缓存随机存储器92进行缓存，并随时可以使用控制指令进行抓取与展示，配合抓取到的各个关键信号，可以达到实时监测FPGA大数据处理系统的目的，使得系统可视化，且直观展示出来的状态相较于系统的实际状态延迟低于1ms，可认为展示状态即是实时状态。上位机控制模块70的实时监测以及灵活控制特性能够在系统出现问题时及时发现并快速分析定位出现问题的节点，降低经济损失，提高调试与维护效率。
本发明的大数据处理的监测系统，通过增加上位机控制模块70、协议解析模块80以及运行监测模块90，并将运行监测模块90内嵌在FPGA系统中的各个模块中，协议解析模块80解析并转发来自上位机控制模块70的数据包，使得运行监测模块90根据控制指令监测对应的模块，可以实现实时监测FPGA处理大数据过程中各个模块是否正确执行，并快速分析抓取的关键信号精准定位具体出现问题的关键点，与以往的FPGA大数据处理系统相比，即能够实时监测整个系统中的各个模块，使得系统可视化直观展现，使得出现问题能够及时发现，并快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率，在FPGA大数据处理领域中应用前景非常广泛。
下面结合图6描述本发明的大数据处理的监测方法，该方法包括以下步骤：
S100、由顺序连接的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60构成的FPGA大数据处理的监测系统接收来自协议解析模块80的控制指令，并将控制指令转发给对应的模块；
S200、数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60中内嵌的运行监测模块90根据控制指令，采集并发送对应的模块的关键信号和过程数据；
S300、协议解析模块80获取来自运行监测模块90的关键信号和过程数据，并将关键信号和过程数据打包为支持TFTP的数据包后发送给上位机控制模块70；
S400、上位机控制模块70对抓取的数据进行处理，得到各个模块对应的监测结果。
本发明的大数据处理的监测系统，通过增加上位机控制模块70、协议解析模块80以及运行监测模块90，并将运行监测模块90内嵌在FPGA系统中的各个模块中，协议解析模块80解析并转发来自上位机控制模块70的数据包，使得运行监测模块90根据控制指令监测对应的模块，可以实现实时监测FPGA处理大数据过程中各个模块是否正确执行，并快速分析抓取的关键信号精准定位具体出现问题的关键点，与以往的FPGA大数据处理系统相比，即能够实时监测整个系统中的各个模块，使得系统可视化直观展现，使得出现问题能够及时发现，并快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率，在FPGA大数据处理领域中应用前景非常广泛。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行大数据处理的监测方法，该方法包括以下步骤：
S100、由顺序连接的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60构成的FPGA大数据处理的监测系统接收来自协议解析模块80的控制指令，并将控制指令转发给对应的模块；
S200、数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60中内嵌的运行监测模块90根据控制指令，采集并发送对应的模块的关键信号和过程数据；
S300、协议解析模块80获取来自运行监测模块90的关键信号和过程数据，并将关键信号和过程数据打包为支持TFTP的数据包后发送给上位机控制模块70；
S400、上位机控制模块70对抓取的数据进行处理。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的执行大数据处理的监测方法，该方法包括以下步骤：
S100、由顺序连接的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60构成的FPGA大数据处理的监测系统接收来自协议解析模块80的控制指令，并将控制指令转发给对应的模块；
S200、数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60中内嵌的运行监测模块90根据控制指令，采集并发送对应的模块的关键信号和过程数据；
S300、协议解析模块80获取来自运行监测模块90的关键信号和过程数据，并将关键信号和过程数据打包为支持TFTP的数据包后发送给上位机控制模块70；
S400、上位机控制模块70对抓取的数据进行处理。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的执行大数据处理的监测方法，该方法包括以下步骤：
S100、由顺序连接的数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60构成的FPGA大数据处理的监测系统接收来自协议解析模块80的控制指令，并将控制指令转发给对应的模块；
S200、数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60中内嵌的运行监测模块90根据控制指令，采集并发送对应的模块的关键信号和过程数据；
S300、协议解析模块80获取来自运行监测模块90的关键信号和过程数据，并将关键信号和过程数据打包为支持TFTP的数据包后发送给上位机控制模块70；
S400、上位机控制模块70对抓取的数据进行处理。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种大数据处理的监测系统，包括顺序连接的数据采集缓存模块(10)、数据预处理模块(20)、数据计算模块(30)、处理结果缓存模块(40)、处理结果打包模块(50)和万兆网模块(60)，其特征在于，该系统还包括：
上位机控制模块(70)、协议解析模块(80)以及运行监测模块(90)，其中：
所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)均与所述协议解析模块(80)以及所述运行监测模块(90)建立连接，所述上位机控制模块(70)、所述运行监测模块(90)与所述协议解析模块(80)建立连接；
所述运行监测模块(90)包括若干寄存器(91)和缓存随机存取存储器(92)，所述寄存器(91)与所述缓存随机存取存储器(92)连接；
所述寄存器(91)包括：
发送寄存器(911)，所述发送寄存器(911)寄存并刷新其内寄存的关键信号；其中，所述发送寄存器(911)以与该系统主频相同的频率触发寄存并刷新指令；
寄存有控制指令的接收寄存器(912)，所述接收寄存器(912)用于控制所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)内的逻辑；其中，所述逻辑包括触发所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)记录在数据处理过程中产生的过程数据以及修改逻辑参数。
2.根据权利要求1所述的大数据处理的监测系统，其特征在于，所述协议解析模块(80)用于解析所述上位机控制模块(70)的上位机下发的数据包，并根据所述数据包中包含目的寄存器地址以及所述目的寄存器对应的控制指令，发送至对应的目的寄存器，以及，获取关键信号和过程数据，并将所述关键信号和所述过程数据打包后发送至所述上位机控制模块(70)；其中，目的寄存器为其中一个或者多个运行监测模块(90)中的接收寄存器(912)，所述关键信号包括所述控制指令和状态信息。
3.根据权利要求2所述的大数据处理的监测系统，其特征在于，所述上位机控制模块(70)发送所述数据包对该系统进行控制及监测，所述上位机控制模块(70)与该系统基于简单文件传输协议建立通信。
4.根据权利要求2所述的大数据处理的监测系统，其特征在于，所述上位机控制模块(70)输出状态检测结果，用于描述所述上位机控制模块(70)抓取的数据的情况用以展示系统的运行状态。
5.根据权利要求2所述的大数据处理的监测系统，其特征在于，所述运行监测模块(90)嵌入在所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)中。
6.一种基于权利要求1-5任一项所述的大数据处理的监测系统所实现的大数据处理的监测方法，其特征在于，包括以下步骤：
由顺序连接的所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)构成的所述大数据处理的监测系统接收来自所述协议解析模块(80)的所述控制指令，并将所述控制指令转发给对应的模块；
所述数据采集缓存模块(10)、所述数据预处理模块(20)、所述数据计算模块(30)、所述处理结果缓存模块(40)、所述处理结果打包模块(50)和所述万兆网模块(60)中内嵌的所述运行监测模块(90)根据所述控制指令，采集并发送对应的模块的关键信号和过程数据；
所述协议解析模块(80)获取来自所述运行监测模块(90)的所述关键信号和所述过程数据，并将所述关键信号和所述过程数据打包为支持简单文件传输协议的数据包后发送给所述上位机控制模块(70)；
所述上位机控制模块(70)对抓取的数据进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110949344.7A CN113885366B (zh) | 2021-11-01 | 2021-11-01 | 一种大数据处理的监测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110949344.7A CN113885366B (zh) | 2021-11-01 | 2021-11-01 | 一种大数据处理的监测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113885366A CN113885366A (zh) | 2022-01-04 |
| CN113885366B true CN113885366B (zh) | 2024-02-09 |
Family
ID=79010741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110949344.7A Active CN113885366B (zh) | 2021-11-01 | 2021-11-01 | 一种大数据处理的监测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113885366B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116026410A (zh) * | 2023-01-06 | 2023-04-28 | 华能吉林发电有限公司长春热电厂 | 一种基于计算机智能技术的自动巡检系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553336B1 (en) * | 1999-06-25 | 2003-04-22 | Telemonitor, Inc. | Smart remote monitoring system and method |
| US6611724B1 (en) * | 1999-11-24 | 2003-08-26 | Square D Company | On line monitor for a control device |
| AU2011221395A1 (en) * | 2010-09-27 | 2012-04-12 | Tata Consultancy Services Limited | Performance monitoring system |
| CN105353242A (zh) * | 2015-11-13 | 2016-02-24 | 北京电子工程总体研究所 | 用于导弹自动测试的差分测试信号监测模块及监测方法 |
| CN107797465A (zh) * | 2016-09-06 | 2018-03-13 | 北京百度网讯科技有限公司 | 监控方法和装置 |
| CN111078492A (zh) * | 2019-10-25 | 2020-04-28 | 芯创智（北京）微电子有限公司 | 一种SoC内部总线的状态监控系统及方法 |
| CN112154419A (zh) * | 2019-08-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 性能监测装置、方法、片上系统、可移动平台及相机 |
| CN113028603A (zh) * | 2021-03-24 | 2021-06-25 | 贵州汇通华城股份有限公司 | 一种应用于中央空调系统的设备监测系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7536475B2 (en) * | 2002-09-10 | 2009-05-19 | Ge Fanuc Automation North America, Inc. | Method and system for management and control of an automation control module |
-
2021
- 2021-11-01 CN CN202110949344.7A patent/CN113885366B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553336B1 (en) * | 1999-06-25 | 2003-04-22 | Telemonitor, Inc. | Smart remote monitoring system and method |
| US6611724B1 (en) * | 1999-11-24 | 2003-08-26 | Square D Company | On line monitor for a control device |
| AU2011221395A1 (en) * | 2010-09-27 | 2012-04-12 | Tata Consultancy Services Limited | Performance monitoring system |
| CN105353242A (zh) * | 2015-11-13 | 2016-02-24 | 北京电子工程总体研究所 | 用于导弹自动测试的差分测试信号监测模块及监测方法 |
| CN107797465A (zh) * | 2016-09-06 | 2018-03-13 | 北京百度网讯科技有限公司 | 监控方法和装置 |
| CN112154419A (zh) * | 2019-08-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 性能监测装置、方法、片上系统、可移动平台及相机 |
| CN111078492A (zh) * | 2019-10-25 | 2020-04-28 | 芯创智（北京）微电子有限公司 | 一种SoC内部总线的状态监控系统及方法 |
| CN113028603A (zh) * | 2021-03-24 | 2021-06-25 | 贵州汇通华城股份有限公司 | 一种应用于中央空调系统的设备监测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 系统芯片总线分析模块的设计;温征勇, 付宇卓;微电子学与计算机(第08期);全文 * |
| 高精度配网单相接地故障检测与定位系统研发;刘红文;郭辉;王科;徐雨;于钦学;;电气技术(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113885366A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108521353B (zh) | 定位性能瓶颈的处理方法、设备及可读存储介质 | |
| US8560894B2 (en) | Apparatus and method for status decision | |
| CN113885366B (zh) | 一种大数据处理的监测系统及方法 | |
| CN104022922B (zh) | 移动终端、心跳转发服务器以及心跳信息发送方法和系统 | |
| CN113810791B (zh) | 一种提高智能网卡/dpu网络遥测技术性能的方法 | |
| CN111103864B (zh) | 一种适用于列控中心测试的方法及装置 | |
| CN112333044B (zh) | 分流设备性能测试方法、装置、系统、电子设备以及介质 | |
| CN107229566B (zh) | 用于soa服务转换语言保持功能一致性的方法及系统 | |
| CN111341445A (zh) | 微服务调用链的健康检测方法和健康检测系统 | |
| KR20200138565A (ko) | 통신 네트워크에서 복수의 원격 무선 헤드들을 관리하기 위한 방법 및 장치 | |
| CN116975938B (zh) | 一种产品制造过程中的传感器数据处理方法 | |
| CN103517292A (zh) | 一种移动终端信息上报方法和装置 | |
| CN103606348A (zh) | 一种视频播放机显示器的故障检测装置及方法 | |
| CN116436823B (zh) | 智能网卡的状态监控方法及相关设备 | |
| CN107395381A (zh) | 一种报文处理方法、装置及系统 | |
| CN116048959A (zh) | 网站测试方法、装置、设备及存储介质 | |
| WO2015176516A1 (zh) | 一种业务流程的跟踪方法及装置 | |
| CN115297381A (zh) | 一种基于特殊作业现场的数据处理方法、装置及系统 | |
| CN109510980B (zh) | 一种直播延时测量方法及系统 | |
| CN111193639A (zh) | 一种网络质量检测处理方法及系统 | |
| JP2009199121A (ja) | 情報処理装置、通信情報採取方法、及び、プログラム | |
| CN113407412A (zh) | 一种微服务监控方法及系统 | |
| WO2017197829A1 (zh) | 测试信息管理方法、装置、测试用例执行系统及设备 | |
| WO2023135676A1 (ja) | 推定装置、推定方法、およびプログラム | |
| CN112905430B (zh) | 日志输出方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |