CN113220655A - 数据接入方法、装置、设备及可读存储介质 - Google Patents
数据接入方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113220655A CN113220655A CN202110481290.6A CN202110481290A CN113220655A CN 113220655 A CN113220655 A CN 113220655A CN 202110481290 A CN202110481290 A CN 202110481290A CN 113220655 A CN113220655 A CN 113220655A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- storage module
- message queue
- data access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012544 monitoring process Methods 0.000 claims abstract description 128
- 238000013500 data storage Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 5
- 230000010076 replication Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Water Supply & Treatment (AREA)
- Library & Information Science (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供一种数据接入方法、装置、设备及可读存储介质。该方法包括：检测所述待接入数据为监控数据还是日志数据；当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。通过本发明，将监控数据通过对应的消息队列转入数据立方存储模块以及大数据存储模块存储，保证了核电厂纯增长类监控数据的安全有效接入。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据接入方法、装置、设备及可读存储介质。
背景技术
核电厂在业务方面具有一定的复杂性，同时各种业务基于核电安全的要求，具有严格的规范性，同样基于安全的考虑，需要实时对核电生产设备进行监控，且监控的范围是巨大的，这意味着监控数据量的巨大，且监控数据随着核电厂的运行是持续增长的。核电设备运行基础数据的质量决定了各种高级分析与应用的实用化水平，严重影响了核电厂运营的安全性和可靠性。因此，亟需一种可靠的数据接入方法对伴随核电厂运行而持续增长的数据进行接入。
发明内容
为解决上述技术问题，本发明提供一种数据接入方法、装置、设备及可读存储介质。
第一方面，本发明提供一种数据接入方法，所述数据接入方法包括：
检测所述待接入数据为监控数据还是日志数据；
当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
可选的，在将消息队列中的监控数据存储到大数据存储模块的步骤之后，还包括：
将所述大数据存储模块中的监控数据输入阈值确定模型，得到所述监控类别对应的阈值。
可选的，在所述得到所述监控类别对应的阈值的步骤之后，还包括：
检测所述消息队列中是否存在大于所述监控类别对应的阈值的异常数据；
若所述消息队列中存在异常数据，则输出所述监控类别对应的告警提示。
可选的，在将消息队列中的监控数据存储到数据立方存储模块的步骤之后，还包括：
建立所述监控数据对应的索引。
可选的，所述数据接入方法还包括：
根据系统负载调整消息队列的分区数量、复制因子、主题分布以及数据存储结构。
可选的，在所述检测所述待接入数据为监控数据还是日志数据的步骤之后，还包括：
当所述待接入数据为日志数据时，将所述日志数据存储到中间缓存数据库；
当中间缓存数据库的剩余存储空间小于预设空间或到达预设时刻时，将所述中间缓存数据库存储的日志数据转移到所述数据立方存储模块。
可选的，所述数据接入方法还包括：
当收到日志查询请求时，检测查询缓存中是否存在所述日志查询请求对应的目标日志数据；
若所述查询缓存中存在所述目标日志数据，则返回所述目标日志数据；
若所述查询缓存中不存在所述目标日志数据，则检测所述中间缓存数据库中是否存在所述目标日志数据；
若所述中间缓存数据库中存在所述目标日志数据，则返回所述目标日志数据，并将所述目标日志数据存储到所述查询缓存中；
若所述中间缓存数据库中不存在所述目标日志数据，则在数据立方存储模块中查找所述目标日志数据，返回查找到的目标日志数据，并将所述目标日志数据存储到所述查询缓存中。
第二方面，本发明还提供一种数据接入装置，所述数据接入装置包括：
类型检测模块，用于检测所述待接入数据为监控数据还是日志数据；
分发模块，用于当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
存储模块，用于将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
第三方面，本发明还提供一种数据接入设备，所述数据接入设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据接入程序，其中所述数据接入程序被所述处理器执行时，实现如上所述的数据接入方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有数据接入程序，其中所述数据接入程序被处理器执行时，实现如上所述的数据接入方法的步骤。
本发明中，检测所述待接入数据为监控数据还是日志数据；当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。通过本发明，将监控数据通过对应的消息队列转入数据立方存储模块以及大数据存储模块存储，保证了核电厂纯增长类监控数据的安全有效接入。
附图说明
图1为本发明实施例方案中涉及的数据接入设备的硬件结构示意图；
图2为本发明数据接入方法一实施例的流程示意图；
图3为一实施例中数据立方存储模块的结构示意图；
图4为本发明数据接入装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种数据接入设备。
参照图1，图1为本发明实施例方案中涉及的数据接入设备的硬件结构示意图。本发明实施例中，数据接入设备可以包括处理器1001(例如中央处理器Central ProcessingUnit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据接入程序。其中，处理器1001可以调用存储器1005中存储的数据接入程序，并执行本发明实施例提供的数据接入方法。
第二方面，本发明实施例提供了一种数据接入方法。
一实施例中，参照图2，图2为本发明数据接入方法一实施例的流程示意图。如图2所示，数据接入方法包括：
步骤S10，检测所述待接入数据为监控数据还是日志数据；
本实施例中，待接入数据指伴随核电厂运行而持续增长的数据，主要有两种，一种是监控数据，另一种是日志数据。其中，监控数据指通过各种传感器对被监控设备进行实时采集得到的被监控设备的运行数据；日志数据指工单的归档数据和物料数据变化的记录数据，一般通过人工操作录入。通过对于工单的归档数据的查询，可以检查核电站运行期间的各种操作记录是否符合规范，从而保证核电站的安全性，工单归档数据也可以为核电站运行期间的改进措施，提供依据；物料数据变化的记录数据，可以为保证物料数据的准确性和完整性提供保障。
其中，可以通过待接入数据的来源分辨待接入数据为监控数据还是日志数据。例如，若待接入数据来自传感器，则确定待接入数据为监控数据；若待接入数据是基于输入装置输入的，则确定待接入数据为日志数据。
步骤S20，当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
本实施例中，当待接入数据为监控数据时，按照监控数据的监控类别，将监控数据分发到其监控类别对应的消息队列中。例如，监控数据是温度传感器上报的，则监控数据的监控类别为温度，则将监控数据分发到消息队列1中；监控数据是压力传感器上报的，则监控数据的监控类别为压力，则将监控数据分发到消息队列2中。依次类推，即可将监控数据分发到监控数据的监控类别对应的消息队列。其中，消息队列为分布式消息队列。
进一步地，一实施例中，数据接入方法还包括：
根据系统负载调整消息队列的分区数量、复制因子、主题分布以及数据存储结构。
本实施例中，根据系统负载调整各个消息队列的分区数量、复制因子、主题分布以及数据存储结构，数据存储结构即监控数据在消息队列中的存储结构。如此，可实现高速写入并降低转换开销，同时实现基于分布式消息队列的故障恢复机制，以确保监控数据不丢失。
步骤S30，将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
本实施例中，将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。其中，数据立方依靠主从并行式分布式并行架构，主Master与从Master分别部署在HDFS(Hadoop分布式文件系统)的主从NameNode物理节点上，而Slave部署在DataNode物理节点上，主从Master使用Zookeeper同步，并共享系统日志，Master与Slave之间用心跳信息保持信息交换。大数据存储模块例如HDFS。
本实施例中，检测所述待接入数据为监控数据还是日志数据；当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。通过本实施例，将监控数据通过对应的消息队列转入数据立方存储模块以及大数据存储模块存储，保证了核电厂纯增长类监控数据的安全有效接入。
进一步地，一实施例中，在步骤S30之后，还包括：
将所述大数据存储模块中的监控数据输入阈值确定模型，得到所述监控类别对应的阈值。
本实施例中，各个监控类别对应的阈值的设定来源于安全准则的要求和设备安全参数的设定，但是由于设备在运行状态的动态变化性，其有部分安全阈值需要依据当前的设备的状态来进行浮动确定，该阈值的确定需要依赖存储于数据立方中的实时监控数据，通过神经网络或者机器学习的有关模型来确定。当然，还可以是基于人工经验，直接设置各个监控类别对应的阈值。
进一步地，一实施例中，在步骤S20之后，还包括：
检测所述消息队列中是否存在大于所述监控类别对应的阈值的异常数据；若所述消息队列中存在异常数据，则输出所述监控类别对应的告警提示。
本实施例中，若消息队列1中存放的监控类别为温度的监控数据，消息队列2中存放的监控类别为压力的监控数据，且通过上一实施例得到监控类别为温度对应的阈值为阈值1，监控类别为压力对应的阈值为阈值2，则检测消息队列1中是否存在大于阈值1的异常数据，检测消息队列2中是否存在大于阈值2的异常数据。若消息队列1中存在大于阈值1的异常数据，则输出温度对应的告警提示，例如输出的告警提示为温度过高的语音消息；若消息队列2中存在大于阈值2的异常数据，则输出压力对应的告警提示，例如输出的告警提示为压力过高的语音消息。
进一步地，一实施例中，在将消息队列中的监控数据存储到数据立方存储模块的步骤之后，还包括：
建立所述监控数据对应的索引。
本实施例中，为了方便后续能快速从数据立方存储模块中找到需要的监控数据，需建立监控数据对应的索引。参照图3，图3为一实施例中数据立方存储模块的结构示意图。如图3所示，数据立方存储模块分为用户接口、索引模块、SQL解析器、作业生成器、元数据管理、并行计算架构、Hadoop分布式文件系统等部分。数据在入库时与数据对应的索引同时建立，当用户发出查询请求时，经过SQL解析器生成查询作业，分析要处理的数据表对应的索引文件所在存储子节点位置，并将作业发给并行计算框架，进行相应的查找作业，获取查询结果并进行返回。数据立方存储模块通过建立索引使其对于巨大的历史数据的查询速度更快，而基于分布式文件系统的存储使其数据的可靠性得到有效的保障。
进一步地，一实施例中，在步骤S10之后，还包括：
步骤S40，当所述待接入数据为日志数据时，将所述日志数据存储到中间缓存数据库；
本实施例中，伴随核电厂运行而持续增长的数据除了监控数据还有日志数据。其中，用户在填写好工单或物料数据库进行变更操作时，生成相应的日志数据。当待接入数据为日志数据时，将日志数据存储到中间缓存数据库。其中，为了保证日志数据的安全，可以先计算日志数据对应的哈希值，然后将哈希值存储到中间缓存数据库。
步骤S50，当中间缓存数据库的剩余存储空间小于预设空间或到达预设时刻时，将所述中间缓存数据库存储的日志数据转移到所述数据立方存储模块。
本实施例中，预设空间可以是中间缓存数据库的10％，在此不作限制，具体可根据实际需要进行设置。预设时刻基于数据库的大小和系统的负载情况进行设置，预设时刻为每天零点。使用中间缓存数据库，短期存储日志数据，且中间缓存数据库，可以使用存储集群将日志数据存于多个节点上，保证数据不会出现丢失。当中间缓存数据库的剩余存储空间小于预设空间或到达预设时刻时，进行归档操作，即将中间缓存数据库存储的日志数据转移到数据立方存储模块。
进一步地，一实施例中，所述数据接入方法还包括：
当收到日志查询请求时，检测查询缓存中是否存在所述日志查询请求对应的目标日志数据；若所述查询缓存中存在所述目标日志数据，则返回所述目标日志数据；若所述查询缓存中不存在所述目标日志数据，则检测所述中间缓存数据库中是否存在所述目标日志数据；若所述中间缓存数据库中存在所述目标日志数据，则返回所述目标日志数据，并将所述目标日志数据存储到所述查询缓存中；若所述中间缓存数据库中不存在所述目标日志数据，则在数据立方存储模块中查找所述目标日志数据，返回查找到的目标日志数据，并将所述目标日志数据存储到所述查询缓存中。
本实施例中，为了实现快速查询，可设置查询缓存，例如Redis或者ES缓存，用于对历史查询结果进行缓存。如此，当收到日志查询请求时，首先在查询缓存中查找日志查询请求对应的目标日志数据，若能查找到，则返回目标日志数据；若在查询缓存中未查找到目标日志数据，则在中间缓存数据库中查找目标日志数据，若能查找到，则返回目标日志数据，并将目标日志数据存储到查询缓存中；若在中间缓存数据库中未查找到目标日志数据，则在数据立方存储模块中查找目标日志数据，返回查找到的目标日志数据，并将目标日志数据存储到查询缓存中。
第三方面，本发明实施例还提供一种数据接入装置。
一实施例中，参照图4，图4为本发明数据接入装置一实施例的功能模块示意图。如图4所示，数据接入装置包括：
类型检测模块10，用于检测所述待接入数据为监控数据还是日志数据；
分发模块20，用于当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
存储模块30，用于将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
进一步地，一实施例中，数据接入装置还包括阈值确定模块，用于：
将所述大数据存储模块中的监控数据输入阈值确定模型，得到所述监控类别对应的阈值。
进一步地，一实施例中，数据接入装置还包括异常告警模块，用于：
检测所述消息队列中是否存在大于所述监控类别对应的阈值的异常数据；
若所述消息队列中存在异常数据，则输出所述监控类别对应的告警提示。
进一步地，一实施例中，数据接入装置还包括索引建立模块，用于：
建立所述监控数据对应的索引。
进一步地，一实施例中，数据接入装置还包括调整模块，用于：
根据系统负载调整消息队列的分区数量、复制因子、主题分布以及数据存储结构。
进一步地，一实施例中，数据接入装置还包括：
缓存模块，用于当所述待接入数据为日志数据时，将所述日志数据存储到中间缓存数据库；
转移模块，用于当中间缓存数据库的剩余存储空间小于预设空间或到达预设时刻时，将所述中间缓存数据库存储的日志数据转移到所述数据立方存储模块。
进一步地，一实施例中，数据接入装置还包括查询模块，用于：
当收到日志查询请求时，检测查询缓存中是否存在所述日志查询请求对应的目标日志数据；
若所述查询缓存中存在所述目标日志数据，则返回所述目标日志数据；
若所述查询缓存中不存在所述目标日志数据，则检测所述中间缓存数据库中是否存在所述目标日志数据；
若所述中间缓存数据库中存在所述目标日志数据，则返回所述目标日志数据，并将所述目标日志数据存储到所述查询缓存中；
若所述中间缓存数据库中不存在所述目标日志数据，则在数据立方存储模块中查找所述目标日志数据，返回查找到的目标日志数据，并将所述目标日志数据存储到所述查询缓存中。
其中，上述数据接入装置中各个模块的功能实现与上述数据接入方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有数据接入程序，其中所述数据接入程序被处理器执行时，实现如上述的数据接入方法的步骤。
其中，数据接入程序被执行时所实现的方法可参照本发明数据接入方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据接入方法，其特征在于，所述数据接入方法包括：
检测所述待接入数据为监控数据还是日志数据；
当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
2.如权利要求1所述的数据接入方法，其特征在于，在将消息队列中的监控数据存储到大数据存储模块的步骤之后，还包括：
将所述大数据存储模块中的监控数据输入阈值确定模型，得到所述监控类别对应的阈值。
3.如权利要求2所述的数据接入方法，其特征在于，在所述得到所述监控类别对应的阈值的步骤之后，还包括：
检测所述消息队列中是否存在大于所述监控类别对应的阈值的异常数据；
若所述消息队列中存在异常数据，则输出所述监控类别对应的告警提示。
4.如权利要求3所述的数据接入方法，其特征在于，在将消息队列中的监控数据存储到数据立方存储模块的步骤之后，还包括：
建立所述监控数据对应的索引。
5.如权利要求1至4中任一项所述的数据接入方法，其特征在于，所述数据接入方法还包括：
根据系统负载调整消息队列的分区数量、复制因子、主题分布以及数据存储结构。
6.如权利要求1所述的数据接入方法，其特征在于，在所述检测所述待接入数据为监控数据还是日志数据的步骤之后，还包括：
当所述待接入数据为日志数据时，将所述日志数据存储到中间缓存数据库；
当中间缓存数据库的剩余存储空间小于预设空间或到达预设时刻时，将所述中间缓存数据库存储的日志数据转移到所述数据立方存储模块。
7.如权利要求6所述的数据接入方法，其特征在于，所述数据接入方法还包括：
当收到日志查询请求时，检测查询缓存中是否存在所述日志查询请求对应的目标日志数据；
若所述查询缓存中存在所述目标日志数据，则返回所述目标日志数据；
若所述查询缓存中不存在所述目标日志数据，则检测所述中间缓存数据库中是否存在所述目标日志数据；
若所述中间缓存数据库中存在所述目标日志数据，则返回所述目标日志数据，并将所述目标日志数据存储到所述查询缓存中；
若所述中间缓存数据库中不存在所述目标日志数据，则在数据立方存储模块中查找所述目标日志数据，返回查找到的目标日志数据，并将所述目标日志数据存储到所述查询缓存中。
8.一种数据接入装置，其特征在于，所述数据接入装置包括：
类型检测模块，用于检测所述待接入数据为监控数据还是日志数据；
分发模块，用于当所述待接入数据为监控数据时，将所述监控数据分发到所述监控数据的监控类别对应的消息队列；
存储模块，用于将消息队列中的监控数据分别存储到数据立方存储模块以及大数据存储模块。
9.一种数据接入设备，其特征在于，所述数据接入设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据接入程序，其中所述数据接入程序被所述处理器执行时，实现如权利要求1至7中任一项所述的数据接入方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有数据接入程序，其中所述数据接入程序被处理器执行时，实现如权利要求1至7中任一项所述的数据接入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481290.6A CN113220655A (zh) | 2021-04-30 | 2021-04-30 | 数据接入方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481290.6A CN113220655A (zh) | 2021-04-30 | 2021-04-30 | 数据接入方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113220655A true CN113220655A (zh) | 2021-08-06 |
Family
ID=77090524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110481290.6A Pending CN113220655A (zh) | 2021-04-30 | 2021-04-30 | 数据接入方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220655A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113836160A (zh) * | 2021-09-28 | 2021-12-24 | 上海市大数据股份有限公司 | 一种基于主从同步的数据流状态监控告警系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN110207656A (zh) * | 2019-07-14 | 2019-09-06 | 中核华纬工程设计研究有限公司 | 一种基于容器的bim模型与楼宇沉降倾斜监测系统及方法 |
| CN111698306A (zh) * | 2020-06-04 | 2020-09-22 | 中国科学院地理科学与资源研究所 | 一种基于物联网的水文实时流数据采集处理方法 |
| CN111813751A (zh) * | 2020-06-29 | 2020-10-23 | 平安科技（深圳）有限公司 | 应用系统日志数据的处理方法、应用系统、设备及介质 |
| CN112285034A (zh) * | 2020-11-02 | 2021-01-29 | 国网上海市电力公司 | 一种基于油枕传感器的实时告警方法及计算机设备 |
| WO2021046771A1 (zh) * | 2019-09-11 | 2021-03-18 | 华为技术有限公司 | 一种安全检测的方法和装置 |
-
2021
- 2021-04-30 CN CN202110481290.6A patent/CN113220655A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN110207656A (zh) * | 2019-07-14 | 2019-09-06 | 中核华纬工程设计研究有限公司 | 一种基于容器的bim模型与楼宇沉降倾斜监测系统及方法 |
| WO2021046771A1 (zh) * | 2019-09-11 | 2021-03-18 | 华为技术有限公司 | 一种安全检测的方法和装置 |
| CN111698306A (zh) * | 2020-06-04 | 2020-09-22 | 中国科学院地理科学与资源研究所 | 一种基于物联网的水文实时流数据采集处理方法 |
| CN111813751A (zh) * | 2020-06-29 | 2020-10-23 | 平安科技（深圳）有限公司 | 应用系统日志数据的处理方法、应用系统、设备及介质 |
| CN112285034A (zh) * | 2020-11-02 | 2021-01-29 | 国网上海市电力公司 | 一种基于油枕传感器的实时告警方法及计算机设备 |
Non-Patent Citations (5)
| Title |
|---|
| MOB604756F2AF3B: ""缓存读写策略 - Cache Aside"", pages 1 - 3, Retrieved from the Internet <URL:《https://blog.51cto.com/u_15127579/2721366》> * |
| OKIDOGREEN: ""缓存模式（Cache Aside、Read Through、Write Through、Write Behind）"", pages 1 - 2, Retrieved from the Internet <URL:《https://blog.csdn.net/z69183787/article/details/112308815》> * |
| 付仁涛: ""面向工业的数据处理系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 03, 15 March 2020 (2020-03-15), pages 138 - 578 * |
| 张程: "《分布式系统架构》", 机械工业出版社, pages: 205 - 206 * |
| 猪头兵: ""缓存读写策略-Cache Aside（旁路缓存）策略"", pages 1 - 2, Retrieved from the Internet <URL:《https://blog.csdn.net/weixin_42002747/article/details/109016611》> * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113836160A (zh) * | 2021-09-28 | 2021-12-24 | 上海市大数据股份有限公司 | 一种基于主从同步的数据流状态监控告警系统 |
| CN113836160B (zh) * | 2021-09-28 | 2024-01-23 | 上海市大数据股份有限公司 | 一种基于主从同步的数据流状态监控告警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10164847B2 (en) | Data transfer monitor system, data transfer monitor method and base system | |
| US20170242887A1 (en) | Efficient access scheduling for super scaled stream processing systems | |
| WO2018036549A1 (zh) | 分布式数据库查询方法、装置及管理系统 | |
| JP6996812B2 (ja) | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス | |
| EP3413197A1 (en) | Task scheduling method and device | |
| CN104978324B (zh) | 一种数据处理方法和装置 | |
| CN111124830B (zh) | 一种微服务的监控方法及装置 | |
| CN111314158B (zh) | 大数据平台监控方法、装置及设备、介质 | |
| Wibowo | Problems and available solutions on the stage of extract, transform, and loading in near real-time data warehousing (a literature study) | |
| CN107563218A (zh) | 一种基于大数据的数据脱敏方法和Hbase脱敏处理系统 | |
| CN111858274B (zh) | 一种大数据评分系统稳定性监控方法 | |
| US9177001B2 (en) | Data index using a linked data standard | |
| CN111159135A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN110659283A (zh) | 数据标签处理方法、装置、计算机设备及存储介质 | |
| CN113220655A (zh) | 数据接入方法、装置、设备及可读存储介质 | |
| CN113835918A (zh) | 一种服务器故障分析方法及装置 | |
| CN110535686B (zh) | 异常事件处理方法和装置 | |
| WO2022127883A1 (zh) | 信令数据查询方法、信令数据索引库的构建方法及服务器 | |
| CN113268530A (zh) | 海量异构数据采集方法、系统、计算机设备和存储介质 | |
| JP2014056571A (ja) | 条件ベースのメンテナンスシステムで使用するセンサデータおよび計算されたパラメータの格納および検索 | |
| CN106557483B (zh) | 一种数据处理、数据查询方法及设备 | |
| EP3734476A1 (en) | Database system, and method and device for querying database | |
| CN114077492B (zh) | 云计算基础设施资源的预测模型训练、预测方法和系统 | |
| CN111078975B (zh) | 一种多节点增量式数据采集系统及采集方法 | |
| CN111400370A (zh) | 数据流通中的数据监控方法及装置、存储介质、服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |
|
| RJ01 | Rejection of invention patent application after publication |