CN112506927A - 一种云环境下的性能数据存储方法 - Google Patents
一种云环境下的性能数据存储方法 Download PDFInfo
- Publication number
- CN112506927A CN112506927A CN202011403445.6A CN202011403445A CN112506927A CN 112506927 A CN112506927 A CN 112506927A CN 202011403445 A CN202011403445 A CN 202011403445A CN 112506927 A CN112506927 A CN 112506927A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- warehousing
- cloud environment
- performance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013500 data storage Methods 0.000 title claims abstract description 15
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 17
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims 1
- 238000005538 encapsulation Methods 0.000 claims 1
- 238000013523 data management Methods 0.000 abstract description 9
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云环境下的性能数据存储方法，属于云计算环境下大数据技术领域，进行多源数据采集并将采集的数据进行格式统一，设计入库规则，分发接收的数据，实现按规则配置入库；入库规则包括启用状态判断ruleset、数据对象唯一标识block、数据表table、列名column和列属性，启用状态判断ruleset用于判断是否启用该条规则，block为自定义唯一可读标识，定义粒度为对象或对象属性，用于区分采集的性能数据属于哪类资源对象或对象属性；所述入库规则采用读写分离模式管理。本发明实现了资源对象下大量性能数据的接口获取与分发入库存储，提高数据采集及数据管理效率。
Description
技术领域
本发明涉及云计算环境下大数据技术领域，具体地说是一种云环境下的性能数据存储方法。
背景技术
随着软件定义网络和网络功能虚拟化技术的迅速发展,云平台中的基础设施规模和可用资源数量持续增长。云平台的平稳运行以及未来趋势的预测，需要基于大量性能数据进行运行状态监控与历史故障排除。
复杂云环境下，各资源性能数据需要按需采用各协议方法进行采集，导致采集数据格式不一，需统一数据格式转换进行数据管理。
集中处理后的数据，无法直接入库，需要规则设计分发入库，同时采集出的原始数据也需要算法处理后入库。
发明内容
本发明的技术任务是针对以上不足之处，提供一种云环境下的性能数据存储方法，实现了资源对象下大量性能数据的接口获取与分发入库存储，提高数据采集及数据管理效率。
本发明解决其技术问题所采用的技术方案是：
一种云环境下的性能数据存储方法，进行多源数据采集并将采集的数据进行格式统一，设计入库规则，分发接收的数据，实现按规则配置入库；
入库规则包括启用状态判断ruleset、数据对象唯一标识block、数据表table、列名column和列属性，启用状态判断ruleset用于判断是否启用该条规则，block为自定义唯一可读标识，定义粒度为对象或对象属性，用于区分采集的性能数据属于哪类资源对象或对象属性；
所述入库规则采用读写分离模式管理。
采集数据来自各资源对象，数据汇总后数据冗杂且不便调配入库。针对此问题，进行入库规格编排，通过入库规则，分发接受的数据，实现按规则配置入库。
该方法通过多源数据获取方式得到采集方提供的采集数据，采集数据转换为统一的格式，以便后续数据处理，丰富了对多数据格式的支持，具有高可用的兼容性。多线程的数据处理，也可高效完成数据初始化。
自定义规则进行数据分发入库，可以通过规则管理资源性能与入库。方便数据管理人员进行数据逻辑梳理与数据管理。
优选的，采用influxDB时序数据库进行查询与存储服务。
云环境具有大量资源对象需要进行性能数据采集，若性能数据按标准以5分钟粒度进行一次采集，将会积累大量时间化数据。针对这些数据，采用influxdb时序数据库进行存储，利用influxdb独特的TSM Tree算法，通过时间来快速定位到要查询数据的相关资源，加速查询的过程，同时根据时间的顺序写入，加快存储效率，实现高性能的时序数据查询与存储服务。
优选的，针对多源数据的采集，采集数据的获取形式包括：提供HTTP接口、消息队列和文件缓存。针对云环境下各采集协议采集出的数据，提供配置化方式获取数据，可以接收HTTP接口与MQ消息队列以及文件IO形式的数据。
即采集数据的获取可以通过定时调用数据采集方暴露的http接口获取；也可以通过绑定性能数据采集方发送数据的消息队列，监听形式拉去原始性能数据；同时，也可以通过读取采集数据后生成的原始文件，获取原始性能数据。
优选的，云环境下采集的各种数据格式，统一转换为JSON格式数据，并进行入库数据格式校验：
JSON数据最外层key为自定义唯一标识block，下层为需要入的table表名，第三层为数组格式的key-value数据，数组中每个元素对应表中一行数据。
针对采集数据格式不统一带来的数据处理与入库不便问题，提供各数据格式的JSON转换处理，方便后续的数据加工与分发入库，在进行JSON格式转换的同时，进行入库规则定义的数据格式校验。
进一步的，JSON化后的数据，通过匹配入库规则，进行数据分发入库，具体流程如下：
数据通过block进行分组，分组后可进一步获取需要入的性能数据表，然后获取数据列表以及最小粒度的key-value数据；
针对key-value数据，通过规则关系表重命名key为设计表的key值，或通过expression表达式，取得单个或多个key进行运算，最终将值存为将要插入表数据的key；
针对大数据，通过配置开启多线程进行数据列表分片JOSN格式化与校验，分片大小通过配置文件进行配置。
进一步的，数据经过入库规则分发，最终通过封装工具influxdb连接池实现入库，入库异常通知管理者报错消息。
格式化后的JOSN数据，经过入库规则匹配后，获取对应分发规则，完成入库。若入库异常，将通过配置的邮箱、微信等地址，通知管理者报错消息。
优选的，所述读写分离模式管理，入库规则同时存入MySQL与Redis缓存，其中Redis仅作为查询入口，增删改操作先经过MySQL，再操作Redis，提高数据查询性能；
入库规则提供具备增删改查规则数据功能以及Redis数据更新与替换功能的前端界面。
数据查询仅由Redis缓存支持，以此降低查询消耗，提高查询效率。而规则数据的增加、删除、修改操作统一由前端界面完成。前端发起数据修改请求时，将先进行MySQL数据库的数据修改，完成修改后，通过tigger进行Redis数据同步修改。如果MySQL数据修改错误，将回滚事务，同时不发起Redis缓存数据的修改。如果Redis数据修改错误，将返回前端界面异常结果，再由异常结果判断重新发起Redis单点或批量更新。
同时提供全量更新功能按钮实现Redis数据全量更新，达到同步数据的目的。
优选的，所述列属性包括Default：默认值、Tag：是否为tag索引、以及Expression：入库前，提供简单算法运行功能，可通过表达式获取并简单计算JOSN中某几个key值为对应column列的数据。
本发明还要求保护一种云环境下的性能数据存储系统，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行上述的方法。
本发明还要求保护计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述的方法。
本发明的一种云环境下的性能数据存储方法与现有技术相比，具有以下有益效果：
通过多接口、多方式的性能数据获取途径，方便整合采集工程，实现原始数据对接；
通过统一化数据格式，方便后续的规则分发，与数据入库处理；同时，也丰富了对多数据格式的支持，具有高可用的兼容性；多线程的数据处理，也可高效完成数据初始化；
自定义规则进行数据分发入库，可以通过规则管理资源性能与入库，方便数据管理人员进行数据逻辑梳理与数据管理，同时，加入缓存功能提高性能；
基于influxDB时序数据库能够实现高效的数据查询与存储服务，时间化的性能数据也契合数据库存储数据条件；增加的入库异常告警通知功能，也方便数据管理员实时了解性能数据入库状态。
附图说明
图1是本发明一个实施例提供的云环境下的性能数据存储方法流程图；
图2是本发明一个实施例提供的自定义入库分发规则示意图；
图3是本发明一个实施例提供的MySQL存储入库规则示例。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明实施例提供一种云环境下的性能数据存储方法，进行多源数据采集并将采集的数据进行格式统一，设计入库规则，分发接收的数据，实现按规则配置入库。
针对云环境产生的大量性能数据，提供基于influxDB的高性能的时序数据查询与存储服务；
云环境具有大量资源对象需要进行性能数据采集，若性能数据按标准以5分钟粒度进行一次采集，将会积累大量时间化数据。针对这些数据，采用influxdb时序数据库进行存储，利用influxdb独特的TSM Tree算法，通过时间来快速定位到要查询数据的相关资源，加速查询的过程，同时根据时间的顺序写入，加快存储效率，实现高性能的时序数据查询与存储服务。
针对云环境下各采集协议采集出的数据，提供配置化方式获取数据。针对各种采集方法采集出的数据，提供HTTP接口、消息队列、文件缓存等形式进行采集数据的获取；可以接收HTTP接口与MQ消息队列以及文件IO形式的数据，实现多数据源获取。
采集数据的获取可以通过定时调用数据采集方暴露的http接口获取；也可以通过绑定性能数据采集方发送数据的消息队列，监听形式拉去原始性能数据；同时，也可以通过读取采集数据后生成的原始文件，获取原始性能数据。
云环境下采集的各种数据格式，统一转换为JSON格式数据，并进行入库数据格式校验。
针对采集数据格式不统一带来的数据处理与入库不便问题，提供各数据格式的JSON转换处理，方便后续的数据加工与分发入库。
在进行JSON格式转换的同时，进行入库规则定义的数据格式校验：首先JSON数据最外层key必须为自定义唯一标识(block)，下层为需要入的table表名，第三层为数组格式的key-value数据，数组中每个元素对应表中一行数据。
获取原始数据后，所有key-value形式存储的数据，根据正则规则配置与字符串处理取出想要的key与value值，重新组合为JOSN格式数据。转换的同时，进行入库数据格式校验，没有设置block或table的数据，将不进行入库，而通过设置过期时间暂时存入缓存。
同时针对大数据，可以通过配置开启多线程进行数据列表分片JOSN格式化与校验，分片大小也可通过配置文件进行配置。例如5万条数据可拆分为5个1万条数据，开启5个线程同时进行JSON格式化处理与规则数据校验以及入库。
设计入库规则，数据入库根据入库规则进行编排入库。采集数据来自各资源对象，数据汇总后数据冗杂且不便调配入库。针对此问题，进行入库规格编排，通过入库规则，分发接受的数据，实现按规则配置入库。
入库规则包括启用状态判断ruleset、数据对象唯一标识block、数据表table、列名column和列属性。其中，block为自定义唯一可读标识，定义粒度为对象或对象属性，用于区分采集的性能数据属于哪类资源对象或对象属性。
入库规则逻辑从外层开始，分别为ruleset：规则启用判断，主要用于判断是否启用该条规则；block：性能数据来源对象或对象属性的自定义唯一标识，主要用于区分采集的性能数据属于哪类资源对象或对象属性，例如：云服务器性能数据以及云服务下的cpu属性性能数据的block设置；table：存入时序数据库中的表名；column：存入表中的列名；字段属性：①Default：默认值；②Tag：是否为tag索引；③Expression：入库前，提供简单算法运行功能，可通过表达式获取并简单计算JOSN中某几个key值为对应column列的数据。
所述的自定义入库分发规则，JSON化后的数据，通过匹配入库规则，进行数据分发入库，具体流程如下：
数据通过block进行分组，分组后可进一步获取需要入的性能数据表，然后获取数据列表以及最小粒度的key-value数据；
针对key-value数据，通过规则关系表重命名key为设计表的key值，或通过expression表达式，取得单个或多个key进行运算，最终将值存为将要插入表数据的key；
所述入库规则同时存入MySQL与Redis缓存，采用读写分离模式进行规则数据管理。
其中Redis仅作为查询入口，增删改操作先经过MySQL，再操作Redis，提高数据查询性能；
数据查询仅由Redis缓存支持，以此降低查询消耗，提高查询效率。而规则数据的增加、删除、修改操作统一由前端界面完成。前端发起数据修改请求时，将先进行MySQL数据库的数据修改，完成修改后，通过tigger进行Redis数据同步修改。如果MySQL数据修改错误，将回滚事务，同时不发起Redis缓存数据的修改。如果Redis数据修改错误，将返回前端界面异常结果，再由异常结果判断重新发起Redis单点或批量更新。
同时提供全量更新功能按钮实现Redis数据全量更新，达到同步数据的目的。
入库规则提供前端界面进行增删改查，提供具备增删改查规则数据功能以及Redis数据更新与替换功能的前端界面。
性能数据写入influxDB数据库。数据经过入库规则分发，最终通过封装工具influxdb连接池实现入库，入库异常通知管理者报错消息。
格式化后的JOSN数据，经过入库规则匹配后，获取对应分发规则，完成入库。若入库异常，将通过配置的邮箱、微信等地址，通知管理者报错消息。
经过入库规则匹配处理后的数据，最终通过influxDB连接池与写入依赖完成数据写入。针对每次写入状态，当发生异常，将返回influxDB的异常消息，并通过配置的联系方式进行微信或邮件通知，以此达到便捷数据管理的效果。
本发明还要求保护一种云环境下的性能数据存储系统，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行上述实施例所述的云环境下的性能数据存储方法。
本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明上述实施例中所述的云环境下的性能数据存储方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (10)
1.一种云环境下的性能数据存储方法，其特征在于，进行多源数据采集并将采集的数据进行格式统一，设计入库规则，分发接收的数据，实现按规则配置入库；
入库规则包括启用状态判断ruleset、数据对象唯一标识block、数据表table、列名column和列属性，启用状态判断ruleset用于判断是否启用该条规则，block为自定义唯一可读标识，定义粒度为对象或对象属性，用于区分采集的性能数据属于哪类资源对象或对象属性；
所述入库规则采用读写分离模式管理。
2.根据权利要求1所述的一种云环境下的性能数据存储方法，其特征在于，采用influxDB时序数据库进行查询与存储服务。
3.根据权利要求1所述的一种云环境下的性能数据存储方法，其特征在于，针对多源数据的采集，采集数据的获取形式包括：提供HTTP接口、消息队列和文件缓存。
4.根据权利要求1或2或3所述的一种云环境下的性能数据存储方法，其特征在于，云环境下采集的各种数据格式，统一转换为JSON格式数据，并进行入库数据格式校验：
JSON数据最外层key为自定义唯一标识block，下层为需要入的table表名，第三层为数组格式的key-value数据，数组中每个元素对应表中一行数据。
5.根据权利要求4所述的一种云环境下的性能数据存储方法，其特征在于，JSON化后的数据，通过匹配入库规则，进行数据分发入库，具体流程如下：
数据通过block进行分组，分组后可进一步获取需要入的性能数据表，然后获取数据列表以及最小粒度的key-value数据；
针对key-value数据，通过规则关系表重命名key为设计表的key值，或通过expression表达式，取得单个或多个key进行运算，最终将值存为将要插入表数据的key；
针对大数据，通过配置开启多线程进行数据列表分片JOSN格式化与校验，分片大小通过配置文件进行配置。
6.根据权利要求2所述的一种云环境下的性能数据存储方法，其特征在于，数据经过入库规则分发，最终通过封装工具influxdb连接池实现入库，入库异常通知管理者报错消息。
7.根据权利要求1或6所述的一种云环境下的性能数据存储方法，其特征在于，所述读写分离模式管理，入库规则同时存入MySQL与Redis缓存，其中Redis仅作为查询入口，增删改操作先经过MySQL，再操作Redis；
入库规则提供具备增删改查规则数据功能以及Redis数据更新与替换功能的前端界面。
8.根据权利要求1或2或3所述的一种云环境下的性能数据存储方法，其特征在于，所述列属性包括Default：默认值、Tag：是否为tag索引、以及Expression：入库前，提供简单算法运行功能。
9.一种云环境下的性能数据存储系统，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至8任一所述的方法。
10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403445.6A CN112506927A (zh) | 2020-12-04 | 2020-12-04 | 一种云环境下的性能数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403445.6A CN112506927A (zh) | 2020-12-04 | 2020-12-04 | 一种云环境下的性能数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112506927A true CN112506927A (zh) | 2021-03-16 |
Family
ID=74969822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403445.6A Pending CN112506927A (zh) | 2020-12-04 | 2020-12-04 | 一种云环境下的性能数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112506927A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988875A (zh) * | 2021-04-08 | 2021-06-18 | 北京澎思科技有限公司 | 一种多维数据采集装置、系统及方法 |
| CN113157651A (zh) * | 2021-03-23 | 2021-07-23 | 广州宸祺出行科技有限公司 | 一种安卓工程项目的资源文件批量重命名的方法、系统、设备和介质 |
| CN113159970A (zh) * | 2021-05-14 | 2021-07-23 | 中国工商银行股份有限公司 | 数据格式转换方法、装置、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010124495A1 (zh) * | 2009-04-29 | 2010-11-04 | 中兴通讯股份有限公司 | 多业务格式文件处理系统及方法 |
| CN104834860A (zh) * | 2015-05-09 | 2015-08-12 | 福建六壬网安股份有限公司 | 一种安全事件动态入库方法 |
| CN109150610A (zh) * | 2018-08-29 | 2019-01-04 | 深圳市未来交互信息技术有限公司 | 基于规则适配的网络事件采集方法 |
| CN110399351A (zh) * | 2019-05-28 | 2019-11-01 | 西安交大捷普网络科技有限公司 | 审计日志数据的处理方法与系统 |
-
2020
- 2020-12-04 CN CN202011403445.6A patent/CN112506927A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010124495A1 (zh) * | 2009-04-29 | 2010-11-04 | 中兴通讯股份有限公司 | 多业务格式文件处理系统及方法 |
| CN104834860A (zh) * | 2015-05-09 | 2015-08-12 | 福建六壬网安股份有限公司 | 一种安全事件动态入库方法 |
| CN109150610A (zh) * | 2018-08-29 | 2019-01-04 | 深圳市未来交互信息技术有限公司 | 基于规则适配的网络事件采集方法 |
| CN110399351A (zh) * | 2019-05-28 | 2019-11-01 | 西安交大捷普网络科技有限公司 | 审计日志数据的处理方法与系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157651A (zh) * | 2021-03-23 | 2021-07-23 | 广州宸祺出行科技有限公司 | 一种安卓工程项目的资源文件批量重命名的方法、系统、设备和介质 |
| CN113157651B (zh) * | 2021-03-23 | 2024-02-20 | 广州宸祺出行科技有限公司 | 一种安卓工程项目的资源文件批量重命名的方法、系统、设备和介质 |
| CN112988875A (zh) * | 2021-04-08 | 2021-06-18 | 北京澎思科技有限公司 | 一种多维数据采集装置、系统及方法 |
| CN113159970A (zh) * | 2021-05-14 | 2021-07-23 | 中国工商银行股份有限公司 | 数据格式转换方法、装置、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112506927A (zh) | 一种云环境下的性能数据存储方法 | |
| WO2022088804A1 (zh) | 消息推送方法、装置、电子设备及存储介质 | |
| CN108076098B (zh) | 一种业务处理方法及系统 | |
| US8938421B2 (en) | Method and a system for synchronizing data | |
| US10558515B2 (en) | Policy based dynamic data collection for problem analysis | |
| CN108647357B (zh) | 数据查询的方法及装置 | |
| US20140317137A1 (en) | Log management computer and log management method | |
| CN103034735A (zh) | 一种大数据分布式文件导出方法 | |
| CN113535677B (zh) | 数据分析查询管理方法、装置、计算机设备及存储介质 | |
| CN112084249B (zh) | 一种访问记录提取方法及装置 | |
| CN109977173B (zh) | 基于云数据中心的分布式、插件式数据监控系统及方法 | |
| CN111212112B (zh) | 信息处理方法和装置 | |
| CN113761052A (zh) | 数据库同步方法和装置 | |
| CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
| CN108717438B (zh) | 一种链式数据状态采集系统及方法 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| CN115757045A (zh) | 一种交易日志分析方法、系统及装置 | |
| CN115329395A (zh) | 数据库的数据处理方法、装置、系统、设备及存储介质 | |
| CN114490606A (zh) | 多源数据比对和一致性处理方法、系统、装置及介质 | |
| CN111078258B (zh) | 一种版本升级方法及装置 | |
| CN114528108A (zh) | 一种序列号生成方法、装置、服务器和存储介质 | |
| CN113407415A (zh) | 智能终端的日志管理方法和装置 | |
| CN111241191A (zh) | 一种数据库的同步方法及装置 | |
| CN114625594A (zh) | 配置文件生成方法、日志采集方法、装置、设备和介质 | |
| CN112817953A (zh) | 一种数据校验的方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210316 |
|
| RJ01 | Rejection of invention patent application after publication |