CN111090268A - 基于线程划分的数据采集方法、装置及数据采集设备 - Google Patents
基于线程划分的数据采集方法、装置及数据采集设备 Download PDFInfo
- Publication number
- CN111090268A CN111090268A CN202010210149.8A CN202010210149A CN111090268A CN 111090268 A CN111090268 A CN 111090268A CN 202010210149 A CN202010210149 A CN 202010210149A CN 111090268 A CN111090268 A CN 111090268A
- Authority
- CN
- China
- Prior art keywords
- data
- format
- target
- thread
- service terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 55
- 238000003860 storage Methods 0.000 claims description 44
- 230000006399 behavior Effects 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于线程划分的数据采集方法、装置及数据采集设备，能够根据类别信息确定每个业务终端的第一数据格式，结合数据采集设备的第二数据格式生将生成的格式转换协议下发至对应的业务终端，业务终端可根据格式转换协议将业务数据包转换为目标数据包，将业务数据包中的冗余数据剔除，提高数据采集的效率。然后根据日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。综上，采集标识是基于第一数据格式的数据容量大小分配的，能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，减少数据采集的耗时。
Description
技术领域
本发明涉及数据采集技术领域，具体而言，涉及一种基于线程划分的数据采集方法、装置及数据采集设备。
背景技术
大数据技术的快速发展为现代社会的生产生活带来了诸多便利，现如今，各类业务处理可以基于大数据实现。数据采集作为大数据技术的重要的一环，能够将生产生活中的各类信息以数据的形式进行汇总，为大数据分析提供海量的数据基础。然而数据采集设备在进行数据采集时，往往存在耗时长且效率低下的问题。
发明内容
为了改善上述问题，本发明提供了一种基于线程划分的数据采集方法、装置及数据采集设备。
本发明实施例的第一方面，提供了一种基于线程划分的数据采集方法，应用于与多个业务终端通信的数据采集设备，所述数据采集设备和所述业务终端基于Linux环境和DPDK环境实现数据交互，所述方法包括：
获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式；
确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端；
解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件；
根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识；
在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
可选地，所述根据所述类别信息确定每个业务终端的第一数据格式，包括：
提取所述类别信息中的目标字段；
从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；
根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；
确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；
根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
可选地，所述根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式，包括：
确定所述存储方式与每个目标数据格式的匹配度，所述匹配度用于表征按照所述存储方式将所述目标业务数据的数据格式转换为每个目标数据格式时的数据失真率；
将最大匹配度对应的目标数据格式确定为所述业务终端的第一数据格式。
可选地，所述根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，包括：
针对每个第一数据格式，确定该第一数据格式的第一格式特征中用于表征该第一数据格式对应的业务终端的接口类型的第一目标向量值；
确定所述第二数据格式中用于表征所述数据采集设备的接口类型的第二目标向量值；
在所述第一目标向量值与所述第二目标向量值相同时，判断该第一数据格式的第一格式特征与所述第二格式特征之间的相似度是否达到设定阈值，若是，则将该第一数据格式的第一格式特征投影至所述第二格式特征得到第三格式特征并根据所述第三格式特征生成该第一数据格式对应的格式转换协议，若否，则根据该第一数据格式的第一格式特征与所述第二格式特征的和值确定第四格式特征并根据所述第四格式特征生成该第一数据格式对应的格式转换协议。
可选地，在所述第一目标向量值与所述第二目标向量值不相同时，所述方法还包括：
若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征，根据所述第五格式特征生成该第一数据格式对应的格式转换协议；
若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度没有达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征；根据所述第五格式特征与所述第二格式特征的和值确定第六格式特征并根据所述第六格式特征生成该第一数据格式对应的格式转换协议。
可选地，所述通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集，包括：
针对每个第二数据采集线程，从获取到的多个类别信息中确定与该第二数据采集线程的采集标识相匹配的目标类别信息；
基于该第二数据采集线程与所述目标类别信息对应的目标业务终端建立数据采集链路，根据所述数据采集链路对所述目标业务终端中的目标数据包进行数据采集。
可选地，所述解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件，包括：
确定所述第一数据采集线程对应的多个连续的线程区间；
从每个线程区间中定位出线程运行信息，不同线程区间的线程运行信息不同；
针对每个线程区间，从该线程区间对应的第一线程运行信息中确定出与该线程区间的上一个线程区间对应的第二线程运行信息不同的目标运行信息；
根据确定出的所有目标运行信息确定所述第一数据采集线程的日志文件。
本发明实施例的第二方面，提供了一种数据采集装置，应用于与多个业务终端通信的数据采集设备，所述数据采集设备和所述业务终端基于Linux环境和DPDK环境实现数据交互，所述装置包括：
获取模块，用于获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式；
生成模块，用于确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端；
解析模块，用于解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件；
启动模块，用于根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识；
采集模块，用于在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
可选地，所述获取模块，具体用于：
提取所述类别信息中的目标字段；
从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；
根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；
确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；
根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
本发明实施例的第三方面，提供了一种数据采集设备，包括：处理器以及与所述处理器连接的存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，以执行上述的基于线程划分的数据采集方法。
本发明实施例所提供的基于线程划分的数据采集方法、装置及数据采集设备，能够根据类别信息确定每个业务终端的第一数据格式，并结合数据采集设备的第二数据格式将生成的格式转换协议下发至对应的业务终端。如此，业务终端可根据格式转换协议将业务数据包转换为目标数据包，从而将业务数据包中的冗余数据剔除，实现对目标数据包的精简，提高数据采集的效率。
此外，还能够根据解析第一数据采集线程得到的日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，从而在对多个业务终端进行数据的同步采集时，可以基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。
综上，由于采集标识是基于第一数据格式的数据容量大小分配的，这样能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，从而减少数据采集的耗时。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种数据采集系统的通信连接示意图。
图2为本发明实施例所提供的一种基于线程划分的数据采集方法的流程图。
图3为本发明实施例所提供的一种数据采集装置的功能模块框图。
图4为本发明实施例所提供的一种数据采集设备的产品模块示意图。
图标：
100-数据采集系统；
200-数据采集设备；201-数据采集装置；2011-获取模块；2012-生成模块；2013-解析模块；2014-启动模块；2015-采集模块；211-处理器；212-存储器；213-总线；
300-业务终端。
具体实施方式
下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
高性能数据采集引擎（Data Collection Engine base on Data PlaneDevelopment Kit，DPDK-based DCE）被广泛的应用于数据采集系统。高性能数据采集引擎是基于Linux+DPDK开发的高性能业务支撑平台，能够实现对业务终端的数据的采集。
然而，在基于DPDK-based DCE实现对业务终端的数据采集时，不同类型的业务终端在数据格式上存在差异，在对不同数据格式的数据进行采集时，单一的数据采集线程只能对不同数据格式的数据进行逐一采集，无疑会增加数据采集的耗时。此外，在进行数据采集时，不同类型的业务终端会产生冗余数据，冗余数据的存在会影响数据采集的效率。
为改善上述问题，本发明实施例提供了一种基于线程划分的数据采集方法、装置及数据采集设备，能够在Linux环境和DPDK环境下提高数据采集的效率，减少数据采集的耗时。
请参阅图1，为本发明实施例所提供的一种数据采集系统100的通信连接示意图，该数据采集系统100包括数据采集设备200以及与数据采集设备200通信连接的多个业务终端300。在本实施例中，数据采集设备200和业务终端300可基于Linux环境和DPDK环境实现数据交互。
在本实施例中，数据采集设备200可以是具有数据采集和数据处理功能的电子设备，业务终端300可以是手机、平板、笔记本电脑和膝式计算机、或者具有数据采集能力的嵌入式系统设备等，在此不作限定。
进一步地，该数据采集系统100可以通过DPDK-based DCE技术实现数据业务处理，包括但不限于数据采集、数据存储和数据挖掘等业务，本实施例以优化数据采集设备100的数据采集效率进行说明。
请结合参阅图2，为本发明实施例所提供的一种基于线程划分的数据采集方法的流程图，该方法可以应用于图1中的数据采集设备200，具体可以包括以下内容。
步骤S21，获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式。
步骤S22，确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端。
步骤S23，解析预设的第一数据采集线程得到用于生成所述第一数据采集线程的日志文件。
在本实施例中，所述第一数据采集线程是所述数据采集设备对每个业务终端进行数据采集的线程，所述日志文件中包括生成所述第一数据采集线程的逻辑信息，所述逻辑信息用于表征所述第一数据采集线程每次运行时采集的数据为同一数据格式的数据。
步骤S24，根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识。
步骤S25，在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集。
在本实施例中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
进一步地，采集标识与类别信息相匹配可以理解为第二数据采集线程的数据采集速率能够确保对类别信息对应的数据进行及时采集，避免因数据采集速率不足或类别信息对应的数据过大带来的采集延时。
可以理解，通过上述步骤S21-步骤S25所描述的基于线程划分的数据采集方法，一方面能够根据类别信息确定每个业务终端的第一数据格式，并结合数据采集设备的第二数据格式将生成的格式转换协议下发至对应的业务终端。如此，能够使得业务终端根据格式转换协议将业务数据包转换为目标数据包，从而将业务数据包中的冗余数据剔除，实现对目标数据包的精简，提高数据采集的效率。
另一方面，本发明实施例提供的方法还能够根据解析第一数据采集线程得到的日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，从而在对多个业务终端进行数据的同步采集时，可以基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。由于采集标识是基于第一数据格式的数据容量大小分配的，这样能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，从而减少数据采集的耗时。
在具体实施时，为了准确地确定出每个业务终端的第一数据格式，在步骤S21中，所述根据所述类别信息确定每个业务终端的第一数据格式，具体可以通过以下步骤S211-步骤S215所描述的方法实现。
步骤S211，提取所述类别信息中的目标字段。
步骤S212，从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式。
步骤S213，根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径。
步骤S214，确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式。
步骤S215，根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
可以理解，通过步骤S211-步骤S215所描述的方法，能够对类别信息中的目标字段进行提取，然后对目标字段中的第一字段信息和第二字段信息进行分析，并确定出第一字段信息和第二字段信息之间的指向信息，从而确定出指向信息中的每个路径节点的目标数据格式。
如此，能够将业务终端进行业务数据储存时的路径和数据格式转换进行节点化，进而根据第二字段信息中的存储方式以及每个路径节点对应的目标数据格式准确确定每个业务终端的第一数据格式。这样，能够将每个业务终端在进行业务数据存储时的节点化操作考虑在内，进而确保每个业务终端的第一数据格式的准确性。
在具体实施时，业务终端可以通过不同的路径节点对应的目标数据格式对目标业务数据进行存储。在这种情况下，为了确保服务器后期从业务终端处采集数据的准确性，需要考虑不同目标数据格式对应的数据失真率。为此，在步骤S215中，所述根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式，具体可以包括以下内容。
确定所述存储方式与每个目标数据格式的匹配度，所述匹配度用于表征按照所述存储方式将所述目标业务数据的数据格式转换为每个目标数据格式时的数据失真率；将最大匹配度对应的目标数据格式确定为所述业务终端的第一数据格式。
通过上述内容，能够将每个业务终端对应的目标业务数据的存储方式与每个目标数据格式的匹配度考虑在内，并将匹配度最大的目标数据格式确定为业务终端的第一数据格式。如此，能够使业务终端按照匹配度最大的目标数据格式进行目标业务数据的存储以减少数据存储时的失真率，确保服务器后期从业务终端处采集数据的准确性。
在具体实施时，不仅需要考虑不同业务终端的数据格式异构性，还需要考虑不同业务终端的数据接口的异构性，进而确保不同业务终端能够基于自身的数据接口准确、完整地接收格式转换协议。为此，在步骤S22中，所述根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，具体可以通过以下步骤S221-步骤S224所描述的方法实现。
步骤S221，针对每个第一数据格式，确定该第一数据格式的第一格式特征中用于表征该第一数据格式对应的业务终端的接口类型的第一目标向量值。
步骤S222，确定所述第二数据格式中用于表征所述数据采集设备的接口类型的第二目标向量值。
步骤S223，在所述第一目标向量值与所述第二目标向量值相同时，判断该第一数据格式的第一格式特征与所述第二格式特征之间的相似度是否达到设定阈值，若是，则将该第一数据格式的第一格式特征投影至所述第二格式特征得到第三格式特征并根据所述第三格式特征生成该第一数据格式对应的格式转换协议，若否，则根据该第一数据格式的第一格式特征与所述第二格式特征的和值确定第四格式特征并根据所述第四格式特征生成该第一数据格式对应的格式转换协议。
步骤S224，在所述第一目标向量值与所述第二目标向量值不相同时，若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征，根据所述第五格式特征生成该第一数据格式对应的格式转换协议；若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度没有达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征；根据所述第五格式特征与所述第二格式特征的和值确定第六格式特征并根据所述第六格式特征生成该第一数据格式对应的格式转换协议。
在本实施例中，若第一格式特征与第二格式特征的相似度没有达到设定阈值，则表征第一数据格式与第二数据格式的差异性较大。这种情况下，为了减少业务终端侧以及数据采集设备侧的数据格式转换工作量，可以根据第一格式特征和第二格式特征确定出第一数据格式与第二数据格式的一个中间格式。如此，既能够减少业务终端的数据格式转换的工作量，又能够减少数据采集设备的数据格式转换的工作量。
在本实施例中，通过步骤S221-步骤S224，能够将业务终端和数据采集设备的接口类型的异同考虑在内。在业务终端和数据采集设备的接口类型相同时，能够根据第一格式特征与第二格式特征的相似度确定格式转换协议。在业务终端和数据采集设备的接口类型不同时，能够先在第一格式特征中对接口类型对应的第一目标向量值进行调整，然后再确定格式转换协议。如此，能够将业务终端和数据采集设备的接口异构性考虑在内，并基于第一格式特征和第二格式特征的相似度生成能够兼容数据采集设备和业务终端的格式转换协议。
进一步地，在步骤S25中，所述通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集，具体可以包括以下内容。
针对每个第二数据采集线程，从获取到的多个类别信息中确定与该第二数据采集线程的采集标识相匹配的目标类别信息；基于该第二数据采集线程与所述目标类别信息对应的目标业务终端建立数据采集链路，根据所述数据采集链路对所述目标业务终端中的目标数据包进行数据采集。
可以理解，通过上述内容，能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，从而减少数据采集的耗时。
在具体实施时，为了准确解析出日志文件，在步骤S23中，所述解析预设的第一数据采集线程得到用于生成所述第一数据采集线程的日志文件，具体可以包括以下内容。
确定所述第一数据采集线程对应的多个连续的线程区间；从每个线程区间中定位出线程运行信息，不同线程区间的线程运行信息不同；针对每个线程区间，从该线程区间对应的第一线程运行信息中确定出与该线程区间的上一个线程区间对应的第二线程运行信息不同的目标运行信息；根据确定出的所有目标运行信息确定所述第一数据采集线程的日志文件。
在本实施例中，相邻两个线程区间的线程运行信息中相同的部分信息可以理解为第一数据采集线程的线程架构信息，该线程架构信息用于搭建第一数据采集线程在数据采集设备中的运行架构和权限，而目标运行信息则是生成第一数据采集线程所需的逻辑信息。
可以理解，通过上述内容，能够从第一数据采集线程对应的多个线程区间的线程运行信息中确定出目标运行信息，进而准确确定出第一数据采集线程的日志文件。
在一种可替换的实施方式中，在通过第二数据采集线程采集了每个业务终端的目标数据包之后，为了进一步减少重复数据的采集，在步骤S21-步骤S25的基础上，该方法还可以通过以下步骤S261-步骤S263所描述的内容实现。
步骤S261，针对采集到的每个业务终端的目标数据包，确定所述目标数据包的数据列表分布和各数据列表，所述数据列表中包括业务终端的多个特征数据，特征数据是业务终端中的业务数据中除冗余数据之外的数据。
步骤S262，在根据所述数据列表分布以及与该业务终端对应的已存储数据确定出所述目标数据包中包含有业务数据分布的情况下，根据所述目标数据包在所述业务数据分布下的数据列表及其列表权重确定所述目标数据包在非业务数据分布下的各数据列表与所述目标数据包在所述业务数据分布下的各数据列表之间的数据重复率，并将所述目标数据包在所述非业务数据分布下的与在所述业务数据分布下的数据列表的数据重复率高于预设重复率的数据列表转移至所述业务数据分布下。
步骤S263，将所述目标数据包中除所述业务数据分布下的数据列表进行删除。
可以理解，通过上述内容，能够对已采集到的目标数据包的数据列表分布和数据列表进行分析，从而将目标数据包中满足数据重复率条件的非业务数据分布下的数据列表转移至业务数据分布下，进而避免业务数据分布下的数据列表的遗漏。进一步地，能够将重复的非业务数据分布下的数据列表进行删除，进一步对目标数据包进行精简，从而减少重复数据的采集。
在上述基础上，请结合参阅图3，为本发明实施例所提供的一种数据采集装置201的模块框图，该数据采集装置201包括获取模块2011、生成模块2012、解析模块2013、启动模块2014、以及采集模块2015。
所述获取模块2011用于获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式。
由于获取模块2011与图2所示的步骤S21的实现原理类似，因此在此不作更多说明。
所述生成模块2012用于确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端。
由于生成模块2012与图2所示的步骤S22的实现原理类似，因此在此不作更多说明。
所述解析模块2013用于解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件。
由于解析模块2013与图2所示的步骤S23的实现原理类似，因此在此不作更多说明。
所述启动模块2014用于根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识。
由于启动模块2014与图2所示的步骤S24的实现原理类似，因此在此不作更多说明。
所述采集模块2015用于在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
由于采集模块2015与图2所示的步骤S25的实现原理类似，因此在此不作更多说明。
在一种可替换的实施方式中，所述获取模块2011，具体用于：
提取所述类别信息中的目标字段；从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
请结合参阅图4，本发明实施例还提供了一种数据采集设备200，包括处理器211，以及与处理器211连接的存储器212和总线213。其中，处理器211和存储器212通过总线213完成相互间的通信。处理器211用于调用存储器212中的程序指令，以执行上述的基于线程划分的数据采集方法。
综上，本发明实施例所提供的一种基于线程划分的数据采集方法、装置及数据采集设备，能够根据类别信息确定每个业务终端的第一数据格式，并结合数据采集设备的第二数据格式将生成的格式转换协议下发至对应的业务终端。如此，能够使得业务终端根据格式转换协议将业务数据包转换为目标数据包，从而将业务数据包中的冗余数据剔除，实现对目标数据包的精简，提高数据采集的效率。
还能够根据解析第一数据采集线程得到的日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，从而在对多个业务终端进行数据的同步采集时，可以基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。
由于采集标识是基于第一数据格式的数据容量大小分配的，这样能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，从而减少数据采集的耗时。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者数据采集设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者数据采集设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者数据采集设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于线程划分的数据采集方法，其特征在于，应用于与多个业务终端通信的数据采集设备，所述数据采集设备和所述业务终端基于Linux环境和DPDK环境实现数据交互，所述方法包括：
获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式；
确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端；
解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件；
根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识；
在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
2.根据权利要求1所述的方法，其特征在于，所述根据所述类别信息确定每个业务终端的第一数据格式，包括：
提取所述类别信息中的目标字段；
从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；
根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；
确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；
根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式，包括：
确定所述存储方式与每个目标数据格式的匹配度，所述匹配度用于表征按照所述存储方式将所述目标业务数据的数据格式转换为每个目标数据格式时的数据失真率；
将最大匹配度对应的目标数据格式确定为所述业务终端的第一数据格式。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，包括：
针对每个第一数据格式，确定该第一数据格式的第一格式特征中用于表征该第一数据格式对应的业务终端的接口类型的第一目标向量值；
确定所述第二数据格式中用于表征所述数据采集设备的接口类型的第二目标向量值；
在所述第一目标向量值与所述第二目标向量值相同时，判断该第一数据格式的第一格式特征与所述第二格式特征之间的相似度是否达到设定阈值，若是，则将该第一数据格式的第一格式特征投影至所述第二格式特征得到第三格式特征并根据所述第三格式特征生成该第一数据格式对应的格式转换协议，若否，则根据该第一数据格式的第一格式特征与所述第二格式特征的和值确定第四格式特征并根据所述第四格式特征生成该第一数据格式对应的格式转换协议。
5.根据权利要求4所述的方法，其特征在于，在所述第一目标向量值与所述第二目标向量值不相同时，所述方法还包括：
若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征，根据所述第五格式特征生成该第一数据格式对应的格式转换协议；
若该第一数据格式的第一格式特征与所述第二格式特征之间的相似度没有达到所述设定阈值，将该第一数据格式的第一格式特征中的第一目标向量值调整为所述第二目标向量值以得到该第一数据格式对应的第五格式特征；根据所述第五格式特征与所述第二格式特征的和值确定第六格式特征并根据所述第六格式特征生成该第一数据格式对应的格式转换协议。
6.根据权利要求4所述的方法，其特征在于，所述通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集，包括：
针对每个第二数据采集线程，从获取到的多个类别信息中确定与该第二数据采集线程的采集标识相匹配的目标类别信息；
基于该第二数据采集线程与所述目标类别信息对应的目标业务终端建立数据采集链路，根据所述数据采集链路对所述目标业务终端中的目标数据包进行数据采集。
7.根据权利要求1所述的方法，其特征在于，所述解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件，包括：
确定所述第一数据采集线程对应的多个连续的线程区间；
从每个线程区间中定位出线程运行信息，不同线程区间的线程运行信息不同；
针对每个线程区间，从该线程区间对应的第一线程运行信息中确定出与该线程区间的上一个线程区间对应的第二线程运行信息不同的目标运行信息；
根据确定出的所有目标运行信息确定所述第一数据采集线程的日志文件。
8.一种数据采集装置，其特征在于，应用于与多个业务终端通信的数据采集设备，所述数据采集设备和所述业务终端基于Linux环境和DPDK环境实现数据交互，所述装置包括：
获取模块，用于获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式；
生成模块，用于确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端；
解析模块，用于解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件；
启动模块，用于根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识；
采集模块，用于在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。
9.根据权利要求8所述的数据采集装置，其特征在于，所述获取模块，具体用于：
提取所述类别信息中的目标字段；
从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；
根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；
确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；
根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。
10.一种数据采集设备，其特征在于，包括：处理器以及与所述处理器连接的存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，以执行上述权利要求1-7任一项所述的基于线程划分的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010210149.8A CN111090268B (zh) | 2020-03-24 | 2020-03-24 | 基于线程划分的数据采集方法、装置及数据采集设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010210149.8A CN111090268B (zh) | 2020-03-24 | 2020-03-24 | 基于线程划分的数据采集方法、装置及数据采集设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111090268A true CN111090268A (zh) | 2020-05-01 |
| CN111090268B CN111090268B (zh) | 2020-06-12 |
Family
ID=70400636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010210149.8A Active CN111090268B (zh) | 2020-03-24 | 2020-03-24 | 基于线程划分的数据采集方法、装置及数据采集设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111090268B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311686A (zh) * | 2020-09-27 | 2021-02-02 | 长沙市到家悠享网络科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112463862A (zh) * | 2020-11-05 | 2021-03-09 | 深圳市和讯华谷信息技术有限公司 | 一种基于配置权限的数据采集方法及装置 |
| CN114238694A (zh) * | 2021-11-09 | 2022-03-25 | 中国科学院信息工程研究所 | 基于Linux的数据处理方法、装置、电子设备及存储介质 |
| CN114301991A (zh) * | 2020-09-22 | 2022-04-08 | 华为技术有限公司 | 通信方法、设备、系统及计算机可读存储介质 |
| CN116614492A (zh) * | 2023-05-18 | 2023-08-18 | 安徽省江北华衍水务有限公司 | 基于物联网多样数据源的实验室统一数据采集平台 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452072A (zh) * | 2008-12-26 | 2009-06-10 | 东南大学 | 一种用于土地监测的电子信息化系统及其方法 |
| CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN105718295A (zh) * | 2016-01-27 | 2016-06-29 | 四川长虹电器股份有限公司 | 数据采集及解析方法及系统 |
| CN106780149A (zh) * | 2016-12-30 | 2017-05-31 | 中核核电运行管理有限公司 | 一种基于定时任务调度的设备实时监测系统 |
| CN109828842A (zh) * | 2019-01-29 | 2019-05-31 | 上海兴畅网络技术股份有限公司 | 一种基于dpdk技术开发的高性能数据采集引擎方法 |
| CN110855738A (zh) * | 2019-09-25 | 2020-02-28 | 安徽四创电子股份有限公司 | 一种用于多源设备的通讯处理系统 |
-
2020
- 2020-03-24 CN CN202010210149.8A patent/CN111090268B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452072A (zh) * | 2008-12-26 | 2009-06-10 | 东南大学 | 一种用于土地监测的电子信息化系统及其方法 |
| CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN105718295A (zh) * | 2016-01-27 | 2016-06-29 | 四川长虹电器股份有限公司 | 数据采集及解析方法及系统 |
| CN106780149A (zh) * | 2016-12-30 | 2017-05-31 | 中核核电运行管理有限公司 | 一种基于定时任务调度的设备实时监测系统 |
| CN109828842A (zh) * | 2019-01-29 | 2019-05-31 | 上海兴畅网络技术股份有限公司 | 一种基于dpdk技术开发的高性能数据采集引擎方法 |
| CN110855738A (zh) * | 2019-09-25 | 2020-02-28 | 安徽四创电子股份有限公司 | 一种用于多源设备的通讯处理系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114301991A (zh) * | 2020-09-22 | 2022-04-08 | 华为技术有限公司 | 通信方法、设备、系统及计算机可读存储介质 |
| CN114301991B (zh) * | 2020-09-22 | 2023-10-20 | 华为技术有限公司 | 通信方法、设备、系统及计算机可读存储介质 |
| CN112311686A (zh) * | 2020-09-27 | 2021-02-02 | 长沙市到家悠享网络科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112311686B (zh) * | 2020-09-27 | 2022-09-30 | 长沙市到家悠享网络科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112463862A (zh) * | 2020-11-05 | 2021-03-09 | 深圳市和讯华谷信息技术有限公司 | 一种基于配置权限的数据采集方法及装置 |
| CN112463862B (zh) * | 2020-11-05 | 2024-05-17 | 深圳市和讯华谷信息技术有限公司 | 一种基于配置权限的数据采集方法及装置 |
| CN114238694A (zh) * | 2021-11-09 | 2022-03-25 | 中国科学院信息工程研究所 | 基于Linux的数据处理方法、装置、电子设备及存储介质 |
| CN116614492A (zh) * | 2023-05-18 | 2023-08-18 | 安徽省江北华衍水务有限公司 | 基于物联网多样数据源的实验室统一数据采集平台 |
| CN116614492B (zh) * | 2023-05-18 | 2023-10-24 | 安徽省江北华衍水务有限公司 | 基于物联网多样数据源的实验室统一数据采集平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111090268B (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111090268B (zh) | 基于线程划分的数据采集方法、装置及数据采集设备 | |
| CN110096336B (zh) | 数据监控方法、装置、设备和介质 | |
| CN110019312B (zh) | 读写数据分离调度方法、装置、设备及介质 | |
| CN111221793B (zh) | 数据挖掘方法、平台、计算机设备及存储介质 | |
| CN111813756B (zh) | 一种日志检索系统、方法、装置、电子设备及存储介质 | |
| CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
| CN113485962B (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
| CN112306719B (zh) | 一种任务调度方法与装置 | |
| CN112615758B (zh) | 一种应用识别方法、装置、设备及存储介质 | |
| CN114647698A (zh) | 数据同步方法、装置及计算机存储介质 | |
| CN111625342A (zh) | 一种数据溯源方法、装置及服务器 | |
| CN113434473A (zh) | 一种分布式日志的处理方法、装置、介质及电子设备 | |
| CN111858657A (zh) | 一种基于高频数据处理进行数据并行查询加速的方法和设备 | |
| CN113761079A (zh) | 数据访问方法、系统和存储介质 | |
| WO2020181819A1 (zh) | 智能调度方法、装置、计算机设备及存储介质 | |
| CN115242787B (zh) | 消息处理系统及方法 | |
| CN111782886A (zh) | 元数据管理的方法和装置 | |
| CN114237989B (zh) | 数据库服务部署、容灾方法及装置 | |
| CN115114316A (zh) | 一种高并发数据的处理方法、装置、集群和存储介质 | |
| CN111258821B (zh) | 一种基于云计算的备份数据快速提取方法 | |
| CN115834689A (zh) | 微服务分配方法、电子设备及存储介质 | |
| CN112883110A (zh) | 一种基于nifi的终端大数据分发方法、存储介质及系统 | |
| CN111274209A (zh) | 话单文件处理方法及装置 | |
| CN110909288A (zh) | 业务数据处理方法、装置、平台、业务端、系统及介质 | |
| CN106528577B (zh) | 一种设置待清理文件的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |