CN113806438A - 一种基于海量bcp数据文件的入库及预处理方法和系统 - Google Patents

一种基于海量bcp数据文件的入库及预处理方法和系统 Download PDF

Info

Publication number
CN113806438A
CN113806438A CN202111372565.9A CN202111372565A CN113806438A CN 113806438 A CN113806438 A CN 113806438A CN 202111372565 A CN202111372565 A CN 202111372565A CN 113806438 A CN113806438 A CN 113806438A
Authority
CN
China
Prior art keywords
bcp
data
file
engine
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111372565.9A
Other languages
English (en)
Inventor
朱贺军
徐振超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Esafenet Science & Technology Co ltd
Original Assignee
Beijing Esafenet Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Esafenet Science & Technology Co ltd filed Critical Beijing Esafenet Science & Technology Co ltd
Priority to CN202111372565.9A priority Critical patent/CN113806438A/zh
Publication of CN113806438A publication Critical patent/CN113806438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1438—Restarting or rejuvenating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G06F16/24565—Triggers; Constraints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于海量BCP数据文件的入库及预处理方法和系统。本发明利用ES搜索引擎可以横向扩展的服务器节点，同时可以处理PB级数据的高可用分布式特点，大大提高了对于海量数据的吞吐能力和查询能力。同时使用ES引擎存储数据减少了频繁创建不同表和维护表的压力。高效的预处理程序，可以提前将多维度的数据进行聚合处理，统计分析，形成拿来即可使用展示的数据，这样可以大大减少现聚合时间，提升用户的体验。

Description

一种基于海量BCP数据文件的入库及预处理方法和系统
技术领域
本申请涉及海量数据文件的入库技术领域，具体涉及一种基于海量BCP数据文件的入库及预处理方法和系统。
背景技术
随着社会的高速发展，各行各业的公司也在快速发展。而随着网络环境的持续渗透，大部分公司都有了自己公司的网络系统，并且公司网络系统的对外还是对内都会产生海量的访问数据。随着时间的推移，这种访问数据将以线性增量增长。出于安全考虑，公司需要对这些访问数据进行实时的监控，这就需要针对海量数据进行入库及预处理，以方便人员查看分析。
现有技术中，针对一定量数据的文件的入库及分析采用如下方案来处理：拉取数据文件然后读取文件数据，再根据数据库表的设计结构格式化数据，格式化完成后将数据写入到对应的表中。然而，随着业务的横向发展就会产生不同类型不同业务的数据，而这时就需要去不停的创建多张表来存储不同的数据，同时对于分析人员想要的分析数据就需要根据多种条件来现查询处理，随着数据量和库表的不断增加对数据处理的能力就会下降，对用户带来不好的体验。上述现有技术还存在如下缺陷：
（1）一些海量数据处理系统是接收发送端发送过来的数据，这个发送过程存在着网络中断、单向设备故障等不可知风险容易造成数据的丢失问题；
（2）数据入库过程中同时进行数据的分析统计，随着数据量的不断增加就会导致入库的效率下降问题；
（3）随着数据量和数据类型的不断增加而导致的数据库表不断增加的问题；
（4）解析出的数据只能入库到可连接数据库服务器中，不支持发送数据到用户数据接收服务器，不能满足客户的特殊安全需求问题。
上述现有技术中存在的缺陷也成为了亟需解决的技术问题。
发明内容
为了解决上述技术问题，本申请提供了一种基于海量BCP数据文件的入库及预处理方法和系统。本申请所采用的技术方案如下：
一种基于海量BCP数据文件的入库及预处理方法，该方法包括如下步骤：
步骤1、通过扫描来获取BCP文件，并将BCP文件的路径写入到BCP文件队列；
步骤2、判断是否发送数据到数据接收服务器，若是，则执行步骤5；若否，则执行步骤3；
步骤3、通过线程池启动BCP文件入库程序，执行BCP文件的入库操作；
步骤4、预处理线程对ES引擎中的数据进行预处理操作；
步骤5、将数据发送至配置好的所述数据接收端服务器。
进一步的，所述扫描BCP文件，具体包括：通过线程池启动文件扫描任务线程扫描BCP文件。
进一步的，所述将BCP文件的路径写入到队列之前，还包括：如果BCP文件为空，则删除这个BCP文件，同时以BCP文件的路径作为BCP文件的唯一标识，把已经入队列的BCP文件记录下来，以用于去除重复入库的BCP文件；如果BCP文件不为空，则判断BCP文件是否已过期，如果BCP文件已过期，则删除该已过期的BCP文件。
进一步的，在判断是否发送数据到数据接收服务器之前，还包括：根据用户需求来配置数据接收端服务器，所述数据接收端服务器包括kafka、ftp以及sftp。
进一步的，所述执行BCP文件的入库操作，具体包括：
步骤301、所述入库程序获取所述BCP文件队列，并提取队列中的BCP文件；
步骤302、读取BCP文件的内容，并根据预先配置的ES索引字段来映射BCP文件中每行的内容；
步骤303、获取并判断ES引擎的状态，如果ES引擎的状态为绿色，则将所述映射图map的数据写入到ES引擎中；如果ES引擎的状态为红色或者不可访问，则不会将所述BCP文件入库，直到ES引擎的状态正常；
其中，绿色代表健康可使用，红色代表有故障不可用，状态正常时ES引擎的状态为绿色，能够写入和查询数据。
进一步的，在所述步骤301中，所述BCP文件队列在BCP文件扫描程序中已经初始化入列，如果第一次获取所述BCP文件队列为空，则再获取一次BCP文件队列。
进一步的，在所述步骤302中，所述根据预先配置的ES索引字段来映射BCP文件中每行的内容，具体包括：
以天为单位，为所述每行的内容创建ES索引，并将BCP文件中的每一行记录映射到ES索引中的每一条索引记录，以获得以索引记录为KEY，以内容为value的映射图map。
进一步的，在步骤4中，预处理线程会处理ES引擎中的数据，所述预处理操作具体包括如下步骤：
步骤401、预处理线程根据多个预设维度来组织所述ES引擎的聚合查询语句，最小的时间维度为小时；
步骤402、预处理线程最先聚合所述ES引擎中最早期的数据，时间跨度为一小时，然后分析处理完成所述一小时时间段中的数据，并在轮询器中记录本次处理完的数据的最后时间；
步骤403、处理完所述一小时的数据后，预处理线程暂停15分钟，然后预处理线程根据轮询器中的所述最后处理时间来处理所述最后处理时间往后一小时的数据，直至处理完全部数据。
进一步的，所述预处理线程将处理完的数据写入mysql数据库，所述mysql数据库中包括天表、周表、月表这三种类型的数据表，其中，所述天表会根据数据的处理时间每天创建一张，同一天处理的数据会入到同一张天表中；所述周表会根据数据的处理时间每周创建一张，同一周处理的数据会入到同一张周表中；所述月表会根据数据的处理时间每月创建一张，同一月处理的数据会入到同一张月表中；每一条所述处理完的数据会分别写入三种类型的数据表中。
一种基于海量BCP数据文件的入库及预处理系统，该系统包括至少一个存储器和至少一个处理器，所述至少一个存储器用于存储程序，所述至少一个处理器用于运行所述程序，以实现上述方法。
通过本申请实施例，可以获得如下技术效果：
（1）本发明中通过自身的守护进程，实时监控系统程序的状态，一旦系统程序死掉会立即重启，保证系统的可用性。处理入库的数据文件时已经成功入库的会同时删掉源文件，过期文件也会删除掉确保入库的数据不会重复，如果入库程序有问题导致了数据入库失败则不会删除原文件，保证数据的完整性。
（2）本发明利用ES搜索引擎可以横向扩展的服务器节点，同时可以处理PB级数据的高可用分布式特点，大大提高了对于海量数据的吞吐能力和查询能力。同时使用ES引擎存储数据减少了频繁创建不同表和维护表的压力。高效的预处理程序，可以提前将多维度的数据进行聚合处理，统计分析，形成拿来即可使用展示的数据，这样可以大大减少现聚合时间，提升用户的体验。预处理完的统计数据会按天、按周、按月存储，对于用户页面不同时间段的统计查询更高效更便捷。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的入库及预处理方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
图1为本发明的入库及预处理方法的流程示意图。该方法包括如下步骤：
步骤1、通过扫描来获取BCP文件，并将BCP文件的路径写入到BCP文件队列；
本申请技术方案中所处理的是已经写入到指定文件夹下的BCP文件，该BCP文件是存储由大容量复制实用工具或同步创建的大容量复制数据的文件。
所述扫描BCP文件，具体包括：通过线程池启动文件扫描任务线程扫描BCP文件。线程池可以高效管理多线程任务，提高系统处理能力和资源利用率。
所述将BCP文件的路径写入到队列之前，还包括：如果BCP文件为空，则删除这个BCP文件，同时以BCP文件的路径作为BCP文件的唯一标识，把已经入队列的BCP文件记录下来，以用于去除重复入库的BCP文件；如果BCP文件不为空，则判断BCP文件是否已过期，如果BCP文件已过期，则删除该已过期的BCP文件。
步骤2、判断是否发送数据到数据接收服务器，若是，则执行步骤5；若否，则执行步骤3；
在判断是否发送数据到数据接收服务器之前，还包括：根据用户需求来配置数据接收端服务器，所述数据接收端服务器包括kafka、ftp以及sftp。
步骤3、通过线程池启动BCP文件入库程序，执行BCP文件的入库操作；
在数据的入库程序处理过程中，会将已经处理完成的BCP文件删除掉，如果入库程序处理失败那么就不会删除原文件，所以不会造成BCP文件的丢失，保证数据的完整性。此外，本申请的技术方案拥有自己的守护进程，一旦监测到入库线程因意外而停止，则会立即自动重启入库线程。
所述执行BCP文件的入库操作，具体包括：
步骤301、所述入库程序获取所述BCP文件队列，并提取队列中的BCP文件；
所述BCP文件队列在BCP文件扫描程序中已经初始化入列，如果第一次获取所述BCP文件队列为空，则再获取一次BCP文件队列。
步骤302、读取BCP文件的内容，并根据预先配置的ES索引字段来映射BCP文件中每行的内容，
所述根据预先配置的ES索引字段来映射BCP文件中每行的内容，具体包括：
以天为单位，为所述每行的内容创建ES索引，并将BCP文件中的每一行记录映射到ES索引中的每一条索引记录，以获得以索引记录为KEY，以内容为value的映射图map。
步骤303、获取并判断ES引擎的状态，如果ES引擎的状态为绿色，则将所述映射图map的数据写入到ES引擎中；如果ES引擎的状态为红色或者不可访问，则不会将所述BCP文件入库，直到ES引擎的状态正常；绿色代表ES引擎是健康的可使用的。红色代表ES引擎是有故障的不可用的。“状态正常”是指ES引擎是可用的，可以写入数据也可以查询数据；
在上述方案中，ES搜索引擎是分布式部署的，可以大幅提高数据的吞吐量。
步骤4、预处理线程对ES引擎中的数据进行预处理操作；
在该步骤中，系统的预处理线程会处理ES引擎中的数据，所述预处理操作具体包括如下步骤：
步骤401、预处理线程根据多个预设维度来组织所述ES引擎的聚合查询语句，最小的时间维度为小时；
步骤402、预处理线程最先聚合ES引擎中最早期的数据，时间跨度为一小时，然后分析处理完成所述一小时时间段中的数据，并在轮询器中记录本次处理完的数据的最后处理时间；
步骤403、处理完所述一小时的数据后，预处理线程暂停15分钟，然后预处理线程根据轮询器中的所述最后处理时间来处理所述最后处理时间往后一小时的数据，直至处理完全部数据；
所述预处理线程将处理完的数据写入mysql数据库，所述mysql数据库中包括天表、周表、月表这三种类型的数据表，其中，所述天表会根据数据的处理时间每天创建一张，同一天处理的数据会入到同一张天表中；所述周表会根据数据的处理时间每周创建一张，同一周处理的数据会入到同一张周表中；所述月表会根据数据的处理时间每月创建一张，同一月处理的数据会入到同一张月表中；
每一条所述处理完的数据会分别写入三种类型的数据表中。
处理完的数据写入mysql数据库之后，可供查看统计时直接查询获取，这样就不需要查看统计时同时去统计聚合，大大提高了查询速度，提升了用户的体验。
步骤5，将数据发送至配置好的所述数据接收端服务器；
由于已经根据用户需求配置好了数据接收端服务器，则能够满足不同用户的不同场景需求，提高系统的灵活性和安全性。
用户可以根据实际需要对ES引擎进行访问接入，依托于ES搜索引擎支持海量数据近实时的特性，用户可快速获取到查询结果，以了解原始结构化数据的展示情况。
通过本发明的技术方案，将解析出的入库数据根据配置实时发送到定制的数据接收服务器，以提高系统的可用性、灵活性和适配性。海量数据的存储库使用ES搜索引擎，避免像通用的数据库一样创建过多的表，降低了维护成本。对于原始的入库数据的预处理，根据预设条件提前统计分析出结果数据，从而提高统计数据的查询和展示效率。系统自带的守护进程实时监控系统状态，如果系统所在服务器重启或者系统挂掉，守护进程会立马重启该系统，保证入库程序和处理程序的有效运行。预处理的统计数据会分别入库到天表、周表、月表，同一数据分级使用，查询更便捷。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种基于海量BCP数据文件的入库及预处理方法，其特征在于，该方法包括如下步骤：
步骤1、通过扫描来获取BCP文件，并将BCP文件的路径写入到BCP文件队列；
步骤2、判断是否发送数据到数据接收服务器，若是，则执行步骤5；若否，则执行步骤3；
步骤3、通过线程池启动BCP文件入库程序，执行BCP文件的入库操作；
步骤4、预处理线程对ES引擎中的数据进行预处理操作；
步骤5、将数据发送至配置好的所述数据接收端服务器。
2.根据权利要求1所述的方法，其特征在于，所述通过扫描来获取BCP文件，具体包括：通过线程池启动文件扫描任务线程扫描BCP文件。
3.根据权利要求1或2所述的方法，其特征在于，所述将BCP文件的路径写入到BCP文件队列之前，还包括：如果BCP文件为空，则删除这个BCP文件，同时以BCP文件的路径作为BCP文件的唯一标识，把已经入队列的BCP文件记录下来，以用于去除重复入库的BCP文件；如果BCP文件不为空，则判断BCP文件是否已过期，如果BCP文件已过期，则删除该已过期的BCP文件。
4.根据权利要求1所述的方法，其特征在于，在将数据发送至配置好的所述数据接收端服务器之前，还包括：根据用户需求来配置数据接收端服务器，所述数据接收端服务器包括kafka、ftp以及sftp。
5.根据权利要求1所述的方法，其特征在于，所述执行BCP文件的入库操作，具体包括：
步骤301、所述入库程序获取所述BCP文件队列，并提取队列中的BCP文件；
步骤302、读取BCP文件的内容，并根据预先配置的ES索引字段来映射BCP文件中每行的内容；
步骤303、获取并判断ES引擎的状态，如果ES引擎的状态为绿色，则将映射图map的数据写入到ES引擎中；如果ES引擎的状态为红色或者不可访问，则不会将所述BCP文件入库，直到ES引擎的状态正常；
其中，绿色代表健康可使用，红色代表有故障不可用，状态正常时ES引擎的状态为绿色，能够写入和查询数据。
6.根据权利要求5所述的方法，其特征在于，在所述步骤301中，所述BCP文件队列在BCP文件扫描程序中已经初始化入列，如果第一次获取所述BCP文件队列为空，则再获取一次BCP文件队列。
7.根据权利要求5所述的方法，其特征在于，在所述步骤302中，所述根据预先配置的ES索引字段来映射BCP文件中每行的内容，具体包括：
以天为单位，为所述每行的内容创建ES索引，并将BCP文件中的每一行记录映射到ES索引中的每一条索引记录，以获得以索引记录为KEY，以内容为value的映射图map。
8.根据权利要求1所述的方法，其特征在于，在步骤4中，预处理线程会处理ES引擎中的数据，所述预处理操作具体包括如下步骤：
步骤401、预处理线程根据多个预设维度来组织所述ES引擎的聚合查询语句，最小的时间维度为小时；
步骤402、预处理线程最先聚合所述ES引擎中最早期的数据，时间跨度为一小时，然后分析处理完成所述一小时时间段中的数据，并在轮询器中记录本次处理完的数据的最后时间；
步骤403、处理完所述一小时的数据后，预处理线程暂停15分钟，然后预处理线程根据轮询器中的所述最后处理时间来处理所述最后处理时间往后一小时的数据，直至处理完全部数据。
9.根据权利要求8所述的方法，其特征在于，所述预处理线程将处理完的数据写入mysql数据库，所述mysql数据库中包括天表、周表、月表这三种类型的数据表，其中，所述天表会根据数据的处理时间每天创建一张，同一天处理的数据会入到同一张天表中；所述周表会根据数据的处理时间每周创建一张，同一周处理的数据会入到同一张周表中；所述月表会根据数据的处理时间每月创建一张，同一月处理的数据会入到同一张月表中；每一条所述处理完的数据会分别写入三种类型的数据表中。
10.一种基于海量BCP数据文件的入库及预处理系统，其特征在于，该系统包括至少一个存储器和至少一个处理器，所述至少一个存储器用于存储程序，所述至少一个处理器用于运行所述程序，以实现如权利要求1至9中任一项所述的方法。
CN202111372565.9A 2021-11-19 2021-11-19 一种基于海量bcp数据文件的入库及预处理方法和系统 Pending CN113806438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111372565.9A CN113806438A (zh) 2021-11-19 2021-11-19 一种基于海量bcp数据文件的入库及预处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111372565.9A CN113806438A (zh) 2021-11-19 2021-11-19 一种基于海量bcp数据文件的入库及预处理方法和系统

Publications (1)

Publication Number Publication Date
CN113806438A true CN113806438A (zh) 2021-12-17

Family

ID=78938393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111372565.9A Pending CN113806438A (zh) 2021-11-19 2021-11-19 一种基于海量bcp数据文件的入库及预处理方法和系统

Country Status (1)

Country Link
CN (1) CN113806438A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741434A (zh) * 2022-06-10 2022-07-12 北京亿赛通科技发展有限责任公司 一种海量es搜索数据的预统计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119386A (zh) * 2019-05-17 2019-08-13 杭州朗和科技有限公司 数据处理方法、数据处理装置、介质和计算设备
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法
CN112100182A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 数据入库处理方法、装置和服务器
CN112613271A (zh) * 2020-12-28 2021-04-06 深圳壹账通创配科技有限公司 数据分页方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统
CN110119386A (zh) * 2019-05-17 2019-08-13 杭州朗和科技有限公司 数据处理方法、数据处理装置、介质和计算设备
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法
CN112100182A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 数据入库处理方法、装置和服务器
CN112613271A (zh) * 2020-12-28 2021-04-06 深圳壹账通创配科技有限公司 数据分页方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741434A (zh) * 2022-06-10 2022-07-12 北京亿赛通科技发展有限责任公司 一种海量es搜索数据的预统计方法及系统

Similar Documents

Publication Publication Date Title
CN106980636B (zh) 保单数据处理方法和装置
CN112346829B (zh) 一种用于任务调度的方法及设备
CN109885453B (zh) 基于流数据处理的大数据平台监控系统
CN113687974B (zh) 客户端日志处理方法、装置及计算机设备
CN110297746A (zh) 一种数据处理方法及系统
CN110825694A (zh) 数据处理方法、装置、设备和存储介质
EP3264291A1 (en) Data block processing method and device
CN112311902A (zh) 基于微服务的文件发送方法及装置
CN112182089A (zh) 基于数据仓库模型的报表生成方法、装置和设备
CN113806438A (zh) 一种基于海量bcp数据文件的入库及预处理方法和系统
CN107092556B (zh) 测试方法、装置及设备
CN107193749B (zh) 测试方法、装置及设备
CN107632926B (zh) 业务数量统计方法、装置、设备及计算机可读存储介质
CN104317820B (zh) 报表的统计方法和装置
CN112818204B (zh) 一种业务的处理方法、装置、设备及存储介质
CN112559445B (zh) 数据写入方法及装置
CN114996104A (zh) 一种数据处理方法和装置
CN111143177B (zh) Ibm主机的rmf iii数据的收集方法、系统、装置及存储介质
CN114116646A (zh) 日志数据处理方法、装置、设备和存储介质
CN111786828A (zh) 在网络设备中执行的日志处理方法和网络设备
CN110597603A (zh) 一种分布式排期任务的调度方法与系统
CN116170321B (zh) 一种链路追踪的数据收集方法、装置、设备和存储介质
CN110674214A (zh) 大数据同步方法、装置、计算机设备及存储介质
CN115348185B (zh) 一种分布式查询引擎的控制方法及其控制装置
CN115629950B (zh) 一种性能测试异步请求处理时间点的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211217