CN115587091A - 数据入库方法、装置、设备以及存储介质 - Google Patents
数据入库方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN115587091A CN115587091A CN202211097576.5A CN202211097576A CN115587091A CN 115587091 A CN115587091 A CN 115587091A CN 202211097576 A CN202211097576 A CN 202211097576A CN 115587091 A CN115587091 A CN 115587091A
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- memory
- day
- daily
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据入库方法、装置、设备以及存储介质,方法包括:响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中;从第一内存的每日数据量分布数据中读取每个单日数据,对每个单日数据进行数据量判定,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,以及将每个未超出数据量阈值的单日数据作为一个数据片段后存储到第二内存中;读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中;启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器。上述方法通过增加线程可以提高将数据录入到索引库的速度。
Description
技术领域
本公开涉及计算机的技术领域,具体涉及一种数据入库方法、装置、设备以及存储介质。
背景技术
随着电子科技的发展,搜索功能在各个软件系统中越来越多的被引用,伴随着需要检索的数据增多,需要寻找一个快速将数据入索引库的方式。现有的数据入库对于数据库IO及内存压力较大,影响整体性,同时可能造成数据索引创建延迟,降低查询时效性,还可能造成结构化查询语言(Structured Query Language,SQL)过长,造成部分查询失败,导致造成数据丢失,破坏数据完整性。
发明内容
本公开提供了一种数据入库方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种数据入库方法,包括:
响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中;
从第一内存的每日数据量分布数据中读取每个单日数据,对每个单日数据进行数据量判定,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,以及将每个未超出数据量阈值的单日数据作为一个数据片段后存储到第二内存中;
读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中;
启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器,使得搜索服务器将线程对象对应的数据存储到索引库。
在本公开实施例中,响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中,包括:
响应于用户的查询操作,确定查询操作对应的结构化查询语言命令;
从数据库中获取结构化查询语言命令对应的每日数据量分布数据;
将每日数据量分布数据存储的第一内存中。
在本公开实施例中,从数据库中获取结构化查询语言命令对应的每日数据量分布数据,包括:
通过数据库连接执行结构化查询语言命令,向数据库发送TCP/IP请求,其中,TCP/IP请求用作于指示数据库返回结构化查询语言命令对应的每日数据量分布数据;
接收针对TCP/IP请求返回的每日数据量分布数据。
在本公开实施例中,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,包括:
针对每个超出数据量阈值的单日数据,按照将该单日数据对应的日期发起数据请求,获取固定数量分片节点的时间段;
基于固定数量分片节点的时间段,将该单日数据分段成预设数量的数据片段后存储到第二内存中。
在本公开实施例中,读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中,包括:
调用数据库连接读取每个数据片段的参数数据;
基于每个数据片段的参数数据,创建每个单日数据的线程对象,将线程对象提交到线程池的线程队列中。
在本公开实施例中,启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器,包括:
读取线程队列中的线程对象;
启动线程队列中的线程对象的任务;
将线程对象对应的数据传递至搜索服务器的批量操作接口。
在本公开实施例中,搜索服务器通过调用全文搜索引擎将线程对象对应的数据存储到索引库。
根据本公开的第一方面,提供了一种数据入库装置,数据入库装置包括分布数据获取模块、数据分段模块、线程创建模块和数据入库模块。
分布数据获取模块用于响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中;
数据分段模块用于从第一内存的每日数据量分布数据中读取每个单日数据,对每个单日数据进行数据量判定,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,以及将每个未超出数据量阈值的单日数据作为一个数据片段后存储到第二内存中;
线程创建模块用于读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中;
数据入库模块用于启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器,使得搜索服务器将线程对象对应的数据存储到索引库。
在本公开实施例中,分布数据获取模块在用于响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中时,具体用于:
响应于用户的查询操作,确定查询操作对应的结构化查询语言命令;
从数据库中获取结构化查询语言命令对应的每日数据量分布数据;
将每日数据量分布数据存储的第一内存中。
在本公开实施例中,分布数据获取模块在用于从数据库中获取结构化查询语言命令对应的每日数据量分布数据时,具体用于:
通过数据库连接执行结构化查询语言命令,向数据库发送TCP/IP请求,其中,TCP/IP请求用作于指示数据库返回结构化查询语言命令对应的每日数据量分布数据;
接收针对TCP/IP请求返回的每日数据量分布数据。
在本公开实施例中,数据分段模块在用于将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中时,具体用于:
针对每个超出数据量阈值的单日数据,按照将该单日数据对应的日期发起数据请求,获取固定数量分片节点的时间段;
基于固定数量分片节点的时间段,将该单日数据分段成预设数量的数据片段后存储到第二内存中。
在本公开实施例中,线程创建模块在用于读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中时,具体用于:
调用数据库连接读取每个数据片段的参数数据;
基于每个数据片段的参数数据,创建每个单日数据的线程对象,将线程对象提交到线程池的线程队列中。
在本公开实施例中,数据入库模块在用于启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器时,具体用于:
读取线程队列中的线程对象;
启动线程队列中的线程对象的任务;
将线程对象对应的数据传递至搜索服务器的批量操作接口。
在本公开实施例中,搜索服务器通过调用全文搜索引擎将线程对象对应的数据存储到索引库。
根据本公开的第三方面,电子设备,包括:
至少一个处理器;以及与至少一个处理器通信连接的存储器;
其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述第一方面提供的数据入库方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述第一方面提供的数据入库方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本公开提供的技术方案带来的有益效果是:
本公开实施例提供的数据入库方法,可以数据量较大的单日数据分段成多个数据料较小的数据片段,之后为每个数据片段创建线程,通过增加线程可以提高将数据录入到索引库的速度,确保数据的处理速度。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示出了本公开实施例提供的一种数据入库方法的流程示意图;
图2示出了本公开实施例提供的图1中S110的一种实现方式的流程示意图;
图3示出了本公开实施例提供的图1中S120的一种实现方式的流程示意图;
图4示出了本公开实施例提供的图1中S130的一种实现方式的流程示意图;
图5示出了本公开实施例提供的图1中S140的一种实现方式的流程示意图;
图6示出了本公开实施例提供的一种数据入库装置的示意图;
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
随着电子科技的发展,搜索功能在各个软件系统中越来越多的被引用,伴随着需要检索的数据增多,需要寻找一个快速将数据入索引库的方式。现有的数据入库对于数据库IO及内存压力较大,影响整体性,同时可能造成数据索引创建延迟,降低查询时效性,还可能造成SQL过长,造成部分查询失败,导致造成数据丢失,破坏数据完整性。
本公开实施例提供的数据入库方法、装置、设备以及存储介质,旨在解决现有技术的如上技术问题中的至少一个。
本公开实施例提供的数据入库方法的执行主体可以是计算机,也可以是服务器或其他具有数据处理能力的计算设备。例如,前述计算机、服务器、计算设备等可以是前述任意一种应用场景的后台服务设备,如搜索引擎的后台服务器。本公开对数据入库方法的执行主体也不作限制。
一些实施例中,服务器可以是单独的一个服务器,或者,也可以是由多个服务器构成的服务器集群。部分实施方式中,服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。
图1示出了本公开实施例提供的一种数据入库方法的流程示意图,如图1示,该方法主要可以包括以下步骤:
S110:响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中。
这里,用户的查询操作是指输入需要查询的数据的关键词,例如可以输入需要查询的数据的时间段,之后从数据库中获取该时间段内的每日数据量分布数据,并将每日数据量分布数据存储的第一内存中。
S120:从第一内存的每日数据量分布数据中读取每个单日数据,对每个单日数据进行数据量判定,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,以及将每个未超出数据量阈值的单日数据作为一个数据片段后存储到第二内存中。
在步骤S120中,可以预先设定一个数据量阈值,在对每个单日数据进行数据量判定时,可以对单日数据的数据量与数据量阈值进行对比,确定单日数据的数据量是否超出数据量阈值。当单日数据的数据量超出数据量阈值时,将该单日数据分段成预设数量的数据片段后存储到第二内存中;当单日数据的数据量未超出数据量阈值时,将该单日数据作为一个数据片段后存储到第二内存中。
S130:读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中。
S140:启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器,使得搜索服务器将线程对象对应的数据存储到索引库。
本公开实施例提供的一种数据入库方法,可以数据量较大的单日数据分段成多个数据料较小的数据片段,之后为每个数据片段创建线程,通过增加线程可以提高将数据录入到索引库的速度,确保数据的处理速度,减少检索库IO及内存压力较大,提升数据索引创建速度,从而可以提升查询时效性。
图2示出了本公开实施例提供的图1中S110的一种实现方式的流程示意图,如图2所示,该流程主要可以包括以下步骤:
S1101:响应于用户的查询操作,确定查询操作对应的结构化查询语言命令。
S1102:从数据库中获取结构化查询语言命令对应的每日数据量分布数据。
具体来说,可以通过数据库连接执行结构化查询语言命令,向数据库发送TCP/IP请求,其中,TCP/IP请求用作于指示数据库返回结构化查询语言命令对应的每日数据量分布数据;接收针对TCP/IP请求返回的每日数据量分布数据。其中,数据库连接即jdbc(Java数据库连接),是一种用于执行SQL语句的Java API,由一组用Java语言编写的类和接口组成。它可以为多种关系数据库提供统一访问,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,实现了所有这些面向标准的目标并且具有简单,严格类型定义且高性能实现的接口。
S1103:将每日数据量分布数据存储的第一内存中。
图3示出了本公开实施例提供的图1中S120的一种实现方式的流程示意图,如图3所示,该流程主要可以包括以下步骤:
S2101:针对每个超出数据量阈值的单日数据,按照将该单日数据对应的日期发起数据请求,获取固定数量分片节点的时间段。
S2102:基于固定数量分片节点的时间段,将该单日数据分段成预设数量的数据片段后存储到第二内存中。
图4示出了本公开实施例提供的图1中S130的一种实现方式的流程示意图,如图4所示,该流程主要可以包括以下步骤:
S1301:调用数据库连接读取每个数据片段的参数数据。
S1302:基于每个数据片段的参数数据,创建每个单日数据的线程对象,将线程对象提交到线程池的线程队列中。
图5示出了本公开实施例提供的图1中S140的一种实现方式的流程示意图,如图5所示,该流程主要可以包括以下步骤:
S1401:读取线程队列中的线程对象。
S1402:启动线程队列中的线程对象的任务。
S1403:将线程对象对应的数据传递至搜索服务器的批量操作接口。
在本公开实施例中,搜索服务器可以通过调用全文搜索引擎将线程对象对应的数据存储到索引库。
基于与上述的数据入库方法相同的原理,本公开实施例提供了一种数据入库装置,图6示出了本公开实施例提供的一种数据入库装置的示意图,如图6所示,数据入库装置600包括分布数据获取模块610、数据分段模块620、线程创建模块630和数据入库模块640。
分布数据获取模块610用于响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中;
数据分段模块620用于从第一内存的每日数据量分布数据中读取每个单日数据,对每个单日数据进行数据量判定,将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中,以及将每个未超出数据量阈值的单日数据作为一个数据片段后存储到第二内存中;
线程创建模块630用于读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中;
数据入库模块640用于启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器,使得搜索服务器将线程对象对应的数据存储到索引库。
本公开实施例提供的一种数据入库装置,可以数据量较大的单日数据分段成多个数据料较小的数据片段,之后为每个数据片段创建线程,通过增加线程可以提高将数据录入到索引库的速度,确保数据的处理速度,减少检索库IO及内存压力较大,提升数据索引创建速度,从而可以提升查询时效性。
在本公开实施例中,分布数据获取模块610在用于响应于用户的查询操作,从数据库中获取每日数据量分布数据,将每日数据量分布数据存储的第一内存中时,具体用于:
响应于用户的查询操作,确定查询操作对应的结构化查询语言命令;
从数据库中获取结构化查询语言命令对应的每日数据量分布数据;
将每日数据量分布数据存储的第一内存中。
在本公开实施例中,分布数据获取模块610在用于从数据库中获取结构化查询语言命令对应的每日数据量分布数据时,具体用于:
通过数据库连接执行结构化查询语言命令,向数据库发送TCP/IP请求,其中,TCP/IP请求用作于指示数据库返回结构化查询语言命令对应的每日数据量分布数据;
接收针对TCP/IP请求返回的每日数据量分布数据。
在本公开实施例中,数据分段模块620在用于将每个超出数据量阈值的单日数据分段成预设数量的数据片段后存储到第二内存中时,具体用于:
针对每个超出数据量阈值的单日数据,按照将该单日数据对应的日期发起数据请求,获取固定数量分片节点的时间段;
基于固定数量分片节点的时间段,将该单日数据分段成预设数量的数据片段后存储到第二内存中。
在本公开实施例中,线程创建模块630在用于读取第二内存中的单日数据,为每个单日数据创建线程对象,将线程对象提交到线程池的线程队列中时,具体用于:
调用数据库连接读取每个数据片段的参数数据;
基于每个数据片段的参数数据,创建每个单日数据的线程对象,将线程对象提交到线程池的线程队列中。
在本公开实施例中,数据入库模块640在用于启动线程队列中的线程对象的任务,将线程对象对应的数据传递至搜索服务器时,具体用于:
读取线程队列中的线程对象;
启动线程队列中的线程对象的任务;
将线程对象对应的数据传递至搜索服务器的批量操作接口。
在本公开实施例中,搜索服务器通过调用全文搜索引擎将线程对象对应的数据存储到索引库。
可以理解的是,本公开实施例中的数据入库装置的上述各模块具有实现上述的数据入库方法相应步骤的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件,上述各模块可以单独实现,也可以多个模块集成实现。对于上述数据入库装置的各模块的功能描述具体可以参见上述的数据入库方法的对应描述,在此不再赘述。
本公开的技术方案中,所涉及的客户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如数据入库方法。例如,在一些实施例中,数据入库方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的数据入库方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据入库方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与客户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向客户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),客户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与客户的交互;例如,提供给客户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自客户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形客户界面或者网络浏览器的客户计算机,客户可以通过该图形客户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种数据入库方法,包括:
响应于用户的查询操作,从数据库中获取每日数据量分布数据,将所述每日数据量分布数据存储的第一内存中;
从所述第一内存的每日数据量分布数据中读取每个单日数据,对每个所述单日数据进行数据量判定,将每个超出数据量阈值的所述单日数据分段成预设数量的所述数据片段后存储到第二内存中,以及将每个未超出数据量阈值的所述单日数据作为一个数据片段后存储到所述第二内存中;
读取所述第二内存中的所述单日数据,为每个所述单日数据创建线程对象,将所述线程对象提交到线程池的线程队列中;
启动所述线程队列中的所述线程对象的任务,将所述线程对象对应的数据传递至搜索服务器,使得所述搜索服务器将所述线程对象对应的数据存储到索引库。
2.根据权利要求1所述的方法,其特征在于,所述响应于用户的查询操作,从数据库中获取每日数据量分布数据,将所述每日数据量分布数据存储的第一内存中,包括:
所述响应于用户的查询操作,确定所述查询操作对应的结构化查询语言命令;
从数据库中获取所述结构化查询语言命令对应的每日数据量分布数据;
将所述每日数据量分布数据存储的第一内存中。
3.根据权利要求2所述的方法,其特征在于,所述从数据库中获取所述结构化查询语言命令对应的每日数据量分布数据,包括:
通过数据库连接执行所述结构化查询语言命令,向数据库发送TCP/IP请求,其中,所述TCP/IP请求用作于指示所述数据库返回所述结构化查询语言命令对应的每日数据量分布数据;
接收针对所述TCP/IP请求返回的每日数据量分布数据。
4.根据权利要求1所述的方法,其特征在于,所述将每个超出数据量阈值的所述单日数据分段成预设数量的所述数据片段后存储到第二内存中,包括:
针对每个超出数据量阈值的所述单日数据,按照将该所述单日数据对应的日期发起数据请求,获取固定数量分片节点的时间段;
基于固定数量分片节点的时间段,将该单日数据分段成预设数量的所述数据片段后存储到第二内存中。
5.根据权利要求1所述的方法,其特征在于,所述读取所述第二内存中的所述单日数据,为每个所述单日数据创建线程对象,将所述线程对象提交到线程池的线程队列中,包括:
调用数据库连接读取每个所述数据片段的参数数据;
基于每个所述数据片段的参数数据,创建每个所述单日数据的线程对象,将所述线程对象提交到线程池的线程队列中。
6.根据权利要求1所述的方法,其特征在于,所述启动所述线程队列中的所述线程对象的任务,将所述线程对象对应的数据传递至搜索服务器,包括:
读取所述线程队列中的所述线程对象;
启动所述线程队列中的所述线程对象的任务;
将所述线程对象对应的数据传递至搜索服务器的批量操作接口。
7.根据权利要求1所述的方法,其特征在于,所述搜索服务器通过调用全文搜索引擎将所述线程对象对应的数据存储到索引库。
8.一种数据入库装置,包括:
分布数据获取模块,用于响应于用户的查询操作,从数据库中获取每日数据量分布数据,将所述每日数据量分布数据存储的第一内存中;
数据分段模块,用于从所述第一内存的每日数据量分布数据中读取每个单日数据,对每个所述单日数据进行数据量判定,将每个超出数据量阈值的所述单日数据分段成预设数量的所述数据片段后存储到第二内存中,以及将每个未超出数据量阈值的所述单日数据作为一个数据片段后存储到所述第二内存中;
线程创建模块,用于读取所述第二内存中的所述单日数据,为每个所述单日数据创建线程对象,将所述线程对象提交到线程池的线程队列中;
数据入库模块,用于启动所述线程队列中的所述线程对象的任务,将所述线程对象对应的数据传递至搜索服务器,使得所述搜索服务器将所述线程对象对应的数据存储到索引库。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的数据入库方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的数据入库方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211097576.5A CN115587091A (zh) | 2022-09-08 | 2022-09-08 | 数据入库方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211097576.5A CN115587091A (zh) | 2022-09-08 | 2022-09-08 | 数据入库方法、装置、设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115587091A true CN115587091A (zh) | 2023-01-10 |
Family
ID=84772224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211097576.5A Pending CN115587091A (zh) | 2022-09-08 | 2022-09-08 | 数据入库方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115587091A (zh) |
-
2022
- 2022-09-08 CN CN202211097576.5A patent/CN115587091A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114428674A (zh) | 任务调度方法、装置、设备以及存储介质 | |
CN113722600A (zh) | 应用于大数据的数据查询方法、装置、设备及产品 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN116226150A (zh) | 基于分布式数据库的数据处理方法、装置、设备和介质 | |
CN112887426B (zh) | 信息流的推送方法、装置、电子设备以及存储介质 | |
CN115794742A (zh) | 文件路径数据处理方法、装置、设备及存储介质 | |
CN114817223A (zh) | 业务数据提取方法、装置、电子设备和存储介质 | |
CN115587091A (zh) | 数据入库方法、装置、设备以及存储介质 | |
CN115168358A (zh) | 数据库访问方法、装置、电子设备及存储介质 | |
CN114491253A (zh) | 观测信息处理方法、装置、电子设备及存储介质 | |
CN114064693A (zh) | 处理账户数据的方法、装置、电子设备和计算机可读介质 | |
CN116842101A (zh) | 数据同步方法、装置、设备以及存储介质 | |
CN115510140A (zh) | 一种数据抽取方法、装置、设备及存储介质 | |
CN115329999A (zh) | 一种运维任务的处理方法、装置、平台及存储介质 | |
CN116401269A (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
CN115712645A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN115794555A (zh) | 一种业务日志处理方法、装置、设备及存储介质 | |
CN116595110A (zh) | 一种数据存储方法、装置、电子设备及存储介质 | |
CN114416881A (zh) | 一种多源数据的实时同步方法、装置、设备及介质 | |
CN117632734A (zh) | 一种数据库的性能测试方法、电子设备和存储介质 | |
CN117709903A (zh) | 一种分库方法、装置、电子设备及存储介质 | |
CN115168760A (zh) | 数据查询方法、装置及存储介质 | |
CN114329161A (zh) | 数据查询方法、装置及电子设备 | |
CN113239296A (zh) | 小程序的展示方法、装置、设备和介质 | |
CN117216398A (zh) | 一种企业推荐方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |