CN112256931A - 一种数据提取方法 - Google Patents

一种数据提取方法 Download PDF

Info

Publication number
CN112256931A
CN112256931A CN202011153729.4A CN202011153729A CN112256931A CN 112256931 A CN112256931 A CN 112256931A CN 202011153729 A CN202011153729 A CN 202011153729A CN 112256931 A CN112256931 A CN 112256931A
Authority
CN
China
Prior art keywords
data
database
computer
data set
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011153729.4A
Other languages
English (en)
Inventor
任亮
李谋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Digital Technology Co ltd
Original Assignee
Beijing Shenzhou Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Digital Technology Co ltd filed Critical Beijing Shenzhou Digital Technology Co ltd
Priority to CN202011153729.4A priority Critical patent/CN112256931A/zh
Publication of CN112256931A publication Critical patent/CN112256931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开的数据提取方法，涉及数据处理技术领域，根据用户发送的数据提取请求，从数据库中随机抽取一组符合筛选条件的多个数据，得到第一数据集合，根据数据的类别，将第一数据集合拆分为多个数组，并发提取多个数组中具有主键的数据，生成第二数据集合并将第二数据集合中的数据并发写入Redis缓存，将第二数据集合写入数据库，根据用户发送的数据提取请求，从第二数据集合中提取符合筛选条件的数据并将数据返回至客户端，提高了客户端响应速度，减少数据库负载。

Description

一种数据提取方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据提取方法。
背景技术
当用户按需随机提取数据时，通常在数据库中进行(先随机重排序，再取提数据)。在高并发或大数据量情况下，会严重增加数据库负载，客户端响应速度较慢，导致客户端容易出现卡顿，影响客户体验。
发明内容
为解决现有技术的不足，本发明实施例提供了一种数据提取方法，该方法包括以下步骤：
根据用户发送的数据提取请求，从数据库中随机抽取一组符合筛选条件的多个数据，得到第一数据集合；
根据数据的类别，将所述第一数据集合拆分为多个数组；
并发提取所述多个数组中具有主键的数据，生成第二数据集合并将所述第二数据集合中的数据并发写入Redis缓存；
将所述第二数据集合写入数据库；
根据用户发送的数据提取请求，从所述第二数据集合中提取符合筛选条件的数据并将所述数据返回至客户端。
优选地，根据数据的类别，将所述第一数据集合拆分为多个数组包括：
利用ForkJoin框架，将第一数据集合拆分为多个数组。
优选地，所述方法还包括：
监控用户编辑过的数据并判断所述数据是否具有主键，若是，则将所述数据写入缓存以更新缓存。
优选地，所述方法还包括：
监控用户编辑过的数据并判断所述数据是否具有主键，若否，则将所述数据写入数据库以更新数据库。
本发明实施例提供的数据提取方法，具有以下有益效果：
(1)由于使用了缓存以及ForkJoin框架的多线程处理机制，客户端响应速度大大提高；
(2)通过从缓存中随机筛选具有主键的数据，避免了数据库每次的随机重排序，减少了数据库负载；
(3)ForkJoin的多线程并行处理方式与传统的串行处理方式相比更能发挥多核CPU的优势，能够充分利用服务器资源。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明提供的实施例提供的数据提取方法，包括以下步骤：
S101，根据用户发送的数据提取请求，从数据库中随机抽取一组符合筛选条件的多个数据，得到第一数据集合。
作为本发明一个具体的实施例，用户发送的数据提取请求对应的筛选条件为小学三年级数学难度级别为简单的10道数学选择题和难度级别为中等的10道数学选择题。
S102，根据数据的类别，将第一数据集合拆分为多个数组。
作为本发明一个具体的实施例，根据小学三年级数学选择题的难度级别，将第一数据集合拆分为难度级别为简单的小学三年级数学选择题的和中等的小学三年级数学选择题。
S103，并发提取多个数组中具有主键的数据，生成第二数据集合并将第二数据集合中的数据并发写入Redis缓存。
作为本发明一个具体的实施例，针对小学三年级数学选择题，每个选择题对应的编号即为对应的主键，没有编号的选择题即为不具有主键的数据。
S104，将第二数据集合写入数据库。
S105，根据用户发送的数据提取请求，从第二数据集合中提取符合筛选条件的数据并将数据返回至客户端。
可选地，根据数据的类别，将第一数据集合拆分为多个数组包括：
利用ForkJoin框架，将第一数据集合拆分为多个数组。
可选地，该方法还包括：
监控用户编辑过的数据并判断数据是否具有主键，若是，则将所述数据写入缓存以更新缓存。
可选地，该方法还包括：
监控用户编辑过的数据并判断数据是否具有主键，若否，则将所述数据写入数据库以更新数据库。
其中，用户编辑过的数据包括用户新增、改动、删除的数据。
本发明实施例提供的数据提取方法，根据用户发送的数据提取请求，从数据库中随机抽取一组符合筛选条件的多个数据，得到第一数据集合，根据数据的类别，将第一数据集合拆分为多个数组，并发提取多个数组中具有主键的数据，生成第二数据集合并将第二数据集合中的数据并发写入Redis缓存，将第二数据集合写入数据库，根据用户发送的数据提取请求，从第二数据集合中提取符合筛选条件的数据并将数据返回至客户端，提高了客户端响应速度，减少数据库负载。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种数据提取方法，其特征在于，包括：
根据用户发送的数据提取请求，从数据库中随机抽取一组符合筛选条件的多个数据，得到第一数据集合；
根据数据的类别，将所述第一数据集合拆分为多个数组；
并发提取所述多个数组中具有主键的数据，生成第二数据集合并将所述第二数据集合中的数据并发写入Redis缓存；
将所述第二数据集合写入数据库；
根据用户发送的数据提取请求，从所述第二数据集合中提取符合筛选条件的数据并将所述数据返回至客户端。
2.根据权利要求1所述的数据提取方法，其特征在于，根据数据的类别，将所述第一数据集合拆分为多个数组包括：
利用ForkJoin框架，将第一数据集合拆分为多个数组。
3.根据权利要求1所述的数据提取方法，其特征在于，所述方法还包括：
监控用户编辑过的数据并判断所述数据是否具有主键，若是，则将所述数据写入缓存以更新缓存。
4.根据权利要求1所述的数据提取方法，其特征在于，所述方法还包括：
监控用户编辑过的数据并判断所述数据是否具有主键，若否，则将所述数据写入数据库以更新数据库。
5.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1-4所述的方法。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-4所述的方法。
CN202011153729.4A 2020-10-26 2020-10-26 一种数据提取方法 Pending CN112256931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153729.4A CN112256931A (zh) 2020-10-26 2020-10-26 一种数据提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153729.4A CN112256931A (zh) 2020-10-26 2020-10-26 一种数据提取方法

Publications (1)

Publication Number Publication Date
CN112256931A true CN112256931A (zh) 2021-01-22

Family

ID=74261559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153729.4A Pending CN112256931A (zh) 2020-10-26 2020-10-26 一种数据提取方法

Country Status (1)

Country Link
CN (1) CN112256931A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832401A (zh) * 2017-11-01 2018-03-23 郑州云海信息技术有限公司 数据库数据访问方法、系统、装置及计算机可读存储介质
CN110445828A (zh) * 2019-06-14 2019-11-12 平安科技（深圳）有限公司 一种基于Redis的数据分布式处理方法及其相关设备
CN110909000A (zh) * 2019-11-19 2020-03-24 深圳市网心科技有限公司 一种数据处理方法、系统、装置及计算机可读存储介质
CN111045825A (zh) * 2019-12-12 2020-04-21 深圳前海环融联易信息科技服务有限公司 批处理性能优化方法、装置、计算机设备及存储介质
CN111752542A (zh) * 2020-06-26 2020-10-09 武汉众邦银行股份有限公司 基于xml模板的数据库查询接口引擎

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832401A (zh) * 2017-11-01 2018-03-23 郑州云海信息技术有限公司 数据库数据访问方法、系统、装置及计算机可读存储介质
CN110445828A (zh) * 2019-06-14 2019-11-12 平安科技（深圳）有限公司 一种基于Redis的数据分布式处理方法及其相关设备
CN110909000A (zh) * 2019-11-19 2020-03-24 深圳市网心科技有限公司 一种数据处理方法、系统、装置及计算机可读存储介质
CN111045825A (zh) * 2019-12-12 2020-04-21 深圳前海环融联易信息科技服务有限公司 批处理性能优化方法、装置、计算机设备及存储介质
CN111752542A (zh) * 2020-06-26 2020-10-09 武汉众邦银行股份有限公司 基于xml模板的数据库查询接口引擎

Similar Documents

Publication Publication Date Title
US9953102B2 (en) Creating NoSQL database index for semi-structured data
US20160350865A2 (en) Account processing method and apparatus
CN103019948A (zh) 使用连续排序的交换文件的工作集合交换
CN107193827B (zh) 分库分表的幂等控制方法和装置
CN107391544B (zh) 列式存储数据的处理方法、装置、设备及计算机储存介质
US20210311916A1 (en) Blockchain-based hierarchical data storage
US20210263905A1 (en) Blockchain based hierarchical data storage
US20180300146A1 (en) Database operating method and apparatus
CN112181902A (zh) 数据库的存储方法、装置及电子设备
CN111581155B (zh) 数据入数据库的方法、装置和计算机设备
CN108241531A (zh) 一种在集群中为虚拟机分配资源的方法和装置
US8316375B2 (en) Load-balancing of processes based on inertia
CN114626092A (zh) 具有关联关系的多字段数据的脱敏方法、系统、装置及计算机存储介质
CN111221814B (zh) 二级索引的构建方法、装置及设备
CN112256931A (zh) 一种数据提取方法
CN110019357B (zh) 数据库查询脚本生成方法及装置
CN107451142B (zh) 在数据库中写入和查询数据的方法与装置及其管理系统和计算机可读存储介质
Niranjanamurthy et al. The research study on DynamoDB—NoSQL database service
US11036471B2 (en) Data grouping for efficient parallel processing
US8239865B2 (en) Waiting and synchronization of parallel task executions based on task groups and task object representations
CN114969200B (zh) 数据同步方法、装置、电子设备及存储介质
CN112015325A (zh) 一种生成解码矩阵的方法、解码方法和对应装置
CN113553367B (zh) 一种数据导入校验方法、设备及介质
CN113296962B (zh) 内存管理方法、装置、设备及存储介质
Moreno et al. Improving financial computation speed with full and subproblem memoization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination