CN110009514A - 数据的提取方法、装置、终端及计算机可读存储介质 - Google Patents

数据的提取方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110009514A
CN110009514A CN201910173127.6A CN201910173127A CN110009514A CN 110009514 A CN110009514 A CN 110009514A CN 201910173127 A CN201910173127 A CN 201910173127A CN 110009514 A CN110009514 A CN 110009514A
Authority
CN
China
Prior art keywords
data
contingency
interim
tables
maximum base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910173127.6A
Other languages
English (en)
Other versions
CN110009514B (zh
Inventor
刘克亮
黄成�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910173127.6A priority Critical patent/CN110009514B/zh
Publication of CN110009514A publication Critical patent/CN110009514A/zh
Priority to PCT/CN2019/117214 priority patent/WO2020177376A1/zh
Application granted granted Critical
Publication of CN110009514B publication Critical patent/CN110009514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据的提取方法,包括:获取业务需求的关键字段;根据关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;根据临时数据创建临时表;将临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。本发明还提供一种数据的提取装置、终端及计算机可读存储介质。本发明提出的技术方案基于数据报表对大量数据表中的数据进行提取,由于创建的临时表中只包括了与关键字段相关的数据,因此,临时表的数据量小,使得通过临时表作为驱动表在其他关联表中联合查询,能够显著提高查询速度。

Description

数据的提取方法、装置、终端及计算机可读存储介质
技术领域
本发明涉及数据提取技术领域,尤其涉及一种数据的提取方法、装置、终端及计算机可读存储介质。
背景技术
时常有业务场景,需要在数据量比较大的表中提取数据,例如,需要提取或推送XXXX时间之后的a险种、b险种、c险种等的保单,保单中包含保费、保险起期、保险止期等等信息。目前,遇到对大量数据表的数据查询,通常都是多表关联查询,但是保单表是个大表,数据量过亿,当时间区间较大,险种较多时,查询非常慢,有的查询耗时几个小时以上。
因此,现有的大量数据表中的数据提取耗时较长是一种亟待解决的问题
发明内容
本发明的主要目的在于提供一种数据的提取方法、装置、终端及计算机可读存储介质,旨在解决现有的大量数据表中的数据提取耗时较长的技术问题。
为实现上述目的,本发明提供一种数据的提取方法,所述数据的提取方法包括:
获取业务需求的关键字段;
根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
根据所述临时数据创建临时表;
将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
优选地,所述将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤包括:
获取多表关联表中的关联表之间的关联字段;
根据所述关联字段设置索引;
将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据。
优选地,所述根据所述关联字段设置索引的步骤包括:
根据最大基本表与其他关联表的关联字段建立临时表的索引;
所述将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据的步骤包括:
对所述临时表中的数据进行遍历查询得到对应的索引中的地址;
根据所述地址在对应的其他关联表中进行查询,得到对应的子临时表;
将临时表和所有的子临时表中的数据集合在一起作为最终提取数据。
优选地,所述根据所述关联字段设置索引的步骤还包括:
按照表的大小顺序对多表关联表中的关联表进行排序;
根据相邻的两个关联表之间的关联字段设置两个表中的较大的表对应的索引;
所述将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据的步骤还包括:
对所述临时表中的数据进行遍历查询得到对应的索引中的地址;
根据所述地址在与最大基本表相邻的关联表中进行查询,得到对应的子临时表;
将所述子临时表作为驱动表,根据对应的索引在其他关联表中进行重复的逐步关联查询,直到将所有的关联表查询完毕,得到最终提取数据。
优选地,所述根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤包括:
根据所述关键字段在预设的最大基本表中进行查询,得到最大基本表中的查询数据;
判断关键字段中是否存在最大基本表中查询不到的字段;
若关键字段中存在最大基本表中查询不到的字段,则根据所述字段在其他基本表中进行查询,得到其他基本表中的查询数据,其中,其他基本表为其他关联表中的基本表;
将最大基本表中的查询数据与其他基本表中的查询数据一起作为临时数据。
优选地,所述根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤还包括:
判断所述关键字段是否大于或等于两个;
若所述关键字段的数量大于或等于两个,则根据所述关键字段在预设的最大基本表中进行并行查询,获得临时数据。
优选地,所述将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤之后,还包括:
对所述临时表进行删除。
另外,本发明还提供一种数据的提取装置,所述数据的提取装置包括:
获取模块,所述获取模块用于获取业务需求的关键字段;
第一查询模块,所述第一查询模块用于根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
创建模块,所述创建模块用于根据所述临时数据创建临时表;
第二查询模块,所述第二查询模块用于将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
本发明还提供一种终端,包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的数据的提取程序,其中,所述数据的提取程序被所述处理器执行时,实现如上所述的数据的提取方法的步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据的提取程序,其中,所述数据的提取程序被处理器执行时,实现如上所述的数据的提取方法的步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据的提取程序,其中,所述数据的提取程序被处理器执行时,实现如上所述的数据的提取方法的步骤。
本发明技术方案中,获取业务需求的关键字段;根据关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;根据临时数据创建临时表;将临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。本发明提出的技术方案基于数据报表对大量数据表中的数据进行提取,根据在多表关联表中的最大基本表中进行查询的结果创建临时表,再将临时表作为驱动表在多表关联表中的其他关联表中进行查询,获得最终的提取数据,由于创建的临时表中只包括了与关键字段相关的数据,因此,临时表的数据量小,使得通过临时表作为驱动表在其他关联表中联合查询,能够显著提高查询速度。
附图说明
图1为本发明实施例方案中涉及的终端的硬件结构示意图;
图2为本发明数据的提取方法第一实施例的流程示意图;
图3为本发明实施中将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤的流程细化示意图;
图4为本发明数据的提取方法第二实施例的流程示意图;
图5为本发明数据的提取方法第三实施例的流程示意图;
图6为本发明实施例中根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤的流程细化示意图;
图7为本发明数据的提取方法第四实施例的流程示意图;
图8为本发明数据的提取方法第五实施例的流程示意图;
图9为本发明数据的提取装置的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的数据的提取方法主要应用于终端,该终端可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的终端结构示意图。本发明实施例中,终端可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及数据的提取程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的数据的提取程序,并执行数据的提取方法的步骤。
基于上述终端的硬件结构,提出本发明数据的提取方法的各个实施例。
本发明提供一种数据的提取方法。
请参阅图2,在本发明第一实施例中,数据的提取方法包括以下步骤:
步骤S100,获取业务需求的关键字段;
具体地,当用户需要获取大量数据表中的数据时,可以对数据表进行多表关联查询,例如,通过SQL连接(JOIN)子句把来自两个或多个表的行连接起来,连接的基础是这些表之间的共同字段,将这些共同字段称为关联字段,将关联起来进行查询的所有的数据表称为多表关联表。
在进行多表关联查询时,可以先向终端输入需要获取的数据的关键字段。以保单查询为例,保单情况可能包括保费、保额、保险起期、保险止期、参保人基本情况、险种的具体情况等信息,在保单基本表中存在基本的险种、基本险种的保费、保额、保险起期、保险止期以及参保人名称等信息,而在身份表中存在参保人的详细信息,在险种定义表中存在险种的具体信息,在保费明细表中存在保费的明细信息等。
当用户需要提取或推送2017年之后的a险种、b险种、c险种的保单情况时,可以向终端输入的关键字段为:2017年之后、a险种、b险种、c险种等。
步骤S200,根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
可以根据用户输入的关键字段对预设的最大基本表进行查询,将查询到的数据提取出来作为临时数据。例如,保单基本表是保单多表关联中的最大基本表,当用户需要提取或推送2017年之后的a险种、b险种、c险种的保单情况时,可以从保单基本表中将对应的2017年之后的a险种、b险种、c险种的数据提取出来,作为临时数据。需要说明的是,最大基本表为多表关联表中的数据量最大的基本表。
步骤S300,根据所述临时数据创建临时表;
需要说明的是,在创建临时表时,不需要把临时表的信息归档,可以提高临时表的创建效率。
步骤S400,将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
需要说明的是,最大基本表也是多表关联表中的关联表,其他关联表是指除最大基本表之外的关联表。在将临时数据提取出来创建了临时表,将临时表作为后续整个查询过程的驱动表,在多表关联表中的其他关联表中进行联合查询,获得查询的数据,将查询到的数据提取出去得到用户需要的最终提取数据。
进一步地,请参照图3,图3为本发明实施中将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤的流程细化示意图,基于上述实施例,步骤S400包括:
步骤S410,获取多表关联表中的关联表之间的关联字段;
具体地,可以获取多表关联表中最大基本表与其他关联表之间的关联字段,以及其他关联表自身之间的关联字段。例如,在保单基本表与身份表之间、保单基本表与险种定义表之间以及身份表与险种定义表之间的关联字段均可以是保单号等。
步骤S420,根据所述关联字段设置索引;
步骤S430,将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据。
获取到多表关联表中的关联表之间的关联字段后,可以根据该关联字段设置临时表的索引,索引的作用相当于图书的目录,可以根据目录中的页码快速找到所需的内容,即可以根据索引快速找到需要查找的数据。在本实施例中,将临时表作为驱动表,根据该索引在其他关联表中进行联合查询,获得最终提取数据。即,根据索引,将临时表与其他关联表进行关联查询,获得最终提取数据。
进一步地,请参照图4,图4为本发明数据的提取方法第二实施例的流程示意图,基于上述实施例,步骤S420包括:
步骤S421,根据最大基本表与其他关联表的关联字段建立临时表的索引;
在多表关联表中,最大基本表与其他关联表两两之间分别存在有关联字段,根据最大基本表与其他关联表之间的关联字段,可以建立临时表的多个索引,每个索引对应有一个其他关联表,索引中包括有地址,地址即为提供指向其他关联表的指定列中的数据值的指针,根据索引中的地址可以查找到对应的其他关联表中的数据,有利于快速对数据进行查询,例如,当根据最大基本表与A表之间的关联字段建立临时表上的I索引时,临时表上的I索引与A表对应,能够对A表中的数据进行查询;当根据最大基本表与B表之间的关联字段建立临时表上的II索引时,临时表上的II索引与B表对应,能够对B表中的数据进行查询。
步骤S430包括:
步骤S431,对所述临时表中的数据进行遍历查询得到索引中的地址;
具体地,在获取到临时表后,对临时表中的所有数据进行遍历,获得该临时表中所有的数据的所有的索引中的地址。
步骤S432,根据所述地址在对应的其他关联表中进行查询,得到对应的子临时表;
在获取到临时表的索引中的地址后,由于一个索引可以对应一个其他关联表,因此,可以根据查询到的地址找到对应的关联表中的数据,每一个其他关联表对应有一个子临时表,将在其他关联表中查找到的数据放入对应的子临时表中。
步骤S433,将临时表和所有的子临时表中的数据集合在一起作为最终提取数据。
在将多表关联表中的所有的其他关联表查询完毕后,将临时表和所有子临时中的数据集合在一起作为最终提取数据。
例如,假设多表关联表中存在五个关联表A、B、C、D、E,其中,A表为五个表中的最大基本表,A表与B表、A表与C表、A表与D表、A表与E表之间均存在关联字段,在进行查询时,将A表中符合用户需求的数据提取出来创建临时表X。根据A表与B表、A表与C表、A表与D表、A表与E表之间存在的关联字段建立临时表X的多个索引。
在一种实施例中,根据A表与B表之间的关联字段建立的索引,对临时表X与B表进行关联查询,得到B表中符合要求的数据放入子临时表X1中;根据A表与C表之间的关联字段建立的索引,对临时表X与C表进行关联查询,得到C表中符合要求的数据放入子临时表X2中;根据A表与D表之间的关联字段建立的索引,对临时表X与D表进行关联查询,得到D表中符合要求的数据放入子临时表X3中;根据A表与E表之间的关联字段建立的索引,对临时表X与E表进行关联查询,得到E表中符合要求的数据放入子临时表X4中。最后将临时表X、子临时表X1、X2、X3以及X4的数据集合关联在一起形成表X5,表X5里面的数据就是用户所需要提取的最终提取数据。
在另一种实施例中,可以根据A表与B表之间的关联字段建立的索引,对临时表X与B表进行关联查询,得到B表中符合要求的数据放入临时表X中形成子临时表X1;根据A表与C表之间的关联字段建立的索引,对临时表X与C表进行关联查询,将查询到的结果添加至子临时表X1中,形成子临时表X2;根据A表与D表之间的关联字段建立的索引,对临时表X与D表进行关联查询,将查询到的结果添加至子临时表X2中,形成子临时表X3;根据A表与E表之间的关联字段建立的索引,对临时表X与E表进行关联查询,将查询到的结果添加至子临时表X3中,形成子临时表X4,子临时表X4里的数据就是用户所需要提取的最终提取数据。
进一步地,请参照图5,图5为本发明数据的提取方法第三实施例的流程示意图,基于上述实施例,步骤S420还包括:
步骤S422,按照表的大小顺序对多表关联表中的关联表进行排序;
步骤S423,根据相邻的两个关联表之间的关联字段设置两个表中的较大的表对应的索引。
可以利用临时表对多表关联表中的其他关联表按顺序逐步进行关联查询,直到将所有的其他关联表查询完毕后,得到最终提取数据。在优选的实施例中,可以按照表的大小顺序对多表关联表中的关联表进行排序;再根据相邻的两个关联表之间的关联字段设置两个表中的较大的表对应的索引。
步骤S430还包括:
步骤S434,对所述临时表中的数据进行遍历查询得到对应的索引中的地址;
临时表的索引可以为最大基本表对应的索引,在获取到临时表后,对临时表中的所有数据进行遍历,获得该临时表中所有的数据的索引中的地址。其中,最大基本表对应的索引是根据最大基本表与相邻的表之间的关联字段建立的,最大基本表对应的索引只能对与最大基本表相邻的关联表进行查询。
步骤S435,根据所述地址在与最大基本表相邻的关联表中进行查询,得到对应的子临时表;
根据获得的地址在在与最大基本表相邻的关联表中进行查询,获得与最大基本表相邻的关联表中的数据,放入对应的子临时表。
步骤S436,将所述子临时表作为驱动表,根据对应的索引在其他关联表中进行重复的逐步关联查询,直到将所有的关联表查询完毕,得到最终提取数据。
具体地,将子临时表作为驱动表,根据对应的索引在其他关联表中进行重复逐步关联查询,得到最终提取数据,即,将子临时表作为驱动表,根据与最大基本表相邻的关联表对应的索引查找到下一个相邻的关联表中的数据,放入与下一个相邻的关联表对应的子临时表中,再将获得的子临时表又作为下一次查询的驱动表,对再下一个相邻的关联表进行关联查询,如此进行重复逐步关联查询,直到将所有的关联表均查询完毕,得到最后一个子临时表,再将临时表与所有的子临时表中的数据集合在一起得到最终的提取数据。
例如,假设将多表关联表按表的大小进行排序后,按顺序存在F、G、H、I、J五个表,F表为五个表中的最大基本表,根据关键字段对F表进行查询得到临时表Y,根据F表与G表之间的关联字段建立的索引,对临时表Y与G表进行关联查询,得到G表中符合要求的数据放入子临时表Y1;根据G表与H表之间的关联字段建立的索引,对临时表Y1与H表进行关联查询,得到H表中符合要求的数据放入子临时表Y2;根据H表与I表之间的关联字段建立的索引,对临时表Y2与I表进行关联查询,得到I表中符合要求的数据放入子临时表Y3;根据I表与J表之间的关联字段建立的索引,对临时表Y3与J表进行关联查询,得到J表中符合要求的数据放入子临时表Y4,该临时表Y、子临时表Y1、子临时表Y2、子临时表Y3以及子临时表Y4中的数据集合在一起就是用户所需要提取的最终提取数据。
本发明技术方案中,获取业务需求的关键字段;根据关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;根据临时数据创建临时表;将临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。本发明提出的技术方案基于数据报表对大量数据表中的数据进行提取,根据在多表关联表中的最大基本表中进行查询的结果创建临时表,再将临时表作为驱动表在多表关联表中的其他关联表中进行查询,获得最终的提取数据,由于创建的临时表中只包括了与关键字段相关的数据,因此,临时表的数据量小,使得通过临时表作为驱动表在其他关联表中联合查询,能够显著提高查询速度。
进一步地,请参照图6,图6为本发明实施例中根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤的流程细化示意图,基于上述实施例,步骤S200包括:
步骤S210,根据所述关键字段在预设的最大基本表中进行查询,得到最大基本表中的查询数据;
需要说明的是,一个关键字段可能对应一张表或者多个关键字段对应一张表,最大基本表中基本可以查询到所有的关键字段,但是在非常特殊的情况下,也可能存在在最大基本表中查询不到数据的关键字段,需要根据该查询不到数据的关键字段在其他基本表中进行查询,提取出相应的数据。例如,若a险种、b险种以及c险种均为基本险种,则其均存在于保单基本表中,但是,在一种极其特殊的情况下,当a险种、b险种以及c险种中存在非常罕见险种时,可以在其他的特殊基本表中查询该非常罕见险种的数据。因此,可以在获取到关键字段后,先在多表关联表的最大基本表中将能够查询出的数据提取出来,得到最大基本表中的查询数据。
步骤S220,判断关键字段中是否存在最大基本表中查询不到的字段;
具体地,在最大基本表中进行查询后,再判断关键字段是否存在最大基本表中查询不到的字段,可以通过查询出的数据判断关键字段是否存在最大基本表中查询不到的字段,例如,当a险种、b险种、c险种中存在非常见险种c险种时,就无法在保单基本表中查找到该非常见险种c险种,当在保单基本表中查询出来的数据就不包括c险种的数据,可以说明c险种对应的关键字段在最大基本表中查询不到。
步骤S230,若关键字段中存在最大基本表中查询不到的字段,则根据所述字段在其他基本表中进行查询,得到其他基本表中的查询数据,其中,其他基本表为其他关联表中的基本表;
当关键字段中存在在最大基本表中查询不到的字段时,那么需要在其他基本表中进行查询,需要说明的是,其他基本表为其他关联表中的基本表。例如,当c险种为非常见险种,需要在特殊保单表中进行查询,将与该字段对应的查询数据提取出来,得到查询数据。其中,当关键字段中在最大基本表中查询不到的字段有多个时,如果多个字段均能在其他的一张其他基本表中查询数来时,可以将查询出来的数据提取出来作为他基本表中的查询数据;如果多个字段需要对应在不同的几张其他基本表中才能查询出来,可以根据字段在对应的其他基本表中进行查询,得到与几张其他基本表对应的查询数据,将查询数据集合在一起作为其他基本表中的查询数据。
步骤S240,将最大基本表中的查询数据与其他基本表中的查询数据一起作为临时数据。
当根据关键字段查询结束后,将提取出来的最大基本表中的查询数据和其他基本表中的查询数据集合在一起,作为临时数据。
进一步地,请参照图7,图7为本发明数据的提取方法第四实施例的流程示意图,基于第一实施例,步骤S200还包括:
步骤S250,判断所述关键字段是否大于或等于两个;
步骤S260,若所述关键字段的数量大于或等于两个,则根据所述关键字段在预设的最大基本表中进行并行查询,获得临时数据。
为了进一步提高数据的提取速度,可以对查询获得临时数据的过程进行并行执行,即,在最大基本表中进行多线程查询。具体地,判断用户输入的关键字段是否大于或等于两个,若用户输入的关键字段大于或等于两个,则根据关键字段在预设的最大基本表中进行并行查询;若用户输入的关键字段不大于等于两个,则根据关键字段直接在最大基本表中进行查询。此外,在关键字段较多时,进行多线程处理的实际路数可以根据用户的实际需要进行调整,只要不超过服务器最大并发处理线程数即可。
进一步地,请参照图8,图8为本发明数据的提取方法第五实施例的流程示意图,基于第一实施例,步骤S400之后,还包括:
步骤S500,对所述临时表进行删除。
具体地,为了减少占用的内存,在获取到用户需要的数据后,可以对创建的临时表进行删除。此外,在用户得到最终提取数据后,还可以将终端内存在的所有子临时表等临时数据全部进行删除。
此外,请参照图9,本发明还提供一种数据的提取装置10,所述数据的提取装置10包括:
获取模块20,所述获取模块用于获取业务需求的关键字段;
第一查询模块30,所述第一查询模块用于根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
创建模块40,所述创建模块用于根据所述临时数据创建临时表;
第二查询模块50,所述第二查询模块用于将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
进一步地,所述第二查询模块50还用于:
获取多表关联表中的关联表之间的关联字段;
根据所述关联字段设置索引;
将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据。
进一步地,所述第二查询模块50还用于:
根据最大基本表与其他关联表的关联字段建立临时表的索引;
对所述临时表中的数据进行遍历查询得到索引中的地址;
根据所述地址在对应的其他关联表中进行查询,得到对应的子临时表;
将临时表和所有的子临时表中的数据集合在一起作为最终提取数据。
进一步地,所述第二查询模块50还用于:
按照表的大小顺序对多表关联表中的关联表进行排序;
根据相邻的两个关联表之间的关联字段设置两个表中的较大的表对应的索引;
对所述临时表中的数据进行遍历查询得到对应的索引中的地址;
根据所述地址在与最大基本表相邻的关联表中进行查询,得到对应的子临时表;
将所述子临时表作为驱动表,根据对应的索引在其他关联表中进行重复的逐步关联查询,直到将所有的关联表查询完毕,得到最终提取数据。
进一步地,所述第一查询模块30还用于:
根据所述关键字段在预设的最大基本表中进行查询,得到最大基本表中的查询数据;
判断关键字段中是否存在最大基本表中查询不到的字段;
若关键字段中存在最大基本表中查询不到的字段,则根据所述字段在其他基本表中进行查询,得到其他基本表中的查询数据,其中,其他基本表为其他关联表中的基本表;
将最大基本表中的查询数据与其他基本表中的查询数据一起作为临时数据。
进一步地,所述第一查询模块30还用于:
判断所述关键字段是否大于或等于两个;
若所述关键字段的数量大于或等于两个,则根据所述关键字段在预设的最大基本表中进行并行查询,获得临时数据。
进一步地,所述数据的提取装置10还包括:
删除模块,所述删除模块用于对所述临时表进行删除。
其中,上述数据的提取装置10中各个模块与上述数据的提取方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有数据的提取程序,其中,数据的提取程序被处理器执行时,实现如上述的数据的提取方法的步骤。
其中,数据的提取程序被执行时所实现的方法可参照本发明数据的提取方法的各个实施例,此处不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种数据的提取方法,其特征在于,所述数据的提取方法包括:
获取业务需求的关键字段;
根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
根据所述临时数据创建临时表;
将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
2.如权利要求1所述的数据的提取方法,其特征在于,所述将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤包括:
获取多表关联表中的关联表之间的关联字段;
根据所述关联字段设置索引;
将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据。
3.如权利要求2所述的数据的提取方法,其特征在于,所述根据所述关联字段设置索引的步骤包括:
根据最大基本表与其他关联表的关联字段建立临时表的索引;
所述将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据的步骤包括:
对所述临时表中的数据进行遍历查询得到索引中的地址;
根据所述地址在对应的其他关联表中进行查询,得到对应的子临时表;
将临时表和所有的子临时表中的数据集合在一起作为最终提取数据。
4.如权利要求2所述的数据的提取方法,其特征在于,所述根据所述关联字段设置索引的步骤还包括:
按照表的大小顺序对多表关联表中的关联表进行排序;
根据相邻的两个关联表之间的关联字段设置两个表中的较大的表对应的索引;
所述将所述临时表作为驱动表,根据所述索引在其他关联表中进行联合查询,获得最终提取数据的步骤还包括:
对所述临时表中的数据进行遍历查询得到对应的索引中的地址;
根据所述地址在与最大基本表相邻的关联表中进行查询,得到对应的子临时表;
将所述子临时表作为驱动表,根据对应的索引在其他关联表中进行重复的逐步关联查询,直到将所有的关联表查询完毕,得到最终提取数据。
5.如权利要求1-4中任一项所述的数据的提取方法,其特征在于,所述根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤包括:
根据所述关键字段在预设的最大基本表中进行查询,得到最大基本表中的查询数据;
判断关键字段中是否存在最大基本表中查询不到的字段;
若关键字段中存在最大基本表中查询不到的字段,则根据所述字段在其他基本表中进行查询,得到其他基本表中的查询数据,其中,其他基本表为其他关联表中的基本表;
将最大基本表中的查询数据与其他基本表中的查询数据一起作为临时数据。
6.如权利要求1-4中任一项所述的数据的提取方法,其特征在于,所述根据所述关键字段在预设的最大基本表中进行查询,获得临时数据的步骤还包括:
判断所述关键字段是否大于或等于两个;
若所述关键字段的数量大于或等于两个,则根据所述关键字段在预设的最大基本表中进行并行查询,获得临时数据。
7.如权利要求1-4中任一项所述的数据的提取方法,其特征在于,所述将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据的步骤之后,还包括:
对所述临时表进行删除。
8.一种数据的提取装置,其特征在于,所述数据的提取装置包括:
获取模块,所述获取模块用于获取业务需求的关键字段;
第一查询模块,所述第一查询模块用于根据所述关键字段在预设的最大基本表中进行查询,获得临时数据,其中,最大基本表为多表关联表中的最大表;
创建模块,所述创建模块用于根据所述临时数据创建临时表;
第二查询模块,所述第二查询模块用于将所述临时表作为驱动表在其他关联表中进行联合查询,获得最终提取数据,其中,其他关联表为多表关联表中除最大基本表外的关联表。
9.一种终端,其特征在于,包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的数据的提取程序,其中,所述数据的提取程序被所述处理器执行时,实现如权利要求1至7中任一项所述的数据的提取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据的提取程序,其中,所述数据的提取程序被处理器执行时,实现如权利要求1至7中任一项所述的数据的提取方法的步骤。
CN201910173127.6A 2019-03-07 2019-03-07 数据的提取方法、装置、终端及计算机可读存储介质 Active CN110009514B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910173127.6A CN110009514B (zh) 2019-03-07 2019-03-07 数据的提取方法、装置、终端及计算机可读存储介质
PCT/CN2019/117214 WO2020177376A1 (zh) 2019-03-07 2019-11-11 数据的提取方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173127.6A CN110009514B (zh) 2019-03-07 2019-03-07 数据的提取方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110009514A true CN110009514A (zh) 2019-07-12
CN110009514B CN110009514B (zh) 2024-03-08

Family

ID=67166557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173127.6A Active CN110009514B (zh) 2019-03-07 2019-03-07 数据的提取方法、装置、终端及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110009514B (zh)
WO (1) WO2020177376A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078734A (zh) * 2019-12-25 2020-04-28 天津南大通用数据技术股份有限公司 一种通过创建内部临时表索引提高start with查询性能的方法
WO2020177376A1 (zh) * 2019-03-07 2020-09-10 平安科技(深圳)有限公司 数据的提取方法、装置、终端及计算机可读存储介质
CN112685444A (zh) * 2020-12-24 2021-04-20 江苏苏宁云计算有限公司 数据查询方法、装置、计算机设备和存储介质
CN113448969A (zh) * 2021-08-30 2021-09-28 阿里云计算有限公司 数据处理方法、设备、程序产品及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070043697A1 (en) * 2005-08-18 2007-02-22 International Business Machines Corporation Generating statistics for temporary tables during query optimization
US20080016047A1 (en) * 2006-07-12 2008-01-17 Dettinger Richard D System and method for creating and populating dynamic, just in time, database tables
CN106202573A (zh) * 2016-08-19 2016-12-07 中国科学院信息工程研究所 一种通用的两个数据库联合查询方法
CN108021618A (zh) * 2017-11-13 2018-05-11 北京天元创新科技有限公司 一种数据查询方法及系统
CN108648092A (zh) * 2018-05-16 2018-10-12 中国平安人寿保险股份有限公司 保险赔付率计算方法、装置、设备及计算机可读存储介质
CN109408535A (zh) * 2018-09-28 2019-03-01 中国平安财产保险股份有限公司 大数据量匹配方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811571B2 (en) * 2013-12-13 2017-11-07 Sap Se Bitemporal timeline index
CN107016001B (zh) * 2016-01-28 2020-10-16 创新先进技术有限公司 一种数据查询方法及装置
CN107368493A (zh) * 2016-05-12 2017-11-21 百度在线网络技术(北京)有限公司 数据库查询方法和装置
US20170337232A1 (en) * 2016-05-19 2017-11-23 Fifth Dimension Holdings Ltd. Methods of storing and querying data, and systems thereof
CN110009514B (zh) * 2019-03-07 2024-03-08 平安科技(深圳)有限公司 数据的提取方法、装置、终端及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070043697A1 (en) * 2005-08-18 2007-02-22 International Business Machines Corporation Generating statistics for temporary tables during query optimization
US20080016047A1 (en) * 2006-07-12 2008-01-17 Dettinger Richard D System and method for creating and populating dynamic, just in time, database tables
CN106202573A (zh) * 2016-08-19 2016-12-07 中国科学院信息工程研究所 一种通用的两个数据库联合查询方法
CN108021618A (zh) * 2017-11-13 2018-05-11 北京天元创新科技有限公司 一种数据查询方法及系统
CN108648092A (zh) * 2018-05-16 2018-10-12 中国平安人寿保险股份有限公司 保险赔付率计算方法、装置、设备及计算机可读存储介质
CN109408535A (zh) * 2018-09-28 2019-03-01 中国平安财产保险股份有限公司 大数据量匹配方法、装置、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020177376A1 (zh) * 2019-03-07 2020-09-10 平安科技(深圳)有限公司 数据的提取方法、装置、终端及计算机可读存储介质
CN111078734A (zh) * 2019-12-25 2020-04-28 天津南大通用数据技术股份有限公司 一种通过创建内部临时表索引提高start with查询性能的方法
CN111078734B (zh) * 2019-12-25 2023-08-08 天津南大通用数据技术股份有限公司 一种通过创建内部临时表索引提高start with查询性能的方法
CN112685444A (zh) * 2020-12-24 2021-04-20 江苏苏宁云计算有限公司 数据查询方法、装置、计算机设备和存储介质
CN113448969A (zh) * 2021-08-30 2021-09-28 阿里云计算有限公司 数据处理方法、设备、程序产品及存储介质
CN113448969B (zh) * 2021-08-30 2022-02-18 阿里云计算有限公司 数据处理方法、设备及存储介质

Also Published As

Publication number Publication date
WO2020177376A1 (zh) 2020-09-10
CN110009514B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN110009514A (zh) 数据的提取方法、装置、终端及计算机可读存储介质
CN108733713B (zh) 数据仓库中的数据查询方法及装置
US20180239800A1 (en) Data query method and apparatus
CN107463632A (zh) 一种分布式NewSQL数据库系统和数据查询方法
WO2014143791A1 (en) Efficiently performing operations on distinct data values
CN110019503A (zh) Redis集群的扩容和/或缩容的方法及装置
CN102902763B (zh) 关联、检索信息处理数据和处理信息任务的方法及装置
CN109299157A (zh) 一种分布式大单表的数据导出方法及装置
CN107729423A (zh) 一种大数据处理方法及装置
CN108959294B (zh) 一种访问搜索引擎的方法和装置
CN108108486A (zh) 一种数据表查询方法、装置、终端设备及存储介质
CN106156040A (zh) 多维度数据管理方法及装置
CN114090695A (zh) 分布式数据库的查询优化的方法和装置
CN108573171A (zh) Greenplum数据脱敏方法、装置、设备及介质
CN110209744A (zh) 基于联盟链的关系型数据库及其操作方法和装置
CN110502560A (zh) 一种数据库连接参数封装的方法及服务器
CN110673825A (zh) 基于树结构的复杂表达式生成方法以及相关设备
CN110297843A (zh) 用于b/s系统的数据查询方法及系统、终端
CN101388790B (zh) 一种导入无线网络性能数据的方法
CN115510072A (zh) 一种基于多租户SaaS应用平台的主数据引擎
CN104866535A (zh) 一种号段记录压缩方法及装置
CN108388809A (zh) 一种数据范围控制方法和系统
CN118556232A (zh) 数据模型生成的方法和装置
CN106341345A (zh) 一种并发请求的处理方法及装置
CN104156358B (zh) 一种用于数据库的表的批量读取方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant