CN109800247A - 数据查找方法、装置、计算机设备以及存储介质 - Google Patents
数据查找方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN109800247A CN109800247A CN201811537085.1A CN201811537085A CN109800247A CN 109800247 A CN109800247 A CN 109800247A CN 201811537085 A CN201811537085 A CN 201811537085A CN 109800247 A CN109800247 A CN 109800247A
- Authority
- CN
- China
- Prior art keywords
- default
- result
- full dimension
- result table
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 claims abstract description 92
- 230000008676 import Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 28
- 238000005194 fractionation Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 235000013399 edible fruits Nutrition 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- KJFMBFZCATUALV-UHFFFAOYSA-N phenolphthalein Chemical compound C1=CC(O)=CC=C1C1(C=2C=CC(O)=CC=2)C2=CC=CC=C2C(=O)O1 KJFMBFZCATUALV-UHFFFAOYSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及大数据的数据处理领域,具体涉及一种数据查找方法、装置、计算机设备和存储介质。方法包括:基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,将结果导入生产数据库内的预设第一结果表;当导入完成时,清空预设第二结果表内数据,再次运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回执行运行预设全维度拆分算法的步骤;当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果。本申请通过引入Hadoop数据库分担生产数据库的查找任务,使得系统可以不扩充服务器就能实现对大数据的查找。
Description
技术领域
本申请涉及信息处理领域,特别是涉及一种数据查找方法、装置、计算机设备以及存储介质。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
然而现在不少公司积累了大量的数据资源,当这些公司想要通过输出这些数据的实时查找服务进行资源变现时,会遇到了一个问题,随着积累的数据量越来越大,从百万级别到千万级别,最后到数十亿级别,在不扩充服务器的情况下,使用原有的数据库,已无法再支持实时处理数十亿数量级别的数据的计算查找服务。
发明内容
基于此,有必要针对上述技术问题,提供一种能支持对数十亿数量级别的数据进行查找的数据查找方法、装置、计算机设备以及存储介质。
一种数据查找方法,所述方法包括:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
将所述全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,所述基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果之前,还包括:
根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据所述预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
在其中一个实施例中,所述根据Hadoop数据库存储的待查找样本数据获取预设查找请求具体包括:
确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据所述查找字段获取全维度拆分算法。
在其中一个实施例中,所述当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果包括:
当接收到实时查找请求时,判断预设查找请求是否包括所述实时查找请求;
当所述预设查找请求包括所述实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;
当所述预设查找请求不包括所述实时查找请求时,根据所述实时查找请求,通过增量运算修改所述预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,所述在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果之前还包括:
根据所述待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,所述预设第一结果表与所述预设第二结果表相同。
在其中一个实施例中,所述当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果具体包括:
当接收到实时查找请求时,在所述生产数据库根据所述实时查找请求生成实时查找语句;
根据所述实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与所述实时查找请求对应的查找结果。
一种数据查找装置,所述装置包括:
全维度查找模块,用于基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
第一数据导入模块,用于将所述全维度查找结果导入生产数据库内的预设第一结果表;
第二数据导入模块,用于当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回全维度查找模块执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
实时查找模块,当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,还包括:
算法获取模块,用于根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据所述预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
将所述全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
将所述全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
上述数据查找方法、装置、计算机设备以及存储介质,首先基于Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果,而后将全维度查找结果全部导入生产数据库内的第一结果表,当导入完成后,清空第二结果表内的数据,再次运行全维度拆分算法,并更新全维度查找结果,并将更新后的全维度查找结果导入生产数据库内的第二结果表;当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果。本申请通过引入Hadoop数据库分担生产数据库的查找任务,获取预设查找请求对应的全维度查找结果,而生产数据库只需要存储全维度查找结果。使得系统可以不扩充服务器就能实现对大量数据的查找。通过预设第一结果表与预设第二结果表存储全维度查找结果,当数据在导入预设第一结果表时,可以通过调用预设第二结果表完成查找,当数据在导入预设第二结果表时,可以通过调用预设第一结果表完成查找。
附图说明
图1为一个实施例中数据查找方法的流程示意图;
图2为一个实施例中数据查找方法的流程示意图;
图3为一个实施例中数据查找方法的流程示意图;
图4为一个实施例中数据查找方法装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据查找方法,用于对数据库内已存储的数据进行查找,具体可以通过计算机程序对本申请的数据查找方法进行实现,计算机程序可以加载于终端上,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。
如图1所示,在其中一个实施例中,本申请的数据查找方法,具体包括以下步骤:
S200,基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,Hadoop数据库存储有待查找样本数据,全维度查找结果为预设查找请求对应的目标数据。
待查找样本数据是指大量的用于查找数据,待查找样本数据包括了查找的目标数据,在本申请中,待查找样本数据的数据量可以达到数十亿级别。Hadoop数据库是指Hadoop分布式存储数据库,Hadoop实现了一个HDFS(Hadoop Distributed File System,分布式文件系统)。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX(Portable Operating System Interface of UNIX,可移植操作系统接口)的要求,可以以流的形式访问文件系统中的数据。预设全维度拆分算法是指预先编写的全维度拆分算法,全维度拆分算法根据可能发起的数据查找请求即预设查找请求进行编写,用于根据这些可能发起的预设数据查找请求对Hadoop数据库内的待查找样本数据进行查询,获得查询结果。全维度查找结果是指所有预设查找请求对应的查找的结果。
首先在存储有大量待查找样本数据的Hadoop数据库内运行预设全维度拆分算法,对待查找样本数据进行全维度查找,获得全维度查找结果。
S400,将全维度查找结果导入生产数据库内的预设第一结果表。
生产数据库是指业务中实际使用的数据库,可以为oracle或者SQL Server等关系型数据库。生产数据库内存储有预设第一结果表与预设第二结果表,预设第一结果表与预设第二结果表用于容纳查找到全维度查找结果。
当运行一次预设全维度拆分算法后,将全维度查找结果导入生产数据库内的第一结果表内。
S600,当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回执行步骤S200;
当算法第一次运算完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行预设全维度拆分算法,将这次得到的全维度查找结果导入生产数据库内的第二结果表;将再次运行的全维度拆分算法所得到的全维度查找结果导入预设第二结果表,当导入完成时,清空预设第一结果表内的数据,并再次运行全维度拆分算法,将所得到的结果导入清空数据后的预设第一结果表,当此时接收到实时查找请求时,可以通过API接口在生产数据库内调用预设第二结果表完成查找。通过不间断运行全维度拆分算法,API接口可以轮流调用两个结果表来完成查找。通过循环导入可以有效地保证预设结果表内的全维度查找结果的数据不断更新。
S800,当接收到实时查找请求时,可以通过API接口在生产数据库内调用预设结果表获得查找结果。预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。通过不间断运行全维度拆分算法,API接口可以轮流调用两个结果表来完成查找。通过循环导入可以有效地保证全维度查找结果的数据不断更新。
实时查找请求是指客户端发起的查询请求,由于所有的查找结果都通过预设全维度拆分算法获得,并全部存储在预设第一结果表内。所以在获得实时查找请求时,只需要通过API接口在生产数据库内直接调用未处于导入数据状态的预设结果表就能获得对应的查找结果完成查找。
上述数据查找方法,首先基于Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果,而后将全维度查找结果全部导入生产数据库内的第一结果表,当导入完成后,清空第二结果表内的数据,再次运行全维度拆分算法,并更新全维度查找结果,并将更新后的全维度查找结果导入生产数据库内的第二结果表;当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果。本申请通过引入Hadoop数据库分担生产数据库的查找任务,获取预设查找请求对应的全维度查找结果,而生产数据库只需要存储全维度查找结果。使得系统可以不扩充服务器就能实现对大量数据的查找。通过预设第一结果表与预设第二结果表存储全维度查找结果,当数据在导入预设第一结果表时,可以通过调用预设第二结果表完成查找,当数据在导入预设第二结果表时,可以通过调用预设第一结果表完成查找。
如图2所示,在其中一个实施例中,S200之前,还包括:
S120,根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
预设查找请求是指客户端可能发起的查找请求,在运行全维度拆分算法之前,先根据这些可能发起的查找请求获取全维度拆分算法,并将其作为预设全维度拆分算法。根据客户端可能发起的预设查找请求来获取全维度拆分算法,可以有效对针对Hadoop数据库内的数据进行查找,并尽可能地囊括所有的查找可能,简化查找的过程。
如图3所示,在其中一个实施例中,S120主要包括:
S121,确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据查找字段获取全维度拆分算法。
用户端可能根据数据库内待查找样本数据所包含的数据字段来发起查找请求,所以可以根据客户端可能发起的查找请求包含的数据字段来获取全维度拆分算法。
在其中一个实施例中,S600具体包括:
获取实时查找请求,当预设查找请求包括实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;
当预设查找请求不包括实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在生产数据库内调用预设结果表获得查找结果,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
增量运算是指根据实时查找请求对预设全维度拆分算法进行修改,Hadoop数据库支持增量运算的功能,仅需要对全维度拆分算法进行增量修改,而不用完全修改整个算法。实时查找请求是指客户端发起的对数据库内待查找样本数据的查找请求,API接口是客户端与生产数据库的接口,在客户端发起实时查找请求之后,首先判断该实时查找请求是否在预设查找请求内,当预设查找请求包括该查找请求时,预设结果表包括该实时查找请求对应该的查找结果,客户端可以通过API接口调用完成导入的预设结果表来完成查找。但是预设查找请求不一定包括客户端发起的所有实时查找请求。通过增量运算修改预设全维度拆分算法,而后进行查找,能有效对预设查找请求之外的查找请求进行查找,并将其导入至预设结果表,完成查找。
在其中一个实施例中,S200之前还包括:
据待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,预设第一结果表与预设第二结果表相同。
在将数据导入生产数据库之前,可以在根据待查找样本数据的格式来在生产数据库内建立完全相同两张结果表,即预设第一结果表以及预设第二结果表,用于容纳全维度查找结果。
在其中一个实施例中,S200之前,还包括:
接收待查询数据,将待查询数据存入Hadoop数据库。
在查询之前,可以接受大量的待查询数据,并将这些待查询数据存入Hadoop数据库,而后根据用户可能会发起的数据字段,编写全维度拆分算法,同时支持编写完全维度拆分算法后,用户新增待查询数据,若新增的待查询数据包含可能发起请求的数据字段,则可以通过增量计算修改全维度拆分算法,将可能发起请求的数据字段新添加到算法内。使得算法可以充分得对编写前后的数据进行查询。
在其中一个实施例中,S600具体包括:
当接收到实时查找请求时,在生产数据库根据实时查找请求生成实时查找语句;
根据实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与实时查找请求对应的查找结果,完成查找。
当接受到客户端的实时查找请求后,可以再生产数据库内,根据客户端发起的实施请求所包含的数据字段生成实时查找语句,而后根据该实时查找语句生成在生产数据库内进行查找的实时查找语句,而后在生产数据库内处于空闲状态的预设结果表上进行查询,获取全维度查找结果中与实时查找语句对应的查找结果,完成查找。通过对实时查找请求进行分析,可以有效地在生产数据库中对正确的查找结果进行查找,完成客户端的实时请求。
在其中一个实施例中,本申请的数据查找方法,包括:接收待查询数据,将待查询数据存入Hadoop数据库。在生产数据库内建立预设第一结果表与预设第二结果表。根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,全维度查找结果为预设查找请求对应的目标数据。将全维度查找结果导入生产数据库内的预设第一结果表;当导入完成时,清空预设第二结果表内数据,再次运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果的步骤。当接收到实时查找请求时,判断预设查找请求是否包括实时查找请求,当预设查找请求包括实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;当预设查找请求不包括实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法的步骤,通过API接口在生产数据库内调用预设结果表完成查找,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,本申请的数据查找方法用于对贷款申请人的数据进行查询,接收待贷款申请人的数据信息,并将这些贷款申请人的相关数据信息存入Hadoop数据库,数据信息具体可以包括,申请人的申请次数、年龄、性别、籍贯、申请机构数目、所属行业等等信息。根据这些贷款申请人的相关数据信息来获取预设查找请求,比如查询用户可能根据贷款申请人的年龄、申请次数、性别等属性进行查询,根据这些可能被查询的数据字段即预设查找请求编写获取全维度拆分算法,并将获取的全维度拆分算法作为预设全维度拆分算法。并在在生产数据库内建立用于容纳全维度查找结果的预设第一结果表与预设第二结果表。在存储有这些数据信息的Hadoop数据库内运行预设全维度拆分算法,获得根据预设查找请求对应的全维度查找结果。而后在算法运行完成后,先将得到的全维度查找结果导入生产数据库内的预设第一结果表,当这次查询的数据全部导入完成时,清空预设第二结果表内数据,而后重新运行预设全维度拆分算法,将这次查找产生的全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果的步骤。当接收到实时查找请求时,判断预设查找请求是否包括实时查找请求,当预设查找请求包括该实时查找请求时,根据实时查找请求,直接通过API接口在生产数据库内直接调用预设结果表完成查找;当预设查找请求不包含实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,返回在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法的步骤,而后将产生的查找结果导入预设结果表,最后通过API接口在生产数据库内调用预设结果表完成查找。
应该理解的是,虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图4所示,本申请还提供一种数据查找装置,装置包括:
全维度查找模块200,用于基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,Hadoop数据库存储有待查找样本数据,全维度查找结果为预设查找请求对应的目标数据;
第一数据导入模块400,用于将全维度查找结果导入生产数据库内的预设第一结果表;
第二数据导入模块600,用于当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回全维度查找模块执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
实时查找模块800,当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,还包括算法获取模块,用于根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
在其中一个实施例中,算法获取模块具体用于:确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据查找字段获取全维度拆分算法。
在其中一个实施例中,实时查找模块800具体用于:当接收到实时查找请求时,判断预设查找请求是否包括实时查找请求;当预设查找请求包括实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;当预设查找请求不包括实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在生产数据库内调用预设结果表获得查找结果,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,还包括结果表创建模块,用于根据待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,预设第一结果表与预设第二结果表相同。
在其中一个实施例中,实时查找模块800还用于:当接收到实时查找请求时,在生产数据库根据实时查找请求生成实时查找语句;根据实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与实时查找请求对应的查找结果。
关于数据查找装置的具体限定可以参见上文中对于数据查找方法的限定,在此不再赘述。上述数据查找装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据查找方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,Hadoop数据库存储有待查找样本数据,全维度查找结果为预设查找请求对应的目标数据;
将全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据查找字段获取全维度拆分算法。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当接收到实时查找请求时,判断预设查找请求是否包括实时查找请求;当预设查找请求包括实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;当预设查找请求不包括实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在生产数据库内调用预设结果表获得查找结果,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,预设第一结果表与预设第二结果表相同。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当接收到实时查找请求时,在生产数据库根据实时查找请求生成实时查找语句;
根据实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与实时查找请求对应的查找结果。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,Hadoop数据库存储有待查找样本数据,全维度查找结果为预设查找请求对应的目标数据;
将全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据查找字段获取全维度拆分算法。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当接收到实时查找请求时,判断预设查找请求是否包括实时查找请求;当预设查找请求包括实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果,查找结果与实时查找对应,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;当预设查找请求不包括实时查找请求时,根据实时查找请求,通过增量运算修改预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在生产数据库内调用预设结果表获得查找结果,预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,预设第一结果表与预设第二结果表相同。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当接收到实时查找请求时,在生产数据库根据实时查找请求生成实时查找语句;
根据实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与实时查找请求对应的查找结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据查找方法,所述方法包括:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
将所述全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
2.根据权利要求1所述的方法,其特征在于,所述基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果之前,还包括:
根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据所述预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
3.根据权利要求1所述的方法,其特征在于,所述根据Hadoop数据库存储的待查找样本数据获取预设查找请求具体包括:
确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据所述查找字段获取全维度拆分算法。
4.根据权利要求1所述的方法,其特征在于,所述当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果包括:
当接收到实时查找请求时,判断预设查找请求是否包括所述实时查找请求;
当所述预设查找请求包括所述实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表;
当所述预设查找请求不包括所述实时查找请求时,根据所述实时查找请求,通过增量运算修改所述预设全维度拆分算法,清空预设第一结果表与预设第二结果表内数据,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
5.根据权利要求1所述的方法,其特征在于,所述在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法,获得全维度查找结果之前还包括:
根据所述待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表,所述预设第一结果表与所述预设第二结果表相同。
6.根据权利要求1所述的方法,其特征在于,所述当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果具体包括:
当接收到实时查找请求时,在所述生产数据库根据所述实时查找请求生成实时查找语句;
根据所述实时查找语句通过API接口在生产数据库内的预设结果表上进行查询,获得全维度查找结果中与所述实时查找请求对应的查找结果。
7.一种数据查找装置,其特征在于,所述装置包括:
全维度查找模块,用于基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
第一数据导入模块,用于将所述全维度查找结果导入生产数据库内的预设第一结果表;
第二数据导入模块,用于当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回全维度查找模块执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
实时查找模块,当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
8.根据权利要求7所述的装置,其特征在于,还包括:
算法获取模块,用于根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据所述预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6至中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537085.1A CN109800247A (zh) | 2018-12-14 | 2018-12-14 | 数据查找方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537085.1A CN109800247A (zh) | 2018-12-14 | 2018-12-14 | 数据查找方法、装置、计算机设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109800247A true CN109800247A (zh) | 2019-05-24 |
Family
ID=66556903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811537085.1A Pending CN109800247A (zh) | 2018-12-14 | 2018-12-14 | 数据查找方法、装置、计算机设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109800247A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800133A (zh) * | 2021-01-22 | 2021-05-14 | 平安养老保险股份有限公司 | 基于数据库直连的产品数据处理方法、装置、设备和介质 |
CN113157717A (zh) * | 2021-05-26 | 2021-07-23 | 深圳平安智汇企业信息管理有限公司 | 长数据链路的缓存刷新方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015504A1 (en) * | 2002-07-17 | 2004-01-22 | Rafiul Ahad | System and method for caching data for a mobile application |
US7016903B1 (en) * | 2001-01-25 | 2006-03-21 | Oracle International Corporation | Method for conditionally updating or inserting a row into a table |
CN104424258A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 多维数据查询的方法、查询服务器、列存储服务器及系统 |
CN106919691A (zh) * | 2017-03-06 | 2017-07-04 | 广东神马搜索科技有限公司 | 基于网页库进行检索的方法、装置及检索系统 |
CN108268476A (zh) * | 2016-12-30 | 2018-07-10 | 北京国双科技有限公司 | 数据查询方法及装置 |
-
2018
- 2018-12-14 CN CN201811537085.1A patent/CN109800247A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016903B1 (en) * | 2001-01-25 | 2006-03-21 | Oracle International Corporation | Method for conditionally updating or inserting a row into a table |
US20040015504A1 (en) * | 2002-07-17 | 2004-01-22 | Rafiul Ahad | System and method for caching data for a mobile application |
CN104424258A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 多维数据查询的方法、查询服务器、列存储服务器及系统 |
CN108268476A (zh) * | 2016-12-30 | 2018-07-10 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN106919691A (zh) * | 2017-03-06 | 2017-07-04 | 广东神马搜索科技有限公司 | 基于网页库进行检索的方法、装置及检索系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800133A (zh) * | 2021-01-22 | 2021-05-14 | 平安养老保险股份有限公司 | 基于数据库直连的产品数据处理方法、装置、设备和介质 |
CN113157717A (zh) * | 2021-05-26 | 2021-07-23 | 深圳平安智汇企业信息管理有限公司 | 长数据链路的缓存刷新方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111596965B (zh) | 项目工程初始化方法、装置、计算机设备和存储介质 | |
CN109814854B (zh) | 项目框架生成方法、装置、计算机设备和存储介质 | |
CN109634654A (zh) | 一种页面封装方法、装置、系统、计算机设备和存储介质 | |
CN110489421A (zh) | 数据存储方法、装置、计算机可读存储介质和计算机设备 | |
CN111708586B (zh) | 应用启动配置项加载方法、装置、计算机设备和存储介质 | |
US20210248622A1 (en) | Methods, apparatuses, and devices for generating digital document of title | |
CN109361628B (zh) | 报文组装方法、装置、计算机设备和存储介质 | |
CN111797134A (zh) | 分布式数据库的数据查询方法、装置和存储介质 | |
CN109710220B (zh) | 关系型数据库查询方法、装置、设备及存储介质 | |
CN111324716A (zh) | 指标数据获取方法、装置、计算机设备和存储介质 | |
CN109800247A (zh) | 数据查找方法、装置、计算机设备以及存储介质 | |
CN111596945B (zh) | 嵌入式系统动态多分区固件的差分升级方法 | |
CN110457401B (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
CN111209061A (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
US20220039001A1 (en) | Network search method and apparatus, device and storage medium | |
CN110362341A (zh) | 基于微服务架构的业务管理方法、装置、设备和存储介质 | |
CN113032078A (zh) | 页面展示方法、装置、电子设备和计算机可读存储介质 | |
CN117234582A (zh) | 一种项目代码处理方法、装置、电子设备及存储介质 | |
CN116048609A (zh) | 配置文件更新方法、装置、计算机设备和存储介质 | |
CN115599787A (zh) | 一种水平分表方法、装置、电子设备及存储介质 | |
US11334600B1 (en) | Partial reloading in data synchronization | |
CN109451064B (zh) | web应用的离线实现方法、装置、计算机设备和存储介质 | |
US8887125B1 (en) | Systems and methods for dynamic artefact substitution | |
CN112835886A (zh) | 数据表字段添加方法和装置 | |
CN116643846B (zh) | 基于容器集群编排管理平台的定时任务处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |