CN104484400B - 数据查询处理方法及装置 - Google Patents
数据查询处理方法及装置 Download PDFInfo
- Publication number
- CN104484400B CN104484400B CN201410773640.6A CN201410773640A CN104484400B CN 104484400 B CN104484400 B CN 104484400B CN 201410773640 A CN201410773640 A CN 201410773640A CN 104484400 B CN104484400 B CN 104484400B
- Authority
- CN
- China
- Prior art keywords
- data
- checked
- query
- database
- query result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 9
- 235000013399 edible fruits Nutrition 0.000 description 13
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据查询处理方法及装置。该方法包括：获取待查询数据；对待查询数据执行排序处理，得到排序后的待查询数据；判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及将第一数据查询结果存储至缓存数据库。通过本发明，解决了现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据查询处理方法及装置。
背景技术
在使用数据转化处理工具(SSIS)进行将数据从来源端经过萃取、转置、加载(Extract-Transform-Load，简称为ETL)操作的过程中，为了判断来自于源系统的数据是否已经存在于目标系统或者需要从维度表中获取主键，从而建立主外键关系，通常，需要对表进行查找(Lookup)操作。如果需要Lookup的目标表或者维度表的数据量比较小，可以在软件工具包中的Lookup组件配置项里，通过设置全部缓存的方式把表的数据全部载入内存。但是如果表的数据很大，以至于没有办法全部载入内存，现有技术中，是通过部分缓存的方式，把一部分数据载入内存。当需要查找的数据不在缓存中，则每条数据都会向数据库发出一次即时查询。
由于缓存是直接访问内存，而数据库需要更多的IO操作，不仅会影响数据库的处理效率，而且对数据库也会产生影响，所以从缓存中直接命中数据的效率比直接访问数据库查找数据要高出很多。而在部分缓存的情形下，什么样的数据放在缓存中会直接影响缓存查询的命中率。如果命中率太低，则意味着大量的数据库请求，对数据库来说是不小的压力，同时也会影响整个ETL效率。
针对现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种数据查询处理方法及装置，以解决现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种数据查询处理方法。
根据本发明的数据查询处理方法包括：获取待查询数据；对待查询数据执行排序处理，得到排序后的待查询数据；判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及将第一数据查询结果存储至缓存数据库。
进一步地，对待查询数据执行排序处理，得到排序后的待查询数据包括：确定待查询数据来源的系统；判断待查询数据来源的系统是否为支持数据排序的系统；如果待查询数据来源的系统为支持数据排序的系统，则对待查询数据执行排序处理，得到在与排序后的待查询数据对应的查询结果；如果待查询数据来源的系统不支持数据排序的系统，加载数据转化处理工具；以及根据数据转化处理工具中的排序组件对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果。
进一步地，如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询之后，该方法还包括：获取在缓存数据库中执行数据查询的第二数据查询结果；将第二数据查询结果发送至数据转化处理工具；以及数据转化处理工具将第二数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
进一步地，将第一数据查询结果存储至缓存数据库之后，该方法还包括：获取在查询数据库中执行数据查询的第一数据查询结果；将第一数据查询结果发送至数据转化处理工具；以及数据转化处理工具将第一数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
进一步地，在对待查询数据执行排序处理，得到排序后的待查询数据之后，在判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果之前，该方法还包括：将数据转化处理工具中的缓存模式设置为部分缓存模式，其中，在部分缓存模式下，数据转化处理工具缓存数据库中存储部分数据；以及在将数据转化处理工具中的缓存模式设置为部分缓存模式之后，确定缓存数据库，其中，缓存数据库用于对待查询数据执行查询的数据库。
进一步地，如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果包括：确定查询数据库；接收查询指令，其中，查询指令为用于指示执行数据查询的指令；以及根据查询指令在查询数据库中执行数据查询，得到第一数据查询结果。
为了实现上述目的，根据本发明的另一方面，提供了一种数据查询处理装置。
根据本发明的数据查询处理装置包括：第一获取单元，用于获取待查询数据；排序单元，用于对待查询数据执行排序处理，得到排序后的待查询数据；判断单元，用于判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；第一查询单元，用于在缓存数据库中能查询到与排序后的待查询数据对应的查询结果的情况下，在缓存数据库中执行数据查询；第二查询单元，用于在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果的情况下，在查询数据库中执行数据查询，返回第一数据查询结果；以及存储单元，用于将第一数据查询结果存储至缓存数据库。
进一步地，排序单元包括：第一确定模块，用于确定待查询数据来源的系统；判断模块，用于判断待查询数据来源的系统是否为支持数据排序的系统；第一排序模块，用于在待查询数据来源的系统为支持数据排序的系统的情况下，则对待查询数据执行排序处理，得到在排序后的待查询数据；加载模块，用于在待查询数据来源的系统不支持数据排序的系统的情况下，加载数据转化处理工具；以及第二排序模块，用于根据数据转化处理工具中的排序组件对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果。
进一步地，该装置还包括：第二获取单元，用于获取在缓存数据库中执行数据查询的第二数据查询结果；发送单元，用于将第二数据查询结果发送至数据转化处理工具；以及转发单元，用于数据转化处理工具将第二数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
进一步地，第二查询单元包括：第二确定模块，用于确定查询数据库；接收模块，用于接收查询指令，其中，查询指令为用于指示执行数据查询的指令；以及查询模块，用于根据查询指令在查询数据库中执行数据查询，得到第一数据查询结果。
通过本发明，采用以下步骤：获取待查询数据；对待查询数据执行排序处理，得到排序后的待查询数据；判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及将第一数据查询结果存储至缓存数据库，解决了现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题，进而达到了基于数据转化处理工具执行查询处理时，提升处理效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明第一实施例的数据查询处理方法的流程图；
图2是根据本发明第二实施例的数据查询处理方法的流程图；以及
图3是根据本发明实施例的数据查询处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明的实施例，提供了一种数据查询处理方法。
图1是根据本发明第一实施例的数据查询处理方法的流程图。如图1所示，该方法包括如下的步骤S101至步骤S106：
步骤S101，获取待查询数据。
获取需要查询的数据。获取需要查询的数据方式有多种，例如，通过接收外部数据的数据确定并获取需要查询的数据；通过获取数据源的数据作为需要查询的数据等等。
步骤S102，对待查询数据执行排序处理，得到排序后的待查询数据。
对上述获取到的需要查询数据执行排序处理，得到排序后的待查询数据。通过该步骤，对待查询数据进行排序，将相似或相同的数据排列相邻，在对待查询数据执行查询处理时，加快了对待查询数据查询处理的效率。
步骤S103，判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果。
需要说明的是，在发明中，缓存数据库为ETL缓存。ETL缓存为系统内的缓存，供ETL过程使用。
加载数据转化处理工具(SSIS)，在SSIS的查询(Lookup)组件里，设置Cache模式为部分缓存模式，其中，在部分缓存模式下，该数据转化处理工具ETL缓存中存储部分数据。同时制定ETL缓存的大小(ETL缓存的大小会直接影响数据在ETL缓存中的生存周期)，并且勾选“Enable cache for rows with no matching entries”选项，该选项允许ETL缓存中查询返回的数据。
判断在Lookup组件的ETL缓存中是否能够查询到与排序后的待查询数据对应的查询结果。
步骤S104，如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询。
如果在Lookup组件的ETL缓存中能够查询到与排序后的待查询数据对应的查询结果，在ETL缓存中执行数据查询。通过该步骤，在ETL缓存中执行数据查询是直接访问内存，因此，提高了数据查询速度。
步骤S105，如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果。
如果在Lookup组件的ETL缓存中不能查询到与排序后的待查询数据对应的查询结果，Lookup组件向查询数据库发出请求。上述步骤中设置了“Enable cache for rowswithno matching entries”，进行待查询数据查找操作时，如果ETL缓存中不存在与待查询数据对应关系的查询结果，则向查询数据库中发起查询，返回的查询结果会被存入ETL缓存中。后续相同的待查询数据可以直接访问缓存，而不需要再向查询数据库发出请求。
优选地，如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询包括：确定查询数据库；接收查询指令，其中，查询指令为用于指示执行数据查询的指令；以及根据查询指令在查询数据库中执行数据查询，得到第一数据查询结果。
步骤S106，将第一数据查询结果存储至缓存数据库。
通过该步骤，Lookup组件向查询数据库发出请求之后，使得查询数据库查询返回值即时存储至ETL缓存中，提高了在ETL缓存中执行数据查询的命中率，从而降低对数据库的请求次数，提升整个ETL过程的效率。
本发明实施例提供的数据查询处理方法，通过获取待查询数据；对待查询数据执行排序处理，得到排序后的待查询数据；判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及将第一数据查询结果存储至缓存数据库，解决了现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题。进而达到了基于数据转化处理工具执行查询处理时，提升处理效率的效果。
图2是根据本发明第二实施例的数据查询处理方法的流程图。图2可以作为图1所示实施例的一种优选实施方式。如图2所示，该方法包括如下的步骤S201至步骤S210：
步骤S201，获取待查询数据。
该步骤同上述步骤S101，在此不在赘述。
步骤S202，确定待查询数据来源的系统。
确定待查询数据来源的系统。在SSIS中，通过数据源的驱动可以判断待查询数据来源的系统，如使用FlatFile(平文件)为驱动，待查询数据来源的系统为源文件，如果待查询数据来源的系统是OLE DB，则为数据库。
步骤S203，判断待查询数据来源的系统是否为支持数据排序的系统。
为了让相同或相近的数据相邻，需要对待查询数据进行排序，因此判断待查询数据来源的系统是否为支持数据排序的系统。
步骤S204，如果待查询数据来源的系统为支持数据排序的系统，则对待查询数据执行排序处理，得到在排序后的待查询数据。
如果判断出待查询数据来源的系统为支持数据排序的系统，则对待查询数据执行排序处理，得到在与排序后的待查询数据对应的查询结果。
例如，如果判断出待查询数据来源的系统为数据库，则在数据库抽取阶段，直接在数据库中对待查询数据进行排序。
通过该步骤，对待查询数据进行排序，因此相似或相同的数据排列在一起，在对待查询数据执行查询处理时，加快了对待查询数据查询处理的效率。
步骤S205，如果待查询数据来源的系统不支持数据排序的系统，加载数据转化处理工具。
如果判断出待查询数据来源的系统不支持数据排序的系统，加载数据转化处理工具。即加载SSIS。
步骤S206，根据数据转化处理工具中的排序组件对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果。
在加载的SSIS之后，在该SSIS上添加Sort组件，根据SSIS上Sort组件对待查询数据进行排序，得到与排序后的待查询数据对应的查询结果。
通过该步骤，对待查询数据进行排序，因此相似或相同的数据排列在一起，在对待查询数据执行查询处理时，加快了对待查询数据查询处理的效率。
步骤S207，判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果。
该步骤同上述步骤S103，在此不在赘述。
步骤S208，如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；
该步骤同上述步骤S104，在此不在赘述。
步骤S209，如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果。
该步骤同上述步骤S105，在此不在赘述。
步骤S210，将第一数据查询结果存储至缓存数据库。
该步骤同上述步骤S106，在此不在赘述。
优选地，在本发明实施例提供的数据查询处理方法中，如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询之后，该方法还包括：获取在缓存数据库中执行数据查询的第二数据查询结果；将第二数据查询结果发送至数据转化处理工具；以及数据转化处理工具将第二数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
通过将在缓存数据库中执行数据查询得到的第二数据查询结果发送至目标数据库，保证了能够对数据查询结果进行统一入库，从而方便用户查看数据查询结果。
优选地，在本发明实施例提供的数据查询处理方法中，将第一数据查询结果存储至缓存数据库之后，该方法还包括：获取在查询数据库中执行数据查询的第一数据查询结果；将第一数据查询结果发送至数据转化处理工具；以及数据转化处理工具将第一数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
通过将在查询数据库中执行数据查询得到的第一数据查询结果发送至目标数据库，保证了能够对数据查询结果进行统一入库，从而方便用户查看数据查询结果。
优选地，在本发明实施例提供的数据查询处理方法中，在对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果之后，在判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果之前，该方法还包括：将数据转化处理工具中的缓存模式设置为部分缓存模式，其中，在部分缓存模式下，数据转化处理工具缓存数据库中存储部分数据；以及在将数据转化处理工具中的缓存模式设置为部分缓存模式之后，确定缓存数据库，其中，缓存数据库用于对待查询数据执行查询的数据库。
本发明实施例提供的数据查询处理方法，通过获取待查询数据；确定待查询数据来源的系统；判断待查询数据来源的系统是否为支持数据排序的系统；如果待查询数据来源的系统为支持数据排序的系统，则对待查询数据执行排序处理，得到在排序后的待查询数据；如果待查询数据来源的系统不支持数据排序的系统，加载数据转化处理工具；根据数据转化处理工具中的排序组件对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果；判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；如果在缓存数据库中能查询到与排序后的待查询数据对应的查询结果，在缓存数据库中执行数据查询；如果在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及将第一数据查询结果存储至缓存数据库，解决了现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题，进而达到了基于数据转化处理工具执行查询处理时，提升处理效率的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种数据查询处理装置，需要说明的是，本发明实施例的数据查询处理装置可以用于执行本发明实施例所提供的用于数据查询处理方法。以下对本发明实施例提供的数据查询处理装置进行介绍。
图3是根据本发明实施例的数据查询处理装置的示意图。如图3所示，该装置包括：第一获取单元10，排序单元20，判断单元30，第一查询单元40，第二查询单元50和存储单元60。
第一获取单元10，用于获取待查询数据。
排序单元20，用于对待查询数据执行排序处理，得到排序后的待查询数据。
优选地，排序单元20包括：第一确定模块，用于确定待查询数据来源的系统；判断模块，用于判断待查询数据来源的系统是否为支持数据排序的系统；第一排序模块，用于在待查询数据来源的系统为支持数据排序的系统的情况下，则对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果；加载模块，用于在待查询数据来源的系统不支持数据排序的系统的情况下，加载数据转化处理工具；以及第二排序模块，用于根据数据转化处理工具中的排序组件对待查询数据执行排序处理，得到与排序后的待查询数据对应的查询结果。
判断单元30，用于判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果。
第一查询单元40，用于在缓存数据库中能查询到与排序后的待查询数据对应的查询结果的情况下，在缓存数据库中执行数据查询。
第二查询单元50，用于在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果的情况下，在查询数据库中执行数据查询，返回第一数据查询结果。
优选地，第二查询单元50包括：第二确定模块，用于确定查询数据库；接收模块，用于接收查询指令，其中，查询指令为用于指示执行数据查询的指令；以及查询模块，用于根据查询指令在查询数据库中执行数据查询，得到第一数据查询结果。
存储单元60，用于将第一数据查询结果存储至缓存数据库。
优选地，在本发明实施例提供的数据查询处理装置中，该装置还包括：第二获取单元，用于获取在缓存数据库中执行数据查询的第二数据查询结果；发送单元，用于将第二数据查询结果发送至数据转化处理工具；以及转发单元，用于数据转化处理工具将第二数据查询结果转发至目标数据库，其中，目标数据库为用于存储数据查询结果的数据库。
本发明实施例提供的数据查询处理装置，通过第一获取单元10获取待查询数据；排序单元20对待查询数据执行排序处理，得到排序后的待查询数据；判断单元30判断在缓存数据库中是否能够查询到与排序后的待查询数据对应的查询结果；第一查询单元40在缓存数据库中能查询到与排序后的待查询数据对应的查询结果的情况下，在缓存数据库中执行数据查询；第二查询单元50在缓存数据库中不能查询到与排序后的待查询数据对应的查询结果的情况下，在查询数据库中执行数据查询，返回第一数据查询结果；以及存储单元60将第一数据查询结果存储至缓存数据库，解决了现有技术中基于数据转化处理工具执行查询处理时，处理效率低的问题，进而达到了基于数据转化处理工具执行查询处理时，提升处理效率的效果。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据查询处理方法，其特征在于，包括：
获取待查询数据；
对所述待查询数据执行排序处理，得到排序后的待查询数据；
判断在缓存数据库中是否能够查询到与所述排序后的待查询数据对应的查询结果；
如果在所述缓存数据库中能查询到与所述排序后的待查询数据对应的查询结果，在所述缓存数据库中执行数据查询；
如果在所述缓存数据库中不能查询到与所述排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果；以及
将所述第一数据查询结果存储至所述缓存数据库，
其中，对所述待查询数据执行排序处理，得到排序后的待查询数据包括：
确定所述待查询数据来源的系统；
判断所述待查询数据来源的系统是否为支持数据排序的系统；
如果所述待查询数据来源的系统为支持数据排序的系统，则对所述待查询数据执行排序处理，得到在排序后的待查询数据；
如果所述待查询数据来源的系统不支持数据排序的系统，加载数据转化处理工具；以及
根据所述数据转化处理工具中的排序组件对所述待查询数据执行排序处理，得到排序后的待查询数据。
2.根据权利要求1所述的方法，其特征在于，如果在所述缓存数据库中能查询到与所述排序后的待查询数据对应的查询结果，在所述缓存数据库中执行数据查询之后，所述方法还包括：
获取在所述缓存数据库中执行数据查询的第二数据查询结果；
将所述第二数据查询结果发送至所述数据转化处理工具；以及
所述数据转化处理工具将所述第二数据查询结果转发至目标数据库，其中，所述目标数据库为用于存储数据查询结果的数据库。
3.根据权利要求1所述的方法，其特征在于，将所述第一数据查询结果存储至所述缓存数据库之后，所述方法还包括：
获取在所述查询数据库中执行数据查询的第一数据查询结果；
将所述第一数据查询结果发送至所述数据转化处理工具；以及
所述数据转化处理工具将所述第一数据查询结果转发至目标数据库，其中，所述目标数据库为用于存储数据查询结果的数据库。
4.根据权利要求1所述的方法，其特征在于，在对所述待查询数据执行排序处理，得到排序后的待查询数据之后，在判断在缓存数据库中是否能够查询到与所述排序后的待查询数据对应的查询结果之前，所述方法还包括：
将所述数据转化处理工具中的缓存模式设置为部分缓存模式，其中，在所述部分缓存模式下，所述数据转化处理工具缓存数据库中存储部分数据；以及
在将所述数据转化处理工具中的缓存模式设置为部分缓存模式之后，确定所述缓存数据库，其中，所述缓存数据库用于对待查询数据执行查询的数据库。
5.根据权利要求1所述的方法，其特征在于，如果在所述缓存数据库中不能查询到与所述排序后的待查询数据对应的查询结果，在查询数据库中执行数据查询，返回第一数据查询结果包括：
确定所述查询数据库；
接收查询指令，其中，所述查询指令为用于指示执行数据查询的指令；以及
根据所述查询指令在所述查询数据库中执行数据查询，得到所述第一数据查询结果。
6.一种数据查询处理装置，其特征在于，包括：
第一获取单元，用于获取待查询数据；
排序单元，用于对所述待查询数据执行排序处理，得到排序后的待查询数据；
判断单元，用于判断在缓存数据库中是否能够查询到与所述排序后的待查询数据对应的查询结果；
第一查询单元，用于在所述缓存数据库中能查询到与所述排序后的待查询数据对应的查询结果的情况下，在所述缓存数据库中执行数据查询；
第二查询单元，用于在所述缓存数据库中不能查询到与所述排序后的待查询数据对应的查询结果的情况下，在查询数据库中执行数据查询，返回第一数据查询结果；以及
存储单元，用于将所述第一数据查询结果存储至所述缓存数据库，
其中，所述排序单元包括：
第一确定模块，用于确定所述待查询数据来源的系统；
判断模块，用于判断所述待查询数据来源的系统是否为支持数据排序的系统；
第一排序模块，用于在所述待查询数据来源的系统为支持数据排序的系统的情况下，则对所述待查询数据执行排序处理，得到在排序后的待查询数据；
加载模块，用于在所述待查询数据来源的系统不支持数据排序的系统的情况下，加载数据转化处理工具；以及
第二排序模块，用于根据所述数据转化处理工具中的排序组件对所述待查询数据执行排序处理，得到排序后的待查询数据。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取在所述缓存数据库中执行数据查询的第二数据查询结果；
发送单元，用于将所述第二数据查询结果发送至所述数据转化处理工具；以及
转发单元，用于所述数据转化处理工具将所述第二数据查询结果转发至目标数据库，其中，所述目标数据库为用于存储数据查询结果的数据库。
8.根据权利要求6所述的装置，其特征在于，所述第二查询单元包括：
第二确定模块，用于确定所述查询数据库；
接收模块，用于接收查询指令，其中，所述查询指令为用于指示执行数据查询的指令；以及
查询模块，用于根据所述查询指令在所述查询数据库中执行数据查询，得到所述第一数据查询结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410773640.6A CN104484400B (zh) | 2014-12-12 | 2014-12-12 | 数据查询处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410773640.6A CN104484400B (zh) | 2014-12-12 | 2014-12-12 | 数据查询处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104484400A CN104484400A (zh) | 2015-04-01 |
| CN104484400B true CN104484400B (zh) | 2018-02-23 |
Family
ID=52758941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410773640.6A Active CN104484400B (zh) | 2014-12-12 | 2014-12-12 | 数据查询处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104484400B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550271B (zh) * | 2015-12-10 | 2018-12-25 | 成都广达新网科技股份有限公司 | 一种基于键值对的内存数据库查询方法及装置 |
| CN108268476B (zh) * | 2016-12-30 | 2021-11-30 | 北京国双科技有限公司 | 数据查询方法及装置 |
| CN108829747B (zh) * | 2018-05-24 | 2019-09-17 | 新华三大数据技术有限公司 | 数据加载方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866350A (zh) * | 2010-05-11 | 2010-10-20 | 中兴通讯股份有限公司 | 报表生成方法、装置及web服务器 |
| CN101937474A (zh) * | 2010-10-14 | 2011-01-05 | 广州从兴电子开发有限公司 | 海量数据查询方法及设备 |
| CN102163195A (zh) * | 2010-02-22 | 2011-08-24 | 北京东方通科技股份有限公司 | 一种基于分布式、异构数据库统一视图的查询优化方法 |
| CN103020115A (zh) * | 2012-11-13 | 2013-04-03 | 深圳市同洲电子股份有限公司 | 一种数据缓存的方法、缓存服务器及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2307155A1 (en) * | 2000-04-28 | 2001-10-28 | Ibm Canada Limited-Ibm Canada Limitee | Execution of database queries including filtering |
-
2014
- 2014-12-12 CN CN201410773640.6A patent/CN104484400B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163195A (zh) * | 2010-02-22 | 2011-08-24 | 北京东方通科技股份有限公司 | 一种基于分布式、异构数据库统一视图的查询优化方法 |
| CN101866350A (zh) * | 2010-05-11 | 2010-10-20 | 中兴通讯股份有限公司 | 报表生成方法、装置及web服务器 |
| CN101937474A (zh) * | 2010-10-14 | 2011-01-05 | 广州从兴电子开发有限公司 | 海量数据查询方法及设备 |
| CN103020115A (zh) * | 2012-11-13 | 2013-04-03 | 深圳市同洲电子股份有限公司 | 一种数据缓存的方法、缓存服务器及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104484400A (zh) | 2015-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106412137B (zh) | 一种文件下载系统及文件下载方法 | |
| CN104484400B (zh) | 数据查询处理方法及装置 | |
| US9280609B2 (en) | Exact match lookup scheme | |
| CN102479207B (zh) | 一种信息搜索的方法、系统及信息搜索设备 | |
| CN105117289A (zh) | 基于云测试平台的任务分配方法、装置及系统 | |
| CN106202441A (zh) | 基于关系型数据库的数据处理方法、装置和系统 | |
| CN106933854A (zh) | 短链接处理方法、装置及服务器 | |
| CN101594319A (zh) | 表项查找方法和装置 | |
| CN105608159B (zh) | 数据缓存的方法和装置 | |
| CN105637498A (zh) | eUICC的管理方法、eUICC、SM平台和系统 | |
| CN105827604A (zh) | 服务器业务处理方法及服务器 | |
| CN101848248B (zh) | 一种规则查找方法和装置 | |
| CN107562743B (zh) | 数据存储方法和装置、数据查找请求的处理方法和装置 | |
| CN104580451A (zh) | 实现多平台间账号同步的方法和系统、及电子设备 | |
| CN105279017A (zh) | 基于云测试平台的任务分配方法、装置及系统 | |
| CN105183564A (zh) | 基于云测试平台的设备调度方法、装置及系统 | |
| CN104317795A (zh) | 一种二维过滤器的生成方法、查询方法及装置 | |
| CN107436910A (zh) | 一种数据查询方法和装置 | |
| CN106817236A (zh) | 虚拟网络功能的配置方法和装置 | |
| CN104239337B (zh) | 基于tcam的查表处理方法及装置 | |
| CN106161519A (zh) | 一种信息获取方法和装置 | |
| CN104253754B (zh) | 一种acl快速匹配的方法和设备 | |
| CN105978868A (zh) | Ip地址权限的查找方法及装置 | |
| CN107679148A (zh) | 一种分布式文件系统的会话查找方法、装置及设备 | |
| CN112667640B (zh) | 一种路由地址存储方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for data query processing Effective date of registration: 20190531 Granted publication date: 20180223 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20180223 |