CN106776848B - 一种数据库查询方法及装置 - Google Patents
一种数据库查询方法及装置 Download PDFInfo
- Publication number
- CN106776848B CN106776848B CN201611066037.XA CN201611066037A CN106776848B CN 106776848 B CN106776848 B CN 106776848B CN 201611066037 A CN201611066037 A CN 201611066037A CN 106776848 B CN106776848 B CN 106776848B
- Authority
- CN
- China
- Prior art keywords
- query
- partition view
- database
- data
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据库查询方法及装置,用于解决现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。本发明实施例的数据库查询方法包括:接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,所述预置分区视图通过数据库数据并结合目标索引字段建立。
Description
本申请要求于2016年11月04日提交中国专利局、申请号为201610961824.4、发明名称为“一种数据库查询方法及装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据库查询方法及装置。
背景技术
传统的关系型数据库往往基于结构化查询语言(Structured Query Language,以下简称:SQL)语句来实现。每次查询时,业务系统可以将SQL语句和查询参数传递到数据库服务器,例如可以通过调用部署在该业务系统上的数据库客户端来发送该SQL语句和查询参数。数据库服务器解析SQL语句,使用CPU从磁盘中加载数据进行查询处理,在内存中进行比对等一系列操作,然后向业务系统返回查询结果,并同时返回查询结果的元数据信息。数据查询时间往往取决于处理查询业务的各硬件间协调、连贯地处理查询业务时间的总和。
但是,现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量(即单位时间内读写数据的数量)的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度。
发明内容
本发明实施例提供的一种数据库查询方法及装置,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
本发明实施例提供的一种数据库查询方法,包括:
接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,预置分区视图通过数据库数据并结合目标索引字段建立。
可选地,接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令之前还包括:
获取到对数据库数据进行以主键为目标索引字段的第一分区视图的建立,或对数据库数据进行至少两个目标索引字段的组合第二分区视图的建立的分区视图指令;
根据分区视图指令进行预置分区视图配置。
可选地,根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果具体包括:
根据并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
获取到通过每个子进程查询的结果所返回的查询总数;
根据并行业务查询命令的查询条件和查询总数进行数据合并处理,并对合并后的数据与预置分区视图进行匹配,返回匹配结果。
可选地,根据并行业务查询命令的查询条件和查询总数进行数据合并处理,并对合并后的数据与预置分区视图进行匹配,返回匹配结果之后还包括:
根据匹配结果,对匹配到的数据进行对应的具体分区视图的计算,并在对应的具体分区视图中进行查询,返回查询结果。
可选地,数据库查询方法还包括:
获取到根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令,并根据分区视图调整指令进行预置分区视图的实时配置处理。
本发明实施例提供的一种数据库查询装置,包括:
接收单元,用于接收由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
查询返回单元,用于根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,所述预置分区视图通过数据库数据并结合目标索引字段建立。
可选地,数据库查询装置还包括:
第一获取单元,用于获取到对数据库数据进行以主键为目标索引字段的第一分区视图的建立的分区视图指令;
第二获取单元,用于获取到对数据库数据进行至少两个目标索引字段的组合第二分区视图的建立的分区视图指令;
配置单元,用于根据分区视图指令进行预置分区视图配置。
可选地,查询返回单元包括:
第一查询子单元,用于根据并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
第一获取子单元,用于获取通过每个子进程查询的结果所返回的查询总数;
合并返回子单元,用于根据并行业务查询命令的查询条件和查询总数进行数据合并处理,并对合并后的数据与预置分区视图进行匹配,返回匹配结果。
可选地,查询返回单元还包括:
第二查询子单元,用于根据匹配结果,对匹配到的数据进行对应的具体分区视图的计算,并在对应的具体分区视图中进行查询,返回查询结果。
可选地,数据库查询装置还包括:
调整单元,用于获取到根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令,并根据分区视图调整指令进行预置分区视图的实时配置处理。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例提供了一种数据库查询方法及装置,其中,数据库查询方法包括:接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,预置分区视图通过数据库数据并结合目标索引字段建立。本实施例中,通过首先接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令,确定了当数据库查询方式在关系型数据库单表数据在超过千万记录数以后直接进入与第一接口连接的存在有预置分区视图的另一硬件设备,因为超过千万记录数与并行业务查询命令相对应,然后根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,实现了在另一硬件设备单独并行处理大量数据,且预置分区视图通过数据库数据并结合目标索引字段建立,使得处理的过程更加快速高效,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种数据库查询方法的一个实施例的流程示意图;
图2为本发明实施例提供的一种数据库查询方法的另一个实施例的流程示意图;
图3为本发明实施例提供的一种数据库查询装置的一个实施例的结构示意图;
图4为本发明实施例提供的一种数据库查询装置的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供的一种数据库查询方法及装置,用于解决现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供的一种数据库查询方法,包括:
101、接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
本实施例中,当需要进行数据库查询时,首先需要将单表数据量超过千万纪录数的大表通过第一接口与数据库查询装置连接,数据库查询装置另一接口与应用服务器连接。其中,应用服务器接收用户的访问。在应用服务器根据用户的查询指令按其自身业务的定义和配置确定使用并行服务的业务时,应用服务器通过内部的socket协议(网络传输协议),通过json格式(互联网通用数据格式,可以支持数组、不同数据类型的格式)将请求条件和查询语句内容提交给数据库查询装置,由数据库查询装置访问数据库,并等待数据库查询装置通过json格式返回的查询结果。
在应用服务器根据用户的查询指令进行处理后,数据库查询装置接收到由应用服务器根据用户的查询指令按其自身业务的定义和配置通过第一接口发出的并行业务查询命令。
102、根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,预置分区视图通过数据库数据并结合目标索引字段建立。
在接收到由应用服务器根据用户的查询指令按其自身业务的定义和配置通过第一接口发出的并行业务查询命令后,根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果。其中,预置分区视图通过数据库数据并结合目标索引字段建立。
本实施例中,通过首先接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令,确定了当数据库查询方式在关系型数据库单表数据在超过千万记录数以后直接进入与第一接口连接的存在有预置分区视图的另一硬件设备,因为超过千万记录数与并行业务查询命令相对应,然后根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,实现了在另一硬件设备单独并行处理大量数据,且预置分区视图通过数据库数据并结合目标索引字段建立,使得处理的过程更加快速高效,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
以上为对本发明实施例提供的一种数据库查询方法进行的详细的描述,以下将对本发明实施例提供的一种数据库查询方法的过程进行详细的描述。请参阅图2,本发明实施例提供的一种数据库查询方法的另一个实施例包括:
201、获取到对数据库数据进行以主键为目标索引字段的第一分区视图的建立,或对数据库数据进行至少两个目标索引字段的组合第二分区视图的建立的分区视图指令;
本实施例中,当需要进行数据库查询时,首先需要在启用查询服务前,数据库查询装置接收根据所需查询的大表的数据分布情况结合自身查询信息而发出的根据目标索引字段对数据库数据进行预置分区视图建立的分区视图指令。
需要说明的是,在接收分区视图指令后,可将大表的数据以主键为目标索引字段进行第一分区视图建立,比如根据主键从1-20,21-40,41-60这样的方式分为多个分区,对每个分区建立一个独立的视图。比如根据业务的数据进行分表,比如1月份一个表,2月份一个表,3月份一个表等。
或者,进行对数据库数据进行至少两个目标索引字段的组合的第二分区视图的建立。比如使用组合条件(如:性别+区域+客户类型):男的+集团客户+海珠区作为一个区域,女的+普通客户+海珠区作为一个区域,每个区域对应一个视图。
202、根据分区视图指令进行预置分区视图配置;
在接收分区视图指令后,即将大表的数据根据目标索引字段进行分区视图建立,进行预置分区视图配置及对分区数据的分布,形成不一定规律但满足系统高效运行的数据视图。其中,该预置分区视图配置与步骤201中根据所需查询的大表的信息分布情况结合自身查询信息而发出的根据目标索引字段对数据库数据进行预置分区视图建立的分区视图指令相对应。
203、接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
在用户对应用服务器输入查询命令后,数据库查询装置接收到由应用服务器根据用户的查询指令按其自身业务的定义和配置通过第一接口发出的并行业务查询命令。
204、根据并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
在接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令后,数据库查询装置通过访问预置分区视图配置,分别根据每个视图产生对应的子进程进行查询,对应的子进程可以是访问灾备库或者访问生产库。其中,预置分区视图通过数据库数据并结合目标索引字段建立,该预置分区视图通过数据库数据并结合目标索引字段建立可以是与步骤201的过程一致,此处具体不做赘述。
205、获取到通过每个子进程查询的结果所返回的查询总数;
在结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询后,并行查询服务等待每个子进程的查询结果,获取到每个子进程返回查询总数。
206、根据并行业务查询命令的查询条件和查询总数进行数据合并处理,并对合并后的数据与预置分区视图进行匹配,返回匹配结果;
当获取到通过每个子进程查询的结果所返回的查询总数之后,需要根据并行业务查询命令的查询条件和每个子进程返回的查询总数进行数据合并处理,并进行对合并后的数据与每个预置分区视图的匹配,返回匹配结果。
207、根据匹配结果,对匹配到的数据进行对应的具体分区视图的计算,并在对应的具体分区视图中进行查询,返回查询结果;
当返回匹配结果之后,需要根据合并后的数据与每个预置分区视图匹配到的结果,通过分页请求,对匹配到的数据进行对应的具体分区视图的计算,可得到数据所在的具体分区视图,并在对应的视图上进行查询结果,最后返回查询结果到应用服务器给用户。
208、获取到根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令,并根据分区视图调整指令进行预置分区视图的实时配置处理。
本实施例中,在步骤203之后,可以是获取到根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令,并根据分区视图调整指令进行预置分区视图的实时配置处理,需要说明的是该预置分区视图的实时配置处理是对下一次查询服务的预置分区视图进行配置,使得下一次查询服务基于新配置后的预置分区视图进行查询操作,此时的查询操作可以是重复步骤204至207。
在查询步骤204至步骤207执行过程中,根据系统的硬件负载信息,该系统硬件负载信息为cpu、内存、磁盘的使用情况的结合,通过执行根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令可实时进行对应的分区数据分布调整,形成不一定规律但满足系统高效运行的数据视图,并按照调整后的分区视图由步骤204开始继续进行下一次查询服务。该分区视图指令可为系统根据当前大表中数据主键值、索引值分布、数据量等维度进行自动生成的数据分区视图指令,也可为人工结合当前系统的负载情况及数据库实时数据量情况进行的最优化的自定义分区视图指令。比如系统的地址数据按照每个地市分区时,广州、佛山的量大,营业厅的使用量为市中心偏大,其他区域偏小,此时可根据业务使用情况,将并行查询的分区视图进行调整,市区的中心区这部分的地址数据都通过多个视图来支持并发,这种调整只需要调整分区配置视图即可,不需要影响数据存储,也不影响业务修改,也不用进行硬件扩容部署,此处具体不作限定。
以下将对实际应用场景进行举例说明,如以下场景:
在发现系统运行速度变慢时,进行检查得到的结果为:CPU使用率较低,系统IO吞吐量极大,而数据表内容使用率不高。检查发现由于两个大表(如客户表及地址表)之间的关联和排序不当,使得硬件间产生了大量的逻辑读操作及临时表空间的数据写操作,导致整体的查询速度大大降低。然而,由于该两大表均为千万数据量的表,包含最核心的客户、地址两个大表,在读取地址信息和客户资料的操作上,业务上已经很难再优化。
为了提高效率,减少内存合并的数据量,尽量避免查询时内存不够,而进行大量读写临时表空间的操作,导致查询时间增加,在不改变业务需求的情况下,可使用分区配置优化的方式对客户表和地址表进行分区关联。
比如,将千万数据量的一个大表切换为50个视图,每个视图只有20万数据,此时根据条件做二次约束后,产生的结果集已经很小,不需要对临时表空间进行额外的读写操作,减少了系统IO的使用,同时通过50个视图将数据库查询装置的CPU和内存都增加50倍的瞬间使用量。如此一来,系统更加稳定高效。
在数据分区视图定义时,结合了系统业务特性,对许多不规范的地址和客户资料进行了条件限制,也减少了许多用不到的原始数据的过滤操作,使得结果集关联消耗降低。此方案结合了业务使用场景分析、系统系统IO、CPU、内存使用情况进行了针对性的个性化配置,以达到最优的查询效率。
本实施例中,通过首先接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令,确定了当数据库查询方式在关系型数据库单表数据在超过千万记录数以后直接进入与第一接口连接的存在有预置分区视图的另一硬件设备,因为超过千万记录数与并行业务查询命令相对应,然后根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,实现了在另一硬件设备单独并行处理大量数据,且预置分区视图通过数据库数据并结合目标索引字段建立,使得处理的过程更加快速高效,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题,以及获取到根据系统硬件负载信息进行的所述预置分区视图调整的分区视图调整指令,并根据所述分区视图调整指令进行所述预置分区视图的实时配置处理的过程,进一步提高了数据库查询的智能性和高效性。
以上为对本发明实施例提供的一种数据库查询方法的过程进行的详细的描述,以下将对本发明实施例提供的一种数据库查询装置进行详细的描述,请参阅图3,本发明实施例提供的一种数据库查询装置的一个实施例包括:
接收单元301,用于接收由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
查询返回单元302,用于根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,预置分区视图通过数据库数据并结合目标索引字段建立。
本实施例中,通过接收单元301首先接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令,确定了当数据库查询方式在关系型数据库单表数据在超过千万记录数以后直接进入与第一接口连接的存在有预置分区视图的另一硬件设备,因为超过千万记录数与并行业务查询命令相对应,然后查询返回单元302根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,实现了在另一硬件设备单独并行处理大量数据,且预置分区视图通过数据库数据并结合目标索引字段建立,使得处理的过程更加快速高效,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
以上为对本发明实施例提供的一种数据库查询装置进行的详细描述,如图4所示,以下为本发明实施例提供的一种数据库查询装置的另一个实施例,包括:
第一获取单元401,用于获取到对数据库数据进行以主键为目标索引字段的第一分区视图的建立的分区视图指令;
第二获取单元402,用于获取到对数据库数据进行至少两个目标索引字段的组合第二分区视图的建立的分区视图指令;
配置单元403,用于根据分区视图指令进行预置分区视图配置。
接收单元404,用于接收由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
查询返回单元405,用于根据并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,预置分区视图通过数据库数据并结合目标索引字段建立。
查询返回单元405具体包括:
第一查询子单元4051,用于根据并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
第一获取子单元4052,用于获取通过每个子进程查询的结果所返回的查询总数;
合并返回子单元4053,用于根据并行业务查询命令的查询条件和查询总数进行数据合并处理,并对合并后的数据与预置分区视图进行匹配,返回匹配结果;
第二查询子单元4054,用于根据匹配结果,对匹配到的数据进行对应的具体分区视图的计算,并在对应的具体分区视图中进行查询,返回查询结果。
调整单元406,用于获取到根据系统硬件负载信息进行的预置分区视图调整的分区视图调整指令,并根据分区视图调整指令进行预置分区视图的实时配置处理。
预置分区视图通过数据库数据并结合目标索引字段建立。
本实施例中,通过接收单元404接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令,确定了当数据库查询方式在关系型数据库单表数据在超过千万记录数以后直接进入与第一接口连接的存在有预置分区视图的另一硬件设备,因为超过千万记录数与并行业务查询命令相对应,然后查询返回单元405根据并行业务查询命令结合配置单元403所配置的对应的预置分区视图通过对应的子进程进行查询,并通过子进程返回查询结果,实现了在另一硬件设备单独并行处理大量数据,且预置分区视图通过数据库数据并结合目标索引字段建立,使得处理的过程更加快速高效,解决了现有数据库查询方式在关系型数据库单表数据在超过千万记录数以后,受系统IO吞吐量的限制及数据库表间的原有关联和排序关系影响,处理查询指令的硬件间通常会产生大量繁杂的读写操作,使得硬件间利用率相差过大,导致硬件间平衡性较低,大大影响了数据库的整体查询速度的技术问题。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种数据库查询方法,其特征在于,包括:
获取到对所述数据库数据进行以主键为目标索引字段的第一分区视图的建立,或对所述数据库数据进行至少两个所述目标索引字段的组合第二分区视图的建立的分区视图指令;
根据所述分区视图指令进行预置分区视图配置;
接收到由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
根据所述并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过所述子进程返回查询结果,所述预置分区视图通过数据库数据并结合目标索引字段建立。
2.根据权利要求1所述的数据库查询方法,所述根据所述并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过所述子进程返回查询结果具体包括:
根据所述并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
获取到通过每个所述子进程查询的结果所返回的查询总数;
根据所述并行业务查询命令的查询条件和所述查询总数进行数据合并处理,并对合并后的所述数据与所述预置分区视图进行匹配,返回匹配结果。
3.根据权利要求2所述的数据库查询方法,所述根据所述并行业务查询命令的查询条件和所述查询总数进行数据合并处理,并对合并后的所述数据与所述预置分区视图进行匹配,返回匹配结果之后还包括:
根据所述匹配结果,对匹配到的所述数据进行对应的具体分区视图的计算,并在对应的所述具体分区视图中进行查询,返回查询结果。
4.根据权利要求1至3中任意一项所述的数据库查询方法,所述的数据库查询方法还包括:
获取到根据系统硬件负载信息进行的所述预置分区视图调整的分区视图调整指令,并根据所述分区视图调整指令进行所述预置分区视图的实时配置处理。
5.一种数据库查询装置,其特征在于,包括:
第一获取单元,用于获取到对所述数据库数据进行以主键为目标索引字段的第一分区视图的建立的分区视图指令;
第二获取单元,用于获取到对所述数据库数据进行至少两个所述目标索引字段的组合第二分区视图的建立的所述分区视图指令;
配置单元,用于根据所述分区视图指令进行预置分区视图配置;
接收单元,用于接收由第一服务器根据查询指令确定的第一接口发出的并行业务查询命令;
查询返回单元,用于根据所述并行业务查询命令结合对应的预置分区视图通过对应的子进程进行查询,并通过所述子进程返回查询结果;
所述预置分区视图通过数据库数据并结合目标索引字段建立。
6.根据权利要求5所述的数据库查询装置,其特征在于,所述查询返回单元包括:
第一查询子单元,用于根据所述并行业务查询命令,并结合对应的预置分区视图产生的对应子进程进行对应数据库的访问及查询;
第一获取子单元,用于获取通过每个所述子进程查询的结果所返回的查询总数;
合并返回子单元,用于根据所述并行业务查询命令的查询条件和所述查询总数进行数据合并处理,并对合并后的所述数据与所述预置分区视图进行匹配,返回匹配结果。
7.根据权利要求6所述的数据库查询装置,其特征在于,所述数据库查询装置还包括:
第二查询子单元,用于根据所述匹配结果,对匹配到的所述数据进行对应的具体分区视图的计算,并在对应的所述具体分区视图中进行查询,返回查询结果。
8.根据权利要求5至7中任意一项所述的数据库查询装置,其特征在于,所述数据库查询装置还包括:
调整单元,用于获取到根据系统硬件负载信息进行的所述预置分区视图调整的分区视图调整指令,并根据所述分区视图调整指令进行所述预置分区视图的实时配置处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610961824 | 2016-11-04 | ||
CN2016109618244 | 2016-11-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106776848A CN106776848A (zh) | 2017-05-31 |
CN106776848B true CN106776848B (zh) | 2020-04-17 |
Family
ID=58902244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611066037.XA Active CN106776848B (zh) | 2016-11-04 | 2016-11-28 | 一种数据库查询方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106776848B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107908736A (zh) * | 2017-11-15 | 2018-04-13 | 深圳忠信信息技术有限公司 | 个人信息集束查询方法、系统及计算机可读存储介质 |
CN109299148A (zh) * | 2018-09-29 | 2019-02-01 | 网宿科技股份有限公司 | 数据查询方法及服务器 |
CN110489426A (zh) * | 2019-08-26 | 2019-11-22 | 杭州安恒信息技术股份有限公司 | 一种数据库表的自动化分区方法、装置及设备 |
CN110674369A (zh) * | 2019-09-23 | 2020-01-10 | 杭州迪普科技股份有限公司 | 一种数据查询方法及装置 |
CN113360503B (zh) * | 2021-06-18 | 2023-02-07 | 建信金融科技有限责任公司 | 分布式数据库的测试数据跟踪方法及装置 |
CN113326285B (zh) * | 2021-08-03 | 2021-11-12 | 北京轻松筹信息技术有限公司 | 数据库表的查询方法及装置 |
CN115544096B (zh) * | 2022-11-22 | 2023-03-28 | 深圳市东信时代信息技术有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102089741A (zh) * | 2007-09-17 | 2011-06-08 | 国际商业机器公司 | 在附接的高性能并行计算机上执行计算机密集型数据库用户定义的程序 |
CN102521406A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 海量结构化数据复杂查询任务的分布式查询方法和系统 |
CN104199881A (zh) * | 2014-08-21 | 2014-12-10 | 广州华多网络科技有限公司 | 数据库集群、数据查询方法、数据同步方法和装置 |
CN105512200A (zh) * | 2015-11-26 | 2016-04-20 | 华为技术有限公司 | 一种分布式数据库处理的方法和设备 |
CN105912624A (zh) * | 2016-04-07 | 2016-08-31 | 北京中安智达科技有限公司 | 分布式部署的异构数据库的查询方法 |
CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8250164B2 (en) * | 2010-04-15 | 2012-08-21 | International Business Machines Corporation | Query performance data on parallel computer system having compute nodes |
CN106462575A (zh) * | 2013-12-02 | 2017-02-22 | 丘贝斯有限责任公司 | 群集内存数据库的设计及实现 |
-
2016
- 2016-11-28 CN CN201611066037.XA patent/CN106776848B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102089741A (zh) * | 2007-09-17 | 2011-06-08 | 国际商业机器公司 | 在附接的高性能并行计算机上执行计算机密集型数据库用户定义的程序 |
CN102521406A (zh) * | 2011-12-26 | 2012-06-27 | 中国科学院计算技术研究所 | 海量结构化数据复杂查询任务的分布式查询方法和系统 |
CN104199881A (zh) * | 2014-08-21 | 2014-12-10 | 广州华多网络科技有限公司 | 数据库集群、数据查询方法、数据同步方法和装置 |
CN105512200A (zh) * | 2015-11-26 | 2016-04-20 | 华为技术有限公司 | 一种分布式数据库处理的方法和设备 |
CN105912624A (zh) * | 2016-04-07 | 2016-08-31 | 北京中安智达科技有限公司 | 分布式部署的异构数据库的查询方法 |
CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
"大型数据库的设计(使用分区视图)";apinghappy;《https://blog.csdn.net/apinghappy/article/details/2694907》;20080723;第1页第1段 * |
Also Published As
Publication number | Publication date |
---|---|
CN106776848A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776848B (zh) | 一种数据库查询方法及装置 | |
JP6744854B2 (ja) | データ記憶方法、データ照会方法、およびそれらの装置 | |
US9633104B2 (en) | Methods and systems to operate on group-by sets with high cardinality | |
US8051058B2 (en) | System for estimating cardinality in a database system | |
US10831737B2 (en) | Method and device for partitioning association table in distributed database | |
WO2014004741A1 (en) | Distributed, real-time online analytical processing (olap) | |
US9760604B2 (en) | System and method for adaptive filtering of data requests | |
US20180293257A1 (en) | Method for accessing distributed database and distributed data service apparatus | |
WO2016134580A1 (zh) | 一种数据查询方法及装置 | |
CN111581234B (zh) | Rac多节点数据库查询方法、装置及系统 | |
CN111753016A (zh) | 数据处理方法、装置、系统及计算机可读存储介质 | |
EP3251030B1 (en) | Workload aware data placement for join-based query processing in a cluster | |
CN111723161A (zh) | 一种数据处理方法、装置及设备 | |
CN115114374A (zh) | 事务执行方法、装置、计算设备及存储介质 | |
US8145626B2 (en) | Method and system for data processing using multidimensional filtering | |
EP4012573A1 (en) | Graph reconstruction method and apparatus | |
CN106326295B (zh) | 语义数据的存储方法及装置 | |
CN106339432A (zh) | 一种按查询内容进行负载均衡的系统及其方法 | |
JP2021508867A (ja) | データベースをクエリするためのシステム、方法および装置 | |
CN107203550B (zh) | 一种数据处理方法和数据库服务器 | |
US20100010976A1 (en) | Relocated Joins In A Distributed Query Processing System | |
CN108287853B (zh) | 一种数据关系分析方法及其系统 | |
CN112348657A (zh) | 目标信贷用户的确定方法、装置、计算机设备及存储介质 | |
CN110780888A (zh) | 用于部署云数据库的方法 | |
CN116166671B (zh) | 一种内存数据库表格预关联的处理方法、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |