CN104050297B - 一种查询事务分配方法及装置 - Google Patents

一种查询事务分配方法及装置 Download PDF

Info

Publication number
CN104050297B
CN104050297B CN201410315701.4A CN201410315701A CN104050297B CN 104050297 B CN104050297 B CN 104050297B CN 201410315701 A CN201410315701 A CN 201410315701A CN 104050297 B CN104050297 B CN 104050297B
Authority
CN
China
Prior art keywords
data
inquiry
inquiry request
transacter
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410315701.4A
Other languages
English (en)
Other versions
CN104050297A (zh
Inventor
王耀俊
徐民
乐洋
费伽罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201410315701.4A priority Critical patent/CN104050297B/zh
Publication of CN104050297A publication Critical patent/CN104050297A/zh
Application granted granted Critical
Publication of CN104050297B publication Critical patent/CN104050297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种查询事务分配方法及装置。其中,所述方法包括:接收查询请求;从查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;将源表信息与设定的分配策略进行匹配,生成分配信息;根据分配信息选择将查询请求发送给相应的事务处理系统或数据仓库执行。本发明实施例的查询事务分配方法及装置,可以极大降低事务处理系统的负载,使其能够更高效地执行其事务处理的工作;自动将事务处理系统的查询语句转换为数据仓库的查询语句可以使查询请求的请求方专注于查询请求的逻辑,而不需要为不同的查询系统编写不同的查询请求;由于数据仓库的参与使查询请求能够更加复杂,时间跨度更广,从而满足各种各样的查询需求。

Description

一种查询事务分配方法及装置
技术领域
本发明涉及数据库技术及数据处理技术领域,尤其涉及数据查询技术领域,具体的讲是一种数据查询领域中的查询事务分配方法及装置。
背景技术
随着企业业务的快速发展,系统间的查询请求以及对于系统数据的查询要求变得越来越复杂,频度也越来越高,一般这类请求会直接提交到数据的产生方,即事务处理系统中执行。这种执行方式的优点在于能够获取到最新最及时的数据,缺点则在于会占用事务处理系统的资源。并且,这种执行方式通常不支持跨系统数据的查询,不能执行较为复杂的查询以减少对于正常事务处理的影响,且数据保留时间较短,无法满足趋势分析类的查询请求。
为了能够既满足数据查询的请求又不干扰事务处理系统的正常运转,目前一般采用数据仓库等技术手段以期在保障事务处理的同时满足对于数据的查询请求。采用这种方式的优点在于不占用事务处理系统资源,支持跨系统间的数据查询,能够满足较为复杂的查询要求,能保留较长时间跨度的数据且支持各种追溯类的查询请求。但是,它的缺点也是同样明显的,就是时效性不足,从事务处理系统将数据传输到数据仓库,再由数据仓库加载完毕这一过程通常会导致数据仓库中的数据会比当前时间晚1-2天左右,这样就无法满足非常急迫的数据查询要求。
发明内容
本发明的目的是克服当前事务处理系统数据时间跨度短、数据范围局限于单一事务且不适合执行复杂和大数据量的查询请求,以及数据仓库数据时效性较低的缺点,提出了一种查询事务分配方法及装置,通过自动解析准备提交到事务处理系统的查询请求,选择将不同的查询请求分配给事务处理系统或者数据仓库执行,以提高查询效率。
为了达到上述目的,本发明实施例提供一种查询事务分配方法,包括:接收查询请求;从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;将所述源表信息与设定的分配策略进行匹配,生成分配信息;根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行。
进一步地,接收查询请求包括接收来自查询客户端或其他数据查询请求方发送的数据查询语句。
进一步地,从所述查询请求中提取出包括数据时间、数据来源以及查询复杂度在内的源表信息,包括:通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段、数据时间以及关联表的数量。
进一步地,将所述源表信息与设定的分配策略进行匹配,生成分配信息,包括:查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行。
进一步地,所述数据查询语句不满足事务处理系统的分配策略,包括:所述数据查询语句中的表来自多个事务处理系统;或者数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内;或者数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。
进一步地,所述事务处理系统接收到查询请求后,从事务处理系统数据库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。
进一步地,所述数据仓库接收到所述查询请求后,从所述数据仓库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。
为了达到上述目的,本发明实施例还提供一种查询事务分配装置,包括:查询请求接收模块,用于接收查询请求;源表信息解析模块,用于从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;分配信息生成模块,用于将所述源表信息与设定的分配策略进行匹配,生成分配信息;分配模块,用于根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行。
进一步地,所述查询请求接收模块用于接收查询请求,包括:接收来自查询客户端或其他数据查询请求方发送的数据查询语句。
进一步地,所述源表信息解析模块用于从所述查询请求中提取出包括数据时间、数据来源以及查询复杂度在内的源表信息,包括:通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段、数据时间以及关联表的数量。
进一步地,所述分配信息生成模块用于将所述源表信息与设定的分配策略进行匹配,生成分配信息,包括:所述分配信息生成模块查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行。
进一步地,所述数据查询语句不满足事务处理系统的分配策略,包括:所述数据查询语句中的表来自多个事务处理系统;或者数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内;或者数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。
本发明实施例的查询事务分配方法及装置,通过自动解析准备提交到事务处理系统的查询请求,将查询较为简单且对数据时效性较高的查询请求分配给事务处理系统执行;数据时间跨度长、查询复杂的查询请求则通过数据仓库与事务处理系统字段间的映射关系将该事务处理查询请求转换为数据仓库可以执行的请求,转到数据仓库执行,这种方式既减轻了事务处理系统的负担,又满足了数据查询的请求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的查询事务分配方法的方法流程图;
图2为本发明实施例的查询事务分配装置的结构示意图;
图3为本发明一具体实施例的查询事务分配处理系统的结构示意图;
图4为事务处理系统查询请求处理装置2的结构示意图;
图5为数据仓库查询请求处理装置4的结构示意图;
图6为利用图3-图5所示实施例的查询事务分配处理系统对查询事务进行分配并处理的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种数据查询领域中的查询事务分配方法及装置。首先,从查询请求中提取出数据时间、数据来源、查询复杂度信息;其次,将提取到的结果与分配策略进行匹配,将查询请求发送给相应的事务处理系统或数据仓库执行。对于分配到数据仓库的查询请求,该装置会将此请求转换为数据仓库可执行的查询请求并执行。最后,将从事务处理系统或数据仓库返回的查询结果反馈给查询请求方。
图1为本发明实施例的查询事务分配方法的方法流程图。如图1所示,本实施例的查询事务分配方法包括:步骤S101,接收查询请求;步骤S102,从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;步骤S103,将所述源表信息与设定的分配策略进行匹配,生成分配信息;步骤S104,根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行。
在本实施例的步骤S101中,接收查询请求包括接收来自查询客户端或其他数据查询请求方发送的数据查询语句。
在本实施例的步骤S102中,从所述查询请求中提取出包括数据时间、数据来源以及查询复杂度在内的源表信息,包括:通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段以及所查询数据的数据时间、关联表数量等信息。所述数据时间为SQL查询语句中所要查询的信息所在时间点,数据来源指SQL查询语句中所涉及的表和字段,查询复杂度为SQL查询语句中关联表的数量。例如SQL查询语句为:SELECT X.a,Y.b FROM X LEFTJOIN Y ON X.z=Y.z WHERE X.c=’20140101’,则表明数据来源为X.a、Y.b、X.z、Y.z、X.c;查询复杂度为X、Y两表关联;数据时间为’20140101’。
在本实施例的步骤S103中,将所述源表信息与设定的分配策略进行匹配,即:查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行。
其中,所述数据查询语句不满足事务处理系统的分配策略,包括以下三种情况:
1、所述数据查询语句中的表来自多个事务处理系统;
2、所述数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内,会影响事务处理系统的正常运行;
3、所述数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。
当所述数据查询语句满足以上三种情况中的任一种时,则将所述查询请求发送给数据仓库执行。不同事务处理系统的查询语句分配策略可以根据该系统实际情况分别配置,不局限于上述三种情况。
还有一种情况是,该查询请求不可被执行,此时也要生成不可执行的分配结果,返回给相应的客户端和其他数据查询请求方。
在本实施例的步骤S104中,根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库后,事务处理系统或数据仓库执行相应的数据查询,其中:
所述事务处理系统接收到查询请求后,从事务处理系统数据库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。其中,事务处理系统数据库负责存储事务处理系统的所有数据以供事务处理系统查询。
所述数据仓库接收到所述查询请求后,从所述数据仓库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。其中,数据仓库接收到所述查询请求后,解析该查询请求中所使用到的表和字段,查找这些表和字段与数据仓库中表和字段的映射关系,根据这些映射关系将原始查询语句转换为可在数据仓库中执行的查询语句。对于存在多种映射关系的查询语句,还需从转换后的多个查询语句中按照所关联的数据仓库的表最少的原则找到最优化的查询语句,根据该最优化的查询语句,从所述数据仓库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。
对应于上述的查询事务分配方法,本发明实施例还提供一种查询事务分配装置。
图2为本发明实施例的查询事务分配装置的结构示意图。如图2所示,本实施例的查询事务分配装置包括:查询请求接收模块101,用于接收查询请求;源表信息解析模块102,用于从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;分配信息生成模块103,用于将所述源表信息与设定的分配策略进行匹配,生成分配信息;分配模块104,用于根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行。
其中,所述查询请求接收模块101用于接收来自查询客户端或其他数据查询请求方发送的数据查询语句。所述源表信息解析模块102用于通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段以及数据时间。
所述分配信息生成模块103用于将所述源表信息与设定的分配策略进行匹配,生成分配信息,包括:所述分配信息生成模块查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行。
所述数据查询语句不满足事务处理系统的分配策略,包括:所述数据查询语句中的表来自多个事务处理系统;或者数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内;或者数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。不同事务处理系统的查询语句分配策略可以根据该系统实际情况分别配置,不局限于上述三种情况。还有一种情况是,该查询请求不可被执行,此时也要生成不可执行的分配结果,返回给相应的客户端和其他数据查询请求方。
以下给出一种利用本发明实施例的查询事务分配方法及装置,对查询事务进行分配并处理的具体实施例。
如图3所示,为本发明一具体实施例的查询事务分配处理系统的结构示意图。如图3所示,该查询事务分配处理系统包括:查询事务分配装置1、事务处理系统查询请求处理装置2、事务处理系统数据库3、数据仓库查询请求处理装置4、数据仓库5以及事务处理请求结果反馈装置6。
查询事务分配装置1负责接收来自客户端或其他数据查询请求方发送的数据查询语句,从查询语句中解析出查询请求所要求的数据时间、数据来源、查询复杂度,并根据这些信息和分配策略将该查询请求发送给事务处理系统查询请求处理装置2或数据仓库查询请求处理装置4执行,同时将不满足分配策略的查询请求发送给事务处理请求结果反馈装置6。
事务处理系统查询请求处理装置2负责接收查询事务分配装置1发送的查询请求,从事务处理系统数据库4中查询数据,查询完成后将结果转换为XML文件发送给事务处理请求结果反馈装置6。
事务处理系统数据库3负责存储事务处理系统的所有数据以供事务处理系统查询请求处理装置2查询。
数据仓库查询请求处理装置4负责接收查询事务分配装置1提供的查询请求,解析该请求语句中使用到的源表、源字段信息并根据数据仓库与事务处理系统字段间的映射关系将该查询语句转化为可由数据仓库执行的查询语句,从数据仓库5中查询数据,查询完成后将结果转换为XML文件提供给事务处理请求结果反馈装置6。
数据仓库5负责存储数据仓库的所有数据,以供数据仓库查询请求处理装置5查询。
事务处理请求结果反馈装置6负责接收查询事务分配装置1、事务处理系统查询请求处理装置2和数据仓库查询请求处理装置4发送的查询结果数据以及对于查询事务分配装置1发送的数据展现查询请求无法执行的原因。其中,对于事务处理系统查询请求处理装置2和数据仓库查询请求处理装置4发送的XML文件,将其转换为可被数据查询请求方识别的数据格式展现或保存。
在本实施例中,查询事务分配装置1即为图2所示的本发明实施例的查询事务分配装置,其包括:查询请求接收模块101,用于接收查询请求;源表信息解析模块102,用于从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;分配信息生成模块103,用于将所述源表信息与设定的分配策略进行匹配,生成分配信息;分配模块104,用于根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行。
图4是事务处理系统查询请求处理装置2的结构示意图,该装置包括:事务处理系统查询请求执行单元201、事务处理系统查询结果XML转换单元202。
事务处理系统查询请求执行单元201负责接收查询事务分配装置1发送的查询请求,从事务处理系统数据库3中查询数据,并将查询结果发送给事务处理系统查询结果XML转换单元202。
事务处理系统查询结果XML转换单元202负责接收事务处理系统查询请求执行单元201发送的查询结果,将其转换为XML文件并发送给事务处理请求结果反馈装置6。
图5是数据仓库查询请求处理装置4的结构示意图,该装置包括:数据仓库查询请求预处理单元401、数据仓库查询请求转换单元402、数据仓库与事务处理系统映射查询单元403、数据仓库查询请求执行单元404、数据仓库查询结果XML转换单元405。
数据仓库查询请求预处理单元401负责接收查询事务分配装置1发送的查询请求,并解析该查询请求中所使用到的表和字段,将原始查询语句以及解析得到的表和字段信息发送给数据仓库查询请求转换单元402。
数据仓库查询请求转换单元402负责接收数据仓库查询请求预处理单元401发送的原始查询语句以及表和字段信息,通过数据仓库与事务处理系统映射查询单元403查找这些表和字段与数据仓库中表和字段的映射关系,根据这些映射关系将原始查询语句转换为可在数据仓库中执行的查询语句。对于存在多种映射关系的查询语句,数据仓库查询请求转换单元402还需从转换后的多个查询语句中按照所关联的数据仓库的表最少的原则找到最优化的查询语句,并将其发送给数据仓库查询请求执行单元404。
数据仓库查询请求执行单元404负责接收数据仓库查询请求转换单元402发送的查询语句,从数据仓库5中查询数据,并将查询结果发送给数据仓库查询结果XML转换单元405。
数据仓库查询结果XML转换单元405负责接收数据仓库查询请求执行单元404发送的查询结果,将其转换为XML文件并发送给事务处理请求结果反馈装置6。
图6为利用图3-图5所示实施例的查询事务分配处理系统对查询事务进行分配并处理的方法流程图。如图6所示,其包括步骤:
步骤600,查询请求接收模块101和源表信息解析模块102分别接收查询请求并解析源表信息。
步骤601,分配信息生成模块103和分配模块104结合源表信息以及分配策略确定查询请求分配对象。
步骤602,分配信息生成模块103还判断该查询请求是否可以执行,若“是”则转步骤603,若“否”则转步骤610。
步骤603,分配模块104判断该查询请求是否可以分配给数据仓库查询请求处理装置4处理,若“是”则转步骤606,若“否”则转步骤604。
步骤604,事务处理系统查询请求执行单元201从事务处理系统数据库3中查询数据。
步骤605,事务处理系统查询结果XML转换单元202将事务处理系统查询请求执行单元201得到的查询结果转换为XML文件。
步骤606,数据仓库查询请求预处理单元401解析查询请求的源表源字段。
步骤607,数据仓库查询请求转换单元402根据解析结果通过数据仓库与事务处理系统映射查询单元403转换为数据仓库查询语句并从中选出最优语句。
步骤608,数据仓库查询请求执行单元404从数据仓库5中查询数据。
步骤609,数据仓库查询结果XML转换单元405将查询结果转换为XML文件。
步骤610,事务处理请求结果反馈装置6接收事务查询请求分配单元102、事务处理系统查询结果XML转换单元202、数据仓库查询结果XML转换单元405的发送的查询结果并展现。
步骤611,流程结束。
本发明通过上述技术方案,实现了自动根据查询请求中的要素将查询请求分配到最适合的系统中执行,其优点在于:大部分查询请求被分配到数据仓库可以极大降低事务处理系统的负载,使其能够更高效地执行其事务处理的工作;自动将事务处理系统的查询语句转换为数据仓库的查询语句可以使查询请求的请求方专注于查询请求的逻辑,而不需要为不同的查询系统编写不同的查询请求;由于数据仓库的参与使查询请求能够更加复杂,时间跨度更广,从而满足各种各样的查询需求。
本发明通过结合数据仓库中时间跨度长、覆盖范围广的数据以及事务处理系统数据时效性高的优点,克服了当前事务处理系统数据时间跨度短、数据范围局限于单一事务且不适合执行复杂和大数据量的查询请求,以及数据仓库数据时效性较低的缺点,提供了一种查询事务分配方法及装置,通过自动解析准备提交到事务处理系统的查询请求,将查询较为简单且对数据时效性较高的查询请求分配给事务处理系统执行;数据时间跨度长、查询复杂的查询请求则通过数据仓库与事务处理系统字段间的映射关系将该事务处理查询请求转换为数据仓库可以执行的请求,转到数据仓库执行,这种方式既减轻了事务处理系统的负担,又满足了数据查询的请求。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种查询事务分配方法,其特征在于,所述方法包括:
接收查询请求;
从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;
将所述源表信息与设定的分配策略进行匹配,生成分配信息;
根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行;其中,
接收查询请求包括接收来自查询客户端或其他数据查询请求方发送的数据查询语句;
从所述查询请求中提取出包括数据时间、数据来源以及查询复杂度在内的源表信息,包括:通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段、数据时间以及关联表的数量;
将所述源表信息与设定的分配策略进行匹配,生成分配信息,包括:查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行;
所述数据查询语句不满足事务处理系统的分配策略,包括:
所述数据查询语句中的表来自多个事务处理系统;或者
数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内;或者
数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。
2.根据权利要求1所述的查询事务分配方法,其特征在于,所述事务处理系统接收到查询请求后,从事务处理系统数据库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。
3.根据权利要求1所述的查询事务分配方法,其特征在于,所述数据仓库接收到所述查询请求后,从所述数据仓库中查询数据,生成查询结果,并将所述查询结果转换为XML文件后,反馈给查询客户端或其他数据查询请求方。
4.一种查询事务分配装置,其特征在于,所述装置包括:
查询请求接收模块,用于接收查询请求;
源表信息解析模块,用于从所述查询请求中解析出包括数据时间、数据来源以及查询复杂度在内的源表信息;
分配信息生成模块,用于将所述源表信息与设定的分配策略进行匹配,生成分配信息;
分配模块,用于根据所述分配信息选择将所述查询请求发送给相应的事务处理系统或数据仓库执行;
所述查询请求接收模块用于接收查询请求,包括:接收来自查询客户端或其他数据查询请求方发送的数据查询语句;
所述源表信息解析模块用于从所述查询请求中提取出包括数据时间、数据来源以及查询复杂度在内的源表信息,包括:通过SQL语法解析提取出所述数据查询语句中所使用到的表、字段、数据时间以及关联表的数量;
所述分配信息生成模块用于将所述源表信息与设定的分配策略进行匹配,生成分配信息,包括:所述分配信息生成模块查找所述源表信息中的表所属的事务处理系统以及该事务处理系统的分配策略,若所述数据查询语句满足其分配策略,则将所述查询请求发送给该事务处理系统执行,否则将所述查询请求发送给数据仓库执行;
所述数据查询语句不满足事务处理系统的分配策略,包括:所述数据查询语句中的表来自多个事务处理系统;或者数据查询语句中关联的表不在事务处理系统所允许的表间关联关系内;或者数据查询语句中对于数据时间的要求超出了事务处理系统中对应的表的数据时间范围。
CN201410315701.4A 2014-07-03 2014-07-03 一种查询事务分配方法及装置 Active CN104050297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410315701.4A CN104050297B (zh) 2014-07-03 2014-07-03 一种查询事务分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410315701.4A CN104050297B (zh) 2014-07-03 2014-07-03 一种查询事务分配方法及装置

Publications (2)

Publication Number Publication Date
CN104050297A CN104050297A (zh) 2014-09-17
CN104050297B true CN104050297B (zh) 2017-09-29

Family

ID=51503129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410315701.4A Active CN104050297B (zh) 2014-07-03 2014-07-03 一种查询事务分配方法及装置

Country Status (1)

Country Link
CN (1) CN104050297B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677751B (zh) * 2015-12-29 2020-11-13 北京奇艺世纪科技有限公司 关系型数据库的调度方法及系统
CN107491463B (zh) * 2016-07-21 2020-02-18 平安科技(深圳)有限公司 数据查询的优化方法和系统
CN108170860A (zh) * 2018-01-22 2018-06-15 北京小度信息科技有限公司 数据查询方法、装置、电子设备及计算机可读存储介质
CN110597618B (zh) * 2019-07-26 2022-06-07 苏宁云计算有限公司 一种数据交换系统的任务拆分方法及装置
CN111274320B (zh) * 2020-01-17 2023-09-12 深圳市大富网络技术有限公司 分布式存储系统的控制方法、装置及分布式存储系统
CN111767252A (zh) * 2020-06-30 2020-10-13 平安科技(深圳)有限公司 日志查询方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163195A (zh) * 2010-02-22 2011-08-24 北京东方通科技股份有限公司 一种基于分布式、异构数据库统一视图的查询优化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668798B2 (en) * 2000-04-04 2010-02-23 Red Hat, Inc. System and method for accessing data in disparate information sources
US7058622B1 (en) * 2001-12-26 2006-06-06 Tedesco Michael A Method, apparatus and system for screening database queries prior to submission to a database
CN100403315C (zh) * 2006-09-25 2008-07-16 华为技术有限公司 一种实现负荷分担的数据库访问方法及系统
CN102567544A (zh) * 2012-01-16 2012-07-11 中国联合网络通信集团有限公司 数据库查询方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163195A (zh) * 2010-02-22 2011-08-24 北京东方通科技股份有限公司 一种基于分布式、异构数据库统一视图的查询优化方法

Also Published As

Publication number Publication date
CN104050297A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
CN104050297B (zh) 一种查询事务分配方法及装置
EP2932370B1 (en) System and method for performing a transaction in a massively parallel processing database
CN103714073B (zh) 数据查询的方法和装置
US8738568B2 (en) User-defined parallelization in transactional replication of in-memory database
CN107463632A (zh) 一种分布式NewSQL数据库系统和数据查询方法
US9342557B2 (en) Low latency query engine for Apache Hadoop
CN107679192A (zh) 多集群协同数据处理方法、系统、存储介质及设备
CN101382957B (zh) 建立查询模型的系统及建立方法
WO2015062444A1 (en) System and method for creating a distributed transaction manager supporting repeatable read isolation level in a mpp database
CN105824957A (zh) 分布式内存列式数据库的查询引擎系统及查询方法
CN102262674A (zh) 一种分布式内存数据库的数据同步方法及系统
CN102917009A (zh) 一种基于云计算技术的股票数据采集和存储方法和系统
CN105183901A (zh) 一种数据查询引擎读取数据库表的方法及装置
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN102479198B (zh) 一种数据分页方法、装置及系统
CN104008199A (zh) 一种数据查询方法
CN110263076A (zh) 一种自动化生成数据分析报告的方法
CN108769103A (zh) 一种基于通信业务数据稽核结果展示的控制方法及系统
EP2690560B1 (en) Method of benchmarking the behaviour of a replacement information system with the old system
US8694559B2 (en) Using database content for multiple business data systems connected to one database
CN107798139A (zh) 一种基于cim/xml的主备数据异构方法
CN102855297A (zh) 一种控制数据传输的方法和连接器
CN107729410A (zh) 一种适用于电力设备大数据的数据库引擎
CN108170718A (zh) 一种指标数据的处理方法和装置
CN104040537A (zh) 数据库查询的自动生成和执行的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant