CN113190578A - 多源数据查询系统、方法、装置、设备及存储介质 - Google Patents

多源数据查询系统、方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113190578A
CN113190578A CN202110327443.1A CN202110327443A CN113190578A CN 113190578 A CN113190578 A CN 113190578A CN 202110327443 A CN202110327443 A CN 202110327443A CN 113190578 A CN113190578 A CN 113190578A
Authority
CN
China
Prior art keywords
data
request
query
aggregation
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110327443.1A
Other languages
English (en)
Inventor
赵金雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Peninsula Beijing Information Technology Co ltd
Original Assignee
You Peninsula Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Peninsula Beijing Information Technology Co ltd filed Critical You Peninsula Beijing Information Technology Co ltd
Priority to CN202110327443.1A priority Critical patent/CN113190578A/zh
Publication of CN113190578A publication Critical patent/CN113190578A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种多源数据查询系统、方法、装置、设备及存储介质，属于互联网技术领域。所述系统包括：业务系统、聚合系统和数据库；业务系统用于接收来自请求方的聚合查询请求；为聚合查询请求分配对应的请求标识；向聚合系统发送携带有请求标识的数据获取请求；聚合系统用于根据数据获取请求从多个数据源获取聚合查询请求所需的结果数据；将请求标识和结果数据对应存储至数据库中；从结果数据中选取第一批次返回数据，并向业务系统发送第一批次返回数据；业务系统还用于向请求方发送第一批次返回数据以及所述请求标识。本申请通过在实时聚合数据的过程中，分批次地将数据发送给用户，可在不影响用户查询的情况下实现多源数据的实时聚合提供。

Description

多源数据查询系统、方法、装置、设备及存储介质
技术领域
本申请实施例涉及互联网技术领域，特别涉及一种多源数据查询系统、方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，用户可以在数据聚合平台上查询来自多个不同数据源平台的数据，也即数据聚合平台可以聚合来自多个不同数据源平台的数据(即多源数据)。其中，数据聚合平台是指可以从多数据源聚合数据的平台，数据源平台是指可作为数据源的平台。
在相关技术中，数据聚合平台通过定时将各个数据源平台的数据聚合到自己的数据库中，当用户有多源数据的查询需求时，数据聚合平台再从自己的数据库中调取该用户所需的多源数据，并将其提供给用户。
然而，相关技术不仅需要落地海量数据，而且存在较为严重的数据不一致性，数据实时性低。
发明内容
本申请实施例提供了一种多源数据查询系统、方法、装置、设备及存储介质，能够避免落地海量数据，在不影响用户查询体验的情况下实现多源数据的实时聚合提供。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种多源数据查询系统，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统，用于根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统，还用于向所述请求方发送所述第一批次返回数据以及所述请求标识。
根据本申请实施例的一个方面，提供了一种多源数据查询方法，应用于多源数据查询系统中，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统向所述请求方发送所述第一批次返回数据以及所述请求标识。
根据本申请实施例的一个方面，提供了一种多源数据查询方法，所述方法包括：
接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；
为所述聚合查询请求分配对应的请求标识；
向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；
向所述请求方发送所述第一批次返回数据以及所述请求标识。
根据本申请实施例的一个方面，提供了一种多源数据查询方法，所述方法包括：
接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；
根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；
将所述请求标识和所述结果数据对应存储至数据库中；
从所述结果数据中选取第一批次返回数据；
向所述业务系统发送所述第一批次返回数据。
根据本申请实施例的一个方面，提供了一种多源数据查询装置，所述装置包括：
查询请求接收模块，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；
请求标识分配模块，用于为所述聚合查询请求分配对应的请求标识；
获取请求发送模块，用于向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
返回数据接收模块，用于接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；
返回数据发送模块，用于向所述请求方发送所述第一批次返回数据以及所述请求标识。
根据本申请实施例的一个方面，提供了一种多源数据查询装置，所述装置包括：
获取请求接收模块，用于接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；
结果数据获取模块，用于根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；
结果数据存储模块，用于将所述请求标识和所述结果数据对应存储至数据库中；
返回数据选取模块，用于从所述结果数据中选取第一批次返回数据；
数据发送模块，用于向所述业务系统发送所述第一批次返回数据。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述多源数据查询方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述多源数据查询方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述多源数据查询方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的多源数据查询系统的架构图；
图2是本申请一个实施例提供的多源数据查询方法的流程图；
图3是本申请另一个实施例提供的多源数据查询方法的流程图；
图4是本申请另一个实施例提供的多源数据查询方法的流程图；
图5是本申请一个实施例提供的多源数据查询装置的框图；
图6是本申请另一个实施例提供的多源数据查询装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的多源数据查询系统的架构图。多源数据查询系统100可以包括：业务系统101、聚合系统102和数据库103。
业务系统101用于接收来自请求方的聚合查询请求，该聚合查询请求用于请求查询来自多个数据源的数据。数据源是指数据的来源，数据源可以是数据源平台所使用的数据库或者数据库服务器，该数据源平台可以是诸如旅游类、购物类、新闻类、社会服务类等平台。多源数据查询系统100可以从不同数据源平台对应的数据库或者数据库服务器中获取数据。聚合查询请求对应的数据也可以来自多源数据查询系统100对应的数据库或者数据库服务器。聚合查询请求中可以包括用户的查询内容、查询条件、查询关键词等。例如，用户的查询内容为“景点A的门票”，则多源数据查询系统100会将多个旅游平台对应的景点A的门票数据提供给用户。
请求方是指正在进行数据查询的用户对应的用户终端，用户可以通过用户终端进行数据查询操作，响应于用户的数据查询操作，用户终端生成聚合查询请求，并将其发送给业务系统101。其中，用户终端可以是指手机、平板电脑、可穿戴设备、PC(PersonalComputer，个人计算机)等电子设备。
在获取聚合查询请求之后，业务系统101用于为该聚合查询请求分配对应的请求标识。请求标识可用于标识请求方、聚合查询请求和聚合查询请求对应的结果数据，多源数据查询系统100可以根据该请求标识来区别不同请求方的聚合查询请求和聚合查询请求对应的结果数据。
业务系统101基于聚合查询请求和请求标识，生成聚合查询请求对应的数据获取请求，并向聚合系统102发送携带有请求标识的数据获取请求。数据获取请求用于请求获取多个数据源的数据。
聚合系统102用于根据数据获取请求从多个数据源获取聚合查询请求所需的结果数据，并将请求标识和结果数据对应存储至数据库103中。可选地，聚合系统102根据数据获取请求，从多个数据源持续获取聚合查询请求所需的结果数据，并将持续获取的结果数据存储至数据库中，且与请求标识对应存储。例如，聚合系统102根据数据获取请求中用户的查询内容、查询条件、查询关键词等信息，从多个数据源持续获取结果数据，并将请求标识与结果数据以Key-value(键-值)的形式对应存储至数据库103中。可选地，聚合系统102也可以先根据数据获取请求中用户的查询内容、查询条件、查询关键词等信息，对多个数据源进行筛选，再从筛选后的数据源中获取结果数据。例如，用户的查询内容与车票相关，则先获取与车票相关的数据源，再从与车票相关的数据源中获取结果数据。如此可以减少聚合系统102对数据源的询访量，同时提高访问准确度，从而提高数据获取效率。其中，结果数据是指从数据源中所获取的满足聚合查询请求的数据。
聚合系统102还用于对结果数据进行清洗。例如，对不同数据源对应的结果数据进行比对，去除重复(或无用、恶意)的结果数据，再根据剩余的结果数据的优劣性进行标记(如优先级)，得到清洗后的结果数据，将清洗后的结果数据与请求标识对应存储至数据库103中。
在从多个数据源持续获取结果数据的过程中，聚合系统102还用于从结果数据中选取第一批次返回数据，并向业务系统101发送第一批次返回数据。例如，在结果数据的数据量大于或等于聚合查询请求所需的数据量的情况下，聚合系统102从结果数据中选取目标数据量的数据，得到第一批次返回数据。其中，目标数据量为聚合查询请求所需的数据量。第一批次返回数据用于满足用户当前时刻的数据查询需求。例如，请求方一次可以向用户展示5个数据源对应的结果数据，则可以将目标数据量定为5，当聚合系统102所获取的结果数据的数据量大于或等于5的情况下，从这些结果数据中选取5个数据源对应的结果数据，然后将这5个数据源对应的结果数据作为第一批次返回数据，并发送给请求方。
可选地，在不影响用户查询体验的情况下，聚合系统可以将目标数据量调整为请求方一次可以展示的结果数据的数据量的整数倍，如此请求方可以无需进行多次请求，即可向用户展示多次结果数据。
需要说明的是上述的结果数据是经过清洗处理的。
业务系统101还用于在接收到第一批次返回数据之后，向请求方发送第一批次返回数据以及请求标识。请求方在接收到第一批次返回数据后之后，将第一批次返回数据展示给用户。
业务系统101还用于在接收来自请求方的聚合查询请求的关联查询请求之后，从数据库103中获取与请求标识对应存储的未返回结果数据，得到第二批次返回数据，并向请求方发送第二批次返回数据；其中，未返回结果数据是指未发送给请求方的结果数据。关联查询请求是指在用户查询完第一批次返回数据之后，响应于用户针对该查询内容的继续查询操作，请求方向业务系统101所发送的第二次查询请求。关联查询请求中包括聚合查询请求对应的请求标识。第二批次返回数据用于满足用户继续查询操作。
业务系统101可以根据请求标识从数据库103中获取满足关联查询请求所需数据量的未返回结果数据。例如，业务系统101根据请求标识，从数据库103中确定出该请求方的聚合查询请求对应的结果数据。再根据结果数据的时间戳(或根据结果数据存储时被设定的与目标数据量、数据质量等相关的优先级、标识信息等)，确定出未返回结果数据，最后从未返回结果数据中选择出关联查询请求所需数据量的未返回结果数据(如优先级高的对应数据量的未返回结果数据)，并将这些数据量的未返回结果数据作为第二批次返回数据发送给请求方。可选地，在用户有数据查询需求的情况下，多源数据查询系统100可以向请求方提供多批次返回数据。在用户无数据查询需求的情况下，多源数据查询系统100无需向请求方提供返回数据。
可选地，业务系统101可以根据关联查询请求所需数据量和数据库103中的未返回结果数据的数据量，调整第二次批次返回数据所包括的未返回结果数据的数据量。例如，第二批次返回数据包括请求方一次展示所需数据量的2倍的未返回结果数据，请求方可以在用户进行第四次继续查询操作时，才向业务系统101发送第二次关联查询请求。如此可以避免过多的关联查询请求，进而提高展示效率。
可选地，在数据库103中不存在与请求标识对应存储的未返回结果数据的情况下，业务系统101向请求方发送查询结束响应；其中，查询结束响应用于指示已提供全部聚合查询请求所需的结果数据。在一个可行的示例中，聚合系统102从最后一个数据源中获取完结果数据之后，向业务系统101发送数据聚合结束通知，业务系统101在接收数据聚合结束通知之后，向请求方发送查询结束响应。
数据库103用于存储结果数据。数据库103可根据实际的业务情况对结果数据进行策略性存储管理。例如，对于时效性要求较高的数据，进行短时间的存储或者直接删除，当有聚合需求的时候，再重新聚合，以保证数据的时效性。对于时效性要求较低的数据，可以根据实际的业务情况设置存储时长，本申请实施例对此不作限定。
业务系统101还用于对结果数据进行策略性存储。例如，将热门的查询内容、查询条件下且对时效性不高的数据作内存级别的缓存，当接收来自请求方的聚合查询请求时，即可直接将该结果数据发送给请求方，而无需再通过聚合系统102从多个数据源中重新聚合数据。如此可以提高多源数据查询系统100的数据吞吐量和及时性。其中，缓存的超时设置可以根据实际的业务情况进行设置。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
另外，通过唯一请求标识将来自请求方的聚合查询请求、关联查询请求、请求方、结果数据进行关联，以实现数据获取和提供的可查找性和准确性。
另外，通过对结果数据进行策略性存储，可以在保证数据的时效性和一致性的同时，提高系统的数据吞吐量。
以下为本申请方法实施例，对于本申请方法实施例中未详细说明的细节，可参见本申请系统实施例。
请参考图2，其示出了本申请一个实施例提供的多源数据查询方法的流程图。该方法可应用于上文实施例介绍的多源数据查询系统中。该方法可以包括如下几个步骤(201～203)：
步骤201，业务系统接收来自请求方的聚合查询请求；为聚合查询请求分配对应的请求标识；以及向聚合系统发送携带有请求标识的数据获取请求。
其中，聚合查询请求用于请求查询来自多个数据源的数据。数据源是指数据源平台所使用的数据库或者数据库服务器。请求方是指正在进行数据查询的用户对应的用户终端。数据获取请求用于请求获取聚合查询请求所需的结果数据。
可选地，请求标识可用于标识请求方、聚合查询请求和聚合查询请求对应的结果数据。
步骤202，聚合系统根据数据获取请求，从多个数据源获取聚合查询请求所需的结果数据；将请求标识和结果数据对应存储至数据库中；以及从结果数据中选取第一批次返回数据，并向业务系统发送第一批次返回数据。
其中，结果数据是指从数据源中所获取的满足聚合查询请求的数据。第一批次返回数据用于满足用户当前时刻的数据查询需求。可选地，当用户需要查询更多的数据时，响应于用户的继续查询操作，多源数据查询系统会提供第二批次返回数据，即第二批次返回数据用于满足用户对更多数据的查询需求。
可选地，结果数据的获取是一个持续的获取过程，具体内容如下：聚合系统根据数据获取请求，从多个数据源持续获取聚合查询请求所需的结果数据；将持续获取的结果数据存储至数据库中，且与请求标识对应存储。
在一个示例中，第一批次数据的具体获取过程可以如下：在结果数据的数据量大于或等于聚合查询请求所需的数据量的情况下，从结果数据中选取目标数据量的数据，得到第一批次返回数据；其中，目标数据量为聚合查询请求所需的数据量。
第二批次返回数据的获取过程如下：接收来自请求方的聚合查询请求的关联查询请求，关联查询请求中包括请求标识；从数据库中获取与请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，未返回结果数据是指未发送给请求方的结果数据；向请求方发送第二批次返回数据。
可选地，在数据库中不存在与请求标识对应存储的未返回结果数据的情况下，聚合系统向请求方发送查询结束响应；其中，查询结束响应用于指示已提供全部聚合查询请求所需的结果数据。
步骤203，业务系统向请求方发送第一批次返回数据以及请求标识。
可选地，在获取第二批次返回数据之后，业务系统向请求方发送第二批次返回数据以及请求标识。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
请参考图3，其示出了本申请另一个实施例提供的多源数据查询方法的流程图。该方法的各个步骤的执行主体可以是上文的业务系统101。该方法可以包括如下几个步骤(301～305)：
步骤301，接收来自请求方的聚合查询请求，聚合查询请求用于请求查询来自多个数据源的数据。
步骤302，为聚合查询请求分配对应的请求标识。
步骤303，向聚合系统发送携带有请求标识的数据获取请求，数据获取请求用于请求获取聚合查询请求所需的结果数据。
步骤304，接收来自聚合系统的第一批次返回数据，第一批次返回数据是聚合系统从查询获取的聚合查询请求所需的结果数据中选取的。
步骤305，向请求方发送第一批次返回数据以及请求标识。
可选地，在用户查询完第一批次返回数据之后，响应于用户针对该查询内容的继续查询操作，请求方需要第二批次返回数据。业务系统获取第二批次返回数据的过程如下：接收来自请求方的聚合查询请求的关联查询请求，关联查询请求中包括请求标识；从数据库中获取与请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，未返回结果数据是指未发送给请求方的结果数据；向请求方发送第二批次返回数据。
可选地，若用户所需的数据全部提供完成，业务层则会向请求方发送查询结束响应，其内容如下：在数据库中不存在与请求标识对应存储的未返回结果数据的情况下，向请求方发送查询结束响应；其中，查询结束响应用于指示已提供全部聚合查询请求所需的结果数据。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
请参考图4，其示出了本申请另一个实施例提供的多源数据查询方法的流程图。该方法的各个步骤的执行主体可以是上文的聚合系统102。该方法可以包括如下几个步骤(401～405)：
步骤401，接收来自业务系统的数据获取请求，数据获取请求用于请求获取聚合查询请求所需的结果数据，数据获取请求中包括聚合查询请求对应的请求标识。
步骤402，根据数据获取请求，从多个数据源获取聚合查询请求所需的结果数据。
可选地，结果数据的获取是一个持续的获取过程，具体内容如下：根据数据获取请求，从多个数据源持续获取聚合查询请求所需的结果数据；将持续获取的结果数据存储至数据库中，且与请求标识对应存储。
步骤403，将请求标识和结果数据对应存储至数据库中。
步骤404，从结果数据中选取第一批次返回数据。
可选地，第一批次数据的具体获取过程可以如下：在结果数据的数据量大于或等于聚合查询请求所需的数据量的情况下，从结果数据中选取目标数据量的数据，得到第一批次返回数据；其中，目标数据量为聚合查询请求所需的数据量。
步骤405，向业务系统发送第一批次返回数据。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
下述为本申请装置实施例，可以用于执行本申请业务系统侧或聚合系统侧的方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请系统实施例。
请参考图5，其示出了本申请一个实施例提供的多源数据查询装置的框图。该装置具有实现上述业务系统侧的多源数据查询方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。该装置500可以包括：查询请求接收模块501、请求标识分配模块502、获取请求发送模块503、返回数据接收模块504和返回数据发送模块505。
查询请求接收模块501，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据。
请求标识分配模块502，用于为所述聚合查询请求分配对应的请求标识。
获取请求发送模块503，用于向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据。
返回数据接收模块504，用于接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的。
返回数据发送模块505，用于向所述请求方发送所述第一批次返回数据以及所述请求标识。
在一个示例性实施例中，所述查询请求接收模块501，还用于接收来自所述请求方的所述聚合查询请求的关联查询请求，所述关联查询请求中包括所述请求标识。
所述返回数据接收模块504，还用于从所述数据库中获取与所述请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，所述未返回结果数据是指未发送给所述请求方的结果数据。
所述返回数据发送模块505，还用于向所述请求方发送所述第二批次返回数据。
在一个示例性实施例中，所述装置500还包括：结束响应发送模块(图5中未示出)。
结束响应发送模块，用于在所述数据库中不存在与所述请求标识对应存储的未返回结果数据的情况下，向所述请求方发送查询结束响应；其中，所述查询结束响应用于指示已提供全部所述聚合查询请求所需的结果数据。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
请参考图6，其示出了本申请另一个实施例提供的多源数据查询装置的框图。该装置具有实现上述聚合系统侧的多源数据查询方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。该装置600可以包括：获取请求接收模块601、结果数据获取模块602、结果数据存储模块603、返回数据选取模块604和数据发送模块605。
获取请求接收模块601，用于接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识。
结果数据获取模块602，用于根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据。
结果数据存储模块603，用于将所述请求标识和所述结果数据对应存储至数据库中。
返回数据选取模块604，用于从所述结果数据中选取第一批次返回数据。
数据发送模块605，用于向所述业务系统发送所述第一批次返回数据。
在一个示例性实施例中，所述返回数据选取模块604，用于在所述结果数据的数据量大于或等于所述聚合查询请求所需的数据量的情况下，从所述结果数据中选取目标数据量的数据，得到所述第一批次返回数据；其中，所述目标数据量为所述聚合查询请求所需的数据量。
在一个示例性实施例中，所述结果数据获取模块602，还用于根据所述数据获取请求，从所述多个数据源持续获取所述聚合查询请求所需的结果数据。
所述结果数据存储模块603，还用于将持续获取的所述结果数据存储至所述数据库中，且与所述请求标识对应存储。
综上所述，本申请实施例提供的技术方案，通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与系统实施例属于同一构思，其具体实现过程详见系统实施例，这里不再赘述。
在一个示例性实施例中，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述多源数据查询方法。
在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上述多源数据查询方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。终端的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述终端执行上述多源数据查询方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种多源数据查询系统，其特征在于，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统，用于根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统，还用于向所述请求方发送所述第一批次返回数据以及所述请求标识。
2.根据权利要求1所述的系统，其特征在于，所述聚合系统，具体用于：
在所述结果数据的数据量大于或等于所述聚合查询请求所需的数据量的情况下，从所述结果数据中选取目标数据量的数据，得到所述第一批次返回数据；
其中，所述目标数据量为所述聚合查询请求所需的数据量。
3.根据权利要求1所述的系统，其特征在于，所述聚合系统，还用于：
根据所述数据获取请求，从所述多个数据源持续获取所述聚合查询请求所需的结果数据；
将持续获取的所述结果数据存储至所述数据库中，且与所述请求标识对应存储。
4.根据权利要求1所述的系统，其特征在于，所述业务系统，还用于：
接收来自所述请求方的所述聚合查询请求的关联查询请求，所述关联查询请求中包括所述请求标识；
从所述数据库中获取与所述请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，所述未返回结果数据是指未发送给所述请求方的结果数据；
向所述请求方发送所述第二批次返回数据。
5.根据权利要求4所述的系统，其特征在于，所述业务系统，还用于：
在所述数据库中不存在与所述请求标识对应存储的未返回结果数据的情况下，向所述请求方发送查询结束响应；
其中，所述查询结束响应用于指示已提供全部所述聚合查询请求所需的结果数据。
6.一种多源数据查询方法，其特征在于，应用于多源数据查询系统中，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统向所述请求方发送所述第一批次返回数据以及所述请求标识。
7.一种多源数据查询方法，其特征在于，所述方法包括：
接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；
为所述聚合查询请求分配对应的请求标识；
向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；
向所述请求方发送所述第一批次返回数据以及所述请求标识。
8.根据权利要求7所述的方法，其特征在于，所述向所述请求方发送所述第一批次返回数据以及所述请求标识之后，还包括：
接收来自所述请求方的所述聚合查询请求的关联查询请求，所述关联查询请求中包括所述请求标识；
从所述数据库中获取与所述请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，所述未返回结果数据是指未发送给所述请求方的结果数据；
向所述请求方发送所述第二批次返回数据。
9.根据权利要求8所述的方法，其特征在于，所述接收来自所述请求方的所述聚合查询请求的关联查询请求之后，还包括：
在所述数据库中不存在与所述请求标识对应存储的未返回结果数据的情况下，向所述请求方发送查询结束响应；
其中，所述查询结束响应用于指示已提供全部所述聚合查询请求所需的结果数据。
10.一种多源数据查询方法，其特征在于，所述方法包括：
接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；
根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；
将所述请求标识和所述结果数据对应存储至数据库中；
从所述结果数据中选取第一批次返回数据；
向所述业务系统发送所述第一批次返回数据。
11.根据权利要求10所述的方法，其特征在于，所述从所述结果数据中选取第一批次返回数据，包括：
在所述结果数据的数据量大于或等于所述聚合查询请求所需的数据量的情况下，从所述结果数据中选取目标数据量的数据，得到所述第一批次返回数据；
其中，所述目标数据量为所述聚合查询请求所需的数据量。
12.根据权利要求10所述的方法，其特征在于，所述根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据之后，还包括：
根据所述数据获取请求，从所述多个数据源持续获取所述聚合查询请求所需的结果数据；
将持续获取的所述结果数据存储至所述数据库中，且与所述请求标识对应存储。
13.一种多源数据查询装置，其特征在于，所述装置包括：
查询请求接收模块，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；
请求标识分配模块，用于为所述聚合查询请求分配对应的请求标识；
获取请求发送模块，用于向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
返回数据接收模块，用于接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；
返回数据发送模块，用于向所述请求方发送所述第一批次返回数据以及所述请求标识。
14.一种多源数据查询装置，其特征在于，所述装置包括：
获取请求接收模块，用于接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；
结果数据获取模块，用于根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；
结果数据存储模块，用于将所述请求标识和所述结果数据对应存储至数据库中；
返回数据选取模块，用于从所述结果数据中选取第一批次返回数据；
数据发送模块，用于向所述业务系统发送所述第一批次返回数据。
15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求7至9任一项所述的多源数据查询方法，以及实现如权利要求10至12任一项所述的多源数据查询方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求7至9任一项所述的多源数据查询方法，以及实现如权利要求10至12任一项所述的多源数据查询方法。
CN202110327443.1A 2021-03-26 2021-03-26 多源数据查询系统、方法、装置、设备及存储介质 Pending CN113190578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327443.1A CN113190578A (zh) 2021-03-26 2021-03-26 多源数据查询系统、方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327443.1A CN113190578A (zh) 2021-03-26 2021-03-26 多源数据查询系统、方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113190578A true CN113190578A (zh) 2021-07-30

Family

ID=76974143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327443.1A Pending CN113190578A (zh) 2021-03-26 2021-03-26 多源数据查询系统、方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113190578A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859322A (zh) * 2005-12-17 2006-11-08 华为技术有限公司 查询用户信息的方法
CN101930472A (zh) * 2010-09-09 2010-12-29 南京中兴特种软件有限责任公司 一种支持分布式数据库基于并行查询的方法
CN105681252A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种基于客户端侧数据的处理方法及装置
CN109165257A (zh) * 2018-08-07 2019-01-08 中国建设银行股份有限公司 数据查询方法及相关系统、设备和存储介质
CN110309172A (zh) * 2019-06-06 2019-10-08 阿里巴巴集团控股有限公司 一种数据计算方法、系统、装置及电子设备
CN111339139A (zh) * 2020-02-21 2020-06-26 广州市百果园信息技术有限公司 数据处理方法、装置、设备和存储介质
CN111767560A (zh) * 2020-06-24 2020-10-13 中国工商银行股份有限公司 一种多数据源的聚合查询方法及装置
CN112307066A (zh) * 2020-11-03 2021-02-02 平安普惠企业管理有限公司 分布式数据聚合方法、系统、设备及存储介质
CN112434056A (zh) * 2020-10-12 2021-03-02 南京江北新区生物医药公共服务平台有限公司 一种详情数据的查询方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859322A (zh) * 2005-12-17 2006-11-08 华为技术有限公司 查询用户信息的方法
CN101930472A (zh) * 2010-09-09 2010-12-29 南京中兴特种软件有限责任公司 一种支持分布式数据库基于并行查询的方法
CN105681252A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种基于客户端侧数据的处理方法及装置
CN109165257A (zh) * 2018-08-07 2019-01-08 中国建设银行股份有限公司 数据查询方法及相关系统、设备和存储介质
CN110309172A (zh) * 2019-06-06 2019-10-08 阿里巴巴集团控股有限公司 一种数据计算方法、系统、装置及电子设备
CN111339139A (zh) * 2020-02-21 2020-06-26 广州市百果园信息技术有限公司 数据处理方法、装置、设备和存储介质
CN111767560A (zh) * 2020-06-24 2020-10-13 中国工商银行股份有限公司 一种多数据源的聚合查询方法及装置
CN112434056A (zh) * 2020-10-12 2021-03-02 南京江北新区生物医药公共服务平台有限公司 一种详情数据的查询方法及装置
CN112307066A (zh) * 2020-11-03 2021-02-02 平安普惠企业管理有限公司 分布式数据聚合方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110008257B (zh) 数据处理方法、装置、系统、计算机设备和存储介质
CN109660607B (zh) 一种业务请求分发方法、接收方法、装置及服务器集群
US11734271B2 (en) Data query method, apparatus and device
US9031925B2 (en) Hadoop access via hadoop interface services based on function conversion
JP2017199439A (ja) データ記憶サービスを実装するシステム及び方法
US20150169688A1 (en) Formulating global statistics for distributed databases
US8171228B2 (en) Garbage collection in a cache with reduced complexity
US7860822B1 (en) Distributed aggregation mapping
WO2019041738A1 (zh) 客户资源获取方法、装置、终端设备及存储介质
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
CN111159219B (zh) 一种数据管理方法、装置、服务器及存储介质
WO2022062184A1 (zh) 高并发查询方法、智能终端及存储介质
WO2020094064A1 (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN109844723B (zh) 使用基于服务的统计信息进行主控建立的方法和系统
CN116132448B (zh) 基于人工智能的数据分流方法及相关设备
CN113190578A (zh) 多源数据查询系统、方法、装置、设备及存储介质
CN111311310A (zh) 广告订单推送方法及装置、存储介质及电子装置
CN116680295A (zh) 多数据库处理数据的方法、系统及装置
US20200218708A1 (en) Methods, Systems, Databases and Network Nodes of Data Communication Networks for Handling Data Posts
CN114490719A (zh) 一种数据查询方法、装置、电子设备以及存储介质
CN116783588A (zh) 用于大元数据管理的列技术
CN113783912A (zh) 请求分发方法、装置及存储介质
CN111813761A (zh) 一种数据库管理方法、装置以及计算机存储介质
CN113609168A (zh) 数据导出方法、装置、终端以及可读存储介质
CN114253456A (zh) 一种缓存负载均衡方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination