CN118093654A - 一种支持航天工程大规模数据查询检索方法及系统 - Google Patents

Abstract

本发明涉及一种支持航天工程大规模数据查询检索方法及系统，能够同时实现对结构化类型和非结构化类型数据的查询，满足多类型数据复杂查询场景的需要。该方法中，第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发查询请求。一个查询请求被第一服务端转发至一个第二服务端。任一查询请求由任一客户端发送至第一服务端，任一查询请求携带有与任一客户端待查询的结果相关联的至少一个查询请求参数。任一第二服务端基于任一客户端待查询的结果的数据类型，获取对应的查询结果。数据类型包括结构化类型和非结构化类型。任一第二服务端向任一客户端发送该查询结果，以使任一客户端展示与查询结果相关联的数据。

Description

一种支持航天工程大规模数据查询检索方法及系统

技术领域

本发明涉及航天工程大数据查询技术领域，尤其涉及一种支持航天工程大规模数据查询检索方法及系统。

背景技术

在载人航天工程领域中，随着空间站长周期在轨运行以及后续任务实施，将会持续产生海量工程数据和科学数据，此数据量级巨大且数据种类繁多，对现阶段分布式数据库的查询性能带来极大的挑战。

但是，目前的单一类型的分布式数据库，无法同时满足对结构化类型的数据和非结构化类型的数据的查询。

发明内容

本发明所要解决的技术问题是提供一种支持航天工程大规模、多类型数据查询检索方法及系统，能够同时实现对结构化类型的数据和非结构化类型的数据的查询，满足复杂查询场景的需要；以及在高并发场景下，保证复杂查询的稳定性与高效性。

本发明解决上述技术问题的技术方案如下：

一方面，本发明提供一种支持航天工程大规模数据查询检索方法，该方法中，第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发所述查询请求。其中，一个所述查询请求被所述第一服务端转发至一个所述第二服务端。对于所述至少一个查询请求中的任一查询请求，所述任一查询请求由至少一个客户端中的任一客户端发送至所述第一服务端，所述任一查询请求携带有与所述任一客户端待查询的结果相关联的至少一个查询请求参数。对于所述至少一个第二服务端中的任一第二服务端，所述任一第二服务端接收所述任一查询请求，以及，基于所述任一客户端待查询的结果的数据类型，获取与所述至少一个查询请求参数对应的查询结果；所述数据类型包括结构化类型和非结构化类型。所述任一第二服务端向所述任一客户端发送所述查询结果；所述任一客户端响应于接收的所述查询结果，展示与所述查询结果相关联的数据。

本发明的有益效果是：能够同时实现对结构化类型的数据和非结构化类型的数据的查询，满足复杂查询场景的需要。以及，第一服务端通过预设规则对接收到的各查询请求进行流量分配保证高并发场景的负载均衡，保障了查询的稳定性，通过自动路由算法和查询优化算法保证了查询的高效性。

进一步，所述任一客户端响应于用户输入的第一查询模式设置指令，进入全文查询模式，以及，显示全文查询页面。所述第一查询模式设置指令用于指示所述任一客户端进入所述全文查询模式。所述任一客户端响应于用户在所述全文查询页面中输入的至少一个查询请求参数，向所述第一服务端发送携带有所述至少一个查询请求参数的查询请求。与所述用户在所述全文查询页面中输入的各查询请求参数相关联的查询结果的数据类型为非结构化类型。

或者，所述任一客户端响应于用户输入的第二查询模式设置指令，进入高级查询模式，以及，显示高级查询页面。所述第二查询模式设置指令用于指示所述任一客户端进入所述高级查询模式。所述高级查询页面中包括至少一个查询请求参数。与所述高级查询页面中包括的各查询请求参数相关联的查询结果的数据类型为结构化类型。所述任一客户端响应于用户在所述高级查询页面中输入的对所述至少一个查询请求参数中的至少一个目标查询请求参数的选中操作，向所述第一服务端发送携带有所述至少一个目标查询请求参数的查询请求。

采用上述进一步方案的有益效果是：能够支持用户自定义设置查询模式，若任一客户端的查询模式被用户设定为全文查询模式，则支持用户在显示的全文查询页面中输入至少一个查询请求参数。若任一客户端的查询模式被用户设定为高级查询模式，则支持用户在显示的高级查询页面中选择至少一个查询请求参数。其中，在全文查询模式下，可以确定待查询的结果的数据类型为非结构化类型。在高级查询模式下，可以确定待查询的结果的数据类型为结构化类型。

进一步，所述任一客户端响应于用户在规则配置页面输入的规则配置指令，将所述预设规则发送至所述第一服务端。其中，所述规则配置指令用于指示设置所述预设规则。所述第一服务端接收并存储所述预设规则。

采用上述进一步方案的有益效果是：客户端可以显示用于支持用户设置预设规则的规则配置页面。用户可以在客户端的规则配置页面自定义设置预设规则。用户设置的预设规则决定的流量分配，保证高并发场景的负载均衡，保障本发明提供的系统的查询稳定性。

进一步，所述预设规则包括所述任一客户端发送的查询请求对应的目的地地址。所述第一服务端基于所述目的地地址，向地址为所述目的地地址的所述第二服务端转发所述任一客户端发送的查询请求。

采用上述进一步方案的有益效果是：第一服务端基于预设规则确定的各查询请求对应的转发路径可以满足各客户端的发送需要，可以提高获得的查询结果的稳定性。

进一步，所述预设规则包括各所述第二服务端的权重。所述第一服务端基于各所述第二服务端的权重，向至少一个第二服务端转发所述查询请求。

采用上述进一步方案的有益效果是：第一服务端基于预设规则确定的各查询请求对应的转发路径可以保证各第二服务端的查询稳定性。

进一步，若所述任一第二服务端接收到所述第一服务端发送的查询请求，则向所述第一服务端发送用于表示成功接收所述查询请求的反馈信息。若所述第一服务端在第一时间段内未接收到所述反馈信息，则基于所述预设规则，向除所述任一第二服务端以外的一个所述第二服务端转发所述查询请求。

采用上述进一步方案的有益效果是：第一服务端基于在第一时间段内是否能接收到反馈信息，从而确定是否向第二服务端成功发送查询请求。若发送成功，则第一服务端完成本次对该查询请求的分发并可以生成分发记录。若发送失败，则第一服务端可以重新对查询请求的分发路径进行分发，提高查询可靠性，避免查询失败。

进一步，所述任一第二服务端若确定所述查询结果的数据类型为非结构化类型，则基于Elasticsearch数据库获取所述查询结果。所述任一第二服务端若确定所述查询结果的数据类型为结构化类型，则确定查询方案，以及，基于所述查询方案获取所述查询结果；所述查询方案基于自动路由算法确定。

采用上述进一步方案的有益效果是：提供了基于自动路由算法和查询结果的数据类型获取查询结果的具体实现方式。

进一步，所述自动路由算法包括根据所述查询请求参数，确定与所述查询请求参数相关联的至少一个查询语句。对于所述至少一个查询语句中的任一查询语句，提取所述任一查询语句中包括的至少一个相关表名称。基于每一个所述相关表名称对应的相关表包括在OLAP数据库中，将所述查询方案确定为基于所述OLAP数据库查询。基于存在所述相关表名称对应的相关表不包括在所述OLAP数据库中，将所述查询方案确定为基于OLTP数据库查询。

采用上述进一步方案的有益效果是：提供了自动路由算法的具体内容，为查询结构化类型的数据，提供了高效的查询实现方式，提升了查询效率。

进一步，还可以基于OLTP数据库的查询优化算法优化查询方案。其中，基于OLTP数据库的查询优化算法包括：确定在第二时间段内基于所述OLTP数据库获取每一个查询结果时对应的查询信息。所述查询信息包括时间信息和频率信息。对于所述每一个查询结果中的任一查询结果，所述任一查询结果对应的时间信息包括基于所述OLTP数据库获取所述任一查询结果所用的时间。所述频率信息包括基于所述OLTP数据库获取所述任一查询结果的频率。基于所述查询信息，优化所述查询方案。

采用上述进一步方案的有益效果是：提供了基于OLTP数据库的查询优化算法的具体内容，基于OLTP数据库的查询优化算法优化查询方案，能够提升查询效率。

第二方面，本发明提供一种支持航天工程大规模数据查询检索系统，该系统包括至少一个客户端和至少一个服务端；所述至少一个服务端包括第一服务端和至少一个第二服务端。所述第一服务端用于响应于接收的至少一个查询请求，基于预设规则，向不同的所述第二服务端转发所述查询请求；其中，一个所述查询请求被所述第一服务端转发至一个所述第二服务端；对于所述至少一个查询请求中的任一查询请求，所述任一查询请求携带有与所述至少一个客户端待查询的结果相关联的至少一个查询请求参数；

对于所述至少一个第二服务端中的任一第二服务端，所述任一第二服务端用于接收所述任一查询请求，以及，用于基于所述任一客户端待查询的结果的数据类型，获取与所述至少一个查询请求参数对应的查询结果；所述数据类型包括结构化类型和非结构化类型。所述任一第二服务端用于向所述任一客户端发送所述查询结果。所述任一客户端用于响应于接收的所述查询结果，展示与所述查询结果相关联的内容。

本发明的有益效果是：能够同时实现对结构化类型的数据和非结构化类型的数据的查询，满足复杂查询场景的需要。以及，第一服务端通过预设规则对接收到的各查询请求进行流量分配保证高并发场景的负载均衡，保障了查询的稳定性，通过自动路由算法和OLTP查询优化算法保证了查询的高效性。

附图说明

图1为本发明提供的一种支持航天工程大规模数据查询检索方法的流程示意图；

图2为本发明提供的全文查询页面的示意图；

图3为本发明提供的高级查询页面的示意图；

图4为本发明提供的自动路由算法的流程示意图；

图5为本发明提供的一种支持航天工程大规模数据查询检索系统的结构示意图；

图6为本发明提供的客户端、第一服务端以及第二服务端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。

数据引擎通常包括用于对结构化类型的数据进行查询与分析的结构化数据引擎和用于对非结构化类型的数据进行查询与分析的非结构化数据引擎。其中，结构化数据引擎可以分为线上分析处理(Online Analytical Processing，OLAP)引擎和联机事务处理(Online Transaction Processing，OLTP)引擎。

但是，目前的结构化数据引擎只能针对结构化类型的数据进行查询与分析而无法针对非结构化类型的数据进行查询与分析。相似的，目前的非结构化数据引擎只能针对非结构化类型的数据进行查询与分析而无法针对于结构化类型的数据进行查询与分析。即，目前的数据引擎均为只能针对单一数据类型的数据(结构化类型的数据或非结构化类型的数据)进行查询与分析，无法同时满足对结构化类型的数据和非结构化类型的数据的查询与分析。

但是，高效的查询方式需要针对不同的查询要求，选择更加合适的查询引擎。此外，随着业务系统的演变和数据量的提升，如何提升查询效率也逐渐成为亟需解决的问题。

针对目前的查询引擎无法同时满足对结构化类型的数据和非结构化类型的数据的查询与分析等问题，本发明提供一种支持航天工程大规模数据查询检索方法，参见图1，该方法包括如下步骤S100-S104。

S100：至少一个客户端向第一服务端发送查询请求。

在一些实施例中，每一个客户端均支持被设置为对应的查询模式。其中，查询模式可以包括全文查询模式和高级查询模式。下面对全文查询模式和高级查询模式进行详细介绍。

全文查询模式：可以预先将与如载人航天工程相关联的图像、文本、视频、音频等文件存储在对应位置后，提取与文件相关的元信息。其中，与文件相关的元信息可以包括文件的名称、存放路径、文件的大小等。将提取的与文件相关的元信息存放在Elasticsearch数据库中后，用户若有获取上述文件的需求，可以在客户端输入与上述文件相关联的查询请求参数。客户端在处于全文查询模式下，可以确定用户待查询的结果的数据类型为非结构化类型。之后，可以基于用户输入的查询请求参数在Elasticsearch数据库中获取上述文件的元信息，从而在上述文件的存放路径中获取上述文件。之后，可以通过预设的方式在客户端渲染展示与上述文件相关联的内容。

可见，全文查询模式支持用户自定义输入查询请求参数，以及，全文查询模式支持基于用户自定义输入的查询请求参数对非结构化类型的数据进行查询。

高级查询模式：通过ClickHouse预先存储待查询的结构化类型数据。之后，可以在客户端展示各查询关键参数。用户若有查询业务相关数据的需求，可以在客户端中对与该业务对应的查询请求参数进行选中操作，之后，可以基于用户选中的查询请求参数通过OLTP数据库或OLAP数据库获取该请求相关联的数据。之后，可以通过预设的方式在客户端渲染展示与上述查询结果数据的信息。

可见，高级查询模式支持用户选择预先设置好的查询请求参数，客户端在处于高级查询模式下，可以确定用户待查询的结果的数据类型为结构化类型。其中，由于高级查询模式涉及的结构化类型的数据属性繁多，可以提供多维度的组合分析。因此，当需要查询大规模数据中的具备某类属性的数据记录，或者对大规模数据某几类属性进行统计分析时，可以将客户端的查询模式设置为高级查询模式。

为了便于描述，本实施例中，可以将至少一个客户端中的任一客户端称为目标客户端，可以将目标客户端向第一服务端发送的查询请求称为目标查询请求，将目标查询请求携带的查询请求参数可以称为目标查询请求参数，以及，将接收到第一服务端转发的目标查询请求的第二服务端可以称为目标第二服务端。

下面对设置目标客户端的查询模式的方法进行详细说明。

在一些实施例中，参见图2，目标客户端可以显示用于设置查询模式的页面。该页面中包括用于将目标客户端设置为全文查询模式的控件201和用于将目标客户端设置为高级查询模式的控件202。用户可以对控件201进行选中操作，以指示目标客户端进入全文查询模式。用户也可以对控件202进行选中操作，以指示目标客户端进入高级查询模式。

其中，用户对控件201的选中操作也可以视为用户向目标客户端输入第一查询模式设置指令。用户对控件202的选中操作也可以视为用户向目标客户端输入第二查询模式设置指令。目标客户端接收到用户输入的第一查询模式设置指令或第二查询模式设置指令后，可以做出对应的响应。

在一些实施例中，目标客户端接收到用户输入的第一查询模式设置指令后，可以响应于第一查询模式设置指令，进入全文查询模式，以及，显示如图2所示的全文查询页面210。全文查询页面210中包括输入框211。输入框211支持用户向目标客户端输入至少一个查询请求参数。用户在输入框211中输入至少一个查询请求参数(例如，输入关键词“TG”)后，目标客户端响应于用户输入的至少一个查询请求参数，向第一服务端发送携带有用户输入的查询请求参数的查询请求。对应的，第一服务端可以接收目标客户端发送的查询请求。

在一些实施例中，目标客户端接收到用户输入的第二查询模式设置指令后，可以响应于用户输入的第二查询模式设置指令，进入高级查询模式，以及，显示如图3所示的高级查询页面。高级查询页面300中包括预先设置的至少一个查询请求参数(例如，“文件IDtrue”、“航天代号true”、“模型名true”、“模型说明true”等)。用户可以对目标客户端显示的查询请求参数中的至少一个目标查询请求参数(例如，“文件IDtrue”和“航天代号true”)进行选中操作。目标客户端响应于用户的选中操作，向第一服务端发送携带有用户选中的目标查询请求参数的查询请求。对应的，第一服务端可以接收目标客户端发送的查询请求。

S101：第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发查询请求。

其中，一个查询请求被第一服务端转发至一个第二服务端。即，同一个查询请求不会被第一服务端转发至不同的第二服务端，避免重复查询，减少第二服务端的资源浪费。

在一些实施例中，第一服务端向至少一个第二服务端转发查询请求之前，可以获取预设规则。下面对第一服务端获取预设规则的方法进行详细说明。

首先，目标客户端(例如，客户端401)可以显示规则配置页面。用户可以在规则配置页面输入用于指示设置预设规则的规则配置指令。目标客户端响应于用户输入的规则配置指令，可以将预设规则发送至第一服务端。第一服务端可以接收并存储目标客户端发送的预设规则。例如，第一服务端可以将预设规则存储至配置库中。

其中，预设规则可以基于配置参数设置，配置参数可以包括各第二服务端的地址、各第二服务端的监听端口、各第二服务端的资源利用率、各第二服务端的运行状态中的至少一项，本申请实施例不予限制。

在一些实施例中，由于在生产环境中，存在部分业务对实时性要求较高，因此，第一服务端需要将目标客户端的查询请求转发至指定的第二服务端，以提高发送效率和查询的稳定性。在这种情况下，第一服务端确定的预设规则可以包括目标客户端发送的查询请求对应的目的地地址(例如，目标第二服务端的IP地址和/或端口号)。第一服务端基于该目的地地址，可以将目标客户端发送的查询请求转发至目标第二服务端。

在一些实施例中，由于在生产环境中，在不同的第二服务端上的执行的业务程序一般存在差异，因此不同的第二服务端可支持查询的流量大小也存在不同。在这种情况下，预设规则还可以包括各第二服务端的权重。各第二服务端的权重可以反应各第二服务端接收查询请求的优先级。各第二服务端的权重可以基于各第二服务端的监听端口、各第二服务端的资源利用率、各第二服务端的运行状态中的至少一项确定，本申请实施例不予限制。

第一服务端可以基于预设规则，向至少一个第二服务端转发查询请求。例如，若存在两台第二服务端，且这两台第二服务端的权重相等，则第一服务端可以将接收到的查询请求平均发送至这两台第二服务端。即，这两台第二服务端接收的查询请求的数量相等。又例如，若存在两台第二服务端，一台第二服务端可利用的计算资源较少，其权重为2，另一台第二服务端可利用的计算资源较多，其权重为8，则第一服务端可以将接收到的80％的查询请求发送至权重为8的第二服务端，将接收到的另外20％的查询请求发送至权重为2的第二服务端。

在一些实施例中，随着各第二服务端接收到查询请求，用户可以在规则配置页面更新设置的预设规则，以充分的利用各第二服务端的计算资源，提高查询效率。

在一些实施例中，若预设规则既包括目标客户端发送的查询请求对应的一个目的地地址，也包括各第二服务端的权重，则第一服务端可以基于该目的地地址将查询请求转发至对应第二服务端。

在一些实施例中，若预设规则仅包括目标客户端发送的查询请求对应的至少两个目的地地址，则第一服务端可以将接收到的查询请求平均分配至这两个目的地地址分别对应的第二服务端，以实现负载均衡，提高查询效率，减轻各第二服务端的负载率。

在一些实施例中，若预设规则既包括目标客户端发送的查询请求对应的至少两个目的地地址，又包括各第二服务端的权重，则第一服务端可以基于每一个目的地地址对应的第二服务端的权重，将查询请求转发至各目的地地址对应的第二服务端。

在一些实施例中，目标第二服务端接收到第一服务端发送的查询请求后，可以向第一服务端发送用于表示成功接收查询请求的反馈信息。对应的，若第一服务端在第一时间段内接收到该反馈信息，则表示查询请求发送成功，第一服务端完成本次对该查询请求的分发并可以生成分发记录。若第一服务端在第一时间段内未接收到该反馈信息，则表示发送失败，第一服务端可以重新基于预设规则对查询请求的分发路径进行分发，以向除所述目标第二服务端以外的第二服务端转发查询请求，避免查询失败。

在一些实施例中，配置库中设置了发送失败的次数阈值。当发送失败的次数未达到次数阈值，若发送成功，第一服务端可以通过日志记录发送的查询请求的元信息。若发送失败，第一服务端可以将查询请求加权轮询分配至其他第二服务端。当发送失败的次数达到次数阈值，客户端可以提示用户查询失败，并通过后台监控系统报警给运维人员。

S102：目标第二服务端接收目标查询请求，基于目标查询请求参数和目标客户端待查询的结果的数据类型，获取对应的查询结果。

其中，数据类型包括结构化类型和非结构化类型。

在一些实施例中，目标第二服务端若确定目标客户端待查询的结果的数据类型为非结构化类型，则基于Elasticsearch数据库获取与目标查询请求参数对应的查询结果。

其中，Elasticsearch数据库的作用是组织并分类存储数据，方便用户快速、高效地查询所需信息。在Elasticsearch数据库中，数据以JSON格式存储在索引中，每个索引可以包含多个文档。索引是具有类似特性的文档的集合，类似于SQL中的数据库或数据存储方案。通过索引，Elasticsearch数据库能够实现分布式存储和检索数据，支持大规模数据集的查询和分析。

在一些实施例中，各第二服务端可以查看Elasticsearch数据库中的索引列表、索引状态、索引信息。可以对Elasticsearch数据库进行对应的管理操作，包含：新建索引、新建索引别名、合并索引、关闭索引、删除索引。当有文件存入Elasticsearch数据库中，可以按照其特性，如数据上传的时间、数据的来源(地面支持中心)、模糊搜索对象的名称、文件类型等，将数据存放至指定索引，当基于Elasticsearch数据库进行数据查询时，可以对Elasticsearch数据库集群中单个集群中的索引进行数据浏览、数据查询等操作，通过选择需要进行数据浏览的索引，可以查看索引中的数据记录。

在一些实施例中，目标第二服务端若确定目标客户端待查询的结果的数据类型为结构化类型，则确定查询方案，以及，基于确定的查询方案获取与目标查询请求参数对应的查询结果。其中，目标查询方案基于自动路由算法确定。

在本申请实施例中，对数据类型为结构化类型的数据进行查询时，存在多种查询场景，包括：实时处理大量数据的事务、高并发的查询请求以及对历史数据的多维度分析处理等。不同的查询场景适用于不同的查询数据库，考虑有些业务对事务处理和数据分析都有一定的要求，可以采用OLTP数据库同步OLAP数据库的方式。其中，OLAP数据库主要用于复杂的分析操作和决策支持，并提供了直观易懂的查询结果，典型的应用是复杂的动态报表系统。OLTP数据库更侧重于实时性要求高的应用程序，旨在快速处理单个事务。

采用OLTP数据库同步OLAP数据库的方式会建立一个OLTP表和一个OLAP表，以OLTP数据库为入口，如果OLTP数据库中插入一条数据，此条数据会同步插入到OLAP数据库中，基于这套存储机制，本发明提供一种自动路由算法，基于自动路由算法，第二服务端可以确定合适的查询方案，使用户无需关心当前查询场景适合哪种查询数据库，用户提供筛选条件后，第二服务端可自动将查询请求路由到合适的查询数据库上，极大提升了检索的效率。

下面结合图4对自动路由算法进行详细说明。

S400：根据查询请求参数，确定与查询请求参数相关联的至少一个查询语句。

其中，该查询语句可以为SQL语句。该查询语句可以用于获取与对应查询请求参数相关联的查询结果。

S401:对于任一查询语句，提取该任一查询语句中包括的至少一个相关表名称。

其中，由于查询语句为SQL语句，因此，可以通过格式化SQL语句提取SQL语句中的至少一个相关表名称。可以基于各相关表名称对应的相关表是否全部包括在OLAP数据库中，以确定查询方案。

其中，若每一个相关表名称对应的相关表均包括在OLAP数据库中，则可以继续执行下述步骤S402。若存在相关表名称对应的相关表不包括在OLAP数据库中，则可以继续执行下述步骤S403。

S402:将查询方案确定为基于OLAP数据库查询。

S403:将查询方案确定为基于OLTP数据库查询。

在一些实施例中，目标第二服务端确定查询方案后，可以按照语法规则对用于请求获取查询结果的查询语句进行映射转换，若查询语句在OLTP数据库上执行，则无需转换。若查询语句在OLAP数据库上执行，则按照固定的转换规则将查询语句转换成ClickHouse查询语句。其中，转换规则可以包括结构转换、函数转换、类型比较的时候需要做的函数转换兼容等。下面结合具体示例说明结构转换、函数转换、类型比较的时候需要做的函数转换兼容。

结构转换：例如可以包括把一些子查询转换为join查询等。

函数转换：例如可以包括把year转换成toYear，day转换成toDay，is not null转换成isNotNull等。

类型比较的时候需要做的函数转换兼容：例如，a＝b有些类型可能需要增加函数才能做比较：a＝cast(b as xxxx)。

针对ClickHouse和MySQL语法体系之间兼容性的差异均制定了相应的转换规则。

S103：目标第二服务端向目标客户端发送查询结果。

在一些实施例中，目标第二服务端可以直接向目标客户端发送查询结果。目标第二服务端也可以通过第一服务端向目标客户端转发查询结果，本申请实施例不予限制。

对应的，目标客户端可以接收目标第二服务端发送的查询结果。

S104：目标客户端响应于接收的查询结果，展示与查询结果相关联的内容。

其中，与查询结果相关联的内容可以以文档类数据形式(例如，文本、文件)、图片类数据形式(例如，照片、缩略图、图表、图案)、音频类数据形式、视频类数据形式中的至少一种数据形式呈现。针对文档类数据形式、图片类数据形式以及视频类数据形式的数据可以直接在目标客户端显示，以支持用户在线浏览。针对音频类数据形式的数据可以通过目标客户端播放音频，以支持用户的在线收听。

在一些实施例中，随着业务系统和数据的演变，基于OLTP数据库的查询可能会发生查询速度变慢的情况。因此，可以基于OLTP数据库的查询优化算法优化查询方案，以提升查询速度。

其中，基于OLTP数据库的查询优化算法包括：遍历在第二时间段(例如，近30天)内的查询记录，以确定在第二时间段内基于OLTP数据库获取每一个查询结果时对应的查询信息。其中，查询信息包括时间信息和频率信息。时间信息为基于OLTP数据库获取对应的查询结果所用的时间。频率信息为基于OLTP数据库获取对应的查询结果的频率。基于获取的查询信息优化查询方案。

下面结合表1对基于OLTP数据库的查询优化算法中采用的优化方式进行详细说明。

参见表1，若确定在第二时间段内基于OLTP数据库获取某一查询结果的查询时间时长在1s-5s，且，查询频率在5次以下。后续再对该查询结果进行查询时，可以采用修改SQL语句的方法对该查询结果进行查询，以提升查询效率。

若目标第二服务端确定在第二时间段内基于OLTP数据库获取某一查询结果的查询时间时长在6s-10s，且，查询频率在5次-10次。后续再对该查询结果进行查询时，可以采用路由到从库执行的方法对该查询结果进行查询，以提升查询效率。

若目标第二服务端确定在第二时间段内基于OLTP数据库获取某一查询结果的查询时间时长在10s以上，且，查询频率在10次以上。后续再对该查询结果进行查询时，可以采用基于OLAP数据库查询的方法对该查询结果进行查询，以提升查询效率。

表1

在一些实施例中，本发明还一种支持航天工程大规模数据查询检索系统，本发明提供的系统可以支持实现本发明提供的一种支持航天工程大规模数据查询检索方法的部分或全部步骤。参见图5，本发明提供的系统包括至少一个客户端510和至少一个服务端520。其中，至少一个服务器520包括第一服务端521和至少一个第二服务端(例如，第二服务端522)。

参见图6，客户端可以包括查询页面模块、规则配置模块、数据展示模块。第一服务端可以包括流量分发模块和第一查询监控模块。第二服务端可以包括查询优化模块、第二查询监控模块以及查询处理模块。下面结合具体实施例对本发明提供的一种支持航天工程大规模数据查询检索系统进行详细说明。

在一些实施例中，每一个客户端的查询页面模块均支持将对应的客户端被设置为对应的查询模式。其中，查询模式可以包括全文查询模式和高级查询模式。关于全文查询模式和高级查询模式的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，查询页面模块可以控制目标客户端显示查询模式设置页面。其中，关于查询模式设置页面的描述可以参见前述实施例中的描述，在此不做赘述。

用户可以在查询模式设置页面中输入第一查询模式设置指令或第二查询模式设置指令。其中，关于第一查询模式设置指令或第二查询模式设置的描述可以参见前述实施例中的描述，在此不做赘述。目标客户端的查询页面模块接收到用户输入的第一查询模式设置指令或第二查询模式设置指令后，可以做出对应的响应。

在一些实施例中，目标客户端的查询页面模块接收到用户输入的第一查询模式设置指令后，可以响应于第一查询模式设置指令，控制目标客户端进入全文查询模式，以及，显示全文查询页面。全文查询页面中包括输入框。用户在输入框中输入至少一个查询请求参数(例如，输入关键词“TG”)后，目标客户端响应于用户输入的至少一个查询请求参数，向第一服务端发送携带有用户输入的查询请求参数的查询请求。对应的，第一服务端可以接收目标客户端发送的查询请求。

在一些实施例中，目标客户端的查询页面模块接收到用户输入的第二查询模式设置指令后，可以响应于用户输入的第二查询模式设置指令，控制目标客户端进入高级查询模式，以及，显示高级查询页面。高级查询页面中包括预先设置的至少一个查询请求参数。用户可以对目标客户端显示的查询请求参数中的至少一个目标查询请求参数进行选中操作。目标客户端响应于用户的选中操作，向第一服务端发送携带有用户选中的目标查询请求参数的查询请求。对应的，第一服务端可以接收目标客户端发送的查询请求(本申请实施例中也可称为目标查询请求)。

在一些实施例中，第一服务端接收到包括目标查询请求的至少一个查询请求后，第一服务端的流量分发模块可以基于预设规则，向至少一个第二服务端转发查询请求，以对接收到的各查询请求进行分发。其中，一个查询请求被第一服务端转发至一个第二服务端。

在一些实施例中，第一服务端向至少一个第二服务端转发查询请求之前，可以获取预设规则。下面对第一服务端获取预设规则的方法进行详细说明。

首先，目标客户端的规则配置模块可以控制目标客户端显示规则配置页面。用户可以在规则配置页面输入用于指示设置预设规则的规则配置指令。目标客户端的规则配置模块响应于用户输入的规则配置指令，可以将预设规则发送至第一服务端。第一服务端可以接收并存储目标客户端发送的预设规则。例如，第一服务端可以将预设规则存储至配置库中。

其中，关于预设规则的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，随着各第二服务端接收到查询请求，用户可以在规则配置页面更新设置的预设规则，以充分的利用各第二服务端的计算资源，提高查询效率。

在一些实施例中，若预设规则既包括目标客户端发送的查询请求对应的一个目的地地址，也包括各第二服务端的权重，则第一服务端的流量分发模块可以基于该目的地地址将查询请求转发至对应第二服务端。

在一些实施例中，若预设规则仅包括目标客户端发送的查询请求对应的至少两个目的地地址，则第一服务端的流量分发模块可以将接收到的查询请求平均分配至这两个目的地地址分别对应的第二服务端，以实现负载均衡，提高查询效率，减轻各第二服务端的负载率。

在一些实施例中，若预设规则既包括目标客户端发送的查询请求对应的至少两个目的地地址，又包括各第二服务端的权重，则第一服务端的流量分发模块可以基于每一个目的地地址对应的第二服务端的权重，将查询请求转发至各目的地地址对应的第二服务端。

在一些实施例中，目标第二服务端接收到第一服务端发送的查询请求后，可以向第一服务端发送用于表示成功接收查询请求的反馈信息。对应的，若第一服务端在第一时间段内接收到该反馈信息，则表示查询请求发送成功，第一服务端完成本次对该查询请求的分发，第一服务端的第一查询监控模块可以生成分发记录。若第一服务端在第一时间段内未接收到该反馈信息，则表示发送失败，第一服务端的流量分发模块可以重新基于预设规则对查询请求的分发路径进行分发，以向除所述目标第二服务端以外的第二服务端转发查询请求，避免查询失败。

在一些实施例中，配置库中设置了发送失败的次数阈值。当第一服务端的第一查询监控模块检测到发送失败的次数未达到次数阈值，若发送成功，第一服务端的第一查询监控模块可以通过日志记录发送的查询请求的元信息。若发送失败，第一服务端的第一查询监控模块可以将查询请求加权轮询分配至其他第二服务端。当第一服务端的第一查询监控模块检测到发送失败的次数达到次数阈值，第一服务端的第一查询监控模块可以生成提示信息，并将提示信息发送至客户端。客户端可以显示与提示信息相关联的内容，以提示用户查询失败，并且，第一服务端的第一查询监控模块通过后台监控系统报警给运维人员。

在一些实施例中，目标第二服务端接收目标查询请求，以及，目标第二服务端的查询处理模块基于目标查询请求参数的数据类型，获取与目标查询请求参数对应的查询结果。其中，数据类型包括结构化类型和非结构化类型。

在一些实施例中，目标第二服务端的查询处理模块若确定目标客户端待查询的结果的数据类型为非结构化类型，则基于Elasticsearch数据库获取与目标查询请求参数对应的查询结果。其中，关于Elasticsearch数据库的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，各第二服务端的查询处理模块可以查看Elasticsearch数据库中的索引列表、索引状态、索引信息。可以对Elasticsearch数据库进行对应的管理操作，包含：新建索引、新建索引别名、合并索引、关闭索引、删除索引。当有文件存入Elasticsearch数据库中，可以按照其特性，如数据上传的时间、数据的来源(业务单位)、模糊搜索对象的名称、文件类型等，将数据存放至指定索引，当基于Elasticsearch数据库进行数据查询时，可以对Elasticsearch数据库集群中单个集群中的索引进行数据浏览、数据查询等操作，通过选择需要进行数据浏览的索引，可以查看索引中的数据记录。

在一些实施例中，目标第二服务端的查询处理模块若确定目标客户端待查询的结果的数据类型为结构化类型，则确定查询方案，以及，基于确定的查询方案获取与目标查询请求参数对应的查询结果。其中，目标查询方案基于自动路由算法确定。关于自动路由算法的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，目标第二服务端确定查询结果后，可以向目标客户端发送查询结果。对应的，目标客户端可以接收目标第二服务端发送的查询结果。目标客户端的数据展示模块可以响应于接收的查询结果，展示与查询结果相关联的内容。其中，关于与查询结果相关联的内容的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，随着业务系统和数据的演变，第二服务端基于OLTP数据库的查询可能会发生查询速度变慢的情况。因此，第二服务端的查询优化模块可以基于OLTP数据库的查询优化算法优化查询方案，以提升查询速度。

其中，关于基于OLTP数据库的查询优化算法优化查询方案的描述可以参见前述实施例中的描述，在此不做赘述。

在一些实施例中，第二服务端包括的第二查询监控模块可以对第二服务端的查询情况进行监控。例如，第二查询监控模块可以监控对应的查询处理模块的运行情况，以获取查询进度。又例如，第二查询监控模块可以监控对应的查询优化模块，以获取优化进度等。本申请实施例不予限制。

在一些方案中，可以对本申请的多个实施例进行组合，并实施组合后的方案。可选的，各方法实施例的流程中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。并且，各流程的步骤之间的执行顺序仅是示例性的，并不构成对步骤之间执行顺序的限制，各步骤之间还可以是其他执行顺序。并非旨在表明所述执行次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文某个实施例涉及的过程细节同样以类似的方式适用于其他实施例，或者，不同实施例之间可以组合使用。

此外，方法实施例中的某些步骤可等效替换成其他可能的步骤。或者，方法实施例中的某些步骤可以是可选的，在某些使用场景中可以删除。或者，可以在方法实施例中增加其他可能的步骤。并且，各方法实施例之间可以单独实施，或结合起来实施。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种支持航天工程大规模数据查询检索方法，其特征在于，包括：

第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发所述查询请求；其中，一个所述查询请求被所述第一服务端转发至一个所述第二服务端；对于所述至少一个查询请求中的任一查询请求，所述任一查询请求由至少一个客户端中的任一客户端发送至所述第一服务端，所述任一查询请求携带有与所述任一客户端待查询的结果相关联的至少一个查询请求参数；

对于所述至少一个第二服务端中的任一第二服务端，所述任一第二服务端接收所述任一查询请求，以及，基于所述任一客户端待查询的结果的数据类型，获取与所述至少一个查询请求参数对应的查询结果；所述数据类型包括结构化类型和非结构化类型；

所述任一第二服务端向所述任一客户端发送所述查询结果；

所述任一客户端响应于接收的所述查询结果，展示与所述查询结果相关联的内容。

2.根据权利要求1所述的方法，其特征在于，所述第一服务端响应于接收的至少一个查询请求之前，所述方法还包括：

所述任一客户端响应于用户输入的第一查询模式设置指令，进入全文查询模式，以及，显示全文查询页面；所述第一查询模式设置指令用于指示所述任一客户端进入所述全文查询模式；

所述任一客户端响应于用户在所述全文查询页面中输入的至少一个查询请求参数，向所述第一服务端发送携带有所述至少一个查询请求参数的查询请求；与所述用户在所述全文查询页面中输入的各查询请求参数相关联的查询结果的数据类型为非结构化类型；

或者，所述第一服务端响应于接收的至少一个查询请求之前，所述方法还包括：

所述任一客户端响应于用户输入的第二查询模式设置指令，进入高级查询模式，以及，显示高级查询页面；所述第二查询模式设置指令用于指示所述任一客户端进入所述高级查询模式；所述高级查询页面中包括至少一个查询请求参数；与所述高级查询页面中包括的各查询请求参数相关联的查询结果的数据类型为结构化类型；

所述任一客户端响应于用户在所述高级查询页面中输入的对所述至少一个查询请求参数中的至少一个目标查询请求参数的选中操作，向所述第一服务端发送携带有所述至少一个目标查询请求参数的查询请求。

3.根据权利要求2所述的方法，其特征在于，所述第一服务端响应于接收的至少一个查询请求之前，所述方法还包括：

所述任一客户端响应于用户在规则配置页面输入的规则配置指令，将所述预设规则发送至所述第一服务端；所述规则配置指令用于指示设置所述预设规则；

所述第一服务端接收并存储所述预设规则。

4.根据权利要求3所述的方法，其特征在于，所述预设规则包括所述任一客户端发送的查询请求对应的目的地地址；所述第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发所述查询请求，包括：

所述第一服务端基于所述目的地地址，向地址为所述目的地地址的所述第二服务端转发所述任一客户端发送的查询请求。

5.根据权利要求4所述的方法，其特征在于，所述预设规则包括各所述第二服务端的权重；所述第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发所述查询请求，包括：

所述第一服务端基于各所述第二服务端的权重，向至少一个第二服务端转发所述查询请求。

6.根据权利要求5所述的方法，其特征在于，所述第一服务端响应于接收的至少一个查询请求，基于预设规则，向至少一个第二服务端转发所述查询请求之后，所述方法还包括：

若所述任一第二服务端接收到所述第一服务端发送的查询请求，则向所述第一服务端发送用于表示成功接收所述查询请求的反馈信息；

若所述第一服务端在第一时间段内未接收到所述反馈信息，则基于所述预设规则，向除所述任一第二服务端以外的一个所述第二服务端转发所述查询请求。

7.根据权利要求6所述的方法，其特征在于，所述任一第二服务端基于所述任一客户端待查询的结果的数据类型，获取与所述至少一个查询请求参数对应的查询结果，包括：

所述任一第二服务端若确定所述查询结果的数据类型为非结构化类型，则基于Elasticsearch获取所述查询结果；

所述任一第二服务端若确定所述查询结果的数据类型为结构化类型，则确定查询方案，以及，基于所述查询方案获取所述查询结果；所述查询方案基于自动路由算法确定。

8.根据权利要求7所述的方法，其特征在于，所述自动路由算法包括：

根据所述查询请求参数，确定与所述查询请求参数相关联的至少一个查询语句；

对于所述至少一个查询语句中的任一查询语句，提取所述任一查询语句中包括的至少一个相关表名称；

基于每一个所述相关表名称对应的相关表包括在OLAP数据库中，将所述查询方案确定为基于所述OLAP数据库查询；

基于存在所述相关表名称对应的相关表不包括在所述OLAP数据库中，将所述查询方案确定为基于OLTP数据库查询。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：基于所述OLTP数据库的查询优化算法优化所述查询方案；其中，基于所述OLTP数据库的查询优化算法包括：

确定在第二时间段内基于所述OLTP数据库获取每一个查询结果时对应的查询信息；所述查询信息包括时间信息和频率信息；对于所述每一个查询结果中的任一查询结果，所述任一查询结果对应的时间信息包括基于所述OLTP数据库获取所述任一查询结果所用的时间；所述频率信息包括基于所述OLTP数据库获取所述任一查询结果的频率；

基于所述查询信息，优化所述查询方案。

10.一种支持航天工程大规模数据查询检索系统，其特征在于，包括：至少一个客户端和至少一个服务端；所述至少一个服务端包括第一服务端和至少一个第二服务端；

所述第一服务端用于响应于接收的至少一个查询请求，基于预设规则，向不同的所述第二服务端转发所述查询请求；其中，一个所述查询请求被所述第一服务端转发至一个所述第二服务端；对于所述至少一个查询请求中的任一查询请求，所述任一查询请求携带有与所述至少一个客户端待查询的结果相关联的至少一个查询请求参数；

对于所述至少一个第二服务端中的任一第二服务端，所述任一第二服务端用于接收所述任一查询请求，以及，用于基于所述任一客户端待查询的结果的数据类型，获取与所述至少一个查询请求参数对应的查询结果；所述数据类型包括结构化类型和非结构化类型；

所述任一第二服务端用于向所述任一客户端发送所述查询结果；

所述任一客户端用于响应于接收的所述查询结果，展示与所述查询结果相关联的数据。