CN113836186B - 基于es搜索引擎的仿真数据查询方法及装置 - Google Patents

基于es搜索引擎的仿真数据查询方法及装置 Download PDF

Info

Publication number
CN113836186B
CN113836186B CN202111140328.XA CN202111140328A CN113836186B CN 113836186 B CN113836186 B CN 113836186B CN 202111140328 A CN202111140328 A CN 202111140328A CN 113836186 B CN113836186 B CN 113836186B
Authority
CN
China
Prior art keywords
node
simulation data
data query
simulation
query request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111140328.XA
Other languages
English (en)
Other versions
CN113836186A (zh
Inventor
王宁明
王淑华
张延鑫
赵华
姜维维
陈艳
王静
修鹏
赵梓旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202111140328.XA priority Critical patent/CN113836186B/zh
Publication of CN113836186A publication Critical patent/CN113836186A/zh
Application granted granted Critical
Publication of CN113836186B publication Critical patent/CN113836186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于ES搜索引擎的仿真数据查询方法及装置，ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，其中方法包括：由调度节点接收仿真数据查询请求；根据所述仿真数据查询请求，确定各存储节点的工作状态；根据各存储节点的工作状态，从各存储节点中确定出主节点；将所述仿真数据查询请求发送给所述主节点，由所述主节点对所述仿真数据查询请求进行响应。本方案，能够提高数据查询请求的响应速度。

Description

基于ES搜索引擎的仿真数据查询方法及装置
技术领域
本发明实施例涉及数据库技术领域，特别涉及一种基于ES搜索引擎的仿真数据查询方法及装置。
背景技术
空间目标是指在轨正常运行的航天器、各种空间碎片(比如失效卫星、入轨的助推火箭、遗弃的卫星整流罩等)、进入地球轨道空间的彗星小行星等。为了能够实现对空间目标的监控，一般需要在试验环境中对空间目标的缩比模型进行仿真，然后对仿真数据进行存储以及查询。
现有技术中，在对仿真数据进行查询时，由一个查询节点根据关键词在数据库中进行全量搜索，在查询业务量较大时，查询节点无法及时对查询业务进行响应，响应效率较低。
发明内容
本发明实施例提供了一种基于ES搜索引擎的仿真数据查询方法及装置，能够提高响应效率。
第一方面，本发明实施例提供了一种基于ES搜索引擎的仿真数据查询方法，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，包括：
由调度节点接收仿真数据查询请求；
根据所述仿真数据查询请求，确定各存储节点的工作状态；
根据各存储节点的工作状态，从各存储节点中确定出主节点；
将所述仿真数据查询请求发送给所述主节点，由所述主节点对所述仿真数据查询请求进行响应。
优选地，在将所述仿真数据查询请求发送给所述主节点之后，还包括：记录所述仿真数据查询请求与所述主节点的绑定关系；
在所述主节点对所述仿真数据查询请求进行响应之后，还包括：接收所述主节点发送的针对所述仿真数据查询请求的响应完成通知，并将记录的所述仿真数据查询请求与所述主节点的绑定关系删除；
所述确定各存储节点的工作状态，包括：针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
优选地，所述从各存储节点中确定出主节点，包括：
确定所述仿真数据查询请求所使用的目标脚本语言；
根据所述目标脚本语言，确定各存储节点中可处理所述目标脚本语言的存储节点；
根据可处理所述目标脚本语言的存储节点的工作状态，从可处理所述目标脚本语言的存储节点中确定出主节点。
优选地，所述主节点对所述仿真数据查询请求进行响应，包括：
所述主节点对所述仿真数据查询请求对应的查询条件进行分类，得到至少一个查询子条件；
所述主节点针对每一个查询子条件，确定与该查询子条件所对应分类的存储节点，并将该查询子条件发送给对应存储节点，以使接收到查询子条件存储节点对该查询子条件在存储的数据分片中查找对应的索引数据，将查找到的索引数据发送给所述主节点；
所述主节点根据接收到的索引数据对所述仿真数据查询请求进行响应。
优选地，在所述由调度节点接收仿真数据查询请求之前，还包括：
确定目标模型的仿真数据所对应的至少两种参数类型；
针对每一种参数类型对应的仿真数据，确定该参数类型的仿真数据对应的至少一个索引，并将该参数类型对应的至少一个索引存储在对应的存储节点中。
优选地，所述对所述仿真数据查询请求对应的查询条件进行分类，包括：按照参数类型对所述仿真数据查询请求对应的查询条件进行分类；
所述确定与该查询子条件所对应分类的存储节点，包括：根据该查询子条件所对应的参数类型确定存储该参数类型所对应索引的存储节点，将该查询子条件发送给该存储节点。
第二方面，本发明实施例还提供了一种基于ES搜索引擎的仿真数据查询装置，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，包括：
所述调度节点，用于接收仿真数据查询请求；根据所述仿真数据查询请求，确定各存储节点的工作状态；根据各存储节点的工作状态，从各存储节点中确定出主节点；将所述仿真数据查询请求发送给所述主节点；
所述存储节点，在接收到所述调度节点发送的所述仿真数据查询请求后，作为主节点对所述仿真数据查询请求进行响应。
优选地，所述调度节点，还用于记录所述仿真数据查询请求与所述主节点的绑定关系；接收所述主节点发送的针对所述仿真数据查询请求的响应完成通知，并将记录的所述仿真数据查询请求与所述主节点的绑定关系删除；
所述调度节点，在所述确定各存储节点的工作状态时，具体包括：针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
本发明实施例提供了一种基于ES搜索引擎的仿真数据查询方法及装置，通过在ES集群中增加一个调度节点，由该调度节点对仿真数据查询请求进行调度，调度节点在调度时确定各存储节点的工作状态，根据各存储节点的工作状态确定出主节点，从而使得将仿真数据查询请求调度给该主节点之后，该主节点能够快速对仿真数据查询请求进行响应。可见，本方案，能够提高数据查询请求的响应速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种基于ES搜索引擎的仿真数据查询方法流程图；
图2是本发明一实施例提供的一种仿真数据的示意图；
图3是本发明一实施例提供的一种计算设备的硬件架构图；
图4是本发明一实施例提供的一种基于ES搜索引擎的仿真数据查询装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，在对目标模型的仿真数据进行存储时，一般是仿真数据直接存储到服务器节点上，当需要查询时，由该服务器节点根据关键词在数据库中进行全量搜索。若同时向该服务器节点发送查询请求的查询业务量较大时，服务器节点无法及时对查询业务进行响应，因此，查询效率较低。
ES搜索引擎是一种分布式、高扩展、高实时的搜索与数据分析引擎，可以考虑将目标模型的仿真数据存储到ES集群中。ES集群由多个节点组成。利用ES可以将仿真数据存储到多个索引中，并将索引存储到数据分片上，数据分片可以存储在一个节点上，也可以存储在多个节点上。用户在对仿真数据进行查询时，ES集群中随机的一个节点会接收该查询请求，此时该接收查询请求的节点为主节点，由该主节点将查询请求向其它节点进行广播，主节点得到其它节点反馈的查询结果之后，取出满足查询请求的结果反馈给用户。为提高查询效率，可以在ES集群中增加一个节点，该节点不进行数据存储，用于统一接收用户的查询请求，将该查询请求调度给其它节点，如此可以根据节点的性能进行调度，以保证该节点能够及时对查询请求进行响应。
下面描述以上构思的具体实现方式。
请参考图1，本发明实施例提供了一种基于ES搜索引擎的仿真数据查询方法，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，该方法包括：
步骤100，由调度节点接收仿真数据查询请求；
步骤102，根据所述仿真数据查询请求，确定各存储节点的工作状态；
步骤104，根据各存储节点的工作状态，从各存储节点中确定出主节点；
步骤106，将所述仿真数据查询请求发送给所述主节点，由所述主节点对所述仿真数据查询请求进行响应。
本发明实施例中，通过在ES集群中增加一个调度节点，由该调度节点对仿真数据查询请求进行调度，调度节点在调度时确定各存储节点的工作状态，根据各存储节点的工作状态确定出主节点，从而使得将仿真数据查询请求调度给该主节点之后，该主节点能够快速对仿真数据查询请求进行响应。可见，本方案，能够提高数据查询请求的响应速度。
下面描述图1所示的各个步骤的执行方式。
首先，针对步骤100，由调度节点接收仿真数据查询请求。
在ES集群中，增加一个调度节点，该调度节点不执行数据存储操作，只进行仿真数据查询请求的调度操作；除此之外，ES集群中还包括多个存储节点，存储节点的功能是用于对仿真数据的索引进行存储。
当用户需要查询仿真数据时，由调度节点接收用户发送的仿真数据查询请求。
在本发明一个实施例中，针对目标模型进行仿真得到的仿真数据具有一定的排布规律，即仿真数据包括多个仿真参数，在该多个仿真参数对应不同仿真参数值时可以对应一个仿真结果，请参考图2，为一种仿真数据的示意图，其中，该多个仿真参数包括：目标模型名称、高低1、方位1、高低2、方位2和距离；仿真结果为测量值。图2中包括3条仿真数据，不同条仿真数据对应不同的仿真结果。因此，在进行仿真数据查询，该仿真数据查询请求可以按照仿真参数设置查询条件。比如，查询条件为：目标模型名称为目标1、高低1为1.0。
然后，对步骤102“根据所述仿真数据查询请求，确定各存储节点的工作状态”和步骤104“根据各存储节点的工作状态，从各存储节点中确定出主节点”同时进行说明。
本发明实施例中，存储节点的工作状态可以反应出该存储节点的工作效率，若工作状态负荷较大，那么表明其工作效率会较低。调度节点为了获知各存储节点的工作状态，可以在确定了主节点并将仿真数据查询请求发送给主节点后，记录该仿真数据查询请求与该主节点的绑定关系。
举例来说，集群中包括节点标识为N1、N2、……N10的存储节点，调度节点在将仿真数据查询请求发送给作为主节点的存储节点时，可以将该仿真数据查询请求与该主节点的节点标识进行绑定，在绑定时，还可以对仿真数据查询请求进行标识，比如，将发送该仿真数据查询请求的用户ID、接收到该仿真数据查询请求的时间戳、在设定时间段内接收到该仿真数据查询请求的位数等作为该仿真数据查询请求的标识。假设调度节点在设定时间段内接收到的该仿真数据请求是位数是第3位，那么可以将位数W3作为该仿真数据查询请求的标识。
需要说明的是，为了保证仿真数据请求的标识不重复，设定时间段可以根据ES最大搜索时长的经验值确定。比如该设定时间段为10分钟，表明在接收到一个仿真数据查询请求之后的10分钟内，该仿真数据查询请求能够被响应完成。
综上，调度节点中针对每一个存储节点均存储有对应的绑定关系，比如针对存储节点N1，可以包括：N1-W1，N1-W3等绑定关系。
为了保证存储节点工作状态的准确性，当主节点对仿真数据存储请求进行响应之后，还包括：调度节点接收主节点发送的针对仿真数据查询请求的响应完成通知，并将记录的该仿真数据查询请求与主节点的绑定关系删除。
比如，主节点在对仿真数据查询请求W1响应完成后，会向调度节点发送响应完成通知，该响应完成通知写的该仿真数据查询请求的标识W1，如此，调度节点会将N-W1的绑定关系删除。如此，在本发明一个实施例中，调度节点在确定各存储节点的工作状态时，可以针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
可以理解，数量越多，存储节点的工作效率会越低。因此可以在数量较少的存储节点中进行选择。
在本发明一个实施例中，考虑到不同用户发送的仿真数据查询请求所使用的脚本语言可能不同，为了能够对仿真数据查询请求进行快速响应，可以由调度节点确定所述仿真数据查询请求所使用的目标脚本语言；根据所述目标脚本语言，确定各存储节点中可处理所述目标脚本语言的存储节点；根据可处理所述目标脚本语言的存储节点的工作状态，从可处理所述目标脚本语言的存储节点中确定出主节点。
该脚本语言可以为javascript、python。当主节点向其它存储节点发送该仿真数据查询请求时，可以根据其它存储节点能够处理的脚本语言对向该存储节点发送经过处理后的仿真数据查询请求，以使其它存储节点在接收到处理后的仿真数据查询请求后，能够对该处理后的仿真数据查询请求的脚本语言进行处理。
步骤106，将所述仿真数据查询请求发送给所述主节点，由所述主节点对所述仿真数据查询请求进行响应。
由于主节点在对仿真数据查询请求进行响应时，不知道所需查询的仿真数据存储在哪个存储节点中，因此需要将该仿真数据查询请求广播给其它所有存储节点，接收到该仿真数据查询请求的存储节点均需进行检索，进一步加重了存储节点的工作量，降低了存储节点的响应效率。在本发明一个实施例中，可以通过如下一种方式对仿真数据查询请求进行响应：
S1：主节点对所述仿真数据查询请求对应的查询条件进行分类，得到至少一个查询子条件。
为了满足上述查询方式，在本发明一个实施例中，需要按照设定方式对仿真数据进行存储，因此，在步骤100之前还可以包括：确定目标模型的仿真数据所对应的至少两种参数类型；针对每一种参数类型对应的仿真数据，确定该参数类型的仿真数据对应的至少一个索引，并将该参数类型对应的至少一个索引存储在对应的存储节点中。
继续以图2所示的仿真数据为例，图2中每一个仿真参数即为一种参数类型，仿真结果也是一种参数类型，因此，图2包括7种参数类型，每一种参数类型对应的仿真参数值、测量值即为对应参数类型的仿真数据。
比如针对目标模型名称这一参数类型，将各个目标模型名称(比如，目标1、目标2等即图2种该目标模型名称对应列的仿真参数值)生成至少一个索引，该参数类型对应的至少一个索引存储对应的存储节点。比如，参数类型为目标模型名称的仿真数据对应的索引存储在存储节点N1中，参数类型为高低1的仿真数据对应的索引存储在存储节点N2中……。如此可以对不同参数类型的索引存储位置进行区分。
那么本步骤S1可以包括：按照参数类型对所述仿真数据查询请求对应的查询条件进行分类。同样以查询条件为目标模型名称为目标1、高低1为1.0为例，那么可以分成两个查询子条件，一个查询子条件为目标模型名称为目标1，另一个查询子条件为高低1为1.0。
S2：主节点针对每一个查询子条件，确定与该查询子条件所对应分类的存储节点，并将该查询子条件发送给对应存储节点，以使接收到查询子条件存储节点对该查询子条件在存储的数据分片中查找对应的索引数据，将查找到的索引数据发送给所述主节点。
具体地，该确定与该查询子条件所对应分类的存储节点，可以包括：根据该查询子条件所对应的参数类型确定存储该参数类型所对应索引的存储节点，将该查询子条件发送给该存储节点。
继续上述举例，针对查询子条件为目标模型名称为目标1，可以确定该查询子条件对应分类的存储节点为N1，如此可以将该查询子条件发送给存储节点N1；同理，将高低1为1.0的查询子条件发送给存储节点N2。可见无需将仿真数据查询请求发送给所有的存储节点，降低各存储节点的工作量，进一步提高响应效率。
S3：所述主节点根据接收到的索引数据对所述仿真数据查询请求进行响应。
主节点接收到各存储节点返回的索引数据之后，向对应存储节点发送取值请求，比如针对测量值这一参数类型的索引存储在存储节点N3中，那么主节点可以向存储节点N3发送取值请求，进而由存储节点N3将最终结果发送给主节点，由主节点向用户进行响应，可见，大大提高了响应效率。
如图3、图4所示，本发明实施例提供了一种基于ES搜索引擎的仿真数据查询装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种基于ES搜索引擎的仿真数据查询装置所在计算设备的一种硬件架构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种基于ES搜索引擎的仿真数据查询装置，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，包括：
所述调度节点401，用于接收仿真数据查询请求；根据所述仿真数据查询请求，确定各存储节点的工作状态；根据各存储节点的工作状态，从各存储节点中确定出主节点；将所述仿真数据查询请求发送给所述主节点；
所述存储节点402，在接收到所述调度节点发送的所述仿真数据查询请求后，作为主节点对所述仿真数据查询请求进行响应。
在本发明一个实施例中，所述调度节点，还用于记录所述仿真数据查询请求与所述主节点的绑定关系；接收所述主节点发送的针对所述仿真数据查询请求的响应完成通知，并将记录的所述仿真数据查询请求与所述主节点的绑定关系删除；
所述调度节点，在所述确定各存储节点的工作状态时，具体包括：针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
在本发明一个实施例中，所述调度节点，在所述从各存储节点中确定出主节点时，具体包括：确定所述仿真数据查询请求所使用的目标脚本语言；根据所述目标脚本语言，确定各存储节点中可处理所述目标脚本语言的存储节点；根据可处理所述目标脚本语言的存储节点的工作状态，从可处理所述目标脚本语言的存储节点中确定出主节点。
在本发明一个实施例中，所述存储节点，在对所述仿真数据查询请求进行响应时，具体包括：所述主节点对所述仿真数据查询请求对应的查询条件进行分类，得到至少一个查询子条件；所述主节点针对每一个查询子条件，确定与该查询子条件所对应分类的存储节点，并将该查询子条件发送给对应存储节点，以使接收到查询子条件存储节点对该查询子条件在存储的数据分片中查找对应的索引数据，将查找到的索引数据发送给所述主节点；所述主节点根据接收到的索引数据对所述仿真数据查询请求进行响应。
在本发明一个实施例中，所述调度节点，还用于确定目标模型的仿真数据所对应的至少两种参数类型；针对每一种参数类型对应的仿真数据，确定该参数类型的仿真数据对应的至少一个索引，并将该参数类型对应的至少一个索引存储在对应的存储节点中。
在本发明一个实施例中，所述存储节点，在对所述仿真数据查询请求对应的查询条件进行分类时，具体包括：按照参数类型对所述仿真数据查询请求对应的查询条件进行分类；
所述存储节点，在确定与该查询子条件所对应分类的存储节点时，具体包括：根据该查询子条件所对应的参数类型确定存储该参数类型所对应索引的存储节点，将该查询子条件发送给该存储节点。
可以理解的是，本发明实施例示意的结构并不构成对一种基于ES搜索引擎的仿真数据查询装置的具体限定。在本发明的另一些实施例中，一种基于ES搜索引擎的仿真数据查询装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种基于ES搜索引擎的仿真数据查询方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种基于ES搜索引擎的仿真数据查询方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于ES搜索引擎的仿真数据查询方法，其特征在于，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，包括：
确定目标模型的仿真数据所对应的至少两种参数类型；
针对每一种参数类型对应的仿真数据，确定该参数类型的仿真数据对应的至少一个索引，并将该参数类型对应的至少一个索引存储在对应的存储节点中；该仿真数据是针对目标模型进行仿真得到的具有一定排布规律的数据，该仿真数据包括多个仿真参数以及在该多个仿真参数对应不同仿真参数值时可对应一个仿真结果；所述仿真数据查询请求是按照仿真参数设置的查询条件；
由调度节点接收仿真数据查询请求；
根据所述仿真数据查询请求，确定各存储节点的工作状态；
根据各存储节点的工作状态，从各存储节点中确定出主节点；
将所述仿真数据查询请求发送给所述主节点，由所述主节点对所述仿真数据查询请求进行响应；
所述主节点对所述仿真数据查询请求进行响应，包括：
所述主节点对所述仿真数据查询请求对应的查询条件进行分类，得到至少一个查询子条件；
所述主节点针对每一个查询子条件，确定与该查询子条件所对应分类的存储节点，并将该查询子条件发送给对应存储节点，以使接收到查询子条件存储节点对该查询子条件在存储的数据分片中查找对应的索引数据，将查找到的索引数据发送给所述主节点；
所述主节点根据接收到的索引数据对所述仿真数据查询请求进行响应。
2.根据权利要求1所述的方法，其特征在于，
在将所述仿真数据查询请求发送给所述主节点之后，还包括：记录所述仿真数据查询请求与所述主节点的绑定关系；
在所述主节点对所述仿真数据查询请求进行响应之后，还包括：接收所述主节点发送的针对所述仿真数据查询请求的响应完成通知，并将记录的所述仿真数据查询请求与所述主节点的绑定关系删除；
所述确定各存储节点的工作状态，包括：针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
3.根据权利要求1或2所述的方法，其特征在于，所述从各存储节点中确定出主节点，包括：
确定所述仿真数据查询请求所使用的目标脚本语言；
根据所述目标脚本语言，确定各存储节点中可处理所述目标脚本语言的存储节点；
根据可处理所述目标脚本语言的存储节点的工作状态，从可处理所述目标脚本语言的存储节点中确定出主节点。
4.根据权利要求1所述的方法，其特征在于，
所述对所述仿真数据查询请求对应的查询条件进行分类，包括：按照参数类型对所述仿真数据查询请求对应的查询条件进行分类；
所述确定与该查询子条件所对应分类的存储节点，包括：根据该查询子条件所对应的参数类型确定存储该参数类型所对应索引的存储节点，将该查询子条件发送给该存储节点。
5.一种基于ES搜索引擎的仿真数据查询装置，其特征在于，所述ES集群中包括一个调度节点和多个存储节点，所述存储节点用于存储ES的索引，包括：
所述调度节点，用于确定目标模型的仿真数据所对应的至少两种参数类型；针对每一种参数类型对应的仿真数据，确定该参数类型的仿真数据对应的至少一个索引，并将该参数类型对应的至少一个索引存储在对应的存储节点中；该仿真数据是针对目标模型进行仿真得到的具有一定排布规律的数据，该仿真数据包括多个仿真参数以及在该多个仿真参数对应不同仿真参数值时可对应一个仿真结果；所述仿真数据查询请求是按照仿真参数设置的查询条件；
所述调度节点，还用于接收仿真数据查询请求；根据所述仿真数据查询请求，确定各存储节点的工作状态；根据各存储节点的工作状态，从各存储节点中确定出主节点；将所述仿真数据查询请求发送给所述主节点；
所述存储节点，在接收到所述调度节点发送的所述仿真数据查询请求后，作为主节点对所述仿真数据查询请求进行响应；
所述存储节点，在对所述仿真数据查询请求进行响应时，具体包括：所述主节点对所述仿真数据查询请求对应的查询条件进行分类，得到至少一个查询子条件；所述主节点针对每一个查询子条件，确定与该查询子条件所对应分类的存储节点，并将该查询子条件发送给对应存储节点，以使接收到查询子条件存储节点对该查询子条件在存储的数据分片中查找对应的索引数据，将查找到的索引数据发送给所述主节点；所述主节点根据接收到的索引数据对所述仿真数据查询请求进行响应。
6.根据权利要求5所述的装置，其特征在于，
所述调度节点，还用于记录所述仿真数据查询请求与所述主节点的绑定关系；接收所述主节点发送的针对所述仿真数据查询请求的响应完成通知，并将记录的所述仿真数据查询请求与所述主节点的绑定关系删除；
所述调度节点，在所述确定各存储节点的工作状态时，具体包括：针对每一个存储节点，确定当前记录的与该存储节点具有绑定关系的仿真数据查询请求的数量，根据该数量确定各存储节点的工作状态。
7.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-4中任一项所述的方法。
CN202111140328.XA 2021-09-28 2021-09-28 基于es搜索引擎的仿真数据查询方法及装置 Active CN113836186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111140328.XA CN113836186B (zh) 2021-09-28 2021-09-28 基于es搜索引擎的仿真数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111140328.XA CN113836186B (zh) 2021-09-28 2021-09-28 基于es搜索引擎的仿真数据查询方法及装置

Publications (2)

Publication Number Publication Date
CN113836186A CN113836186A (zh) 2021-12-24
CN113836186B true CN113836186B (zh) 2023-10-10

Family

ID=78970752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111140328.XA Active CN113836186B (zh) 2021-09-28 2021-09-28 基于es搜索引擎的仿真数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN113836186B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7647335B1 (en) * 2005-08-30 2010-01-12 ATA SpA - Advanced Technology Assessment Computing system and methods for distributed generation and storage of complex relational data
CN101950300A (zh) * 2010-09-20 2011-01-19 华南理工大学 一种分层结构、分布式搜索引擎系统及其实现方法
CN103473334A (zh) * 2013-09-18 2013-12-25 浙江中控技术股份有限公司 数据存储、查询方法及系统
CN108023812A (zh) * 2016-10-31 2018-05-11 华为技术有限公司 云计算系统的内容分发方法及装置、计算节点及系统
CN110471947A (zh) * 2019-07-09 2019-11-19 广州视源电子科技股份有限公司 基于分布式搜索引擎的查询方法、服务器和存储介质
CN110489446A (zh) * 2019-09-10 2019-11-22 北京东方国信科技股份有限公司 基于分布式数据库的查询方法及装置
CN111897638A (zh) * 2020-07-27 2020-11-06 广州虎牙科技有限公司 分布式任务调度方法及系统
CN111966684A (zh) * 2017-02-13 2020-11-20 赛思研究所 分布式数据集索引
CN112015957A (zh) * 2019-05-30 2020-12-01 北京奇虎科技有限公司 基于es的数据查询方法及装置
CN112181993A (zh) * 2020-10-27 2021-01-05 广州市网星信息技术有限公司 业务数据查询方法、装置、服务器及存储介质
CN112328688A (zh) * 2020-11-09 2021-02-05 广州虎牙科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN113177062A (zh) * 2021-05-25 2021-07-27 深圳前海微众银行股份有限公司 一种数据查询方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11243963B2 (en) * 2016-09-26 2022-02-08 Splunk Inc. Distributing partial results to worker nodes from an external data system
US10956415B2 (en) * 2016-09-26 2021-03-23 Splunk Inc. Generating a subquery for an external data system using a configuration file
US11586627B2 (en) * 2016-09-26 2023-02-21 Splunk Inc. Partitioning and reducing records at ingest of a worker node

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7647335B1 (en) * 2005-08-30 2010-01-12 ATA SpA - Advanced Technology Assessment Computing system and methods for distributed generation and storage of complex relational data
CN101950300A (zh) * 2010-09-20 2011-01-19 华南理工大学 一种分层结构、分布式搜索引擎系统及其实现方法
CN103473334A (zh) * 2013-09-18 2013-12-25 浙江中控技术股份有限公司 数据存储、查询方法及系统
CN108023812A (zh) * 2016-10-31 2018-05-11 华为技术有限公司 云计算系统的内容分发方法及装置、计算节点及系统
CN111966684A (zh) * 2017-02-13 2020-11-20 赛思研究所 分布式数据集索引
CN112015957A (zh) * 2019-05-30 2020-12-01 北京奇虎科技有限公司 基于es的数据查询方法及装置
CN110471947A (zh) * 2019-07-09 2019-11-19 广州视源电子科技股份有限公司 基于分布式搜索引擎的查询方法、服务器和存储介质
CN110489446A (zh) * 2019-09-10 2019-11-22 北京东方国信科技股份有限公司 基于分布式数据库的查询方法及装置
CN111897638A (zh) * 2020-07-27 2020-11-06 广州虎牙科技有限公司 分布式任务调度方法及系统
CN112181993A (zh) * 2020-10-27 2021-01-05 广州市网星信息技术有限公司 业务数据查询方法、装置、服务器及存储介质
CN112328688A (zh) * 2020-11-09 2021-02-05 广州虎牙科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN113177062A (zh) * 2021-05-25 2021-07-27 深圳前海微众银行股份有限公司 一种数据查询方法及装置

Also Published As

Publication number Publication date
CN113836186A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN110390054B (zh) 兴趣点召回方法、装置、服务器和存储介质
CN111930848B (zh) 数据分区存储方法、装置及系统
US11176110B2 (en) Data updating method and device for a distributed database system
KR101679050B1 (ko) 규칙 기반 로그 데이터 그룹화를 이용한 개인 맞춤형 로그 분석 시스템 및 그 방법
CN112463991B (zh) 历史行为数据的处理方法、装置、计算机设备及存储介质
US20180336246A1 (en) Database query time estimator
CN105630934A (zh) 一种数据统计方法及系统
CN103793439A (zh) 一种实时检索信息获取方法、装置及服务器
CN114691721A (zh) 图数据的查询方法、装置、电子设备及存储介质
CN114297204A (zh) 一种异构数据源的数据存储、检索方法及装置
CN114064707A (zh) 一种用于数据虚拟化服务器的数据查询方法、装置及存储介质
US10719497B2 (en) Utilization of optimized ordered metadata structure for container-based large-scale distributed storage
CN107273264B (zh) 对象实例关键属性及其关联属性的跟踪方法及装置
CN113836186B (zh) 基于es搜索引擎的仿真数据查询方法及装置
CN112559483A (zh) 基于hdfs的数据管理方法、装置、电子设备及介质
CN113297245A (zh) 获取执行信息的方法及装置
CN110019357B (zh) 数据库查询脚本生成方法及装置
US20110029480A1 (en) Method of Compiling Multiple Data Sources into One Dataset
CN114637929A (zh) 一种基于ElasticSearch的轨迹碰撞方法
US11645283B2 (en) Predictive query processing
CN110515803B (zh) 针对日志消息的处理方法、装置以及电子设备
CN111127065B (zh) 用户职住地的获取方法和装置
CN113849482A (zh) 一种数据迁移方法、装置及电子设备
JP2004192657A (ja) 情報検索システム、情報検索方法および情報検索用プログラムを記録した記録媒体
JP2007172516A (ja) Ｓｑｌ文によるデータベースの検索所要時間の予測方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant