CN113688148A - 城轨数据查询方法、装置、电子设备及可读存储介质 - Google Patents

城轨数据查询方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113688148A
CN113688148A CN202110791929.0A CN202110791929A CN113688148A CN 113688148 A CN113688148 A CN 113688148A CN 202110791929 A CN202110791929 A CN 202110791929A CN 113688148 A CN113688148 A CN 113688148A
Authority
CN
China
Prior art keywords
query
urban rail
data
expression
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110791929.0A
Other languages
English (en)
Other versions
CN113688148B (zh
Inventor
郝帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Control Technology TCT Co Ltd
Original Assignee
Traffic Control Technology TCT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Control Technology TCT Co Ltd filed Critical Traffic Control Technology TCT Co Ltd
Priority to CN202110791929.0A priority Critical patent/CN113688148B/zh
Publication of CN113688148A publication Critical patent/CN113688148A/zh
Application granted granted Critical
Publication of CN113688148B publication Critical patent/CN113688148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2448—Query languages for particular applications; for extensibility, e.g. user defined types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种城轨数据查询方法、装置、电子设备及可读存储介质，其中方法包括：获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。本发明通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。

Description

城轨数据查询方法、装置、电子设备及可读存储介质
技术领域
本发明涉及轨道交通数据技术领域，尤其涉及一种城轨数据查询方法、装置、电子设备及可读存储介质。
背景技术
传统的数据库如mysql、oracle等关系型数据库，应用范围广泛，非常适合于结构化数据的存储与查询。在数据查询场景下，系统默认返回所有满足匹配条件的记录。
但是，随着城轨大数据的快速发展，产生越来越多的数据存储。传统的关系型数据库难以解决PB级、甚至是TB级的海量数据的存储与实时检索。
发明内容
本发明提供一种城轨数据查询方法、装置、电子设备及可读存储介质，用以解决现有技术存在的任务处理效率低、易出错且可靠性不高等问题的缺陷，实现有效提高任务处理效率和可靠性的目标。
本发明提供一种城轨数据查询方法，包括：
获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
根据本发明提供的一种城轨数据查询方法，所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，包括：
判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；
若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
根据本发明提供的一种城轨数据查询方法，所述采用SQL查询表达式，查询所述预设Elasticsearch集群数据库，包括：
根据所述查询请求应用的查询形式所对应的key的形式，判断所述查询形式对应的SQL查询表达式的类型，若所述类型为第一预设类型，则采用X-PACK SQL查询所述预设Elasticsearch集群数据库，若所述类型为第二预设类型，则采用Open Distro forElasticsearch提供的SQL查询扩展工具，查询所述预设Elasticsearch集群数据库。
根据本发明提供的一种城轨数据查询方法，还包括：
配置用于数据查询请求的请求规则，所述请求规则包括：
采用json格式，实现通过DSL查询表达式的数据查询请求；
采用SELECT、WHERE、LIMIT、ORDER BY、GROUP BY和COUNT中任一或者join和leftjoin中任一的格式，实现通过SQL查询表达式的数据查询请求。
根据本发明提供的一种城轨数据查询方法，还包括：
在存储所述城轨列车大数据的多个数据平台，部署包括至少一个Master节点和多个Data节点的所述预设Elasticsearch集群数据库，并在Elasticsearch集群环境下安装Opendistro_sql插件，用于支持用户通过所述查询请求进行数据查询。
根据本发明提供的一种城轨数据查询方法，还包括：
将所述目标城轨数据以json的形式发送到用户终端。
本发明还提供一种城轨数据查询装置，包括：
查询模块，用于获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
根据本发明提供的一种城轨数据查询装置，所述查询模块，在用于所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库时，用于：
判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；
若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述处理器执行所述程序或指令时，实现如上述任一种所述的城轨数据查询方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有程序或指令，所述程序或指令被计算机执行时，实现如上述任一种所述的城轨数据查询方法的步骤。
本发明提供的城轨数据查询方法、装置、电子设备及可读存储介质，通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够很好地利用Elasticsearch的分布式架构中友好的RESTful接口与强大的近实时的快速检索和高效存储能力，以及DSL查询语言强大的可以处理复杂的嵌套查询的能力，从而有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的城轨数据查询方法的流程示意图之一；
图2为本发明提供的城轨数据查询方法的流程示意图之二；
图3为本发明提供的城轨数据查询方法的流程示意图之三；
图4为根据本发明提供的城轨数据查询方法中查询结果集展示示例图；
图5为本发明提供的城轨数据查询装置的结构示意图；
图6为本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术任务处理效率低、易出错且可靠性不高等的问题，通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。以下将结合附图，具体通过多个实施例对本发明进行展开说明和介绍。
图1为本发明提供的城轨数据查询方法的流程示意图之一，如图1所示，该方法包括：
S101，获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据。
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
可以理解为，在用户需要基于城轨大数据检索或查询期望的目标城轨数据时，可以根据相关规则，通过用户终端或者操作平台等向服务器发送查询请求。应理解的是，该查询请求中需包含指向目标城轨数据的相关信息，且其采用的查询形式(或称为查询表达式)需符合上述相关规则的规定。其中，上述相关规则可以是本发明事先配置的生成查询请求需遵守的规则。
可选地，所述城轨数据查询方法还包括：配置用于数据查询请求的请求规则，所述请求规则包括：采用json格式，实现通过DSL查询表达式的数据查询请求；采用SELECT、WHERE、LIMIT、ORDER BY、GROUP BY和COUNT中任一或者join和left join中任一的格式，实现通过SQL查询表达式的数据查询请求。
可以理解为，本发明可以事先对用户(通过用户终端或操作平台等)配置用于生成查询请求的请求规则，包括分别针对DSL查询方式或SQL查询方式配置的请求规则。在此基础上，用户可以通过配置的请求规则，使用DSL查询方式或SQL查询方式进行数据的查询。
其中，针对DSL查询方式，使用DSL查询表达式进行数据的查询，查询格式为json，直接使用标准的“DSL”语法进行查询即可。
写法示例：
Figure BDA0003161384680000061
针对SQL查询方式，本发明配置两种SQL的查询方式，即“基本SQL”表达式和“复杂SQL”表达式。
其中，基本SQL查询表达式提供SELECT、WHERE、LIMIT、ORDER BY、GROUP BY、COUNT等基于单索引的查询功能。基本SQL表达式的写法为：{“query_sql”:”sql表达式”}。
写法示例：
{
"query_sql":"select count(*)from 9007948"
}
复杂SQL表达式提供join和left join等基于多关联索引的查询功能。复杂SQL表达式的写法为：{“query_sql_join”:”sql表达式”}。
写法示例：
{
"query_sql_join":"select switch_name from 9007948c join 9007962h onc.switch_name＝h.switch_name limit 2"
}
本发明通过预先配置基于DSL查询表达式的请求规则和基于SQL查询表达式的请求规则，可以在接收到用户的查询请求后快速匹配到最合理的查询方式，从而可以进一步提高数据查询效率。
在用户通过用户终端或操作平台发出查询请求后，本发明服务器可以获取到该查询请求。之后，通过解析该查询请求，确定其包含的查询表达式的形式，也即查询形式，再采用具体的查询形式，根据指向目标城轨数据的相关信息，对应采用SQL查询表达式查询预设Elasticsearch集群数据库，或者采用DSL查询表达式，查询预设Elasticsearch集群数据库，最终得到期望的目标城轨数据。
本发明提供的城轨数据查询方法，通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够很好地利用Elasticsearch的分布式架构中友好的RESTful接口与强大的近实时的快速检索和高效存储能力，以及DSL查询语言强大的可以处理复杂的嵌套查询的能力，从而有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。
可以理解的是，上述各实施例的Elasticsearch集群数据库是预先建立好，并且其中存储有城轨或城轨设备的相关软硬件信息以及运行过程的大数据信息。
可选地，预先建立Elasticsearch集群数据库包括：在存储所述城轨列车大数据的多个数据平台，部署包括至少一个Master节点和多个Data节点的所述预设Elasticsearch集群数据库，并在Elasticsearch集群环境下安装Opendistro_sql插件，用于支持用户通过所述查询请求进行数据查询。
可以理解为，如图2所示，为本发明提供的城轨数据查询方法的流程示意图之二，其中在根据用户提供的查询请求进行目标城轨数据的查询之前，还包括Elasticsearch集群部署和Opendistro_sql插件安装的处理步骤。在进行Opendistro_sql插件安装的基础上，再分别由前端根据提供的请求规则进行查询请求、服务端根据请求判断使用的查询方式并对查询表达式进行验证以及获取查询结果。该查询过程是对城轨大数据基于Elasticsearc的高效查询和联合查询。
具体的，在进行Elasticsearch集群部署时，Elasticsearch集群通常部署多个Master节点和若干的Data节点。Master节点的主要功能是维护元数据，管理集群节点状态，不负责数据写入和查询。Data节点的主要功能是负责数据的写入与查询。其中的Master节点和Data节点可以是现有存储和管理城轨大数据的设备或服务器，也可以是新设置或布置的用于存储或管理城轨大数据的节点。
在进行Opendistro_sql插件安装时，把Opendistro_sql插件安装包opendistro_sql-0.7.0.0.zip放到Elasticsearch安装目录中的plugin目录中，并执行bin/elasticsearch-plugin install opendistro_sql-0.7.0.0.zip命令，以实现Opendistro_sql插件的安装。
本发明通过在存储城轨列车大数据的多个数据平台部署包括至少一个Master节点和多个Data节点的预设Elasticsearch集群数据库，能够提高Elasticsearch集群数据库的并行处理能力，并且能够在提高数据查询效率的同时，增加数据库的可靠性。
其中，根据上述各实施例提供的城轨数据查询方法，可选地，所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，包括：判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
可以理解为，如图3所示，为本发明提供的城轨数据查询方法的流程示意图之三，在获取用户的查询请求后，对查询请求应用的查询形式进行判断，即判断查询请求应用的查询形式是否符合DSL表达式标准，也即检测json中的表达式是否符合DSL表达式的标准，如果符合，则对DSL表达式进行基础验证，确保表达式的完整性，并使用DSL查询表达式进行数据的查询操作。如果不符合，则进行SQL表达式的校验，确保表达式的完整性，并尝试使用SQL查询表达式进行查询操作。
本发明在判断用户的查询请求的查询形式不符合DSL表达式时尝试使用SQL查询表达式进行查询操作，能够有效利用SQL查询语言语法简洁、书写方便的优势，降低工作人员工作量。同时，在基于查询请求的DSL表达式和SQL表达式在查询操作前均需进行基础验证，能够确保表达式的完整性，避免错误。
其中，根据上述各实施例提供的城轨数据查询方法可选地，所述采用SQL查询表达式，查询所述预设Elasticsearch集群数据库，包括：根据所述查询请求应用的查询形式所对应的key的形式，判断所述查询形式对应的SQL查询表达式的类型，若所述类型为第一预设类型，则采用X-PACK SQL查询所述预设Elasticsearch集群数据库，若所述类型为第二预设类型，则采用Open Distro for Elasticsearch提供的SQL查询扩展工具，查询所述预设Elasticsearch集群数据库。
可以理解为，如图3所示，在确定使用SQL查询表达式进行城轨数据查询的情况下，本发明可以根据SQL表达式对应的key进行SQL表达式的判断，如果是基础SQL，也即属于第一预设类型，则会使用X-PACK SQL进行查询操作。因为X-PACK SQL是Elasticsearch提供的标准SQL查询工具，在Elasticsearch中应用时优化更好查询速度更快。
如果SQL表达式是复杂SQL，也即属于第二预设类型，则会使用Open Distro forElasticsearch提供的SQL查询扩展工具进行查询。因为Open Distro for Elasticsearch对多关联索引查询可以提供更好的支持，因此查询的准确度更高。
其中，根据上述各实施例提供的城轨数据查询方法可选地，所述城轨数据查询方法还包括：将所述目标城轨数据以json的形式发送到用户终端。
可以理解为，本发明在获取到查询结果集(即目标城轨数据)后，会将查询结果集以数组的形式返回给前端用户。具体的，当获取到数据查询结果集后，会将其转换成数组以json的形式返回给用户，例如可以发送给用户的用户终端或者在推送到操作平台的显示单元上进行显示。其中，在返回给用户的查询结果集中，包含查询是否成功标识以及具体的目标城轨数据集。
如图4所示，为根据本发明提供的城轨数据查询方法中查询结果集展示示例图，其中，code表示查询是否成功标识，200为成功获取。data表示具体的目标城轨数据集。data以数组的形式展现，数组内是以json形式展示每条符合查询条件的数据的具体内容。
本发明通过以json的形式向用户返回查询结果，能够充分利用json更轻、更友好的特性，使用户更简便的读取查询结果内容，且更便于用户进行肉眼检查错误。
基于相同的发明构思，本发明根据上述各实施例还提供一种城轨数据查询装置，该装置用于在上述各实施例中实现城轨数据查询。因此，在上述各实施例的城轨数据查询方法中的描述和定义，可以用于本发明中各个执行模块的理解，具体可参考上述方法实施例，此处不在赘述。
根据本发明的一个实施例，城轨数据查询装置的结构如图5所示，为本发明提供的城轨数据查询装置的结构示意图，该装置可以用于实现上述各方法实施例中的城轨数据查询，该装置包括：
查询模块501，用于获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
本发明提供的城轨数据查询装置，通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够很好地利用Elasticsearch的分布式架构中友好的RESTful接口与强大的近实时的快速检索和高效存储能力，以及DSL查询语言强大的可以处理复杂的嵌套查询的能力，从而有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。
可选地，所述查询模块，在用于所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库时，用于：
判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；
若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
可选地，所述查询模块，在用于所述采用SQL查询表达式，查询所述预设Elasticsearch集群数据库时，用于：
根据所述查询请求应用的查询形式所对应的key的形式，判断所述查询形式对应的SQL查询表达式的类型，若所述类型为第一预设类型，则采用X-PACK SQL查询所述预设Elasticsearch集群数据库，若所述类型为第二预设类型，则采用Open Distro forElasticsearch提供的SQL查询扩展工具，查询所述预设Elasticsearch集群数据库。
进一步地，本发明的城轨数据查询装置还包括配置模块，用于：
配置用于数据查询请求的请求规则，所述请求规则包括：
采用json格式，实现通过DSL查询表达式的数据查询请求；
采用SELECT、WHERE、LIMIT、ORDER BY、GROUP BY和COUNT中任一或者join和leftjoin中任一的格式，实现通过SQL查询表达式的数据查询请求。
进一步地，本发明的城轨数据查询装置还包括数据库部署模块，用于：在存储所述城轨列车大数据的多个数据平台，部署包括至少一个Master节点和多个Data节点的所述预设Elasticsearch集群数据库，并在Elasticsearch集群环境下安装Opendistro_sql插件，用于支持用户通过所述查询请求进行数据查询。
进一步地，本发明的城轨数据查询装置还包括发送模块，用于：
将所述目标城轨数据以json的形式发送到用户终端。
可以理解的是，本发明中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明的城轨数据查询装置利用上述各程序模块，能够实现上述各方法实施例的城轨数据查询流程，在用于实现上述各方法实施例中的城轨数据查询时，本发明的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。
作为本发明的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的程序或指令，该处理器执行该程序或指令时，实现如上述各实施例所述的城轨数据查询方法的步骤。
进一步的，本发明的电子设备还可以包括通信接口和总线。参考图6，为本发明提供的电子设备的实体结构示意图，包括：至少一个存储器601、至少一个处理器602、通信接口603和总线604。
其中，存储器601、处理器602和通信接口603通过总线604完成相互间的通信，通信接口603用于该电子设备与城轨大数据设备之间的信息传输；存储器601中存储有可在处理器602上运行的程序或指令，处理器602执行该程序或指令时，实现如上述各实施例所述的城轨数据查询方法的步骤。
可以理解为，该电子设备中至少包含存储器601、处理器602、通信接口603和总线604，且存储器601、处理器602和通信接口603通过总线604形成相互间的通信连接，并可完成相互间的通信，如处理器602从存储器601中读取城轨数据查询方法的程序指令等。另外，通信接口603还可以实现该电子设备与城轨大数据设备之间的通信连接，并可完成相互间信息传输，如通过通信接口603实现城轨大数据的读取等。
电子设备运行时，处理器602调用存储器601中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据等。
上述的存储器601中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有程序或指令，该程序或指令被计算机执行时，实现如上述各实施例所述的城轨数据查询方法的步骤，例如包括：获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据等。
作为本发明的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的城轨数据查询方法，该方法例如包括：获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据。
本发明提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的城轨数据查询方法的步骤，通过采用Elasticsearch集群数据库，同时结合DSL联合SQL的查询方式，能够很好地利用Elasticsearch的分布式架构中友好的RESTful接口与强大的近实时的快速检索和高效存储能力，以及DSL查询语言强大的可以处理复杂的嵌套查询的能力，从而有效突破数据规模的限制，实现对城轨大数据的高效存储和近实时的快速查询。
可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种城轨数据查询方法，其特征在于，包括：
获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
2.根据权利要求1所述的城轨数据查询方法，其特征在于，所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，包括：
判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；
若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
3.根据权利要求2所述的城轨数据查询方法，其特征在于，所述采用SQL查询表达式，查询所述预设Elasticsearch集群数据库，包括：
根据所述查询请求应用的查询形式所对应的key的形式，判断所述查询形式对应的SQL查询表达式的类型，若所述类型为第一预设类型，则采用X-PACK SQL查询所述预设Elasticsearch集群数据库，若所述类型为第二预设类型，则采用Open Distro forElasticsearch提供的SQL查询扩展工具，查询所述预设Elasticsearch集群数据库。
4.根据权利要求1-3中任一所述的城轨数据查询方法，其特征在于，还包括：
配置用于数据查询请求的请求规则，所述请求规则包括：
采用json格式，实现通过DSL查询表达式的数据查询请求；
采用SELECT、WHERE、LIMIT、ORDER BY、GROUP BY和COUNT中任一或者join和left join中任一的格式，实现通过SQL查询表达式的数据查询请求。
5.根据权利要求1所述的城轨数据查询方法，其特征在于，还包括：
在存储所述城轨列车大数据的多个数据平台，部署包括至少一个Master节点和多个Data节点的所述预设Elasticsearch集群数据库，并在Elasticsearch集群环境下安装Opendistro_sql插件，用于支持用户通过所述查询请求进行数据查询。
6.根据权利要求1所述的城轨数据查询方法，其特征在于，还包括：
将所述目标城轨数据以json的形式发送到用户终端。
7.一种城轨数据查询装置，其特征在于，包括：
查询模块，用于获取用户的查询请求，并通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库，获取与所述查询请求对应的目标城轨数据；
其中，所述预设Elasticsearch集群数据库中分布式存储有城轨列车大数据。
8.根据权利要求7所述的城轨数据查询装置，其特征在于，所述查询模块，在用于所述通过判断所述查询请求应用的查询形式，对应采用SQL查询表达式或DSL查询表达式，查询预设Elasticsearch集群数据库时，用于：
判断所述查询请求应用的查询形式是否符合DSL表达式标准，若是，则在对所述查询形式进行完整性校验通过后，采用DSL查询表达式，查询所述预设Elasticsearch集群数据库；
若所述查询形式不符合DSL表达式标准，则在对所述查询形式进行完整性校验通过后，采用SQL查询表达式，查询所述预设Elasticsearch集群数据库。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1至6中任一项所述的城轨数据查询方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被计算机执行时，实现如权利要求1至6中任一项所述的城轨数据查询方法的步骤。
CN202110791929.0A 2021-07-13 2021-07-13 城轨数据查询方法、装置、电子设备及可读存储介质 Active CN113688148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110791929.0A CN113688148B (zh) 2021-07-13 2021-07-13 城轨数据查询方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110791929.0A CN113688148B (zh) 2021-07-13 2021-07-13 城轨数据查询方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113688148A true CN113688148A (zh) 2021-11-23
CN113688148B CN113688148B (zh) 2024-10-11

Family

ID=78577219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110791929.0A Active CN113688148B (zh) 2021-07-13 2021-07-13 城轨数据查询方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113688148B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578585A (zh) * 2023-07-13 2023-08-11 北京原点数安科技有限公司 数据查询方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777368A (zh) * 2017-01-24 2017-05-31 北京奇虎科技有限公司 数据库查询语言适配方法及装置、分布式数据存储系统
CN108959640A (zh) * 2018-07-26 2018-12-07 浙江数链科技有限公司 Es索引快速构建方法及装置
CN110968763A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 数据处理的方法及装置
WO2020233367A1 (zh) * 2019-05-22 2020-11-26 深圳壹账通智能科技有限公司 区块链数据存储和查询方法、装置、设备及存储介质
CN112685446A (zh) * 2020-12-31 2021-04-20 上海梦鱼信息科技有限公司 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777368A (zh) * 2017-01-24 2017-05-31 北京奇虎科技有限公司 数据库查询语言适配方法及装置、分布式数据存储系统
CN108959640A (zh) * 2018-07-26 2018-12-07 浙江数链科技有限公司 Es索引快速构建方法及装置
CN110968763A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 数据处理的方法及装置
WO2020233367A1 (zh) * 2019-05-22 2020-11-26 深圳壹账通智能科技有限公司 区块链数据存储和查询方法、装置、设备及存储介质
CN112685446A (zh) * 2020-12-31 2021-04-20 上海梦鱼信息科技有限公司 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578585A (zh) * 2023-07-13 2023-08-11 北京原点数安科技有限公司 数据查询方法、装置、电子设备及存储介质
CN116578585B (zh) * 2023-07-13 2023-09-19 北京原点数安科技有限公司 数据查询方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113688148B (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
CN107247808B (zh) 一种分布式NewSQL数据库系统及图片数据查询方法
CN107924408B (zh) 在文件系统中搜索元数据和标签的异构索引的系统和方法
US10574752B2 (en) Distributed data storage method, apparatus, and system
CN110147407B (zh) 一种数据处理方法、装置及数据库管理服务器
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
US8812492B2 (en) Automatic and dynamic design of cache groups
CN104239377A (zh) 跨平台的数据检索方法及装置
CN111159219B (zh) 一种数据管理方法、装置、服务器及存储介质
CN104050276A (zh) 一种分布式数据库的缓存处理方法及系统
CN109766318B (zh) 文件读取方法及装置
CN106484694B (zh) 基于分布式数据库的全文搜索方法及系统
CN109947729B (zh) 一种实时数据分析方法及装置
CN104035938A (zh) 一种性能持续集成数据处理的方法及装置
CN108319608A (zh) 访问日志存储查询的方法、装置及系统
CN103034650B (zh) 一种数据处理系统和方法
CN115168338A (zh) 数据处理方法、电子设备及存储介质
US20060112083A1 (en) Object relation information management program, method, and apparatus
CN113688148B (zh) 城轨数据查询方法、装置、电子设备及可读存储介质
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
CN114741335A (zh) 缓存管理方法、装置、介质及设备
US9183264B2 (en) Distributed configuration information management device and distributed configuration information management method using duplicates
US12061585B2 (en) Systems and methods of modeling and querying dynamic temporal graph on massive parallel graph processing and storage engine
CN113268483B (zh) 请求处理方法和装置、电子设备和存储介质
CN113760856B (zh) 数据库管理方法及装置、计算机可读存储介质、电子设备
CN110968267B (zh) 数据管理方法、装置、服务器及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant