CN111858681A - 一种基于soa的大数据综合管理数据查询系统 - Google Patents
一种基于soa的大数据综合管理数据查询系统 Download PDFInfo
- Publication number
- CN111858681A CN111858681A CN202010764111.5A CN202010764111A CN111858681A CN 111858681 A CN111858681 A CN 111858681A CN 202010764111 A CN202010764111 A CN 202010764111A CN 111858681 A CN111858681 A CN 111858681A
- Authority
- CN
- China
- Prior art keywords
- query
- soa
- big data
- parameter
- based big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 239000003344 environmental pollutant Substances 0.000 claims description 14
- 231100000719 pollutant Toxicity 0.000 claims description 14
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004904 shortening Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于SOA的大数据综合管理数据查询系统，要求查询要求解析单元，用于在接收查询要求之后，生成与所述查询要求对应的独有的查询标识；查询信息发送单元，用于将所述查询批量任务的子任务、查询标识发送给能够执行所述查询批量任务的子任务的基于SOA的大数据；查询结果信息接收单元，用于接收基于SOA的大数据发回的查询结果。本发明有效地在基于SOA的大数据中实现了协同关联查询，从而减少了查询处理的等待时间，缩短查询的等待时间。
Description
技术领域
本发明涉及环境管理技术领域，更具体的说是涉及一种基于SOA的大数据综合管理数据查询系统。
背景技术
在环境管理与监测领域，相对于传统的实验室物理、化学、生物的实验方法检测各水质指标，利用传感器监测各水质指标，具有便携、快速、高效、实时等特点，满足了污染应急过程中，对于即时性获得数据的需要。但是数据存储在各个监测中心不同的数据库中，查询则需要大量的时间筛选。
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，其重点是数据，大数据提供的是分析价值，需要将大数据成功的分析出应有的价值；云计算是将很多信息利用云端集合起来，提供一个让很多人都能用的服务，云计算提供的是使用价值。大数据和云端两者是密不可分的，云端产生的数据量非常巨大，要想让庞大的数据产生价值就需要大数据分析，因此，利用对大数据的分析后进行预判及管理的系统在各个领域应运而生。
因此运用大数据进行环境管理的数据进行查询是一种解决方法。
发明内容
针对现有技术所存在的上述缺点，本发明提供了一种基于SOA的大数据综合管理数据查询系统，其能够很好的解决多个数据库之间信息查询的问题，能够缩短查询的平均时间。
为了实现上述目的，本发明采用如下技术方案：
具体的技术方案为：
一种基于SOA的大数据综合管理数据查询系统，包括要求查询要求解析单元、查询信息发送单元、查询结果信息接收单元；所述要求查询要求解析单元，用于在接收查询要求之后，生成与所述查询要求对应的独有的查询标识；还用于对所述查询要求进行解析，确定查询批量任务的子任务；
所述查询信息发送单元，用于将所述查询批量任务的子任务、查询标识发送给能够执行所述查询批量任务的子任务的基于SOA的大数据；
所述查询结果信息接收单元，用于接收基于SOA的大数据发回的查询结果。
进一步的，所述要求查询要求解析单元，还用于在接收到所述查询要求后生成与所述查询要求对应的参数标识；所述查询信息发送单元，还用于将所述参数标识发送至基于SOA的大数据。
其中所述参数标识，为污染物特征标识，参数临界值为临界值污染物浓度临界值；
所述要求查询要求解析单元用于根据接收到所述查询要求的时间生成所述污染物特征标识；所述参数标识用于确定在基于SOA的大数据上每个查询批量任务的子任务对应的参数临界值，用于基于SOA的大数据依次关联并执行每个参数临界值内的查询批量任务的子任务。
优选的，还包括临界值确定单元，所述临界值确定单元与基于SOA的大数据连接，用于根据预定参数临界值范围对基于SOA的大数据所接收到的所有查询批量任务的子任务进行划分，得到多个参数临界值；还用于根据所述参数标识和预定参数临界值范围确定每个查询批量任务的子任务对应的参数临界值。
进一步的，还包括关联执行单元，所述关联执行单元与基于SOA的大数据连接，用于根据接收到的所述参数标识与预设的参数临界值关联，并执行查询批量任务的子任务，得到查询结果。
与现有技术相比，本发明提供的一种基于SOA的大数据综合管理数据查询系统，产生的有益效果为：
本发明通过采用查询标识和临界值污染物浓度临界值进行查询实现，让所有的基于SOA的大数据服务器在同一时刻服务于同一查询批量任务的子任务，减少了多台基于SOA的大数据服务器之间因关联顺序冲突带来的相互排队的问题，有效地在基于SOA的大数据中实现了协调共同关联查询，从而减少了查询处理时间。
具体实施方式
结合实施例说明本发明的具体技术方案。
一种基于SOA的大数据综合管理数据查询系统，包括要求查询要求解析单元、查询信息发送单元、查询结果信息接收单元；所述要求查询要求解析单元，用于在接收查询要求之后，生成与所述查询要求对应的独有的查询标识；还用于对所述查询要求进行解析，确定查询批量任务的子任务；
所述查询信息发送单元，用于将所述查询批量任务的子任务、查询标识发送给能够执行所述查询批量任务的子任务的基于SOA的大数据；
所述查询结果信息接收单元，用于接收基于SOA的大数据发回的查询结果。
所述要求查询要求解析单元，还用于在接收到所述查询要求后生成与所述查询要求对应的参数标识；所述查询信息发送单元，还用于将所述参数标识发送至基于SOA的大数据。
其中所述参数标识，为污染物特征标识，参数临界值为临界值污染物浓度临界值；
所述要求查询要求解析单元用于根据接收到所述查询要求的时间生成所述污染物特征标识；所述参数标识用于确定在基于SOA的大数据上每个查询批量任务的子任务对应的参数临界值，用于基于SOA的大数据依次关联并执行每个参数临界值内的查询批量任务的子任务。
还包括临界值确定单元，所述临界值确定单元与基于SOA的大数据连接，用于根据预定参数临界值范围对基于SOA的大数据所接收到的所有查询批量任务的子任务进行划分，得到多个参数临界值；还用于根据所述参数标识和预定参数临界值范围确定每个查询批量任务的子任务对应的参数临界值。
还包括关联执行单元，所述关联执行单元与基于SOA的大数据连接，用于根据接收到的所述参数标识与预设的参数临界值关联，并执行查询批量任务的子任务，得到查询结果。
基于SOA的大数据综合管理数据查询的查询方法，包括以下步骤：
S1在接收到查询要求后，生成与所述查询要求对应的独有的查询标识，并对所述查询要求进行解析，确定查询批量任务的子任务；
步骤S1还包括，在接收到所述查询要求后，生成与所述查询要求对应的参数标识，并将所述参数标识发送至基于SOA的大数据；
S2对于每个查询批量任务的子任务，将该查询批量任务的子任务以及所述查询标识发送给能够执行该查询批量任务的子任务的基于SOA的大数据；
步骤S2还包括，接收到所述参数标识的每个基于SOA的大数据；根据接收到的所述参数标识与预设的参数临界值关联并执行查询批量任务的子任务，得到查询结果。
根据接收到的所述参数标识与预设的参数临界值关联并执行查询批量任务的子任务包括：
基于SOA的大数据采用预定参数临界值范围对接收到的所有查询批量任务的子任务进行划分，得到多个参数临界值；
基于SOA的大数据根据所述参数标识和预定参数临界值范围确定每个查询批量任务的子任务对应的参数临界值；以及基于SOA的大数据依次关联并执行每个参数临界值内的查询批量任务的子任务。
所述参数标识为污染物特征标识，参数临界值为临界值污染物浓度临界值；生成与所述查询要求对应的参数标识包括：
根据接收到所述查询要求的时间生成的污染物特征标识。
根据接收到的所述参数标识与预设的参数临界值关联并执行查询批量任务的子任务包括：在每个临界值污染物浓度临界值内，根据查询标识的大小进行排序，并根据排序结果优先调用、执行最小的查询标识对应的查询批量任务的子任务。
S3接收基于SOA的大数据发回的查询结果。
Claims (5)
1.一种基于SOA的大数据综合管理数据查询系统，其特征在于，包括要求查询要求解析单元、查询信息发送单元、查询结果信息接收单元；所述要求查询要求解析单元，用于在接收查询要求之后，生成与所述查询要求对应的独有的查询标识；还用于对所述查询要求进行解析，确定查询批量任务的子任务；
所述查询信息发送单元，用于将所述查询批量任务的子任务、查询标识发送给能够执行所述查询批量任务的子任务的基于SOA的大数据；
所述查询结果信息接收单元，用于接收基于SOA的大数据发回的查询结果。
2.根据权利要求1所述一种基于SOA的大数据综合管理数据查询系统，其特征在于，所述要求查询要求解析单元，还用于在接收到所述查询要求后生成与所述查询要求对应的参数标识；所述查询信息发送单元，还用于将所述参数标识发送至基于SOA的大数据。
3.根据权利要求2所述一种基于SOA的大数据综合管理数据查询系统，其特征在于，所述参数标识，为污染物特征标识，参数临界值为临界值污染物浓度临界值；
所述要求查询要求解析单元用于根据接收到所述查询要求的时间生成所述污染物特征标识；所述参数标识用于确定在基于SOA的大数据上每个查询批量任务的子任务对应的参数临界值，用于基于SOA的大数据依次关联并执行每个参数临界值内的查询批量任务的子任务。
4.根据权利要求1到3任一项所述一种基于SOA的大数据综合管理数据查询系统，其特征在于，还包括临界值确定单元，所述临界值确定单元与基于SOA的大数据连接，用于根据预定参数临界值范围对基于SOA的大数据所接收到的所有查询批量任务的子任务进行划分，得到多个参数临界值；还用于根据所述参数标识和预定参数临界值范围确定每个查询批量任务的子任务对应的参数临界值。
5.根据权利要求4所述一种基于SOA的大数据综合管理数据查询系统，其特征在于，还包括关联执行单元，所述关联执行单元与基于SOA的大数据连接，用于根据接收到的所述参数标识与预设的参数临界值关联，并执行查询批量任务的子任务，得到查询结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010764111.5A CN111858681A (zh) | 2020-08-01 | 2020-08-01 | 一种基于soa的大数据综合管理数据查询系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010764111.5A CN111858681A (zh) | 2020-08-01 | 2020-08-01 | 一种基于soa的大数据综合管理数据查询系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111858681A true CN111858681A (zh) | 2020-10-30 |
Family
ID=72952521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010764111.5A Pending CN111858681A (zh) | 2020-08-01 | 2020-08-01 | 一种基于soa的大数据综合管理数据查询系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858681A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235835A (zh) * | 2013-05-22 | 2013-08-07 | 曙光信息产业(北京)有限公司 | 用于数据库集群的查询实现方法和装置 |
| WO2018041101A1 (zh) * | 2016-08-29 | 2018-03-08 | 中兴通讯股份有限公司 | 数据查询、数据查询处理方法及装置 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
-
2020
- 2020-08-01 CN CN202010764111.5A patent/CN111858681A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235835A (zh) * | 2013-05-22 | 2013-08-07 | 曙光信息产业(北京)有限公司 | 用于数据库集群的查询实现方法和装置 |
| WO2018041101A1 (zh) * | 2016-08-29 | 2018-03-08 | 中兴通讯股份有限公司 | 数据查询、数据查询处理方法及装置 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐春雪: "基于SOA的高校人力资源管理系统信息查询方法的研究", 《电脑迷》, no. 12, pages 97 - 98 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781143B (zh) | 一种服务器日志查询提取的方法及装置 | |
| CN104731595A (zh) | 面向大数据分析的混合计算系统 | |
| CN108234784A (zh) | 智能云客服系统 | |
| CN110933147A (zh) | 一种基于云计算的信息技术分析系统 | |
| CN111859046A (zh) | 一种基于污染要素源解析的水污染溯源系统及方法 | |
| CN111475705A (zh) | 基于sql查询的网络业务监控方法、装置、设备及存储介质 | |
| CN116594857A (zh) | 一种基于人工智能的办公软件智能交互管理平台 | |
| CN103581336A (zh) | 基于云计算平台的业务流程调度方法及系统 | |
| CN106648722B (zh) | 基于大数据的Flume接收端数据处理方法和装置 | |
| CN111858681A (zh) | 一种基于soa的大数据综合管理数据查询系统 | |
| CN111930542B (zh) | 数据采集方法、装置、电子设备及计算机可读存储介质 | |
| CN105207829B (zh) | 一种入侵检测数据处理方法、装置，及系统 | |
| CN113778947A (zh) | 一种kafka流处理平台的数据导入方法、装置及设备 | |
| CN113760849B (zh) | 日志处理方法、系统、电子设备及计算机可读存储介质 | |
| CN107145585A (zh) | Hadoop数据仓库的自动导入数据方法及系统 | |
| CN115987673B (zh) | 基于事件驱动的漏洞渗透测试系统、方法、装置、介质及设备 | |
| CN116909751A (zh) | 一种云计算系统中的资源分配方法 | |
| CN117271177A (zh) | 基于链路数据的根因定位方法、装置、电子设备及存储介质 | |
| CN110879753A (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和系统 | |
| CN116192607A (zh) | 故障告警方法及装置 | |
| CN116089446A (zh) | 一种结构化查询语句的优化控制方法及装置 | |
| CN112766822A (zh) | 一种企业决策管理信息服务系统 | |
| CN107465762B (zh) | 一种分布式存储系统的测试方法及系统 | |
| CN116841772B (zh) | 基于事件队列的跨线程信号处理方法和系统 | |
| CN100340991C (zh) | 跨平台的计算机测试系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |