CN113239069A - 数据查询方法和数据查询系统 - Google Patents
数据查询方法和数据查询系统 Download PDFInfo
- Publication number
- CN113239069A CN113239069A CN202110539798.7A CN202110539798A CN113239069A CN 113239069 A CN113239069 A CN 113239069A CN 202110539798 A CN202110539798 A CN 202110539798A CN 113239069 A CN113239069 A CN 113239069A
- Authority
- CN
- China
- Prior art keywords
- query
- data
- layer
- request
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 135
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000344 soap Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种数据查询方法，包括，通过服务端基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，使得提供了强大的数据处理功能，并提供了高度可扩展的执行流程，量化了业务处理效率；通过客户端输入请求查询信息；通过统一协调处理模块将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，并反馈给所述服务端；所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果经由所述统一协调处理模块进行数据格式转换后反馈给所述客户端，使得实现了能够根据相应的数据查询要求自动从不同的数据源中获取想要查询的数据。本发明提供了一种数据查询系统。
Description
技术领域
本发明涉及数据查询技术领域，尤其涉及一种数据查询方法和数据查询系统。
背景技术
随着软件系统复杂性、动态性、多任务性不断提高，尤其是对于分布于不同数据库中的数据，构造数据的分析指标和直接进行联机查询分布几乎不可能。另一方面，数据量级不断增长，数据多变，也给数据的统计和分析带了很大的复杂性及工作量，这时候再使用传统的数据查询方法已经十分的低效。
随着系统的复杂度和数据的量级的不断提升，对于多维度的及多数据源的数据分析，只能通过SQL语句的方式在多数据源中进行比对分析，有时可能需要将数据导出放入Excel或者PowerBI等报表工具中进行分析，分析的难度非常大，而且数据的变动会对分析结果造成影响，分析的效率也比较低，同时数据的安全性也得不到保证，数据脱敏只能人工处理，对人员的技术要求比较高。
公开号为CN105868411B的中国专利申请公开了一种非关系型与关系型数据库一体化数据查询方法与系统，该方法包括S1：通过统一查询接口将查询语句输入到查询语句解析模块；S2：查询语句解析模块对查询语句进行解析后送至查询语句执行模块；步骤S3：查询语句执行模块将查询语句发送到内存数据库中进行数据查询，如果存在查询数据，转步骤S5；如果不存在，转下一步；S4：将在底层存储模块中得到的查询结果通过模型转换和数据迁移模块处理后的查询结果发送到内存数据库中进行保存，转步骤S3；S5：查询语句执行模块将查询结果通过统一查询接口发送给应用程序。本发明能够为上层应用程序屏蔽底层复杂的存储环境，实现了统一的数据访问接口。但该发明无法对数据进行脱敏，对于敏感信息需要人工进行干预，同时无法支持多数据格式，无法满足不同客户端场景调用的问题。
公开号为CN106777108A的中国专利申请公开了一种基于混合存储架构的数据查询方法和装置。所述方法包括：初始化混合存储架构，并为混合储存架构提供统一的SQL引擎；获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求；根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；将获取到的多个数据操作结果进行合并，形成总的查询结果。本发明提供的方法，支持关系数据库和时序数据库混合存储的统一标准SQL数据查询，实现了混合储存架构的统一标准访问，有效提高了混合储存架构的数据查询效率，大大减少数据查询成本，有效支撑大数据分析等各类业务应用。但该发明对大数据量的分析效率较低，而且只能通过数据导出的方式进行分析，无法进行快速的联机分析，此外数据的变动对于分析的结果影响也较大。
因此，有必要提供一种新型的数据查询方法和数据查询系统以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种数据查询方法和数据查询系统，以实现能够根据相应的数据查询要求自动从不同的数据源中获取想要查询的数据。
为实现上述目的，本发明的所述数据查询方法，包括以下步骤：
S0：通过服务端基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤；
S1：通过客户端输入请求查询信息；
S2：通过统一协调处理模块将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，并反馈给所述服务端；
S3：所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果经由所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
本发明的数据查询方法的有益效果在于：通过步骤S0：通过服务端基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，工作流中的执行步骤用于确定各个层级中的处理顺序，统一协调各个层级的调用关系，使得基于OSWorkflow的工作流引擎技术的所述服务端能提供强大的数据处理功能，并提供了高度可扩展的执行流程，使得每个分层之间的耦合度降低，每个层级只需要关注核心业务逻辑，量化了业务处理效率，减少了浪费，充分利用了资源；通过步骤S2：通过统一协调处理模块将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，并反馈给所述服务端，使得提供了很好的通用性，适用于多平台的客户端使用；通过步骤S3：所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果经由所述统一协调处理模块进行数据格式转换后反馈给所述客户端，实现了能够根据相应的数据查询要求自动从不同的数据源中获取想要查询的数据。
优选的，所述若干层级包括请求识别层、请求解析层、拦截处理层、认证处理层、请求执行层和响应处理层，所述步骤S3中，所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果的步骤包括：
S31：通过所述请求识别层对所述请求查询信息进行数据预处理，过滤无效的请求查询信息和错误的请求查询信息，并将有效的请求查询信息传输给所述请求解析层；
S32：通过所述请求解析层对所述有效的请求查询信息进行解析和处理，并将解析和处理后的查询信息传输给所述拦截处理层；
S33：通过所述拦截处理层对所述解析和处理后的查询信息进行流控过滤；
S34：通过所述认证处理层对通过流控过滤后的查询信息进行认证，并将通过认证的查询信息反馈给所述请求执行层；
S35：通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层。其有益效果在于：与现有技术相比，提供了更可靠通用的数据访问机制，为数据的访问提供更方便快捷的方式。
优选的，所述请求执行层基于Weblogic的JNDI数据连接方式建立线程池以与若干数据库连接。其有益效果在于：通过Weblogic建立的线程池来降低数据库连接次数，保证数据连接效率，与现有技术相比，本发明基于Weblogic的JNDI数据连接方式，屏蔽了底层数据库机制细节，为数据的访问提供更方便快捷的方式，避免了现有技术中需要对不同数据库进行定制化的操作，其形成了统一的数据操作标准，能有效支撑数据分析等各类业务应用场景。
优选的，所述统一协调处理模块基于SOAP协议进行数据传输。其有益效果在于：通用性强，支持多种数据格式，对XML及JSON格式友好，满足不同客户端需求。
优选的，所述服务端通过所述OSWorkflow工作流引擎系统配置统一数据查询入口，所述统一数据查询入口分别与所述统一协调处理模块、所述请求识别层和所述响应处理层连接，所述统一数据查询入口对所述请求查询信息和所述查询结果进行统一的数据格式封装。其有益效果在于：所述OSWorkflow工作流引擎系统为不同数据源的数据提供统一数据查询入口支持，有利于数据统一规整、数据分析以及数据安全，使得本发明可推广应用于对数据需要统一查询入口以及对外提供数据需要有比较高安全性的领域。
优选的，所述请求识别层设有若干关键词过滤器，所述步骤S31中，所述请求识别层通过所述若干关键词过滤器对所述请求查询信息的参数类型和参数值进行过滤以得到所述有效的请求查询信息。其有益效果在于：过滤掉无效的请求查询信息及错误的请求查询信息，以提高系统的稳定性。
优选的，所述步骤S32中，所述请求解析层通过序列化的方式将所述有效的请求查询信息的数据格式转换为所述拦截处理层能接收的数据格式。其有益效果在于：不仅能够更深层的检测出请求的格式，而且能够支持多种的数据格式，以提高面向不同客户端的请求需求。
优选的，所述步骤S33中，所述拦截处理层基于应用层的流控方式根据时间、IP、访问频率对所述解析和处理后的查询信息进行所述流控过滤。其有益效果在于：使得能多维度全方位的保障系统稳定，且允许多手段的来配置，解决了面对大批量的请求连接，传统的流控方式不仅技术门槛高，需要有专业的人员来配置，同时无法做到灵活的流控配置的问题。
优选的，所述若干层级还包括加密层，所述步骤S34中，通过所述认证处理层对通过流控过滤后的查询信息进行认证的步骤包括：
S341：所述加密层采用MD5加密方式对通过所述流控过滤后的查询信息中的请求方的身份信息进行加密，并将得到的身份加密信息传输给所述认证处理层；
S342：所述认证处理层对所述查询信息中的请求方的身份信息进行认证，并将认证结果反馈给所述客户端。其有益效果在于：提供了更安全的数据访问机制，提高了数据查询的安全性。
优选的，所述步骤S342中，所述认证处理层采用本地用户认证对通过流控过滤后的查询信息中的请求方的身份进行认证，并将认证结果反馈给所述客户端。其有益效果在于：提供了更安全的数据访问机制，提高了数据查询的安全性。
优选的，所述步骤S341中，所述加密层还采用BASE64加密方式对通过所述流控过滤后的查询信息中的查询数据进行加密，并将得到的数据加密信息传输给所述认证处理层。其有益效果在于：提供了更安全的数据访问机制，提高了数据查询的安全性。
优选的，所述步骤S34中，所述认证处理层采用OAUTH的认证方式联动各业务系统的用户权限对通过所述流控过滤后的查询信息中的请求方的身份和查询数据的权限进行认证，并将认证结果反馈给所述客户端。其有益效果在于：进一步保障数据查询的安全性。
优选的，所述若干层级还包括异常处理层，所述异常处理层收集所述工作流步骤中产生的异常数据信息，并进行统一封装后反馈给所述客户端。
优选的，所述若干层级还包括日志管理层，所述日志管理层收集并记录所述工作流步骤中产生的日志信息。
优选的，所述若干层级还包括参数管理组件，所述步骤S35中，通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层的步骤包括：
S351：所述请求执行层根据所述查询信息的查询类型从所述参数管理组件中调用需要执行的SQL语句，将所述查询信息的参数与所述SQL语句进行合并获得SQL数据查询信息；
S352：所述请求执行层将所述SQL数据查询信息输入到所述若干数据库中进行数据查询以获得查询结果，并将所述查询结果反馈给所述响应处理层；
S353：所述响应处理层将所述查询结果进行包装后通过所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
优选的，所述参数管理组件设置有慢查询SQL语句，所述慢查询SQL语句提供限制条数的参数配置，以保证数据查询效率。
优选的，本发明提供一种数据查询系统，用于执行所述的数据查询方法，所述数据查询系统包括客户端、统一协调处理模块和服务端，所述客户端用于输入请求查询信息；所述服务端用于基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，以及用于将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果反馈给所述客户端；所述统一协调处理模块用于将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，以及将所述查询结果由所述服务端的数据格式转换为所述客户端能接收的数据格式。
本发明所述数据查询系统的有益效果在于：通过所述统一协调处理模块用于将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，以及将所述查询结果由所述服务端的数据格式转换为所述客户端能接收的数据格式，使得提供了很好的通用性，适用于多平台的客户端使用；通过所述服务端用于基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，以及用于将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果反馈给所述客户端，工作流中的执行步骤用于确定各个层级中的处理顺序，统一协调各个层级的调用关系，使得基于OSWorkflow的工作流引擎技术的所述服务端能提供强大的数据处理功能，并提供了高度可扩展的执行流程，使得每个分层之间的耦合度降低，每个层级只需要关注核心业务逻辑，量化了业务处理效率，减少了浪费，充分利用了资源，实现了能够根据相应的数据查询要求自动从不同的数据源中获取想要查询的数据。
附图说明
图1为本发明的一些实施例中数据查询系统的结构框图；
图2为本发明的一些实施例中若干层级的结构框图；
图3为本发明的一些实施例中数据查询方法的流程示意图；
图4为本发明的一些实施例中工作流步骤的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对现有技术存在的问题，本发明的实施例提供了一种数据查询方法和数据查询系统，以实现能够根据相应的数据查询要求自动从不同的数据源中获取想要查询的数据。
图1为本发明的一些实施例中数据查询系统的结构框图。本发明的一些实施例中，参照图1，所述数据查询系统包括服务端100、统一协调处理模块200和客户端300，所述服务端100、统一协调处理模块200和客户端300依次连接。所述客户端300用于输入请求查询信息；所述服务端100用于基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，以及用于将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果反馈给所述客户端300；所述统一协调处理模块200用于将所述请求查询信息由所述客户端300的数据格式转换为所述服务端100能接收的数据格式，以及将所述查询结果由所述服务端100的数据格式转换为所述客户端300能接收的数据格式。
图2为本发明的一些实施例中若干层级的结构框图。本发明的一些实施例中，参照图2，本发明的一些实施例中，所述若干层级包括请求识别层110、请求解析层120、拦截处理层130、认证处理层140、请求执行层150和响应处理层160，所述请求识别层110、所述请求解析层120、所述拦截处理层130、所述认证处理层140、所述请求执行层150和所述响应处理层160依次连接；
所述请求识别层110用于对所述请求查询信息进行数据预处理，过滤无效的请求查询信息和错误的请求查询信息，并将有效的请求查询信息传输给所述请求解析层120；
所述请求解析层120用于对所述有效的请求查询信息进行解析和处理，并将解析和处理后的查询信息传输给所述拦截处理层130；所述请求解析层120会将所述有效的请求查询信息解析为流控过滤信息、身份认证信息，查询数据信息等，具体的，所述请求解析层120的解析原理和处理结果均采用本领域的常规手段，在此不再赘述。
所述拦截处理层130用于对所述解析和处理后的查询信息进行流控过滤，并将通过流控过滤后的查询信息传输给所述认证处理层140；
所述认证处理层140用于对通过流控过滤后的查询信息进行认证，并将通过认证的查询信息反馈给所述请求执行层150；
所述请求执行层150用于对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层160；
所述响应处理层160用于将所述查询结果进行包装后通过所述统一协调处理模块(图中未示出)进行数据格式转换后反馈给所述客户端(图中未示出)。
本发明的一些实施例中，所述若干层级还包括加密层，所述加密层分别与所述拦截处理层和所述认证处理层连接，所述加密层用于对通过流控过滤后的查询信息中的请求方的身份信息或查询数据进行加密，并将得到的数据加密信息传输给所述认证处理层。
本发明的一些实施例中，所述若干层级还包括异常处理层，所述异常处理层分别与所述请求识别层、所述请求解析层、所述拦截处理层、所述认证处理层、所述请求执行层、所述响应处理层和所述加密层连接，所述异常处理层收集所述工作流步骤中产生的异常数据信息，并进行统一封装后反馈给所述客户端。
本发明的一些实施例中，所述若干层级还包括日志管理层，所述日志管理层分别与所述请求识别层、所述请求解析层、所述拦截处理层、所述认证处理层、所述请求执行层、所述响应处理层、所述加密层和所述异常处理层连接，所述日志管理层收集并记录所述工作流步骤中产生的日志信息。
本发明的一些实施例中，所述服务端通过所述OSWorkflow工作流引擎系统配置统一数据查询入口，所述统一数据查询入口分别与所述统一协调处理模块、所述请求识别层和所述响应处理层连接，所述统一数据查询入口对所述请求查询信息和所述查询结果进行统一数据格式封装。所述OSWorkflow工作流引擎系统为不同数据源的数据提供统一数据查询入口支持，有利于数据统一规整、数据分析以及数据安全，使得本发明可推广应用于对数据需要统一查询入口以及对外提供数据需要有比较高安全性的领域。
图3为本发明的一些实施例中数据查询方法的流程示意图。本发明的一些实施例中，参考图3，所述数据查询方法，包括以下步骤：
S0：通过服务端基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤；
S1：通过客户端输入请求查询信息；
S2：通过统一协调处理模块将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，并反馈给所述服务端；
S3：所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果经由所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
图4为本发明的一些实施例中工作流步骤的流程示意图。本发明的一些实施例中，参考图4，所述步骤S3中，所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果的步骤包括：
S31：通过所述请求识别层对所述请求查询信息进行数据预处理，过滤无效的请求查询信息和错误的请求查询信息，并将有效的请求查询信息传输给所述请求解析层；
S32：通过所述请求解析层对所述有效的请求查询信息进行解析和处理，并将解析和处理后的查询信息传输给所述拦截处理层；
S33：通过所述拦截处理层对所述解析和处理后的查询信息进行流控过滤；
S34：通过所述认证处理层对通过流控过滤后的查询信息进行认证，并将通过认证的查询信息反馈给所述请求执行层；
S35：通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层。
本发明的一些实施例中，所述请求执行层基于Weblogic的JNDI数据连接方式建立线程池以与若干数据库连接，通过Weblogic建立的线程池来降低数据库连接次数，保证数据连接效率，与现有技术相比，本发明基于Weblogic的JNDI数据连接方式，屏蔽了底层数据库机制细节，为数据的访问提供更方便快捷的方式，避免了现有技术中需要对不同数据库进行定制化的操作方式，其形成了统一的数据操作标准，能有效支撑数据分析等各类业务应用场景。
本发明的一些实施例中，所述若干数据库为关系型数据库，如ORACLE数据库、MYSQL数据库和SQLSERVER数据库等。
本发明的一些实施例中，所述统一协调处理模块基于SOAP协议进行数据传输，通用性强，支持多种数据格式，对XML及JSON格式友好，满足不同客户端需求。通过SOAP协议使得所述客户端向所述服务端发出的请求查询信息的请求数据的数据格式和所述服务端向所述客户端发出的查询结果的响应数据的数据格式可以相同或不同。
本发明的一些实施例中，所述客户端向所述服务端发出的请求查询信息的请求数据的数据格式为XML格式，所述服务端向所述客户端发出的查询结果的响应数据的数据格式为XML格式。
本发明的另一些实施例中，所述客户端向所述服务端发出的请求查询信息的请求数据的数据格式为JSON格式，所述服务端向所述客户端发出的查询结果的响应数据的数据格式为JSON格式。
本发明的又一些实施例中，所述客户端向所述服务端发出的请求查询信息的请求数据的数据格式为XML格式，所述服务端向所述客户端发出的查询结果的响应数据的数据格式为JSON格式。
本发明的再一些实施例中，所述客户端向所述服务端发出的请求查询信息的请求数据的数据格式为JSON格式，所述服务端向所述客户端发出的查询结果的响应数据的数据格式为分隔符格式的字符串。
本发明的一些实施例中，所述请求识别层设有若干关键词过滤器，所述步骤S31中，所述请求识别层通过所述若干关键词过滤器对所述请求查询信息的参数类型和参数值进行过滤以得到所述有效的请求查询信息。其有益效果在于：过滤掉无效的请求查询信息及错误的请求查询信息，以提高系统的稳定性。
本发明的一些实施例中，所述步骤S32中，所述请求解析层通过序列化的方式将所述有效的请求查询信息的数据格式转换为所述拦截处理层能接收的数据格式。
本发明的一些实施例中，所述步骤S33中，所述拦截处理层基于应用层的流控方式根据时间、IP、访问频率对所述解析和处理后的查询信息进行所述流控过滤，使得能多维度全方位的保障系统稳定，且允许多手段的来配置，解决了面对大批量的请求连接，传统的流控方式不仅技术门槛高，需要有专业的人员来配置，同时无法做到灵活的流控配置的问题。
本发明的一些实施例中，所述步骤S34中，通过所述认证处理层对通过流控过滤后的查询信息进行认证的步骤包括：
S341：所述加密层采用MD5加密方式对通过所述流控过滤后的查询信息中的请求方的身份信息进行加密，并将得到的身份加密信息传输给所述认证处理层；
S342：所述认证处理层对所述查询信息中的请求方的身份信息进行认证，并将认证结果反馈给所述客户端，提供了更安全的数据访问机制，提高了数据查询的安全性。
本发明的一些实施例中，所述步骤S342中，所述认证处理层采用本地用户认证对通过流控过滤后的查询信息中的请求方的身份进行认证，并将认证结果反馈给所述客户端。
本发明的一些实施例中，所述加密层采用MD5加密方式对请求方的用户名和密码数据进行加密，并传输给所述认证处理层，所述认证处理层采用本地用户认证对该请求方的身份进行认证，对于身份认证失败的请求，所述服务端会拒绝请求查询数据并将认证结果返回给客户端，身份认证成功的请求，所述认证处理层才将相关数据传输给所述请求执行层，使得提供了更安全的数据访问机制，提高了数据查询的安全性。
本发明的一些实施例中，所述步骤S341中，所述加密层还采用BASE64加密方式对通过所述流控过滤后的查询信息中的查询数据进行加密，并将得到的数据加密信息传输给所述认证处理层。
本发明的一些实施例中，所述步骤S34中，所述认证处理层采用OAUTH的认证方式联动各业务系统的用户权限对通过所述流控过滤后的查询信息中的请求方的身份和查询数据的权限进行认证，并将认证结果反馈给所述客户端。所述OAUTH的认证方式不仅可以对用户身份进行认证，同时也能对访问数据的权限认证，进一步保障业务数据的安全性。所述认证处理层用于判断当前请求方式是否有权限进行数据的访问，如验证失败，所述认证处理层会将相关数据分别传输给所述异常处理层处理和所述日志管理层记录，同时会将验证的结果返回给客户端，如验证通过，则所述认证处理层会将相关数据分别传输给所述请求执行层。
本发明的一些实施例中，所述步骤S35中，通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层的步骤包括：
S351：所述请求执行层根据所述查询信息的查询类型从所述参数管理组件中调用需要执行的SQL语句，将所述查询信息的参数与所述SQL语句进行合并获得SQL数据查询信息；
S352：所述请求执行层将所述SQL数据查询信息输入到所述若干数据库中进行数据查询以获得查询结果，并将所述查询结果反馈给所述响应处理层；
S353：所述响应处理层将所述查询结果进行包装后通过所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
本发明的一些实施例中，所述参数管理组件设置有慢查询SQL语句，所述慢查询SQL语句提供限制条数的参数配置，以保证数据查询效率。所述慢查询SQL语句为请求查询时间超过10s的查询。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。
Claims (17)
1.一种数据查询方法，其特征在于，包括以下步骤：
S0：通过服务端基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤；
S1：通过客户端输入请求查询信息；
S2：通过统一协调处理模块将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，并反馈给所述服务端；
S3：所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果经由所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
2.根据权利要求1所述的数据查询方法，其特征在于，所述若干层级包括请求识别层、请求解析层、拦截处理层、认证处理层、请求执行层和响应处理层，所述步骤S3中，所述服务端将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果的步骤包括：
S31：通过所述请求识别层对所述请求查询信息进行数据预处理，过滤无效的请求查询信息和错误的请求查询信息，并将有效的请求查询信息传输给所述请求解析层；
S32：通过所述请求解析层对所述有效的请求查询信息进行解析和处理，并将解析和处理后的查询信息传输给所述拦截处理层；
S33：通过所述拦截处理层对所述解析和处理后的查询信息进行流控过滤；
S34：通过所述认证处理层对通过流控过滤后的查询信息进行认证，并将通过认证的查询信息反馈给所述请求执行层；
S35：通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层。
3.根据权利要求2所述的数据查询方法，其特征在于，所述请求执行层基于Weblogic的JNDI数据连接方式建立线程池以与若干数据库连接。
4.根据权利要求1所述的数据查询方法，其特征在于，所述统一协调处理模块基于SOAP协议进行数据传输。
5.根据权利要求2所述的数据查询方法，其特征在于，所述服务端通过所述OSWorkflow工作流引擎系统配置统一数据查询入口，所述统一数据查询入口分别与所述统一协调处理模块、所述请求识别层和所述响应处理层连接，所述统一数据查询入口对所述请求查询信息和所述查询结果进行统一的数据格式封装。
6.根据权利要求2所述的数据查询方法，其特征在于，所述请求识别层设有若干关键词过滤器，所述步骤S31中，所述请求识别层通过所述若干关键词过滤器对所述请求查询信息的参数类型和参数值进行过滤以得到所述有效的请求查询信息。
7.根据权利要求2所述的数据查询方法，其特征在于，所述步骤S32中，所述请求解析层通过序列化的方式将所述有效的请求查询信息的数据格式转换为所述拦截处理层能接收的数据格式。
8.根据权利要求2所述的数据查询方法，其特征在于，所述步骤S33中，所述拦截处理层基于应用层的流控方式根据时间、IP、访问频率对所述解析和处理后的查询信息进行所述流控过滤。
9.根据权利要求2所述的数据查询方法，其特征在于，所述若干层级还包括加密层，所述步骤S34中，通过所述认证处理层对通过流控过滤后的查询信息进行认证的步骤包括：
S341：所述加密层采用MD5加密方式对通过所述流控过滤后的查询信息中的请求方的身份信息进行加密，并将得到的身份加密信息传输给所述认证处理层；
S342：所述认证处理层对所述查询信息中的请求方的身份信息进行认证，并将认证结果反馈给所述客户端。
10.根据权利要求9所述的数据查询方法，其特征在于，所述步骤S342中，所述认证处理层采用本地用户认证对通过流控过滤后的查询信息中的请求方的身份进行认证，并将认证结果反馈给所述客户端。
11.根据权利要求9所述的数据查询方法，其特征在于，所述步骤S341中，所述加密层还采用BASE64加密方式对通过所述流控过滤后的查询信息中的查询数据进行加密，并将得到的数据加密信息传输给所述认证处理层。
12.根据权利要求2所述的数据查询方法，其特征在于，所述步骤S34中，所述认证处理层采用OAUTH的认证方式联动各业务系统的用户权限对通过所述流控过滤后的查询信息中的请求方的身份和查询数据的权限进行认证，并将认证结果反馈给所述客户端。
13.根据权利要求2所述的数据查询方法，其特征在于，所述若干层级还包括异常处理层，所述异常处理层收集所述工作流步骤中产生的异常数据信息，并进行统一封装后反馈给所述客户端。
14.根据权利要求2所述的数据查询方法，其特征在于，所述若干层级还包括日志管理层，所述日志管理层收集并记录所述工作流步骤中产生的日志信息。
15.根据权利要求3所述的数据查询方法，其特征在于，所述若干层级还包括参数管理组件，所述步骤S35中，通过所述请求执行层对通过认证的查询信息进行处理以获得查询结果，并将所述查询结果反馈给所述响应处理层的步骤包括：
S351：所述请求执行层根据所述查询信息的查询类型从所述参数管理组件中调用需要执行的SQL语句，将所述查询信息的参数与所述SQL语句进行合并获得SQL数据查询信息；
S352：所述请求执行层将所述SQL数据查询信息输入到所述若干数据库中进行数据查询以获得查询结果，并将所述查询结果反馈给所述响应处理层；
S353：所述响应处理层将所述查询结果进行包装后通过所述统一协调处理模块进行数据格式转换后反馈给所述客户端。
16.根据权利要求15所述的数据查询方法，其特征在于，所述参数管理组件设置有慢查询SQL语句，所述慢查询SQL语句提供限制条数的参数配置，以保证数据查询效率。
17.一种数据查询系统，其特征在于，用于执行如权利要求1-16任一项所述的数据查询方法，所述数据查询系统包括客户端、统一协调处理模块和服务端，所述客户端用于输入请求查询信息；所述服务端用于基于OSWorkflow工作流引擎系统预设包括若干层级的工作流步骤，以及用于将接收的所述查询请求信息按所述工作流步骤处理以获得查询结果，并将所述查询结果反馈给所述客户端；所述统一协调处理模块用于将所述请求查询信息由所述客户端的数据格式转换为所述服务端能接收的数据格式，以及将所述查询结果由所述服务端的数据格式转换为所述客户端能接收的数据格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110539798.7A CN113239069A (zh) | 2021-05-18 | 2021-05-18 | 数据查询方法和数据查询系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110539798.7A CN113239069A (zh) | 2021-05-18 | 2021-05-18 | 数据查询方法和数据查询系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113239069A true CN113239069A (zh) | 2021-08-10 |
Family
ID=77135006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110539798.7A Pending CN113239069A (zh) | 2021-05-18 | 2021-05-18 | 数据查询方法和数据查询系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239069A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093547A (zh) * | 2023-09-15 | 2023-11-21 | 中电金信数字科技集团有限公司 | 一种数据解析方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948193A (zh) * | 2017-12-22 | 2018-04-20 | 大陆汽车投资（上海）有限公司 | 适于多终端类型接入的车辆共享服务器通讯方法 |
| US20180137184A1 (en) * | 2016-11-15 | 2018-05-17 | Spirent Communications, Inc. | Sql interceptor for use with third party data analytics packages |
| CN110109766A (zh) * | 2019-05-23 | 2019-08-09 | 贵阳块数据城市建设有限公司 | 数据请求方法、装置、系统、数据转发装置及存储介质 |
| CN111782923A (zh) * | 2020-06-24 | 2020-10-16 | 平安科技（深圳）有限公司 | 数据查询方法、装置、电子设备及存储介质 |
| CN112131021A (zh) * | 2020-09-21 | 2020-12-25 | 上海博泰悦臻电子设备制造有限公司 | 一种访问请求处理方法及装置 |
-
2021
- 2021-05-18 CN CN202110539798.7A patent/CN113239069A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137184A1 (en) * | 2016-11-15 | 2018-05-17 | Spirent Communications, Inc. | Sql interceptor for use with third party data analytics packages |
| CN107948193A (zh) * | 2017-12-22 | 2018-04-20 | 大陆汽车投资（上海）有限公司 | 适于多终端类型接入的车辆共享服务器通讯方法 |
| CN110109766A (zh) * | 2019-05-23 | 2019-08-09 | 贵阳块数据城市建设有限公司 | 数据请求方法、装置、系统、数据转发装置及存储介质 |
| CN111782923A (zh) * | 2020-06-24 | 2020-10-16 | 平安科技（深圳）有限公司 | 数据查询方法、装置、电子设备及存储介质 |
| CN112131021A (zh) * | 2020-09-21 | 2020-12-25 | 上海博泰悦臻电子设备制造有限公司 | 一种访问请求处理方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093547A (zh) * | 2023-09-15 | 2023-11-21 | 中电金信数字科技集团有限公司 | 一种数据解析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7356840B1 (en) | Method and system for implementing security filters for reporting systems | |
| US7503062B2 (en) | Method and apparatus for enabling database privileges | |
| US9053302B2 (en) | Obligation system for enterprise environments | |
| US8682795B2 (en) | Trusted information exchange based on trust agreements | |
| US8051168B1 (en) | Method and system for security and user account integration by reporting systems with remote repositories | |
| CN102722576B (zh) | 一种云计算环境下数据库加密保护系统和加密保护方法 | |
| CN110543464A (zh) | 一种应用于智慧园区的大数据平台及操作方法 | |
| US20010007133A1 (en) | System and method for maintaining security in a distributed computer network | |
| EP3243148B1 (en) | Distributed storage and distributed processing statement interception and modification | |
| Ardagna et al. | A web service architecture for enforcing access control policies | |
| CN111131301A (zh) | 一种统一鉴权授权方案 | |
| US20090037731A1 (en) | Architecture and Design for Central Authentication and Authorization in an On-Demand Utility Environment Using a Secured Global Hashtable | |
| US20230090190A1 (en) | Data management and governance systems and methods | |
| CN104504014A (zh) | 基于大数据平台的数据处理方法和装置 | |
| US7801967B1 (en) | Method and system for implementing database connection mapping for reporting systems | |
| US20130312068A1 (en) | Systems and methods for administrating access in an on-demand computing environment | |
| CN113239069A (zh) | 数据查询方法和数据查询系统 | |
| US7519812B2 (en) | Architecture and design for central authentication and authorization in an on-demand utility environment | |
| Alam et al. | Modeling permissions in a (U/X) ML world | |
| CN107465641B (zh) | 基于三层架构软件系统及其数据请求方法 | |
| US20190377742A1 (en) | Method for providing a client computer device with access to a database management system | |
| CN107045542A (zh) | 数据查询系统及查询方法 | |
| CN116915760B (zh) | 一种基于http的全网数据通信封装方法及系统 | |
| CN117725569B (zh) | 用于数据计算的安全管理系统 | |
| CN116860859B (zh) | 一种多源异构数据的接口创建方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |