CN115659314B - 一种基于混合数据的数据服务方法 - Google Patents
一种基于混合数据的数据服务方法 Download PDFInfo
- Publication number
- CN115659314B CN115659314B CN202211592995.6A CN202211592995A CN115659314B CN 115659314 B CN115659314 B CN 115659314B CN 202211592995 A CN202211592995 A CN 202211592995A CN 115659314 B CN115659314 B CN 115659314B
- Authority
- CN
- China
- Prior art keywords
- data
- different
- service method
- catalog
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于混合数据的数据服务方法，包括以下步骤：S1：创建元数据Catalog；S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到系统内存中；S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；S5：将融合后的正确结果返回给调用者。本发明通过整合多种不同系统、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。本发明降低了工厂的IT开发成本，提高需求响应效率，从而提升了整体利润。
Description
技术领域
本发明涉及数据服务技术领域，特别涉及一种基于混合数据的数据服务方法。
背景技术
基于混合数据的数据服务是一种将多源数据进行加工后通过标准接口对外统一提供服务的能力；其根本作用是将企业的数据资产便捷地转化成业务能力（应对企业应用之间、系统之间数据即时交换、共享的需求）。
与其他“即服务”模式（IaaS、PaaS、SaaS）类似，数据即服务基本是通过提供一个平台来将数据变成服务，以供用户进行稳定高效的数据消费的方式实现的。
拥有足够的数据不再是当今公司的主要问题，对于数据的管理和数据的便捷消费成为了企业面临的难题。
大多数公司都想将数据转化为公司重要的战略资产，而数据分散在不同业务系统和数据库，数据的获取主要依靠开发团队针对各个业务需求和所需取数的平台单独开发数据接口，就会出现以下问题：
一、开发的效率和数据传输稳定性都取决于开发团队的能力；
二、每次出现新的需求或前后台出现变化，都需要技术团队重新开发，导致IT员工需要花费大量时间和经理去做繁琐而重复的工作，员工做的疲累、公司也付出了许多无效成本；
三、各自开发接口也会导致管理混乱，没有全局的权限管控，数据安全隐患众多；
四、计算性能还不一定稳定，遇到高并发的请求系统很可能崩溃。
发明内容
为解决上述问题，本发明旨在提出一种基于混合数据的数据服务方法，通过整合多种不同系统、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于混合数据的数据服务方法，包括以下步骤：
S1：创建元数据Catalog；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到系统内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
进一步的，所述元数据Catalog为Hive数据源或Oracle数据源。
进一步的，所述向导模式支持引导式操作。
进一步的，所述SQL模式支持ANSI SQL2003语法。
进一步的，所述S3具体为：基于不同的Catalog下沉到不同数据源scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中。
进一步的，所述S5中的融合后的正确结果是以json的形式返回。
进一步的，所述调用者通过权限控制模块进行数据调用。
进一步的，所述权限控制模块的工作流程为：创建catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
有益效果：本发明通过整合多种不同系统、不同类型的数据源，实现跨域、跨集群的数据融合，减少IT部门的重复开发，有效的进行权限控制，保护数据资产的安全。本发明降低了工厂的IT开发成本，提高需求响应效率，从而提升了整体利润。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于混合数据的数据服务方法的主体流程图；
图2为本发明实施例所述的基于混合数据的数据服务方法的权限控制模块工作流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
专业术语解释说明：
数据即服务：是指与数据相关的任何服务都能够发生在一个集中化的位置，如聚合、数据质量管理、数据清洗等，然后再将数据提供给不同的系统和用户，而无需再考虑这些数据来自于哪些数据源。
IaaS：基础设施服务，Infrastructure-as-a-service。
PaaS：平台服务，Platform-as-a-service。
SaaS：软件服务，Software-as-a-service。
实施例1
参见图1-2：一种基于混合数据的数据服务方法，包括以下步骤：
S1：创建元数据Catalog；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据scan到系统内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
在一具体的实例中，所述元数据Catalog为Hive数据源或Oracle数据源。
需要说明的是，本实施例的元数据Catalog主要以插件Plugin的方式严格区分不同的数据源，不同的数据源的连接方式不同且有不同的参数配置，例如，Hive数据源需要填入thrift连接信息，Oracle数据源输入填入jdbc连接地址；针对不同的数据源都严格遵守相应的规范，并相互隔离，以此达到便于对数据源进行区分。
在一具体的实例中，所述向导模式支持引导式操作。
本实施例的支持引导式操作的向导模式可以逐步进行多数据源下的表以及字段的选择和确认。
在一具体的实例中，所述SQL模式支持ANSI SQL2003语法。
本实施例的支持ANSI SQL2003语法的SQL模式可以通过填入的Catalog名称下的库名、表名、字段名来确认具体的信息。
在一具体的实例中，所述S3具体为：基于不同的Catalog下沉到不同数据源scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中。
本实施例通过上述操作，提高了需求响应效率。
在一具体的实例中，所述S5中的融合后的正确结果是以json的形式返回。
本实施例通过json的形式返回，从而便于调用者的数据解析。
在一具体的实例中，所述调用者通过权限控制模块进行数据调用。
在一具体的实例中，所述权限控制模块的工作流程为：创建catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
本实施例通过权限控制模块能够有效的进行权限控制，从而保护数据资产的安全性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于混合数据的数据服务方法，其特征在于，包括以下步骤：
S1：创建元数据Catalog，元数据Catalog主要以插件Plugin的方式严格区分不同的数据源，不同的数据源的连接方式不同且有不同的参数配置；
S2：设置多数据源选择匹配的向导模式以及基于SQL进行多数据源查询的SQL模式；
S3：基于不同的Catalog名称，下沉到不同的数据源Scan数据；将正确的数据Scan到系统内存中；所述S3具体为：基于不同的Catalog下沉到不同数据源Scan数据，将不同的Catalog连接信息进行匹配连接，对查询条件事先进行谓词下推用于减少数据量的返回数量，并将正确的查询结果拉取到内存中；
S4：Scan数据在内存中进行融合处理；对不同的数据源数据根据填入的函数、计算规则进行融合处理为期望的正确结果；
S5：将融合后的正确结果返回给调用者。
2.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述元数据Catalog为Hive数据源或Oracle数据源。
3.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述向导模式支持引导式操作。
4.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述SQL模式支持ANSI SQL2003语法。
5.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述S5中的融合后的正确结果是以json的形式返回。
6.根据权利要求1所述的基于混合数据的数据服务方法，其特征在于，所述调用者通过权限控制模块进行数据调用。
7.根据权利要求6所述的基于混合数据的数据服务方法，其特征在于，所述权限控制模块的工作流程为：创建Catalog→选择schema→选择table→选择column→选择用户、角色→选择赋予何种权限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592995.6A CN115659314B (zh) | 2022-12-13 | 2022-12-13 | 一种基于混合数据的数据服务方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592995.6A CN115659314B (zh) | 2022-12-13 | 2022-12-13 | 一种基于混合数据的数据服务方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115659314A CN115659314A (zh) | 2023-01-31 |
| CN115659314B true CN115659314B (zh) | 2023-04-07 |
Family
ID=85017360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211592995.6A Active CN115659314B (zh) | 2022-12-13 | 2022-12-13 | 一种基于混合数据的数据服务方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115659314B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116795663B (zh) * | 2023-08-24 | 2023-12-08 | 云筑信息科技(成都)有限公司 | 一种跟踪分析trino引擎执行性能的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1290455C (en) * | 1988-04-08 | 1991-10-08 | Philip Y. Chang | Support of mixed single and double byte data in a relational databaseproduct |
| JP2005182835A (ja) * | 2003-12-23 | 2005-07-07 | Canon Inc | 異種のデータソースのためのデータサーバを生成する方法 |
| CN108292323A (zh) * | 2016-01-08 | 2018-07-17 | 微软技术许可有限责任公司 | 使用数据源的元数据的数据库操作 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159177B (zh) * | 2019-12-10 | 2023-11-07 | 大唐软件技术股份有限公司 | 一种基于异构数据的数据融合方法、装置、设备及介质 |
| CN111339071B (zh) * | 2020-02-21 | 2022-11-18 | 苏宁云计算有限公司 | 一种多源异构数据的处理方法及装置 |
| CN113609141B (zh) * | 2021-10-11 | 2021-12-24 | 武大吉奥信息技术有限公司 | 一种基于api拼接的无侵入式跨库数据融合方法 |
| CN115309767A (zh) * | 2022-07-27 | 2022-11-08 | 京东城市(北京)数字科技有限公司 | 一种数据融合方法和装置 |
-
2022
- 2022-12-13 CN CN202211592995.6A patent/CN115659314B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1290455C (en) * | 1988-04-08 | 1991-10-08 | Philip Y. Chang | Support of mixed single and double byte data in a relational databaseproduct |
| JP2005182835A (ja) * | 2003-12-23 | 2005-07-07 | Canon Inc | 異種のデータソースのためのデータサーバを生成する方法 |
| CN108292323A (zh) * | 2016-01-08 | 2018-07-17 | 微软技术许可有限责任公司 | 使用数据源的元数据的数据库操作 |
Non-Patent Citations (2)
| Title |
|---|
| 席先杰.基于元数据的数字化校园集成检索研究.计算机与数字工程.2009,全文. * |
| 郭超等.基于元数据的异构生物数据源集成技术研究.2008年中国高校通信类院系学术研讨会论文集（下册）.2009,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115659314A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182428B2 (en) | Handling semi-structured and unstructured data in a sharded database environment | |
| US8234308B2 (en) | Deliver application services through business object views | |
| CN1949763B (zh) | 共享信息服务器系统 | |
| US6240422B1 (en) | Object to relational database mapping infrastructure in a customer care and billing system | |
| US8874601B2 (en) | SADL query view—a model-driven approach to speed-up read-only use cases | |
| CN115659314B (zh) | 一种基于混合数据的数据服务方法 | |
| KR20120062514A (ko) | ＳａａＳ 환경에서의 권한 관리 장치 및 방법 | |
| CN102254021A (zh) | 基于虚拟机管理系统的数据库构建方法 | |
| CN113711218A (zh) | 协同智能的约束查询以及约束计算 | |
| CN110046287A (zh) | 一种与数据库类型无关的数据查询方法、装置及存储介质 | |
| US11068402B2 (en) | Externalized configurations and caching solution | |
| US9158932B2 (en) | Modeled authorization check implemented with UI framework | |
| CN111381820A (zh) | 一种基于gui自动生成api的方法及装置 | |
| US20060224692A1 (en) | Adhoc queries for services | |
| US20060224556A1 (en) | SQL interface for services | |
| CN117009397A (zh) | 数据查询方法、数据查询装置、电子设备和存储介质 | |
| US10275264B1 (en) | Configuration management of remote sources using activator fields | |
| US8825630B2 (en) | Method and system for generic enterprise search adapter queries | |
| US11630856B2 (en) | Handling of Point of Interest (POI) data content | |
| US20060224557A1 (en) | Smart services | |
| CN114428802A (zh) | 基于用户权限的数据过滤方法及系统 | |
| CN111459907B (zh) | 通过模型配置主数据的方法、系统及存储介质 | |
| CN111143449B (zh) | 一种基于统一数据模型的数据服务方法及装置 | |
| US12039069B2 (en) | Metadata-driven restricted measures | |
| CN117708879B (zh) | 一种信息权限控制方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |