CN113468222B - 一种大数据的共享融合处理方法、平台及系统 - Google Patents
一种大数据的共享融合处理方法、平台及系统 Download PDFInfo
- Publication number
- CN113468222B CN113468222B CN202110732341.8A CN202110732341A CN113468222B CN 113468222 B CN113468222 B CN 113468222B CN 202110732341 A CN202110732341 A CN 202110732341A CN 113468222 B CN113468222 B CN 113468222B
- Authority
- CN
- China
- Prior art keywords
- data
- user
- data source
- access
- fusion processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007499 fusion processing Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种大数据的共享融合处理方法、平台及系统。该平台包括请求解析单元、数据获取单元以及分析输出单元。该系统包括如前所述的大数据的共享融合处理平台、一个或多个应用、一个或多个用户端以及后台管理端。通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该方法、平台及系统在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率。
Description
技术领域
本发明涉及大数据的共享融合处理领域，涉及一种大数据的共享融合处理方法、平台及系统。
背景技术
随着企业的业务办公数字化，数据的量越来越大，以至于无法在一定时间范围内用常规软件工具进行捕捉、管理和处理，而需要新处理模式以增强决策力、洞察发现力和流程优化能力。这样的大数据是一种海量的、高增长率的和多样化的信息资产。如何从大数据中充分挖掘数据中包含的信息资产，并共享融合处理，以最大化数据的利用价值，一直是本领域的重点发展方向。
在现有技术中，通常会使用数据中台或数据平台进行数据的利用，数据中台通过整合数据技术、产品技术能力，提供统一的数据和服务,强力支撑前台业务。服务的核心能力由中台作模块化输出，由前台业务部门在此基础开发，或集成至业务产品里，终于通过数据中台统一的数据和服务，以达到监控或打通企业内部各业务系统，挖掘数据价值，打破信息孤岛。
但是，现有技术仍存在以下缺陷：1、数据中台模式的成立，几乎是需要重建整个相关的业务系统，时间长、难度大且成本高；2、数据平台存在信息孤岛的问题，使得数据不能共享融合处理，从而使得数据价值无法被充分挖掘。
因此，当前需要一种大数据的共享融合处理方法、平台及系统，从而解决现有技术中存在的上述问题。
发明内容
针对现存的上述技术问题，本发明的目的在于提供一种大数据的共享融合处理方法、平台及系统，从而在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率。
本发明提供了一种大数据的共享融合处理方法，所述共享融合处理方法包括：接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用；所述访问请求包括所述用户的用户标识；获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型；利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户。
在一个实施例中，所述根据所述用户标识将所述第一数据组发送给所述用户，具体为：当仅获取一个第一数据组时，根据所述用户标识将所述第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户。
在一个实施例中，所述获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型，具体为：访问所述应用的底层引擎，并指定所述第一数据源；所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型。
在一个实施例中，在所述接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用之后，还包括：验证所述用户的访问权限，并在所述用户不具有访问所述第一数据源以及所述应用的权限时，向所述用户发送拒绝访问信息。
在一个实施例中，所述共享融合处理方法还包括：在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中；其中，所述访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间；当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。
本发明还提供了一种大数据的共享融合处理平台，所述共享融合处理平台包括请求解析单元、数据获取单元以及分析输出单元；其中，所述请求解析单元用于接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用；所述访问请求包括所述用户的用户标识；所述数据获取单元用于获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型；所述分析输出单元用于利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户。
在一个实施例中，所述共享融合处理平台还包括全局调度单元，所述全局调度单元用于：当仅获取一个第一数据组时，根据所述用户标识将所述第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户。
在一个实施例中，所述共享融合处理平台还包括记录查询单元，所述记录查询单元用于：在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中；其中，所述访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间；当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。
本发明还提供了一种大数据的共享融合处理系统，所述共享融合处理系统包括如前所述的大数据的共享融合处理平台、一个或多个应用、一个或多个用户端以及后台管理端，所述用户端以及所述后台管理端通信连接到所述共享融合处理平台，所述共享融合处理平台通信连接到所述应用；其中，所述用户端以及所述后台管理端用于向所述共享融合处理平台发送访问请求和查询请求，所述应用包括底部引擎。
在一个实施例中，所述共享融合处理系统包括公有云，所述共享融合处理平台部署在所述公有云上。
相比于现有技术，本发明实施例具有如下有益效果：
本发明提供了一种大数据的共享融合处理方法、平台及系统，通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该方法、平台及系统在不破坏业务系统的前提下，实现了和数据中台类似的业务数据分析能力，实现了数据的共享融合处理，提升了数据的利用率。
进一步地，本发明提供的共享融合处理方法、平台及系统还通过在获取多个第一数据组时，对所有第一数据组进行再次聚合，使得可以对分析聚合得到的数据结果进行全局概览，从而把控全局的数据流动和分析动态。
进一步地，本发明提供的共享融合处理方法、平台及系统还对具有查询权限的用户开放查询功能，使得具有查询权限的用户能够调取权限相对应的访问信息。
附图说明
下文将结合说明书附图对本发明进行进一步的描述说明，其中：
图1示出了根据本发明的一种大数据的共享融合处理方法的一个实施例的流程图；
图2示出了根据本发明的一种大数据的共享融合处理方法的另一实施例的流程图；
图3示出了根据本发明的一种大数据的共享融合处理平台的一个实施例的结构图；
图4示出了根据本发明的一种大数据的共享融合处理系统的一个实施例的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施例一
本发明首先提供了一种大数据的共享融合处理方法。图1示出了根据本发明的一种大数据的共享融合处理方法的一个实施例的流程图。如图1所示，该方法包括如下步骤：
S1:接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用。
所述访问请求包括所述用户的用户标识以及要分析的业务种类，根据要分析的业务种类以及预先设定的业务数据对应表，即可确定要访问的一个或多个第一数据源的数据源标识以及各个第一数据源所属应用的应用标识。通过上述用户标识、要分析的业务种类、数据源标识以及应用标识，即可确定申请访问的用户身份、该用户要分析的业务种类、要实现该分析所需要的第一数据源以及获取该第一数据源的途径，以便后续分析工作的进行。
S2:获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型。
具体地，访问所述应用的底层引擎，并指定所述第一数据源；所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型。
在一个实施例中，由于本步骤仅出于模型匹配输出的目的，在底层引擎调取第一数据源时，仅提取第一数据源的特征数据和采样数据以进行后续的模型匹配与选择。在一个实施例中，预设的模型来源是一些常见的数据库，比如Spark、Hive、Python、Presto、ElasticSearch、MLSQL，具体地，通过算法，根据所提取的第一数据源的特征数据和采样数据，与预设的模型的数据库进行特征比对，从而选择匹配度最高的数据库类型以及解析方法，从而获取第一分析模型。
S3:利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户。
步骤S3中的分析聚合步骤是为了使本方法能够同样具有分析能力(如数据中台)，而非简单地调用数据(如本领域常规数据平台)。
具体地，当仅获取一个第一数据组时，并根据所述用户标识将第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将第一数据集合发送给所述用户。
在一个实施例中，当仅获取一个第一数据组时，需对第一数据组进行封装，再进行后续的发送；当获取到多个第一数据组时，应对再次聚合后所得到的第一数据集合进行封装，再进行后续发送步骤。
在一个实施例中，具有特定权限的用户可以查看聚合后的全部数据，即当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户。第一数据集合可以反应全局的态势和动向，从而便于部分有需要的用户把控全局的数据流动和分析动态。
本发明提供了一种大数据的共享融合处理方法、平台及系统，通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该方法、平台及系统在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率。
具体实施例二
更进一步地，本实施例提供了大数据的共享融合处理方法的另一实施例。图2示出了根据本发明的一种大数据的共享融合处理方法的另一实施例的流程图。如图2所示，该方法包括如下步骤：
A1:接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用。
所述访问请求包括所述用户的用户标识以及要分析的业务种类，根据要分析的业务种类以及预先设定的业务数据对应表，即可确定要访问的一个或多个第一数据源的数据源标识以及各个第一数据源所属应用的应用标识。通过上述用户标识、要分析的业务种类、数据源标识以及应用标识，即可确定申请访问的用户身份、该用户要分析的业务种类、要实现该分析所需要的第一数据源以及获取该第一数据源的途径，以便后续分析工作的进行。
A2:验证所述用户的访问权限，并在所述用户不具有访问所述第一数据源以及所述应用的权限时，向所述用户发送拒绝访问信息。
由于部分核心业务数据需要进行一定程度的保密，仅能对特定的用户或用户群开放，因此，在确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用后，还应验证请求访问的用户的访问权限，以确保数据安全符合预期。当判断认为请求访问的用户不具有相应访问权限时，应当拒绝该用户的访问，并向该用户发送拒绝访问信息。在一个实施例中，拒绝访问信息包括所拒绝的访问请求、拒绝访问的原因、该用户当前的访问权限以及该访问请求所需权限。
A3:获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型。
具体地，访问所述应用的底层引擎，并指定所述第一数据源；所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型。
在一个实施例中，由于本步骤仅出于模型匹配输出的目的，在底层引擎调取第一数据源时，仅提取第一数据源的特征数据和采样数据以进行后续的模型匹配与选择。在一个实施例中，预设的模型来源是一些常见的数据库，比如Spark、Hive、Python、Presto、ElasticSearch、MLSQL，具体地，通过算法，根据所提取的第一数据源的特征数据和采样数据，与预设的模型的数据库进行特征比对，从而选择匹配度最高的数据库类型以及解析方法，从而获取第一分析模型。
A4:利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户。
具体地，当仅获取一个第一数据组时，并根据所述用户标识将第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将第一数据集合发送给所述用户。
在一个实施例中，当仅获取一个第一数据组时，需对第一数据组进行封装，再进行后续的发送；当获取到多个第一数据组时，应对再次聚合后所得到的第一数据集合进行封装，再进行后续发送步骤。
A5:在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中。
在一个实施例中，访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间，访问信息集合包括多个访问信息。
A6：当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。
在一个实施例中，仅有部分用户能够具有查询权限，以增强对外来访问的全局把控，具体地，当请求查询的用户具有查询权限时，调取与查询请求和查询权限相对应的访问信息，并将该访问信息发送给请求查询的用户。
本发明提供了一种大数据的共享融合处理方法、平台及系统，通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该方法、平台及系统在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率；进一步地，本发明提供的共享融合处理方法、平台及系统还通过在获取多个第一数据组时，对所有第一数据组进行再次聚合，使得可以对分析聚合得到的数据结果进行全局概览，从而把控全局的数据流动和分析动态；进一步地，本发明提供的共享融合处理方法、平台及系统还对具有查询权限的用户开放查询功能，使得具有查询权限的用户能够调取权限相对应的访问信息。
具体实施例三
除上述方法外，本发明还提供了一种大数据的共享融合处理平台。图3示出了根据本发明的一种大数据的共享融合处理平台的一个实施例的结构图。如图3所示，所述共享融合处理平台1包括请求解析单元11、数据获取单元12以及分析输出单元13。
其中，请求解析单元11用于接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用。所述访问请求包括所述用户的用户标识以及要分析的业务种类，根据要分析的业务种类以及预先设定的业务数据对应表，即可确定要访问的一个或多个第一数据源的数据源标识以及各个第一数据源所属应用的应用标识。通过上述用户标识、要分析的业务种类、数据源标识以及应用标识，即可确定申请访问的用户身份、该用户要分析的业务种类、要实现该分析所需要的第一数据源以及获取该第一数据源的途径，以便后续分析工作的进行。在一个实施例中，请求解析单元11还用于验证所述用户的访问权限，并在所述用户不具有访问所述第一数据源以及所述应用的权限时，向所述用户发送拒绝访问信息。
数据获取单元12用于获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型。
具体地，访问所述应用的底层引擎，并指定所述第一数据源；所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型。
在一个实施例中，由于本步骤仅出于模型匹配输出的目的，在底层引擎调取第一数据源时，仅提取第一数据源的特征数据和采样数据以进行后续的模型匹配与选择。在一个实施例中，预设的模型来源是一些常见的数据库，比如Spark、Hive、Python、Presto、ElasticSearch、MLSQL，具体地，通过算法，根据所提取的第一数据源的特征数据和采样数据，与预设的模型的数据库进行特征比对，从而选择匹配度最高的数据库类型以及解析方法，从而获取第一分析模型。
分析输出单元13用于利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户。
具体地，当仅获取一个第一数据组时，并根据所述用户标识将第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将第一数据集合发送给所述用户。
在一个实施例中，当仅获取一个第一数据组时，需对第一数据组进行封装，再进行后续的发送；当获取到多个第一数据组时，应对再次聚合后所得到的第一数据集合进行封装，再进行后续发送步骤。
在一个实施例中，共享融合处理平台1还包括全局调度单元14。全局调度单元14用于在仅获取一个第一数据组时，根据所述用户标识将所述第一数据组发送给所述用户；当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户。
在一个实施例中，共享融合处理平台1还包括记录查询单元15。记录查询单元15用于在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中；当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。其中，所述访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间。在一个实施例中，仅有部分用户能够具有查询权限，以增强对外来访问的全局把控，具体地，当请求查询的用户具有查询权限时，调取与查询请求和查询权限相对应的访问信息，并将该访问信息发送给请求查询的用户。
本发明提供了一种大数据的共享融合处理平台，通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该平台在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率；进一步地，本发明提供的共享融合处理平台还通过在获取多个第一数据组时，对所有第一数据组进行再次聚合，使得可以对分析聚合得到的数据结果进行全局概览，从而把控全局的数据流动和分析动态；进一步地，本发明提供的共享融合处理平台还对具有查询权限的用户开放查询功能，使得具有查询权限的用户能够调取权限相对应的访问信息。
具体实施例四
除上述方法和装置外，本发明还提供了一种大数据的共享融合处理系统。图4示出了根据本发明的一种大数据的共享融合处理系统的一个实施例的结构图。如图4所示，所述共享融合处理系统包括如前所述的大数据的共享融合处理平台1、一个或多个应用2、一个或多个用户端3以及后台管理端4。用户端3以及后台管理端4通信连接到共享融合处理平台1，共享融合处理平台1通信连接到应用2。其中，多个应用2之间具有相同或不同的数据源类型。在一个实施例中，共享融合处理平台1集成了预设的多个数据分析工具并封装有预设的智能合约，从而能够识别来自不同应用2的不同数据源类型。
在一个实施例中，用户端3以及后台管理端4用于向共享融合处理平台1发送访问请求和查询请求，应用2包括底部引擎21。
在一个实施例中，共享融合处理系统包括公有云0，共享融合处理平台1部署在公有云0上。
在搭建好大数据的共享融合处理系统后，当需要进行大数据的共享融合处理时，一个或多个用户端3或后台管理端4向部署在公有云0上的共享融合处理平台1发送访问请求，共享融合处理平台1在接收到访问请求后执行如前所述的大数据的共享融合处理方法，从而通过访问一个或多个应用2各自的底部引擎21获取所需第一数据源和适用于该第一数据源的第一分析模型，并利用该第一分析模型对该第一数据源进行分析，从而获取第一数据组或第一数据集合(获取第一数据集合需要一定的访问权限)，并根据用户标识，将第一数据组或第一数据集合相应发送给请求访问的用户端3或后台管理端4。
在一个实施例中，共享融合处理平台1还在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中，后台管理端4或部分具有查询权限的用户端3可以向部署在公有云0上的共享融合处理平台1发送查询请求，并在验证通过时，调取获得所述查询请求对应的第一访问信息。
本发明提供了一种大数据的共享融合处理系统，通过访问请求所指定的第一数据源所属应用对第一数据源进行调取、验证和模型匹配输出，并利用输出模型对第一数据源进行分析以获取第一数据组，该系统在不破坏业务系统的前提下，实现数据的共享融合处理，提升数据的利用率；进一步地，本发明提供的共享融合处理系统还通过在获取多个第一数据组时，对所有第一数据组进行再次聚合，使得可以对分析聚合得到的数据结果进行全局概览，从而把控全局的数据流动和分析动态；进一步地，本发明提供的共享融合处理系统还对具有查询权限的用户开放查询功能，使得具有查询权限的用户能够调取权限相对应的访问信息。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种大数据的共享融合处理方法，其特征在于，所述共享融合处理方法包括：
接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用；所述访问请求包括所述用户的用户标识；
获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型；
利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户；
所述根据所述用户标识将所述第一数据组发送给所述用户，具体为：
当仅获取一个第一数据组时，根据所述用户标识将所述第一数据组发送给所述用户；
当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户；
所述获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型，具体为：
访问所述应用的底层引擎，并指定所述第一数据源；
所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；
所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型；
所述根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型，具体为：
根据所述第一数据源的特征数据和采样数据，与预设的多个模型分别进行特征比对，选择匹配度最高的模型。
2.根据权利要求1所述的大数据的共享融合处理方法，其特征在于，在所述接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用之后，还包括：
验证所述用户的访问权限，并在所述用户不具有访问所述第一数据源以及所述应用的权限时，向所述用户发送拒绝访问信息。
3.根据权利要求2所述的大数据的共享融合处理方法，其特征在于，所述共享融合处理方法还包括：
在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中；其中，所述访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间；
当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。
4.一种大数据的共享融合处理平台，其特征在于，所述共享融合处理平台包括请求解析单元、数据获取单元以及分析输出单元；其中，
所述请求解析单元用于接收用户所输入的访问请求，并根据所述访问请求确定要访问的一个或多个第一数据源以及所述第一数据源所属的应用；所述访问请求包括所述用户的用户标识；
所述数据获取单元用于获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型；
所述分析输出单元用于利用所述第一分析模型对所述第一数据源进行分析聚合以获得第一数据组，并根据所述用户标识将所述第一数据组发送给所述用户；
所述共享融合处理平台还包括全局调度单元，所述全局调度单元用于：
当仅获取一个第一数据组时，根据所述用户标识将所述第一数据组发送给所述用户；
当获取到多个第一数据组时，将所有第一数据组再次聚合，以获取并存储第一数据集合，并根据所述用户标识，将所述第一数据集合发送给所述用户；
所述数据获取单元获取所述应用发送的所述第一数据源以及所述第一数据源所适用的第一分析模型，包括：
所述数据获取单元访问所述应用的底层引擎，并指定所述第一数据源；所述底层引擎调取所述第一数据源，对所述第一数据源进行校验，并在校验通过后，根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型；所述应用输出所述第一数据源，并将匹配度最高的模型输出为第一分析模型；
所述数据获取单元根据所述第一数据源，从预设的多个模型中选择匹配度最高的模型，具体为：
所述数据获取单元根据所述第一数据源的特征数据和采样数据，与预设的多个模型分别进行特征比对，选择匹配度最高的模型。
5.根据权利要求4所述的大数据的共享融合处理平台，其特征在于，所述共享融合处理平台还包括记录查询单元，所述记录查询单元用于：
在将所述第一数据组或所述第一数据集合发送给请求访问的用户后，记录此次访问的访问信息，并将所述访问信息保存在访问信息集合中；其中，所述访问信息包括请求访问的用户的用户标识、请求访问的数据源以及请求访问的时间；
当接收到第一用户发送的查询请求时，验证所述第一用户的查询权限，并在验证通过时，将所述查询请求对应的第一访问信息发送给所述第一用户。
6.一种大数据的共享融合处理系统，其特征在于，所述共享融合处理系统包括如权利要求4或5任一项所述的大数据的共享融合处理平台、一个或多个应用、一个或多个用户端以及后台管理端，所述用户端以及所述后台管理端通信连接到所述共享融合处理平台，所述共享融合处理平台通信连接到所述应用；其中，所述用户端以及所述后台管理端用于向所述共享融合处理平台发送访问请求和查询请求，所述应用包括底部引擎。
7.根据权利要求6所述的大数据的共享融合处理系统，其特征在于，所述共享融合处理系统包括公有云，所述共享融合处理平台部署在所述公有云上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732341.8A CN113468222B (zh) | 2021-06-29 | 2021-06-29 | 一种大数据的共享融合处理方法、平台及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732341.8A CN113468222B (zh) | 2021-06-29 | 2021-06-29 | 一种大数据的共享融合处理方法、平台及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468222A CN113468222A (zh) | 2021-10-01 |
| CN113468222B true CN113468222B (zh) | 2025-01-24 |
Family
ID=77874022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110732341.8A Active CN113468222B (zh) | 2021-06-29 | 2021-06-29 | 一种大数据的共享融合处理方法、平台及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468222B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105190595A (zh) * | 2012-07-30 | 2015-12-23 | 阿德尔费克公司 | 唯一地识别网络连接实体 |
| CN106777227A (zh) * | 2016-12-26 | 2017-05-31 | 河南信安通信技术股份有限公司 | 基于云平台的多维数据融合分析系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8667024B2 (en) * | 2011-03-18 | 2014-03-04 | International Business Machines Corporation | Shared data management in software-as-a-service platform |
| CN109189813B (zh) * | 2018-08-22 | 2021-08-13 | 中国建设银行股份有限公司 | 一种数据共享方法及装置 |
-
2021
- 2021-06-29 CN CN202110732341.8A patent/CN113468222B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105190595A (zh) * | 2012-07-30 | 2015-12-23 | 阿德尔费克公司 | 唯一地识别网络连接实体 |
| CN106777227A (zh) * | 2016-12-26 | 2017-05-31 | 河南信安通信技术股份有限公司 | 基于云平台的多维数据融合分析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468222A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111400676B (zh) | 基于共享权限的业务数据处理方法、装置、设备和介质 | |
| US10564936B2 (en) | Data processing systems for identity validation of data subject access requests and related methods | |
| US11050690B2 (en) | Method for providing recording and verification service for data received and transmitted by messenger service, and server using method | |
| WO2020140679A1 (zh) | 接口对接方法、装置、计算机设备和存储介质 | |
| CN109472678B (zh) | 一种基于区块链的会计账本管理方法、电子装置及可读存储介质 | |
| CN110765484B (zh) | 一种征信数据处理方法及电子设备 | |
| US20100250603A1 (en) | System and Method of Performing Risk Analysis using a Portal | |
| CN112671887B (zh) | 一种资产识别方法、装置、电子设备及计算机存储介质 | |
| CN112527873B (zh) | 一种基于链数立方体的大数据管理应用系统 | |
| CN110232068B (zh) | 数据共享方法及装置 | |
| CN110009518A (zh) | 基于区块链的信息读写方法以及装置 | |
| US20180349983A9 (en) | A system for periodically updating backings for resource requests | |
| US9058470B1 (en) | Actual usage analysis for advanced privilege management | |
| CN112835863A (zh) | 操作日志的处理方法和处理装置 | |
| CN118350030B (zh) | 一种基于元数据资产平台的应用组装中台系统 | |
| CN112511515B (zh) | 一种用于数据上链的链数立方体 | |
| US10970741B2 (en) | Method and system for integrating audience data with a social media site | |
| CN113468222B (zh) | 一种大数据的共享融合处理方法、平台及系统 | |
| CN117171711B (zh) | 一种基于云平台的企业内外部数据融合共享方法及系统 | |
| SG183123A1 (en) | Content service bus framework | |
| Chauhan et al. | Iot network identity management using smart contract and blockchain technology | |
| CN113129008A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN118474188A (zh) | 用于多系统的租户识别方法 | |
| CN115801472B (zh) | 一种基于鉴权网关的权限管理方法及系统 | |
| CN115603958A (zh) | 登陆数据处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40061468 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |