CN117171711A - 一种基于云平台的企业内外部数据融合共享方法及系统 - Google Patents
一种基于云平台的企业内外部数据融合共享方法及系统 Download PDFInfo
- Publication number
- CN117171711A CN117171711A CN202311450199.3A CN202311450199A CN117171711A CN 117171711 A CN117171711 A CN 117171711A CN 202311450199 A CN202311450199 A CN 202311450199A CN 117171711 A CN117171711 A CN 117171711A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- processing
- request
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 308
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims description 35
- 238000007499 fusion processing Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种基于云平台的企业内外部数据融合共享方法及系统，涉及数据处理技术领域，所述方法包括：连接云平台获取计算特征，构建计算设备列表，然后对内外部数据融合特征进行分析确定共享数据特征，构建任务处理节点网络，获取融合请求任务，再进行数据分解，确定请求数据特征参数，然后经过匹配处理获取执行节点信息后，提取内外部数据进行融合发送至云平台共享。本申请主要解决了传统技术不能满足实时性和灵活性的数据处理要求，处理方式单一，无法根据多种不同需求进行数据处理，还可能遇到数据孤岛问题。基于云平台的数据融合共享方法可以满足对数据处理的实时性、可扩展性、灵活性的需求，帮助企业更好地利用数据资源。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于云平台的企业内外部数据融合共享方法及系统。
背景技术
随着企业业务的不断扩张和发展，企业内部和外部的数据量也在急剧增加。这些数据包括客户数据、供应商数据、财务数据、人力资源数据等等，对于企业的运营和决策有着重要意义。然而，传统的数据处理方式往往无法满足企业对于数据实时性、可扩展性、安全性和灵活性的需求。因此，基于云平台的企业内外部数据融合共享方法被提出，旨在解决以上问题。
但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
不能满足实时性和灵活性的数据处理要求，处理方式单一，无法根据多种不同需求进行数据处理，还可能遇到数据孤岛问题。
发明内容
本申请主要解决了传统技术不能满足实时性和灵活性的数据处理要求，处理方式单一，无法根据多种不同需求进行数据处理，还可能遇到数据孤岛问题。
鉴于上述问题，本申请提供了一种基于云平台的企业内外部数据融合共享方法及系统，第一方面，本申请提供了一种基于云平台的企业内外部数据融合共享方法，所述方法包括：连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；对企业内外部数据融合特征进行分析，确定企业共享数据特征；基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
第二方面，本申请提供了一种基于云平台的企业内外部数据融合共享系统，所述系统包括：计算设备列表构建模块，所述计算设备列表构建模块用于连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；=共享数据特征确定模块，所述共享数据特征确定模块用于对企业内外部数据融合特征进行分析，确定企业共享数据特征；节点处理模块，所述节点处理模块是基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；请求数据参数确定模块，所述请求数据参数确定模块用于获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；节点执行信息获取模块，所述节点执行信息获取模块用于利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；数据发送模块，所述数据发送模块用于将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请提供了一种基于云平台的企业内外部数据融合共享方法及系统，涉及数据处理技术领域，所述方法包括：连接云平台获取计算特征，构建计算设备列表，然后对内外部数据融合特征进行分析确定共享数据特征，构建任务处理节点网络，获取融合请求任务，再进行数据分解，确定请求数据特征参数，然后经过匹配处理获取执行节点信息后，提取内外部数据进行融合发送至云平台共享。
本申请主要解决了传统技术不能满足实时性和灵活性的数据处理要求，处理方式单一，无法根据多种不同需求进行数据处理，还可能遇到数据孤岛问题。基于云平台的数据融合共享方法可以满足对数据处理的实时性、可扩展性、灵活性的需求，帮助企业更好地利用数据资源。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供了一种基于云平台的企业内外部数据融合共享方法流程示意图；
图2为本申请实施例提供了一种基于云平台的企业内外部数据融合共享方法中，构建数据处理融合网络链的方法流程示意图；
图3为本申请实施例提供了一种基于云平台的企业内外部数据融合共享方法中，将节点损失值作为约束因子加入评估寻优模型中的方法流程示意图；
图4为本申请实施例提供了一种基于云平台的企业内外部数据融合共享系统的结构示意图。
附图标记说明：计算设备列表构建模块10，共享数据特征确定模块20，节点处理模块30，请求数据参数确定模块40，节点执行信息获取模块50，数据发送模块60。
具体实施方式
本申请主要解决了传统技术不能满足实时性和灵活性的数据处理要求，处理方式单一，无法根据多种不同需求进行数据处理，还可能遇到数据孤岛问题。基于云平台的数据融合共享方法可以满足对数据处理的实时性、可扩展性、灵活性的需求，帮助企业更好地利用数据资源。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述方案进行详细介绍：
实施例一
如图1所示一种基于云平台的企业内外部数据融合共享方法，所述方法包括：
连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；
具体而言，首先，需要确定云平台的接口和相关文档，以便从云平台获取数据。可以阅读云平台提供的API文档，找到与设备管理和计算特征相关的API接口。然后，使用编程语言（如Python、Java等）或脚本语言（如Bash、Powershell等）编写程序或脚本，通过调用API接口来获取云平台各处理边缘设备的计算特征。获取计算特征时，需要提供一些认证信息，如访问令牌、用户名和密码等，以便访问云平台的受保护资源。获取到的计算特征可能包括设备的CPU型号、核数、内存大小、存储容量等，以及与计算相关的指标，如计算能力、浮点运算速度等。最后，将获取到的计算特征构建成一个计算设备列表。这个列表可以是电子表格或数据库，其中包含所有处理边缘设备的计算特征信息。
对企业内外部数据融合特征进行分析，确定企业共享数据特征；
具体而言，在进行企业内外部数据融合时，要确定企业的数据特征，数据多样性：企业内部和外部的数据类型和来源多样，包括但不限于财务数据、客户数据、供应链数据等等。这些数据在格式、表述方式、时间维度等方面可能存在差异，需要进行合理的整合和处理。数据量巨大：企业日常运营中会产生大量的数据，这些数据既包括结构化数据，也包括非结构化数据。数据价值密度低：虽然企业收集到的数据量巨大，但其中真正有价值的信息可能只占很小一部分。数据安全性：在进行数据融合和共享时，必须考虑到数据的安全性。这包括数据的加密、访问控制、权限管理等，以确保数据的正确使用和避免信息泄露。数据时效性：数据的价值与其时效性密切相关。过时的数据可能无法反映出现实的情况，因此在进行数据融合和共享时，需要考虑如何保证数据的及时性。企业共享数据特征：在进行企业内外部数据融合的过程中，以下特征对于共享数据来说是重要的：标准化：为了使不同来源的数据能够相互兼容，需要有统一的标准来对数据进行描述和定义。这包括数据格式的标准化、数据接口的标准化等。安全性：在进行数据共享时，必须确保数据的安全性，这包括数据的加密、访问控制、权限管理等。高效性：数据共享的效率直接影响到企业运营的效率。因此，在进行数据共享时，需要采用高效的数据处理技术和架构，以实现数据的快速处理和传输。可追溯性：对于共享出去的数据，需要能够进行追踪和管理。这包括数据的来源、使用情况、处理方式等。确定这些企业的数据特征。
基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；
具体而言，对计算设备列表中的每个计算设备的特征进行分析，了解每个计算设备的性能、功能、可用资源等信息。根据企业共享数据特征的需求，确定需要使用的数据处理任务和算法。这些任务和算法可以是数据清洗、数据分类、数据聚合、数据挖掘等。对计算设备列表中的每个计算设备进行匹配，找到能够最好地满足每个数据处理任务和算法需求的计算设备。这需要计算设备的地理位置、网络连接、数据处理能力、可用资源等因素。根据匹配结果，将计算设备聚类成不同的任务处理节点网络。每个任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备。对于每个任务处理节点网络，根据其中的处理节点的性能和功能，确定每个处理节点的角色和职责。这包括数据处理、数据存储、数据传输等。根据确定的每个处理节点的角色和职责，构建任务处理节点网络的拓扑结构。这包括网络的物理连接、数据传输协议、数据处理流程等。最后，对构建好的任务处理节点网络进行测试和验证，确保其能够高效地完成数据处理任务，并满足企业的需求。基于企业共享数据特征和计算设备列表，构建任务处理节点网络，实现企业内外部数据的融合共享。
获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；
具体而言，获取融合请求任务：通常，融合请求任务来自各种应用、服务或用户请求，需要系统对其进行处理。这个步骤的关键在于正确理解和定义任务的内容和要求，以确保后续的数据分解和处理步骤正确有效。数据分解：对于融合请求任务，需要将其分解成若干个数据子任务。这些子任务可以是数据查询、数据处理、数据转换等，并对应于不同的数据特征参数。例如，如果融合请求任务是“查询所有客户的地址信息”，那么数据分解后的子任务可能包括“查询客户A的地址”、“查询客户B的地址”等。确定请求数据特征参数：对于每一个分解后的数据子任务，需要确定其请求数据特征参数。这些参数可能包括数据的类型、范围、时间戳、关键字等，用于描述和定位数据的特征。例如，在上述例子中，“查询客户A的地址”这个子任务的请求数据特征参数可能包括“客户A”这个关键字，以及查询的时间范围等。
利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；
具体而言，将请求数据特征参数与任务处理节点网络中的每个处理节点的数据特征进行对比和分析。这可以通过查询处理节点的配置信息或通过实时的性能测试来完成。根据对比和分析的结果，找出最适合执行请求的处理节点。最适合的判断标准可以包括处理节点的性能、可用资源、数据特征匹配度等。确定执行节点信息，这包括执行边缘设备、处理数据特征参数等。执行边缘设备是指最适合执行请求的处理节点的硬件设备，处理数据特征参数是指需要处理的数据的特征参数。基于执行节点信息搭建数据处理融合网络链。这包括根据执行边缘设备的性能和处理数据特征参数的要求，设计数据处理和融合的流程、协议和算法，搭建一个数据处理融合网络链。通过该方法，可以找出最适合执行数据处理融合任务的节点，并基于执行节点信息搭建数据处理融合网络链，实现高效的数据处理和融合。
将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
具体而言，将融合请求任务提取的内部请求数据、外部请求数据输入数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。从融合请求任务中提取出内部请求数据和外部请求数据。内部请求数据是指企业内部的数据，而外部请求数据是指从企业外部获取的数据。将内部请求数据和外部请求数据输入之前搭建好的数据处理融合网络链中。这个网络链可以根据数据的特性和处理需求，对数据进行清洗、分类、聚合、挖掘等操作，以获得融合数据。在数据处理融合网络链中，对输入的数据进行一系列的数据处理操作，以得到所需的融合数据。这些操作可能包括数据清洗、数据分类、数据聚合、数据挖掘等。将得到的融合数据发送至云平台的共享模块进行共享。这个共享模块可以对数据进行加密、压缩、解压、传输等操作，以确保数据的安全性和可用性。通过该方法，可以将融合请求任务中的内部请求数据和外部请求数据进行处理，得到所需的融合数据，并将其发送至云平台的共享模块进行共享，实现企业内外部数据的融合共享。
进一步而言，本申请方法，所述连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表，包括：
获取云平台连接的处理设备信息，其中，所述处理设备信息包括处理设备基础信息及设备历史处理记录；
基于所述处理设备基础信息、设备历史处理记录进行设置位置、边缘设备类型、处理数据量、处理速度、传输速度、内置算法多元分析，获取各处理边缘设备的计算特征集；
基于所述计算特征集，建立各处理边缘设备的特征关系，构建所述计算设备列表。
具体而言，获取云平台连接的处理设备信息。这可以包括从云平台的API接口或数据库中获取相关的设备信息。处理设备信息可能包括设备的名称、型号、性能参数、地理位置等基础信息，以及设备的历史处理记录，如处理任务的数量、处理速度、数据传输速度等。根据处理设备基础信息和设备历史处理记录进行设置位置、边缘设备类型、处理数据量、处理速度、传输速度、内置算法多元分析。这些分析可以帮助了解每个设备的性能特点和适用场景，例如分析设备的地理位置可以帮助确定其是否适合处理需要地理位置信息的数据，分析设备的处理速度和数据传输速度可以帮助确定其是否适合处理需要快速处理和传输的任务。获取各处理边缘设备的计算特征集。这可以通过分析和计算每个设备的计算能力、数据处理能力、网络传输能力等特性来得到。例如，可以分析设备的CPU型号、内存大小、硬盘容量等硬件信息来评估其计算和数据处理能力，分析设备的网络接口和带宽来评估其网络传输能力。基于所述计算特征集，建立各处理边缘设备的特征关系。这可以通过比较各设备的计算特征集来确定它们之间的关系，例如可以比较设备的计算能力和数据处理能力来确定它们是否适合共同处理某种类型的任务。构建计算设备列表。根据得到的信息，可以构建一个计算设备列表，这个列表包括每个设备的名称、型号、性能参数、地理位置等基础信息，以及它们的历史处理记录和计算特征集。这个列表可以用于后续的任务分配和设备管理。可以获取云平台连接的处理设备信息，基于这些信息构建计算设备列表，帮助企业更好地管理和使用这些设备，提高数据处理和共享的效率和安全性。
进一步而言，本申请方法，所述对企业内外部数据融合特征进行分析，确定企业共享数据特征，包括：
获取企业内外部融合共享权限，确定融合共享类别、数据安全等级、数据开放路径、融合处理流程；
基于所述融合共享类别，建立所述融合共享类别与数据安全等级、数据开放路径、融合处理流程的映射关系；
根据映射关系对各融合共享类别的融合处理流程各流程的数据特征进行分析，确定所述企业共享数据特征，所述企业共享数据特征用于表征企业各融合共享类别的数据处理要求，包括安全性特征、融合特征、处理数据量特征。
具体而言，获取企业内外部融合共享权限。这包括了解和收集企业内部的共享权限设置，以及与外部合作伙伴或机构的共享协议和权限。确定融合共享类别。这可以根据企业的业务需求和数据特点来确定需要融合共享的类别，例如可以是客户数据、供应链数据、财务数据等。确定数据安全等级。这可以根据数据的敏感性和重要性来确定其安全等级，例如可以按照机密、秘密、公开等等级进行分类。确定数据开放路径。这需要考虑数据的来源、去向和传输过程，以确保数据的正确、安全和及时传输。例如，可以选择使用加密传输、专网传输等方式来保障数据的安全性。确定融合处理流程。这可以根据融合共享类别的业务需求来确定其处理流程，例如可以包括数据的清洗、分类、聚合、挖掘等步骤。基于融合共享类别，建立融合共享类别与数据安全等级、数据开放路径、融合处理流程的映射关系。这可以通过建立数据字典或元数据的方式来描述和定义每个融合共享类别与其相关的数据安全等级、数据开放路径和融合处理流程。根据映射关系对各融合共享类别的融合处理流程各流程的数据特征进行分析，确定企业共享数据特征。这可以通过对每个融合共享类别的处理流程进行分析，了解每个流程的数据特征和处理要求，从而确定其共享数据特征。可以获取企业内外部融合共享权限，确定融合共享类别、数据安全等级、数据开放路径、融合处理流程，并建立相应的映射关系，以实现对不同类别数据的灵活和安全共享。
进一步而言，本申请方法，对所述融合请求任务进行数据分解，确定请求数据特征参数，包括：
根据所述融合请求任务，识别获得所述融合共享类别、任务请求数据条件；
基于所述任务请求数据条件在对应的数据开放路径中进行外部数据筛选、内部数据提取，获得所述内部请求数据、外部请求数据；
基于所述融合共享类别对应的数据处理要求对所述内部请求数据、外部请求数据进行特征分析，获得所述请求数据特征参数。
具体而言，获取融合请求任务的相关信息，这可能包括任务的内容、目标、要求等。对融合请求任务进行分析，以识别出其所属的融合共享类别。这可以通过了解任务的业务需求、数据特点和处理方式来实现。根据融合共享类别，确定任务请求的数据条件。数据条件是指完成任务所需的数据，例如数据类型、数据范围、数据时间等。基于任务请求数据条件在对应的数据开放路径中进行外部数据筛选、内部数据提取，获得内部请求数据、外部请求数据的步骤可以包括：根据任务请求的数据条件，在对应的数据开放路径中进行外部数据筛选和内部数据提取。这可以通过查询、过滤、检索等操作来完成，以获得符合条件的数据。将筛选和提取的数据进行分类和整理，形成内部请求数据和外部请求数据。内部请求数据是指企业内部的数据，而外部请求数据是指从企业外部获取的数据。基于融合共享类别对应的数据处理要求对内部请求数据、外部请求数据进行特征分析，获得请求数据特征参数的步骤可以包括：根据融合共享类别对应的数据处理要求，对内部请求数据和外部请求数据进行特征分析。这可以通过数据清洗、分类、聚合、挖掘等操作来提取数据的特征参数。将分析得到的特征参数进行整理和归纳，形成请求数据特征参数。这些特征参数可以用于后续的数据处理和融合。通过以上步骤，可以基于融合请求任务，识别获得融合共享类别和任务请求数据条件，并在对应的数据开放路径中获取所需的内部请求数据和外部请求数据，然后根据数据处理要求对这些数据进行特征分析，以获得请求数据特征参数。这些特征参数可以用于构建数据处理融合网络链，实现数据的灵活和安全共享。
进一步而言，如图2所示，本申请方法，所述获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链，包括：
利用所述请求数据特征参数与所述任务处理节点网络进行特征匹配，确定请求-数据匹配关系；
基于所述融合请求任务，获取融合请求任务的节点评估变量；
基于所述请求-数据匹配关系，利用所述节点评估变量，构建评估寻优模型，利用评估寻优模型对各匹配关系进行节点寻优，将寻优节点作为所述执行节点信息；
利用所述融合处理流程，对所述执行节点信息进行功能匹配激活及节点排序连接，构建数据处理融合网络链，所述数据处理融合网络链包括多层网络处理节点，每层网络处理节点的处理功能、连接关系与所述融合处理流程相对应。
具体而言，利用请求数据特征参数与任务处理节点网络进行特征匹配，确定请求-数据匹配关系，然后基于融合请求任务获取融合请求任务的节点评估变量，构建评估寻优模型以对各匹配关系进行节点寻优，最后利用融合处理流程对执行节点信息进行功能匹配激活及节点排序连接以构建数据处理融合网络链的步骤可以包括：利用请求数据特征参数与任务处理节点网络进行特征匹配，确定请求-数据匹配关系。这可以通过在任务处理节点网络中查询和处理节点的数据特征，以找到与请求数据特征参数相匹配的处理节点，确定它们之间的匹配关系。基于融合请求任务，获取融合请求任务的节点评估变量。这些评估变量可以包括任务的重要性、紧急程度、处理节点的性能、可用资源等，可以根据任务的具体情况和需求来确定。基于请求-数据匹配关系，利用节点评估变量，构建评估寻优模型。这可以通过建立一个数学模型或算法，将请求-数据匹配关系和节点评估变量作为输入，以寻找最佳的处理节点作为执行节点信息。利用评估寻优模型对各匹配关系进行节点寻优，将寻优节点作为执行节点信息。这可以通过运行评估寻优模型，得到最佳的处理节点作为执行节点信息，包括执行边缘设备、处理数据特征参数等。利用融合处理流程，对执行节点信息进行功能匹配激活及节点排序连接。这可以通过根据融合处理流程的要求，对执行节点信息进行功能匹配和激活，建立相应的数据处理融合网络链。该网络链应包括多层网络处理节点，每层网络处理节点的处理功能和连接关系应与融合处理流程相对应。通过以上步骤，可以基于融合请求任务获取融合请求任务的节点评估变量，构建评估寻优模型以对各匹配关系进行节点寻优，最后利用融合处理流程对执行节点信息进行功能匹配激活及节点排序连接以构建数据处理融合网络链。这个数据处理融合网络链可以高效地处理各种融合请求任务，实现数据的灵活和安全共享。
进一步而言，如图3所示，本申请方法，所述构建评估寻优模型，还包括：
基于所述融合请求任务，设定节点损失值，所述节点损失值用于评价节点处理对接的数据损失量阈值；
将所述节点损失值作为约束因子加入所述评估寻优模型中。
具体而言，基于融合请求任务设定节点损失值，并将节点损失值作为约束因子加入评估寻优模型中的步骤可以包括：基于融合请求任务，设定节点损失值。节点损失值可以反映节点处理对接的数据损失量，可以依据任务需求和数据特点来确定。将节点损失值作为约束因子加入评估寻优模型中。评估寻优模型可以是一个数学模型或算法，将请求-数据匹配关系、节点评估变量以及节点损失值作为输入，以寻找最佳的处理节点作为执行节点信息。通过以上步骤，可以基于融合请求任务设定节点损失值，并将该值作为约束因子加入评估寻优模型中，以在寻找最佳执行节点时考虑数据损失量的因素，提高数据处理和共享的效率和准确性。
进一步而言，本申请方法，将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据，包括：
识别所述内部请求数据、外部请求数据，将所述内部请求数据、外部请求数据分别导入对应的数据处理融合网络链；
利用内部数据处理融合网络链中各网络层对内部请求数据进行数据处理，获得内部数据处理结果；
利用外部数据处理融合网络链中各网络层对外部请求数据依次进行数据处理，获得外部数据处理结果；
将所述内部数据处理结果、外部数据处理结果输入融合边缘设备处理节点进行融合数据类型、格式识别，将满足要求的数据进行内外部融合；
将不满足要求的数据进行标记，并将标记数据与融合结果进行打包输出。
具体而言，识别内部请求数据和外部请求数据，将它们分别导入对应的数据处理融合网络链，然后利用网络链对数据进行处理，获得数据处理结果，并将这些结果输入融合边缘设备处理节点进行融合数据类型、格式识别和内外部融合的步骤可以包括：识别内部请求数据和外部请求数据。这可以通过数据预处理阶段进行识别和分类，包括数据的名称、类型、格式等。将内部请求数据和外部请求数据分别导入对应的数据处理融合网络链。这可以通过数据导入或传输操作来完成，将数据从不同的数据源导入到对应的网络链中。利用内部数据处理融合网络链中各网络层对内部请求数据进行数据处理。这可以包括数据的清洗、分类、聚合、挖掘等操作，以获得内部数据处理结果。利用外部数据处理融合网络链中各网络层对外部请求数据依次进行数据处理。这个过程可以与内部数据处理类似，但可能采用不同的数据处理方式或流程。将内部数据处理结果和外部数据处理结果输入融合边缘设备处理节点进行融合数据类型、格式识别。这可以通过对数据处理结果进行分析和判断，识别出满足要求的数据类型和格式。将满足要求的数据进行内外部融合。这可以通过数据合并、连接等操作将内部和外部的数据进行融合，以获得更全面的数据处理结果。将不满足要求的数据进行标记。这可以通过添加标签或标识来区分不满足要求的数据。将标记数据与融合结果进行打包输出。这可以通过将标记的数据和融合的结果进行封装和输出，以供后续使用或处理。通过以上步骤，可以实现对内部请求数据和外部请求数据的识别和处理，并将它们导入对应的数据处理融合网络链中进行内外部融合，最终获得更全面的数据处理结果。这些结果可以用于后续的分析、决策或处理流程中。
进一步而言，本申请方法还包括：
根据融合请求任务中数据安全等级，设定融合开放数据、融合禁忌数据；
当识别数据为所述融合禁忌数据时，直接进行标记并输出。
具体而言，根据融合请求任务中数据安全等级设定融合开放数据和融合禁忌数据，当识别数据为融合禁忌数据时直接进行标记并输出的步骤可以包括：根据融合请求任务中数据安全等级，设定融合开放数据和融合禁忌数据。融合开放数据是可以进行融合共享的数据，而融合禁忌数据则是需要禁忌或限制共享的数据。当识别数据为融合禁忌数据时，直接进行标记。这可以通过添加标签或标识来表明该数据为禁忌数据。将标记的融合禁忌数据输出。这可以通过将标记的数据进行封装和输出，以供后续使用或处理。通过以上步骤，可以基于融合请求任务中数据安全等级设定融合开放数据和融合禁忌数据，并在识别到禁忌数据时直接进行标记并输出，从而确保数据的正确和安全处理。
实施例二
基于与前述实施例一种基于云平台的企业内外部数据融合共享方法相同的发明构思，如图4所示，本申请提供了一种基于云平台的企业内外部数据融合共享系统，所述系统包括：
计算设备列表构建模块10，所述计算设备列表构建模块10用于连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；
共享数据特征确定模块20，所述共享数据特征确定模块20用于对企业内外部数据融合特征进行分析，确定企业共享数据特征；
节点处理模块30，所述节点处理模块30是基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；
请求数据参数确定模块40，所述请求数据参数确定模块40用于获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；
节点执行信息获取模块50，所述节点执行信息获取模块50用于利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；
数据发送模块60，所述数据发送模块60用于将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
进一步地，该系统还包括：
设备信息获取模块，用于获取云平台连接的处理设备信息，其中，所述处理设备信息包括处理设备基础信息及设备历史处理记录；
特征集计算模块，是基于所述处理设备基础信息、设备历史处理记录进行设置位置、边缘设备类型、处理数据量、处理速度、传输速度、内置算法多元分析，获取各处理边缘设备的计算特征集；
特则会那个关系建立模块，是基于所述计算特征集，建立各处理边缘设备的特征关系，构建所述计算设备列表。
进一步地，该系统还包括：
共享权限获取模块，用于获取企业内外部融合共享权限，确定融合共享类别、数据安全等级、数据开放路径、融合处理流程；
映射关系建立模块，是基于所述融合共享类别，建立所述融合共享类别与数据安全等级、数据开放路径、融合处理流程的映射关系；
共享数据特征确定模块，用于根据映射关系对各融合共享类别的融合处理流程各流程的数据特征进行分析，确定所述企业共享数据特征，所述企业共享数据特征用于表征企业各融合共享类别的数据处理要求，包括安全性特征、融合特征、处理数据量特征。
进一步地，该系统还包括：
类别、请求识别模块，用于根据所述融合请求任务，识别获得所述融合共享类别、任务请求数据条件；
内外部请求数据获取模块，是基于所述任务请求数据条件在对应的数据开放路径中进行外部数据筛选、内部数据提取，获得所述内部请求数据、外部请求数据；
特征参数获取模块，是基于所述融合共享类别对应的数据处理要求对所述内部请求数据、外部请求数据进行特征分析，获得所述请求数据特征参数。
进一步地，该系统还包括：
特征匹配确定模块，用于利用所述请求数据特征参数与所述任务处理节点网络进行特征匹配，确定请求-数据匹配关系；
评估变量获取模块，是基于所述融合请求任务，获取融合请求任务的节点评估变量；
评估寻优模型构建模块，是基于所述请求-数据匹配关系，利用所述节点评估变量，构建评估寻优模型，利用评估寻优模型对各匹配关系进行节点寻优，将寻优节点作为所述执行节点信息；
数据处理融合网络链构建模块，用于利用所述融合处理流程，对所述执行节点信息进行功能匹配激活及节点排序连接，构建数据处理融合网络链，所述数据处理融合网络链包括多层网络处理节点，每层网络处理节点的处理功能、连接关系与所述融合处理流程相对应。
进一步地，该系统还包括：
节点损失值设定模块，是基于所述融合请求任务，设定节点损失值，所述节点损失值用于评价节点处理对接的数据损失量阈值；
约束因子加入模块，用于将所述节点损失值作为约束因子加入所述评估寻优模型中。
进一步地，该系统还包括：
请求数据识别模块，用于识别所述内部请求数据、外部请求数据，将所述内部请求数据、外部请求数据分别导入对应的数据处理融合网络链；
内部数据处理结果获取模块，用于利用内部数据处理融合网络链中各网络层对内部请求数据进行数据处理，获得内部数据处理结果；
外部数据处理结果获取模块，用于利用外部数据处理融合网络链中各网络层对外部请求数据依次进行数据处理，获得外部数据处理结果；
数据融合模块，用于将所述内部数据处理结果、外部数据处理结果输入融合边缘设备处理节点进行融合数据类型、格式识别，将满足要求的数据进行内外部融合；
标记输出模块，用于将不满足要求的数据进行标记，并将标记数据与融合结果进行打包输出。
进一步地，该系统还包括：
开放、禁忌数据设定模块，用于根据融合请求任务中数据安全等级，设定融合开放数据、融合禁忌数据；
数据识别模块，用于当识别数据为所述融合禁忌数据时，直接进行标记并输出。
说明书通过前述一种基于云平台的企业内外部数据融合共享方法的详细描述，本领域技术人员可以清楚地知识本实施例中一种基于云平台的企业内外部数据融合共享系统，对于实施例公开的系统而言，由于其与实施例公开装置相对应，所以描述得比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于云平台的企业内外部数据融合共享方法，其特征在于，包括：
连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；
对企业内外部数据融合特征进行分析，确定企业共享数据特征；
基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；
获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；
利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；
将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
2.如权利要求1所述的方法，其特征在于，所述连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表，包括：
获取云平台连接的处理设备信息，其中，所述处理设备信息包括处理设备基础信息及设备历史处理记录；
基于所述处理设备基础信息、设备历史处理记录进行设置位置、边缘设备类型、处理数据量、处理速度、传输速度、内置算法多元分析，获取各处理边缘设备的计算特征集；
基于所述计算特征集，建立各处理边缘设备的特征关系，构建所述计算设备列表。
3.如权利要求1所述的方法，其特征在于，所述对企业内外部数据融合特征进行分析，确定企业共享数据特征，包括：
获取企业内外部融合共享权限，确定融合共享类别、数据安全等级、数据开放路径、融合处理流程；
基于所述融合共享类别，建立所述融合共享类别与数据安全等级、数据开放路径、融合处理流程的映射关系；
根据映射关系对各融合共享类别的融合处理流程各流程的数据特征进行分析，确定所述企业共享数据特征，所述企业共享数据特征用于表征企业各融合共享类别的数据处理要求，包括安全性特征、融合特征、处理数据量特征。
4.如权利要求3所述的方法，其特征在于，所述获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数，包括：
根据所述融合请求任务，识别获得所述融合共享类别、任务请求数据条件；
基于所述任务请求数据条件在对应的数据开放路径中进行外部数据筛选、内部数据提取，获得所述内部请求数据、外部请求数据；
基于所述融合共享类别对应的数据处理要求对所述内部请求数据、外部请求数据进行特征分析，获得所述请求数据特征参数。
5.如权利要求4所述的方法，其特征在于，所述获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链，包括：
利用所述请求数据特征参数与所述任务处理节点网络进行特征匹配，确定请求-数据匹配关系；
基于所述融合请求任务，获取融合请求任务的节点评估变量；
基于所述请求-数据匹配关系，利用所述节点评估变量，构建评估寻优模型，利用评估寻优模型对各匹配关系进行节点寻优，将寻优节点作为所述执行节点信息；
利用所述融合处理流程，对所述执行节点信息进行功能匹配激活及节点排序连接，构建数据处理融合网络链，所述数据处理融合网络链包括多层网络处理节点，每层网络处理节点的处理功能、连接关系与所述融合处理流程相对应。
6.如权利要求5所述的方法，其特征在于，所述构建评估寻优模型，还包括：
基于所述融合请求任务，设定节点损失值，所述节点损失值用于评价节点处理对接的数据损失量阈值；
将所述节点损失值作为约束因子加入所述评估寻优模型中。
7.如权利要求5所述的方法，其特征在于，将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据，包括：
识别所述内部请求数据、外部请求数据，将所述内部请求数据、外部请求数据分别导入对应的数据处理融合网络链；
利用内部数据处理融合网络链中各网络层对内部请求数据进行数据处理，获得内部数据处理结果；
利用外部数据处理融合网络链中各网络层对外部请求数据依次进行数据处理，获得外部数据处理结果；
将所述内部数据处理结果、外部数据处理结果输入融合边缘设备处理节点进行融合数据类型、格式识别，将满足要求的数据进行内外部融合；
将不满足要求的数据进行标记，并将标记数据与融合结果进行打包输出。
8.如权利要求7所述的方法，其特征在于，还包括：
根据融合请求任务中数据安全等级，设定融合开放数据、融合禁忌数据；
当识别数据为所述融合禁忌数据时，直接进行标记并输出。
9.一种基于云平台的企业内外部数据融合共享系统，其特征在于，包括：
计算设备列表构建模块，所述计算设备列表构建模块用于连接云平台获取云平台各处理边缘设备的计算特征，构建计算设备列表；
共享数据特征确定模块，所述共享数据特征确定模块用于对企业内外部数据融合特征进行分析，确定企业共享数据特征；
节点处理模块，所述节点处理模块是基于所述企业共享数据特征、所述计算设备列表，对边缘设备特征匹配聚类，构建任务处理节点网络，其中，所述任务处理节点网络包括多个处理节点，每个处理节点至少包括一个处理边缘设备；
请求数据参数确定模块，所述请求数据参数确定模块用于获取融合请求任务，对所述融合请求任务进行数据分解，确定请求数据特征参数；
节点执行信息获取模块，所述节点执行信息获取模块用于利用所述请求数据特征参数与所述任务处理节点网络进行匹配处理，获得执行节点信息，所述执行节点信息包括执行边缘设备、处理数据特征参数，基于所述执行节点信息搭建数据处理融合网络链；
数据发送模块，所述数据发送模块用于将所述融合请求任务提取的内部请求数据、外部请求数据输入所述数据处理融合网络链，获得融合数据发送至云平台的共享模块进行共享。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311450199.3A CN117171711B (zh) | 2023-11-02 | 2023-11-02 | 一种基于云平台的企业内外部数据融合共享方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311450199.3A CN117171711B (zh) | 2023-11-02 | 2023-11-02 | 一种基于云平台的企业内外部数据融合共享方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117171711A true CN117171711A (zh) | 2023-12-05 |
| CN117171711B CN117171711B (zh) | 2023-12-26 |
Family
ID=88930204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311450199.3A Active CN117171711B (zh) | 2023-11-02 | 2023-11-02 | 一种基于云平台的企业内外部数据融合共享方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171711B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117610892A (zh) * | 2024-01-23 | 2024-02-27 | 中国电子科技集团公司第二十八研究所 | 一种面向任务基于本体的数据需求分解和匹配方法、系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639369A (zh) * | 2020-06-03 | 2020-09-08 | 科大讯飞股份有限公司 | 数据共享方法、设备、存储介质及数据共享系统 |
| CN114971574A (zh) * | 2022-06-14 | 2022-08-30 | 北京航天长峰科技工业集团有限公司 | 基于云边协同的多模态信息复合感知与融合架构及方法 |
| CN115695280A (zh) * | 2022-09-06 | 2023-02-03 | 中国电信股份有限公司 | 基于边缘节点的路由方法及装置、电子设备、存储介质 |
| CN115828284A (zh) * | 2022-12-19 | 2023-03-21 | 成都博睿数加科技有限公司 | 一种基于智能业务终端边缘计算的数据共享方法及系统 |
| CN116776006A (zh) * | 2023-08-24 | 2023-09-19 | 中资科技(江苏)有限公司 | 用于企业融资的客户画像构建方法及系统 |
-
2023
- 2023-11-02 CN CN202311450199.3A patent/CN117171711B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639369A (zh) * | 2020-06-03 | 2020-09-08 | 科大讯飞股份有限公司 | 数据共享方法、设备、存储介质及数据共享系统 |
| CN114971574A (zh) * | 2022-06-14 | 2022-08-30 | 北京航天长峰科技工业集团有限公司 | 基于云边协同的多模态信息复合感知与融合架构及方法 |
| CN115695280A (zh) * | 2022-09-06 | 2023-02-03 | 中国电信股份有限公司 | 基于边缘节点的路由方法及装置、电子设备、存储介质 |
| CN115828284A (zh) * | 2022-12-19 | 2023-03-21 | 成都博睿数加科技有限公司 | 一种基于智能业务终端边缘计算的数据共享方法及系统 |
| CN116776006A (zh) * | 2023-08-24 | 2023-09-19 | 中资科技(江苏)有限公司 | 用于企业融资的客户画像构建方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117610892A (zh) * | 2024-01-23 | 2024-02-27 | 中国电子科技集团公司第二十八研究所 | 一种面向任务基于本体的数据需求分解和匹配方法、系统 |
| CN117610892B (zh) * | 2024-01-23 | 2024-04-02 | 中国电子科技集团公司第二十八研究所 | 一种面向任务基于本体的数据需求分解和匹配方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117171711B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A task scheduling algorithm based on classification mining in fog computing environment | |
| Siddiqa et al. | A survey of big data management: Taxonomy and state-of-the-art | |
| Khare et al. | Big data in IoT | |
| CN103336790B (zh) | 基于Hadoop的邻域粗糙集快速属性约简方法 | |
| US11237913B2 (en) | System and method for data classification during file backup | |
| US11546380B2 (en) | System and method for creation and implementation of data processing workflows using a distributed computational graph | |
| CN103336791B (zh) | 基于Hadoop的粗糙集快速属性约简方法 | |
| US20210385251A1 (en) | System and methods for integrating datasets and automating transformation workflows using a distributed computational graph | |
| US11195066B2 (en) | Automatic protocol discovery using text analytics | |
| CN117171711B (zh) | 一种基于云平台的企业内外部数据融合共享方法及系统 | |
| US12118334B1 (en) | Determination of schema compatibility between neighboring operators within a search query statement | |
| CN110674360B (zh) | 一种用于数据的溯源方法和系统 | |
| CN114244611B (zh) | 异常攻击检测方法、装置、设备及存储介质 | |
| Kumar et al. | Development of a cloud-assisted classification technique for the preservation of secure data storage in smart cities | |
| Siva Prasad et al. | Optimisation of the execution time using hadoop-based parallel machine learning on computing clusters | |
| Huang et al. | Technology–function matrix based network analysis of cloud computing | |
| CN113221570A (zh) | 基于线上问诊信息的处理方法、装置、设备及存储介质 | |
| CN112884121A (zh) | 基于生成对抗深度卷积网络的流量识别方法 | |
| CN114493853A (zh) | 信用等级评价方法、装置、电子设备及存储介质 | |
| US11829866B1 (en) | System and method for hierarchical deep semi-supervised embeddings for dynamic targeted anomaly detection | |
| KR20190139037A (ko) | 텍스트마이닝 기반 건설공사 문서분석방법 및 시스템 | |
| KR102694021B1 (ko) | 5g 기반 iot 환경을 위한 지능형 트러스트 인에이블러 시스템 | |
| Wang et al. | Applications of Machine Learning in Public Security Information and Resource Management | |
| Wang et al. | WSNet: A Wrapper-Based Stacking Network for Multi-scenes Classification of DApps | |
| CN110895564A (zh) | 一种潜在客户数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240819 Address after: 226000 Building 9, No. 559 Jinke Road, Life and Health Science and Technology Park, Huilong Town, Qidong City, Nantong City, Jiangsu Province, China Patentee after: Qidong Yimu Fangtian Intelligent Technology Co.,Ltd. Country or region after: China Address before: 226200 500 Lin Yang Road, Qidong Economic Development Zone, Nantong, Jiangsu Patentee before: Nantong touling Information Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |