CN114866334B - 一种数据融合处理方法及装置 - Google Patents
一种数据融合处理方法及装置 Download PDFInfo
- Publication number
- CN114866334B CN114866334B CN202210646120.3A CN202210646120A CN114866334B CN 114866334 B CN114866334 B CN 114866334B CN 202210646120 A CN202210646120 A CN 202210646120A CN 114866334 B CN114866334 B CN 114866334B
- Authority
- CN
- China
- Prior art keywords
- data
- data fusion
- fusion
- partner
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000007499 fusion processing Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 111
- 238000004364 calculation method Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 13
- 239000012634 fragment Substances 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000002955 isolation Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据融合处理方法及装置，涉及数据处理技术领域，可用于金融领域或其他技术领域。所述方法包括：接收数据合作方发送的数据融合请求；根据所述数据合作方标识确定执行计算对应数据文件的目标节点；对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。所述装置执行上述方法。本发明实施例提供的数据融合处理方法及装置，方便对分布部署的数据文件进行管控，且能够提高融合计算的效率。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据融合处理方法及装置。
背景技术
在多方数据进行合作时为了增强数据隐私保护，多使用数据分布式部署的技术手段。
上述分布式部署在需要进行融合计算时存在管控困难的问题。
发明内容
针对现有技术中的问题，本发明实施例提供一种数据融合处理方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种数据融合处理方法，包括：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
其中，所述数据融合请求携带的数据文件为加密数据文件；相应的，在所述对各数据文件分别进行分片处理的步骤之前，所述方法还包括：
对所述加密数据文件进行解密处理，对解密处理后的各数据文件分别进行分片处理。
其中，所述根据所述数据合作方标识确定执行计算对应数据文件的目标节点，包括：
利用预设规则，并根据所述数据合作方标识确定执行计算对应数据文件的目标节点；所述预设规则包括遍历所述数据合作方中的各节点，根据各节点的计算性能指标确定所述目标节点。
其中，所述将剩余数据分片分发至剩余数据合作方的目标节点，包括：
将剩余数据分片均分至剩余数据合作方的目标节点。
其中，所述数据融合处理方法还包括：
对预设数据类型的目标数据文件进行流动性监控；
若确定所述目标数据文件出现外流，则切断网络连接。
其中，所述数据融合处理方法还包括：
在切断网络连接同时，生成提示所述目标数据文件出现外流的提示消息。
其中，所述数据融合处理方法还包括：
对所述目标节点进行可用性监控；
若确定所述目标节点出现可用性异常，则对出现可用性异常的目标节点进行隔离处理。
一方面，本发明提出一种数据融合处理装置，包括：
接收单元，用于接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
确定单元，用于根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
分片单元，用于对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
融合单元，用于将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
再一方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本发明实施例提供的数据融合处理方法及装置，接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；根据所述数据合作方标识确定执行计算对应数据文件的目标节点；对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方，方便对分布部署的数据文件进行管控，且能够提高融合计算的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的数据融合处理方法的流程示意图。
图2是本发明实施例提供的数据融合处理方法模块化的结构示意图。
图3是本发明另一实施例提供的数据融合处理方法的流程示意图。
图4是本发明一实施例提供的数据融合处理装置的结构示意图。
图5为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是本发明一实施例提供的数据融合处理方法的流程示意图，如图1所示，本发明实施例提供的数据融合处理方法，包括：
步骤S1：接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件。
步骤S2：根据所述数据合作方标识确定执行计算对应数据文件的目标节点。
步骤S3：对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点。
步骤S4：将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
在上述步骤S1中，装置接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件。装置可以是执行该方法的计算机设备，例如可以包括集中部署方的服务器。需要说明是，本发明实施例涉及用户数据的获取及分析是经用户授权的。
如图2所示，数据合作方可以包括A方和B方。A方有对应的数据中转单元102和数据融合单元103(位于数据融合计算平台的左侧)；B方有对应的数据中转单元102和数据融合单元103(位于数据融合计算平台的右侧)。
对各模块说明如下：
数据传输服务单元101，属于合作方组件，分别部署在各数据合作方，负责将本方数据进行加密，并发给数据融合计算平台，向管控单元105发起数据融合请求，接收返回的数据融合计算结果。
数据中转单元102，属于数据融合计算平台组件，部署在集中部署方(可以是A方、B方或独立方，下同)，负责解密传输的数据，可以不进行数据存储，并将数据明文分成多片，保留至少一片到本方的数据融合单元中的目标节点。数据融合单元可以包括多个节点，将保留至少一片数据的一个节点作为目标节点。
剩余数据分片发送到剩余数据合作方的数据融合单元中的目标节点。本单元服务器属于各数据合作方托管在集中方模式，其管理权属于各数据合作方，需要设置复杂口令，需进行严格的日志记录和审计，需启动网络数据报文流动监控，通过数据特定标识，如果发现敏感数据外流，会立即自动切断网络连接，并通过邮件或短信方式通知相关数据合作方。
数据融合单元103，属于数据融合计算平台的计算组件，部署在集中部署方，用于联合处理各数据合作方的计算服务。
计算规则单元104，属于数据融合计算平台的算法组件，部署在集中部署方，主要用于计算规则管理，任务的计算规则可以事先经过与各数据合作方协商确定。
管控单元105，属于数据融合计算平台的管控组件，部署在集中部署方，用于对数据融合单元103中的目标节点进行可用性监控，异常节点的隔离，平台熔断降级，任务的限流，任务的调度(可根据标识并依据执行任务数、排队任务数、CPU、内存等权重指标将任务均衡分配到符合条件的数据融合单元103中的最优节点)，返回任务结果。
可以同步接收数据合作方发送的数据融合请求，也可以异步接收数据合作方发送的数据融合请求，如图3所示。
在上述步骤S2中，装置根据所述数据合作方标识确定执行计算对应数据文件的目标节点。如图2所示，可以根据数据合作方标识确定对应的数据融合单元103，遍历数据融合单元103中的各节点，从中选择一个节点作为计算对应数据文件的目标节点。
所述根据所述数据合作方标识确定执行计算对应数据文件的目标节点，包括：
利用预设规则，并根据所述数据合作方标识确定执行计算对应数据文件的目标节点；所述预设规则包括遍历所述数据合作方中的各节点，根据各节点的计算性能指标确定所述目标节点。预设规则可以根据实际情况自主配置。
计算性能指标可以根据实际情况自主选择，可选上述CPU、内存对应的指标作为计算性能指标，从中选择数值最优的计算性能指标对应的节点作为目标节点。
在上述步骤S3中，装置对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点。以数据合作方A、数据合作方B和数据合作方C，举例说明如下：
对于数据合作方A：对与A对应的数据文件进行分片处理，得到10个数据分片，将其中1个数据分片保留在A的数据融合单元103中的目标节点，将剩余9个数据分片分发至B的目标节点和C的目标节点。为了保证分布式计算，需要使得B的目标节点和C的目标节点都能够分配到至少一个数据分片，并且B的目标节点和C的目标节点总共分配9个数据分片。该数据分片的规则，可以通过管控单元105进行灵活配置。
所述将剩余数据分片分发至剩余数据合作方的目标节点，包括：
将剩余数据分片均分至剩余数据合作方的目标节点。参照上述举例，可以将9个数据分片中的4个数据分片分发至B的目标节点，剩余5个数据分片分发至C的目标节点。
所述数据融合请求携带的数据文件为加密数据文件；相应的，在所述对各数据文件分别进行分片处理的步骤之前，所述方法还包括：
对所述加密数据文件进行解密处理，对解密处理后的各数据文件分别进行分片处理。参照图3，即在步骤100中可以对数据文件进行加密，得到加密数据文件，本发明实施例对加密方法不作具体限定。参照图3，在步骤104中可以对加密数据文件进行解密处理，得到明文数据，再对明文数据进行分片处理。
在上述步骤S4中，装置将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。参照图2，可以将各数据融合单元103中的目标节点的计算结果汇总到管控单元105，通过管控单元105发送数据融合结果至数据合作方。
所述数据融合处理方法还包括：
对预设数据类型的目标数据文件进行流动性监控；预设数据类型可以根据实际情况自主设置，用于标记上述的敏感数据。
若确定所述目标数据文件出现外流，则切断网络连接。在切断网络连接同时，生成提示所述目标数据文件出现外流的提示消息，通过提示消息，可以提醒相关工作人员及时采取应对措施。
所述数据融合处理方法还包括：
对所述目标节点进行可用性监控；可以对每个数据合作方中的数据融合单元103中的目标节点都进行可用性监控。
若确定所述目标节点出现可用性异常，则对出现可用性异常的目标节点进行隔离处理。进一步地，可以生成提示目标节点出现可用性异常的提示消息，通过提示消息，可以提醒相关工作人员及时采取应对措施。
也可以启用备用节点替换出现可用性异常的目标节点，作为新的目标节点。
本发明实施例提供的数据融合处理方法，接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；根据所述数据合作方标识确定执行计算对应数据文件的目标节点；对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方，方便对分布部署的数据文件进行管控，且能够提高融合计算的效率。
进一步地，所述数据融合请求携带的数据文件为加密数据文件；相应的，在所述对各数据文件分别进行分片处理的步骤之前，所述方法还包括：
对所述加密数据文件进行解密处理，对解密处理后的各数据文件分别进行分片处理。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，进一步能够保证数据文件的信息安全。
进一步地，所述根据所述数据合作方标识确定执行计算对应数据文件的目标节点，包括：
利用预设规则，并根据所述数据合作方标识确定执行计算对应数据文件的目标节点；所述预设规则包括遍历所述数据合作方中的各节点，根据各节点的计算性能指标确定所述目标节点。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，进一步能够提高融合计算的效率。
进一步地，所述将剩余数据分片分发至剩余数据合作方的目标节点，包括：
将剩余数据分片均分至剩余数据合作方的目标节点。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，进一步能够提高融合计算的效率。
进一步地，所述数据融合处理方法还包括：
对预设数据类型的目标数据文件进行流动性监控；可参照上述说明，不再赘述。
若确定所述目标数据文件出现外流，则切断网络连接。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，进一步能够加强数据文件外流管控。
进一步地，所述数据融合处理方法还包括：
在切断网络连接同时，生成提示所述目标数据文件出现外流的提示消息。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，有助于及时应对数据文件出现外流的情况。
进一步地，所述数据融合处理方法还包括：
对所述目标节点进行可用性监控；可参照上述说明，不再赘述。
若确定所述目标节点出现可用性异常，则对出现可用性异常的目标节点进行隔离处理。可参照上述说明，不再赘述。
本发明实施例提供的数据融合处理方法，进一步能够加强目标节点异常管控。
需要说明的是，本发明实施例提供的数据融合处理方法可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对数据融合处理方法的应用领域不做限定。
图4是本发明一实施例提供的数据融合处理装置的结构示意图，如图4所示，本发明实施例提供的数据融合处理装置，包括接收单元401、确定单元402、分片单元403和融合单元404，其中：
接收单元401用于接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；确定单元402用于根据所述数据合作方标识确定执行计算对应数据文件的目标节点；分片单元403用于对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；融合单元404用于将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
具体的，装置中的接收单元401用于接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；确定单元402用于根据所述数据合作方标识确定执行计算对应数据文件的目标节点；分片单元403用于对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；融合单元404用于将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本发明实施例提供的数据融合处理装置，接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；根据所述数据合作方标识确定执行计算对应数据文件的目标节点；对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方，方便对分布部署的数据文件进行管控，且能够提高融合计算的效率。
进一步地，所述数据融合请求携带的数据文件为加密数据文件；相应的，在所述对各数据文件分别进行分片处理的步骤之前，所述数据融合处理装置还用于：
对所述加密数据文件进行解密处理，对解密处理后的各数据文件分别进行分片处理。
本发明实施例提供的数据融合处理装置，进一步能够保证数据文件的信息安全。
进一步地，所述确定单元402具体用于：
利用预设规则，并根据所述数据合作方标识确定执行计算对应数据文件的目标节点；所述预设规则包括遍历所述数据合作方中的各节点，根据各节点的计算性能指标确定所述目标节点。
本发明实施例提供的数据融合处理装置，进一步能够提高融合计算的效率。
进一步地，所述确定单元402还具体用于：
将剩余数据分片均分至剩余数据合作方的目标节点。
本发明实施例提供的数据融合处理装置，进一步能够提高融合计算的效率。
进一步地，所述数据融合处理装置还用于：
对预设数据类型的目标数据文件进行流动性监控；
若确定所述目标数据文件出现外流，则切断网络连接。
本发明实施例提供的数据融合处理装置，进一步能够加强数据文件外流管控。
进一步地，所述数据融合处理装置还用于：
在切断网络连接同时，生成提示所述目标数据文件出现外流的提示消息。
本发明实施例提供的数据融合处理装置，有助于及时应对数据文件出现外流的情况。
进一步地，所述数据融合处理装置还用于：
对所述目标节点进行可用性监控；
若确定所述目标节点出现可用性异常，则对出现可用性异常的目标节点进行隔离处理。
本发明实施例提供的数据融合处理装置，进一步能够加强目标节点异常管控。
本发明实施例提供数据融合处理装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图5为本发明实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备包括：处理器(processor)501、存储器(memory)502和总线503；
其中，所述处理器501、存储器502通过总线503完成相互间的通信；
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据融合处理方法，其特征在于，包括：
接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
2.根据权利要求1所述的数据融合处理方法，其特征在于，所述数据融合请求携带的数据文件为加密数据文件；相应的，在所述对各数据文件分别进行分片处理的步骤之前，所述方法还包括：
对所述加密数据文件进行解密处理，对解密处理后的各数据文件分别进行分片处理。
3.根据权利要求1所述的数据融合处理方法，其特征在于，所述根据所述数据合作方标识确定执行计算对应数据文件的目标节点，包括：
利用预设规则，并根据所述数据合作方标识确定执行计算对应数据文件的目标节点；所述预设规则包括遍历所述数据合作方中的各节点，根据各节点的计算性能指标确定所述目标节点。
4.根据权利要求3所述的数据融合处理方法，其特征在于，所述将剩余数据分片分发至剩余数据合作方的目标节点，包括：
将剩余数据分片均分至剩余数据合作方的目标节点。
5.根据权利要求1至4任一所述的数据融合处理方法，其特征在于，所述数据融合处理方法还包括：
对预设数据类型的目标数据文件进行流动性监控；
若确定所述目标数据文件出现外流，则切断网络连接。
6.根据权利要求5所述的数据融合处理方法，其特征在于，所述数据融合处理方法还包括：
在切断网络连接同时，生成提示所述目标数据文件出现外流的提示消息。
7.根据权利要求1至4任一所述的数据融合处理方法，其特征在于，所述数据融合处理方法还包括：
对所述目标节点进行可用性监控；
若确定所述目标节点出现可用性异常，则对出现可用性异常的目标节点进行隔离处理。
8.一种数据融合处理装置，其特征在于，包括：
接收单元，用于接收数据合作方发送的数据融合请求，所述数据融合请求携带数据合作方标识和数据文件；
确定单元，用于根据所述数据合作方标识确定执行计算对应数据文件的目标节点；
分片单元，用于对各数据文件分别进行分片处理，将至少一个数据分片保留至所述目标节点，将剩余数据分片分发至剩余数据合作方的目标节点；
融合单元，用于将所有目标节点执行的计算结果进行汇总，得到数据融合结果，并发送所述数据融合结果至所述数据合作方。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646120.3A CN114866334B (zh) | 2022-06-09 | 2022-06-09 | 一种数据融合处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646120.3A CN114866334B (zh) | 2022-06-09 | 2022-06-09 | 一种数据融合处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114866334A CN114866334A (zh) | 2022-08-05 |
| CN114866334B true CN114866334B (zh) | 2023-11-24 |
Family
ID=82623856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210646120.3A Active CN114866334B (zh) | 2022-06-09 | 2022-06-09 | 一种数据融合处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114866334B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337122A (zh) * | 2018-02-22 | 2018-07-27 | 深圳市脉山龙信息技术股份有限公司 | 基于分布式流计算的运维管理系统 |
| CN111290841A (zh) * | 2018-12-10 | 2020-06-16 | 北京沃东天骏信息技术有限公司 | 任务调度方法、装置、计算设备及存储介质 |
| CN111381972A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 分布式任务调度方法、装置和系统 |
| CN113010382A (zh) * | 2021-03-16 | 2021-06-22 | 杭州数澜科技有限公司 | 一种埋点数据的计算方法、装置、存储介质和电子设备 |
| CN113722755A (zh) * | 2021-08-25 | 2021-11-30 | 上海阵方科技有限公司 | 实现隐私保护的数据处理系统、方法、装置和设备 |
-
2022
- 2022-06-09 CN CN202210646120.3A patent/CN114866334B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337122A (zh) * | 2018-02-22 | 2018-07-27 | 深圳市脉山龙信息技术股份有限公司 | 基于分布式流计算的运维管理系统 |
| CN111290841A (zh) * | 2018-12-10 | 2020-06-16 | 北京沃东天骏信息技术有限公司 | 任务调度方法、装置、计算设备及存储介质 |
| CN111381972A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 分布式任务调度方法、装置和系统 |
| CN113010382A (zh) * | 2021-03-16 | 2021-06-22 | 杭州数澜科技有限公司 | 一种埋点数据的计算方法、装置、存储介质和电子设备 |
| CN113722755A (zh) * | 2021-08-25 | 2021-11-30 | 上海阵方科技有限公司 | 实现隐私保护的数据处理系统、方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114866334A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580821A (zh) | 一种联邦学习方法、装置、设备及存储介质 | |
| US11128447B2 (en) | Cryptographic operation method, working key creation method, cryptographic service platform, and cryptographic service device | |
| EP3158497B1 (en) | Methods and devices for key management in an as-a-service context | |
| US10887085B2 (en) | System and method for controlling usage of cryptographic keys | |
| CN102281141B (zh) | 一种文档权限管理方法、装置及系统 | |
| CN112835977A (zh) | 一种基于区块链的数据库管理方法及系统 | |
| CN109347839A (zh) | 集中式密码管理方法、装置、电子设备及计算机存储介质 | |
| CN113901505B (zh) | 数据共享方法、装置、电子设备及存储介质 | |
| CN112734576B (zh) | 一种区块链的共识系统及方法 | |
| CN115543924A (zh) | 一种基于可信管理平台的任务处理方法及相关装置 | |
| CN113900598A (zh) | 基于区块链的数据存储方法、装置、设备以及存储介质 | |
| CN110868290A (zh) | 一种无中心管控的密钥服务方法与装置 | |
| CN113645278A (zh) | 一种区块链的跨链消息传输方法、设备、存储介质 | |
| CN107465717B (zh) | 一种密码按需服务的方法、装置与设备 | |
| CN108765230A (zh) | 一种居民户籍信息管理方法及服务器 | |
| CN115314191A (zh) | 融合密钥应用方法及系统 | |
| CN114866334B (zh) | 一种数据融合处理方法及装置 | |
| CN112003690B (zh) | 密码服务系统、方法及装置 | |
| WO2016122684A1 (en) | Data sandboxing for multiple user data storage and separation | |
| CN114996694B (zh) | 一种数据融合方法、设备、系统及存储介质 | |
| CN111224950A (zh) | 数据交换方法、系统和计算机存储介质 | |
| CN111221903A (zh) | 数据追责方法、系统和计算机存储介质 | |
| KR102406388B1 (ko) | 블록 체인 거래를 위한 분산 쉐어링 알고리즘 기반 암호화 키 관리 방법 및 이를 처리하는 단말 장치 | |
| CN114363094A (zh) | 一种数据分享方法、装置、设备及存储介质 | |
| CN111770101B (zh) | 接入区块链网络的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |