CN115914264A - 一种数据的处理方法及装置 - Google Patents
一种数据的处理方法及装置 Download PDFInfo
- Publication number
- CN115914264A CN115914264A CN202211436415.4A CN202211436415A CN115914264A CN 115914264 A CN115914264 A CN 115914264A CN 202211436415 A CN202211436415 A CN 202211436415A CN 115914264 A CN115914264 A CN 115914264A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- encrypted
- cloud service
- service platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 89
- 238000003860 storage Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 97
- 150000003839 salts Chemical class 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010977 unit operation Methods 0.000 claims description 10
- 238000009938 salting Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 230000006837 decompression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Storage Device Security (AREA)
Abstract
本发明提供了一种数据的处理方法及装置，方法包括：接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；对所述加密数据进行解密后，传输至分布式集群进行存储；依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。可以提高数据的安全性。
Description
技术领域
本发明涉及数据技术领域，具体而言，涉及一种数据的处理方法及装置。
背景技术
互联网环境下，海量数据产生于不同的来源和系统，通常也会由不同的数据供应商进行存储和处理，针对具体的业务应用场景，通常需要进行数据的传输、流转、处理、存储、审计。例如，对于信息投放效果追踪的业务应用场景，由于投放效果追踪的数据量十分庞大，数据提供方需要将各不同来源的数据传输到具有大计算量的数据处理平台，数据处理平台依据接收的数据进行数据后验的分析处理，从而获取该信息转化效果的数据，并返回给数据提供方。
目前，在数据传输到数据处理平台以及将信息转化效果的数据传输回数据提供方的传输过程中，通过对传输的数据进行加密，可以保障数据传输的安全性。但该方法，在数据的传输中，通过对加密的数据进行破解，或，在数据处理平台解密并存储数据时，数据处理平台，都会导致数据的泄露，因而，如何提升数据安全是一个亟需解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供数据的处理方法及装置，以提高数据的安全性。
第一方面，本发明实施例提供了数据的处理方法，包括：
接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
对所述加密数据进行解密后，传输至分布式集群进行存储；
依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在所述接收数据提供方发送的云服务平台的存储位置信息之后，依据所述存储位置信息拉取加密数据之前，所述方法还包括：
数据处理方依据接收的云服务平台的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台执行所述依据所述存储位置信息拉取所述压缩数据。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在接收数据提供方发送的云服务平台的存储位置信息之前，所述方法还包括：
对待传输数据进行加盐处理，得到加盐数据；
按照预先设置的加密算法，对加盐数据进行加密处理，得到加密数据，将所述加密数据传输至云服务平台进行存储。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述加密算法包括信息摘要算法、第五版信息摘要算法以及非对称算法。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述云服务平台为Azure平台，所述方法还包括：
利用Azure平台提供的串行SCSI连接访问方式，采用web推送方式，将所述加密数据推送至Azure平台。
结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，包括：
所述分布式集群解析所述集群数据计算任务，获取所述存储的路径信息以及所述计算任务；
从所述存储的路径信息中，获取加盐加密的数据；
依据所述数据提供方预先通知所述分布式集群获取的数据集中，按照与所述待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；
针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从所述数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；
所述分布式集群依据所述集群数据计算任务，对所述数据计算集进行计算，得到数据结算结果，将所述数据计算结果传输至所述独立处理单元。
结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
记录对所述待传输数据进行操作的单元操作日志；
接收所述分布式集群记录的对所述集群数据计算任务进行操作的分布操作日志；
拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。
第二方面，本发明实施例还提供了一种数据的处理装置，包括：
加密数据获取模块，用于接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
数据传输模块，用于对所述加密数据进行解密后，传输至分布式集群进行存储；
任务提交模块，用于依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
结算结果获取模块，用于接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的数据的处理方法及装置，通过接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；对所述加密数据进行解密后，传输至分布式集群进行存储；依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。这样，通过数据处理方从云服务平台拉取加密数据，传输至分布式集群，并向分布式集群提交集群数据计算任务请求以进行数据计算处理，可以确保数据在公网的传输安全、数据处理的安全，能够提升数据的安全性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的数据的处理方法流程示意图；
图2示出了本发明实施例所提供的数据的处理装置结构示意图；
图3示出了本发明实施例所提供的数据的处理装置结构示意图；
图4为本申请实施例提供的一种计算机设备400的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，从数据传输、流转、处理、存储、审计等多方面，对数据安全性进行处理，提供数据安全传输和处理方法，可应用在大数据量级下数据的处理，以及依赖Hadoop底层分布式的计算等业务应用场景，能全方位满足数据安全规范中的全面要求。
本发明实施例提供了一种数据的处理方法及装置，下面通过实施例进行描述。
图1示出了本发明实施例所提供的数据的处理方法流程示意图。如图1所示，该方法包括：
步骤101，接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
本发明实施例中，作为一可选实施例，在接收数据提供方发送的云服务平台的存储位置信息之前，该方法还包括：
数据提供方对待传输数据进行加盐加密，对加盐加密的数据进行加密压缩，得到压缩数据，将压缩数据传输至云服务平台进行存储。
本发明实施例中，数据提供方对待传输数据进行加盐加密，且以加密压缩方式对加盐加密的数据进行加密压缩后，得到加密数据，传输到云服务平台，例如，Azure平台，Azure平台存储加密数据后，将云服务平台的存储位置信息通知数据提供方，数据提供方将云服务平台的存储位置信息发送至数据处理方。作为一可选实施例，待传输数据为身份(ID)数据、敏感信息数据，其中，敏感信息数据包括但不限于：营销数据、技术资料数据等。
本发明实施例中，作为一可选实施例，数据提供方对待传输数据进行加盐加密，包括：
A11，对待传输数据进行加盐处理，得到加盐数据；
本发明实施例中，作为一可选实施例，对个人ID数据和敏感信息数据进行加盐处理。其中，加盐处理可以基于数据提供方和数据处理方的双方约定，利用，利用预先设置的字符串进行加盐处理，字符串包括但不限于：数字、和/或，字母，例如，dataencrypted2021。
A12，按照预先设置的加密算法，对加盐数据进行加密处理，得到加盐加密的数据。
本发明实施例中，对加盐后的加盐数据进行加密，其中，作为一可选实施例，加密算法包括但不限于：信息摘要(MD，Message Digest)算法、第五版信息摘要(MD5)算法、非对称算法等。
本发明实施例中，作为一可选实施例，待传输数据为表1所示：
表1
| Devices ID | Timestamp |
| 5D28291E47067A492CEB6691E43605CA | 1636374544 |
利用字符串“dataencrypted2021”对该待传输数据进行加盐处理后，得到的加盐数据为：
5D28291E47067A492CEB6691E43605CAdataencrypted2021。
加密算法采用MD5算法，利用MD5算法，对加盐数据进行加密，得到加盐加密的数据为：
MD5(‘5D28291E47067A492CEB6691E43605CAdataencrypted2021’)。
该加盐加密的数据如表2所示：
表2
| Devices ID | Timestamp |
| 7fb63455df6bfe50ba51d6d20047c8cf | 1636374544 |
本发明实施例中，对加盐加密的数据进行加密压缩，从而以加密压缩的方式传输加盐加密的数据(加密数据)。作为一可选实施例，压缩的方式可基于预先的约定，包括但不限于zip、tar等压缩方式，并设置压缩密码，以保障数据传输的安全性。例如，设置压缩密码为‘zip2021’。
本发明实施例中，在对加盐加密的数据进行加密压缩后，将加密压缩的数据传输到云服务平台进行存储，例如，Azure平台，以便数据处理方能依据存储位置信息，从云服务平台拉取需要进行处理的数据。其中，以Azure平台为例，由于Azure平台采用https等秘钥加密方式的安全通道，因而，本发明实施例可以利用平台的安全通道进行数据传输，无需考虑Azure平台自身的安全处理方式。作为一可选实施例，利用Azure平台提供的串行SCSI(SAS，Serial Attached SCSI)连接访问方式，采用web推送方式，将加密压缩的数据(压缩数据)推送至Azure平台。
本发明实施例中，作为一可选实施例，在接收数据提供方发送的云服务平台的存储位置信息之后，依据所述存储位置信息拉取加密数据之前，该方法还包括：
数据处理方依据接收的云服务平台的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台执行所述依据所述存储位置信息拉取所述压缩数据。
本发明实施例中，作为一可选实施例，独立处理单元可以设置为虚拟机，通过设置专用于该待传输数据的虚拟机，使之执行对该待传输数据的数据拉取、数据计算任务提交、数据结果处理等服务的操作，从而实现与其它数据的隔离处理，提升数据处理的安全性。进一步地，在该虚拟机中处理的操作，还可以进行操作日志记录，使得在该虚拟机中处理的操作，通过详细的操作日志记录，提升数据处理过程中的安全性。
本发明实施例中，作为一可选实施例，可以通过编撰脚本的方式部署虚拟机。
步骤102，对所述加密数据进行解密后，传输至分布式集群进行存储；
本发明实施例中，作为一可选实施例，独立处理单元将从云服务平台拉取的压缩数据(加密数据)进行解密解压后，传输至分布式集群进行存储，将存储的路径信息返回给独立处理单元。
本发明实施例中，独立处理单元从Azure平台拉取压缩数据到本地端，进行本地解密解压后上传至分布式集群，例如，Hadoop集群进行存储。作为一可选实施例，将解密解压后的数据存储在Hadoop集群的Hadoop分布式文件系统(HDFS，Hadoop Distributed FileSystem)目录。
本发明实施例中，独立处理单元利用预先约定的压缩密码进行解压操作。例如，若预先约定采用zip压缩方式,且压缩密码为zip2021，则解压的过程中，输入对应的解压密码zip2021进行解压。
本发明实施例中，将解压缩后得到的加盐加密的数据传输到Hadoop集群的预设HDFS目录。作为一可选实施例，预设HDFS目录(存储路径)可按实际业务，结合业务域和处理时间确定，例如，当前时间为2021-11-09，拉取的压缩数据加压解密后，存储的路径信息可以设置为：
/user/security/IMP/20211109/original/xxx
步骤103，依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
本发明实施例中，独立处理单元可以基于数据所属的业务场景，编写具体数据计算任务处理逻辑，结合HDFS目录的路径信息，生成集群数据计算任务请求，并提交到底层Hadoop集群，以利用Hadoop集群分布式资源进行分布式计算。
本发明实施例中，对于计算任务处理逻辑中涉及的敏感信息数据，例如，ID字段，进行加盐加密的处理。作为一可选实施例，计算任务处理逻辑对应的代码段如下：
SELECT md5(upper(md5(upper(ifa)))+”dataencrypted2021”),md5(upper(him)+”dataencrypted2021”)
FROM table A
步骤104，接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
本发明实施例中，独立处理单元接收数据结算结果。
本发明实施例中，作为一可选实施例，接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，包括：
B11，所述分布式集群解析所述集群数据计算任务，获取所述存储的路径信息以及所述计算任务；
B12，从所述存储的路径信息中，获取加盐加密的数据；
本发明实施例中，以加密算法为MD5算法为例，加盐加密的数据为一摘要值。由于加盐加密的数据不能通过逆推的方式获取原始的待传输数据，因而，即使在传输过程中被截获，也不能通过破解的方法获取敏感信息数据。
B13，依据所述数据提供方预先通知所述分布式集群获取的数据集中，按照与所述待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；
本发明实施例中，数据提供方预先依据计算任务，通知分布式集群抓取该计算任务对应的数据，例如，计算任务是对某一接口接收和发出的数据进行统计，则分布式集群依据该计算任务，对该接口收发的数据进行抓取。其中，待传输数据为分布式集群抓取的数据中的一部分。
B14，针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从所述数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；
本发明实施例中，通过对分布式集群抓取的计算任务对应的数据进行加盐加密的方式，获取加盐加密的数据对应的原始数据。
B15，所述分布式集群依据所述集群数据计算任务，对所述数据计算集进行计算，得到数据结算结果，将所述数据计算结果传输至所述独立处理单元。
本发明实施例中，作为一可选实施例，基于集群数据计算任务处理获得的数据计算结果，存储于HDFS路径/result/xxx，将获得的数据计算结果全部返回本地虚拟机(独立处理单元)，虚拟机对接收的数据计算结果进行加密压缩处理。其中，压缩采用：zip、tar方式，加密密码：zip2021。
本发明实施例中，虚拟机将加密压缩处理得到的加密压缩包传输到Azure平台，并通知数据提供方从该云服务平台对应的路径下拉取加密压缩包。
本发明实施例中，作为一可选实施例，该方法还包括：
所述独立处理单元记录对所述待传输数据进行操作的单元操作日志；
所述分布式集群记录对所述集群数据计算任务进行操作的分布操作日志，并向所述独立处理单元返回所述分布操作日志；
所述独立处理单元拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。
本发明实施例中，对每一服务进行的操作，保留对应的操作日志，用以验证数据处理的安全性。
本发明实施例的数据的处理方法，通过对待传输数据进行加盐加密，对加盐加密的数据进行加密压缩，数据处理方设置用于对数据进行处理的独立处理单元，从云服务平台拉取数据，传输至分布式集群，并向分布式集群提交集群数据计算任务请求以进行数据计算处理，可以确保数据在公网的传输安全、数据处理的安全，能够满足企业在数据交互和处理方面的安全性考虑，符合安全审计的要求和目的；进一步地，通过提出大数据量级的数据加密和文件压缩加密处理方式，从而提供本地独立处理单元与Hadoop集群任务的传输、计算的安全实践方式。
图2示出了本发明实施例所提供的数据的处理系统结构示意图。如图2所示，该系统包括：数据提供方201、云服务平台202、数据处理方203以及分布式集群204，其中，
数据提供方201，用于对待传输数据进行加盐加密，对加盐加密的数据进行加密压缩，得到压缩数据，将压缩数据传输至云服务平台202进行存储，将云服务平台202的存储位置信息通知数据处理方203；
本发明实施例中，作为一可选实施例，所述数据提供方对待传输数据进行加盐加密，包括：
对待传输数据进行加盐处理，得到加盐数据；
按照预先设置的加密算法，对加盐数据进行加密处理，得到加盐加密的数据。
本发明实施例中，作为一可选实施例，加密算法包括信息摘要算法、第五版信息摘要算法以及非对称算法。
本发明实施例中，作为一可选实施例，云服务平台为Azure平台，所述将压缩数据传输至云服务平台，包括：
利用Azure平台提供的串行SCSI连接访问方式，采用web推送方式，将加密压缩的数据推送至Azure平台。
数据处理方203，用于依据接收的云服务平台202的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台202拉取所述压缩数据；
所述独立处理单元，用于将从云服务平台202拉取的所述压缩数据进行解密解压后，传输至分布式集群204进行存储；
本发明实施例中，利用对加盐加密的数据进行加密压缩的密码进行解密。
所述独立处理单元，用于依据分布式集群204用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群204提交；
所述独立处理单元，用于接收所述分布式集群204依据所述集群数据计算任务进行计算返回的数据结算结果，进行加密压缩处理后传输至所述云服务平台202，通知所述数据提供方201从所述云服务平台202拉取所述数据结算结果。
本发明实施例中，作为一可选实施例，所述独立处理单元接收所述分布式集群依据所述集群数据计算任务进行计算返回的数据结算结果，包括：
所述分布式集群解析所述集群数据计算任务，获取所述存储的路径信息以及所述计算任务；
从所述存储的路径信息中，获取加盐加密的数据；
依据所述数据提供方预先通知所述分布式集群获取的数据集中，按照与所述待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；
针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从所述数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；
所述分布式集群依据所述集群数据计算任务，对所述数据计算集进行计算，得到数据结算结果，将所述数据计算结果传输至所述独立处理单元。
本发明实施例中，作为一可选实施例，所述独立处理单元还用于记录对所述待传输数据进行操作的单元操作日志；分布式集群204还用于记录对所述集群数据计算任务进行操作的分布操作日志，并向所述独立处理单元返回所述分布操作日志；所述独立处理单元还用于拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。
图3示出了本发明实施例所提供的数据的处理装置结构示意图。如图3所示，该装置包括：
加密数据获取模块301，用于接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
本发明实施例中，作为一可选实施例，加密数据获取模块301还用于：
依据接收的云服务平台的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台执行所述依据所述存储位置信息拉取所述压缩数据。
数据传输模块302，用于对所述加密数据进行解密后，传输至分布式集群进行存储；
本发明实施例中，作为一可选实施例，解密为解压缩处理，利用预先约定的压缩密码对加密数据进行解压操作，得到解压的加密数据，传输至分布式集群进行存储。
任务提交模块303，用于依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
本发明实施例中，基于数据所属的业务场景，编写具体数据计算任务处理逻辑，结合HDFS目录的路径信息，生成集群数据计算任务请求。
结算结果获取模块304，用于接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
本发明实施例中，作为一可选实施例，分布式集群解析集群数据计算任务请求，获取存储的路径信息以及计算任务；从存储的路径信息中，获取加盐加密的数据；依据数据提供方预先通知分布式集群获取的数据集中，按照与待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；对数据计算集进行计算，得到数据结算结果。
本发明实施例中，作为一可选实施例，该装置还包括：
日志记录模块(图中未示出)，用于记录对所述待传输数据进行操作的单元操作日志；
接收所述分布式集群记录的对所述集群数据计算任务进行操作的分布操作日志；
拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。
如图4所示，本申请一实施例提供了一种计算机设备400，用于执行图1中的数据的处理方法，该设备包括存储器401、与存储器401通过总线相连的处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述数据的处理方法的步骤。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述数据的处理方法。
对应于图1中的数据的处理方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述数据的处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述数据的处理方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据的处理方法，其特征在于，包括：
接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
对所述加密数据进行解密后，传输至分布式集群进行存储；
依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
2.根据权利要求1所述的方法，其特征在于，在所述接收数据提供方发送的云服务平台的存储位置信息之后，依据所述存储位置信息拉取加密数据之前，所述方法还包括：
数据处理方依据接收的云服务平台的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台执行所述依据所述存储位置信息拉取所述压缩数据。
3.根据权利要求1所述的方法，其特征在于，在接收数据提供方发送的云服务平台的存储位置信息之前，所述方法还包括：
对待传输数据进行加盐处理，得到加盐数据；
按照预先设置的加密算法，对加盐数据进行加密处理，得到加密数据，将所述加密数据传输至云服务平台进行存储。
4.根据权利要求3所述的方法，其特征在于，所述加密算法包括信息摘要算法、第五版信息摘要算法以及非对称算法。
5.根据权利要求3所述的方法，其特征在于，所述云服务平台为Azure平台，所述方法还包括：
利用Azure平台提供的串行SCSI连接访问方式，采用web推送方式，将所述加密数据推送至Azure平台。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，包括：
所述分布式集群解析所述集群数据计算任务请求，获取所述存储的路径信息以及所述计算任务；
从所述存储的路径信息中，获取加盐加密的数据；
依据所述数据提供方预先通知所述分布式集群获取的数据集中，按照与所述待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；
针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从所述数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；
所述分布式集群依据所述集群数据计算任务，对所述数据计算集进行计算，得到数据结算结果，将所述数据计算结果返回。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
记录对所述待传输数据进行操作的单元操作日志；
接收所述分布式集群记录的对所述集群数据计算任务进行操作的分布操作日志；
拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。
8.一种数据的处理装置，其特征在于，包括：
加密数据获取模块，用于接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；
数据传输模块，用于对所述加密数据进行解密后，传输至分布式集群进行存储；
任务提交模块，用于依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；
结算结果获取模块，用于接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211436415.4A CN115914264A (zh) | 2022-11-16 | 2022-11-16 | 一种数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211436415.4A CN115914264A (zh) | 2022-11-16 | 2022-11-16 | 一种数据的处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115914264A true CN115914264A (zh) | 2023-04-04 |
Family
ID=86480832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211436415.4A Pending CN115914264A (zh) | 2022-11-16 | 2022-11-16 | 一种数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914264A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116566750A (zh) * | 2023-07-11 | 2023-08-08 | 北京数牍科技有限公司 | 信息发送方法、装置、设备及计算机存储介质 |
-
2022
- 2022-11-16 CN CN202211436415.4A patent/CN115914264A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116566750A (zh) * | 2023-07-11 | 2023-08-08 | 北京数牍科技有限公司 | 信息发送方法、装置、设备及计算机存储介质 |
| CN116566750B (zh) * | 2023-07-11 | 2023-10-27 | 北京数牍科技有限公司 | 信息发送方法、装置、设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9397985B1 (en) | System and method for providing a cryptographic platform for exchanging information | |
| US10061907B2 (en) | File origin determination | |
| KR20170087663A (ko) | 클라이언트 단말을 위한 전자서명 대행 수행 장치 및 그 동작 방법 | |
| CN110351276B (zh) | 数据处理方法、设备及计算机可读存储介质 | |
| CN111143869A (zh) | 应用程序包处理方法、装置、电子设备及存储介质 | |
| CN108777685B (zh) | 用于处理信息的方法和装置 | |
| CN113498602B (zh) | 防止欺诈的计算机实现的方法、存储介质、设备及系统 | |
| US10063655B2 (en) | Information processing method, trusted server, and cloud server | |
| US20200153637A1 (en) | Information processing system, method for providing data, and method for building information processing system | |
| CN114223175B (zh) | 在防止获取或操控时间数据的同时生成网络数据的序列 | |
| CN106796763A (zh) | 秘密计算系统、中继装置、它们的方法、程序及记录介质 | |
| CN111753324A (zh) | 私有数据的处理方法、计算方法及所适用的设备 | |
| CN116662941B (zh) | 信息加密方法、装置、计算机设备和存储介质 | |
| JP2019079280A (ja) | ファイル検証装置、ファイル移行システムおよびプログラム | |
| CN115914264A (zh) | 一种数据的处理方法及装置 | |
| CN111228819B (zh) | 一种保护Shader的方法、装置和设备 | |
| CN111814166A (zh) | 一种数据加密方法、装置和电子设备 | |
| CN117240625A (zh) | 一种涉及防篡改的数据处理方法、装置及电子设备 | |
| KR102588555B1 (ko) | 다중 집계 서버를 사용하여 데이터 조작 방지 | |
| CN113656713A (zh) | 一种网络资源处理方法、装置及系统 | |
| KR102622665B1 (ko) | 블록체인 기반의 데이터 관리 방법 및 장치 | |
| US20210240840A1 (en) | Data protection using functional encryption | |
| CN109815715B (zh) | 一种数据加密方法和相关装置 | |
| CN116132041A (zh) | 密钥处理方法、装置、存储介质及电子设备 | |
| CN115941279A (zh) | 数据中用户标识的加解密方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |