CN109617980A - 去中心化大数据的分析方法及装置 - Google Patents
去中心化大数据的分析方法及装置 Download PDFInfo
- Publication number
- CN109617980A CN109617980A CN201811587681.0A CN201811587681A CN109617980A CN 109617980 A CN109617980 A CN 109617980A CN 201811587681 A CN201811587681 A CN 201811587681A CN 109617980 A CN109617980 A CN 109617980A
- Authority
- CN
- China
- Prior art keywords
- data
- data packet
- coding
- file
- decentralization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种去中心化大数据的分析方法及装置，包括：外部输入的数据，并进行存储；根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应利用公钥对所述数据进行加密，形成加密文件；向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。通过多个云服务器周期性的将传感数据同时分配给多个业务服务器，业务服务器根据执行任务对分配传感数据进行选用，实现去中心化的对大数据的分布式业务处理，提高对传感数据的分配效率。
Description
技术领域
本发明涉及大数据分析技术领域，具体而言，涉及一种去中心化大数据的分析方法及装置。
背景技术
大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理及处理的数据集合。
在维克托·迈尔-舍恩伯格及肯尼斯.库克耶编写的《大数据时代》中大数据指不用随机分析法，而采用所有数据进行分析处理。大数据分析是将所有数据进行统计及分析的技术，用于通过多个数据之间的已经或未知的关联性来进行获取或预测答案。
但是由于大数据分析技术的实施涉及传感数据的数据量及种类均较多；对大数据的分析及处理依靠单一的处理器难以为继。
发明内容
针对上述现有技术中存在的问题，本发明提供了一种去中心化大数据的分析方法及装置。
第一方面，本发明实施例提供了一种去中心化大数据的分析方法，应用于云服务器，所述方法包括：
接收外部输入的数据，并进行存储；
根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
利用公钥对所述数据进行加密，形成加密文件；
向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
进一步的，利用公钥对所述数据进行加密，形成加密文件，包括：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
进一步的，向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件之后，所述方法还包括：
当监测到所述数据包发送结束后，清除所述数据包。
进一步的，所述方法还包括：
监测所述云存储器的容量，当所有云存储器的容量在预设时间内均小于或者等于预设阈值时，将存储的所述数据全部传输给所述云服务器中剩余存储容量最大的云服务器。
第二方面，本发明实施例还提供了一种去中心化大数据的分析方法，应用于业务服务器群，所述方法包括：
监听并且下载所述云服务发出的数据包；
利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
第三方面，本发明实施例还提供了一种去中心化大数据的分析装置，应用于云服务器，所述装置包括：
接收模块，用于接收外部输入的数据，并进行存储；
编码模块，用于根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
加密模块，用于利用公钥对所述数据进行加密，形成加密文件；
通信模块，用于向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
进一步的，所述加密模块还用于：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
进一步的，所述装置还包括：
清除模块，用于当监测到所述数据包发送结束后，清除所述数据包。
第四方面，本发明实施例还提供了一种去中心化大数据的分析装置，应用于业务服务器，所述装置包括：
监听模块，用于监听并且下载所述云服务发出的数据包；
解密模块，用于利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
分析模块，用于根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
第五方面，本发明实施例提供了一种计算机存储介质，用于储存为第三方面和第四方面所述的装置所用的计算机软件指令。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种去中心化大数据的分析方法及装置，包括：外部输入的数据，并进行存储；根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应利用公钥对所述数据进行加密，形成加密文件；向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。通过多个云服务器周期性的将传感数据同时分配给多个业务服务器，业务服务器根据执行任务对分配传感数据进行选用，实现去中心化的对大数据的分布式业务处理，提高对传感数据的分配效率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例所提供的一种去中心化大数据的分析方法的流程图；
图2为本发明第二实施例所提供的一种去中心化大数据的分析方法的流程图；
图3为本发明第三实施例所提供的一种去中心化大数据的分析装置的结构框图；
图4为本发明第四实施例所提供的一种去中心化大数据的分析装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1所示的一种去中心化大数据的分析方法的流程图，该方法应用于云服务器，，具体包括如下步骤：
S101.接收外部输入的数据，并进行存储；
S102.根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
S103.利用公钥对所述数据进行加密，形成加密文件；
S104.向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
进一步的，利用公钥对所述数据进行加密，形成加密文件，包括：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
进一步的，向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件之后，所述方法还包括：
当监测到所述数据包发送结束后，清除所述数据包。
进一步的，所述方法还包括：
监测所述云存储器的容量，当所有云存储器的容量在预设时间内均小于或者等于预设阈值时，将存储的所述数据全部传输给所述云服务器中剩余存储容量最大的云服务器。
实施例二
参见图2所示的一种去中心化大数据的分析方法的流程图，该方法应用于业务服务器群，具体包括如下步骤：
S201.监听并且下载所述云服务发出的数据包；
S202.利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
S203.根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
实施例三
对于前述实施例所提供的去中心化大数据的分析方法，本发明实施例提供了一种去中心化大数据的分析的装置，应用于云服务器，参见图3所示的一种去中心化大数据的分析的装置的结构框图，该装置包括如下部分：
接收模块31，用于接收外部输入的数据，并进行存储；
编码模块32，用于根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
加密模块33，用于利用公钥对所述数据进行加密，形成加密文件；
通信模块34，用于向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
进一步的，所述加密模块还用于：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
进一步的，所述装置还包括：
清除模块35，用于当监测到所述数据包发送结束后，清除所述数据包。
实施例四
对于前述实施例所提供的去中心化大数据的分析方法，本发明实施例提供了一种去中心化大数据的分析的装置，应用于业务服务器群，参见图4所示的一种去中心化大数据的分析的装置的结构框图，该装置包括如下部分：
监听模块41，用于监听并且下载所述云服务发出的数据包；
解密模块42，用于利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
分析模块43，用于根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
本发明实施例还提供了一种计算机存储介质，用于储存为上述实施例提供的装置所用的计算机软件指令。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
需要说明的是，在本发明所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种去中心化大数据的分析方法，其特征在于，应用于云服务器，所述方法包括：
接收外部输入的数据，并进行存储；
根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
利用公钥对所述数据进行加密，形成加密文件；
向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
2.根据权利要求1所述的方法，其特征在于，利用公钥对所述数据进行加密，形成加密文件，包括：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
3.根据权利要求1所述的方法，其特征在于，向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件之后，所述方法还包括：
当监测到所述数据包发送结束后，清除所述数据包。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监测所述云存储器的容量，当所有云存储器的容量在预设时间内均小于或者等于预设阈值时，将存储的所述数据全部传输给所述云服务器中剩余存储容量最大的云服务器。
5.一种去中心化大数据的分析方法，其特征在于，应用于业务服务器群，所述方法包括：
监听并且下载所述云服务发出的数据包；
利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
6.一种去中心化大数据的分析装置，其特征在于，应用于云服务器，所述装置包括：
接收模块，用于接收外部输入的数据，并进行存储；
编码模块，用于根据预设规则对所述数据进行编码，所述编码与处理所述数据的不同业务服务器相对应；
加密模块，用于利用公钥对所述数据进行加密，形成加密文件；
通信模块，用于向所述业务服务器群组发送数据包，其中，所述数据包包含所述加密文件和包含所述编码的头部文件。
7.根据权利要求6所述的装置，其特征在于，所述加密模块还用于：
利用公钥以ElGamal算法所述数据进行加密，形成加密文件。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
清除模块，用于当监测到所述数据包发送结束后，清除所述数据包。
9.一种去中心化大数据的分析装置，其特征在于，应用于业务服务器，所述装置包括：
监听模块，用于监听并且下载所述云服务发出的数据包；
解密模块，用于利用所述公钥对所述数据包中的加密文件进行解密，得到所述数据；
分析模块，用于根据所述头部文件中的编码将所述数据分配给所述编码对应的业务服务器，使其对所述数据进行分析。
10.一种计算机存储介质，其特征在于，用于储存为权利要求6至9任意一项所述的装置所用的计算机软件指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811587681.0A CN109617980B (zh) | 2018-12-24 | 2018-12-24 | 去中心化大数据的分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811587681.0A CN109617980B (zh) | 2018-12-24 | 2018-12-24 | 去中心化大数据的分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109617980A true CN109617980A (zh) | 2019-04-12 |
| CN109617980B CN109617980B (zh) | 2021-12-14 |
Family
ID=66012176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811587681.0A Active CN109617980B (zh) | 2018-12-24 | 2018-12-24 | 去中心化大数据的分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109617980B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001016704A2 (en) * | 1999-08-31 | 2001-03-08 | Accenture Llp | System, method, and article of manufacture for a request sorter in a transaction services patterns environment |
| CN107426266A (zh) * | 2017-03-14 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 数据处理方法和服务器 |
| CN108231149A (zh) * | 2018-02-05 | 2018-06-29 | 深圳市是源医学科技有限公司 | 孕期健康信息推送方法、系统、计算机设备和存储介质 |
| CN108366066A (zh) * | 2018-02-12 | 2018-08-03 | 启迪国信科技有限公司 | 一种自动化社区的数据传输方法及系统 |
| US20180278612A1 (en) * | 2017-03-22 | 2018-09-27 | Oracle International Corporation | Techniques for implementing a data storage device as a security device for managing access to resources |
| CN108667933A (zh) * | 2018-05-11 | 2018-10-16 | 星络科技有限公司 | 连接建立方法、连接建立装置及通信系统 |
-
2018
- 2018-12-24 CN CN201811587681.0A patent/CN109617980B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001016704A2 (en) * | 1999-08-31 | 2001-03-08 | Accenture Llp | System, method, and article of manufacture for a request sorter in a transaction services patterns environment |
| CN107426266A (zh) * | 2017-03-14 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 数据处理方法和服务器 |
| US20180278612A1 (en) * | 2017-03-22 | 2018-09-27 | Oracle International Corporation | Techniques for implementing a data storage device as a security device for managing access to resources |
| CN108231149A (zh) * | 2018-02-05 | 2018-06-29 | 深圳市是源医学科技有限公司 | 孕期健康信息推送方法、系统、计算机设备和存储介质 |
| CN108366066A (zh) * | 2018-02-12 | 2018-08-03 | 启迪国信科技有限公司 | 一种自动化社区的数据传输方法及系统 |
| CN108667933A (zh) * | 2018-05-11 | 2018-10-16 | 星络科技有限公司 | 连接建立方法、连接建立装置及通信系统 |
Non-Patent Citations (2)
| Title |
|---|
| MOHAMED HAMDY ELDEFRAWY; KHALED ALGHATHBAR: ""Hardcopy Document Authentication Based on Public Key Encryption and 2D Barcodes"", 《2012 INTERNATIONAL SYMPOSIUM ON BIOMETRICS AND SECURITY TECHNOLOGIES》 * |
| 解福: ""云计算环境中认证与密钥协商关键技术研究"", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109617980B (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867018B2 (en) | Secure computation system, secure computation device, secure computation method, and program | |
| CN109948347B (zh) | 一种数据存储方法及装置、服务器及可读存储介质 | |
| CN110661748B (zh) | 一种日志的加密方法、解密方法及装置 | |
| CN104301130B (zh) | 监控数据采集方法和系统及任务分发服务器和采集装置 | |
| RU2015132628A (ru) | Усовершенствованный потоковый способ и система обработки сетевых метаданных | |
| CN101815033A (zh) | 负载均衡的方法、设备及系统 | |
| US11005925B2 (en) | Load balancing with power of random choices | |
| CN112100679B (zh) | 基于隐私保护的数据处理方法、装置和服务器 | |
| US11356342B2 (en) | Methods and apparatus for optimizing bandwidth consumption in support of intense network-wise health assessment | |
| CN112073444B (zh) | 数据集的处理方法、装置和服务器 | |
| CN111767411A (zh) | 知识图谱表示学习优化方法、设备及可读存储介质 | |
| CN114065231A (zh) | 基于边缘计算和区块链的可信数据管理方法、装置及系统 | |
| CN110941823A (zh) | 威胁情报获取方法及装置 | |
| CN104065538A (zh) | 网络性能的测量控制方法、控制服务器和系统 | |
| CN111859127A (zh) | 消费数据的订阅方法、装置及存储介质 | |
| CN103581317A (zh) | 一种网络资源共享的方法 | |
| CN103024056B (zh) | 数据处理方法、负载均衡器及云系统 | |
| Sukanya et al. | Integration of wireless sensor networks and mobile cloud-A survey | |
| WO2021133254A1 (en) | Method and system for robotic process automation | |
| CN108833102A (zh) | 数据分布存储方法、装置、存储介质及电子设备 | |
| CN109617980A (zh) | 去中心化大数据的分析方法及装置 | |
| US20190129737A1 (en) | Virtual private cloud services with physical machine servers and virtual machines | |
| US20160182452A1 (en) | Systems and methods of geo-location based community of interest | |
| CN105357100A (zh) | 即时通信群组成员的优先级获取方法及装置 | |
| CN108347355A (zh) | 一种应用状态的检测方法及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |