CN107395587B - 一种基于多点协作机制的数据管理方法及系统 - Google Patents

一种基于多点协作机制的数据管理方法及系统 Download PDF

Info

Publication number
CN107395587B
CN107395587B CN201710586055.9A CN201710586055A CN107395587B CN 107395587 B CN107395587 B CN 107395587B CN 201710586055 A CN201710586055 A CN 201710586055A CN 107395587 B CN107395587 B CN 107395587B
Authority
CN
China
Prior art keywords
data
node
current value
nodes
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710586055.9A
Other languages
English (en)
Other versions
CN107395587A (zh
Inventor
陈建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing MSI best money network technology Co., Ltd.
Original Assignee
Beijing Msi Best Money Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Msi Best Money Network Technology Co Ltd filed Critical Beijing Msi Best Money Network Technology Co Ltd
Priority to CN201710586055.9A priority Critical patent/CN107395587B/zh
Publication of CN107395587A publication Critical patent/CN107395587A/zh
Application granted granted Critical
Publication of CN107395587B publication Critical patent/CN107395587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Storage Device Security (AREA)
  • Computer And Data Communications (AREA)
  • Small-Scale Networks (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于多点协作机制的数据管理方法及系统,云端节点接收来自本地设备的数据,并将所述数据存储在多个存储节点中。基于多点协作机制,本发明实现了大规模数据的存储管理,有效防止了数据的泄漏、恶意篡改或非法查阅,极大地保证了数据的安全性,特别是为资产交易、数据流通等提供了公正、可信的执行环境。

Description

一种基于多点协作机制的数据管理方法及系统
技术领域
本发明涉及数据安全领域,尤其涉及一种基于多点协作机制的数据管理方法及系统。
背景技术
随着科技的发展、互联网信息化的蓬勃发展,人们在工作或生活中所产生和记录的数据越来越多,各个领域通常都建立数据库来存储并管理这些数据,这些数据包括但不限于音视频数据、计算机数据、电子政务信息、资产信息(例如,商品或服务储值卡数据)等。
当前,主要采取本地或远程方式来集中存储并管理这些数据。例如,PC电脑、移动终端等设备存储管理数据,或者基于传统网络系统架构(例如客户端/服务器模式或者浏览器/服务器模式)存储管理数据。虽然集中存储这些数据满足了用户便利性的需求,但存储服务器成为系统性能的瓶颈,不能满足大规模存储应用的需要。另外,数据的安全性也是亟待解决的问题。
现有的安全措施着重于加强网络防火墙的入侵难度和系统的加密性,使网络攻击难以入侵或篡改保存于计算机、移动终端或服务器上的数据。但是,现有网络攻击往往会轻易突破网络防火墙,破解计算机、移动终端或服务器上的密码,导致数据的泄露或者篡改,给用户或服务提供者造成巨大损失。此外,集中化的存储还存在着不能防内的问题,某个内部人员也会轻易泄露或篡改数据。例如,对于类似储值卡数据之类的有价资产,恶意的木马程序、黑客组织等经常主动攻击商户或相关服务商,以求篡改储值卡数据从而非法获利,而且,商户或相关服务商的某个内部人员也会轻易泄露或篡改储值卡数据从而非法获利。尤其在现如今的大数据时代,网络安全的重要性更是不言而喻。因此,如何提供一种安全的数据管理方法,保证数据的安全性,是本领域中急需解决的问题。
发明内容
为了解决上述问题,本发明的主要目的在于提供一种基于多点协作机制的数据管理方法及系统,能够实现大规模数据的存储管理,有效防止了数据的泄漏、恶意篡改或非法查阅,极大地保证了数据的安全性,特别是为资产交易、数据流通等提供了公正、可信的执行环境。
根据本发明的一个方面,本发明提供了一种基于多点协作机制的数据管理方法,包括:步骤1,云端节点接收来自本地设备的数据;步骤2,云端节点将所述数据存储在多个存储节点中。
优选地,所述方法进一步包括:步骤11,云端节点的成员节点之一接收来自本地设备的数据,判断所述数据是否为原始数据,若是,选定所述原始数据的当值节点;步骤12,所述当值节点接收到所述原始数据后,确定所述原始数据的多个存储节点;步骤13,所述多个存储节点对是否准许数据管理进行授权,以产生授权信息,所述多个存储节点将授权信息添加到原始数据中,并向当值节点发送添加了授权信息的原始数据;步骤14,所述当值节点根据存储节点的授权数量判断数据管理是否通过,若通过,则当值节点基于原始数据生成管理后的数据,若不通过,则放弃此次数据管理;步骤15,将管理后的数据存储在所述多个存储节点中。
优选地,步骤11进一步包括:依据可信度排序选定当值节点,由云端节点的节点推荐选定当值节点或者根据节点负载选定当值节点;步骤12进一步包括:在当值节点接收到所述原始数据后,当值节点依据原始数据的属性信息,生成唯一标识所述原始数据的数据标识,生成数据标识与当值节点ID的对应表,并向本地设备返回所述数据标识。
优选地,存储在多个存储节点中进一步包括:当值节点依据数据-地址映射算法建立数据-地址映射关系,将整个数据分别存储在多个存储节点中;或者当值节点将所述数据拆分为多个子数据,依据数据-地址映射算法建立数据-地址映射关系,将多个子数据分别存储在多个存储节点中。
优选地,所述方法进一步包括:步骤21,云端节点的成员节点之一接收来自本地设备的数据,判断所述数据是否为原始数据,若不是,确定所述数据的当值节点;步骤22,当值节点接收到所述数据后,依据数据-地址映射算法查找所述数据的多个存储节点;步骤23,所述多个存储节点对是否准许数据管理进行授权,以产生授权信息,所述多个存储节点将授权信息添加到数据中,并向当值节点发送添加了授权信息的数据;步骤24,所述当值节点根据数据对应的存储节点的授权数量判断数据管理是否通过,若通过,则当值节点将管理后的数据存储在所述多个存储节点中,若不通过,则放弃所述数据,向所述本地设备返回管理失败消息。
优选地,所述方法进一步包括:步骤a,识别所接收的数据,依据数据-地址映射函数Y(t)计算所接收的数据的映射地址,Y(t)=x;步骤b,判断MappingTable[x]是否为空,如果结果为是,则确定地址错误,返回步骤a重新计算映射地址,如果结果为否,则转入步骤c;步骤c,比较MappingTable[x]=t,如果比较结果为是,则确定地址正确,即查找出了存储节点,否则,则确定地址错误,返回步骤a重新计算映射地址,其中,x是存储数据的存储节点的地址,t是所接收的数据本身、数据的属性信息或者数据的数据标识。
优选地,仅当授权数量等于全部存储节点数量时,将数据管理判断为通过。
优选地,所述数据为储值卡数据。
根据本发明的另一方面,本发明提供了一种基于多点协作机制的数据管理系统,包括本地设备和云端节点,其中,所述数据管理系统用于执行上述数据管理方法。
优选地,所述数据管理系统还包括网关设备。
本发明提供的基于多点协作机制的数据管理方法及系统,实现了大规模数据的存储管理,有效防止了数据的泄漏、恶意篡改或非法查阅,极大地保证了数据的安全性,特别是为资产交易、数据流通等提供了公正、可信的执行环境。同时,本发明结构简单,即可为用户单独构建上述数据管理系统,也可与现有数据平台或客户端无缝对接,在现有数据平台或客户端中增添新的功能,提升了数据管理的便利性。
附图说明
下面,结合附图和实施例对本发明作出进一步地描述,其中,
图1是图示本发明的云端节点的示意图;
图2是图示本发明的基于多点协作机制的数据管理方法的流程图;
图3是图示本发明的数据-地址映射关系的示意图;
图4是图示本发明的基于多点协作机制的数据生成方法的流程图;
图5是图示本发明的基于多点协作机制的数据修改方法的流程图;以及
图6是图示本发明的基于多点协作机制的数据管理系统的示意图。
具体实施方式
下面,将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。本领域普通技术人员基于本发明实施例所获得的任意改变或替代,都落入本发明保护的范围。
本发明的主要思想是用云端节点代替现有存储方式,在云端节点处通过多点协作机制实现数据的管理。多点协作是指云端节点的多个成员节点之间协同作用,共同参与数据管理。通过多点协作机制,能够实现大规模数据的存储管理,有效防止数据的泄漏、恶意篡改或非法查阅,极大地保证数据的安全性。
图1是图示本发明的云端节点的示意图。云端节点由多个成员节点构成,因而云端节点也可被称为节点池。图1为了示意性举例,示出了1-9,…,N个成员节点,出于安全性考虑,本发明中基于多点协作机制的成员节点的数量应不少于三个,优选五个以上。而且,云端节点可以增加或删除成员节点,随着成员节点的添加或删除,相应成员节点存储的数据也会及时更新或备份。成员节点之间可以相互连接也可以部分连接,成员节点之间可以直接通信也可以间接通信,本发明不做具体限定。如图1所示,成员节点1与节点池内的其他成员节点2-N均直接连接,而成员节点2仅与成员节点1、3、7、N连接。本发明中,云端节点的每一个成员节点均具有节点ID,且该节点ID在云端节点内是唯一的。
图2是本发明的基于多点协作机制的数据管理方法的流程图。如图2所示,该方法包括如下步骤:
步骤1,云端节点接收来自本地设备的数据。
进一步地,在云端节点的任一成员节点接收到数据后,选定该数据的当值节点,如果接收数据的成员节点不是该数据的当值节点,则将该数据传送至当值节点。本发明中,当值节点是云端节点的成员节点之一,是指负责当前数据管理的节点。当值节点可以是依据可信度排序选定的节点,由成员节点推荐选定的节点,根据节点负载选定的节点,或者本地设备指定的节点。
进一步地,在选定该数据的当值节点之前,接收数据的成员节点判断该数据是否是原始数据(也称初始数据,是指被判断为之前未出现过的数据),如果是,则在选定当值节点后,当值节点依据数据的属性信息,生成唯一标识所述数据的数据标识。数据的属性信息例如但不限于本地设备IP、本地设备MAC地址、数据来源、数据创建时间、数据名称、编号、数据大小、数据类型等各种属性信息。随后,当值节点向本地设备返回上述数据标识或者当值节点的节点ID,以便针对同一数据的后续处理中,本地设备将数据标识或者当值节点的节点ID封装在数据中发送至云端节点,云端节点依据数据标识或者当值节点的节点ID查找出该数据对应的当值节点。这样封装的数据标识或者当值节点的节点ID,使得云端节点能够在同一数据的后续处理中基于该数据标识或者当值节点的节点ID查找出数据对应的当值节点,避免了重复选定当值节点所引起的资源浪费或数据丢失等问题。
另外,当值节点也可以不生成新的数据标识,例如,如果数据的属性信息本身能够唯一标识所述数据,则直接将属性信息本身作为数据标识。例如,对于含有编号“1234567890”的数据,当值节点直接将该编号作为数据标识;又例如,对于含有MAC地址“XX-XX-XX-XX-XX-XX”、创建时间“2015年10月11日,10:30:05”的数据,当值节点可以依据这两个属性信息生成新的数据标识,也可以直接将这两个属性信息作为数据标识,从而依据这两个属性信息或者数据标识,查找出数据对应的当值节点。
优选地,在获取数据标识之后,当值节点向其他成员节点广播数据标识与节点ID的对应表,其他成员节点在数据库中存储该数据标识与节点ID的对应表。当本地设备将数据发送至云端节点时,成员节点之一接收到该数据,该成员节点在其数据库中查找与依据数据的属性信息所获取的数据标识相同的数据标识,从而查找出该数据对应的当值节点。另选地,当值节点不向其他成员节点广播该数据标识。当成员节点之一接收到数据时,判断自身节点是否为该数据的当值节点,如果是,则执行后续处理,如果不是,则向云端节点的其他成员节点广播该数据的数据标识,以便确定该数据对应的当值节点。响应于此,其他成员节点将广播的数据标识与自身存储的数据标识进行比较,然后,该数据对应的当值节点以单播方式传送确认消息至接收数据的成员节点,以便告知其是当前数据的当值节点,其他成员节点抑制传送任何消息,以便避免不必要的通信。随后,接收数据的成员节点将数据传送至其当值节点。
其中,如果直接将数据的属性信息作为数据标识,则无需当值节点返回数据标识或者当值节点ID。此外,如果当值节点是本地设备指定的,无需当值节点生成数据标识并返回数据标识或者当值节点ID,而是直接在数据中指定相应当值节点,例如嵌入当值节点ID,以便当值节点直接接收该数据。
优选地,当值节点仅返回上述数据标识,这样,防止了本地设备知晓当值节点所在,避免了木马程序或黑客直接攻击当值节点,进一步提升了数据的安全性。
优选地,当值节点与其他成员节点之间传送心跳信号,以确定节点之间是否能够正常通信。
在另一实施例中,为了确保遭遇灾害时保证数据管理系统正常运行,防止云端节点内数据丢失所引起的问题,本发明在云端节点内引入容灾备份技术,每个成员节点均有相应的一个或多个备份节点。当云端节点中的某一个成员节点故障时,通过故障节点的路由备份,将相应数据处理转移到该故障节点的备份节点上,从而实现系统的安全容灾。
步骤2,云端节点将数据存储在多个节点中。
下文中,为了便于描述这些存储数据的节点,将这些存储数据的节点称为存储节点。
其中,当值节点接收到原始数据后,基于成员节点的可信度排序,选择可信度高的成员节点作为存储节点,或者当值节点随机确定存储节点。本发明实施例中,存储节点可以包括当值节点也可以不包括当值节点,此外,存储节点可以是全部成员节点,也可以是部分成员节点,本发明中不做具体限定。例如,当值节点1可以将节点1-N作为存储节点,也可以将节点1、3、5、7、8或节点2-8作为存储节点。而当值节点2将节点1、3、7、N作为存储节点。出于安全性考虑,本发明中基于多点协作机制的存储节点的数量应不少于三个,优选五个以上。
优选地,在上述步骤2之前,当值节点对接收到的数据进行隐匿转换,仅能通过存储节点转换经隐匿转换的数据,从而避免了未存储该数据的其他成员节点查阅或获取该数据,进而增加了数据的隐密性。
具体地,云端节点可以采用但不限于以下两种方式实现数据的存储:
第一种存储方式,当值节点接收到数据后,依据数据-地址映射算法建立数据-地址映射关系,将整个数据分别存储在多个存储节点中。第一种存储方式适用于小尺寸数据的存储。
第二种存储方式,当值节点接收到数据后,将该数据拆分为多个子数据,依据数据-地址映射算法建立数据-地址映射关系,将多个子数据分别存储在多个存储节点中。第二种存储方式特别适用于大规模数据或海量数据的存储,采用多个节点存储的方式,实现了大规模数据的存储管理。
当值节点依据数据-地址映射算法建立数据-地址映射关系,根据该映射关系,当值节点可以确定出存储数据的多个存储节点,实现了地址的快速查找,增加了数据存储的安全性,这将在下文中详述。
图3是图示本发明的数据-地址映射关系的示意图。数据-地址映射算法是用一定的函数关系对数据进行计算,进而得到该数据的存储地址的技术。本发明实施例中,建立如图3所示的数据-地址映射表(MappingTable),将数据和地址一一对应的存储在上述映射表中,在查找地址时,通过映射函数Y(t),可以完成数据到地址的映射x=Y(t)。其中,x是存储数据的存储节点的地址,t是数据本身、数据的属性信息或者数据的数据标识。利用数据的属性信息或者数据的数据标识,能够减小数据-地址映射表的大小,节省当值节点的存储空间。
以下将具体描述使用数据-地址映射算法查找数据存储地址的过程。
步骤a,识别数据t,依据数据-地址映射函数计算t的映射地址,Y(t)=x;
步骤b,判断MappingTable[x]是否为空,如果结果为是,则确定地址错误,返回步骤a重新计算映射地址,否则,如果结果为否,则转入步骤c;
步骤c,比较MappingTable[x]=t,如果比较结果为是,则确定地址正确,即查找出了数据存储地址,否则,则确定地址错误,返回步骤a重新计算映射地址。
利用上述算法,大大减少了地址查找所需的时间,提高了地址查询的效率。其中,数据-地址映射表中的地址可以是地址的集合。另外,为了进一步减小数据-地址映射表的存储空间,数据-地址映射表中的地址可以是一个引用地址,即地址的索引,而将该索引所对应的详细地址存储于其他存储空间中。数据-地址映射表中的地址可以采用预定长度的方式进行设置,预先为地址的索引设置固定长度的地址存储空间。例如,采用索引“1358”指向成员节点1、3、5、8,或者采用索引“01001”指向成员节点1-5。
优选地,数据-地址映射表中采用一比特来标识该地址空间是否被占用,如“1”表示该地址空间被占用,“0”表示该地址空间未被占用。
以下将结合具体实施例对云端节点处的基于多点协作机制的数据管理操作进行描述,针对该数据是不是原始数据,下文将从两方面描述数据管理操作。下文中的基于多点协作机制的数据管理可以包括数据生成、数据修改、数据下载、数据查阅等,数据修改包括数据改动、数据删除、数据增添等修改方式。以下的这些实施例并不排除上文所描述的实施例,相反,如无矛盾之处,这些实施例引用或延续上文所描述的实施例。
本发明中,所述数据可以被用于政府机关、计算机、移动互联网、医疗、金融、教育、社交等各种行业,包括但不限于政府服务部门、企业、高校、电商平台、商超便利、餐饮服务、物品租赁、美容及个人护理行业、运动健身、游戏文娱等多种类别。进一步地,所述数据可以是任意可流通或者可变动的数据,包括但不限于音视频数据、计算机数据、电子政务信息、资产信息(例如,商品或服务储值卡)等。
图4是图示本发明实施例的基于多点协作机制的原始数据管理方法的流程图。由于该数据为原始数据,以下仅以云端节点处的数据生成为例进行描述,下文的数据生成适用于任何原始数据的管理操作。如图4所示,该数据生成方法包括:
步骤11,云端节点的成员节点之一接收来自本地设备的数据,判断该数据是否为原始数据,若是,选定该原始数据的当值节点;
步骤12,当值节点接收到原始数据后,确定该原始数据的多个存储节点;
步骤13,各个存储节点对是否准许数据生成进行授权,以产生授权信息,存储节点将授权信息添加到原始数据中,并向当值节点发送添加了授权信息的原始数据;
步骤14,当值节点根据存储节点的授权数量判断最终数据生成是否通过,若通过,则当值节点基于原始数据生成最终数据,若不通过,则放弃数据生成;
步骤15,将生成的最终数据存储在存储节点中。
其中,当值节点可以基于成员节点的可信度排序,将可信度高的成员节点确定为存储节点,或者当值节点可以随机确定存储节点,也可以是本地设备指定的存储节点。优选地,存储节点包括当值节点本身,在统计存储节点的授权数量时,当值节点还统计自身的授权信息。可选地,存储节点不包括当值节点本身。本发明中,出于安全性考虑,存储节点数量不少于三个,优选五个以上。这种多点协作机制的特点,使得云端节点非常适宜构建分散管理系统,极大提升了系统的安全性。
在确定出存储节点后,当值节点依据数据-地址映射算法建立数据-地址映射关系,以在查找数据对应地址时,基于数据-地址映射函数查找出该数据对应的地址,上述过程如上文所述。
优选地,步骤13进一步包括,存储节点产生授权信息后,利用私钥对授权信息进行加密。相应地,步骤14进一步包括,当值节点利用公钥解密添加了授权信息的原始数据,以确定原始数据对应的存储节点的授权数量。通过上述加解密过程,避免了不相关节点对存储节点的授权信息的恶意篡改或非法授权,增加了数据的安全性。
优选地,步骤14中,仅当授权数量等于全部存储节点数量时,将最终数据生成判断为通过,否则判断为不通过。此外,也可预定阈值,仅当授权数量超过预定阈值时,将最终数据生成判断为通过,否则判断为不通过。
在本发明另一实施例中,在当值节点统计出授权数量后,存储节点删除授权信息。另选地,在步骤12之后,在确定出存储节点之后,判断存储节点中是否存在授权信息,如存在,则删除授权信息,从而避免重复授权而造成当值节点错误地统计授权数量。上述过程避免了某一个或一部分存储节点的恶意授权,保证了数据的安全性。
进一步地,步骤15中的存储采用上文中所述的两种存储方式进行存储。
下文以计算机文件或储值卡数据为例,简述基于多点协作机制的数据生成的过程。
对于计算机文件,本地设备基于该计算机文件生成原始数据。该原始数据可以包括本地设备MAC地址、文件名、文件创建时间、文件本身等,本发明并不做具体限定。对于储值卡数据,消费者购买储值卡之后,本地设备基于储值卡信息生成原始数据。该原始数据可以包括储值卡编号、持有人姓名、商户信息、储值余额、商品或服务的使用期限、商品或服务的使用次数、数字货币、商品数量、数字货币、支付方式、支付密码等其中多个,本发明并不做具体限定。本地设备将原始数据传送至云端节点以选定该原始数据的当值节点。当值节点接收到原始数据后,确定5个原始数据的存储节点。这5个存储节点对数据生成进行授权以产生授权信息,并将授权信息添加到原始数据中,向当值节点发送添加了授权信息的原始数据。当值节点统计授权数量,在授权数量为5个时,确定计算机文件或储值卡数据的生成为通过,当值节点将生成的计算机文件或储值卡数据存储在这5个存储节点中,若不通过,则放弃数据生成。
在云端节点存储原始数据后,本地设备可以对数据进行修改、下载、查阅等各种管理操作。以下仅以数据修改为例描述云端节点处的数据管理操作,下文的数据修改适用于任何数据管理操作。
图5是图示本发明实施例的基于多点协作机制的数据修改方法的流程图。如图5所示,该数据修改方法包括:
步骤21,云端节点的成员节点之一接收来自本地设备的数据,判断该数据是否为原始数据,若不是,确定该数据的当值节点;
步骤22,当值节点接收到数据后,依据数据-地址映射算法查找该数据的存储节点;
步骤23,各个存储节点对是否准许数据修改进行授权,以产生授权信息,并将授权信息添加到数据中,向当值节点发送添加了授权信息的数据;
步骤24,当值节点根据数据对应的存储节点的授权数量判断数据修改是否通过,若通过,则当值节点将修改后的数据存储在存储节点中,若不通过,则放弃该数据,向本地设备返回修改失败消息。
进一步地,步骤21中,依据数据中的数据标识或属性信息,确定数据对应的当值节点,确定当值节点的步骤如上文所述。步骤23中,当值节点检测当前数据与之前数据的区别,之前数据是指针对同一类型数据的上一次数据。出于安全性考虑,存储节点的每一个均检测当前数据与之前数据的区别,并对是否准许数据修改进行授权。步骤24中,仅当授权数量等于全部存储节点数量时,将数据修改判断为通过,否则判断为不通过。此外,也可预定阈值,仅当授权数量超过预定阈值时,将数据修改判断为通过,否则判断为不通过。
优选地,步骤23中,当值节点依将整个数据分别存储在多个存储节点中;或者当值节点将所述数据拆分为多个子数据,将多个子数据分别存储在多个存储节点中。
优选地,步骤23进一步包括,存储节点产生授权信息后,利用私钥对授权信息进行加密。相应地,步骤24进一步包括,当值节点利用公钥解密添加了授权信息的数据,以确定存储节点的授权数量。通过上述加解密过程,避免了不相关节点对存储节点的授权信息的恶意篡改或非法授权,增加了数据的安全性。
本发明中,如果来自本地设备的数据被篡改,篡改后的数据被传送至其当值节点,存储节点的每一个均检测当前数据与之前数据的区别,并对是否准许数据修改进行授权。依据上述过程,基于多点协作机制,仅在全部存储节点一致授权的情况下才进行数据修改,有效防止了数据篡改,保证了数据的安全性。
以下还以计算机文件或储值卡数据为例,简述基于多点协作机制的数据修改的过程。
云端节点的成员节点之一依据数据中的数据标识或属性信息,例如,计算机文件的本地设备MAC地址、文件名及文件创建时间等或者储值卡数据的储值卡编号等,确定数据对应的当值节点,如当值节点1。当值节点接收到数据后,根据数据-地址映射算法,查找该数据的存储节点,如节点1-5。存储节点1-5对是否准许数据修改进行授权以产生授权信息,并将授权信息添加到数据中,向当值节点发送添加了授权信息的数据。当值节点判断添加了授权信息的数据是否来自存储节点1-5,并根据存储节点的授权数量判断数据修改是否通过,即当值节点统计授权数量,在授权数量为5个时,判断计算机文件或储值卡数据的修改为通过,将修改后的数据存储在存储节点中,若授权数量少于5个,则拒绝修改该数据,向本地设备返回修改失败消息。
此时,如果有恶意的木马程序、黑客组织或某个内部人员在本地设备上篡改数据,基于本发明的多点协作机制,在存储节点1-5未全部授权数据修改的情况下,云端节点会拒绝修改数据,从而防止了木马程序、黑客组织或某个内部人员的恶意篡改,提升了数据的安全性。同时,基于多点协作机制,为资产交易、数据流通等提供了公正、可信的执行环境。
此外,本发明的多点协作机制同样适用于数据的下载、查阅等管理操作,仅在全部存储节点一致授权或授权数量超过预定阈值的情况下才允许数据的下载、查阅等管理操作,从而有效防止了数据的泄露,保证了数据的安全性。
图6是图示本发明基于多点协作机制的数据管理系统的示意图。该数据管理系统用于实现上文所描述的数据管理方法,该数据管理系统包括本地设备及云端节点。本发明即可为用户单独构建上述数据管理系统,也可与现有数据平台或客户端无缝对接,在现有数据平台或客户端中增添云端节点,保证了数据的安全性。
其中,本地设备用于生成数据,并将数据发送至云端节点。本地设备可以包括但不限于移动终端、计算机、收银系统等任何电子设备。进一步地,本地设备可以是多个本地设备,这些本地设备是不同类型的本地设备,多个本地设备与云端节点相通信。
云端节点由多个成员节点构成,用于接收来自本地设备的数据,并基于多点协作机制对数据进行存储和管理。其中,如上文所述,针对每一数据还存在对应的当值节点和存储节点。下文以节点作为当值节点、成员节点和存储节点的角度描述了各个成员节点的示意性结构,可以根据实际需要而选择其中部分或全部模块来实现上文所述的数据管理方法。
其中,成员节点可以包括接收模块10,判断模块20,处理模块30,存储模块40和发送模块50。
其中,接收模块10,用于接收数据,数据可以是来自本地设备的数据,也可以是来自其他成员节点的数据;
判断模块20,用于判断接收的数据是否是原始数据,若是,则选定该原始数据的当值节点,若不是,则查找该接收的数据的当值节点;
处理模块30,用于确定原始数据的存储节点,或者用于查找该接收的述的存储节点;处理模块30还用于决定是否准许授权以产生授权信息;处理模块30还用于根据数据-地址映射函数查找数据对应的存储节点;处理模块30还用于基于授权数量决定数据管理操作是否通过,等等。
存储模块40,用于存储数据,此外,存储模块40还用于存储数据-地址映射表。
发送模块50,用于发送数据。例如,发送模块可以向其他成员节点发送数据,也可以向本地设备发送数据。
可选地,成员节点还包括加解密模块,用于对传输的数据或信息进行加解密。
进一步地,该数据管理系统还包括网关设备,实现本地设备与云端节点的通信。
本发明提供的基于多点协作机制的数据管理方法及系统,实现了大规模数据的存储管理,有效防止了数据的泄漏、恶意篡改或非法查阅,极大地保证了数据的安全性,特别是为资产交易、数据流通等提供了公正、可信的执行环境。同时,本发明结构简单,即可为用户单独构建上述数据管理系统,也可与现有数据平台或客户端无缝对接,在现有数据平台或客户端中增添新的功能,提升了数据管理的便利性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于多点协作机制的数据管理方法,包括:
步骤1,云端节点接收来自本地设备的数据;
步骤2,云端节点将所述数据存储在多个存储节点中;
还进一步包括:
步骤11,云端节点的成员节点之一接收来自本地设备的数据,判断所述数据是否为原始数据,若是,选定所述原始数据的当值节点;
步骤12,所述当值节点接收到所述原始数据后,确定所述原始数据的多个存储节点;
步骤13,所述多个存储节点对是否准许数据管理进行授权,以产生授权信息,所述多个存储节点将授权信息添加到原始数据中,并向当值节点发送添加了授权信息的原始数据;
步骤14,所述当值节点根据存储节点的授权数量判断数据管理是否通过,若通过,则当值节点基于原始数据生成管理后的数据,若不通过,则放弃此次数据管理;
步骤15,将管理后的数据存储在所述多个存储节点中。
2.如权利要求1所述的数据管理方法,其中,
步骤11进一步包括:依据可信度排序选定当值节点,由云端节点的节点推荐选定当值节点或者根据节点负载选定当值节点;
步骤12进一步包括:在当值节点接收到所述原始数据后,当值节点依据原始数据的属性信息,生成唯一标识所述原始数据的数据标识,生成数据标识与当值节点ID的对应表,并向本地设备返回所述数据标识。
3.如权利要求1所述的数据管理方法,其中,存储在多个存储节点中进一步包括:
当值节点依据数据-地址映射算法建立数据-地址映射关系,将整个数据分别存储在多个存储节点中;或者
当值节点将所述数据拆分为多个子数据,依据数据-地址映射算法建立数据-地址映射关系,将多个子数据分别存储在多个存储节点中。
4.如权利要求1-3任一项所述的数据管理方法,其中,所述方法进一步包括:
步骤21,云端节点的成员节点之一接收来自本地设备的数据,判断所述数据是否为原始数据,若不是,确定所述数据的当值节点;
步骤22,当值节点接收到所述数据后,依据数据-地址映射算法查找所述数据的多个存储节点;
步骤23,所述多个存储节点对是否准许数据管理进行授权,以产生授权信息,所述多个存储节点将授权信息添加到数据中,并向当值节点发送添加了授权信息的数据;
步骤24,所述当值节点根据数据对应的存储节点的授权数量判断数据管理是否通过,若通过,则当值节点将管理后的数据存储在所述多个存储节点中,若不通过,则放弃所述数据,向所述本地设备返回管理失败消息。
5.如权利要求4所述的数据管理方法,其中,所述方法进一步包括:
步骤a,识别所接收的数据,依据数据-地址映射函数Y(t)计算所接收的数据的映射地址,Y(t)=x;
步骤b,判断MappingTable[x]是否为空,如果结果为是,则确定地址错误,返回步骤a重新计算映射地址,如果结果为否,则转入步骤c;
步骤c,比较MappingTable[x]=t,如果比较结果为是,则确定地址正确,即查找出了存储节点,否则,则确定地址错误,返回步骤a重新计算映射地址,
其中,x是存储数据的存储节点的地址,t是所接收的数据本身、数据的属性信息或者数据的数据标识。
6.如权利要求5所述的数据管理方法,其中,仅当授权数量等于全部存储节点数量时,将数据管理判断为通过。
7.如权利要求6所述的数据管理方法,其中,所述数据为储值卡数据。
8.一种基于多点协作机制的数据管理系统,包括本地设备和云端节点,其中,所述数据管理系统用于执行如权利要求1-3所述的数据管理方法。
9.如权利要求8所述的数据管理系统,其中,所述数据管理系统还包括网关设备。
CN201710586055.9A 2017-07-18 2017-07-18 一种基于多点协作机制的数据管理方法及系统 Active CN107395587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710586055.9A CN107395587B (zh) 2017-07-18 2017-07-18 一种基于多点协作机制的数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710586055.9A CN107395587B (zh) 2017-07-18 2017-07-18 一种基于多点协作机制的数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN107395587A CN107395587A (zh) 2017-11-24
CN107395587B true CN107395587B (zh) 2020-01-03

Family

ID=60340114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710586055.9A Active CN107395587B (zh) 2017-07-18 2017-07-18 一种基于多点协作机制的数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN107395587B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445710A (zh) * 2018-11-05 2019-03-08 常熟理工学院 基于云服务器存储的云端数据存储陈列方法及系统
CN110209347B (zh) * 2019-04-04 2020-08-11 特斯联(北京)科技有限公司 一种可追溯的数据存储方法
CN113553306B (zh) * 2021-07-27 2023-07-21 重庆紫光华山智安科技有限公司 数据处理方法及数据存储管理系统
CN115022096B (zh) * 2022-08-09 2022-11-22 北京航天奥祥通风科技股份有限公司 下载软件方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039278A (zh) * 2007-03-30 2007-09-19 华为技术有限公司 数据管理方法及系统
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的系统和方法
CN102611725A (zh) * 2011-01-25 2012-07-25 腾讯科技(深圳)有限公司 一种存储节点的方法及装置
CN102999633A (zh) * 2012-12-18 2013-03-27 北京师范大学珠海分校 网络信息的云聚类提取方法
CN106911802A (zh) * 2017-04-18 2017-06-30 北京华云网际科技有限公司 分布式块存储系统的管理平台的部署方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009061814A2 (en) * 2007-11-05 2009-05-14 University Of Florida Research Foundation, Inc. Lossless data compression and real-time decompression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039278A (zh) * 2007-03-30 2007-09-19 华为技术有限公司 数据管理方法及系统
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的系统和方法
CN102611725A (zh) * 2011-01-25 2012-07-25 腾讯科技(深圳)有限公司 一种存储节点的方法及装置
CN102999633A (zh) * 2012-12-18 2013-03-27 北京师范大学珠海分校 网络信息的云聚类提取方法
CN106911802A (zh) * 2017-04-18 2017-06-30 北京华云网际科技有限公司 分布式块存储系统的管理平台的部署方法和装置

Also Published As

Publication number Publication date
CN107395587A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN113742782B (zh) 基于隐私保护的区块链访问权限控制方法和区块链系统
US8589372B2 (en) Method and system for automated document registration with cloud computing
JP5100286B2 (ja) 暗号モジュール選定装置およびプログラム
US20190139047A1 (en) Block chain based resource management
US10250613B2 (en) Data access method based on cloud computing platform, and user terminal
CN107395587B (zh) 一种基于多点协作机制的数据管理方法及系统
CN109525570B (zh) 一种面向集团客户的数据分层安全访问控制方法
EP4191430A1 (en) Data processing method and apparatus applied to blockchain system
KR101190061B1 (ko) 결합 키워드를 이용한 데이터 암호화 방법 및 데이터 검색방법
US20110276490A1 (en) Security service level agreements with publicly verifiable proofs of compliance
US20210297237A1 (en) Data processing permits system with keys
US10951510B2 (en) Communication device and communication method
CN110149323B (zh) 一种具有千万级tps合约处理能力的处理装置
CN105871805A (zh) 防盗链的方法及装置
Farsi et al. Cloud computing and data security threats taxonomy: A review
Akremi et al. A comprehensive and holistic knowledge model for cloud privacy protection
CN113129008B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN114239072A (zh) 区块链节点管理方法及区块链网络
CN107403107B (zh) 一种基于多点协作机制的数据安全管理方法及系统
CN115514470B (zh) 一种社区矫正数据安全性的存储方法及系统
CN116743481A (zh) 服务安全管控方法、装置、设备及存储介质
Brandao Cloud computing security
Sharma et al. Integrated security for data transfer and access control using authentication and cryptography technique for Internet of things
Ahmad et al. Tokenization based service model for cloud computing environment
CN114638007B (zh) 基于图数据的社群关系的确定方法及系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191210

Address after: 100080 room 801, 1 building, 3 Haidian Avenue, Haidian District, Beijing, -810L-221

Applicant after: Beijing MSI best money network technology Co., Ltd.

Address before: 100080 7 floor 27, Zhongguancun Avenue, Beijing, Haidian District, 715

Applicant before: Beijing first science and Technology Co Ltd

GR01 Patent grant
GR01 Patent grant