CN106911789B - 一种基于用户协同环境的数据传输方法,传输系统及装置 - Google Patents
一种基于用户协同环境的数据传输方法,传输系统及装置 Download PDFInfo
- Publication number
- CN106911789B CN106911789B CN201710139712.5A CN201710139712A CN106911789B CN 106911789 B CN106911789 B CN 106911789B CN 201710139712 A CN201710139712 A CN 201710139712A CN 106911789 B CN106911789 B CN 106911789B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- aggregation
- node
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种数据传输过程中保障数据传输节点隐私与数据信息质量的数据传输方法、系统及装置,本发明通过用户的协作来实现在云平台在获取数据是完全混淆的,云平台无法通过这些混淆的数据还原用户的隐私信息的目的。同时数据传输节上传的信息可以被数据聚合节点验证,聚合节点上传的数据和信息被汇总后可以被数据传输节点验证。本发明的方法、系统及其装置利用较小的内存空间开销与时间开销,在数据汇聚过程中数据传递次数不会超过聚合单元的个数,数据也只会被发送一次,不会占用过多的带宽;随机发送的数据信息也仅限于一些数值,也不会占用过多的带宽。
Description
技术领域
本发明涉及大数据处理以及分布式计算技术领域的数据传输技术,具体涉及一种基于用户协同环境的数据传输方法,传输系统及装置。
背景技术
数据传输是数据从一个地方传送到另一个地方的通信过程。数据传输系统通常由传输信道和信道两端的数据电路终接设备(DCE)组成,在某些情况下,还包括信道两端的复用设备。传输信道可以是一条专用的通信信道,也可以由数据交换网、电话交换网或其他类型的交换网路来提供。数据传输系统的输入输出设备为终端或计算机,统称数据终端设备(DTE),它所发出的数据信息一般都是字母、数字和符号的组合,为了传送这些信息,就需将每一个字母、数字或符号用二进制代码来表示。常用的二进制代码有国际五号码(IA5)、EBCDIC码、国际电报二号码(ITA2)和汉字信息交换码。
日益兴起的智慧城市、智能交通等新型大数据的应用,环境数据和应用相关的信息是实现一切上层应用的基础。在相关的应用场景中(如:环境与气候变化监测,交通与危险监测等),由不同设备收集到诸如温度、湿度、噪音分贝值等数据将会根据大数据的应用需求上传到云平台中,大数据应用将则通过这些数据为用户提供各式各样的服务。
随着物联网的不断发展,城市设置了大量不同类型的传感器,这些传感器可能无法与电源连接,只能通过内置的低功耗无线模块传输数据。而随着无线通信、传感器技术以及无线移动终端设备逐渐普及,智能终端设备即可用于传感器节点数据的传输工作。
由于传感器收集的数据带有高精度的位置和时间信息,低功耗无线模块的传输距离有限,智能设备须将传感器的数据传输到应用服务器,因此应用服务器或攻击者就可以通过传感器的数据来推测智能设备的隐私信息。随着人们安全意识的提高,以及层出不穷的用户信息泄露事件,让人们越来越重视自身的隐私问题。
而传统的隐私保护方案中,有的将用户数据保存在可信第三方服务器上,用户使用可信第三方服务器对应的虚拟ID上传数据,应用服务器通过向可信第三方服务器查询来获取必要的用户信息,即通过可信第三方服务器实现上传数据和个人ID间的隔离,这种方法虽然可以在一定程度上保护用户的隐私,但是集中存放用户隐私信息的服务器将成为新的隐私泄露隐患;也有如将在用户上传数据前的数据所包含的时间、位置信息的精度降低,即将数据所对应的位置信息从点扩大到某一区域或将时间信息从时间点扩大到某一时间区间,从而达到应用服务器无法获取用户精确的个人隐私信息的目的,此法虽然可在一定程度上保护用户隐私,但随之会带来数据价值的降低、无法准确评估用户贡献等问题;此外还有通过用户之间的协作来达到数据混淆,在上传数据之前让用户与其他用户进行数据交换,达到混淆个人隐私信息、使应用服务器无法精确获取用户个人隐私数据的目的。此法可以引入社交关系,降低用户在进行数据交互时对交互方的疑虑,从而进一步降低被陌生人甚至恶意攻击者攻击的几率。这种方法可以让服务器无法获取用户的真实信息,但弊端是服务器对用户的贡献进行无法评估,且用户之间交换的信息过多,如果有用户被攻击,就可能给其他用户带来新的风险。
发明内容
为解决上述现有技术中的不足,本发明的目的是提供一种基于用户协同环境的数据传输方法,传输系统及装置,本发明利用较小的内存空间开销与时间开销,在数据汇聚过程中数据传递次数不会超过聚合单元的个数,数据也只会被发送一次,不会占用过多的带宽;随机发送的数据信息也仅限于一些数值,也不会占用过多的带宽。
本发明的目的是采用下述技术方案实现的:
本发明提供一种保障用户隐私与数据信息质量的数据传输方法,其改进之处在于,所述方法包括下述步骤:
1)云平台向注册智能用户推送据传输任务;
2)接受所述传输任务的用户向服务器确认自身的角色;
3)聚合节点和云平台间分发自身的加密公钥;
4)数据传输节点传输任务所需的数据,并将数据传输至数据聚合节点;
5)收到数据传输节点发送的数据后的数据聚合节点对数据进行解密和检验,根据任务需求中的数据时间、位置范围,以及数据精度信息对数据进行统一化处理,包括去除不任务需求对应的时间、位置范围内的数据,以及对过高精度的小数位进行舍弃;
6)对接收的数据汇总的数据聚合节点生成数据信息,并发送给信息聚合节点;
7)信息聚合节点汇总数据信息并上传至云平台;
8)云平台生成数据汇总表,包括数据量和时间位置信息,并发送给数据传输节点进行验证;
9)数据传输节点返回认可的消息后,云平台对数据传输节点的用户信息进行维护,包括增加奖励,提高/降低信誉度等等;如果数据传输节点返回不认可的消息,数据传输节点需要将自己传输的数据直接发送给云平台,云平台通过将该数据与数据聚合节点、信息聚合节点的信息进行比对,判断错误原因,并对相应的用户进行处罚,如减扣奖励、降低信誉度等等。
进一步地,所述步骤4)中,所述聚合节点包括的数据聚合节点和信息聚合节点分别向云平台提交自身的加密公钥,所述云平台:
向数据聚合节点和信息聚合节点分发自身的公钥,
为数据聚合节点随机分配数据聚合单元,
向数据聚合节点分发信息聚合公钥,
向数据传输节点分发数据聚合单元的分配表和公钥。
进一步地,所述步骤4)中,根据收到的数据聚合方案,即数据聚合节点分别负责汇总聚合单元中收集到的数据,收到数据聚合消息的数据传输节点用对应的数据聚合公钥将不同聚合单元对应的数据分别加密后发送给对应的数据聚合节点,并发送数据已发送的消息给云平台。
进一步地,所述步骤7)包括:
向云平台传输的数据聚合结束后,所述数据聚合节点:
统计每个数据聚合单元中的数据总量,
根据最终有效的数据计算数据传输节点的贡献比例和其传输数据在全部数据中的分布情况,
按所述分布情况生成每个数据传输节点的数据信息,
将所述数据信息拆分成随机的组合,
将用信息聚合公钥随机加密的统计信息向对应的信息聚合节点发送,如用户A向聚合单元α在聚合单元1内上传10份有效数据,在聚合单元2内上传5份有效数据,在聚合后聚合单元α分别通知5个随机生成的信息聚合节点用户A向其总共传输了2、4、2、1、6份数据,向云平台发送收到的数据。
进一步地,所述步骤7)包括:
收到数据聚合节点发送的数据信息的信息聚合节点:
汇总数据信息,
计算已收到数据信息中数据传输节点的预传输数据总量和有效传输数据总量,
向云平台发送汇总后的信息,如有多个数据聚合节点分别通知该信息聚合节点用户A向其传输了2、10、3份数据,用户B向其传输了1、50份数据,则该信息聚合节点会通知云平台用户A收集了15份数据,用户B收集了51份数据。
进一步地,所述步骤8)包括:
收到数据信息后的云平台,首先将汇总的数据信息和收到的数据进行比对,如果有聚合单元的数据和统计信息不符,则联系该聚合单元对应的数据聚合节点进行勘误;
云平台汇总每一个数据传输节点的数据信息并发给该数据传输节点进行比对,如果有数据传输节点确认信息有误,则数据传输节点需将自己的数据直接发送给云平台供云平台进行验证,确定问题根源。
本发明还提供一种数据传输方法的数据传输系统,其改进之处在于,所述传输系统包括:
数据需求者,用于向云平台提交数据传输请求,包括数据传输需求和预算信息;
云平台,用于向用户推送数据传输任务,分配数据聚合单元和数据验证工作;
数据传输节点,用于数据传输任务所需的数据,并将数据传输至数据聚合节点;
数据聚合节点,用于汇总数据,生成数据信息;
信息聚合节点,用于汇总数据信息并上传至云平台。
进一步地,所述数据传输节点根据数据聚合单元分配表将数据分别加密传输给数据聚合节点;所述数据聚合节点将拆分的数据信息随机发送给信息聚合节点。
进一步地,所有接受数据传输任务的用户向服务器确认自身的角色,为数据传输节点、数据聚合节点和信息聚合节点中的一个或多个。
本发明还提供一种包括保障用户隐私与数据信息质量数据传输系统的数据传输装置,其改进之处在于,所述装置包括作为客户端的传输系统,以及与客户端进行数据传输的服务器端。
为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
与最接近的现有技术相比,本发明提供的技术方案具有的优异效果是:
本发明提供的技术方案,从数量、时间、空间等多个维度拆分数据传输任务的需求,如在一连续的或间断的时间区段内,解决了任务区域内的任务所需传输的数据量应该如何被分配的问题。例如,将一个时间区间内的一个子区域分成为一个数据聚合单元。
本发明提供的技术方案,提供了一种数据汇聚的方法及系统。在本发明提供的数据汇聚的方法中,系统随机为数据聚合节点分配聚合单元。数据传输节点的数据将根据数据聚合单元分配表上传到不同的数据单元。数据聚合节点统计每个聚合单元中的数据总量,计算数据传输节点的贡献比例和其传输数据在全部数据中的分布情况,并将这些内容生成的每一数据传输节点的统计信息拆分成随机组合,并将用信息聚合公钥加密后的统计信息向对应的信息聚合节点发送,并将收到的所有数据向云平台发送。收到数据聚合节点发送的信息的信息聚合节点汇总信息,计算已收到信息中数据传输节点的传输数据总量,并在云平台收到所有数据聚合节点发送的数据后,将汇总后的信息发送给云平台。
本发明提供的技术方案,通过用户的协作实现平台获取数据是完全混淆的,云平台无法通过这些混淆的数据还原用户的隐私信息,实现隐私信息的目的。而数据聚合节点可以验证数据传输节上传的信息,数据传输节点可以验证聚合节点上传的数据和汇总后信息。本发明提供的技术方案利用的内存空间开销与时间开销较小,数据汇聚过程中数据传递次数也不会超过聚合单元的个数,数据也只会发送一次,不会占用过多的带宽;随机发送的数据信息也仅限于一些数值,也不会占用过多的带宽。
为了上述以及相关的目的,一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面,并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显,所公开的实施例是要包括所有这些方面以及它们的等同。
附图说明
图1是本发明提供的应用场景的示意图;
图2是本发明提供的数据传输示意图;
图3是本发明提供的数据汇集方案时序图;
图4是本发明提供的数据传输节点客户端主页界面;
图5是本发明提供的数据传输节点客户端任务页界面;
图6是本发明提供的数据/信息聚合节点客户端主页界面;
图7是本发明提供的数据/信息聚合节点客户端任务页界面;
图8是本发明提供的服务器端任务管理界面;
图9是本发明提供的服务器端用户管理界面;
图10是本发明提供的具体实施例一的智慧城市传输交通数据的数据传输方法示意图;
图11是本发明提供的具体实施例二的智慧城市中事件检测的数据传输方法示意图;
图12是本发明提供的具体实施例三的智慧旅游的数据传输方法示意图;
图13是本发明提供的具体实施例四的文件传输的数据传输方法示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的组件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,本发明的这些实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。
用户可担任数据传输节点、数据聚合节点以及信息聚合节点中的一种或多种,本发明中的方案主要涉及数据聚合这个部分。
如图1所示,介绍本发明中的应用场景,即基于用户协同环境的数据传输系统,其示意图如下:
101表示数据需求者,即数据传输发起者,通过云平台发送数据传输任务,提供预算。
102表示云平台,负责推送数据传输任务,分配聚合单元,数据验证等工作。
103表示数据传输节点,负责传输任务所需的数据。
104表示数据聚合节点,负责汇总数据,生成数据信息。
105表示信息聚合节点,负责汇总数据信息。
如图2所示,介绍本发明中的数据传输特点:
1)数据传输节点根据数据聚合单元分配表将数据分别加密传输给数据聚合节点。
2)数据聚合节点将拆分的数据信息随机发送给信息聚合节点。
如图3所示,介绍本发明中的数据过程。基于用户协同环境的数据传输方法包括下述步骤:
1)智能设备用户在云平台中注册,并提交自己的激励需求、存储和传输能力等信息。
2)数据需求者向云平台提交数据传输请求,包括数据传输需求和预算等信息。
3)云平台向用户推送数据传输计划和角色确认请求,所有接受任务的用户向服务器确认自己的角色:数据传输节点、数据聚合节点、信息聚合节点。
4)数据聚合节点和信息聚合节点需向云平台提交自己的加密公钥,云平台也会将自己的公钥分发给以上两种节点,同时云平台会为数据聚合节点随机分配聚合单元,并将信息聚合节点的公钥分发给数据聚合节点。将聚合单元的分配表和公钥发给数据传输节点。
5)数据传输节点根据数据传输需求,并在所有的数据传输节点在收到数据聚合的消息后,会根据之前收到的数据聚合方案,使用对应的数据聚合公钥将数据分别加密并发送给对应的数据聚合节点,并发送数据已发送的消息给云平台。
6)数据聚合节点在收到数据传输节点发送的数据后,对数据进行解密和检验,根据任务需求对数据进行统一化处理。
7)在到达云平台指定的数据聚合结束时间后,数据聚合节点将统计每个聚合单元中的数据总量,计算数据传输节点的贡献比例和其传输数据在全部数据中的分布情况,并根据以上内容生成每个数据传输节点的统计信息,再将信息拆分成随机的组合1,使用信息聚合公钥对统计信息随机加密,发送给对应的信息聚合节点,再将收到的所有数据发送给云平台。
8)信息聚合节点会在收到数据聚合节点发送的信息后,对信息进行汇总,计算已收到信息中数据传输节点的预传输数据总量和有效传输数据总量,并在云平台收到所有数据聚合节点发送的数据后,将汇总后的信息发送给云平台。
9)云平台在收到所有的信息后,对信息进行汇总,生成每个子区域和每个时间区间的数据汇总表,以及每个数据传输节点的信息汇总表,并发送给数据传输节点进行验证,如果与数据传输节点本地的数据一致,则数据聚合结束;如果不一致,数据传输节点可向云平台报告有误的部分,云平台将联系对应的数据聚合节点或信息聚合节点进行勘误。
数据传输节点移动端界面
数据传输节点移动端的功能面向数据传输节点,用于用户登录、数据传输等功能。
1)主页:
参考图4,点击主页按钮可以进入默认页,未登陆的用户首先需要在默认页注册、登陆,即图4(a),登陆后默认页为消息页,如图4(b)所示,其中消息包含任务消息、数据消息和服务器消息等,其中:
a)任务消息主要为云平台推送的数据传输任务,用户可以点击查看按钮来查看任务详情并选择接受或忽略该任务。如果用户选择接受任务,那点击该任务消息对应的接受按钮后,会跳转到任务设定页面并新建一个任务;如果用户忽略该任务,那点击忽略按钮后会删除任务消息。如图4(c)所示。
b)服务器消息为数据聚合消息,点击对应的处理按钮会跳转到任务传输详情页面。
c)服务器消息为最终的验证消息,点击对应的处理按钮会跳转到任务验证页面。
2)任务页:
参考图5,点击该按钮可以打开任务页面,如图5(a)所示,在该页面默认为任务列表,可以列出用户接受的所有任务,点击任务对应的查看按钮,可以查看该任务的任务详情,任务详情下面会有确定按钮,点击确定按钮后会退出任务详情并返回任务页。如图5(b)所示。
点击任务对应的处理按钮,会显示任务传输详情,任务传输详情下会显示数据聚合的信息,如聚合点等等,下面会有发送/确定按钮,已发送的任务会显示为确定,如图5(c)所示。如果该任务的数据采集已经结束,用户已经得到需要传输的数据,用户需点击发送按钮将根据聚合单元分配表,将数据使用对应的加密密钥加密并发送给对应数据聚合节点,再将已发送数据的消息发送给云平台。
任务验证页面会显示服务器传来的最终汇总消息,以及和本地的对比情况及相同与否的提示,下面会有发送按钮,点击发送会将确定消息发给云平台,如图5(d)所示。
数据/信息聚合节点移动端界面
数据/信息聚合节点移动端的功能面向数据/信息聚合节点,用于数据和相关信息的传输和上传等功能。
1)主页:
参考图6,点击该按钮可以打开任务页面,如图6(a)所示。在该页面默认为任务列表,可以列出数据聚合节点负责的所有任务,点击任务对应的处理按钮,会显示任务传输详情,任务传输详情下会显示数据聚合的信息,如聚合点分配等等,下面会有发送/确定按钮,已发送的任务会显示为确定,如图6(b)所示。如果该任务的数据采集已经结束,用户已经得到需要传输的数据:
a)数据聚合节点需点击发送按钮将信息发给信息聚合节点,将数据发给云平台。
b)信息聚合节点需点击发送按钮将信息发送给云平台。
2)任务页:
参考图7,点击该按钮可以打开任务页面,如图7(a)所示。在该页面默认为任务列表,可以列出数据聚合节点负责的所有任务,点击任务对应的处理按钮,会显示任务传输详情,任务传输详情下会显示数据聚合的信息,如聚合点分配等等,下面会有发送/确定按钮,已发送的任务会显示为确定。如图7(b)所示。如果该任务的数据采集已经结束,用户已经得到需要传输的数据:
a)数据聚合节点需点击发送按钮将信息发给信息聚合节点,将数据发给云平台。
b)信息聚合节点需点击发送按钮将信息发送给云平台。
服务器端界面
服务器端界面主要包括以下部分:
1)任务管理
参考图8,任务管理页面默认为任务列表,如图8(a)所示。点击任务对应的查看按钮可以查看该任务的设定详情;如图8(b)所示。点击任务对应的完成情况按钮可以显示该任务的完成情况;如图8(c)所示。
2)用户管理
参考图9,该界面主要为已注册的用户信息管理,包含用户列表页和用户详情页;如图9(a)所示。点击用户列表内用户对应的查看按钮,可以跳转到用户详情页实现对用户详情的查看、修改,如图9(b)所示。
点击用户详情页的修改按钮,可以保存对用户信息的修改。
本发明中的一些关键词解释如下:
a)数据:需要传输的来自传感器等数据源的数据。
b)数据传输节点:接收来自传感器的数据并发送给数据对应的数据聚合节点。
c)数据聚合节点:接收来自数据传输节点的数据并汇总后发送给应用服务器,生成数据的信息报告并随机发送给不同的信息聚合节点。
d)信息:某个数据传输节点发送的数据量和对应的精度等信息。
e)信息聚合节点:接收来自数据聚合节点的信息报告,汇总后发送给应用服务器。
聚合单元:将整个区域划分为多个子区域,传输任务对应的时间划分为多个时间区间,一个时间区间内的一个子区域为一个聚合单元。
实施例一:智慧城市传输交通数据
随着汽车数量的增加,城市交通愈发拥堵,现在的实时交通信息还处于相对落后的阶段,基于交通摄像头的监控方法目前也无法做到实时的自动分析。如果在道路周边安装一些声音、气体传感器,就可以通过对读数的分析,结合车辆上报的一些信息,就可以得到当前的路况信息,从而实现交通大数据的实时动态分析。虽然固定安置的传感器可以由公交车等公共设施进行数据传输,但受时间、空间覆盖度的影响,数据很难得到及时传输。如果采用基于智能设备的数据传输技术,让每辆汽车、个人或单位的物联网设备协助公共设施来传输数据,那交管部门无疑可以更加及时和准确地获取交通路况信息,同时也能为出行者提供更好的行动路线,防止拥堵的产生。
但车辆的行动信息和线路规划无疑属于非常隐私的个人信息,因此虽然报告信息能在很大程度上帮助司机本人,但如果无法解决隐私问题,那很多司机都可能不愿意参与进来。同时,市民在连接到已安装的物联网设备后,将物联网设备采集的信息上传到服务器上,也会暴漏自己的位置信息等。
如图10所示,在这个场景中,我们的方案能很好地解决隐私问题:
1.私家车、公交车、出租车、旅游巴士、超市管理员等向数据中心平台注册,提交自己设备的传感器类型、精度等信息
2.任务需求设定为全时段全路段覆盖,服务器将该需求下发给每一位用户,并向所有用户进行角色确认,每位用户可以担任数据传输节点、数据聚合节点、信息聚合节点中的一种或多种
3.用户向服务器确认自己的角色
4.服务器根据用户回馈,确定私家车将担任数据传输节点,公交车和出租车将担任数据聚合节点,旅游巴士和超市管理员将担任信息聚合节点
5.服务器将平台加密公钥发给旅游巴士和超市管理员,旅游巴士和超市管理员将自己的加密公钥发送给服务器
6.服务器将平台加密公钥和信息聚合加密公钥发送给公交车和出租车,公交车和出租车将自己的数据聚合加密公钥发送给服务器
7.服务器将数据聚合加密公钥发送给私家车
8.私家车开始收集并传输身边传感器节点的数据。传输的数据周期性地使用数据聚合加密公钥加密后发送给对应的公交车或者出租车
9.公交车和出租车将收到的数据解密、汇总,并将聚合后的数据使用平台加密公钥加密后发送给服务器
10.公交车和出租车将私家车上传的信息进行统计,得到数量、精度等信息,将这些信息随机拆分,并将分拆后的信息随机发送给旅游巴士或者超市管理员,发送前需使用对应的信息聚合加密公钥加密
11.旅游巴士和超市管理员将收到的信息汇总后使用平台加密公钥加密后发送给服务器
12.以小时或天为单位,服务器发送数据和信息给私家车进行验证。如果数据和私家车的数据不符,将进行数据回溯,找到问题的发生源。
实施例二:智慧城市中的事件检测
随着城市的发展,城市中的人口结构和城市规划越来越复杂,这就给管理部门的管理工作带来的一定的压力。而且并不是所有的片区和所有的时间内都有监控,所以当发生一些意外事故时,可能无法得到及时上报。而发动市民来上报这些信息将大大缓解这一问题。但是,受一些原因的影响,人们可能不愿意上报自己身边的信息,避免让自己引入事件。因此只有保障人们的隐私安全,才能让人们上报数据成为可能。同时,如果不对这些信息进行检验,如果有人通过系统乱报数据,就可能加重管理部门的工作压力,甚至带来恐慌。
如图11所示,在这个场景中,我们的方案能很好地解决隐私问题:
1.市民1和2、公交车、出租车、旅游巴士、超市管理员等向数据中心平台注册,提交自己设备的传感器类型、精度等信息
2.任务需求设定为全时段全城区覆盖,服务器将该需求下发给每一位用户,并向所有用户进行角色确认,每位用户可以担任数据传输节点、数据聚合节点、信息聚合节点中的一种或多种
3.用户向服务器确认自己的角色
4.服务器根据用户回馈,确定市民1和2将担任数据传输节点,公交车和出租车将担任数据聚合节点,旅游巴士和超市管理员将担任信息聚合节点
5.服务器将平台加密公钥发给旅游巴士和超市管理员,旅游巴士和超市管理员将自己的加密公钥发送给服务器
6.服务器将平台加密公钥和信息聚合加密公钥发送给公交车和出租车,公交车和出租车将自己的数据聚合加密公钥发送给服务器
7.服务器将数据聚合加密公钥发送给市民1和2
8.市民1和2开始监测身边是否有事件发生
9.市民1发现有事件发生后,将事件相关数据使用数据聚合加密公钥加密后发送给对应的公交车或者出租车
10.公交车和出租车将收到的数据解密、汇总,并将聚合后的数据使用平台加密公钥加密后发送给服务器
11.公交车和出租车将市民1上传的信息进行统计,得到数量、精度等信息,将这些信息随机拆分,并将分拆后的信息随机发送给旅游巴士或者超市管理员,发送前需使用对应的信息聚合加密公钥加密
12.旅游巴士和超市管理员将收到的信息汇总后使用平台加密公钥加密后发送给服务器
13.服务器根据收到的事件数据,计算事件范围,并确定需要补充收集的详细事件数据,将需求发送给市民1和2
14.市民1和2根据需求收集相关数据,过程同步骤9-13
15.事件检测结束后,服务器发送数据和信息给市民1和2进行验证。如果数据和市民1和2本地的数据不符,将进行数据回溯,找到问题的发生源。
实施例三:智慧旅游
现在的景区大多由附近居民参与管理,受管理水平的影响,我们经常会在新闻中看到景区的纠纷;同时,管理人员无法对景区的每一个角落进行监管,因此景区也时不时会发生一些意想不到的事件。如为了及时检测到动物离开的专属的活动区域,景区管理部门可以在动物身上安置一些低功耗的蓝牙模块,周期性发射该动物的信息,同时为游客设计开发专属的游览APP,一方面当检测到动物时,游客可以在APP中查看该动物的介绍,从而增长知识和增加乐趣,另一方面,如果APP检测到动物出现在异常区域,则游客可以上报信息,从而协助景区完成动物的管理工作。
此外,而随着网络的发展,游客可以在网上订票甚至在网上制定自己的行程,因此景区的管理人员完全可以让游客参与到景区的管理中来。如进行人流监测等,并可以将景区内物联网设备获取的信息传送到服务器,从而可以简化景区管理,促进景区发展。但如果不解决个人隐私问题,那势必会降低游客参与管理的兴趣。
如图12所示,在这个场景中,我们的方案能很好地解决隐私问题:
1.游客1和2、巡逻车、出租车、超市管理员等向数据中心平台注册,提交自己设备的传感器类型、精度等信息
2.任务需求设定为全时段全区域覆盖,服务器将该需求下发给每一位用户,并向所有用户进行角色确认,每位用户可以担任数据传输节点、数据聚合节点、信息聚合节点中的一种或多种
3.用户向服务器确认自己的角色
4.服务器根据用户回馈,确定游客1将担任数据传输节点,游客2和巡逻车将担任数据聚合节点,出租车和超市管理员将担任信息聚合节点
5.服务器将平台加密公钥发给出租车和超市管理员,出租车和超市管理员将自己的加密公钥发送给服务器
6.服务器将平台加密公钥和信息聚合加密公钥发送给游客2和巡逻车,游客2和巡逻车将自己的数据聚合加密公钥发送给服务器
7.服务器将数据聚合加密公钥发送给游客1
8.游客1开始收集身边的动物位置信息
9.游客1将动物位置信息使用数据聚合加密公钥加密后发送给对应的游客2或巡逻车
10.游客2和巡逻车将收到的数据解密、汇总,并将聚合后的数据使用平台加密公钥加密后发送给服务器
11.游客2和巡逻车将游客1上传的信息进行统计,得到数量、精度等信息,将这些信息随机拆分,并将分拆后的信息随机发送给出租车和超市管理员,发送前需使用对应的信息聚合加密公钥加密
12.出租车和超市管理员将收到的信息汇总后使用平台加密公钥加密后发送给服务器
13.以天或周等为单位,服务器发送数据和信息给游客1进行验证。如果数据和游客1本地的数据不符,将进行数据回溯,找到问题的发生源。
实施例四:文件传输
现在有很多通过拍照等方式分析城市空气质量、通过录音分析噪音情况的应用。如让用户将对着天空、建筑物拍照片,再通过图像分析就可以得到当前的pm2.5浓度。但由于这些数据带有的隐私信息过多,甚至可能会暴漏一些机密信息,如果将这些数据直接上传到服务器中,就有可能被攻击者截获数据,从而造成机密信息泄露。
如图13所示,在这个场景中,我们的方案能很好地解决信息泄露问题:
1.市民甲、市民乙、超市管理员等向数据中心平台注册,提交自己设备的传感器类型、精度等信息
2.任务需求设定为可供传输的数据类型并限制文件大小,服务器将该需求下发给每一位用户,并向所有用户进行角色确认,每位用户可以担任数据传输节点、数据聚合节点中的一种或多种
3.用户向服务器确认自己的角色
4.服务器根据用户回馈,确定市民乙将担任数据传输节点,市民甲和超市管理员将担任数据聚合节点
5.服务器将平台加密公钥发送给市民甲和超市管理员,市民甲和超市管理员将自己的数据聚合加密公钥发送给服务器
6.服务器将数据聚合加密公钥发送给市民乙
7.市民乙发起文件传输,将需要传输的文件拆分或者分卷压缩后使用数据聚合加密公钥加密后发送给对应的市民甲或超市管理员
8.市民甲或超市管理员将收到的数据解密、汇总,并将聚合后的数据使用平台加密公钥加密后发送给服务器,最后向市民乙发送确认信息
9.市民乙收到所有的确认信息后,发送完成信息给服务器
10.服务器对数据进行汇总、解密、拼接或解压
服务器发送数据和信息给市民乙进行验证。如果数据和市民乙本地的数据不符,将进行数据回溯,找到问题的发生源。
本发明中,通过智能设备用户的协作来实现在云平台在获取数据是完全混淆的,云平台无法通过这些混淆的数据还原用户的隐私信息的目的,但用户的数据交互完全由云平台控制,每个用户只能接收来自其他用户在某一小块区域某一小段时间区间的数据,所有在该范围产生的数据都会传给这个用户,因此该用户就可以实现对该范围数据的比较和验证工作。且所有数据都使用单独的公钥加密,因此即使数据被攻击者截获,也很难将数据包内的信息泄露,而即使被破解了部分信息,攻击者也无法通过零碎的文件还原用户的全部隐私信息,从而也对数据传输本身的安全性进行了加强;另一方面,也可以通过本发明将二进制文件拆分传输,从而让文件能够得到更好的保护,达到防止机密文件泄露的目的。
基于以上的模型,云平台仅仅能获取智能设备用户对任务完成度、可靠性等信息献,从而无法还原包含个人位置在内的个人隐私信息。另一方面,云平台会在数据传输后对数据进行校验,以防止恶意的数据上传行为的发生。
本发明的方法、系统及其装置利用较小的内存空间开销与时间开销,在数据汇聚过程中数据传递次数不会超过聚合单元的个数,数据也只会被发送一次,不会占用过多的带宽;随机发送的数据信息也仅限于一些数值,也不会占用过多的带宽。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种保障用户隐私与数据信息质量的数据传输方法,其特征在于,所述方法包括下述步骤:
1)云平台向注册智能用户推送数据传输任务;
2)接受所述传输任务的用户向服务器确认自身的角色;
3)在包括数据聚合节点和信息聚合节点的聚合节点与云平台间分发自身的加密公钥;
4)数据传输节点传输任务所需的数据,并将数据传输至数据聚合节点;
5)收到数据传输节点发送的数据后,数据聚合节点对数据进行解密和检验,根据任务需求中的数据时间、位置范围,以及数据精度信息对数据进行统一化处理,包括去除任务需求外时间、位置范围内的数据,以及对过高精度的小数位进行舍弃;
6)数据聚合节点将接收的数据汇总并生成数据信息,再发送给信息聚合节点;
7)信息聚合节点将汇总的数据信息上传至云平台;
8)云平台生成数据汇总表,所述汇总表包括数据量和时间位置信息,并发送给数据传输节点进行验证;
9) 所述数据传输节点返回认可的消息后,云平台对所有参与的用户信息进行维护,包括增加奖励以及提高或降低信誉度;如果数据传输节点返回不认可的消息,数据传输节点需要将自己传输的数据直接发送给云平台,云平台通过将数据与数据聚合节点、信息聚合节点的信息进行比对,判断错误原因,并对相应的用户进行处罚,包括减扣奖励和降低信誉度。
2.如权利要求1所述的数据传输方法,其特征在于,所述步骤3)和步骤4)中,所述聚合节点包括的数据聚合节点和信息聚合节点分别向云平台提交自身的加密公钥,所述云平台:
向数据聚合节点和信息聚合节点分发自身的公钥,
为数据聚合节点随机分配数据聚合单元,
向数据聚合节点分发信息聚合公钥,
向数据传输节点分发数据聚合单元的分配表和公钥。
3.如权利要求2所述的数据传输方法,其特征在于,所述步骤4)中,根据收到的数据聚合方案,即数据聚合节点分别负责汇总数据聚合单元中收集到的数据,收到数据聚合消息的数据传输节点用对应的数据聚合公钥将不同数据聚合单元对应的数据分别加密后发送给对应的数据聚合节点,并发送数据已发送的消息给云平台。
4.如权利要求2所述的数据传输方法,其特征在于,所述步骤7)包括:
向云平台传输的数据聚合结束后,所述数据聚合节点:
统计每个数据聚合单元中的数据总量,
根据最终有效的数据计算数据传输节点的贡献比例和其传输数据在全部数据中的分布情况,
按所述分布情况生成每个数据传输节点的数据信息,
将所述数据信息拆分成随机的组合,
将用信息聚合公钥随机加密的统计信息向对应的信息聚合节点发送,如用户A向数据聚合单元α在数据聚合单元1内上传10份有效数据,在数据聚合单元2内上传5份有效数据,在聚合后数据聚合单元α分别通知5个随机生成的信息聚合节点用户A向其总共传输了2、4、2、1、6份数据,向云平台发送收到的数据。
5.如权利要求4所述的数据传输方法,其特征在于,所述步骤7)包括:
收到数据聚合节点发送的数据信息的信息聚合节点:
汇总数据信息,
计算已收到数据信息中数据传输节点的传输数据总量和有效传输数据总量,
向云平台发送汇总后的信息,如有多个数据聚合节点分别通知该信息聚合节点用户A向其传输了2、10、3份数据,用户B向其传输了1、50份数据,则该信息聚合节点会通知云平台用户A收集了15份数据,用户B收集了51份数据。
6.如权利要求2所述的数据传输方法,其特征在于,所述步骤8)包括:
收到数据信息后的云平台,首先将汇总的数据信息和收到的数据进行比对,如果有数据聚合单元的数据和统计信息不符,则联系该数据聚合单元对应的数据聚合节点进行勘误;
云平台汇总每一个数据传输节点的数据信息并发给该数据传输节点进行比对,如果有数据传输节点确认信息有误,则数据传输节点需将自己的数据直接发送给云平台供云平台进行验证,确定问题根源。
7.一种如权利要求1至6中任一项所述方法的数据传输系统,其特征在于,所述传输系统包括:
数据需求者,用于向云平台提交数据传输请求,包括数据传输需求和预算信息;
云平台,用于向用户推送数据传输任务,分配数据聚合单元和数据验证工作;
数据传输节点,用于数据传输任务所需的数据,并将数据传输至数据聚合节点;
数据聚合节点,用于汇总数据,生成数据信息;
信息聚合节点,用于汇总数据信息并上传至云平台。
8.如权利要求7所述的数据传输系统,其特征在于,所述数据传输节点根据数据聚合单元分配表将数据分别加密传输给数据聚合节点;所述数据聚合节点将拆分的数据信息随机发 送给信息聚合节点。
9.如权利要求8所述的数据传输系统,其特征在于,所有接受数据传输任务的用户向服务器确认自身的角色,为数据传输节点、数据聚合节点和信息聚合节点中的一个或多个。
10.一种包括如权利要求7-9中任一项所述的保障用户隐私与数据信息质量数据传输系统的数据传输装置,其特征在于,所述装置包括作为客户端的传输系统,以及与客户端进行数据传输的服务器端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139712.5A CN106911789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于用户协同环境的数据传输方法,传输系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139712.5A CN106911789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于用户协同环境的数据传输方法,传输系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106911789A CN106911789A (zh) | 2017-06-30 |
CN106911789B true CN106911789B (zh) | 2020-09-18 |
Family
ID=59186354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710139712.5A Active CN106911789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于用户协同环境的数据传输方法,传输系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106911789B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648108A (zh) * | 2018-04-08 | 2018-10-12 | 北京大米科技有限公司 | 在线课堂的学习数据聚合方法、服务器组件及服务器 |
CN110049109B (zh) * | 2019-03-26 | 2022-04-01 | 湖南天河国云科技有限公司 | 区块链共享存储的核算方法、系统和计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103825743A (zh) * | 2014-02-13 | 2014-05-28 | 南京邮电大学 | 一种具有隐私保护功能的数据安全聚合方法 |
US9081983B2 (en) * | 2012-03-30 | 2015-07-14 | Bose International Investment Fund, Llc | Data distribution database and method for data distribution and verification |
-
2017
- 2017-03-10 CN CN201710139712.5A patent/CN106911789B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9081983B2 (en) * | 2012-03-30 | 2015-07-14 | Bose International Investment Fund, Llc | Data distribution database and method for data distribution and verification |
CN103825743A (zh) * | 2014-02-13 | 2014-05-28 | 南京邮电大学 | 一种具有隐私保护功能的数据安全聚合方法 |
Non-Patent Citations (1)
Title |
---|
Privacy-preserving QoI-aware participant coordination for mobile crowdsourcing;Bo Zhang 等;《Computer Networks》;20160604;第101卷;第1-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106911789A (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Santos et al. | PortoLivingLab: An IoT-based sensing platform for smart cities | |
Memon et al. | Pseudonym changing strategy with multiple mix zones for trajectory privacy protection in road networks | |
Whaiduzzaman et al. | A survey on vehicular cloud computing | |
Olariu et al. | The next paradigm shift: from vehicular networks to vehicular clouds | |
Christin et al. | A survey on privacy in mobile participatory sensing applications | |
US20200074865A1 (en) | Systems and methods for managing assets in a geographical location | |
Sampigethaya et al. | CARAVAN: Providing location privacy for VANET | |
Huang et al. | Preserving privacy in participatory sensing systems | |
US10535021B2 (en) | Application-based commercial ground transportation management system | |
Nadeem et al. | Securing cognitive radio vehicular ad hoc network with fog node based distributed blockchain cloud architecture | |
CN108600292A (zh) | 一种基于互联网资源的警用移动地图系统及使用方法 | |
US11769086B2 (en) | Application-based commercial ground transportation clearinghouse system | |
Christin et al. | Share with strangers: Privacy bubbles as user-centered privacy control for mobile content sharing applications | |
CN111460330A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN106911789B (zh) | 一种基于用户协同环境的数据传输方法,传输系统及装置 | |
Wang et al. | ClusterRep: A cluster-based reputation framework for balancing privacy and trust in vehicular participatory sensing | |
EP4049220B1 (en) | Preventing data manipulation and protecting user privacy in determining accurate location event measurements | |
CN111866993B (zh) | 无线局域网连接管理方法、装置、软件程序及存储介质 | |
Cheng et al. | A survey of crowdsensing and privacy protection in digital city | |
CN112351408B (zh) | 一种智能网联电动车的数据安全传输方法和系统 | |
de OM André et al. | Towards participatory sensing of regions of interest with adaptive sampling rate | |
CA3076565C (en) | Method for providing data packets from a can bus, control device and system having a can bus | |
US11995213B2 (en) | Event-based community creation for data sharing platform | |
Huang et al. | Difo: discovering faulty obus in vanets | |
US20220335162A1 (en) | Event-based community creation for data sharing platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |