CN111753885A - 一种基于深度学习的隐私增强数据处理方法和系统 - Google Patents

Abstract

一种基于深度学习的隐私增强数据处理方法和系统,用于对车辆节点上传的感知数据进行数据分析和预处理，其特征在于，包括如下步骤：1)使用基于均值哈希的图像指纹计算法，剔除感知数据中的相似数据；2)对带标签的数据集和无标签数据集进行数据增强，采用增强后的数据训练并测试基于半监督学习的分类模型；3)将步骤1)得到的数据输入训练好的半监督学习的分类模型，剔除不相关数据。本发明基于半监督学习和图像指纹的数据收集和预处理方案显著降低了上传到云端的数据量，同时有效保护了用户的数据隐私。

Description

一种基于深度学习的隐私增强数据处理方法和系统

技术领域

本发明涉及车联网数据处理领域，特别是指一种基于深度学习的隐私增强数据处理方法和系统。

背景技术

车联网是按照约定的通信协议和数据交互标准进行无线通讯和信息交换的大系统网络。在车联网时代，车辆行驶期间通过自身携带的各种传感器、定位仪、摄像头等装置，收集自身状态、异常情况，以及周围环境路况的信息，通过5G网络，将这些信息上传到云端。然而在利用云平台为车载网络应用提供服务的同时，目前的车联网研究主要面临两大挑战：隐私泄露和延迟问题。一方面，为了提供实时可靠的车载服务，车辆节点须时刻与云端保持连接并频繁进行数据交互，这给网络通信和数据库操作带来了巨大的负载压力。同时，云平台之间的数据共享性会造成车辆隐私泄露。另一方面，车辆收集到的数据直接上传至云端，大量无关和重复数据导致通信的巨大延迟。

近年来，随着云计算技术的快速发展，车载网络与云计算技术的集合也日趋紧密，出现了基于“车辆云”的各种车联网及智能交通的应用。然而为了提供实时可靠的车载服务，车辆节点须时刻与云端保持连接并频繁进行数据交互(如5秒更新1次位置信息)。大量的节点(十万甚至百万级)接入云端并进行请求处理，这给网络通信和数据库操作带来了巨大的负载压力，云端服务器容易成为系统的瓶颈。在已有的数据收集方法中，由于车辆节点不知道数据与需求间的相关性，许多非必要的数据也被上传，进而导致巨大的通信浪费。同时，云端对于用户数据的保护令人堪忧，车载数据被直接传到云端，容易造成用户隐私泄露。

为了降低数据冗余，越来越多的研究开始将边缘计算引入到车联网的数据收集中。其中包括：采用基于边缘的两级阈值策略来抑制不必要的数据上传和传输，它能自适应地调整阈值，以便上载适当数量的数据用于决策，同时抑制不必要的消息传输；基于车载网络自身的交通数据自动生成和更新模型；使用地理信息对车辆进行聚类等。尽管上述一些方案都能够考虑到车联网数据收集的时延问题，但车联网数据收集本身存在一系列缺陷仍未得到弥补。

然而，这些目前这些技术普遍存在以下缺点。其一，为了提供实时可靠的车载服务，车辆节点须时刻与云端保持连接并频繁进行数据交互，这给网络通信和数据库操作带来了巨大的负载压力。同时，云平台之间的数据共享性会造成车辆隐私泄露。其二，车辆收集到的数据直接上传至云端，大量无关和重复数据导致通信的巨大延迟等。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种有效减少上传数据量的基于深度学习的隐私增强数据处理方法和系统。

本发明采用如下技术方案：

一种基于深度学习的隐私增强数据处理方法,用于对车辆节点上传的感知数据进行数据分析和预处理，其特征在于，包括如下步骤：

1)使用基于均值哈希的图像指纹计算法，剔除感知数据中的相似数据；

2)对带标签的数据集和无标签数据集进行数据增强，采用增强后的数据训练并测试基于半监督学习的分类模型；

3)将步骤1)得到的数据输入训练好的半监督学习的分类模型，剔除不相关数据。

优选的，步骤1)中，使用基于均值哈希的图像指纹计算法，将图像进行压缩，再确定一条基准线使图像指纹计算法的结果转换为二值结果，将相似度超过基准线的图像记录为相似，否则记录为不相似，剔除相似的图像。

优选的，步骤3)中，将经步骤1)筛选过后的数据中输入训练好的半监督学习的分类模型进行标签猜测，该标签包括图像相关和图像不相关，剔除标签为图像不相关的数据。

优选的，步骤2)中，数据增强具体包括如下：

有标签的数据集X＝{(x_a,g_a)；a∈(1,2,3…A)}和无标签的数据集V＝{v_a；a∈(1,2,3…A)}，A为数据集中样本的个数，K为数据增强轮次，H为锐化参数，θ为NDH中的参数，x_a、v_a指X和V中的样本，g_a为标签；

对X中的每一个单个样本x_a做一次数据强化，得到

然后对V中的每一个单个样本v_a分别进行K轮数据强化，得到

通过加强后的有标签的数据集X输入基于监督学习的分类模型进行训练，将加强后的无标签的数据集V对训练好的基于监督学习的分类模型进行测试。

一种基于深度学习的隐私增强数据处理的车联网系统，其特征在于：包括车辆节点、边缘层和云端；该车辆节点用于收集道路的感知数据并上传至边缘层；边缘层采用上述任一项的一种基于深度学习的隐私增强数据处理方法，并将筛选后的数据上传至云端。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1)本发明的数据收集和预处理方案能有效减少上传数据量，降低因冗余数据过多而带来的数据分析过程中的时延。

2)在边缘层使用半监督学习算法和图像指纹的思想来检测图像信息的相关性和相似性，在数据收集过程中实时剔除不相关数据和相似度大的数据，高效减少上传到云端的数据量。

3)本发明采用联邦学习技术，云端不直接收集用户终端的数据，只收集各边缘设备上的训练结果和少量边缘设备无法独立处理的加工数据，从而有效保护了用户隐私。

附图说明

图1为本发明系统架构示意图；

图2为本发明相似数据示意图；

图3为本发明数据增强过程示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图1，一种基于深度学习的隐私增强数据处理的车联网系统，包括车辆节点、边缘层和云端。该车辆节点收集道路的感知数据并上传至边缘层；边缘层采用一种基于深度学习的隐私增强数据处理方法进行分析和处理，筛选数据，并将筛选后的数据上传至云端。

其中，车辆节点作为数据收集层，用于感知数据，比如道路和交通信息、车辆位置信息、车载设备数据。边缘层即为分布式智能层充分利用RSU等边缘设备越来越强大的计算和存储能力，将数据处理的过程抽象成数据处理层，为车辆节点和集中式云计算之间提供中介计算、存储和通信资源。云端只需接收边缘层的筛选后的数据，而不直接从终端用户收集数据，这样降低了数据的传输延迟，也避免了用户隐私泄露。

本发明的一种基于深度学习的隐私增强数据处理方法,用于对车辆节点上传的感知数据进行数据分析和预处理，包括如下步骤：

1)使用基于均值哈希的图像指纹计算法，剔除感知数据中的相似数据。

具体的，采用基于均值哈希的图像指纹计算法，将图像压缩至8*6，即48个像素，然后确定一条最佳的基准线使图像指纹法的结果转换为二值结果，将相似度超过基准线的图像记录为相似，否则记录为不相似，剔除相似的图像。

参见图2，本发明中，相似图像实际上是指在相近的时间内在同一位置拍摄的图片，它们反映了同时段相同的路况信息，是并发数据中的一种。随机选定一张图片A作为测试对象，再选定足够数量的测试图片集，其中包括确定数量的由A图进行变化操作得到的图片，这些图片将作为A的相似图像。随后将A与测试图片集进行逐一比较得到相似度。接着设定不同的基准线，将相似度超过基准线的记录相似，否则记录为不同。例如，最佳基准线为0.855。算法描述如下所示：

2)对带标签的数据集和无标签数据集进行数据增强，采用增强后的数据训练并测试基于半监督学习的分类模型。

其中数据增强具体包括如下：

有标签的数据集X＝{(x_a,g_a)；a∈(1,2,3…A)}和无标签的数据集V＝{v_a；a∈(1,2,3…A)}，A为数据集中样本的个数，K为数据增强轮次，H为锐化参数，θ为NDH中的参数，x_a、v_a指X和V中的样本，g_a为标签；

对X中的每一个单个样本x_a做一次数据强化，得到

然后对V中的每一个单个样本v_a分别进行K轮数据强化，得到

通过加强后的有标签的数据集X输入基于监督学习的分类模型进行训练，将加强后的无标签的数据集V对训练好的基于监督学习的分类模型进行测试。

参见图3，本发明中，对一个无标签样本进行K轮数据增强，会产生K个客观标签值相同的不同样本，使用现有模型对其进行标签判断，然后再对K个结果取平均值，最后进行锐化。

3)将步骤1)得到的数据输入训练好的半监督学习的分类模型进行标签猜测，该标签包括图像相关和图像不相关，剔除标签为图像不相关的数据。

本发明中的数据增强方式有：

X＝Reinforce(X₁,X₂)# (1)

其中X,X₁,X₂均为带标签的数据集。具体操作如下：

μ～Beta(θ,θ)# (2)

μ^′＝max(μ,1-μ)# (3)

x＝μ^′x₁+(1-μ^′)x₂# (4)

g＝μ^′g₁+(1-μ^′)g₂# (5)

其中，(x₁,g₁)∈X₁，(x₂,g₂)∈X₂。μ由超参数θ决定的Beta函数抽样得到，而为了增加实际使用时X₁的权重(X₁的位置为原始数据集合)，(3)式确保X₁的权重比X₂大。

半监督学习需要利用已有的模型先对无标签数据进行标签猜测。为避免模型的判断失误带来的错误猜测，对一个无标签样本进行K轮数据增强，会产生K个客观标签值相同的不同样本，使用现有模型对其进行标签判断，然后再对K个结果取平均值。即有：

其中，

为对无标签样本v_a中K个客观标签值相同的不同样本进行标签猜测的平均值，g_model(z|v_a,k；ω)是已有模型根据类标签z，第a个无标签样本的第k个数据增强样本v_a,k以及参数ω所产生的分布，即标签猜测的结果。

对于一个半监督学习算法而言，分类器的区分边界不应该穿过数据分布的高密度区域，标签猜测的结果应遵守使熵最小化的原则。为了避免标签猜测的结果分布的过于均匀，引入锐化算法来降低

分布的熵，即有：

其中，g为输入分布，H为一个超参数，且H越趋近于0，锐化后的结果分布越极端，即越接近于one-hot分布，i表示当前进行标签集合中的第i个标签的锐化，N表示标签集合的元素个数。本申请中，只需要两个标签，即“图像相关”和“图像不相关”，所以N可以取2，且要进行锐化处理的分布是

在使用时是将

代入g。在后续的使用中将不会特别强调i参数，认为一次Sharpen操作是将

分布中的所有标签值都进行了锐化操作。

至此，已经可以得到对于单个无标签样本v_a的标签猜测。

m_a＝Sharpen(g,H)# (8)。

本发明基于深度学习的数据收集和预处理方法，并采用数据增强和标签猜测的半监督学习算法。在边缘层进行数据筛选，将大量的相似数据和无关数据清除，同时由于采用联邦学习技术，云端不直接收集用户终端的数据，只收集各边缘设备上的筛选后的数据和少量边缘设备无法独立处理的加工数据，从而有效保护了用户隐私。本发明基于半监督学习和图像指纹的数据收集和预处理方案显著降低了上传到云端的数据量，同时有效保护了用户的数据隐私。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种基于深度学习的隐私增强数据处理方法,用于对车辆节点上传的感知数据进行数据分析和预处理，其特征在于，包括如下步骤：

1)使用基于均值哈希的图像指纹计算法，剔除感知数据中的相似数据；

2)对带标签的数据集和无标签数据集进行数据增强，采用增强后的数据训练并测试基于半监督学习的分类模型；

3)将步骤1)得到的数据输入训练好的半监督学习的分类模型，剔除不相关数据。

2.如权利要求1所述的一种基于深度学习的隐私增强数据处理方法，其特征在于：步骤1)中，使用基于均值哈希的图像指纹计算法，将图像进行压缩，再确定一条基准线使图像指纹计算法的结果转换为二值结果，将相似度超过基准线的图像记录为相似，否则记录为不相似，剔除相似的图像。

3.如权利要求1所述的一种基于深度学习的隐私增强数据处理方法，其特征在于：步骤3)中，将经步骤1)筛选过后的数据中输入训练好的半监督学习的分类模型进行标签猜测，该标签包括图像相关和图像不相关，剔除标签为图像不相关的数据。

4.如权利要求1所述的一种基于深度学习的隐私增强数据处理方法，其特征在于：步骤2)中，数据增强具体包括如下：

有标签的数据集X＝{(x_a,g_a)；a∈(1,2,3…A)}和无标签的数据集V＝{v_a；a∈(1,2,3…A)}，A为数据集中样本的个数，K为数据增强轮次，H为锐化参数，θ为NDH中的参数，x_a、v_a指X和V中的样本，g_a为标签；

对X中的每一个单个样本x_a做一次数据强化，得到

然后对V中的每一个单个样本v_a分别进行K轮数据强化，得到

通过加强后的有标签的数据集X输入基于监督学习的分类模型进行训练，将加强后的无标签的数据集V对训练好的基于监督学习的分类模型进行测试。

5.一种基于深度学习的隐私增强数据处理的车联网系统，其特征在于：包括车辆节点、边缘层和云端；该车辆节点用于收集道路的感知数据并上传至边缘层；边缘层采用权利要求1至4中任一项的一种基于深度学习的隐私增强数据处理方法，并将筛选后的数据上传至云端。

Images