CN115828208B - 一种基于云边协同的触觉脑电解锁方法及系统 - Google Patents

Abstract

本发明公开了一种基于云边协同的触觉脑电解锁方法及系统，其中方法包括：获取边端的脑电波数据，在云端通过脑电波数据对神经网络训练，生成特异性模型；获取边端的未知脑电波数据，在云端通过未知脑电波数据对神经网络训练，生成未知特异性模型；其中所述神经网络为分频卷积网络；在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到判断的结论数据并发送至边端；边端基于结论数据执行解锁或者不解锁的操作。本申请通过边云协同的操作和非对称加密与解密的操作，保证了用户使用解锁装置的安全性和隐私性。

Description

一种基于云边协同的触觉脑电解锁方法及系统

技术领域

本发明属于数据处理技术领域，特别是涉及一种基于云边协同的触觉脑电解锁方法及系统。

背景技术

对于一些不希望被他人随意访问的信息，人们往往会通过加密封锁的方式将其保存。随着各个领域技术的发展，加密和解锁的形式也日渐丰富。从最早使用钥匙来解锁，到后来的通过密码解锁。那把“钥匙”的形式在近年来其存在的形式也愈发多样，“钥匙”的所在渐渐地和人本身有着越来越深的联系：比如现在流行使用的指纹解锁、人脸解锁、瞳孔识别解锁等等。这些新颖的解锁方式不仅让解锁的过程变得更加方便也在很大程度上加强了锁的安全性。

脑机接口技术是近年来蓬勃发展的致力于构建人脑与外部设备之间信息交互通路的一项技术。目前，其主要原理在于采集并解码人的脑电信息，识别人的意图，从而实现对外部设备的控制。可以发现，在新兴的几种解锁方式中，人们越来越多地利用人的各种生物信息(指纹、面部特征等)作为解锁途径的依据。因此，脑电图作为人一项重要的生理信息，也可以被用于加密和解锁。

目前已有研究通过将人的脑电信息通过神经网络算法进行特征提取，通过向系统中录入脑电数据对重要信息进行加密，当采集到的脑电信息特征与事先录入的脑电特征信息匹配一致时，即可完成解锁。但是脑电信息往往反映了人的大量生理状况、情绪状态等信息，这些信息都属于用户的隐私数据。就如同钥匙上刻上了用户的个人信息一样，脑电解锁方案依旧存在安全性和隐私性问题。

发明内容

本发明的目的是提供一种基于云边协同的触觉脑电解锁方法及系统，以解决上述现有技术存在的问题。

一方面为实现上述目的，本发明提供了一种基于云边协同的触觉脑电解锁方法，包括：

获取边端的脑电波数据，在云端通过脑电波数据对神经网络训练，生成特异性模型；获取边端的未知脑电波数据，在云端通过未知脑电波数据对神经网络训练，生成未知特异性模型；其中所述神经网络为分频卷积网络；在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到判断的结论数据并发送至边端；边端基于结论数据执行解锁或者不解锁的操作。

可选的，获取脑电波数据的过程包括：

在边端通过对用户施加正弦编码的触觉刺激，得到脑电波数据；

获取未知脑电波数据的过程包括：

在边端通过对用户施加正弦编码的触觉刺激，得到未知脑电波数据。

可选的，所述边端与所述云端分别包含一对公钥和私钥；

其中，所述公钥用于加密，所述私钥用于解密；

所述公钥与所述私钥都为使用非对称加密算法计算得到。

可选的，生成特异性模型的过程包括：

通过所述公钥对脑电波数据进行加密处理得到加密数据，将加密数据传送到云端，通过所述私钥对加密数据进行解密得到解密数据，通过分频卷积网络对解密数据进行训练得到特异性模型。

可选的，生成未知特异性模型的过程包括：

通过所述公钥对未知脑电波数据进行加密处理得到未知加密数据，将未知加密数据传送到云端，通过所述私钥对未知加密数据进行解密得到未知解密数据，通过分频卷积网络对未知解密数据进行训练得到未知特异性模型。

可选的，获取结论数据的过程包括：

获取距离阈值数据，在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到距离数据，通过对所述距离阈值数据与距离数据进行对比判断，得到判断的结论数据。

可选的，在云端通过公钥对结论数据进行加密并发送给边端，边端使用私钥对加密后的结论数据进行解密，基于解密后的结论数据执行解锁/不解锁的操作。

另一方面为实现上述目的，本发明提供了一种基于云边协同的触觉脑电解锁系统，包括：

边端采集模块，用于获取脑电波数据；

边端加密模块，用于对所述脑电波数据进行加密处理得到加密数据；

边端数据传输模块，用于将加密数据传输到云端；

云端解密模块，用于将加密数据进行解密处理得到解密数据；

云端处理模块，用于对解密数据进行神经网络训练得到特异性模型和用于对模型进行对比得到结论数据；

云端加密模块，用于对结论数据进行加密处理得到加密后的结论数据；

云端数据传输模块，用于将加密后的结论数据传输到边端；

边端解密模块，用于对加密后的结论数据进行解密处理得到解密后的结论数据，基于解密后的结论数据执行解锁/不解锁的操作。

本发明的技术效果为：

本发明通过这种边云协同的操作，保证了用户使用解锁装置的安全性，同时由于脑电数据中包含了用户的大量隐私数据，非对称加密与解密操作极大地保障了用户脑电信号的隐私性，即便在传输过程中加密数据被窃取也无法获取任何用户的隐私信息。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的方法流程图；

图2为本发明实施例中的系统结构示意图；

图3为本发明实施例中的云端脑电解码模块结构示意图；

图4为本发明实施例中的一种脑电解锁用户操作界面示意图；

图5为本发明实施例中的空频卷积神经网络结构图；

图6为本发明实施例中的一种脑电解锁设备结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一

如图1-6所示，本实施例中提供一种基于云边协同的触觉脑电解锁方法，包括：

获取边端的脑电波数据，在云端通过脑电波数据对神经网络训练，生成特异性模型；获取边端的未知脑电波数据，在云端通过未知脑电波数据对神经网络训练，生成未知特异性模型；其中所述神经网络为分频卷积网络；在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到判断的结论数据并发送至边端；边端基于结论数据执行解锁或者不解锁的操作。

共分为两个阶段

S101，阶段一为信息录入阶段：

S102，用户1-N拥有解锁权限，在边端对用户施加正弦编码的触觉刺激，分别采集用户1-N的10分钟脑电波，使用公钥对脑电波进行加密处理生成加密后脑电波；

S103，将加密后脑电波数据通过网络传送到云端，使用私钥进行解密得到用户脑电波，在云端使用分频卷积网络训练得到特异性模型；

S104，用户1-N分别对应用户1-N特异性模型。

S105，阶段二为边端解锁阶段：

S106，在边端采集未知用户30秒脑电波，使用公钥对脑电波进行加密处理生成加密后脑电波；

S107，将加密后脑电波数据通过网络传送到云端，使用私钥进行解密得到未知用户脑电波，在云端使用分频卷积网络训练得到未知用户的特异性模型；

S108，计算未知用户特异性模型与云端存储的用户1-N特异性模型的黎曼空间距离，得出是否解锁的结论；

S109，使用公钥对上述结论进行加密，将加密数据发送给边端，边端使用私钥进行解密，最后执行解锁/不解锁的操作。

本实施例提供了一种基于云边协同的触觉脑电解锁装置，如图2所示，该装置包括：

S201，边端脑电采集模块，用于采集用户的脑电波信号；

S202，边端脑电加密模块，用于将采集到的用户的脑电波信号使用脑电波非对称加密算法进行加密处理；

S203，边端数据传输模块，用于将加密后的脑电数据传输到云端；

S204，边端指令解密模块，用于将云端传出的控制指令进行解密处理；

S205，云端脑电解密模块，用于将边端传输来的加密脑电数据进行解密处理；

S206，云端脑电解码模块，用于对解密后的脑电数据进行解码的得到控制指令；

S207，云端指令加密模块，使用非对称加密算法对控制指令进行加密处理；

S208，云端数据传输模块，用于将加密后的控制指令传输到边端。

具体的，所述边端脑电加密模块与云端脑电解密模块分别对应一对公钥和秘钥。所述公钥存储在边端，用于对边端采集得到的脑电数据进行加密处理；所述秘钥存储在云端，用于对云端接收到的脑电数据进行解密处理。所述云端指令加密模块与边端指令加密模块分别对应另一对公钥和秘钥。所述公钥存储在云端，用于对云端解码得到的控制指令进行加密处理；所述秘钥存储在边端，用于对边端接收到的控制指令进行解密处理。所述公钥与所述私钥为使用非对称加密算法计算得到。

具体的，所述云端脑电解码模块的计算过程如下：

S301，未知用户来到脑电解锁装置前，按照位于所述脑电解锁装置的脑电解锁用户操作界面的指导进行操作，采集本人的30秒脑电数据；

S302，将多通道脑电数据在频率与空间两个维度下进行二维展开，得到空频拓扑图，其中空间维度上设置有64个采样点，频率空间上设置有20个采样点；

S303，将所述空频拓扑图输入到训练好的空频卷积神经网络中进行计算得到用于特异性模型S304；

S305，将用户特异性模型参数从欧式空间转换到黎曼空间，在黎曼空间计算与模板特异性模型参数的黎曼空间距离，其中模板特异性模型参数是预先使用空频卷积神经网络训练得到并且存储在云端的，所述预先存储的模板特异性模型为一维数据，具有128个数值点；

S306，比较所述距离和阈值，所述差值满足所述阈值则得到解锁的控制指令，反之则得到不解锁的控制指令，其中，所述阈值是预先设置的。

具体的，所述脑电解锁用户操作界面共分为两个部分，引导语部分与操作部分。其中，所述引导语部分为“第一步：按要求佩戴脑电采集设备”S401，和“第二步：等待30秒，之后按下“开始解锁”按键”S402；所述用户操作部分共分为“开始解锁”S403按键和“取消解锁”S404按键。若满足解锁条件，则执行解锁操作；若不满足解锁条件，则对用户进行提示。所述提示包括以下至少之一：

屏幕提示；语音提示。

具体的，所述空频卷积神经网络的搭建与计算过程如下：S501，将五个通道的数据输入到空频卷积神经网络中，输入数据的维度为64x64；S502，首先通过第一层卷积神经网络将数据扩增到8个通道中以便对数据信息进行更全面的分析；S503，接下来到第二层卷积神经网络中，对数据的通道进行成倍扩增的同时对每一通道中数据的维度进行指数型缩减，通过将数据信息分散到多个维度来方便针对每一通道的数据信息进行处理；S504，数据在第三层深度可分离卷积层中，通过使用48个8x8的卷积核对第二层的输出结果中的每一通道数据信息都分别进行处理，然后得出每一通道卷积后的数据信息，这样处理的优势在于将大量的数据信息离散化后针对每个部分能计算更加充分，使得特征能够保留的更加完整；S505，图像信息离散化处理后在空频卷积神经网络的第四层将48个通道信息合并起来，S506，然后通过第五层进行降维处理，使得数据信息保留特征明显的部分、剔除特征模糊的部分；S507，最后通过第六层对数据维度进行变更，然后在输出层输出代表特异性模型的1x128的数据格式，即S508。

对应于图1中的一种基于云边协同的触觉脑电解锁方法，本实施例还提供了一种基于云边协同的触觉脑电解锁设备，如图5所示，，包括边端存储器S601、边端处理器S602、边端输入输出器S603、存储在所述边端存储器上并可在所述边端处理器上运行的计算机程序、云端存储器S606、云端处理器S605、云端输入输出器S604、存储在所述云端存储器上并可在所述云端处理器上运行的计算机程序，其特征在于，所述边端处理器与云端处理器执行所述计算机程序时实现上述任一项所述的步骤。

为了验证本申请所提出的一种基于云边协同的触觉脑电解锁方法、装置和设备的有效性与实现效果，进行了如下的实验。在实验中共招募10名用户(分别称作用户1、用户2、...用户10)，其中6名为男性，4名为女性。实验共分为两个阶段，信息录入阶段和边端解锁阶段。在信息录入阶段，用户1-5在解锁设备的界面指导下佩戴上脑电采集模块，用户在保持平稳的心情并且减少肢体的运动的前提下对用户施加正弦编码的触觉刺激，采集10分钟脑电信号，此时云端已经存储有用户1-5的特异性模型。

在边端解锁阶段，用户1-5在解锁设备的界面指导下佩戴上脑电采集模块，用户在保持平稳的心情并且减少肢体的运动的前提下采集自己的30秒脑电信号，在5秒内云端与边端完成了计算操作，成功打开设备。用户6-10同样进行上述操作，但是未能打开装置。

在实施过程中，通过网络数据抓取软件来获取云端与边端的通信数据，进而尝试进行破解。抓取到的通信数据并不具备任何可读性，同时多种解密软件均无法进行破解。这充分证明了本申请所提出的一种基于云边协同的触觉脑电解锁方法、装置和设备的安全性与隐私性。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于云边协同的触觉脑电解锁方法，其特征在于，包括以下步骤：

获取边端的脑电波数据，在云端通过脑电波数据对神经网络训练，生成特异性模型；

获取边端的未知脑电波数据，在云端通过未知脑电波数据对神经网络训练，生成未知特异性模型；

其中所述神经网络为分频卷积网络；

在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到判断的结论数据并发送至边端；

边端基于结论数据执行解锁或者不解锁的操作；

其中，获取脑电波数据的过程包括：

在边端通过对用户施加正弦编码的触觉刺激，得到脑电波数据；

获取未知脑电波数据的过程包括：

在边端通过对用户施加正弦编码的触觉刺激，得到未知脑电波数据；

所述边端与所述云端分别包含一对公钥和私钥；

其中，所述公钥用于加密，所述私钥用于解密；

所述公钥与所述私钥都为使用非对称加密算法计算得到；

所述分频卷积网络的搭建与计算过程包括：

S501，将五个通道的数据输入到分频卷积网络中，输入数据的维度为64x64；

S502，通过第一层卷积神经网络将数据扩增到8个通道；

S503，基于第二层卷积神经网络，对数据的通道进行成倍扩增的同时对每一通道中数据的维度进行指数型缩减，将数据信息分散到多个维度；

S504，数据在第三层深度可分离卷积层中，通过使用48个8x8的卷积核对第二层的输出结果中的每一通道数据信息都分别进行处理，然后得出每一通道卷积后的数据信息；

S505，图像信息离散化处理后在分频卷积网络的第四层将48个通道信息合并起来；

S506，通过第五层进行降维处理，使得数据信息保留特征明显的部分、剔除特征模糊的部分；

S507，最后通过第六层对数据维度进行变更，然后在输出层输出代表特异性模型的1x128的数据格式。

2.根据权利要求1所述的一种基于云边协同的触觉脑电解锁方法，其特征在于，

生成特异性模型的过程包括：

通过所述公钥对脑电波数据进行加密处理得到加密数据，将加密数据传送到云端，通过所述私钥对加密数据进行解密得到解密数据，通过分频卷积网络对解密数据进行训练得到特异性模型。

3.根据权利要求1所述的一种基于云边协同的触觉脑电解锁方法，其特征在于，

生成未知特异性模型的过程包括：

通过所述公钥对未知脑电波数据进行加密处理得到未知加密数据，将未知加密数据传送到云端，通过所述私钥对未知加密数据进行解密得到未知解密数据，通过分频卷积网络对未知解密数据进行训练得到未知特异性模型。

4.根据权利要求3所述的一种基于云边协同的触觉脑电解锁方法，其特征在于，

获取结论数据的过程包括：

获取距离阈值数据，在云端对未知特异性模型与特异性模型的黎曼空间距离进行计算，得到距离数据，通过对所述距离阈值数据与距离数据进行对比判断，得到判断的结论数据。

5.根据权利要求1所述的一种基于云边协同的触觉脑电解锁方法，其特征在于，

在云端通过公钥对结论数据进行加密并发送给边端，边端使用私钥对加密后的结论数据进行解密，基于解密后的结论数据执行解锁/不解锁的操作。

6.根据权利要求1-5任一项所述的一种基于云边协同的触觉脑电解锁方法的系统，其特征在于，包括：

边端采集模块，用于获取脑电波数据；

边端加密模块，用于对所述脑电波数据进行加密处理得到加密数据；

边端数据传输模块，用于将加密数据传输到云端；

云端解密模块，用于将加密数据进行解密处理得到解密数据；

云端处理模块，用于对解密数据进行神经网络训练得到特异性模型和用于对模型进行对比得到结论数据；

云端加密模块，用于对结论数据进行加密处理得到加密后的结论数据；

云端数据传输模块，用于将加密后的结论数据传输到边端；

边端解密模块，用于对加密后的结论数据进行解密处理得到解密后的结论数据，基于解密后的结论数据执行解锁/不解锁的操作。