CN112016673A - 一种基于优化lstm的移动设备用户认证方法及装置 - Google Patents

一种基于优化lstm的移动设备用户认证方法及装置 Download PDF

Info

Publication number
CN112016673A
CN112016673A CN202010727680.2A CN202010727680A CN112016673A CN 112016673 A CN112016673 A CN 112016673A CN 202010727680 A CN202010727680 A CN 202010727680A CN 112016673 A CN112016673 A CN 112016673A
Authority
CN
China
Prior art keywords
gradient
training
training sample
lstm
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010727680.2A
Other languages
English (en)
Inventor
朱添田
翁正秋
宋琪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010727680.2A priority Critical patent/CN112016673A/zh
Publication of CN112016673A publication Critical patent/CN112016673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本一种基于优化LSTM的移动设备用户认证方法和装置,包括:获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。本发明结合端云构建移动设备用户认证装置,采用端云合作架构有效整合系统性能,推动算法进行实际应用,并且使用增强的SGD算法最小化训练阶段噪声标签的影响,能够有效减少训练阶段噪声标签的影响提高模型的鲁棒性,能够在噪声环境下,实现高精度的隐式用户身份验证。

Description

一种基于优化LSTM的移动设备用户认证方法及装置
技术领域
本发明涉及一种基于优化LSTM的移动设备用户认证装置及方法,具体来说,它涉及一种通过增强随机梯度下降优化LSTM进行移动设备用户认证方法及装置。
背景技术
随着移动通信技术和互联网的高速发展,移动互联网应运而生并进入了人们的生活。随着移动设备应用的日益广泛,越来越多的个人认证和私有信息被采集以用于移动设备的智能化。为了防止对存储在移动设备上的本地私有和金融信息的非法访问,就迫切需要根据移动设备本身的软硬件特点与应用场景特点,设计合适并强健的认证模式以保护用户的信息安全。隐式的身份认证通过移动终端的感知进行数据采集和计算来完成用户合法性的判断。这一过程通过对用户的生物特征数据或者行为习惯数据作为鉴别基础。
当前,国际上面向移动设备的隐式实时用户认证相关研究正逐步向实时化、智能化、综合化方向发展,涉及的具体技术包括了多传感器融合、机器学习、人机交互、移动计算等多个方面。目前在行为感知与数据采集、行为数据分析等技术方向上取得了一些成果。但是当前的研究仍处于起步阶段,以学术探索和原型验证为主,在关键技术方向上仍然缺少系统化的研究体系,距离实际应用也有较大的差距。
基于上述原因,确有必要提出一种较为完善实用的移动设备用户认证方法,以解决上述问题。
发明内容
为实现移动设备的隐式实时用户认证,并将其进行实际应用,本发明提出一种基于优化LSTM的移动设备用户认证装置及方法,将LSTM方法中的梯度下降算法进行优化,提出增强随机梯度下降,并通过移动设备和云端服务协同工作,构建认证体系架构,进而实现移动设备的隐式实时精准认证。
一种基于优化LSTM的移动设备用户认证方法,所述方法包括如下步骤:
获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
作为优选,所述利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型包括:基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
作为优选,基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数包括:
设定初始网络参数以及最大迭代次数;
基于增强SGD算法学习LSTM神经网络的网络参数,每次迭代进行如下操作:
使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
对所述的梯度值进行裁剪得到裁剪梯度值;
将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure BDA0002600458940000021
按照如下公式进行梯度下降运算:
Figure BDA0002600458940000022
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,t=0,1,2,......T,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure BDA0002600458940000028
为第t次迭代计算得到的鲁棒梯度值。
作为优选,根据如下公式利用样本进入组Gt以及预设的损失函数计算梯度值gt(xi):
Figure BDA0002600458940000023
其中,
Figure BDA0002600458940000024
为预设的损失函数:
Figure BDA0002600458940000025
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示第i个训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
作为优选,通过L1范数进行标准裁剪对所述的梯度值进行裁剪得到裁剪梯度值:
Figure BDA0002600458940000026
式子中,gt(xi)表示梯度值,
Figure BDA0002600458940000027
表示裁剪梯度值,为裁剪阈值,用于进行梯度范数边界的控制。
本发明的一种基于优化LSTM的移动设备用户认证装置,所述移动设备用户认证装置包括:
第一模块,用于获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
第二模块,用于利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
作为优选,所述第二模块包括:
第一子模块,用于基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
第一组件,用于使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
第二组件,用于利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
第三组件,用于对所述的梯度值进行裁剪得到裁剪梯度值;
第四组件,用于将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure BDA0002600458940000031
第五组件,用于按照如下公式进行梯度下降运算:
Figure BDA0002600458940000032
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,t=0,1,2,......T,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure BDA0002600458940000039
为第t次迭代计算得到的鲁棒梯度值。
作为优选,所述第三子单元用于根据如下公式利用样本进入组Gt以及预设的损失函数计算梯度值gt(xi):
Figure BDA0002600458940000033
其中,
Figure BDA0002600458940000034
为预设的损失函数:
Figure BDA0002600458940000035
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
作为优选,所述第三组件通过L1范数进行标准裁剪对所述的梯度值gt(xi)进行裁剪得到
Figure BDA0002600458940000036
Figure BDA0002600458940000037
式子中用
Figure BDA0002600458940000038
替换原始梯度向量gt(xi),其中C为裁剪阈值,用于进行梯度范数边界的控制,
Figure BDA0002600458940000041
表示新的梯度向量。
本发明使用增强的SGD算法对LSTM进行优化,并结合端云构建移动设备用户认证装置,优点在于:(1)增强的SGD算法以最小化训练阶段噪声标签的影响,以提高模型的鲁棒性,在噪声环境下,实现了隐式用户身份验证的高精度,减少训练阶段噪声标签的影响。(2)移动端数据采集,服务端训练模型,端云合作架构有效整合系统性能,推动算法进行实际应用。(3)云端实时更新模型并推送至移动设备进行更新,便于移动设备进行线下验证,提高了认证准确率和实用性。
附图说明
图1是端云协作的移动设备用于认证系统框架图;
图2是优化的LSTM神经网络结构图;
图3是增强SGD算法流程图;
图4为数据采集系统的用户与服务端的交互图。
图5为服务器端动态策略调节流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
本发明的一个实施例中,一种基于优化LSTM的移动设备用户认证方法,所述方法包括如下步骤:
获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
训练样本集的大小无特殊要求。在移动设备的用户认证时,特征数据包括移动设备的加速度传感器、重力传感器以及陀螺仪等能够识别用户特征的数据,包括但不限于以上数据,或者以上数据中的一种或几种的任意排列组合。
训练样本可以采用现有的手段进行获取,为了提高效率以及保证数据分布的有效性,本申请还提供了一种基于博弈论的数据采集方法,具体见下文,此处不进行展开。
所述利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型包括:基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
学习LSTM神经网络的网络参数主要分为两个步骤,具体如下:采用SGD算法利用所述的训练样本集对LSTM神经网络进行学习得到模型的梯度值;
基于所述的梯度值进行梯度下降运算,迭代计算得到LSTM神经网络的最优的网络参数,以便最优的网络参数对应的LSTM神经网络作为认证模型。
具体的,基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数包括:
设定初始网络参数以及最大迭代次数;
基于增强SGD算法学习LSTM神经网络的网络参数,每次迭代进行如下操作:
使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
对所述的梯度值进行裁剪得到裁剪梯度值;
将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure BDA0002600458940000051
按照如下公式进行梯度下降运算:
Figure BDA0002600458940000052
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,t=0,1,2,......T,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure BDA0002600458940000058
为第t次迭代计算得到的鲁棒梯度值。
通过新增裁剪以及添加鲁棒因子对SDG算法进行增强,能够有效降低训练样本集中各个特征数据的标签的准确性对最终认证模型准备率的影响。
根据如下公式利用样本进入组Gt以及预设的损失函数计算梯度值gt(xi):
Figure BDA0002600458940000053
其中,
Figure BDA0002600458940000054
为预设的损失函数:
Figure BDA0002600458940000055
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示第i个训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
通过L1范数进行标准裁剪对所述的梯度值进行裁剪得到裁剪梯度值:
Figure BDA0002600458940000056
式子中,gt(xi)表示梯度值,
Figure BDA0002600458940000057
表示裁剪梯度值,为裁剪阈值,用于进行梯度范数边界的控制。
本发明的一种基于优化LSTM的移动设备用户认证装置,所述移动设备用户认证装置包括:
第一模块,用于获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
第二模块,用于利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
作为优选,所述第二模块包括:
第一子模块,用于基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
第一组件,用于使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
第二组件,用于利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
第三组件,用于对所述的梯度值进行裁剪得到裁剪梯度值;
第四组件,用于将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure BDA0002600458940000061
第五组件,用于按照如下公式进行梯度下降运算:
Figure BDA0002600458940000062
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,t=0,1,2,......T,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure BDA0002600458940000066
为第t次迭代计算得到的鲁棒梯度值。
作为优选,所述第三子单元用于根据如下公式利用样本进入组Gt以及预设的损失函数计算梯度值gt(xi):
Figure BDA0002600458940000063
其中,
Figure BDA0002600458940000064
为预设的损失函数:
Figure BDA0002600458940000065
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
作为优选,所述第三组件通过L1范数进行标准裁剪对所述的梯度值gt(xi)进行裁剪得到
Figure BDA0002600458940000071
Figure BDA0002600458940000072
式子中用
Figure BDA0002600458940000073
替换原始梯度向量gt(xi),其中C为裁剪阈值,用于进行梯度范数边界的控制,
Figure BDA0002600458940000074
表示新的梯度向量。
如图1所示,本发明基于优化的LSTM构建的移动设备用户认证装置包括移动设备端和服务端。基于该移动设备用户认证装置进行移动设备认证时包括如下步骤:
S1.数据采集,获取训练样本集并传输至服务端:移动设备端采集大量用于进行移动设备用户认证的特征数据以及各个数据对应的标签。
本实施例中特征数据包括移动设备的加速度传感器、重力传感器以及陀螺仪等能够识别用户特征的数据。
通常该特数据由移动设备内置的传感器按照预设的采样间隔采集,最终形成相应的时序数据。
S2.服务端对每一条采集到的特征数据进行去噪及归一化等处理得到训练数据(即训练样本包括处理好的特征数据以及对应的标签)。本实施例中的处理主要包括等值异常、跳点异常以及零值异常三大异常的处理。
S3.利用所述的训练数据学习LSTM神经网络的网络参数训练得到认证模型(即模型)。
该过程通常在服务器端进行,也可以理解为线上进行。
S4.利用训练得到的认证模型进行设备用户认证。
需要说明,步骤S4中进行设备认证,可以由服务端将认证模型推送至移动设备端,设备端可使用模型进行线下认证。也可以上传用于进行用户认证的特征数至服务端由服务端进行模型的准确性认证。
所述步骤S3中将训练数据发送至LSTM神经网络进行学习得到认证模型时主要基于随机梯度下降算法进行,作为优选本实施例中训练时采用增强SGD算法进行梯度下降。
本实施例中的LSTM神经网络的结构如图2所示,主要包括四层,分别为输入层,LSTM层,分类层和输出层。其中,输入层主要进行预处理后时序数据的输入。输入层为多维向量(输入层长度即为向量的维度)。分类层为softmax,输出层为0或者1。LSTM层由两层LSTM神经元构成,每层32个神经元(LSTM cell),其中的梯度下降算法为增强的SGD算法,主要包含裁剪、分组、鲁棒性因子和调优。分类层主要运用Dense和Softmax进行归一排序。最终结果由输出层输出,输出层的输出为0或者1,表示拥护认证结果。
具体的,如图3所示,本实施例的利用增强的SGD算法进行模型训练包括如下步骤:
S301,确定输入参数并构建损失函数。
输入参数包括确定的训练样本{x1,...,xN},学习率ηt的初始值,噪声比例σ的初始值,后期会调整,组大小G固定值,梯度范数边界C的初始值,
损失函数如下:
Figure BDA0002600458940000081
其中,xi为第i个训练样本,θ表示网络参数;yi表示第i个训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示训练过程中输入为第i个训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
本实施李中训练样本构成如下:加速度,陀螺仪,重力传感器的x,y,z三轴共9个维度数据,一次采集时间为3秒,采集频率50HZ,每一个轴3秒共150条时间序列数据,故xi为9*150的向量(矩阵)。对应的,本实施例的LSTM神经网络中输入层的长度为150。
本实施了中学习率时候采用的范围为0到1。采用0.01为步长进行优选,发现最好的范围为0~0.01,进一步,学习率优选为0.0025。
组大小n取值可以是8,16,32,64,128,256,本实施例中优选16。
梯度范数边界C的初始值取值可以是1到2,本实施了中梯度范数边界C取1.2。
S302:初始化随机值θ0作为初始网络参数,设定终止条件,进行迭代操作以对所述梯度值进行优化,直至达到终止条件是停止迭代,并以最后一次迭代操作得到梯度值作为最终的梯度值。
本实施例中终止条件为达到预设的迭代次数T,具体的:若t∈[T](即t=0,1,2,……,T),则进行迭代操作,t表示当前迭代次数。
第t次迭代时进行如下操作:
步骤1,使用随机的抽样概率n/N在训练样本选择随机样本进入组Gt,n为随机抽取的训练样本的数量,N表示训练样本集中的样本数量的大小。
步骤2:计算梯度,对于每一个i∈Gt,计算gt(xi):
Figure BDA0002600458940000082
步骤3:通过L1范数进行标准裁剪:
Figure BDA0002600458940000083
式子中用
Figure BDA0002600458940000084
替换原始梯度向量gt(xi),其中C为裁剪阈值,进行梯度范数边界的控制。
Figure BDA0002600458940000091
表示新的梯度向量。
步骤4:增加鲁棒因子(高斯噪声),采用如下公式在第t次迭代时将与时间有关的高斯噪声加入到梯度中:
Figure BDA0002600458940000092
其中:
Figure BDA0002600458940000093
式子中的α从{0.01,0.3,1.0}中进行选择,优选0.01,r为0.55。
步骤4:进行梯度下降运算:
Figure BDA0002600458940000094
运算后回到步骤3,直到不满足条件t∈[T]后停止迭代。
步骤5:输出最终参数θT。至此,增强SGD算法运行完毕。
研究发现,如果在计算梯度后之后直接通过加入高斯噪声,会存在一次梯度的变化过快的问题,若一个较大的梯度中加入高斯噪声扰动,将会使得最终的模型影响不明显,提高模型的鲁棒能力有限。本申请中首先将计算得到的梯度进行一次裁剪,在裁剪后,能够保证输入的梯度在一定的稳定范围内,加入噪声正好可以与之前训练数据中的噪声相抵消,从而大大增加模型的鲁棒性,有利于提高识别的准确性。
本发明还提供了一种获取训练样本集的方法,具体的基于进化博弈的启发式数据采集方法进行,克服现有的数据采集方法在数据收集过程中资源浪费、采集过程无法控制的不足,本发明提供一种基于进化博弈机制,不断进行最佳策略提供的数据采集方法。通过产生收益激励,促使用户产生有效数据进行采集,并通过用户的使用数据进行采集策略的不断调整,来达到纳什平衡。
一种基于进化博弈的启发式数据采集方法基于启发式数据采集系统实现,所述启发式数据采集系统,所述参与用户和服务器之间通过网络连接。
在一实施例中,本发明的一种基于进化博弈的启发式数据采集方法,在服务器端进行如下操作:
接收参与用户向服务器发送接入请求,所述接入请求包括在预设的数据采集的传感过程集合中选择的数据采集传感过程;
向参与用户发送针对接收到的所述的接入请求的响应,并允许参与用户接入;
接收参与用户按照接入请求中的数据采集的传感过程采集的传感数据;
针对接收到的传感数据计算的收益,并根据参与用户的状态信息以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案,并发送给参与用户,所述策略调整方案用于作为参与用户调整数据采集的传感过程的参考;
所述参与用户的状态信息包括参与用户的自身收益、系统中所有参与用户的平均收益。
其中,所述针对接收到的传感数据计算的收益时根据Φ进行:
Figure BDA0002600458940000101
其中,传感过程集合P,收益计算方法,θp(t)代表在t时刻选择传感过程p的用户比例,Bp代表传感过程p的固定投入预算,N代表在t时刻选择传感过程p的用户数量,p∈P。
进一步,在该实施例中根据参与用户的状态信息以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案包括:
针对接收到的t时刻的传感数据,在该传感数据的收益小于平均收益时,重新在均匀分布的(0,1]区间中选择一个随机值ξ;
根据如下公式计算差异δ*
Figure BDA0002600458940000102
其中,α为预设的全局策略适配因子,α∈(0,1],Si为传感过程i下的收益情况,θi(t)表示用户在时间t下选择传感过程i的比例,满足∑i∈Pθi(t)=1,i∈[1,P];
根据差异δ*:生成制定的策略调整方案:若δ*小于0,则推荐新的传感过程参与用户供参与用户选择;若δ*大于0,则不推荐新的传感过程。
一个策略的成功并不是仅仅由策略本身的好坏决定,而是它在一组可选策略中有多好,以及其他策略在一个竞争性群体中出现的频率。本实施例中通过设定全局策略适配因子α能够有效的调节策略,进而提高数据采集的效率。
实际上,用户常常是理性有限的,在实际使用过程中并不总是最大化他们的兴趣任务,这意味着即使用户发现自己的收益小于平均水平,他们可能会坚持当前策略,而不更改策略。根据以上假设,使用随机概率参数(即随机值ξ)中的参数,参与用户将在此一定概率下更改策略。
在另一实施例中,一种基于进化博弈的启发式数据采集方法,在参与用户端进行如下操作:
向服务器发送接入请求,所述接入请求包括在预设的数据采集传感过程集合中选择的数据采集传感过程;
接收服务器针对所述的接入请求的响应,并接入所述的服务器;
按照接入请求中的数据采集传感过程采集传感数据并发送给服务器;
接收服务器针对接收到的传感数据计算的收益以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案,所述策略调整方案用于作为参与用户调整数据采集传感过程的参考。
本发明的一种基于进化博弈的启发式数据采集方法的另一实施例如图4所示,分为用户端和服务端,包括如下步骤:
S401:新的用户(即参与用户)加入智能手机传感器采集过程,选择传感过程并进行确认,告知服务器将采集何种数据。
S402:用户采集的有效性需要手机屏幕点亮以及手机前台应用备切换。并且在一个传感过程中包含多个采集任务,每个任务可由用户在一个时隙内完成。如比较理想的数据采集持续时间为3秒,若用户使用手机的时间少于3秒(采集过程中手机屏幕被熄灭),则采集终止。用户根基传感过程执行应用程序并获取传感器数据,发送至服务器。
S403:服务器接收到数据并计算收益,并将收益下发给参与用户;
步骤S403中收益通过方法Φ进行计算。
本发明的一种基于进化博弈的启发式数据采集方法的另一实施例如图5所示,包括如下步骤:
S501:数据采集准备,智能手机用户为U=1,2,...,U,大小取决于参与用户的数量;服务器中预设了有限的数据采集传感过程集合P=1,2,...,P,每个传感过程中包含不同类型应用的传感器数据采集任务;
S502:新用户加入传感器数据采集过程,且只能加入一个传感过程,并将采集何种数据的选择提交到服务器。
S503:用户执行应用程序获取传感器数据,并将其发送到服务器中。一个传感过程将包含多个采集任务,并且每个任务可以由用户在一个时隙(即固定时间段)内完成。采集任务需要手机屏幕点亮以及手机前台应用被切换。
S504:服务器接收传感数据,并开始计算收益,同时将收益返还给用户。
S505:服务器将提供给用户平均收益情况以及参与用户状态信息,并根据信息提供采集策略调整的通知,用户可参考进行数据采集策略的更改。若用户确定选择,则使用新的传感过程进行数据采集以及收益计算;若用户丢弃选择,则仍然使用原传感过程实施。
可选的,S505中服务器通过进化博弈进行采集策略调整的步骤包括步骤:
S5051:针对接收到的传感数据计算的收益时根据Φ进行:
Figure BDA0002600458940000111
其中,传感过程集合P,收益计算方法,θp(t)代表在t时刻选择传感过程p的用户比例,Bp代表传感过程p的固定投入预算,N代表在t时刻选择传感过程p的用户数量,p∈P。
S5052:初始化策略系统,设定全局策略适配因子α∈(0,1],每个用户随机选择一个传感过程。
S5053:针对每个用户u和每一个时间间隙t,进行被选择的传感过程Pu中要求的数据采集。
S5054:将采集数据发送到服务器并通过方法Φu(p,θ(t))计算收益。并将收益、参与用户状态信息θ(t)以及平均收益Φ(θ(t))发送给参与用户。
S5055:如果收到的收益小于平均收益,或者
Figure BDA0002600458940000121
系统将重新在均匀分布的(0,1]区间中选择一个随机值ξ。
实际上,用户常常是理性有限的,在实际使用过程中并不总是最大化他们的兴趣任务,这意味着即使用户发现自己的收益小于平均水平,他们可能会坚持当前策略,而不更改策略。根据以上假设,我们使用随机概率参数中的参数,参与用户将在此一定概率下更改策略。
S5056:计算差异δ*
Figure BDA0002600458940000122
其中α为全局策略适配因子,Si为传感过程f下的收益情况,θi(t)表示用户在时间t下选择传感过程的比例。对于所有的t,满足∑i∈Pθi(t)=1。
S5057:若δ*小于0,则重新推荐传感过程p′给用户进行选择;若δ*大于0,则仍然按照原传感过程进行数据采集。并重新回到步骤S503。
该发明为了有效地收集代表用户行为的数据,并在训练阶段提高数据覆盖率,采用一个进化稳定参与博弈框架,用于有效地采集数据。并通过产生收益激励,促使用户产生有效数据进行采集,并通过用户的使用数据进行采集策略的不断调整,来达到平衡。
综上所述,本发明提出一种基于进化博弈的启发式数据采集方法,通过激励鼓励用户参与数据采集,并使用参与式博弈机制动态调整采集策略,提高采集数据的效率和数据的有效性。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施例。
下述为本发明装置实施例,可以用于执行本发明方法实施例。在下文对系统的描述中,与前述方法相同的部分,将不再赘述。
本发明还提供一种基于进化博弈的启发式数据采集装置,包括:
第一单元,用于接收参与用户向服务器发送接入请求,所述接入请求包括在预设的数据采集的传感过程集合中选择的数据采集传感过程;
第二单元,用于向参与用户发送针对接收到的所述的接入请求的响应,并允许参与用户接入;
第三单元,用于接收参与用户按照接入请求中的数据采集的传感过程采集的传感数据;
第四单元,用于针对接收到的传感数据计算的收益,并根据参与用户的状态信息以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案,并发送给参与用户,所述策略调整方案用于作为参与用户调整数据采集的传感过程的参考;
所述参与用户的状态信息包括参与用户的自身收益。
所述第四单元针对接收到的传感数据计算的收益时根据Φ进行,所述针对接收到的传感数据计算的收益时根据Φ进行:
Figure BDA0002600458940000131
其中,传感过程集合P,收益计算方法,θp(t)代表在t时刻选择传感过程p的用户比例,Bp代表传感过程p的固定投入预算,N代表在t时刻选择传感过程p的用户数量,p∈P。
所述第四单元根据参与用户的状态信息以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案时进行执行如下操作:
针对接收到的t时刻的传感数据,在该传感数据的收益小于平均收益时,重新在均匀分布的(0,1]区间中选择一个随机值ξ;
根据如下公式计算差异δ*
Figure BDA0002600458940000132
其中,α为预设的全局策略适配因子,α∈(0,1],Si为传感类型i下的收益情况,θi(t)表示用户在时间t下选择传感过程i的比例,满足∑i∈Pθi(t)=1,i∈[1,P];
根据差异δ*:生成制定的策略调整方案:若δ*小于0,则推荐新的传感过程参与用户供参与用户选择;若δ*大于0,则不推荐新的传感过程。
本发明还提供了一种基于进化博弈的启发式数据采集装置,包括:
第五单元,用于向服务器发送接入请求,所述接入请求包括在预设的数据采集传感过程集合中选择的数据采集传感过程;
第六单元,用于接收服务器针对所述的接入请求的响应,并接入所述的服务器;
第七单元,用于按照接入请求中的数据采集传感过程采集传感数据并发送给服务器;
接收服务器针对接收到的传感数据计算的收益以及根据启发式数据采集系统的所有参与用户的平均收益为参与用户制定的策略调整方案,所述策略调整方案用于作为参与用户调整数据采集传感过程的参考。
在本发明的另一实施例中的一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的方法。
在本发明的另一实施例中的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的方法。
应当理解,本实施例的计算机设备包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器1003中的程序而执行各种适当的动作和处理。在RAM中,还存储有系统1000操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时,执行本申请的终端中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实观或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
以上具体示出和描述了本发明的示例性实施例。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种基于优化LSTM的移动设备用户认证方法,其特征在于,所述方法包括如下步骤:
获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
2.如权利要求1所述的基于优化LSTM的移动设备用户认证方法,其特征在于,所述利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型包括:基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
3.如权利要求2所述的基于优化LSTM的移动设备用户认证方法,其特征在于,基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数包括:
设定初始网络参数以及最大迭代次数;
基于增强SGD算法学习LSTM神经网络的网络参数,每次迭代进行如下操作:
使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
对所述的梯度值进行裁剪得到裁剪梯度值;
将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure FDA0002600458930000015
按照如下公式进行梯度下降运算:
Figure FDA0002600458930000011
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure FDA0002600458930000016
为第t次迭代计算得到的鲁棒梯度值。
4.如权利要求3所述的基于优化LSTM的移动设备用户认证方法,其特征在于,根据如下公式利用样本进入组以及预设的损失函数计算梯度值:
Figure FDA0002600458930000012
其中,
Figure FDA0002600458930000013
为预设的损失函数:
Figure FDA0002600458930000014
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
5.如权利要求4所述的基于优化LSTM的移动设备用户认证方法,其特征在于,通过L1范数进行标准裁剪对所述的梯度值进行裁剪得到裁剪梯度值:
Figure FDA0002600458930000021
式子中,gt(xi)表示梯度值,
Figure FDA0002600458930000022
表示裁剪梯度值,C为用于进行梯度范数边界控制的裁剪阈值。
6.一种基于优化LSTM的移动设备用户认证装置,其特征在于,所述移动设备用户认证装置包括:
第一模块,用于获取包括多条训练样本的训练样本集,所述训练样本包括移动设备用于进行设备用户认证的特征数据以及该特征数据对应的标签;
第二模块,用于利用所述训练样本集对预先设定的LSTM模型进行训练得到认证模型;
第三模块获,用于获取待认证移动设备用户的特征数据作为所述认证模型的输入,以所述认证模型在该输入下的输出作为待认证设备的认证结果。
7.如权利要求6所述的基于优化LSTM的移动设备用户认证装置,其特征在于,所述第二模块包括:
第一子模块,用于基于所述的训练样本集利用增强SGD算法学习LSTM神经网络的网络参数。
8.如权利要求7所述的基于优化LSTM的移动设备用户认证装置,其特征在于,所述第一子模块包括:
第一组件,用于使用随机的抽样概率n/N在训练样本集随机选择样本进入组,n为随机抽取的训练样本的数量,N训练样本集中的样本数量;
第二组件,用于利用样本进入组以及预设的损失函数计算所述神经网络的梯度值;
第三组件,用于对所述的梯度值进行裁剪得到裁剪梯度值;
第四组件,用于将高斯噪声作为鲁棒因子添加至经过裁剪梯度值中得到鲁棒梯度值
Figure FDA0002600458930000023
第五组件,用于按照如下公式进行梯度下降运算:
Figure FDA0002600458930000024
其中,t为当前迭代次数,t=0,1,2,......T,T为最大迭代次数,ηt为预设第t次迭代的学习率,θt第t次迭代的网络参数,θ0为预设的初始网络参数,
Figure FDA0002600458930000025
为第t次迭代计算得到的鲁棒梯度值。
9.如权利要求8所述的基于优化LSTM的移动设备用户认证装置,其特征在于,所述第三子单元用于根据如下公式利用样本进入组以及预设的损失函数计算梯度值:
Figure FDA0002600458930000031
其中,
Figure FDA0002600458930000032
为预设的损失函数:
Figure FDA0002600458930000033
其中,xi为样本进入组中的第i个训练样本,θ表示网络参数;yi表示训练样本xi对应的标签,0代表他人数据,1代表本人数据;f(xi,θ)表示输入为训练样本xi且网络参数为θ时计算得到的分类值,该分类值的取值范围为0~1。
10.如权利要求8所述的基于优化LSTM的移动设备用户认证装置,其特征在于,所述第三组件通过L1范数进行标准裁剪对所述的梯度值gt(xi)进行裁剪得到
Figure FDA0002600458930000034
Figure FDA0002600458930000035
式子中用
Figure FDA0002600458930000036
替换原始梯度向量gt(xi),其中C为裁剪阈值,用于进行梯度范数边界的控制,
Figure FDA0002600458930000037
表示新的梯度向量。
CN202010727680.2A 2020-07-24 2020-07-24 一种基于优化lstm的移动设备用户认证方法及装置 Pending CN112016673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010727680.2A CN112016673A (zh) 2020-07-24 2020-07-24 一种基于优化lstm的移动设备用户认证方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010727680.2A CN112016673A (zh) 2020-07-24 2020-07-24 一种基于优化lstm的移动设备用户认证方法及装置

Publications (1)

Publication Number Publication Date
CN112016673A true CN112016673A (zh) 2020-12-01

Family

ID=73498850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010727680.2A Pending CN112016673A (zh) 2020-07-24 2020-07-24 一种基于优化lstm的移动设备用户认证方法及装置

Country Status (1)

Country Link
CN (1) CN112016673A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742669A (zh) * 2021-08-18 2021-12-03 浙江工业大学 一种基于孪生网络的用户认证方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564955A (zh) * 2018-03-19 2018-09-21 平安科技(深圳)有限公司 电子装置、身份验证方法和计算机可读存储介质
CN110457877A (zh) * 2019-07-31 2019-11-15 中国工商银行股份有限公司 用户认证方法和装置、电子设备、计算机可读存储介质
CN110533178A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法、装置及系统
CN110647980A (zh) * 2019-09-18 2020-01-03 成都理工大学 一种基于gru神经网络的时间序列预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564955A (zh) * 2018-03-19 2018-09-21 平安科技(深圳)有限公司 电子装置、身份验证方法和计算机可读存储介质
CN110533178A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法、装置及系统
CN110457877A (zh) * 2019-07-31 2019-11-15 中国工商银行股份有限公司 用户认证方法和装置、电子设备、计算机可读存储介质
CN110647980A (zh) * 2019-09-18 2020-01-03 成都理工大学 一种基于gru神经网络的时间序列预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABADI MARTÍN等: "Deep Learning with Differential Privacy", 《PROCEEDINGS OF THE 2016 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY》, pages 308 - 318 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742669A (zh) * 2021-08-18 2021-12-03 浙江工业大学 一种基于孪生网络的用户认证方法
CN113742669B (zh) * 2021-08-18 2024-05-14 浙江工业大学 一种基于孪生网络的用户认证方法

Similar Documents

Publication Publication Date Title
US11659050B2 (en) Discovering signature of electronic social networks
US20190026639A1 (en) Neural architecture search for convolutional neural networks
US7801756B1 (en) Hybrid machine/human computing arrangement
WO2022217781A1 (zh) 数据处理方法、装置、设备以及介质
CN109711200B (zh) 基于区块链的精准扶贫方法、装置、设备及介质
CN109325691A (zh) 异常行为分析方法、电子设备及计算机程序产品
CN111681091A (zh) 基于时间域信息的金融风险预测方法、装置及存储介质
Hu et al. Recent developments in machine learning methods for stochastic control and games
CN113239638A (zh) 一种基于蜻蜓算法优化多核支持向量机的逾期风险预测方法
Hogg et al. Stochastic models of user-contributory web sites
CN107392164A (zh) 一种基于面部动作单元强度估计的表情分析方法
CN109636212B (zh) 作业实际运行时间的预测方法
CN113779550A (zh) 账号验证方法、装置、电子设备和计算机可读介质
CN110874638B (zh) 面向行为分析的元知识联邦方法、装置、电子设备及系统
CN115151917A (zh) 经由批量归一化统计的域泛化
CN113362852A (zh) 一种用户属性识别方法和装置
CN118211268A (zh) 基于扩散模型的异构联邦学习隐私保护方法及系统
CN115099326A (zh) 基于人工智能的行为预测方法、装置、设备及存储介质
CN112016673A (zh) 一种基于优化lstm的移动设备用户认证方法及装置
CN108596359A (zh) 康复医嘱任务分派优化方法、装置和设备
CN116049678A (zh) 特征贡献度评估方法、装置、电子设备和存储介质
CN114003705B (zh) 基于数据分析的律师推荐方法、装置、设备和存储介质
Cui et al. The learning stimulated sensing-transmission coordination via age of updates in distributed UAV swarm
CN112016047A (zh) 基于进化博弈的启发式数据采集方法、装置、计算机设备以及其应用
CN113362185A (zh) 投资组合数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination