CN113723660A - 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统 - Google Patents

一种基于dnn-lstm融合模型的特定行为类型预测方法及系统 Download PDF

Info

Publication number
CN113723660A
CN113723660A CN202110697778.2A CN202110697778A CN113723660A CN 113723660 A CN113723660 A CN 113723660A CN 202110697778 A CN202110697778 A CN 202110697778A CN 113723660 A CN113723660 A CN 113723660A
Authority
CN
China
Prior art keywords
specific behavior
dnn
lstm
specific
establishing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110697778.2A
Other languages
English (en)
Inventor
田华伟
徐南山
肖延辉
唐云祁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Original Assignee
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA filed Critical PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority to CN202110697778.2A priority Critical patent/CN113723660A/zh
Publication of CN113723660A publication Critical patent/CN113723660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于DNN‑LSTM融合模型的特定行为类型预测方法及系统，方法包括：S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间‑特定行为类型计数向量；S200、基于时间‑特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN‑LSTM融合模型，其中，LSTM子模型、DNN子模型和DNN‑LSTM融合模型的输出结果个数为特定行为类型的数量；S300、基于DNN‑LSTM融合模型，预测未来的特定行为类型。本发明可以使用地区过去的特定行为数据训练特定行为类型预测模型，用于特定行为类型的预测。

Description

一种基于DNN-LSTM融合模型的特定行为类型预测方法及系统
技术领域
本发明涉及特定行为预测技术领域，具体涉及一种基于DNN-LSTM融合模型的特定行为类型预测方法及系统。
背景技术
行为预测工作在工作人员打击特定行为过程中发挥着无可替代的作用，其中行为预测的前瞻性、先导性、引领性是工作人员在工作中取得战略主动地位的关键。而特定行为预测预测是工作人员行为预测工作中的重要内容之一，精准的特定行为预测预测能够为工作人员特定行为防控和特定行为事件破解提供高价值的参考。因此，如何从错综复杂的特定行为活动中，利用更加智能的技术对特定行为数据之间以及背后的信息进行分析挖掘，进而得到准确、及时的特定行为预测是提升工作能力的关键有效途径。
现有的技术可以进行特定行为态势预测、特定行为类型的发生概率预测、特定人群的特定行为发生率预测、特定人员社会活动位置预测。然而，在特定行为类型预测这一方向的技术相对落后，预测方法非常匮乏、所实现的预测模型的预测精准度也相对较低，无法满足工作人员实战需求。在一个城市里，时空信息与特定行为类型之间通常存在着关联关系，特定行为事件在时间和空间上分布也具有一定的潜在规律。但是，发掘这些关联关系和分布规律并用于特定行为事件类型的预测是一项极富挑战性的研究任务。具体的，开展这一研究任务首先需要大量的特定行为数据积累，然后还需要寻找高效的方法来挖掘这些隐含的关联关系和分布规律。因此，目前亟需一种基于 DNN-LSTM融合模型的特定行为类型预测技术，发掘这些关联关系和分布规律并实现特定行为事件类型的预测。
发明内容
针对现有的特定行为类型预测模型没有充分挖掘时间属性和特定行为类型之间深层次关系的问题，本发明构建了时间-特定行为类型计数向量化特征，设计了基于密集型人工神经网络(DNN)和长短记忆人工神经网络 (LSTM)相融合的特定行为类型预测模型。本发明可以使用地区过去的特定行为数据训练特定行为类型预测模型，用于特定行为类型的预测。
为实现上述目的，本发明采用的技术方案如下：
一种基于DNN-LSTM融合模型的特定行为类型预测方法，所述方法包括：
S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量；
S200、基于所述时间-特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN-LSTM融合模型的输出结果个数为特定行为类型的数量；
S300、基于所述DNN-LSTM融合模型，预测未来的特定行为类型。
进一步，如上所述的方法，S100包括：
S101、通过下式计算每个时间段的各类特定行为的总特定行为发生率：
Figure RE-GDA0003333099230000021
其中，Pt为时间段t的各类特定行为的总特定行为发生率，Nt为时间段t 内每个时间点发生的所有特定行为事件数量，N为所有时间点发生的特定行为事件总数量；
S102、通过下式计算每个时间点的各类特定行为的特定行为发生率：
Figure RE-GDA0003333099230000022
其中，
Figure RE-GDA0003333099230000023
为时间段t的第i(i∈C)类特定行为的特定行为发生率，
Figure RE-GDA0003333099230000024
是时间段t发生第i类特定行为事件的数量，C为特定行为类型的数量，i，C 为正整数；
S103、通过下式对时间段t的总特定行为发生率Pt和各类特定行为的特定行为发生率
Figure RE-GDA0003333099230000025
进行Logit变换，得到特定行为时间、特定行为类型和特定行为发生率之间的关系；
Logit(Pt)＝ln(Pt)-ln(1-Pt) (3)
Figure RE-GDA0003333099230000031
S104、基于上述关系，生成以下的时间-特定行为类型计数向量：
Figure RE-GDA0003333099230000032
其中，上述向量的维度为C+1。
进一步，如上所述的方法，S200中，建立DNN子模型，包括：
建立一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量，使用BN函数作为标准化函数，第一层和第二层的神经网络选择PReLU作为激活函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵。
进一步，如上所述的方法，S200中，建立LSTM子模型，包括：
建立一个四层的循环神经网络，其中隐藏层中每层LSTM的神经元个数分别是128、64和64，在每层都增加Dropout操作，使用BN函数作为标准化函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵，优化器选择RMSprop。
进一步，如上所述的方法，S200中，建立DNN-LSTM融合模型，包括：
建立一个两层的新神经网络，隐藏层有128个神经元，它将所述DNN 子模型和所述LSTM子模型各自输出的C个概率值作为输入，并通过标准化函数BN和激活函数PReLU进行输出，最终输出层再通过激活函数Softmax 生成C种特定行为类型的概率分布。
进一步，如上所述的方法，S200中，训练DNN-LSTM融合模型，包括：
将所述训练集的样本按照时间排序，选取所述训练集的前20％用于特定行为类型预测模型的训练，在所述训练集的后80％上进行迁移学习和预测，其中，将所述训练集的后80％的样本分割为NSplit个样本块，每个样本块中的样本数为NBlock。
进一步，如上所述的方法，在所述训练集的后80％上进行迁移学习和预测，包括：
用训练好的模型对第N20％+NBlock个样本进行预测，其中N20％为所述训练集的前20％的样本，将第N20％+1到N20％+NBlock个样本纳入训练集，在已训练的模型上进行迁移学习，用新学习的模型对第N20％+2×NBlock个样本进行预测，如此依次对后续样本进行学习和预测，直到最后一个样本块，最后，一共进行了NSplit次迁移学习，并进行了NSplit次预测。
本发明实施例中还提供了一种基于DNN-LSTM融合模型的特定行为类型预测系统，所述系统包括：
第一建立模块，用于建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量；
第二建立模块，用于基于所述时间-特定行为类型计数向量，分别建立 LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN-LSTM融合模型的输出结果个数为特定行为类型的数量；
预测模块，用于基于所述DNN-LSTM融合模型，预测未来的特定行为类型。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行本发明中任一所述的一种基于DNN-LSTM融合模型的特定行为类型预测方法。
一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行本发明中任一所述的一种基于DNN-LSTM融合模型的特定行为类型预测方法。
本发明的有益效果在于：本发明公开了一种基于密集型神经网络和长短期记忆神经网络相融合的特定行为类型预测方法，首先，分别建立密集型神经网络和长短期记忆神经网络；然后，将两者的输出结果输入到一个新的神经网络中进行训练，实现两种神经网络的融合。其中，密集型神经网络的使用可以有效拟合所构建特征和特定行为类型之间的关系；长短期记忆神经网络的使用可以挖掘特定行为事件在时间维度上的先后逻辑关系。最后，在真实的数据集上验证了方法的有效性。
附图说明
图1为本发明实施例中提供的一种基于DNN-LSTM融合模型的特定行为类型预测方法的流程示意图；
图2为本发明实施例中提供的特定行为类型预测模型结构示意图；
图3为本发明实施例中提供的一种基于DNN-LSTM融合模型的特定行为类型预测系统的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述。
实施例一
本发明实施例提供了一种基于DNN-LSTM融合模型的特定行为类型预测方法，如图1所示，该方法包括两个主要步骤：
步骤一：时间-特定行为类型计数向量化
特定行为事件的发生通常具有一定的周期性，因此发现并建立时间与特定行为类型及特定行为发生率之间的关系对特定行为类型预测有着很重要的意义。本发明公开了一种时间-特定行为类型计数向量化的技术来挖掘时间、特定行为类型和特定行为发生率之间的关系。
S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量。
S100包括：
S101、通过下式计算每个时间段的各类特定行为的总特定行为发生率：
Figure RE-GDA0003333099230000051
其中，Pt为时间段t的各类特定行为的总特定行为发生率，Nt为时间段t 内每个时间点发生的所有特定行为事件数量，N为所有时间点发生的特定行为事件总数量；
S102、通过下式计算每个时间点的各类特定行为的特定行为发生率：
Figure RE-GDA0003333099230000061
其中，
Figure RE-GDA0003333099230000062
为时间段t的第i(i∈C)类特定行为的特定行为发生率，
Figure RE-GDA0003333099230000063
是时间段t发生第i类特定行为事件的数量，C为特定行为类型的数量，C为正整数；
S103、通过下式对时间段t的总特定行为发生率Pt和各类特定行为的特定行为发生率
Figure RE-GDA0003333099230000066
进行Logit变换，得到特定行为时间、特定行为类型和特定行为发生率之间的关系；
Logit(Pt)＝ln(Pt)-ln(1-Pt) (3)
Figure RE-GDA0003333099230000064
S104、基于上述关系，生成以下的时间-特定行为类型计数向量：
Figure RE-GDA0003333099230000065
其中，上述向量的维度为C+1。
步骤二：DNN-LSTM融合模型
预测分析的本质是用“过去的数据来预测未来的特定行为情况”，即用“昨天”和“今天”的数据来预测“明天”可能发生的特定行为事件的类型。本发明先分别建立LSTM子模型和DNN子模型，并分别在训练集上进行训练，再将两个网络的输出输入到一个新的神经网络中进行训练。这样的网络结构既可以挖掘时间、地点等信息与特定行为类型之间的关联关系，又可以挖掘特定行为事件在时间维度上周期特性和先后逻辑关系。
S200、基于时间-特定行为类型计数向量，分别建立LSTM子模型和DNN 子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，LSTM子模型、DNN子模型和DNN-LSTM融合模型的输出结果个数为特定行为类型的数量。
(1)DNN子模型构建
S200中，建立DNN子模型，包括：
建立一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量，使用BN函数作为标准化函数，第一层和第二层的神经网络选择PReLU作为激活函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵。
为了有效拟合所构建特征和特定行为类型之间的关系，本发明建立了一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量。为了便于不同单位或量级的特征能够进行比较和加权，使用批量标准化(batch normalization，简称BN)作为标准化函数。BN在训练时可以适应性地在均值和方差随时间发生变化的情况下将数据标准化，效率更高。第一层和第二层的神经网络选择PReLU作为激活函数，它弥补了在负数时ReLU梯度就会完全到0的缺点，在负数区域内，PReLU有一个很小的斜率，斜率虽然小，但是不会趋于0，这样也可以避免一旦输入负数ReLU 就死掉的问题。最后的输出层的激活函数为Softmax。对于每一个输入的样本，它可以输出在C个特定行为类别上的概率分布，其中output[i]是样本属于第i(i∈C)个类别的概率，并且C个概率值的总和为1。这样的结果符合实验最终想要预测出各种特定行为类型在该时空条件下可能发生的概率值这一目标。
损失函数选择多分类交叉熵。它可以很好地衡量本研究设计的神经网络输出的概率分布和目标的真实分布之间的距离，通过将这两个分布的距离最小化来训练神经网络。优化函数选择Adam算法，它每次迭代参数的学习率都有一定的范围，不会因为梯度很大而导致学习率也变得很大，参数的值相对比较稳定，且通常无需调整或仅需很少的微调，操作简单、计算高效、对内存需求少，在很多情况下工作性能表现比较优秀。最后是添加在训练和测试过程中需要监测的指标，本发明更关心正确分类的数据样本所占的比例，因此以准确率和Top-5准确率作为衡量模型预测好坏的监测指标。
(2)LSTM子模型构建
S200中，建立LSTM子模型，包括：
建立一个四层的循环神经网络，其中隐藏层中每层LSTM的神经元个数分别是128、64和64，在每层都增加Dropout操作，使用BN函数作为标准化函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵，优化器选择RMSprop。
如果把一个城市所有实施特定行为的特定人员当成一个“特定行为团队”来看待，那么一个“特定行为团队”所实施的特定行为事件之间必然有前后关联性和时间周期性。LSTM网络具有短时记忆的功能，能够充分挖掘数据在时间维度上的周期性特征和先后逻辑关系。
本发明利用LSTM建立了一个四层的循环神经网络，其中隐藏层中每层 LSTM的神经元个数分别是128、64和64。同时在每层都增加了Dropout操作，它是神经网络最常用且效果最好的正则化方法之一。Dropout层通过随机舍弃隐含层的部分输出特征的方式来有效防止模型过拟合。为了便于不同单位或量级的指标能够进行比较和加权，仍选择效率较高的BN函数。最后输出层选择Softmax作为激活函数，同样是为了满足本文最终想要预测出各种特定行为类型在该时空条件下可能发生的概率值这一目标。
损失函数同样选择的是分类交叉熵，通过将这两个分布的距离最小化来训练网络提升预测效果。优化器选择RMSprop(root mean square prop)，它可以有效避免其它优化器可能存在的学习率一直递减太多的问题，从而使步长的更新更加缓和。RMSprop虽然并不能完全解决局部最小值问题，但它能够使模型参数收敛的速度更快。和上述构建密集型神经网络模型时一样，以准确率和Top-5准确率作为衡量模型预测好坏的监测指标。
(3)DNN和LSTM的融合方法
S200中，建立DNN-LSTM融合模型，包括：
建立一个两层的新神经网络，隐藏层有128个神经元，它将DNN子模型和LSTM子模型各自输出的C个概率值作为输入，并通过标准化函数BN 和激活函数PReLU进行输出，最终输出层再通过激活函数Softmax生成C 种特定行为类型的概率分布。
DNN和LSTM都有很好地挖掘时间序列数据的作用，所以为了在实现用过去数据预测未来特定行为情况的同时提升模型的预测准确率，本研究将分别设计的DNN和LSTM结合起来，让两者的输出结果共同输入一个新的神经网络里，实现两种神经网络的融合，再通过Softmax将输出变成概率分布的形式。结构如图2所示。
本发明构建了一个两层的新神经网络结构，隐藏层有128个神经元，它将DNN和LSTM各自输出的C个概率值作为输入，并通过标准化函数BN 和激活函数PReLU进行输出，最终输出层再通过激活函数Softmax生成C 种特定行为类型的概率分布。
(4)DNN-LSTM融合模型的训练和预测过程
S200中，训练DNN-LSTM融合模型，包括：
将训练集的样本按照时间排序，选取训练集的前20％用于特定行为类型预测模型(DNN-LSTM融合模型)的训练，在训练集的后80％上进行迁移学习和测试，其中，将训练集的后80％的样本分割为NSplit个样本块，每个样本块中的样本数为NBlock。
在训练集的后80％上进行迁移学习和预测，包括：
用训练好的模型对第N20％+NBlock个样本进行预测，其中N20％为训练集的前20％的样本，将第N20％+1到N20％+NBlock个样本纳入训练集，在已训练的模型上进行迁移学习，用新学习的模型对第N20％+2×NBlock个样本进行预测，如此依次对后续样本进行学习和预测，直到最后一个样本块，最后，一共进行了NSplit次迁移学习，并进行了NSplit次预测。
首先，对训练集的样本按照时间排序。老旧的特定行为事件样本在前，新发生的特定行为事件样本在后。然后，选取训练集的前20％用于特定行为类型预测模型的训练。最后，在训练集的后80％上进行迁移学习和测试。
其中，将训练集后80％的样本分割为NSplit个样本块，每个样本块中的样本数为NBlock，NBlock＝N80％/NSplit。为了节约训练时间、提升训练效率，本发明引入迁移学习的方法，在训练集前20％训练出的模型的基础上进行迁移学习。首先，用训练好的模型对第N20％+NBlock个样本进行预测。然后，将第N20％+1 到N20％+NBlock第个样本纳入训练集，在已训练的模型上进行迁移学习。再后，用新学习的模型对第N20％+2×NBlock个样本进行预测。如此依次对后续样本进行学习和预测，直到最后一个样本块。最后，我们一共进行了NSplit次迁移学习，并进行了NSplit次预测。
S300、基于DNN-LSTM融合模型，预测未来的特定行为类型。
为了验证本发明的有效性特使用在旧金山特定行为数据集和中国某市特定行为数据集上进行了测试，测试结果证明了本发明的有效性。
采用本发明实施例的方法，
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
实施例二
本发明实施例还提供一种基于DNN-LSTM融合模型的特定行为类型预测系统，如图3所示，该系统包括：
第一建立模块100，用于建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量；
第二建立模块200，用于基于所述时间-特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN-LSTM融合模型的输出结果个数为特定行为类型的数量；
预测模块300，用于基于所述DNN-LSTM融合模型，预测未来的特定行为类型。
需要说明的是，本发明实施例的系统与实施例一中的一种基于 DNN-LSTM融合模型的特定行为类型预测方法的发明构思相同，实现方式和技术特征不再赘述。
实施例三
本发明还提供一种存储介质，存储介质中存储有计算机程序，其中，计算机程序运行时可以执行本发明的一种基于DNN-LSTM融合模型的特定行为类型预测方法。该存储介质包括以下至少之一：软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、 xD卡等，将本发明的方法转化成数据(计算机程序)刻录到上述存储介质中，比如将刻有本发明方法的计算机程序的硬盘放入电脑运行，则可以实现本发明的方法。
实施例四
本发明还提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行本发明的一种基于 DNN-LSTM融合模型的特定行为类型预测方法。该存储器属于实施例三中的存储介质，能够存储本发明方法的计算机程序，该处理器可以对存储器中的数据进行处理，该电子装置可以是计算机、手机或者其他包括存储器和处理器的任何装置。在计算机启动后，启动处理器运行存储器中的本发明方法的计算机程序，则可以实现本发明的方法。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于DNN-LSTM融合模型的特定行为类型预测方法，其特征在于，所述方法包括：
S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量；
S200、基于所述时间-特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN-LSTM融合模型的输出结果个数为特定行为类型的数量；
S300、基于所述DNN-LSTM融合模型，预测未来的特定行为类型。
2.根据权利要求1所述的方法，其特征在于，S100包括：
S101、通过下式计算每个时间段的各类特定行为的总特定行为发生率：
Figure RE-FDA0003325362530000011
其中，Pt为时间段t的各类特定行为的总特定行为发生率，Nt为时间段t内每个时间点发生的所有特定行为事件数量，N为所有时间点发生的特定行为事件总数量；
S102、通过下式计算每个时间点的各类特定行为的特定行为发生率：
Figure RE-FDA0003325362530000012
其中，
Figure RE-FDA0003325362530000013
为时间段t的第i(i∈C)类特定行为的特定行为发生率，
Figure RE-FDA0003325362530000014
是时间段t发生第i类特定行为事件的数量，C为特定行为类型的数量，i，C为正整数；
S103、通过下式对时间段t的总特定行为发生率Pt和各类特定行为的特定行为发生率
Figure RE-FDA0003325362530000015
进行Logit变换，得到特定行为时间、特定行为类型和特定行为发生率之间的关系；
Logit(Pt)＝ln(Pt)-ln(1-Pt) (3)
Figure RE-FDA0003325362530000016
S104、基于上述关系，生成以下的时间-特定行为类型计数向量：
Figure RE-FDA0003325362530000021
其中，上述向量的维度为C+1。
3.根据权利要求2所述的方法，其特征在于，S200中，建立DNN子模型，包括：
建立一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量，使用BN函数作为标准化函数，第一层和第二层的神经网络选择PReLU作为激活函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵。
4.根据权利要求2所述的方法，其特征在于，S200中，建立LSTM子模型，包括：
建立一个四层的循环神经网络，其中隐藏层中每层LSTM的神经元个数分别是128、64和64，在每层都增加Dropout操作，使用BN函数作为标准化函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵，优化器选择RMSprop。
5.根据权利要求2所述的方法，其特征在于，S200中，建立DNN-LSTM融合模型，包括：
建立一个两层的新神经网络，隐藏层有128个神经元，它将所述DNN子模型和所述LSTM子模型各自输出的C个概率值作为输入，并通过标准化函数BN和激活函数PReLU进行输出，最终输出层再通过激活函数Softmax生成C种特定行为类型的概率分布。
6.根据权利要求2所述的方法，其特征在于，S200中，训练DNN-LSTM融合模型，包括：
将所述训练集的样本按照时间排序，选取所述训练集的前20％用于特定行为类型预测模型的训练，在所述训练集的后80％上进行迁移学习和预测，其中，将所述训练集的后80％的样本分割为NSplit个样本块，每个样本块中的样本数为NBlock。
7.根据权利要求6所述的方法，其特征在于，在所述训练集的后80％上进行迁移学习和预测，包括：
用训练好的模型对第N20％+NBlock个样本进行预测，其中N20％为所述训练集的前20％的样本，将第N20％+1到N20％+NBlock个样本纳入训练集，在已训练的模型上进行迁移学习，用新学习的模型对第N20％+2×NBlock个样本进行预测，如此依次对后续样本进行学习和预测，直到最后一个样本块，最后，一共进行了NSplit次迁移学习，并进行了NSplit次预测。
8.一种基于DNN-LSTM融合模型的特定行为类型预测系统，其特征在于，所述系统包括：
第一建立模块，用于建立时间、特定行为类型和特定行为发生率之间的关系，生成时间-特定行为类型计数向量；
第二建立模块，用于基于所述时间-特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN-LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN-LSTM融合模型的输出结果个数为特定行为类型的数量；
预测模块，用于基于所述DNN-LSTM融合模型，预测未来的特定行为类型。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的一种基于DNN-LSTM融合模型的特定行为类型预测方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的一种基于DNN-LSTM融合模型的特定行为类型预测方法。
CN202110697778.2A 2021-06-23 2021-06-23 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统 Pending CN113723660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110697778.2A CN113723660A (zh) 2021-06-23 2021-06-23 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110697778.2A CN113723660A (zh) 2021-06-23 2021-06-23 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统

Publications (1)

Publication Number Publication Date
CN113723660A true CN113723660A (zh) 2021-11-30

Family

ID=78672919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110697778.2A Pending CN113723660A (zh) 2021-06-23 2021-06-23 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统

Country Status (1)

Country Link
CN (1) CN113723660A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648070A (zh) * 2022-03-24 2022-06-21 支付宝(杭州)信息技术有限公司 关键行为抽取网络、关键属性抽取网络的训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648070A (zh) * 2022-03-24 2022-06-21 支付宝(杭州)信息技术有限公司 关键行为抽取网络、关键属性抽取网络的训练方法及装置
CN114648070B (zh) * 2022-03-24 2023-06-13 支付宝(杭州)信息技术有限公司 关键行为抽取网络、关键属性抽取网络的训练方法及装置

Similar Documents

Publication Publication Date Title
Tian et al. LSTM-based traffic flow prediction with missing data
Lin et al. Short-term load forecasting based on LSTM networks considering attention mechanism
Tian et al. An intrusion detection approach based on improved deep belief network
CN106453293A (zh) 一种基于改进bpnn的网络安全态势预测方法
CN109523021A (zh) 一种基于长短时记忆网络的动态网络结构预测方法
Yang et al. An ensemble prediction system based on artificial neural networks and deep learning methods for deterministic and probabilistic carbon price forecasting
García-Vico et al. Fepds: A proposal for the extraction of fuzzy emerging patterns in data streams
Yang et al. A method of intrusion detection based on Attention-LSTM neural network
Wang et al. An enhanced hybrid model based on multiple influencing factors and divide-conquer strategy for carbon price prediction
Zhang Financial data anomaly detection method based on decision tree and random forest algorithm
Bidyuk et al. Modeling military conflicts using Bayesian networks
CN113723660A (zh) 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统
Shan et al. Incorporating user behavior flow for user risk assessment
CN115249081A (zh) 一种对象类型的预测方法、装置、计算机设备和存储介质
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
Surono et al. Implementation of Takagi Sugeno Kang fuzzy with rough set theory and mini-batch gradient descent uniform regularization
CN114401135B (zh) 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法
Huo et al. Traffic anomaly detection method based on improved GRU and EFMS-Kmeans clustering
CN112232557B (zh) 基于长短期记忆网络的转辙机健康度短期预测方法
Prashanthi et al. A comparative study of the performance of machine learning based load forecasting methods
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
Jongmuenwai et al. Comparision using Data Mining Algorithm Techniques for Predicting of Dengue fever Data in Northeastern of Thailand
Sun et al. The use of neural network in defense audit nonlinear dynamic processing under the background of big data
Chirita et al. Usefulness of artificial neural networks for predicting financial and economic crisis
Sengupta et al. A Bayesian approach to quantifying uncertainties and improving generalizability in traffic prediction models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination