CN113962294A - 多类型事件预测模型 - Google Patents

多类型事件预测模型 Download PDF

Info

Publication number
CN113962294A
CN113962294A CN202111159151.8A CN202111159151A CN113962294A CN 113962294 A CN113962294 A CN 113962294A CN 202111159151 A CN202111159151 A CN 202111159151A CN 113962294 A CN113962294 A CN 113962294A
Authority
CN
China
Prior art keywords
event
time
vector
node
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111159151.8A
Other languages
English (en)
Other versions
CN113962294B (zh
Inventor
高翔
陈伟晴
廖泓舟
潘磊
丁洪丽
杨露
代翔
崔莹
黄细凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Electronic Technology Institute No 10 Institute of Cetc
Original Assignee
Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Electronic Technology Institute No 10 Institute of Cetc filed Critical Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority to CN202111159151.8A priority Critical patent/CN113962294B/zh
Publication of CN113962294A publication Critical patent/CN113962294A/zh
Application granted granted Critical
Publication of CN113962294B publication Critical patent/CN113962294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开的一种多类型事件预测模型，涉及事件分析与处理领域。本发明通过下述技术方案实现：事件异构时序图构建模块以事件描述数据库为基础，以所有要素为邻域节点，构建事件异构时序图，通过关系图神经网络模型获取事件发生时间节点的特征向量；组合特征提取模块提取时间节点特征向量组合时间段内事件的组合特征信息，按时间顺序排列输出组合特征向量；时序特征提取模块将组合特征向量送入时序特征提取模块，输出具备时序特征的向量；多标签分类器模块将时序特征提取模块输出的向量进行扁平化处理，控制神经网络输出层向量维度与被预测事件类型数量保持一致，最终全连接深度神经网络通过激活函数层，可视化输出每种类型事件发生的概率值。

Description

多类型事件预测模型
技术领域
本发明涉及事件分析与处理领域，更具体的，涉及一种基于图神经网络的多类型事件预测模型。
背景技术
古语云:“凡事预则立，不预则废”，“人无远虑，必有近忧”是对预测的重要性所作的经验总结。预测是根据某一事物过去的发展现律研究其未来的发展趋势，以调节当前行动的一种理论和方法。预测学习(Predictivelearning)在很多领域都有研究，事件预测在许多场景有广泛应用，例如在网络安全领域，可以提前识别网络用户的操作行为，评估其行为风险程度，从而对未来可能发生的欺诈交易、盗取账户、流量攻击等事件提前进行预测预警。对重大事件进行预测预警，有助于为该事件的后续发展预先做好充足准备。预测是决策的前提，任何成功的决策都离不开科学的预测。预测对象千千万万，预测方法种类繁多，不同的预测对象适用不同的预测方法。由于预测的对象、目标、内容和期限不同，形成了多种多样的预测方法。据不完全统计，目前世界上共有近千种预测方法，其中较为成熟的有150多种，常用的有30多种，用得最为普遍的有10多种。但预测学仍然是一门困难的富有挑战性的学科，其原因是预测对象所在的环境常常处于动态变化之中，一些不可知事件。由于传统的预测方法存在其局限性，预测或范围有限，或精度不高。对预测精度不断的追求，预测适应范围的扩大，特别是过去无法预测的领域，就成了现代预测技术追求的目标。按预测方法的客观性分类可分为主观预测方法和客观预测方法两类。前者主要依靠经验判断，后者主要借助数学模型。按采用模型的特点分类可分为经验预测模型和正规的预测模型。后者包括时间关系模型、因果关系模型、结构关系模型等。按预测技术的差异性分类可分为定性预测技术、定量预测技术、定时预测技术、定比预测技术和评价预测技术，共五类。3)按预测分析的途径分类可分为直观型预测方法、计量经济模型预测方法、因果分析预测方法等。预测常用方法通常分为定性分析与定量分析两大类。定性分析预测法是指预测者根据历史与现实的观察资料，依赖个人或集体的经验与智慧，对未来的发展状态和变化趋势作出判断的预测方法。定性预测是预测者通过对事物的过去及现在变化规律的分析，对该事物未来发展的趋势和状态做出判断和预测的一种方法，主要依靠一些领域专家，根据经验来判断系统的大致走势。即是对事物的某种特性或某种倾向可能出现，也可能不出现的一种事前推测。定量预测则是运用统计方法和数学模型，对事物现象、未来发展状况进行测定，它主要是通过对过去一些历史数据的统计分析，用量化指标来对系统未来发展进行预测。定量预测是对事物未来的发展趋势、增减和可能到达水平的一种量。定量预测主要采取模型法，模型方法是一种科学的分析方法。目前，主要采用的定量预测方法有：回归分析法、时间序列分析法、灰色预测法、人工神经网络法、支持向量机法、组合预测法等。定性预测法具有综合性强、需要的历史数据少，并能考虑到某些无法定量的因素等优点，其准确程度，主要取决于预测者的经验、理论素质、业务水平以及掌握的情况和分析判断能力；相应地，定量预测要求有完整的历史数据和先进的计算手段，所以计算结果较为科学、可靠，受主观因素的影响小。定性预测的优点在于：注重于事物发展在性质方面的预测，具有较大的灵活性，易于充分发挥人的主观能动作用，且简单迅速，省时省费用。易受主观因素的影响，比较注重于人的经验和主观判断能力，从而易受人的知识、经验和能力多少大小的束缚和限制，尤其是缺乏对事物发展作数量上的精确描述。定量分析预测法是依据调查研究所得的数据资料，运用统计方法和数学模型，近似地揭示预测对象及其影响因素的数量变动关系，建立对应的预测模型，据此对预测目标作出定量测算的预测方法。定量预测的优点在于：注重于事物发展在数量方面的分析，重视对事物发展变化的程度作数量上的描述，更多地依据历史统计资料，较少受主观因素的影响；缺点在于比较机械，不易处理有较大波动的资料，更难于事物预测的变化。传统基于人工对重大事件预测的方法有专家会议法和德尔菲法。它们需要人工建立事件预测的指标评估体系，利用大规模事件数据库，通过识别每分每秒推动全球社会的人，地点，组织，计数，主题，来源，情绪，报价，图像等要素，对当前发生的具体事件与指标评估体系进行对比，再经过人工研判，达到事件预测的目的。基于人工的事件预测方法主要缺点有二：第一，人工建立事件预测指标和研判过程，都需要大量专家经验，专家的主观情感往往能够影响预测结果，并且在预测需求较大情况下，由于人员数量限制，很难做到高效客观的事件预测。第二，所建立的预测指标体系往往只考虑了当前最近的事件数据，不涉及到较远时期的数据，因此评估预测准确率低。传统另一种预测方法为基于人工智能深度学习技术对事件持续跟踪并预测。利用互联网爬取的非结构化事件新闻数据，通过事件检测、事件要素抽取、事件融合、事件关系挖掘、事件跟踪等一系列技术处理后，通过深度学习模型训练，最后通过二分类或者多分类模型对事件在未来是否发生进行预测。这种预测方法的有如下缺点：
第一，数据方面，由于支撑事件预测的数据字段、内容、描述维度众多，由非结构化数据中提取的要素存在很大的稀疏性，同时，数据中存在较多干扰预测结果的不相关要素，使得预测模型巨大，计算复杂度高，预测准确率不足；
第二，传统预测模型通常基于二分类器或者多分类器，这类分类器仅能输出某单一类型的事件是否发生，而不能对未来多种类型事件发生的可能性进行量化判断。而现实场景下，往往未来要发生的事件并不是只有发生和不发生两种状态，多种类型事件均有发生的概率，多类型事件发生概率的预测也非常重要。
第四，传统预测模型往往仅考虑单一时间节点的现状，就对未来事件做出预测。而现实场景下，影响未来事件的往往并非单一时间节点上的现状，而是一个组合时间段的现状，组合时间段特征也是影响未来事件是否发生的重要因素；
第三，传统预测模型没有考虑历史事件的时序规律特征，例如，由大数据分析得知，网友购买商品的行为有如下规律：浏览网页A->购买商品B->购买配套商品C，那么这个存在先后顺序的事件序列就具备典型时序特征，这时序规律特征往往是影响未来事件的重要因素，在事件预测的过程中也需要考虑。
在过去的几十年里，预测学发展很快，目前已有近200种预测方法，但预测学仍然是一门困难的富有挑战性的学科，其原因如下：(1)预测对象所在的环境常常处于动态变化之中，一些不可知事件会对预测结果造成很大影响；(2)被用来进行预测的数据常常是不稳定、不确定和不完全的，由其来源和收集的方式所决定。(3)不同的时间区域常常需要不同的预测方法，形式上难以统一；(4)因为不同的预测方法在复杂性、数据要求以及准确程度上均不同，因此选择一个合适的预测方法是很困难的。
发明内容
本发明的目的是针对现存的业务及技术问题，提供一种能够提升预测的准确率的多类型事件预测模型，通过该模型进行事件预测，既可以降低预测数据的稀疏性，压缩模型大小，又能够结合历史事件的单时间点、组合时间段、事件时序关系等特征，进行未来多类型事件发生可能性的预测。以解决用户所关注的多类型重大事件发生概率预测问题。
本发明上述目的通过多类型事件预测模型实现，一种多类型事件预测模型，包括：按预测对象及其影响因素的数量变动关系，组成的事件异构时序图构建模块、组合特征提取模块、时序特征提取模块和多标签分类器模块，上述四个模块串联构成事件预测模型，其特征在于：事件异构时序图构建模块首先以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，并通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，获取事件发生时间节点的特征向量；组合特征提取模块通过卷积神经网络模型征提取事件发生时间节点的组合时间段内事件的组合特征信息，压缩时间节点的特征向量，利用长度为缺省个数、维度与时间节点特征向量相同的卷积核过滤器与时间节点特征向量进行卷积计算，按时间顺序排列输出特征向量；时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取特征，形成新的特征向量，输出具备时序特征的向量；多标签分类器模块将时序特征提取模块输出的向量进行扁平化处理，将其处理成为一个列向量，再通过全连接深度神经网络提取特征，控制神经网络输出层向量维度与被预测事件类型数量保持一致，最终全连接深度神经网络通过激活函数层，可视化输出每种类型事件发生的概率值。
本发明相比于现有技术具有如下有益效果：
本发明按预测对象及其影响因素的数量变动关系，组成的事件异构时序图构建模块、组合特征提取模块、时序特征提取模块和多标签分类器模块，上述四个模块串联构成事件预测模型，建立对应的预测模型既可以降低预测数据的稀疏性，压缩模型大小，又能够结合历史事件的单时间点、组合时间段、事件时序关系等特征，提升预测准确率。
本发明以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，并通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，获取事件发生时间节点的特征向量；组合特征提取模块通过卷积神经网络模型征提取事件发生时间节点的组合时间段内事件的组合特征信息，压缩时间节点的特征向量，利用长度为缺省个数、维度与时间节点特征向量相同的卷积核过滤器与时间节点特征向量进行卷积计算，按时间顺序排列输出特征向量；时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取特征，形成新的特征向量，输出具备时序特征的向量；具有较大的灵活性，易于充分发挥人的主观能动作用，且简单迅速，省时省费用。可以通过人工智能的方式，利用历史事件数据对模型进行训练，有助于为该事件的后续发展预先做好充足准备。
本发明采用多标签分类器模块将时序特征提取模块输出的向量进行扁平化处理，将其处理成为一个列向量，再通过全连接深度神经网络提取特征，控制神经网络输出层向量维度与被预测事件类型数量保持一致，最终全连接深度神经网络通过激活函数层，可视化输出每种类型事件发生的概率值。能够提升预测的准确率。解决了用户所关注的多类型重大事件发生概率预测问题。
附图说明
图1是本发明事件预测模型的构造原理示意图；
图2是图1事件异构时序图构建模块的工作原理示意图；
图3是图2计算关系图神经网节点聚合特征向量的原理图；
图4是组合特征提取模块的工作原理示意图；
图5是与图4组合特征提取模块相连的时序特征提取模块中长短记忆网络的原理图；
图6是与图5时序特征提取模块相连的全连接网络多标签分类器原理图。
具体实施方式
参阅图1。在以下描述的示意性优选实施例中，一种多类型事件预测模型，包括：按预测对象及其影响因素的数量变动关系，组成的事件异构时序图构建模块、组合特征提取模块、时序特征提取模块和多标签分类器模块，上述四个模块串联构成事件预测模型，其中：事件异构时序图构建模块首先以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，并通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，获取事件发生时间节点的特征向量；组合特征提取模块通过卷积神经网络模型征提取事件发生时间节点的组合时间段内事件的组合特征信息，压缩时间节点的特征向量，利用长度为缺省个数、维度与时间节点特征向量相同的卷积核过滤器与时间节点特征向量进行卷积计算，按时间顺序排列输出特征向量；时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取特征，形成新的特征向量，输出具备时序特征的向量；多标签分类器模块将时序特征提取模块输出的向量进行扁平化处理，将其处理成为一个列向量，再通过全连接深度神经网络提取特征，控制神经网络输出层向量维度与被预测事件类型数量保持一致，最终全连接深度神经网络通过激活函数层，可视化输出每种类型事件发生的概率值。
事件异构时序图构建模块首先设定历史事件跨度期限、预测期限、预测事件类型数量几个重要参数。其中，历史事件跨度，表示支撑预测所需要考虑的历史事件的时间跨度；预测期限表示在历史事件跨度期限后开始计算预测多少时间内事件的发生概率；预测事件类型数量表示所需要预测未来事件的种类。然后为每一组历史事件跨度期限内的事件数据进行标注，针对所有预测事件类型，发生标注为1，未发生标注为0。每一组历史事件跨度期限内的事件数据的标签是一个维度为预测事件类型数量的向量，该标签用于后续模型的训练。
事件异构时序图构建模块以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，实现事件描述数据库到事件描述图的转化；通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，输出时间节点特征向量，实现稀疏数据的稠密化表示；然后设定训练数据集与预测数据集划分比例，按比例将事件描述数据分为训练数据集和测试数据集。
组合特征提取模块，设定一个组合时间段缺省值，根据预测业务需求系统提取缺省值个时间节点特征向量，利用卷积核与多个日期节点特征向量共同运算，提取组合时间段特征。在计算过程中，由于卷积运算的使用，再次压缩了特征向量的维度，进一步实现数据的稠密化表示。组合特征提取模块输出按时间顺序排列的组合特征向量。
时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取时序特征，输出具备时序特征的向量。
多标签分类器模块采用全连接深度神经网络结构，根据输入历史事件跨度期限内时间节点的特征向量，确定事件发生概率预设值，当事件发生概率大于预设值时，认为该类型事件在预测期限内将会发生，否则认为该事件在预测期限内将不会发生。
多类型事件预测模型利用训练数据集对事件预测模型进行训练，训练数据集经过事件异构时序图构建模块、组合特征提取模块、时序特征提取模块、多标签分类模块计算后，输出各类事件发生的概率值，输出概率值与预设标签对比计算损失值，利用梯度下降法对事件预测模型进行反向传播，迭代模型参数，直到事件预测模型收敛。然后利用测试数据集进行多类型事件预测模型的能力测试，输入历史事件跨度期限内时间节点的特征向量，经过事件预测模型输出预测期限内事件类型发生的概率。设定事件发生概率预设值，当事件发生概率大于预设值时，认为该类型事件在预测期限内将会发生，否则认为该事件在预测期限内将不会发生。
参阅图2。事件描述数据库以全球事件数据库GDELT数据作为事件描述数据库的数据源，选取其中核心字段作为构建事件异构时序图的数据基础，GDELT事件描述数据库包括约60个字段，其中核心字段描述如表1所示。将数据源的80％作为训练数据集，剩余作为测试数据集，以事件发生时间(t)作为中心节点，受事者(a)、施事者(b)、事件类型(c)、事件发生地点(d)等元素为邻域节点，构建事件异构时序图。
事件异构时序图构建模块设定历史事件跨度期限，选取EventCode不同的M类事件为预测事件类型，根据预测期限时间后某时间内M类事件是否发生，为事件数据创建多类型标签，发生标记为1，未发生标记为0，标签向量的维度为M；采用关系图卷积神经网络，聚合邻域节点的特征信息，第l层节点聚合后输出第l+1层中心时间节点特征向量
Figure BDA0003289461560000071
表示为：
Figure BDA0003289461560000072
其中，r表示与中心节点关联的第r种关系，R表示节点i所有关系种类总数，
Figure BDA0003289461560000073
表示节点i在关系r下的邻居节点集合，ci，r是一个用于归一化的超参数，可以被设置为
Figure BDA0003289461560000074
是第l层的节点向量在关系r下对应权重，为可学习参数，W0表示自环关系权重。
参阅图3。以t1时间节点为例，t1时间节点与邻域节点存在N种关系，利用公式
Figure BDA0003289461560000075
计算入度关系1的3个入度、2个出度节点的聚合特征向量；然后，以此类推计算入度关系N下的2个入度、1个出度节点的聚合特征向量；再次，利用公式
Figure BDA0003289461560000076
计算和自环关系下节点的聚合特征向量；最后，对计算的节点特征向量进行求和，得到最终的中心时间节点t1的特征向量，并把求得的值作为组合特征提取模块神经元的输入值。
参阅图4。组合特征提取模块得到了各个中心时间节点t1，t2，...ti，...tn的特征向量，设定组合时间范围k，并组成n×m维的二维特征张量T，接着，二维特征张量T经过一维卷积神经网络模型进行多时间节点组合特征提取，运行卷积核为F个k×m卷积核P，其中对矩阵T进行一维卷积运算得到新的特征矩阵O，最后，通过连接在卷积层后面池化层，对新生成的特征矩阵O进行p阶池化操作，进一步压缩特征矩阵维度，形成时间节点特征矩阵C，其中，T∈Rn×m，P∈Rk×m，O∈R(n-k+1)×F，n为历史事件跨度期限，m为节点特征向量维度，C∈R(n -k+1)/p×F。
参阅图5。组合特征提取模块通过卷积神经网络CNN模型提取组合时间特征后，使用多个LSTM单元组成的长短记忆网络(LSTM)进行时序特征提取，每个LSTM单元由t-1时刻的隐藏层输出向量ht-1和t时刻的输入特征向量xt输入长短记忆网络单元；联合输入特征向量ht-1和L1时刻的主线参数ct-1控制遗忘门、输入门和输出门三个门，最后用t时刻的主线参数ct控制本层输出特征向量的遗忘和记忆程度，并将ct和t时刻的隐藏层输出ht作为下一时刻的输入。
参阅图6，经过长短记忆网络LSTM后，将所有特征向量进行扁平化处理，将其处理成为一个列向量，再利用全连接结构的神经网络进行多标签分类。神经网络输出层向量维度与被预测事件的类型数量保持一致，采用sigmoid作为激活函数，最终输出每个事件类型发生的概率值。
时序特征提取模块利用训练数据集进行多类型事件预测模型训练。输入某时间段内的时间节点特征向量，经过CNN模型、LSTM模型、全连接神经网络模型进行特征提取后，输出时间段内M类事件分别发生的概率，模型输出值与预设标签对比计算损失值，利用梯度下降法进行模型反向传播，不断迭代模型参数，直到模型收敛。
时序特征提取模块利用测试数据集进行多类型事件预测模型的能力测试，某时间段内的时间节点特征向量，经过CNN模型、LSTM模型、全连接神经网络模型进行特征提取后，输出时间段内M类事件分别发生的概率，设定事件发生概率预设值，当事件发生概率大于预设值时，认为该类型事件在预测期限内将会发生，否则认为该事件在预测期限内将不会发生。表1事件描述数据库字段定义表
Figure BDA0003289461560000081
以上所述的仅是本发明的优选实施例子。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变形和改进，如调整定位指的形状以适应特殊外形的连接器；或者修改定位件将定位装置安装在设备上，使其作为连接器阵列的固定工具；或者采用柔韧性材料制造定位指，使本装置兼具夹紧作用等，这些变更和改变均应视为属于本发明的保护范围。

Claims (10)

1.一种多类型事件预测模型，包括：按预测对象及其影响因素的数量变动关系，组成的事件异构时序图构建模块、组合特征提取模块、时序特征提取模块和多标签分类器模块，上述四个模块串联构成事件预测模型，其特征在于：事件异构时序图构建模块首先以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，并通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，获取事件发生时间节点的特征向量；组合特征提取模块通过卷积神经网络模型征提取事件发生时间节点的组合时间段内事件的组合特征信息，压缩时间节点的特征向量，利用长度为缺省个数、维度与时间节点特征向量相同的卷积核过滤器与时间节点特征向量进行卷积计算，按时间顺序排列输出特征向量；时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取特征，形成新的特征向量，输出具备时序特征的向量；多标签分类器模块将时序特征提取模块输出的向量进行扁平化处理，将其处理成为一个列向量，再通过全连接深度神经网络提取特征，控制神经网络输出层向量维度与被预测事件类型数量保持一致，最终全连接深度神经网络通过激活函数层，可视化输出每种类型事件发生的概率值。
2.如权利要求1所述的多类型事件预测模型，其特征在于：事件异构时序图构建模块首先设定历史事件跨度期限、预测期限、预测事件类型数量几个重要参数，其中，历史事件跨度，表示支撑预测所需要考虑的历史事件的时间跨度；预测期限表示在历史事件跨度期限后开始计算预测多少时间内事件的发生概率；预测事件类型数量表示所需要预测未来事件的种类，然后为每一组历史事件跨度期限内的事件数据进行标注，针对所有预测事件类型，发生标注为1，未发生标注为0，并且每一组历史事件跨度期限内的事件数据的标签是一个维度为预测事件类型数量的向量，该标签用于后续模型的训练。
3.如权利要求1所述的多类型事件预测模型，其特征在于：事件异构时序图构建模块以事件描述数据库为基础，以日为单位，事件发生时间为中心节点，发生事件的所有要素为邻域节点，按照事件发生日期排序，构建事件异构时序图，实现事件描述数据库到事件描述图的转化；通过关系图神经网络模型，将邻域节点的特征聚合到时间中心节点上，输出时间节点特征向量，实现稀疏数据的稠密化表示；然后设定训练数据集与预测数据集划分比例，按比例将事件描述数据分为训练数据集和测试数据集。
4.如权利要求1所述的多类型事件预测模型，其特征在于：组合特征提取模块，设定一个组合时间段缺省值，根据预测业务需求系统提取缺省值个时间节点特征向量，利用卷积核与多个日期节点特征向量共同运算，提取组合时间段特征，在计算过程中，由于卷积运算的使用，再次压缩了特征向量的维度，进一步实现数据的稠密化表示，组合特征提取模块输出按时间顺序排列的组合特征向量。
5.如权利要求1所述的多类型事件预测模型，其特征在于：时序特征提取模块采用多层独立时间单元串行组合排列的方式，将当前时刻每个时间单元的特征向量与上一时间单元输出的特征向量进行组合，将组合出的特征向量送入时序特征提取模块，时序特征提取模块在新组合的特征向量上提取时序特征，输出具备时序特征的向量。
6.如权利要求1所述的多类型事件预测模型，其特征在于：多标签分类器模块采用全连接深度神经网络结构，根据输入历史事件跨度期限内时间节点的特征向量，确定事件发生概率预设值，当事件发生概率大于预设值时，认为该类型事件在预测期限内将会发生，否则认为该事件在预测期限内将不会发生；利用训练数据集对事件预测模型进行训练，训练数据集经过事件异构时序图构建模块、组合特征提取模块、时序特征提取模块、多标签分类模块计算后，输出各类事件发生的概率值，输出概率值与预设标签对比计算损失值，利用梯度下降法对事件预测模型进行反向传播，迭代模型参数，直到事件预测模型收敛；然后利用测试数据集进行多类型事件预测模型的能力测试，输入历史事件跨度期限内时间节点的特征向量，经过事件预测模型输出预测期限内事件类型发生的概率。
7.如权利要求1所述的多类型事件预测模型，其特征在于：事件异构时序图构建模块设定历史事件跨度期限，选取不同的M类事件为预测事件类型，根据预测期限时间后某时间内M类事件是否发生，为事件数据创建多类型标签，发生标记为1，未发生标记为0，标签向量的维度为M；采用关系图卷积神经网络，聚合邻域节点的特征信息，第l层节点聚合后输出第l+1层中心时间节点特征向量
Figure FDA0003289461550000021
表示为：
Figure FDA0003289461550000022
其中，r表示与中心节点关联的第r种关系，R表示节点i所有关系种类总数，
Figure FDA0003289461550000023
表示节点i在关系r下的邻居节点集合，ci,r是一个用于归一化的超参数，可以被设置为
Figure FDA0003289461550000024
Figure FDA0003289461550000025
是第l层的节点向量在关系r下对应权重，为可学习参数，W0表示自环关系权重。
如权利要求7所述的多类型事件预测模型，其特征在于：事件异构时序图构建模块利用关系图神经网络方法，遍历所有种类的关系，利用公式
Figure FDA0003289461550000026
聚合每一种关系的入度和出度节点特征；然后，利用公式
Figure FDA0003289461550000031
计算自环关系下节点的聚合特征向量；最后，对计算的节点聚合特征向量进行求和，得到最终的中心时间节点聚合特征向量，并把求得的值作为组合特征提取模块神经元的输入值。
8.如权利要求7所述的多类型事件预测模型，其特征在于：事件异构时序图构建模块利用关系图神经网络方法，遍历所有种类的关系，利用公式聚合每一种关系的入度和出度节点特征；然后，利用公式计算自环关系下节点的聚合特征向量；最后，对计算的节点聚合特征向量进行求和，得到最终的中心时间节点聚合特征向量，并把求得的值作为组合特征提取模块神经元的输入值。
9.如权利要求1所述的多类型事件预测模型，其特征在于：组合特征提取模块得到了各个中心时间节点的特征向量，设定组合时间范围，并组成二维特征张量T，并与卷积核P进行一维卷积运算提取多时间节点的组合特征，最后通过连接在卷积层后面池化层进行池化操作，进一步压缩特征矩阵维度，输出按时间顺序排列的组合特征向量。
10.如权利要求1所述的多类型事件预测模型，其特征在于：组合特征提取模块通过卷积神经网络CNN模型提取组合时间特征后，使用多个LSTM单元组成的长短记忆网络LSTM进行时序特征提取，每个LSTM单元由上一时刻隐藏层输出向量和本层输入特征向量组合作为输入，经过控制遗忘门、输入门和输出门三个门控单元控制，最后输出本层的特征向量作为下一时刻的输入。
CN202111159151.8A 2021-09-30 2021-09-30 多类型事件预测模型 Active CN113962294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111159151.8A CN113962294B (zh) 2021-09-30 2021-09-30 多类型事件预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111159151.8A CN113962294B (zh) 2021-09-30 2021-09-30 多类型事件预测模型

Publications (2)

Publication Number Publication Date
CN113962294A true CN113962294A (zh) 2022-01-21
CN113962294B CN113962294B (zh) 2023-05-16

Family

ID=79462779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111159151.8A Active CN113962294B (zh) 2021-09-30 2021-09-30 多类型事件预测模型

Country Status (1)

Country Link
CN (1) CN113962294B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519610A (zh) * 2022-02-16 2022-05-20 支付宝(杭州)信息技术有限公司 信息预测方法以及装置
CN116070786A (zh) * 2023-03-07 2023-05-05 华侨大学 基于事件演化图的多标记事件预测方法、装置和介质
WO2023198174A1 (en) * 2022-04-14 2023-10-19 Huawei Technologies Co., Ltd. Methods and systems for predicting sudden changes in datacenter networks
CN116996844A (zh) * 2023-07-07 2023-11-03 中国科学院脑科学与智能技术卓越创新中心 一种描述、预测事件的多点通讯方法和装置
CN117113148A (zh) * 2023-08-30 2023-11-24 上海智租物联科技有限公司 基于时序图神经网络的风险识别方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、系统及其应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、系统及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于海等: "基于在线社交网络事件库多因素耦合的流行度预测方法", 《天津大学学报(自然科学与工程技术版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519610A (zh) * 2022-02-16 2022-05-20 支付宝(杭州)信息技术有限公司 信息预测方法以及装置
WO2023198174A1 (en) * 2022-04-14 2023-10-19 Huawei Technologies Co., Ltd. Methods and systems for predicting sudden changes in datacenter networks
CN116070786A (zh) * 2023-03-07 2023-05-05 华侨大学 基于事件演化图的多标记事件预测方法、装置和介质
CN116996844A (zh) * 2023-07-07 2023-11-03 中国科学院脑科学与智能技术卓越创新中心 一种描述、预测事件的多点通讯方法和装置
CN117113148A (zh) * 2023-08-30 2023-11-24 上海智租物联科技有限公司 基于时序图神经网络的风险识别方法、装置及存储介质
CN117113148B (zh) * 2023-08-30 2024-05-17 上海智租物联科技有限公司 基于时序图神经网络的风险识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN113962294B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN113962294A (zh) 多类型事件预测模型
Wang et al. Predicting construction cost and schedule success using artificial neural networks ensemble and support vector machines classification models
US11521221B2 (en) Predictive modeling with entity representations computed from neural network models simultaneously trained on multiple tasks
CN110503531B (zh) 时序感知的动态社交场景推荐方法
CN112381581B (zh) 一种基于改进Transformer的广告点击率预估方法
Voß et al. Residential short-term load forecasting using convolutional neural networks
Bin et al. Regression model for appraisal of real estate using recurrent neural network and boosting tree
Li et al. Multi-factor based stock price prediction using hybrid neural networks with attention mechanism
Chen et al. A new approach for mobile advertising click-through rate estimation based on deep belief nets
CN117041017A (zh) 数据中心的智能运维管理方法及系统
Chen et al. House price prediction based on machine learning and deep learning methods
CN116051175A (zh) 基于深度多兴趣网络的点击率预测模型及预测方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
Surakhi et al. On the ensemble of recurrent neural network for air pollution forecasting: Issues and challenges
Li et al. Internet Financial Credit Risk Assessment with Sliding Window and Attention Mechanism LSTM Model
Elgohary et al. Smart evaluation for deep learning model: churn prediction as a product case study
CN117237095A (zh) 基于大数据分析的小微金融行业风险预警与监测平台
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统
CN115712777A (zh) 一种基于逻辑回归的文献推荐系统的排序方法
CN115618079A (zh) 会话推荐方法、装置、电子设备及存储介质
CN115187312A (zh) 基于深度学习的客户流失预测方法及系统
Sangeetha et al. Crime Rate Prediction and Prevention: Unleashing the Power of Deep Learning
CN113010774A (zh) 一种基于动态深度注意力模型的点击率预测方法
Gunasekaran et al. Evaluation of artificial immune system with artificial neural network for predicting Bombay stock exchange trends
CN111160419A (zh) 一种基于深度学习的电子式互感器数据分类预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant