CN111476258A - 一种基于注意力机制的特征提取方法、装置及电子设备 - Google Patents

一种基于注意力机制的特征提取方法、装置及电子设备 Download PDF

Info

Publication number
CN111476258A
CN111476258A CN201910069590.6A CN201910069590A CN111476258A CN 111476258 A CN111476258 A CN 111476258A CN 201910069590 A CN201910069590 A CN 201910069590A CN 111476258 A CN111476258 A CN 111476258A
Authority
CN
China
Prior art keywords
personnel
sample
behavior
candidate
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910069590.6A
Other languages
English (en)
Other versions
CN111476258B (zh
Inventor
张睿
王辉
姜伟浩
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910069590.6A priority Critical patent/CN111476258B/zh
Publication of CN111476258A publication Critical patent/CN111476258A/zh
Application granted granted Critical
Publication of CN111476258B publication Critical patent/CN111476258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种基于注意力机制的特征提取方法、装置及电子设备。该方法包括：获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，至少一类样本信息包括人员行为序列；基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，注意力网络模型为用于识别人员类别的模型；当注意力网络模型符合预设的收敛条件时，从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。与现有技术相比，应用本发明实施例提供的方法，可以提高所获取到的行为特征的准确率。

Description

一种基于注意力机制的特征提取方法、装置及电子设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于注意力机制的特征提取方法、装置、电子设备及计算机可读存储介质。
背景技术
当前，随着计算机技术的不断发展，研究人员可以通过对人员行为进行分析，挖掘出人员行为背后隐含的有效信息，进而，确定与人员行为相关的特征。其中，由于行为序列作为人员行为的一种表达方式，能够反映出人员行为所存在的客观规律，因此，通常被研究人员用于挖掘行为特征。所谓行为序列是：按照人员执行各个行为的时间从早到晚的顺序，将人员在一定时间内所执行的各个行为进行排列得到的序列。
相关技术中，为了得到各个人员类别对应的行为特征，利用行为序列提取行为特征的方法为：针对每一人员类别，将属于该人员类别的各个人员的人员行为序列作为训练样本，将每个训练样本编码为固定长度的向量，进而利用词向量计算工具Word2vec对编码得到的各个向量进行学习，得到该人员类别对应的Word Embedding。所谓Word Embedding是一种用于表征事物特征的定长的连续的稠密向量，在上述相关技术中通过WordEmbedding表征Word2vec所确定的行为特征。
在行为序列中，可能存在与行为特征关系较小，甚至无关的行为，因此，在编码得到的各个向量中，每个维度对最终得到的Word Embedding所起的作用不同。而在上述的相关技术中，由于在对向量进行学习的过程中，Word2vec对向量的每个维度的关注度的是相同的，因此，可能会使得对Word Embedding所起作用较大的维度的关注度不够高，而对WordEmbedding所起作用较小的维度的关注度过高，最终导致所提取到的行为特征的准确率较低。
发明内容
本发明实施例的目的在于提供一种基于注意力机制的特征提取方法、装置、电子设备及计算机可读存储介质，以提高所获取到的行为特征的准确率。
具体技术方案如下：
第一方面，本发明实施例提供了一种基于注意力机制的特征提取方法，所述方法包括：
获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，所述至少一类样本信息包括人员行为序列；
基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，所述注意力网络模型为用于识别人员类别的模型；
当所述注意力网络模型符合预设的收敛条件时，从所述注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
可选的，一种具体实现方式中，所述至少一类样本信息还包括：人员时间序列；
其中，所述人员时间序列为：将所述人员行为序列中每个行为对应的执行时间，按照所述人员行为序列中每个行为的排列顺序进行排列得到的序列。
可选的，一种具体实现方式中，所述至少一类样本信息还包括：人员身份标识。
可选的，一种具体实现方式中，所述获取多个训练样本的步骤，包括：
获取多个数据源生成的各个候选身份标识对应的行为数据；其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为数据，确定该候选身份标识对应的人员序列信息；其中，所述人员序列信息至少包括人员行为序列；
针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
从所述多个候选样本中获取多个训练样本。
可选的，一种具体实现方式中，所述从所述多个候选样本中获取多个训练样本步骤，包括：
确定每个候选样本对应的人员类别标签；
按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
第二方面，本发明实施例提供了一种基于注意力机制的特征提取装置，所述装置包括：
样本获取模块，用于获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，所述至少一类样本信息包括人员行为序列；
模型训练模块，用于基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，所述注意力网络模型为用于识别人员类别的模型；
特征提取模块，用于当所述注意力网络模型符合预设的收敛条件时，从所述注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
可选的，一种具体实现方式中，所述至少一类样本信息还包括：人员时间序列；
其中，所述人员时间序列为：将所述人员行为序列中每个行为对应的执行时间，按照所述人员行为序列中每个行为的排列顺序进行排列得到的序列。
可选的，一种具体实现方式中，所述至少一类样本信息还包括：人员身份标识。
可选的，一种具体实现方式中，所述样本获取模块包括：
数据获取子模块，用于获取多个数据源生成的各个候选身份标识对应的行为数据；其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
信息确定子模块，用于针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为行为数据，确定该候选身份标识对应的人员序列信息；其中，所述人员序列信息至少包括人员行为序列；
样本确定子模块，用于针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
样本获取子模块，用于从所述多个候选样本中获取多个训练样本。
可选的，一种具体实现方式中，所述样本获取子模块包括：
标签确定单元，用于确定每个候选样本对应的人员类别标签；
样本分组单元，用于按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
样本获取单元，用于根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面本发明实施例提供的一种基于注意力机制的特征提取方法中的任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面本发明实施例提供的一种基于注意力机制的特征提取方法中的任一所述的方法步骤。
以上可见，在本发明实施例提供的方案中，在获取了多个训练样本及每个训练样本对应的人员类别标签后，便可以基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练。进而，在训练完成时，便可以从该注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
其中，由于注意力网络模型在训练过程中，可以关注到训练样本中的重点信息，从而有选择性地为训练样本中的各部分信息分配关注度。因此，在本发明实施例的训练过程中，针对每个训练样本所包括的人员行为序列中各个行为，注意力网络模型对每个行为的关注度是不同的，且更关注对行为特征所起作用较大的行为，而少关注，甚至不关注对行为特征所起作用较小的行为。这样，在训练得到每种人员类别标签对应的行为特征时，便可以更多地利用对该种人员类别标签对应的行为特征所起作用较大的行为进行训练，使得到的行为特征的准确率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于注意力机制的特征提取方法的流程示意图；
图2为图1中S101的一种实现方式的流程示意图；
图3为本发明实施例提供的一种注意力网络模型的结构示意图；
图4为本发明实施例提供的一种基于注意力机制的特征提取装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，利用行为序列提取行为特征的方法为：将各个人员行为序列作为训练样本，将每个训练样本编码为固定长度的向量，进而利用词向量计算工具Word2vec对编码得到的各个向量进行学习，得到Word Embedding。而由于在对向量进行学习的过程中，Word2vec对向量的每个维度的关注度的是相同的，因此，可能会使得对Word Embedding所起作用较大的维度的关注度不够高，而对Word Embedding所起作用较小的维度的关注度过高，最终导致所提取到的行为特征的准确率较低。为了解决上述问题，本发明实施例提供了一种基于注意力机制的特征提取方法。
下面，对本发明实施例提供的一种基于注意力机制的特征提取方法进行介绍。
图1为本发明实施例提供的一种基于注意力机制的特征提取方法的流程示意图。需要说明的是，本发明实施例提供的方法可以应用于任一能够进行模型训练的电子设备中，例如，平板电脑、台式电脑、笔记本电脑等，对此，本发明实施例不做具体限定。以下简称电子设备。
可以理解的，对于每个人员而言，均可以从某个角度为该人员添加一个人员类别标签，从而通过该人员类别标签将人员分为多个类别，具有相同人员类别标签的人员为同类人员。例如，从性别角度而言，可以将人员分为男性和女性；从年龄角度而言，可以将人员分为儿童、青年人、中年人和老年人等。
对于每类人员而言，该类人员中的每一个人可以存在某些相同的行为特征，这些行为特征反映了该类人员的特点，因此，这些行为特征便可以作为该类人员对应的行为特征。显然，每类人员对应的行为特征也可以理解为该类人员的人员类别标签对应的行为特征。
具体的，为了能够获取各类人员对应的行为特征，可以对大量的该类人员的行为数据进行分析。因此，在本发明实施例中，可以基于各类人员的训练样本，得到各类人员对应的行为特征，即得到每种人员类别标签对应的行为特征。
如图1所示，本发明实施例提供的一种基于注意力机制的特征提取方法可以包括如下步骤：
S101：获取多个训练样本和每个训练样本对应的人员类别标签，
其中，每个训练样本包括至少一类样本信息，至少一类样本信息包括人员行为序列；
需要说明的是，在本发明实施例中，人员类别标签可以根据实际应用的需求进行设定，例如，人员类别标签可以为：小学生、中学生和大学生；也可以为：无犯罪记录人员和有犯罪记录人员等。这都是合理的。
这样，针对预先设定好的各种人员类别标签，电子设备便可以获取多个训练样本和每个训练样本对应的人员类别标签。
其中，电子设备可以通过多种方式获取多个训练样本，对此本发明实施例不做具体限定。为了行文清晰，后续将会对电子设备获取多个训练样本的方式进行具体说明。
其次，对于每个训练样本所对应的人员类别标签，电子设备可以在获取各个训练样本之后，根据该训练样本所包括的样本信息，为该训练样本添加人员类别标签。电子设备也可以事先确定大量人员所对应的人员类别标签，然后针对每个人员去获取该人员对应的训练样本。
需要说明的是，在本发明实施例中，电子设备所获取的每个训练样本中至少包括人员行为序列。这样，通过该人员行为序列，可以确定该训练样本对应的人员预定时间内，按照执行各个行为的时间，依次执行了哪些行为。其中，该预定时间可以为根据实际需要设定的任一时间，例如，24小时、30等。
例如，训练样本A中包括了行为序列abcd，且一定时间为24小时，则可以说明训练样本A对应的人员在24小时内依次执行了行为a、b、c和d。
然而，为了使最终获取的每种人员类别标签对应的行为特征具有更高的准确率，每个训练样本中还可以包括其他信息。
可选的，一种具体实现方式中，至少一类样本信息还包括：人员时间序列；
其中，人员时间序列为：将人员行为序列中每个行为对应的执行时间，按照人员行为序列中每个行为的排列顺序进行排列得到的序列。
在本实现方式中，电子设备所获取的每个训练样本中包括人员行为序列和人员时间序列。其中，人员行为序列中的各个行为和人员时间序列中的各个时间是相对应的，即某个行为在人员行为序列中的排序，与执行该行为的执行时间在人员时间序列中的排序是相同的。
这样，通过人员行为序列和人员时间序列，可以确定该训练样本对应的人员预定时间内，按照执行各个行为的时间，依次执行了哪些行为，且执行每个行为的执行时间是什么时间。
例如，训练样本A中包括了人员行为序列abcd和人员时间序列a’b’c’d’，且一定时间为24小时，则可以说明训练样本A对应的人员在24小时内依次在a’时刻执行了行为a，在b’时刻执行了行为b，在c’时刻执行了行为c，以及在d’时刻执行了行为d。显然，a’、b’、c’和d’是按照由早到晚的顺序排列的。
在本实现方式中，由于训练样本中同时包括人员行为序列和人员时间序列，因此，在后续对预设的注意力网络模型进行训练时，可以使该注意力网络模型同时学习到人员行为在时间和空间上所存在的客观规律，从而提高获取的每种人员类别标签对应的行为特征的准确率。
可选的，另一种具体实现方式中，至少一类样本信息还包括：人员身份标识。
可选的，再一种具体实现方式中，至少一类样本信息还包括：人员身份标识和人员行为序列。
基于此，在本发明实施例提供的一种基于注意力机制的特征提取方法中，除人员行为序列以外，每个训练样本还可以包括其他的任一种或多种信息，这都是合理的。
S102：基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，
其中，注意力网络模型为用于识别人员类别的模型；
在获取多个训练样本和每个训练样本对应的人员类别标签后，电子设备便可以基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练。
其中，所谓注意力网络模型是指在神经网络模型中引入注意力机制后得到的模型，而所谓注意力机制是一种选择性地关注所有信息的一部分，同时忽略其他可见的信息的机制。这样，注意力网络模型便可以有选择性地关注每个训练样本所包括的样本信息，为对所获取的行为特征所起作用较大的样本信息分配较多的关注度，为对所获取的行为特征所起作用较小的样本信息分配较少的关注度，甚至可以不分配关注度。
需要说明的是，电子设备可以通过多种方式基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，对此，本发明实施例不做具体限定。例如，可以将每个训练样本所包括的各类样本信息作为输入，该训练样本对应的人员类别标签作为真实值，对预设的注意力网络模型进行训练。
S103：当注意力网络模型符合预设的收敛条件时，从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
在训练过程中，电子设备可以将每个训练样本所包括的样本信息作为注意力网络模型的输入，将该训练样本对应的人员类别标签作为真实值，对注意力网络模型进行训练。
这样，在训练过程中，注意力网络模型可以学习训练样本中所包括的样本信息的特征，输出训练样本对应的人员类别标签，经过对大量训练样本的学习，注意力网络模型逐步建立训练样本中所包括的样本信息的特征与人员类别标签的对应关系。进而，当注意力网络模型符合预设的收敛条件时，电子设备便可以从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
其中，该收敛条件可以是：注意力网络模型的迭代次数达到预设次数，也可以是注意力网络的输入准确率达到预设准确率。当然，该收敛条件也可以是其他条件，对此，本发明实施例不做具体限定。
可选的，作为本发明实施例的一种具体实施方式，在注意力网络模型符合预设的收敛条件时，可以确定该注意力网络模型训练完成。这样，在人员B的人员类别标签未知时，可以获取该人员对应的，且与训练样本所包括的样本信息的类型相同的信息，进而，将该信息输入到该训练完成的注意力网络模型中，该注意力网络模型便可以对该信息进行识别，进而输入该信息对应的人员类别标签。显然，所输出的人员类别标签即为人员B的人员类别标签。即该训练完成的注意力网络模型可以实现对人员类型的识别。
以上可见，由于注意力网络模型在训练过程中，可以关注到训练样本中的重点信息，从而有选择性地为训练样本中的各部分信息分配关注度。因此，在本发明实施例的训练过程中，针对每个训练样本所包括的人员行为序列中各个行为，注意力网络模型对每个行为的关注度是不同的，且更关注对行为特征所起作用较大的行为，而少关注，甚至不关注对行为特征所起作用较小的行为。这样，在训练得到每种人员类别标签对应的行为特征时，便可以更多地利用对该种人员类别标签对应的行为特征所起作用较大的行为进行训练，使得到的行为特征的准确率更高。
下面，对电子设备执行上述步骤S101中，获取多个训练样本的方式进行举例说明。
可选的，一种具体实现方式中，如图2所示，上述步骤S101可以包括如下步骤：
S201：获取多个数据源生成的各个候选身份标识对应的行为数据；
其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
可以理解的，人员在执行不同类型的用户行为时，该用户行为的行为数据是由不同的数据源生成的。因此，针对每个人员，每个数据源所生成的行为数据中会包括该人员的行为数据中的一部分。例如，针对人员A，电子设备可以从酒店入住信息中获取人员A的入住信息，从交通订票网站获取人员A的出行信息，从银行交易记录获取人员A的账户交易信息。
基于此，针对每个人员，电子设备可以从多个数据源获取到该人员对应的多个行为数据，其中，每个数据源对应一类用户行为，每个行为数据包括人员所执行的用户行为的行为标识和执行时间。
具体的，电子设备可以从多个数据源获取每个数据源对应的用户行类型的行为数据，然后将各个数据源所获取的相同身份标识对应的行为数据进行聚合，从而得到各个身份标识对应的行为数据。如表1所示：
表1
Figure BDA0001956832540000101
Figure BDA0001956832540000111
其中，每个人员可以利用该人员的身份标识表征，此外，由于电子设备所获取到的所有行为数据并不一定被全部作为训练样本，因此，可以将电子设备从各个数据源获取的各个人员对应的行为数据，作为各个候选身份标识对应的行为数据。
需要说明的是，电子设备在从多个数据源获取原始行为数据后，由于该行为数据中可能存在无效数据，因此，电子设备在从该这些行为数据中获取各个候选身份标识对应的行为数据时，可以先对原始行为数据进行清洗操作，例如，去冗余、去噪声、处理缺失值和异常值等，从而剔除原始行为数据中的无效数据。进而，使得电子设备用于获取各个候选身份标识对应的行为数据的数据均为有效数据，提高所获取的各个候选身份标识对应的行为数据的可靠性，以使得最终得到的每种人员类别标签对应的行为特征具有较高的准确性。
S202：针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为行为数据，确定该候选身份标识对应的人员序列信息；
其中，人员序列信息至少包括人员行为序列；
各个候选身份标识对应的行为数据后，电子设备便可以基于该候选身份标识所对应的至少一个行为行为数据，确定该候选身份标识对应的人员序列信息。
由于人员序列信息至少包括人员行为序列，因此，电子设备可以至少确定各个候选身份对应的人员行为序列。
可选的，针对每个候选身份标识，按照由早到晚的时间顺序，将该候选身份标识对应的行为数据中，每个执行时间对应的行为标识进行排列，得到该候选身份标识对应的人员行为序列，作为该候选身份标识对应的人员序列信息。
需要说明的是，由于上述人员序列信息中还可以包括人员时间序列，因此，电子设备在确定各个候选身份标识对应的人员序列信息，还可以确定各个候选身份标识对应的人员时间信息。
可选的，针对每个候选身份标识，按照由早到晚的时间顺序，将该候选身份标识对应的行为数据中，每个执行时间对应的行为标识和每个执行时间分别进行排列，得到该候选身份标识对应的人员行为序列和人员时间序列，作为该候选身份标识对应的人员序列信息。
S203：针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
在确定各个候选身份标识对应的人员序列信息后，电子设备便可以针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本。
可选的，当各个候选身份标识对应的人员序列信息包括人员行为序列时，针对每个候选身份标识，可以将该候选身份标识对应的人员行为序列确定为一个候选样本，或者，可以将该候选身份标识和该候选身份标识对应的人员行为序列确定为一个候选样本。
可选的，当各个候选身份标识对应的人员序列信息包括人员行为序列和人员时间序列时，针对每个候选身份标识，可以将该候选身份标识对应的人员行为序列和人员时间序列确定为一个候选样本，或者，可以将该候选身份标识、该候选身份标识对应的人员行为序列和人员时间序列确定为一个候选样本。
S204：从多个候选样本中获取多个训练样本。
在确定多个候选样本后，电子设备便可以从多个候选样本中获取多个训练样本。需要说明的是，电子设备可以通过多种方式从多个候选样本中获取多个训练样本，对此，本发明实施例不做具体限定。
可选的，电子设备可以随机从上述多个候选样本中获取多个训练样本。
可选的，上述步骤S204可以包括如下步骤A1-A3：
步骤A1：确定每个候选样本对应的人员类别标签；
针对每个候选样本，电子设备可以确定该候选样本对应的人员类别标签。
可选的，电子设备可以在确定各个候选身份标识对应的候选样本后，根据每个候选样本所包括的样本信息，为每个候选样本添加人员类别标签。这样，在为每个候选样本添加人员类别标签后，电子设备便可以确定每个候选样本对应的人员类别标签。
可选的，电子设备在执行上述步骤S201时，可以预先获取多个具有人员类别标签的候选身份标识，进而，针对每个候选身份标识，直接从多个数据源获取该候选身份标识对应的行为数据。这样，电子设备在执行上述步骤S203，确定各个候选身份标识对应的候选样本时，便可以直接获取到各个候选样本对应的人员类别标签。进而，电子设备便可以直接确定每个候选样本对应的人员类别标签。
步骤A2：按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
步骤A3：根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
在确定每个候选样本对应的人员类别标签，电子设备便可以按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组。
进而，电子设备便可以根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。显然，从每个候选样本组中获取的多个训练样本共同组成了用于训练注意力网络模型的训练样本。
可选的，电子设备可以从每个候选样本组中获取数量相同的多个训练样本。
可选的，电子设备可以从每个候选样本组中获取数量不同的多个训练样本。其中，为了保证对注意力网络模型的训练结果不存在较大偏移，从而使获取到的每种人员类别标签对应的行为特征具有较高的准确性，电子设备所获取的具有不同人员类别标签的训练样本的数量应该保持均衡。也就是说，即使电子设备从每个候选样本组中获取的多个训练样本的数量不同，这些数量之间的差值也应该不超过预设差值。其中，该预设差值可以根据实际情况中所需要的训练样本的数量确定。
为了便于更好地理解本发明实施例提供的一种基于注意力机制的特征提取方法，下面对本发明实施例中所利用的注意力网络模型进行介绍。
图3示例性地给出了一种注意力网络模型的结构示意图。如图3所示，该注意力网络模型可以包括：Input Embedding(输入词向量)层、Attention(注意力)层、Feed-Forward(前馈)层、Downstream Application(目标)层以及特征输出层。其中，对注意力网络模型训练起到重要作用的层为：Input Embedding层、Attention层、Feed-Forward层和DownstreamApplication层；特征输出层用于接收Downstream Application层的输出内容，例如，Downstream Application层可以将所确定的每种人员类别标签对应的行为特征传输到特征输出层，也就是说，特征输出层不参与具体的注意力网络模型训练过程。
具体的，电子设备在对注意力网络模型进行训练时，将各个训练样本所包括的各类信息样本作为输入，将该训练样本对应的人员类别标签作为真实值。
这样，Input Embedding层接收电子设备输入的各个训练样本所包括的各类信息样本，并对这些信息样本进行处理得到该训练样本对应的目标编码。
其中，Input Embedding层得到各个训练样本对应的目标编码的方式可以包括如下步骤B1-B2。
步骤B1：针对每个训练样本，确定该训练样本中所包括各类样本信息分别对应的信息编码；
针对每个训练样本，电子设备可以确定该训练样本中所包括各类样本信息分别对应的信息编码。其中，不同类别的样本信息对应的信息编码为具有相同维度的向量。例如，128维向量。
可选的，针对每个训练样本中该所包括的各类样本信息，Input Embedding层可以先通过词向量嵌入(Embedding)的方式将该样本信息映射到一个高维空间中，再通过id(identification，标识)索引的方式对该样本信息进行编码(Embedding_lookup)，从而得到该样本信息对应的信息编码。
步骤B2：针对每个训练样本，对该训练样本对应的各类信息编码进行融合，得到该训练样本对应的目标编码；
在得到每个训练样本中所包括各类样本信息分别对应的信息编码后，针对每个训练样本，Input Embedding层便可以将该训练样本对应的各类信息编码进行融合，得到该训练样本对应的目标编码。其中，目标编码的维度与信息编码的维度相同。
可选的，针对每个训练样本，Input Embedding层可以利用第一预设公式，对该训练样本对应的各类信息编码进行融合。其中，该第一预设公式为：
Si＝concat(FM1(mi),FM2(mi),…,FMj(mi))
其中，Si为第i个训练样本对应的目标编码，FMj为每个训练样本中第j个样本信息所对应隐空间的映射函数，FMj(mi)为第i个训练样本中，第j个样本信息对应的信息编码，i≥1，j≥1。其中，当每个训练样本可以包括人员行为序列、人员时间序列和人员行为标识，上述j＝3。
针对上述第一预设公式，所谓隐空间是指一个高维的向量空间，而为了便于理解上述第一预设公式，通过以下的示例对Concat公式进行说明：
例如，矩阵A＝[[[1,2],[2,3]],[[4,4],[5,3]]]，矩阵B＝[[[7,4],[8,4]],[[2,10],[15,11]]]，则便可以计算得到Concat(A,B)如下所示：
Concat(A,B)＝[[[1,2,7,4],
[2,3,8,4]],
[[4,4,2,10],
[5,3,15,11]]]
其中，上述矩阵A、矩阵B以及计算得到的Concat(A,B)均为多维矩阵。
在得到每个训练样本对应的目标编码后，Input Embedding层便可以将所得到的各个目标编码传输给Attention层。
Attention层在接收到各个目标编码后，便可以基于Feed-Forward层发送的输出映射，对每个目标编码进行多次线性映射，并对每次得到的映射结果进行串联，得到串联结果。
本发明一种实施方式中，Attention机制的可以是一个由诸多Query和Key-Valuepair组成的映射函数，该映射函数如下所示：
Figure BDA0001956832540000151
其中，dk为一个具体的数值，
Figure BDA0001956832540000152
是用来约束点积大小的，由于当Query和Key的维度很大时，点积倾向于变得比较大，因而通过
Figure BDA0001956832540000163
进行约束；
Q为Query向量，K为Key向量，V是Value向量，其中，Q表征的是输入的训练样本对应的目标编码，V表征的是Q的权重；在上述映射函数中，通过预设的迭代算法，不断迭代得到Q对应的K和V。
在本发明实施例中，Attention层用于对Query和Key进行多次线性映射，然后通过串联公式将多次线性映射的结果串联起来，得到串联结果，并将串联结果传输给Feed-Forward层。
其中，该串联公式如下：
MultiAttention(Q,K,V)＝Concat(head1,...,headh)WO
其中，
Figure BDA0001956832540000161
Figure BDA0001956832540000162
R为预设向量空间；headi为第i次进行线性映射得到的映射结果；
Wi Q为第i个head的Query矩阵，Wi K为第i个head的Key矩阵，Wi V为第i个head的Value矩阵，WO为预设的维度为hdv×dmod的矩阵；
dk为Key向量的维度，dv为Value向量的维度，h为预设的head的个数,dmod为dk与dv的和。
需要说明的是，串联结果为与目标编码维度相同的向量，该向量可以视为一个权重向量，该向量中不同维度的数值表征了目标编码中各个维度的重要程度，进而，可以表征各个训练样本所包括的样本信息中哪部分信息对最终获取的每种人员类别标签对应的行为特征所起的作用较大。这样，通过Attention层得到的串联结果，注意力网络模型可以实现有选择性地对训练样本所包括的样本信息分配关注度。
在接收到各个目标编码对应的串联结果后，Feed-Forward层便可以按照预设规则，通过两次线性变换，得到每个串联结果对应的映射向量，并将该映射向量反馈给Attention层。这样，在获得该映射向量后，Attention层便可以对输出映射进行更新。进而，利用更新后的输出映射，Attention层可以再次对每个目标编码进行多次线性映射，并得到每个目标编码的新的串联结果。
显然，Attention层可以再次将得到的新的串联结果传输给Feed-Forward层，以使得Feed-Forward层可以得到每个串联结果对应的新的映射向量。
这样，便可以通过Attention层和Feed-Forward层之间的相互反馈，逐步调整每个目标编码对应的串联结果，即调整注意力网络模型对训练样本所包括的样本信息所分配的关注度，直至注意力网络模型满足收敛条件。
在对每个串联结果进行两次线性变换，得到对应的映射向量时，可以在其中加入ReLU激活函数。其中，ReLU激活函数为：
FFN(x)＝max(0,xW1+b1)W2+b2
其中，FFN(x)为计算得到的ReLU激活函数的结果，x为所得到的映射向量，x是作为ReLU激活函数输入的自变量的，W1和W2为预设的参数权重，b1和b2为预设的偏置量。
需要说明的是，当注意力模型的收敛条件为输出准确率达到预设准确率时，ReLU激活函数的计算结果用于表征该注意力模型在训练过程中的输出准确率。则当ReLU激活函数的计算结果达到预设准确率时，便可以认为该注意力模型的训练已经完成。此外，可以在Feed-Forward层加入归一化层和残差网络，以提高注意力模型的泛化能力。
在注意力网络满足收敛条件时，在Attention层得到的串联结果便可以表征样本信息中对最终获取的行为特征所起的作用最大的信息。
进而，将每个串联结果传输给Downstream Application层，且每个训练样本对应的人员类别标签输入到Downstream Application层，这样，在Downstream Application层便可以将每个串联结果与人员类别标签进行对应。由于，每个串联结果均表征样本信息中对最终获取的行为特征所起的作用最大的信息，因此，针对每个人员类别标签，将与该人员类别标签对应的多个串联结果进行融合，便可以得到该人员类别标签对应的行为特征。其中，所得到的行为特征可以通过Word Embedding向量标识。并且Word Embedding向量与目标编码的维度相同。
这样，Downstream Application层便可以将所确定的每种人员类别标签对应的行为特征传输到注意力网络模型的特征输出层。从而，电子设备便可以从该特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
此外，在本发明实施例中，注意力模型用于识别人员类别，因此，注意力模型执行的是分类任务，因此，注意力模型的Downstream Application层还采用一层全连接进行映射后接入softmax分类器对人员的类别概率进行预测。
相应于上述本发明实施例提供的一种基于注意力机制的特征提取方法，本发明实施例还提供了一种基于注意力机制的特征提取装置。
图4为本发明实施例提供的一种基于注意力机制的特征提取装置的结构示意图，如图4所示，该装置可以包括如下模块：
样本获取模块410，用于获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，至少一类样本信息包括人员行为序列；
模型训练模块420，用于基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，注意力网络模型为用于识别人员类别的模型；
特征提取模块430，用于当注意力网络模型符合预设的收敛条件时，从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
以上可见，由于注意力网络模型在训练过程中，可以关注到训练样本中的重点信息，从而有选择性地为训练样本中的各部分信息分配关注度。因此，在本发明实施例的训练过程中，针对每个训练样本所包括的人员行为序列中各个行为，注意力网络模型对每个行为的关注度是不同的，且更关注对行为特征所起作用较大的行为，而少关注，甚至不关注对行为特征所起作用较小的行为。这样，在训练得到每种人员类别标签对应的行为特征时，便可以更多地利用对该种人员类别标签对应的行为特征所起作用较大的行为进行训练，使得到的行为特征的准确率更高。
可选的，一种具体实现方式中，上述至少一类样本信息还包括：人员时间序列；其中，人员时间序列为：将人员行为序列中每个行为对应的执行时间，按照人员行为序列中每个行为的排列顺序进行排列得到的序列。
可选的，一种具体实现方式中，上述至少一类样本信息还包括：人员身份标识。
可选的，一种具体实现方式中，上述样本获取模块410可以包括：
数据获取子模块，用于获取多个数据源生成的各个候选身份标识对应的行为数据；其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
信息确定子模块，用于针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为行为数据，确定该候选身份标识对应的人员序列信息；其中，人员序列信息至少包括人员行为序列；
样本确定子模块，用于针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
样本获取子模块，用于从多个候选样本中获取多个训练样本。
可选的，一种具体实现方式中，上述样本获取子模块可以包括：
标签确定单元，用于确定每个候选样本对应的人员类别标签；
样本分组单元，用于按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
样本获取单元，用于根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
相应于本发明实施例提供的一种基于注意力机制的特征提取方法，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述本发明实施例提供的一种基于注意力机制的特征提取方法。
具体的，上述特征提取方法，包括：
获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，至少一类样本信息包括人员行为序列；
基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，注意力网络模型为用于识别人员类别的模型；
当注意力网络模型符合预设的收敛条件时，从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
需要说明的是，上述处理器501执行存储器503上存放的程序而实现的特征提取方法的其他实现方式，与前述方法实施例部分提供的特征提取方法实施例相同，这里不再赘述。
以上可见，由于注意力网络模型在训练过程中，可以关注到训练样本中的重点信息，从而有选择性地为训练样本中的各部分信息分配关注度。因此，在本发明实施例的训练过程中，针对每个训练样本所包括的人员行为序列中各个行为，注意力网络模型对每个行为的关注度是不同的，且更关注对行为特征所起作用较大的行为，而少关注，甚至不关注对行为特征所起作用较小的行为。这样，在训练得到每种人员类别标签对应的行为特征时，便可以更多地利用对该种人员类别标签对应的行为特征所起作用较大的行为进行训练，使得到的行为特征的准确率更高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于本发明实施例提供的一种基于注意力机制的特征提取方法，本发明实施例还提供了一种计算机可读存储介质，该计算机程序被处理器执行时实现上述本发明实施例提供的一种基于注意力机制的特征提取方法。
具体的，上述特征提取方法，包括：
获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，至少一类样本信息包括人员行为序列；
基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，注意力网络模型为用于识别人员类别的模型；
当注意力网络模型符合预设的收敛条件时，从注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
需要说明的是，上述计算机程序被处理器执行时而实现的特征提取方法的其他实现方式，与前述方法实施例部分提供的特征提取方法实施例相同，这里不再赘述。
以上可见，由于注意力网络模型在训练过程中，可以关注到训练样本中的重点信息，从而有选择性地为训练样本中的各部分信息分配关注度。因此，在本发明实施例的训练过程中，针对每个训练样本所包括的人员行为序列中各个行为，注意力网络模型对每个行为的关注度是不同的，且更关注对行为特征所起作用较大的行为，而少关注，甚至不关注对行为特征所起作用较小的行为。这样，在训练得到每种人员类别标签对应的行为特征时，便可以更多地利用对该种人员类别标签对应的行为特征所起作用较大的行为进行训练，使得到的行为特征的准确率更高。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种基于注意力机制的特征提取方法，其特征在于，所述方法包括：
获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，所述至少一类样本信息包括人员行为序列；
基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，所述注意力网络模型为用于识别人员类别的模型；
当所述注意力网络模型符合预设的收敛条件时，从所述注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
2.根据权利要求1所述的方法，其特征在于，所述至少一类样本信息还包括：人员时间序列；
其中，所述人员时间序列为：将所述人员行为序列中每个行为对应的执行时间，按照所述人员行为序列中每个行为的排列顺序进行排列得到的序列。
3.根据权利要求1或2所述的方法，其特征在于，所述至少一类样本信息还包括：人员身份标识。
4.根据权利要求1所述的方法，其特征在于，所述获取多个训练样本的步骤，包括：
获取多个数据源生成的各个候选身份标识对应的行为数据；其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为数据，确定该候选身份标识对应的人员序列信息；其中，所述人员序列信息至少包括人员行为序列；
针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
从所述多个候选样本中获取多个训练样本。
5.根据权利要求4所述的方法，其特征在于，所述从所述多个候选样本中获取多个训练样本步骤，包括：
确定每个候选样本对应的人员类别标签；
按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
6.一种基于注意力机制的特征提取装置，其特征在于，所述装置包括：
样本获取模块，用于获取多个训练样本和每个训练样本对应的人员类别标签，其中，每个训练样本包括至少一类样本信息，所述至少一类样本信息包括人员行为序列；
模型训练模块，用于基于每个训练样本所包括的各类样本信息和每个训练样本对应的人员类别标签，对预设的注意力网络模型进行训练，其中，所述注意力网络模型为用于识别人员类别的模型；
特征提取模块，用于当所述注意力网络模型符合预设的收敛条件时，从所述注意力网络模型的特征输出层的输出内容中，获取每种人员类别标签对应的行为特征。
7.根据权利要求6所述的装置，其特征在于，所述至少一类样本信息还包括：人员时间序列；
其中，所述人员时间序列为：将所述人员行为序列中每个行为对应的执行时间，按照所述人员行为序列中每个行为的排列顺序进行排列得到的序列。
8.根据权利要求6或7所述的装置，其特征在于，所述至少一类样本信息还包括：人员身份标识。
9.根据权利要求6所述的装置，其特征在于，所述样本获取模块包括：
数据获取子模块，用于获取多个数据源生成的各个候选身份标识对应的行为数据；其中，一个数据源对应一类用户行为，每一候选身份标识对应的行为数据包括：该候选身份标识所对应人员执行用户行为的行为标识和执行时间；
信息确定子模块，用于针对每个候选身份标识，基于该候选身份标识所对应的至少一个行为数据，确定该候选身份标识对应的人员序列信息；其中，所述人员序列信息至少包括人员行为序列；
样本确定子模块，用于针对每个候选身份标识，将该候选身份标识对应的人员序列信息确定为一个候选样本；
样本获取子模块，用于从所述多个候选样本中获取多个训练样本。
10.根据权利要求9所述的装置，其特征在于，所述样本获取子模块包括：
标签确定单元，用于确定每个候选样本对应的人员类别标签；
样本分组单元，用于按照每个候选样本对应的人员类别标签，将所确定的多个候选样本划分为多个候选样本组；
样本获取单元，用于根据预设的样本获取规则，从每个候选样本组中获取多个训练样本。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201910069590.6A 2019-01-24 2019-01-24 一种基于注意力机制的特征提取方法、装置及电子设备 Active CN111476258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910069590.6A CN111476258B (zh) 2019-01-24 2019-01-24 一种基于注意力机制的特征提取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910069590.6A CN111476258B (zh) 2019-01-24 2019-01-24 一种基于注意力机制的特征提取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111476258A true CN111476258A (zh) 2020-07-31
CN111476258B CN111476258B (zh) 2024-01-05

Family

ID=71743661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910069590.6A Active CN111476258B (zh) 2019-01-24 2019-01-24 一种基于注意力机制的特征提取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111476258B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030024518A1 (en) * 2000-05-02 2003-02-06 Bernard Mitterauer Computer system, particularly for simulation of human perception via sense organs
CA2457981A1 (en) * 2003-02-07 2004-08-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in operating systems, such as for example windows
US20080091628A1 (en) * 2006-08-16 2008-04-17 Narayan Srinivasa Cognitive architecture for learning, action, and perception
CN103793484A (zh) * 2014-01-17 2014-05-14 五八同城信息技术有限公司 分类信息网站中的基于机器学习的欺诈行为识别系统
CN104680144A (zh) * 2015-03-02 2015-06-03 华为技术有限公司 基于投影极速学习机的唇语识别方法和装置
US20160162804A1 (en) * 2014-12-09 2016-06-09 Xerox Corporation Multi-task conditional random field models for sequence labeling
CN107300550A (zh) * 2017-06-21 2017-10-27 南京大学 一种基于bp神经网络模型预测大气重金属浓度的方法
WO2017219548A1 (zh) * 2016-06-20 2017-12-28 乐视控股（北京）有限公司 用户属性预测方法及装置
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
WO2018207390A1 (en) * 2017-05-11 2018-11-15 Mitsubishi Electric Corporation Speech recognition system and method for speech recognition
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN108960316A (zh) * 2018-06-27 2018-12-07 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN108985929A (zh) * 2018-06-11 2018-12-11 阿里巴巴集团控股有限公司 训练方法、业务数据分类处理方法及装置、电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030024518A1 (en) * 2000-05-02 2003-02-06 Bernard Mitterauer Computer system, particularly for simulation of human perception via sense organs
CA2457981A1 (en) * 2003-02-07 2004-08-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in operating systems, such as for example windows
US20080091628A1 (en) * 2006-08-16 2008-04-17 Narayan Srinivasa Cognitive architecture for learning, action, and perception
CN103793484A (zh) * 2014-01-17 2014-05-14 五八同城信息技术有限公司 分类信息网站中的基于机器学习的欺诈行为识别系统
US20160162804A1 (en) * 2014-12-09 2016-06-09 Xerox Corporation Multi-task conditional random field models for sequence labeling
CN104680144A (zh) * 2015-03-02 2015-06-03 华为技术有限公司 基于投影极速学习机的唇语识别方法和装置
WO2017219548A1 (zh) * 2016-06-20 2017-12-28 乐视控股（北京）有限公司 用户属性预测方法及装置
WO2018207390A1 (en) * 2017-05-11 2018-11-15 Mitsubishi Electric Corporation Speech recognition system and method for speech recognition
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107300550A (zh) * 2017-06-21 2017-10-27 南京大学 一种基于bp神经网络模型预测大气重金属浓度的方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN108985929A (zh) * 2018-06-11 2018-12-11 阿里巴巴集团控股有限公司 训练方法、业务数据分类处理方法及装置、电子设备
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN108960316A (zh) * 2018-06-27 2018-12-07 北京字节跳动网络技术有限公司 用于生成模型的方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FANGFANG YUAN ETAL: "Insider Threat Detection with Deep Neural Network", SPRINGER INTERNATIONAL PUBLISHING AG, PART OF SPRINGER NATURE 2018 *
YU, JIANYANG: "Poster Classification of Transaction Behavior in Tax Invoices Using Compositional CNN-RNN Model", PROCEEDINGS OF THE 2018 ACM INTERNATIONAL JOINT CONFERENCE ON PERVASIVE AND UBIQUITOUS COMPUTING AND PROCEEDINGS OF THE 2018 ACM INTERNATIONAL SYMPOSIUM ON WEARABLE COMPUTERS (UBICOMP/ISWC\'18 ADJUNCT) *
刘天亮;谯庆伟;万俊伟;戴修斌;罗杰波;: "融合空间-时间双网络流和视觉注意的人体行为识别", 电子与信息学报, no. 10 *
梁斌;刘全;徐进;周倩;章鹏;: "基于多注意力卷积神经网络的特定目标情感分析", 计算机研究与发展, no. 08 *
邹晓春;赵歆波;杨勇佳;李娜;: "一种基于有监督学习的视觉注意力模型", 中国体视学与图像分析, no. 03 *

Also Published As

Publication number Publication date
CN111476258B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN113822494B (zh) 风险预测方法、装置、设备及存储介质
JP7169369B2 (ja) 機械学習アルゴリズムのためのデータを生成する方法、システム
CN110263160B (zh) 一种计算机问答系统中的问句分类方法
CN110866628A (zh) 利用动态时间上下文学习进行多界限时间序列预测的系统和方法
CN111783875A (zh) 基于聚类分析的异常用户检测方法、装置、设备及介质
JP2022535165A (ja) 多数の分類モジュールから集約された情報を使用するデータ分類
CN112328742A (zh) 基于人工智能的培训方法、装置、计算机设备及存储介质
CN111080360B (zh) 行为预测方法、模型训练方法、装置、服务器及存储介质
CN112749274B (zh) 基于注意力机制和干扰词删除的中文文本分类方法
CN110852881B (zh) 风险账户识别方法、装置、电子设备及介质
CA3046475A1 (en) System and method for processing natural language statements
CN114528835A (zh) 基于区间判别的半监督专业术语抽取方法、介质及设备
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN117458440A (zh) 基于关联特征融合的生成式电力负荷预测方法及系统
CN113705698A (zh) 基于点击行为预测的信息推送方法及装置
CN108604313B (zh) 自动化的预测性建模与框架
CN112036439A (zh) 依存关系分类方法及相关设备
CN116629423A (zh) 用户行为预测方法、装置、设备及存储介质
CN111581386A (zh) 多输出文本分类模型的构建方法、装置、设备及介质
CN110597977A (zh) 数据处理方法、装置、计算机设备和存储介质
CN111476258B (zh) 一种基于注意力机制的特征提取方法、装置及电子设备
CN112131363B (zh) 自动问答方法、装置、设备及存储介质
CN114860886A (zh) 生成关系图的方法和确定匹配关系的方法、装置
CN115063143A (zh) 账户数据处理方法、装置、计算机设备和存储介质
CN111552827A (zh) 标注方法和装置、行为意愿预测模型训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant