CN112084336A - 一种高速公路突发事件的实体提取和事件分类方法及装置 - Google Patents
一种高速公路突发事件的实体提取和事件分类方法及装置 Download PDFInfo
- Publication number
- CN112084336A CN112084336A CN202010943928.9A CN202010943928A CN112084336A CN 112084336 A CN112084336 A CN 112084336A CN 202010943928 A CN202010943928 A CN 202010943928A CN 112084336 A CN112084336 A CN 112084336A
- Authority
- CN
- China
- Prior art keywords
- entity
- matrix
- event classification
- vector
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000012512 characterization method Methods 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 239000006185 dispersion Substances 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000013604 expression vector Substances 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种高速公路突发事件的实体提取和事件分类方法及装置。该方法包括：通过字符级的词嵌入得到输入语句的字表征矩阵；采用多头注意力机制获取字表征矩阵的高层语义表示；将语义表示矩阵作为BiLSTM的输入得到了实体特征矩阵和事件分类特征向量；一方面，将实体特征矩阵通过全连接网络再采用CRF算法进行解码得到命名实体序列；另一方面，将事件分类的特征向量输入到全连接网络中以获取事件分类的结果。本发明从高速公路播报的突发事件文本信息中自动的提取出命名实体并识别出该事件所属类别，通过深度学习的算法，免去了人工录入的时间消耗，提高了工作效率，为救援管控、交通疏导等工作争取了宝贵的时间，具有很大的实用价值。
Description
技术领域
本发明属于信息处理技术领域，特别是涉及一种高速公路突发事件的实体提取和事件分类方法及装置。
背景技术
高速公路具有行车速度快且不间断、通行效率高、救援难度大、安全性要求高等特征，局部故障很容易造成连锁反应和放大效应，这对高速公路运营过程中突发事件的安全预警和快速处置提出了新的要求。
高速公路突发事件信息多以文本描述的形式从高速公路相关部门发布，数据信息包含的实体专业性强、道路名称结构较为稳定。但受限于传统技术，难以对突发事件文本信息进行有效的结构化处理。利用深度学习为代表的人工智能技术从高速公里突发事件文本信息中自动结构化出实体信息和事件类别等信息，有助于紧急救援、车流疏导等工作的开展，进一步推动高速公路运营的智能化进程。
发明内容
为了解决高速公路突发事件文本信息结构化问题，本发明提供了一种高速公路突发事件的实体提取和事件分类方法及装置。
本发明的技术方案实现如下：
第一方面，本发明提供一种高速公路突发事件的实体提取和事件分类方法，包括以下步骤：
步骤一：将语句输入字符级的嵌入层网络中，得到整个输入语句的字表征矩阵；
步骤二：将字表征序列输入到多头注意力机制中获得高层语句表征矩阵；
步骤三：使用BilSTM网络对高层语句表征矩阵进行特征提取，得到实体特征矩阵和事件分类特征向量；
步骤四：将实体特征矩阵输入到由全连接网络和CRF算法组成的解码器中解码得到命名实体序列；
步骤五：将事件分类特征向量输入到全连接网络得到事件分类的结果。
作为本发明优选的实施例，在高速公路突发事件文本信息输入到字符嵌入层前，所述方法还包括：
对高速公路突发事件文本信息，通过标注软件进行人工标注。
结合人工标注结果通过“BIES”符合标注将人工标注内容序列化。
对带实体标记的文本序列进行数值化处理，得到文本信息数值化序列、实体标注数值化序列以及事件类别数值化的值。
作为本发明优选的实施例，步骤二所述的多头注意力机制为：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)·W0
其中，多头注意力的输入满足Q＝K＝V，其值为输入话语的字符级嵌入表示；h表示为多头注意力的头数；head1代表自注意力运算，其公式为：
其中，Query，Key，Value是自注意力的三个输入矩阵，由词嵌入的矩阵通过线性变化得来，dk表示矩阵Query的列数。
进一步地，所述步骤三具体实现过程如下：
将多头注意力的输出矩阵作为BiLSTM网络的输入矩阵。其中输出矩阵的每一行代表输入语句的每个字符的高层语义表示向量。
将前向LSTM网络和后向LSTM网络的所有时间步的输出拼接起来作为实体特征矩阵。
将前向LSTM网络和后向LSTM网络的最后一个时间步的输出拼接起来作为事件分类特征向量。
更具体的，所述步骤四具体包括：
对实体特征矩阵的每一行向量经过2层线性变化层，得到BiLSTM网络对实体标签的预测概率矩阵。
将预测概率矩阵作为CRF层的输入，通过CRF的约束规则来保证预测的标签合法性。
作为本发明优选的实施例，所述步骤五具体包括：
由步骤三得到的事件分类特征向量作为2层线性变化层的输入，输出为对语句的事件分类评估值。
通过softmax函数对事件分类特征向量进行归一化，以概率最大值作为分类的类别。
更具体的，在网络进行训练学习的过程中损失值是步骤四CRF层得到的预测序列与标注序列的交叉熵和步骤五softmax得到的分类概率与正确标注类别Onehot向量的交叉熵两者之和。当预测损失值稳定收敛，得到实体提取和事件分类的算法模型。
第二方面，本发明实施例提供一种高速公路突发事件的实体提取和事件分类装置，该装置包括：
预处理模块，用于对原始高速公路突发事件文本数据及其人工标注信息按索引值数值化。
初始化模块，用于将数值化的序列从字符级的嵌入矩阵中找到每个字符对应的向量，并联组成当前语句的嵌入矩阵。
向量转化模块，用于对初始化的嵌入矩阵进行更高层的语义表示，对于一个语句中的每个字符来说，通过向量转化模块可以得到更具有语义、语境特征的字符向量。
解码模块，用于将高速公路突发事件文本向量信息输入BiLSTM-CRF网络，得到高速公路突发事件命名实体识别结果信息；
分类模块，用于将高速公路突发事件文本向量信息输入BiLSTM网络得到的最后一个时间步的隐向量，通过最后一个时间步的隐向量，结合2个线性变化层完成对高速公路突发事件文本信息的事件类别识别。
其中，向量转化模块是有多个多头注意力网络堆叠而成；解码模块的BiLSTM网络包括前向LSTM模型和后向LSTM模型。整个实体提取和事件分类装置是通过带有实体标记和事件类别标记的高速公路突发事件文本序列信息训练得到。
第三方面，本发明实施例提供一种电子装置，该装置包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现所述高速公路突发事件的实体提取和事件分类方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其特征在于，可执行指令被处理器执行时实现如第一方面所述高速公路突发事件的实体提取和事件分类方法的步骤。
本发明实施例提供的高速公路突发事件的实体提取和事件分类方法及装置具有以下有益效果：
本发明用于高速公路突发时间命名实体识别任务，通过字符级的词嵌入编码，避免了由于分词不准确导致实体识别失效的情况；本发明采用多头注意力机制，更好的得到了每个字符的语义向量表示；本发明是一种联合模型，能够同时完成命名实体识别任务和文本分类任务，提高了计算效率。
依照本发明提供的联合深度学习模型能够准确的识别高速公路突发事件文本信息中的实体内容和事件信息，免去了人工整理录入的时间，提高了工作效率，具有很大的实用价值。
附图说明
图1是本发明高速公路突发事件的实体提取和事件分类方法流程示意图；
图2是本发明实施例中所描述的多头注意力机制信息的流动方式示意图；
图3是本发明实施例中所描述的LSTM神经网络结构示意图；
图4是本发明实施例中所描述的高速公路突发事件的实体提取和事件分类框架示意图；
图5是本发明实施例中所描述的高速公路突发事件的实体提取和事件分类装置结构示意图；
图6是本发明实施例中所描述的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的高速公路突发事件的实体提取和事件分类方法，包括如下步骤：
步骤一：将语句输入字符级的嵌入层网络中，得到整个输入语句的字表征矩阵；
步骤二：将字表征序列输入到多头注意力机制中获得高层语句表征矩阵；
步骤三：使用BilSTM网络对高层语句表征矩阵进行特征提取，得到实体特征矩阵和事件分类特征向量；
步骤四：将实体特征矩阵输入到由全连接网络和CRF算法组成的解码器中解码得到命名实体序列；
步骤五：将事件分类特征向量输入到全连接网络得到事件分类的结果。
本发明实施例中所描述的高速公路突发事件文本数据是指高速交警整理的高速公路实时播报内容中的文本数据。该文本数据中包含了大量的交通领域的相关实体，通过将这些实体整理出来，并进行结构化处理，方便后续对突发事件进行迅速的应急路径规划或者进一步对数据分析挖掘获取事件发生的一些潜在规律及联系。但目前针对高速公路突发事件的文本信息的信息提取方面的研究还处于初级阶段。高速公路突发事件文本信息不像数据库一样有着严谨的理论模型、数据结构，并且伴随着专业化的特点。想要有效的利用好这些数据，还需要对此进行预处理。
本发明实施例中所描述的预处理是指对高速公路突发事件的文本信息数据进行人工标注实体特征、事件类别标签；对不规范数据进行剔除；同时去掉文本描述中的一些换行符、空格符等多余字符。
本发明一种高速公路突发事件的实体提取和事件分类框架结构如图4所示。训练这个框架的过程中，文本语句通过字符编码层进行初始化，然后通过多头注意力机制层对字编码进行更高层的语义特征抽取，得到更具有语义、语境特征的编码xt。令T表示为输入语句的字符个数，接着使用LSTM网络对xt(t∈(1，T))分别进行前向特征提取和后向特征提取，将前向和后向特征提取出的向量进行串联得到每个字符的隐表示向量。通过设置最后一个字符为“END”标记，以此字符作为整个语句的隐表示向量。接着利用全连接层和CRF层来完成对隐藏特征矩阵的解码；同时利用全连接网络将“END”所处位置的隐表示向量对应到其他情况，交通事故，道路施工，道路拥堵，恶劣天气，大流量这6个类别上来。
下面对本发明框架结构的各个部分进行具体描述：
(1)字符编码层
字符编码层属于词嵌入的一种，词嵌入的方法目的都是将单词或者字符或者其他可以数值化的数据映射到高维空间中。本发明的字符编码层可以将输入语句的每个字符都可以转化为相同维度的向量中去，由此可以将整个语句转化成多个字符向量组成的二维矩阵中去。其中矩阵的行数代表字符的个数，矩阵的列数代表向量的维度。
(2)多头注意力层
多头注意力层，主要是对字符编码层得到的词嵌入矩阵进行语义特征提取，得到更高层的富含语义、语境特征的字符表示。多头注意力层的结构图，如图2所示，大致包含一下过程：将字符级词嵌入矩阵赋值为Q，K，V这3个矩阵；通过线性变换将Q，K，V这3个矩阵生成与之对应的Query，Key，Value特征图；将Query，Key，Value按多头注意力的头数分别分割为多个子特征图，对每个子特征图进行完成自注意力运算，自注意力计算公式如下：
其中，Query，Key，Value是自注意力的三个输入矩阵，由词嵌入的矩阵通过线性变化得来，dk表示矩阵Query的列数。
本发明所描述的多头注意力机制是将多个子特征图结合而成的算法，模型的计算公式如下所示：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)·W0
其中，多头注意力的输入满足Q＝K＝V，其值为输入话语的字符级嵌入表示；h表示为多头注意力的头数；head1代表自注意力运算，其公式为：
其中，i表示第i个子特征图。
(3)特征提取层
多头注意力机制层的输入是字符级的词嵌入矩阵，输出是与词嵌入矩阵相同大小的高层语句表征矩阵。在得到高层语句表征矩阵后，使用BiLSTM算法对该矩阵进行特征提取。
本发明所述的LSTM算法结构图如图3所示，主要由3部分组成，分别为输入门、遗忘门、输出门。假定输入序列为x＝(x1,x2,...,xt)，其中xt为字符的高层语义向量表示。
t时刻，输入门It控制输入信息，允许或阻止输入改变存储器单元的状态，即决定需要更新的值。其公式表示为：
It＝σ(Wxixt+Uiht-1+bi)
根据当前时刻的输入和t-1时刻的输出向量ht-1得到新的候选值向量。公式表示如下：
在t-1时刻，遗忘门ft对存储器单元的状态进行控制，使存储器单元根据需要记住或遗忘之前的状态，即决定需要从当前状态遗忘的信息。
ft＝σ(Wfxt+Ufht-1+bf)
将遗忘门决定要丢弃的信息与存储器的旧状态相乘，并加上当前时刻的候选值，得到一个新的候选值Ct。
输出门Ot控制长期存储信息并影响当前时刻的输出值。
Ot＝σ(Woxt+Uoht-1+bo)
最后得到的输出值由输出门Ot和存储器单元状态候选值Ct共同决定。
ht＝Ot*tanh(Ct)
其中ht和xt是第t时刻的隐藏层向量和输入向量，It，ft，Ot，Ct是第t时刻的输入门、遗忘门、输出门、存储器单元状态输出。σ代表sigmoid激活函数。遗忘门ft控制前一个单元的遗忘程度，输入门It控制当前单元的更新程度，输出门Ot控制当前单元新的输出。U*，W*，V*是权重矩阵，b*是偏移矢量，其下标分别表示其所属归类，LSTM模型通过对这些门的控制使得其具有读取、保存和更新长距离信息的能力，达到更优的性能。
本发明所述的BiLSTM包含前向LSTM和后向LSTM网络，通过将前向和后向LSTM网络得到的隐表示向量进行串联得到最终的实体特征提取矩阵。以每句话最后的“END”字符作为整个语句的隐表示向量，即事件分类特征向量。
(4)实体解码层
本发明使用CRF算法对BiLSTM所得的实体特征矩阵进行解码，通过对实体特征矩阵进行2层的线性变换得到实体预测概率矩阵，其公式表示如下：
Logits＝W2(tanh(W1X+b1))+b2
其中，W1、W2、b1、b2都是网络训练的参数，tanh表示双曲正切激活函数。全连接层所得的实体预测概率矩阵Logits可能存在一些规则外的情况，例如“台州方向”实体标注需要必须满足“台”为“B-direction”，“州”，“方”为“I-direction”，“向”为“E-direction”，其中B表示开始，I表示中间，E表示结束。为了算法可以对实体预测概率矩阵进行一定规则约束上的纠错。本发明使用CRF算法来获取最终的预测序列。
(5)分类层
本发明使用2层线性变换层得到最终的事件分类预测概率向量，其公式表示为：
Prob＝Softmax(W2(tanh(W1X+b1))+b2)
其中，W1、W2、b1、b2都是网络训练的参数，tanh和softmax都是激活函数。使用softmax可以将最终的Logits转化为加和为1的概率分布向量。其中概率分布向量的最大值所处的节点位置表示算法预测的事件分类的类别标签。
本申请采用人工标注方式对高速公路突发事件实体进行标注。为了更加清楚地划分实体边界，在对高速突发事件语料进行实体标注时采用BIEO(Begin，Inside，End，Outside)标签方案。B表示高速突发事件实体的第一个字符，I表示实体的内部字符，E表示实体的结尾字符，O表示非实体的字符(如表1所示)。给定一个高速突发事件文本中含有n个字符的句子S＝{w1，w2，...，wn}，采用上述标注方法标记句子s的每个字符si。例如，“...胡家兜收费站...”的标签序列(如表2所示)。同时，本申请将高速公路突发事件进行了分类标注(如表3所示)。
表1实体标注方法
表2字符序列标注实例
表3事件类别
本发明相较于传统方法，可以显著的提高实体识别和事件分类的准确率。按照严格指标计算，本发明取得了最佳效果，其性能测试结果如表1所示(其中，Precision表示准确率，Recall表示召回率，F1score表示Precision和Recall的调和平均数)：
表4、表5为性能测试结果：
表4实体标注测试结果
表5事件分类测试结果
由表可知，本发明提供的方法对于高速公路突发事件的命名实体识别普遍达到了90％以上的准确率。对于事件分类也达到了80％的平均准确率。相较于传统方法，有明显的提升。
图5为本发明的一实施例所描述的高速公路突发事件的实体提取和事件分类装置结构示意图，包括：预处理模块41、初始化模块42、向量转换模块43和解码模块44以及分类模块45。其中，预处理模块41用于对原始事件文本数据进行预处理，得到预处理后的文本数据信息；其中，初始化模块块42用于将所述预处理高速公路突发事件文本数据信息输入到字符级的词嵌入网络模型中，得到事件文本向量信息；其中，向量转换模块43用于将所述高速公路突发事件文本向量信息输入预设的多头注意力机制网络模型中，得到文本信息的高层语义表示形式；其中，解码模块44用于将所述高层语义表示形式经过BiLSTM进行特征提取、全连接层线性变换、CRF解码得到最终的标注序列；其中，分类模块45用于将所述的高层语义表示形式经过BiLSTM进行时序特征提取、全连接线性变换得到最终的分类结果。其中，所述的字符级词嵌入网络、多头注意力机制网络模型、BiLSTM网络模型和全连接线性变换网络模型是通过带实体标记和类别标记的样本经过预处理后的高速公路突发事件文本数据信息训练得到。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
本发明实施例提供所述的电子设备结构示意图，如图6所示，该电子设备可以包括：图5为本发明一实施例所描述的电子设备结构示意图，如图5所示，该电子设备可以包括：处理器51、通信接口52、存储器53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信。处理器51可以调用存储器53中的逻辑指令，以执行如下方法：对原始高速公路突发事件文本数据进行预处理，得到预处理高速公路突发事件文本数据信息；将所述预处理后的文本数据信息输入预设字符级词嵌入网络模型，得到事件文本向量信息；将所述事件文本向量信息输入预设的多头注意力模型得到事件语句的高层语义表示；将所述事件语句的高层语义表示输入到预设的BiLSTM-CRF模型，得到事件文本命名实体识别结果信息；将所述事件语句的高层语义表示输入到预设的BiLSTM模型，再通过全连接层得到事件分类的结果信息；
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：对原始高速公路突发事件文本数据进行预处理，得到预处理高速公路突发事件文本数据信息；将所述预处理后的文本数据信息输入预设字符级词嵌入网络模型，得到事件文本向量信息；将所述事件文本向量信息输入预设的多头注意力模型得到事件语句的高层语义表示；将所述事件语句的高层语义表示输入到预设BiLSTM-CRF模型，得到事件文本命名实体识别结果信息；将所述事件语句的高层语义表示输入到预设的BiLSTM模型，再通过全连接层得到事件分类的结果信息；
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：对原始高速公路突发事件文本数据进行预处理，得到预处理高速公路突发事件文本数据信息；将所述预处理后的文本数据信息输入预设字符级词嵌入网络模型，得到事件文本向量信息；将所述事件文本向量信息输入预设的多头注意力模型得到事件语句的高层语义表示；将所述事件语句的高层语义表示输入到预设BiLSTM-CRF模型，得到事件文本命名实体识别结果信息；将所述事件语句的高层语义表示输入到预设的BiLSTM模型，再通过全连接层得到事件分类的结果信息；
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种高速公路突发事件的实体提取和事件分类方法，其特征在于，包括以下步骤：
步骤一：将语句输入字符级的嵌入层网络中，得到整个输入语句的字表征矩阵；
步骤二：将字表征序列输入到多头注意力机制中获得高层语句表征矩阵；
步骤三：使用BilSTM网络对高层语句表征矩阵进行特征提取，得到实体特征矩阵和事件分类特征向量；
步骤四：将实体特征矩阵输入到由全连接网络和CRF算法组成的解码器中解码得到命名实体序列；
步骤五：将事件分类特征向量输入到全连接网络得到事件分类的结果。
2.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，在高速公路突发事件文本信息输入到字符级的嵌入层网络前，所述方法还包括：
(1)对高速公路突发事件文本信息，通过标注软件进行人工标注；
(2)结合人工标注结果通过“BIES”符合标注将人工标注内容序列化；
(3)对带实体标记的文本序列进行数值化处理，得到文本信息数值化序列、实体标注数值化序列以及事件类别数值化的值。
3.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，步骤二所述的多头注意力机制为：
MultiHead(Q，K，V)＝Concat(head1，head2，...headh)·W0
其中，多头注意力的输入满足Q＝K＝V，其值为输入话语的字符级嵌入表示；h表示为多头注意力的头数；head1代表自注意力运算，其公式为：
其中，Query，Key，Value是自注意力的三个输入矩阵，由词嵌入的矩阵通过线性变化得来，dk表示矩阵Query的列数。
4.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，所述步骤三具体实现过程如下：
(1)将多头注意力的输出矩阵作为BiLSTM网络的输入矩阵。其中输出矩阵的每一行代表输入语句的每个字符的高层语义表示向量。
(2)将前向LSTM网络和后向LSTM网络的所有时间步的输出拼接起来作为实体特征矩阵。
(3)将前向LSTM网络和后向LSTM网络的最后一个时间步的输出拼接起来作为事件分类特征向量。
5.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，所述步骤四具体包括：
(1)对实体特征矩阵的每一行向量经过2层线性变化层，得到BiLSTM网络对实体标签的预测概率矩阵。
(2)将预测概率矩阵作为CRF层的输入，通过CRF的约束规则来保证预测的标签合法性。
6.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，所述步骤五具体包括：
(1)由步骤三得到的事件分类特征向量作为2层线性变化层的输入，输出为对语句的事件分类评估值。
(2)通过softmax函数对事件分类特征向量进行归一化，以概率最大值作为分类的类别。
7.根据权利要求1所述的高速公路突发事件的实体提取和事件分类方法，其特征在于，在网络进行训练学习的过程中损失值是步骤四CRF层得到的预测序列与标注序列的交叉熵和步骤五softmax得到的分类概率与正确标注类别Onehot向量的交叉熵两者之和；当预测损失值稳定收敛，得到实体提取和事件分类的算法模型。
8.一种高速公路突发事件的实体提取和事件分类装置，其特征在于，该装置包括：
(1)预处理模块，用于对原始高速公路突发事件文本数据及其人工标注信息按索引值数值化；
(2)初始化模块，用于将数值化的序列从字符级的嵌入矩阵中找到每个字符对应的向量，并联组成当前语句的嵌入矩阵；
(3)向量转化模块，用于对初始化的嵌入矩阵进行更高层的语义表示，对于一个语句中的每个字符来说，通过向量转化模块可以得到更具有语义、语境特征的字符向量；
(4)解码模块，用于将高速公路突发事件文本向量信息输入BiLSTM-CRF网络，得到高速公路突发事件命名实体识别结果信息；
(5)分类模块，用于将高速公路突发事件文本向量信息输入BiLSTM网络得到的最后一个时间步的隐向量，通过最后一个时间步的隐向量，结合2个线性变化层完成对高速公路突发事件文本信息的事件类别识别。
其中，向量转化模块是有多个多头注意力网络堆叠而成；解码模块的BiLSTM网络包括前向LSTM模型和后向LSTM模型；该装置通过带有实体标记和事件类别标记的高速公路突发事件文本序列信息训练得到。
9.一种高速公路突发事件的实体提取和事件分类装置，其特征在于，该装置还包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至7任一项所述高速公路突发事件的实体提取和事件分类方法的步骤。
10.一种非暂态计算机可读存储介质，其特征在于，所述可执行指令被处理器执行时实现权利要求1至7任一项所述高速公路突发事件的实体提取和事件分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943928.9A CN112084336A (zh) | 2020-09-09 | 2020-09-09 | 一种高速公路突发事件的实体提取和事件分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943928.9A CN112084336A (zh) | 2020-09-09 | 2020-09-09 | 一种高速公路突发事件的实体提取和事件分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112084336A true CN112084336A (zh) | 2020-12-15 |
Family
ID=73731762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010943928.9A Pending CN112084336A (zh) | 2020-09-09 | 2020-09-09 | 一种高速公路突发事件的实体提取和事件分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084336A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966073A (zh) * | 2021-04-07 | 2021-06-15 | 华南理工大学 | 一种基于语义和浅层特征的短文本匹配方法 |
| CN113157859A (zh) * | 2021-04-06 | 2021-07-23 | 北京理工大学 | 一种基于上位概念信息的事件检测方法 |
| CN113157916A (zh) * | 2021-03-10 | 2021-07-23 | 南京航空航天大学 | 一种基于深度学习的民航突发事件抽取方法 |
| CN113392711A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 |
| CN114492439A (zh) * | 2021-12-27 | 2022-05-13 | 四川新网银行股份有限公司 | 一种应用深度学习提升舆情预警准确率的系统和方法 |
| CN117149983A (zh) * | 2023-10-30 | 2023-12-01 | 山东高速信息集团有限公司 | 基于高速公路业务智能对话的方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635109A (zh) * | 2018-11-28 | 2019-04-16 | 华南理工大学 | 基于lstm并结合词性及多注意力机制的句子分类方法 |
| CN110032739A (zh) * | 2019-04-18 | 2019-07-19 | 清华大学 | 中文电子病历命名实体抽取方法及系统 |
| CN110321566A (zh) * | 2019-07-10 | 2019-10-11 | 北京邮电大学 | 中文命名实体识别方法、装置、计算机设备和存储介质 |
| CN110705299A (zh) * | 2019-09-26 | 2020-01-17 | 北京明略软件系统有限公司 | 实体和关系的联合抽取方法、模型、电子设备及存储介质 |
| CN111178074A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于深度学习的中文命名实体识别方法 |
| CN111368545A (zh) * | 2020-02-28 | 2020-07-03 | 北京明略软件系统有限公司 | 一种基于多任务学习的命名实体识别方法和装置 |
| CN111597342A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种多任务意图分类方法、装置、设备及存储介质 |
-
2020
- 2020-09-09 CN CN202010943928.9A patent/CN112084336A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635109A (zh) * | 2018-11-28 | 2019-04-16 | 华南理工大学 | 基于lstm并结合词性及多注意力机制的句子分类方法 |
| CN110032739A (zh) * | 2019-04-18 | 2019-07-19 | 清华大学 | 中文电子病历命名实体抽取方法及系统 |
| CN110321566A (zh) * | 2019-07-10 | 2019-10-11 | 北京邮电大学 | 中文命名实体识别方法、装置、计算机设备和存储介质 |
| CN110705299A (zh) * | 2019-09-26 | 2020-01-17 | 北京明略软件系统有限公司 | 实体和关系的联合抽取方法、模型、电子设备及存储介质 |
| CN111178074A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于深度学习的中文命名实体识别方法 |
| CN111368545A (zh) * | 2020-02-28 | 2020-07-03 | 北京明略软件系统有限公司 | 一种基于多任务学习的命名实体识别方法和装置 |
| CN111597342A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种多任务意图分类方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157916A (zh) * | 2021-03-10 | 2021-07-23 | 南京航空航天大学 | 一种基于深度学习的民航突发事件抽取方法 |
| CN113157859A (zh) * | 2021-04-06 | 2021-07-23 | 北京理工大学 | 一种基于上位概念信息的事件检测方法 |
| CN112966073A (zh) * | 2021-04-07 | 2021-06-15 | 华南理工大学 | 一种基于语义和浅层特征的短文本匹配方法 |
| CN113392711A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 |
| CN113392711B (zh) * | 2021-05-19 | 2023-01-06 | 中国科学院声学研究所南海研究站 | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 |
| CN114492439A (zh) * | 2021-12-27 | 2022-05-13 | 四川新网银行股份有限公司 | 一种应用深度学习提升舆情预警准确率的系统和方法 |
| CN117149983A (zh) * | 2023-10-30 | 2023-12-01 | 山东高速信息集团有限公司 | 基于高速公路业务智能对话的方法、装置及设备 |
| CN117149983B (zh) * | 2023-10-30 | 2024-02-27 | 山东高速信息集团有限公司 | 基于高速公路业务智能对话的方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112084336A (zh) | 一种高速公路突发事件的实体提取和事件分类方法及装置 | |
| WO2022178919A1 (zh) | 一种基于噪声标签学习的纳税人行业分类方法 | |
| CN108416058B (zh) | 一种基于Bi-LSTM输入信息增强的关系抽取方法 | |
| CN113128229B (zh) | 一种中文实体关系联合抽取方法 | |
| CN111597350A (zh) | 基于深度学习的轨道交通事件知识图谱构建方法 | |
| CN111881677A (zh) | 基于深度学习模型的地址匹配算法 | |
| CN112906397B (zh) | 一种短文本实体消歧方法 | |
| CN110909736A (zh) | 一种基于长短期记忆模型与目标检测算法的图像描述方法 | |
| CN113157916A (zh) | 一种基于深度学习的民航突发事件抽取方法 | |
| CN113987183A (zh) | 一种基于数据驱动的电网故障处置预案辅助决策方法 | |
| CN114239574A (zh) | 一种基于实体和关系联合学习的矿工违规行为知识抽取方法 | |
| CN116991875B (zh) | 一种基于大模型的sql语句生成、别名映射方法及设备 | |
| CN113051922A (zh) | 一种基于深度学习的三元组抽取方法及系统 | |
| CN111191452A (zh) | 一种铁路文本命名实体识别方法及装置 | |
| CN114529903A (zh) | 文本细化网络 | |
| CN112818698A (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN114153973A (zh) | 基于t-m bert预训练模型的蒙古语多模态情感分析方法 | |
| CN115496072A (zh) | 一种基于对比学习的关系抽取方法 | |
| CN115238693A (zh) | 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法 | |
| CN115098673A (zh) | 基于变体注意力及层次结构的业务文书信息抽取方法 | |
| CN117891958A (zh) | 一种基于知识图谱的标准数据处理方法 | |
| CN113297374B (zh) | 一种基于bert和字词特征融合的文本分类方法 | |
| CN112084783B (zh) | 基于民航不文明旅客的实体识别方法及系统 | |
| CN113988048A (zh) | 基于多轮机器阅读理解的情感原因对抽取方法 | |
| CN117131856A (zh) | 一种基于问题引导的交通事故文本因果关系抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201215 |