CN111460807B - 序列标注方法、装置、计算机设备和存储介质 - Google Patents
序列标注方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111460807B CN111460807B CN202010174873.XA CN202010174873A CN111460807B CN 111460807 B CN111460807 B CN 111460807B CN 202010174873 A CN202010174873 A CN 202010174873A CN 111460807 B CN111460807 B CN 111460807B
- Authority
- CN
- China
- Prior art keywords
- word
- text
- marked
- matrix
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 71
- 239000013598 vector Substances 0.000 claims abstract description 178
- 238000004364 calculation method Methods 0.000 claims abstract description 65
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 118
- 238000000034 method Methods 0.000 claims description 49
- 238000013507 mapping Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 235000013399 edible fruits Nutrition 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种序列标注方法、装置、计算机设备和存储介质。通过获取待标注文本；确定所述待标注文本的字、词向量和位置向量；提取所述字、词向量和位置向量的特征信息；根据所述特征信息计算所述待标注文本中各个字之间的关联权重；计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签的概率最高者作为预测结果输出。本发明利用深度学习算法的卷积神经网络，借鉴了CV(Computer Vision，计算机视觉)领域EM算法的注意力机制，EM算法注意力机制的运算在NLP序列标注任务中降低了长文本的计算量，提高了序列标注的效率，并保证了序列标注任务的精度。
Description
技术领域
本发明涉及语音识别技术领域，特别是涉及一种序列标注方法、装置、计算机设备和存储介质。
背景技术
自然语言处理(NLP，Natural Language Processing)中的序列标注任务是指对于文本字词的序列标注，包括命名实体识别、词性标注、知识实体抽取等任务，通常通过监督学习算法实现。现有技术实现算法包括传统机器学习算法(CRF等)以及深度学习算法(Bi-LSTM)等，其中深度学习算法精度效果更佳。而目前前沿的深度学习算法，会在此类任务中额外加入注意力机制，以实现序列单元互相关联权重的特征信息提取。但注意力机制的运算基于矩阵运算，会在模型训练中造成较高的计算量，从而导致较高的耗时。
因此，有必要对现有技术进行改进以期获得更好的用户体验。
发明内容
基于此，有必要针对存在的问题，提供一种活体检测中视频图片的处理方法、装置和可读存储介质，以改善现有视频活体检测的效率。
一种序列标注方法，所述方法包括：
获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
在其中一个实施例中，所述字、词向量的生成采用将训练语料中的语句编码为one-hot形式，并通过c-bow方法或者skip-gram方法的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码；
所述位置向量由公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)确认，其中，pos表示某个字的位置，i表示第i维度，d表示位置向量设定维度。
在其中一个实施例中，所述提取所述字、词向量和位置向量的特征信息具体包括如下步骤：
构建一层1维卷积层降低特征维度；
再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；
卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵，以得到所述待标注文本的字、词向量和位置向量的特征信息。
在其中一个实施例中，所述根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射具体包括如下步骤：
采用EM算法的E步对所述多层卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；
E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。
在其中一个实施例中，所述将全连接层输出矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为预测结果序列输出具体包括如下步骤：
将所述字、词向量和位置向量的特征信息输入到全连接层计算，以输出全连接层特征矩阵；
将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式 计算出所述待标注文本中各个字属于各标签的概率P；
根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值；
将各个字所述各标签的概率最高者Z作为标注序列的预测结果输出。
一种序列标注装置，包括序列标注模型，所述序列标注模型包括：
嵌入层：用于获取待标注文本，并将所述待标注文本转化为向量形式，其中，向量形式包括各个字的字、词向量和位置向量；
卷积层：用于提取所述嵌入层输出向量的特征信息，并根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
CRF层：用于将全连接层特征矩阵与所述卷积层输出的注意力权重矩阵相加，计算出所述待标注文本中各个字属于各标签的概率；
输出层：用于将所述CRF层中输出的所述待标注文本中各个字属于各标签的概率最高者作为标签序列预测结果输出。
在其中一个实施例中，所述装置中，所述卷积层还包括特征信息转化单元与注意力权重矩阵计算单元；
所述特征信息转化单元用于提取所述嵌入层输出向量的特征信息，包括：
构建一层1维卷积层降低特征维度；
再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；
卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵；
所述注意力权重矩阵计算单元用于根据所述向量的特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，具体包括：
采用EM算法的E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成注意力权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；
E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。
在其中一个实施例中，所述装置中，所述CRF层还包括全连接层矩阵计算单元与标签概率计算单元；
所述全连接层矩阵计算单元用于接收所述字、词向量和位置向量的特征信息，并输入到全连接层计算，以输出全连接层特征矩阵；
所述标签概率计算单元用于将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式计算出所述待标注文本中各个字属于各标签的概率P；再根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行实现如下步骤：
获取待标注文本确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行实现如下步骤：
获取待标注文本确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
与现有技术NLP技术中采用监督学习算法相比，上述序列标注方法、装置通过嵌入层计算文本的字向量和位置向量，通过卷积层提取文本字、词向量和位置向量的局部特征向量，然后利用EM算法(Exception Maximization Algorithm，期望最大化算法)的注意力机制计算出文本中各个字之间的关联权重，最后根据权重关系计算出文本中每个字属于各个标注的概率，将每个字所属的标注概率的最高概率的标签序列作为预测结果输出文本的序列标注。本发明利用深度学习算法的卷积神经网络，借鉴了CV(Computer Vision，计算机视觉)领域EM算法的注意力机制，EM算法注意力机制的运算在NLP序列标注任务中降低了长文本的计算量，提高了序列标注的效率，并保证了序列标注任务的精度。
附图说明
图1为一个实施例中提供的序列标注方法的实施环境图；
图2为一个实施例中计算机设备的内部结构框图；
图3为一个实施例中序列标注方法的流程图；
图4为一个实施例中序列标注装置的结构框图；
图5为一个实施例中卷积层的结构框图；
图6为一个实施例中CRF层的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中提供的序列标注方法的实施环境图，如图1所示，在该实施环境中，包括计算机设备110以及终端120。
计算机设备110为序列标注处理设备，例如为测试人员使用的电脑等计算机设备，计算机设备110上安装有序列标注处理工具。终端120上安装有需要进行序列标注处理的应用，当需要进行序列标注处理时，测试人员可以在终端120发出序列标注处理请求，该序列标注处理请求中携带有序列标注处理标识，计算机设备110接收该序列标注处理请求，根据序列标注处理标识获取计算机设备110中与序列标注处理标识对应的测试脚本，然后利用序列标注处理工具执行该测试脚本，对终端120上的应用进行测试，并获取测试脚本对应的序列标注处理结果。
需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机、服务器等，但并不局限于此。计算机设备110以及终端120可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机程序，数据库中可存储有控件信息序列，该计算机程序被处理器执行时，可使得处理器实现一种序列标注处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种序列标注处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，在一个实施例中，提出了一种对自然语言需要处理的文本进行序列标注方法，该方法可以应用于上述的计算机设备110中，具体可以包括以下步骤S302～S308：
步骤S302，获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
在本实施例中，获取待标注文本一般由计算机设备来完成，本实施例中采用后台服务器来完成，当然，此处采用后台服务器来完成并非限定于服务器来完成，如前所述的其他计算机设备也可以承担。在对自然语言处理文本的序列标注技术中，后台服务器承担着序列标注运算工作，将序列标注检测器设置在后台服务器端，在序列标注检测器接收到序列标注的检测请求后，序列标注检测器会获取到待标注的文本，并将待标注文本保存到内存中。
在一些实施例中，也可以将待标注文本保存到非易失性存储介质中进行处理。
在本实施例中，将文本信息转化为向量形式，包括了字、词向量和位置向量。根据字向量字典，能够将长度为m的文本字符，逐一映射为长度为n的向量，从而构建m*n的矩阵。例如，文本输入为[‘苹’，‘果’]，则能够将字‘苹’和‘果’两个字依次映射为300维向量，从而构建2*300维的矩阵。字向量的生成一般通过经典算法Word2Vec来实现，该算法属于非监督学习算法，将训练语料中的语句编码为one-hot(独热编码，又称一位有效编码)形式，并通过c-bow方法(通过前后文预测中间字词)或者skip-gram方法(通过中间字词预测前后文)的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码。由于one-hot编码为已知的，因此，通过训练中间特征编码从而获得字或词的字向量或词向量。位置向量则参照Google提出的方法，由于通过卷积神经网络对文本编码信息进行特征提取时会忽略词语顺序信息，加入位置向量以使模型可以利用词向量序列的顺序，位置向量PE采用公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)计算得出，其中，公式中的pos表示某个字的位置，i表示第i个维度，d则表示位置向量设定维度。
步骤S304，提取所述字、词向量和位置向量的特征信息；
在本实施例中，提取所述字、词向量和位置向量的特征信息具体来说，先构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵。设置多层卷积层依序提炼特征信息，更深的层次能够更好拟合数学分布。
步骤S306，根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
在本实施例中，所述卷积层构建自注意力机制，计算待标注文本中各个字之间的注意力权重矩阵，用于对文本中各个字之间的关系进行注意力权重映射，以量化文本中各个字之间的相互影响。本实施例借鉴EM算法进行注意力权重的非监督运算，其中，EM算法包括：
E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成注意力权重的估计其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
M步根据E步输出的概率分布重新估算算法参数，参数由公式 计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次，作用为对隐变量Zak求取加权平均值；这是一种无监督过程。
E步与M步再经过多次迭代收敛，以完成注意力权重矩阵计算，从而达到计算出待标注文本中各个字字之间的关联权重。
步骤S308，将全连接层特征矩阵与所属注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
在本实施例中，全连接层特征矩阵是将所述待标注文本的字、词向量和位置向量的特征信息输入到全连接层进行计算得出，所述全连接层为卷积神经网络的全连接层，通过将待标注文本的字、词向量和位置向量的特征信息输入到该全连接层进行计算为现有技术，输出的全连接层矩阵计算过程不赘述。获得全连接层特征矩阵后，将该全连接层特征矩阵与所述注意力权重矩阵相加，计算出待标注文本中各个字属于各标签的概率，各个字属于各标签的概率P采用公式实现。然后将各个字所属各标签中的最高概率者作为标签序列预测结果输出，输出的所述待标注文本中各个字属于各标签的概率最高者的预测结果采用公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))实现，其中，t和s为特征函数，λ和μ是对应的权值。最后，将各个字所属各标签的概率最高者Z作为标注序列的预测结果输出。本技术方案中序列标注的含义是针对自然语言处理技术中处理字、词分解时，对每个待标注文本中的每个字进行对应标签属性的标注，输出的结果为标签序列，或者是标注序列。
如图4所示为一种实施例中提出的一种序列标注装置，该序列标注装置可以集成于上述的计算机设备110中，具体包括嵌入层402、卷积层404、CRF层406和输出层408。其中，
嵌入层402，用于获取待标注文本，并将所述待标注文本转化为向量形式；其中，向量形式包括各个字的字、词向量和位置向量；
在本实施例中，获取待标注文本一般由计算机设备来完成，本实施例中采用后台服务器来完成，当然，此处采用后台服务器来完成并非限定于服务器来完成，如前所述的其他计算机设备也可以承担。在对自然语言处理文本的序列标注技术中，后台服务器承担着序列标注运算工作，将序列标注检测器设置在后台服务器端，在序列标注检测器接收到序列标注的检测请求后，序列标注检测器会获取到待标注的文本，并将待标注文本保存到内存中。
在一些实施例中，也可以将待标注文本保存到非易失性存储介质中进行处理。所述嵌入层402将所述待标注文本转化为向量形式包括各个字的字、词向量和位置向量。根据字向量字典，能够将长度为m的文本字符，逐一映射为长度为n的向量，从而构建m*n的矩阵。例如，文本输入为[‘苹’，‘果’]，则能够将字‘苹’和‘果’两个字依次映射为300维向量，从而构建2*300维的矩阵。字向量的生成一般通过经典算法Word2Vec来实现，该算法属于非监督学习算法，将训练语料中的语句编码为one-hot(独热编码，又称一位有效编码)形式，并通过c-bow方法(通过前后文预测中间字词)或者skip-gram方法(通过中间字词预测前后文)的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码。由于one-hot编码为已知的，因此，通过训练中间特征编码从而获得字或词的字向量或词向量。位置向量则参照Google提出的方法，由于通过卷积神经网络对文本编码信息进行特征提取时会忽略词语顺序信息，加入位置向量以使模型可以利用词向量序列的顺序，位置向量PE采用公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)计算得出，其中，公式中的pos表示某个字的位置，i表示第i个维度，d则表示位置向量设定维度。
卷积层404，用于提取所述嵌入层输出向量的特征信息，根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
如图5所示，在一个实施例中，提供了卷积层的结构框图，该卷积层404还包括特征信息转化单元502与注意力权重矩阵计算单元504。所述特征信息转化单元502用于提取所述嵌入层402输出向量的特征信息，其提取所述字、词向量和位置向量的特征信息具体来说，先构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵。设置多层卷积层依序提炼特征信息，更深的层次能够更好拟合数学分布。
所述注意力矩阵计算单元504用于根据所述向量的特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，所述卷积层构建自注意力机制，用于对文本中各个字之间的关系进行注意力权重映射，以量化文本中各个字之间的相互影响。本实施例借鉴EM算法进行注意力权重的非监督运算，其中，EM算法包括：
E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成注意力权重的估计其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
M步根据E步输出的概率分布重新估算算法参数，参数由公式 计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次，作用为对隐变量Zak求取加权平均值；这是一种无监督过程。
E步与M步再经过多次迭代收敛，以完成注意力权重矩阵计算，从而达到计算出待标注文本中各个字之间的关联权重。
CRF层406，用于将全连接层特征矩阵与所述卷积层输出的注意力权重矩阵相加，计算出所述待标注文本中各个字属于各标签的概率；
如图6所示，在一个实施例中，提供了CRF层的结构框图，所述CRF层406还包括全连接层矩阵计算单元602与标签概率计算单元604，所述全连接层矩阵计算单元602用于接收所述字、词向量和位置向量的特征信息，并输入到全连接层计算，以输出全连接层特征矩阵；在本实施例中，全连接层特征矩阵是将所述待标注文本的字、词向量和位置向量的特征信息输入到全连接层进行计算得出，所述全连接层为卷积神经网络的全连接层，通过将待标注文本的字、词向量和位置向量的特征信息输入到该全连接层进行计算为现有技术，输出的全连接层矩阵计算过程不赘述。所述标签概率计算单元604用于将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式 计算出所述待标注文本中各个字属于各标签的概率P；再根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值。
输出层408，用于将所述CRF层中输出的所述待标注文本中各个字属于各标签中的概率最高者作为标签序列预测结果输出。
在本实施例中，所述输出层408是将各个字所属各标签的概率最高者Z输出为一个标签序列，即待标注文本中各个字对应有各个标签概率最高者Z的标签序列，将该标签序列作为预测结果输出。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
在本实施例中，获取待标注文本一般由计算机设备来完成，本实施例中采用后台服务器来完成，当然，此处采用后台服务器来完成并非限定于服务器来完成，如前所述的其他计算机设备也可以承担。在对自然语言处理文本的序列标注技术中，后台服务器承担着序列标注运算工作，将序列标注检测器设置在后台服务器端，在序列标注检测器接收到序列标注的检测请求后，序列标注检测器会获取到待标注的文本，并将待标注文本保存到内存中。
在一些实施例中，也可以将待标注文本保存到非易失性存储介质中进行处理。
在本实施例中，将待标注文本的文本信息转化为向量形式，包括了字、词向量和位置向量。根据字向量字典，能够将长度为m的文本字符，逐一映射为长度为n的向量，从而构建m*n的矩阵。例如，文本输入为[‘苹’，‘果’]，则能够将字‘苹’和‘果’两个字依次映射为300维向量，从而构建2*300维的矩阵。字向量的生成一般通过经典算法Word2Vec来实现，该算法属于非监督学习算法，将训练语料中的语句编码为one-hot(独热编码，又称一位有效编码)形式，并通过c-bow方法(通过前后文预测中间字词)或者skip-gram方法(通过中间字词预测前后文)的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码。由于one-hot编码为已知的，因此，通过训练中间特征编码从而获得字或词的字向量或词向量。位置向量则参照Google提出的方法，由于通过卷积神经网络对文本编码信息进行特征提取时会忽略词语顺序信息，加入位置向量以使模型可以利用词向量序列的顺序，位置向量PE采用公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)计算得出，其中，公式中的pos表示某个字的位置，i表示第i个维度，d则表示位置向量设定维度。
在本实施例中，提取所述字、词向量和位置向量的特征信息具体来说，先构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵。设置多层卷积层依序提炼特征信息，更深的层次能够更好拟合数学分布。
在本实施例中，所述卷积层构建自注意力机制，计算待标注文本中各个字之间的注意力权重矩阵，用于对文本中各个字之间的关系进行注意力权重映射，以量化文本中各个字之间的相互影响。本实施例借鉴EM算法进行注意力权重的非监督运算，其中，EM算法包括：
E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
M步根据E步输出的概率分布重新估算算法参数，参数由公式 计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次，作用为对隐变量Zak求取加权平均值，这是一个无监督过程。
E步与M步再经过多次迭代收敛，以完成注意力权重矩阵计算，从而达到计算出待标注文本中各个字之间的关联权重。
在本实施例中，全连接层特征矩阵是将所述待标注文本的字、词向量和位置向量的特征信息输入到全连接层进行计算得出，所述全连接层为卷积神经网络的全连接层，通过将待标注文本的字、词向量和位置向量的特征信息输入到该全连接层进行计算为现有技术，输出的全连接层矩阵计算过程不赘述。获得全连接层特征矩阵后，将该全连接层特征矩阵与所述注意力权重矩阵相加，计算出待标注文本中各个字属于各标签的概率，各个字属于各标签的概率P采用公式实现。然后将各个字所属各标签中的最高概率者作为标签序列预测结果输出，输出的所述待标注文本中各个字属于各标签的概率最高者的预测结果采用公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))实现，其中，t和s为特征函数，λ和μ是对应的权值。最后，将各个字所属各标签的概率最高者Z作为标注序列的预测结果输出。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。
在本实施例中，获取待标注文本一般由计算机设备来完成，本实施例中采用后台服务器来完成，当然，此处采用后台服务器来完成并非限定于服务器来完成，如前所述的其他计算机设备也可以承担。在对自然语言处理文本的序列标注技术中，后台服务器承担着序列标注运算工作，将序列标注检测器设置在后台服务器端，在序列标注检测器接收到序列标注的检测请求后，序列标注检测器会获取到待标注的文本，并将待标注文本保存到内存中。
在一些实施例中，也可以将待标注文本保存到非易失性存储介质中进行处理。
在本实施例中，将待标注文本的文本信息转化为向量形式，包括了字、词向量和位置向量。根据字向量字典，能够将长度为m的文本字符，逐一映射为长度为n的向量，从而构建m*n的矩阵。例如，文本输入为[‘苹’，‘果’]，则能够将字‘苹’和‘果’两个字依次映射为300维向量，从而构建2*300维的矩阵。字向量的生成一般通过经典算法Word2Vec来实现，该算法属于非监督学习算法，将训练语料中的语句编码为one-hot(独热编码，又称一位有效编码)形式，并通过c-bow方法(通过前后文预测中间字词)或者skip-gram方法(通过中间字词预测前后文)的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码。由于one-hot编码为已知的，因此，通过训练中间特征编码从而获得字或词的字向量或词向量。位置向量则参照Google提出的方法，由于通过卷积神经网络对文本编码信息进行特征提取时会忽略词语顺序信息，加入位置向量以使模型可以利用词向量序列的顺序，位置向量PE采用公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)计算得出，其中，公式中的pos表示某个字的位置，i表示第i个维度，d则表示位置向量设定维度。
在本实施例中，提取所述字、词向量和位置向量的特征信息具体来说，先构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵。设置多层卷积层依序提炼特征信息，更深的层次能够更好拟合数学分布。
在本实施例中，所述卷积层构建自注意力机制，计算待标注文本中各个字之间的注意力权重矩阵，用于对文本中各个字之间的关系进行注意力权重映射，以量化文本中各个字之间的相互影响。本实施例借鉴EM算法进行注意力权重的非监督运算，其中，EM算法包括：
E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
M步根据E步输出的概率分布重新估算算法参数，参数由公式 计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次，作用为对隐变量Zak求取加权平均值；这是一种无监督过程。
E步与M步再经过多次迭代收敛，以完成注意力权重矩阵计算，从而达到计算出待标注文本中各个字之间的关联权重。
在本实施例中，全连接层特征矩阵是将所述待标注文本的字、词向量和位置向量的特征信息输入到全连接层进行计算得出，所述全连接层为卷积神经网络的全连接层，通过将待标注文本的字、词向量和位置向量的特征信息输入到该全连接层进行计算为现有技术，输出的全连接层矩阵计算过程不赘述。获得全连接层特征矩阵后，将该全连接层特征矩阵与所述注意力权重矩阵相加，计算出待标注文本中各个字属于各标签的概率，各个字属于各标签的概率P采用公式实现。然后将各个字所属各标签中的最高概率者作为标签序列预测结果输出，输出的所述待标注文本中各个字属于各标签的概率最高者的预测结果采用公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))实现，其中，t和s为特征函数，λ和μ是对应的权值。最后，将各个字所属各标签的概率最高者Z作为标注序列的预测结果输出。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种序列标注方法，其特征在于，所述方法包括：
获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息，所述特征信息为维度为m*c的矩阵；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射，包括如下步骤：采用EM算法的E步对多层卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出，包括如下步骤：将所述字、词向量和位置向量的特征信息输入到全连接层计算，以输出全连接层特征矩阵；将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式 计算出所述待标注文本中各个字属于各标签的概率P；根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值；将各个字所述各标签的概率最高者Z作为标注序列的预测结果输出。
2.如权利要求1所述的序列标注方法，其特征在于，所述字、词向量的生成采用将训练语料中的语句编码为one-hot形式，并通过c-bow方法或者skip-gram方法的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码；
所述位置向量由公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)确认，其中，pos表示某个字的位置，i表示第i维度，d表示位置向量设定维度。
3.如权利要求1或2所述的序列标注方法，其特征在于，所述提取所述字、词向量和位置向量的特征信息具体包括如下步骤：
构建一层1维卷积层降低特征维度；
再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；
卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵，以得到所述待标注文本的字、词向量和位置向量的特征信息。
4.一种序列标注装置，用于执行如权利要求1至3中任一项所述的序列标注方法，其特征在于，包括序列标注模型，所述序列标注模型包括：
嵌入层：用于获取待标注文本，并将所述待标注文本转化为向量形式，其中，向量形式包括各个字的字、词向量和位置向量；
卷积层：用于提取所述嵌入层输出向量的特征信息，并根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
CRF层：用于将全连接层特征矩阵与所述卷积层输出的注意力权重矩阵相加，计算出所述待标注文本中各个字属于各标签的概率；
输出层：用于将所述CRF层中输出的所述待标注文本中各个字属于各标签的概率最高者作为标签序列预测结果输出。
5.如权利要求4所述的序列标注装置，其特征在于，所述卷积层还包括特征信息转化单元与注意力权重矩阵计算单元；
所述特征信息转化单元用于提取所述嵌入层输出向量的特征信息，包括：
构建一层1维卷积层降低特征维度；
再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；
卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵；
所述注意力权重矩阵计算单元用于根据所述向量的特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，具体包括：
采用EM算法的E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成注意力权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；
E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。
6.如权利要求5所述的序列标注装置，其特征在于，所述CRF层还包括全连接层矩阵计算单元与标签概率计算单元；
所述全连接层矩阵计算单元用于接收所述字、词向量和位置向量的特征信息，并输入到全连接层计算，以输出全连接层特征矩阵；
所述标签概率计算单元用于将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式计算出所述待标注文本中各个字属于各标签的概率P；再根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的序列标注方法。
8.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至3中任一项所述的序列标注方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174873.XA CN111460807B (zh) | 2020-03-13 | 2020-03-13 | 序列标注方法、装置、计算机设备和存储介质 |
| PCT/CN2020/117162 WO2021179570A1 (zh) | 2020-03-13 | 2020-09-23 | 序列标注方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174873.XA CN111460807B (zh) | 2020-03-13 | 2020-03-13 | 序列标注方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460807A CN111460807A (zh) | 2020-07-28 |
| CN111460807B true CN111460807B (zh) | 2024-03-12 |
Family
ID=71680782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010174873.XA Active CN111460807B (zh) | 2020-03-13 | 2020-03-13 | 序列标注方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111460807B (zh) |
| WO (1) | WO2021179570A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460807B (zh) * | 2020-03-13 | 2024-03-12 | 平安科技（深圳）有限公司 | 序列标注方法、装置、计算机设备和存储介质 |
| CN112069816A (zh) * | 2020-09-14 | 2020-12-11 | 深圳市北科瑞声科技股份有限公司 | 中文标点符号添加方法和系统及设备 |
| CN112597825A (zh) * | 2020-12-07 | 2021-04-02 | 深延科技(北京)有限公司 | 驾驶场景分割方法、装置、电子设备和存储介质 |
| CN112507698B (zh) * | 2020-12-07 | 2024-05-24 | 深圳市优必选科技股份有限公司 | 字向量生成方法、装置、终端设备及计算机可读存储介质 |
| CN112507719A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 命名实体识别方法、装置、电子设备及存储介质 |
| CN112651242B (zh) * | 2021-01-20 | 2024-04-26 | 重庆大学 | 一种基于内外注意力机制和可变尺度卷积的文本分类方法 |
| CN113051897B (zh) * | 2021-05-25 | 2021-09-10 | 中国电子科技集团公司第三十研究所 | 一种基于Performer结构的GPT2文本自动生成方法 |
| CN113571052A (zh) * | 2021-07-22 | 2021-10-29 | 湖北亿咖通科技有限公司 | 一种噪声提取及指令识别方法和电子设备 |
| CN114048288A (zh) * | 2021-11-10 | 2022-02-15 | 北京明略软件系统有限公司 | 细粒度情感分析方法、系统、计算机设备和存储介质 |
| CN114707467A (zh) * | 2022-03-18 | 2022-07-05 | 浙江大学 | 一种基于自注意力机制的自动化拼音转汉字方法 |
| CN114580424B (zh) * | 2022-04-24 | 2022-08-05 | 之江实验室 | 一种用于法律文书的命名实体识别的标注方法和装置 |
| CN114861601B (zh) * | 2022-04-29 | 2024-04-12 | 桂林电子科技大学 | 基于旋转式编码的事件联合抽取方法及存储介质 |
| CN116342964B (zh) * | 2023-05-24 | 2023-08-01 | 杭州有朋网络技术有限公司 | 针对于电子商务平台的图片宣传的风控系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109408812A (zh) * | 2018-09-30 | 2019-03-01 | 北京工业大学 | 一种基于注意力机制的序列标注联合抽取实体关系的方法 |
| CN110223742A (zh) * | 2019-06-14 | 2019-09-10 | 中南大学 | 中文电子病历数据的临床表现信息抽取方法和设备 |
| WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
| CN110781683A (zh) * | 2019-11-04 | 2020-02-11 | 河海大学 | 一种实体关系联合抽取方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11574122B2 (en) * | 2018-08-23 | 2023-02-07 | Shenzhen Keya Medical Technology Corporation | Method and system for joint named entity recognition and relation extraction using convolutional neural network |
| CN110222337B (zh) * | 2019-05-28 | 2022-12-02 | 浙江邦盛科技股份有限公司 | 一种基于transformer和CRF的中文地址分词方法 |
| CN110287326A (zh) * | 2019-07-03 | 2019-09-27 | 上海冰鉴信息科技有限公司 | 一种带背景描述的企业情感分析方法 |
| CN110442840B (zh) * | 2019-07-11 | 2022-12-09 | 新华三大数据技术有限公司 | 序列标注网络更新方法、电子病历处理方法及相关装置 |
| CN110827816A (zh) * | 2019-11-08 | 2020-02-21 | 杭州依图医疗技术有限公司 | 语音指令识别方法、装置、电子设备及存储介质 |
| CN111460807B (zh) * | 2020-03-13 | 2024-03-12 | 平安科技（深圳）有限公司 | 序列标注方法、装置、计算机设备和存储介质 |
-
2020
- 2020-03-13 CN CN202010174873.XA patent/CN111460807B/zh active Active
- 2020-09-23 WO PCT/CN2020/117162 patent/WO2021179570A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
| CN109408812A (zh) * | 2018-09-30 | 2019-03-01 | 北京工业大学 | 一种基于注意力机制的序列标注联合抽取实体关系的方法 |
| CN110223742A (zh) * | 2019-06-14 | 2019-09-10 | 中南大学 | 中文电子病历数据的临床表现信息抽取方法和设备 |
| CN110781683A (zh) * | 2019-11-04 | 2020-02-11 | 河海大学 | 一种实体关系联合抽取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460807A (zh) | 2020-07-28 |
| WO2021179570A1 (zh) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460807B (zh) | 序列标注方法、装置、计算机设备和存储介质 | |
| CN110534087B (zh) | 一种文本韵律层级结构预测方法、装置、设备及存储介质 | |
| CN109033068B (zh) | 基于注意力机制的用于阅读理解的方法、装置和电子设备 | |
| CN111401084B (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
| CN110928997A (zh) | 意图识别方法、装置、电子设备及可读存储介质 | |
| CN110598206A (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN110334186B (zh) | 数据查询方法、装置、计算机设备及计算机可读存储介质 | |
| CN110569505B (zh) | 一种文本输入方法及装置 | |
| CN110688853B (zh) | 序列标注方法、装置、计算机设备和存储介质 | |
| CN111859940B (zh) | 一种关键词提取方法、装置、电子设备及存储介质 | |
| CN111783478B (zh) | 机器翻译质量估计方法、装置、设备及存储介质 | |
| CN110968725B (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
| CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
| CN112329476A (zh) | 一种文本纠错方法及装置、设备、存储介质 | |
| CN114168754A (zh) | 一种基于句法依赖和融合信息的关系抽取方法 | |
| CN113158687A (zh) | 语义的消歧方法及装置、存储介质、电子装置 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN113449081A (zh) | 文本特征的提取方法、装置、计算机设备及存储介质 | |
| CN113362804A (zh) | 一种合成语音的方法、装置、终端及存储介质 | |
| CN112818688B (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN116089605A (zh) | 基于迁移学习和改进词袋模型的文本情感分析方法 | |
| CN117371447A (zh) | 命名实体识别模型的训练方法、装置及存储介质 | |
| CN112668343B (zh) | 文本重写方法以及电子设备、存储装置 | |
| CN114913871A (zh) | 目标对象分类方法、系统、电子设备及存储介质 | |
| CN114936274A (zh) | 模型训练方法、对话生成方法和装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40031986 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |