CN114492386A - 网络文本中药物名称及药物不良反应的联合检测方法 - Google Patents
网络文本中药物名称及药物不良反应的联合检测方法 Download PDFInfo
- Publication number
- CN114492386A CN114492386A CN202210111971.8A CN202210111971A CN114492386A CN 114492386 A CN114492386 A CN 114492386A CN 202210111971 A CN202210111971 A CN 202210111971A CN 114492386 A CN114492386 A CN 114492386A
- Authority
- CN
- China
- Prior art keywords
- text
- representation
- web
- word
- drug
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003814 drug Substances 0.000 title claims abstract description 87
- 229940079593 drug Drugs 0.000 title claims abstract description 87
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 title claims abstract description 79
- 206010061623 Adverse drug reaction Diseases 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000006757 chemical reactions by type Methods 0.000 claims description 6
- 206010067484 Adverse reaction Diseases 0.000 claims 1
- 230000006838 adverse reaction Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及文本处理技术领域，特别涉及一种网络文本中药物名称及药物不良反应的联合检测方法，方法包括：提取网络文本的局部上下文信息，得到网络文本中单词的局部上下文表示；提取网络文本的全局上下文信息，得到网络文本的全局上下文表示；基于局部上下文表示和全局上下文表示，利用预先训练的分类模型识别网络文本的实际类别，并根据实际类别得到网络文本中药物名称及药物不良反应的检测效果。由此，有效地提升了网络文本中药物名称及药物不良反应的检测效果。
Description
技术领域
本申请涉及文本处理技术领域，特别涉及一种网络文本中药物名称及药物不良反应的联合检测方法。
背景技术
大规模自动检测提及药物名称和药物不良反应的网络文本是自然语言处理和数据挖掘领域的重要任务，具有许多重要应用。传统的药物不良反应检测方法侧重于电子健康记录和临床报告，但是电子健康记录和关于特定药物不良反应的临床报告不丰富且难以收集，因此很难基于电子健康记录和临床报告建立稳健的药物不良反应检测模型。同时，电子健康记录和临床报告所涵盖的药品不良反应也非常有限。
近年来，从网络文本中检测药物名称和药物不良反应的任务得到了广泛的研究。与电子健康记录和临床报告相比，网络文本数量巨大，并可以轻松实时收集，检测提到药物名称和药物不良反应的网络文本有可能帮助发现医疗记录中未涵盖的药物使用的严重或未知后果，帮助药品制造商保证药品的安全性，减少其对患者的有害影响。
从网络文本中检测药物名称或药物不良反应通常被看作二进制文本分类任务，现有方法包括基于机器学习的方法和基于神经网络的方法。机器学习方法通常基于支持向量机，通常依赖于繁重的人工特征工程。如使用支持向量机检测提及药物不良反应的网络文本，利用了n-gram特征、词汇特征、情感特征和主题特征等；再如使用最大熵算法和模型集成，利用了词汇特征、n-gram特征、词嵌入等。神经网络方法往往基于卷积神经网络；再如使用卷积神经网络和最大池化技术来分类网络文本是否提及药物不良反应；再如应用卷积神经网络框架检测提及药物不良反应的网络文本，并对未标记数据进行预训练来增强词嵌入。基于深度学习的方法可以减少人工特征工程的工作量，并且可以获得比支持向量机等传统方法更好的性能。
然而，由于存在大量拼写错误和用户创建的超出词汇表的缩写，这些方法很难从单词中学习高质量的推文表示。此外，这些方法无法对推文中单词之间的交互进行建模，无法高质量学习文本的上下文信息。
发明内容
本申请提供一种网络文本中药物名称及药物不良反应的联合检测方法，有效地提升了网络文本中药物名称及药物不良反应的检测效果。
本申请第一方面实施例提供一种网络文本中药物名称及药物不良反应的联合检测方法，包括以下步骤：
提取网络文本的局部上下文信息，得到所述网络文本中单词的局部上下文表示；
提取所述网络文本的全局上下文信息，得到所述网络文本的全局上下文表示；
基于所述局部上下文表示和所述全局上下文表示，利用预先训练的分类模型识别所述网络文本的实际类别，并根据所述实际类别得到所述网络文本中药物名称及药物不良反应的检测效果。
可选地，在利用所述预先训练的分类模型识别所述网络文本的实际类别之前，还包括：
对文本的局部信息建模，构建单词的局部上下文表示模型，以提取所述局部上下文信息；
对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，以提取所述全局上下文信息；
联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
可选地，所述对文本的局部信息建模，构建单词的局部上下文表示模型，包括：
使用字符向量嵌入矩阵查找所述文本的字符的向量表示；
使用字符级别的卷积神经网络，根据所述字符的局部上下文信息学习字符的隐向量表示；
使用词向量嵌入矩阵查找所述文本的词向量表示；
连接所述文本的字符向量表示和词向量表示。
可选地，所述对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，包括：
使用双向长短时记忆网络学习所述文本的全局上下文信息；
使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；
使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；
根据所述每个单词的重要性权重加权求和，得到最终表示。
可选地，所述联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型，包括：
使用全连接层和激活函数转换所述文本的隐藏表示；
使用两个单独的全连接层和SoftMax函数预测最终标签；
联合药物名称分类模型和药物不良反应分类模型。
本申请第二方面实施例提供一种网络文本中药物名称及药物不良反应的联合检测装置，包括：
第一提取模块，用于提取网络文本的局部上下文信息，得到所述网络文本中单词的局部上下文表示；
第二提取模块，用于提取所述网络文本的全局上下文信息，得到所述网络文本的全局上下文表示；
识别模块，用于基于所述局部上下文表示和所述全局上下文表示，利用预先训练的分类模型识别所述网络文本的实际类别，并根据所述实际类别得到所述网络文本中药物名称及药物不良反应的检测效果。
可选地，在利用所述预先训练的分类模型识别所述网络文本的实际类别之前，所述识别模块还用于：
对文本的局部信息建模，构建单词的局部上下文表示模型，以提取所述局部上下文信息；
对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，以提取所述全局上下文信息；
联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
可选地，所述识别模块还用于：
使用字符向量嵌入矩阵查找所述文本的字符的向量表示；
使用字符级别的卷积神经网络，根据所述字符的局部上下文信息学习字符的隐向量表示；
使用词向量嵌入矩阵查找所述文本的词向量表示；
连接所述文本的字符向量表示和词向量表示。
可选地，所述识别模块还用于：
使用双向长短时记忆网络学习所述文本的全局上下文信息；
使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；
使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；
根据所述每个单词的重要性权重加权求和，得到最终表示。
可选地，所述识别模块还用于：
使用全连接层和激活函数转换所述文本的隐藏表示；
使用两个单独的全连接层和SoftMax函数预测最终标签；
联合药物名称分类模型和药物不良反应分类模型。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的网络文本中药物名称及药物不良反应的联合检测方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的网络文本中药物名称及药物不良反应的联合检测方法。
由此，使用了CNN(Convolutional Neural Networks，卷积神经网络)-SelfAttention(自注意力)-Softmax的框架，首先从文本中捕捉文本的局部信息，进而利用这些基于局部信息的文本表示学习基于全局信息的文本表示，利用两种表示联合训练药物名称检测和药物不良反应检测两个任务，与单独训练的药物名称检测任务和药物不良反应检测任务相比，联合训练可以取得更好的性能，并在训练数据稀缺时带来更为显著的性能改善，同时有助于减少人工标注的工作量，方法中使用的多头自我注意力机制和附加注意力机制的结合可以通过构建更好的网络文本及其词语表示，更有效地提高系统的性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种网络文本中药物名称及药物不良反应的联合检测方法的流程图；
图2为根据本申请一个实施例的网络文本中药物名称及药物不良反应的联合检测方法的原理示意图；
图3为根据本申请一个实施例的网络文本中药物名称及药物不良反应的联合检测方法的流程图；
图4为根据本申请实施例的网络文本中药物名称及药物不良反应的联合检测装置的示例图；
图5为根据本申请实施例的电子设备的示例图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的网络文本中药物名称及药物不良反应的联合检测方法。
在介绍本申请实施例的网络文本中药物名称及药物不良反应的联合检测方法之前，先简单介绍下目前存在的相关问题。
第一，网络文本通常非常嘈杂和非正式，而且充满拼写错误和用户创建的缩写；第二，网络文本提到的药物名称和药物不良反应通常与上下文有关；第三，同一条网络文本中的不同词语在药物名称和药物不良反应检测方面通常具有不同的信息量；第四，提到药物不良反应的网络文本也可能提到药物名称，提到药物名称的网络文本也可能提供一些药物不良反应的信息。
正是基于上述问题，从网络文本中检测药物名称的的任务和检测药物不良反应的任务具有内在的相关性，这两个任务的联合训练模型有可能提高这两个任务的模型效果，本申请实施例的网络文本中药物名称及药物不良反应的联合检测方法，使用了CNN-SelfAttention-Softmax的框架，首先从文本中捕捉文本的局部信息，进而利用这些基于局部信息的文本表示学习基于全局信息的文本表示，利用两种表示联合训练药物名称检测和药物不良反应检测两个任务，与单独训练的药物名称检测任务和药物不良反应检测任务相比，联合训练可以取得更好的性能，并在训练数据稀缺时带来更为显著的性能改善，同时有助于减少人工标注的工作量，方法中使用的多头自我注意力机制和附加注意力机制的结合可以通过构建更好的网络文本及其词语表示，更有效地提高系统的性能。
具体而言，图1为本申请实施例所提供的一种网络文本中药物名称及药物不良反应的联合检测方法的流程示意图。
如图1所示，该网络文本中药物名称及药物不良反应的联合检测方法包括以下步骤：
在步骤S101中，提取网络文本的局部上下文信息，得到网络文本中单词的局部上下文表示。
在步骤S102中，提取网络文本的全局上下文信息，得到网络文本的全局上下文表示。
可以理解的是，本申请实施例基于CNN-SelfAttention-SoftMax结构，通过使用分层文本表示模型，通过卷积神经网络从字符中学习来自局部上下文的单词表示，使用词嵌入增强文本信息表示；长短时记忆网络用于学习来自全局上下文的单词表示，多头自我注意力机制通过对单词之间的交互进行建模来充分捕捉网络文本中的上下文，附加注意力机制用于选择网络文本中的信息词。
在步骤S103中，基于局部上下文表示和全局上下文表示，利用预先训练的分类模型识别网络文本的实际类别，并根据实际类别得到网络文本中药物名称及药物不良反应的检测效果。
其中，本申请实施例可以将SoftMax用于对网络文本是否包含药物名称或药物不良反应进行分类。
可选地，在一些实施例中，在利用预先训练的分类模型识别网络文本的实际类别之前，还包括：
(1)对文本的局部信息建模，构建单词的局部上下文表示模型，以提取局部上下文信息；
其中，在一些实施例中，对文本的局部信息建模，构建单词的局部上下文表示模型，包括：使用字符向量嵌入矩阵查找文本的字符的向量表示；使用字符级别的卷积神经网络，根据字符的局部上下文信息学习字符的隐向量表示；使用词向量嵌入矩阵查找文本的词向量表示；连接文本的字符向量表示和词向量表示。
具体而言，本申请实施例可以使用字符向量嵌入矩阵查找所述文本字符的向量表示；使用卷积神经网络，根据字符的局部上下文学习文本字符的隐向量表示；使用词向量嵌入矩阵查找所述文本的词向量表示；连接所述文本的字符向量表示和词向量表示。
局部信息对于实体的识别十分重要，获取单词的局部上下文信息有助于检测提及药物名称和药物不良反应的网络文本。
具体而言，如图2所示，本申请实施例对于一个文本序列s＝[w1,w2,…,wM]，其中，M是文本序列的长度，将第i个词的字符序列记作wi＝[Ci,1,Ci,2,…,Ci,N]，其中，N代表单词长度，每个单词通过字符嵌入矩阵
被映射到一个向量序列
其中V是词汇量大小，D是嵌入维度。
下一层是字符级卷积神经网络。卷积神经网络可以有效地捕获本地上下文信息，构建字符的局部上下文表示。本申请实施例可以将卷积神经网络层应用于网络文本中的所有字符序列，字符ci,j的最终上下文表示是多个过滤器输出的串联，记作hi,j，其计算方法如下：
hi,j＝ReLU(Uc×e(j-w:j+w)+bc)，
其中，e(j-w:j+w)是从位置j-w到j+w的字符嵌入向量的串联，Uc和bc和F1是卷积神经网络中的滤波器参数，2w+1是滤波器窗口大小；ReLU是非线性激活函数；本申请实施例可以使用最大池化运算从单词中每个字符的表示中构建基于字符的单词表示，以保留字符表示中最显著的信息，第i个单词的基于字符的表示记作pi＝max(hi,1,hi,2,…,hi,N)；网络的最终输出是一系列单词的基于字符的上下文表示，表示为[p1,p2,…,pN]。
本申请实施例可以使用词嵌入来增强文本信息表示，词嵌入将文本序列s＝[w1,w2,…,wM]通过单词嵌入矩阵
映射到一个向量序列Ew＝[e1,e2,…,eN]，其中V′是词汇量大小，D′是嵌入维度。
每个单词的最终表示ci是基于字符的表示和单词嵌入的串联，即ci＝[pi；ei]，本申请实施例可以将文本的输出序列表示为C＝[c1,c2,…,cN]。
需要说明的是，在提取网络文本的局部上下文信息，得到网络文本中单词的局部上下文表示之前，本申请实施例可以对网络文本数据集进行预处理，过滤特殊符号，分句，并将文本转换为单词序列。
(2)对文本的全局信息建模，构建文本的全局上下文表示模型，以提取全局上下文信息；
可选地，在一些实施例中，对文本的全局信息建模，构建文本的全局上下文表示模型，包括：使用双向长短时记忆网络学习文本的全局上下文信息；使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；根据每个单词的重要性权重加权求和，得到最终表示。
具体地，本申请实施例可以使用双向长短时记忆网络学习全局上下文信息；使用多头自注意力机制绘制单词的交互，构建高质量的单词上下文表示；使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；根据计算出的权重加权求和得到最终表示。
网络文本中的药物名称和药物不良反应提及通常上下文相关，文本中一个词可能与多个词相互作用，因此文本的全局上下文表示和单词之间的相互作用对于检测网络文本中的药物名称和药物不良反应非常重要。本申请实施例通过多头自我注意力机制，利用文本字符的局部上下文表示对文本的全局信息进行建模，得到文本字符的全局上下文表示，并使用附加注意网络建模上下文信息量，为每个单词计算重要性权重，利用计算出的权重加权求和，得到文本最终的全局上下文表示。
第一层是双向长短时记忆网络。长短时记忆网络用于建模远距离信息，双向长短时记忆网络在两个方向上扫描单词表示向量序列，并在每个位置输出隐藏状态，同时利用过去和未来的信息构建单词的上下文表示。本申请实施例可以将网络文本中所有单词的输出隐藏状态表示为H＝[h1,…,hM]，由H＝LSTM([c1，c2，…，cM])得到。
第二层是多头自我注意力网络。自我注意力机制是捕获文本中单词之间信息交互的有效方法，多头自我注意力机制通过共同绘制单词与多个单词的交互来构建高质量的单词上下文表示。多头自我注意力网络中，第i个注意头产生的第j个单词的表示向量mi,j为H中所有单词表示向量的加权和，其计算方式如下：
其中，Ui和Wi是第i个自我注意力头的投影参数，
表示第j个和第k个单词之间交互的相对重要性；第j个字的多头表示mj是由h个单独的自我注意头产生的表示向量的串联，最终得到的文本的全局上下文表示为[m1,m2,…,mM]即，其计算方式如下：
mj＝[m1,j；m2,j；…；mi,j；…mh,j]；
第三层是附加注意力网络。由于网络文本可能非常嘈杂，不同的单词包含不同信息量，附加注意力机制建模上下文信息量，关注对药物名称和药物不良反应检测有用的上下文。附加注意力网络将单词表示作为输入，为每个单词计算反映其重要性的权重αi，其计算方式为：
最后通过计算出的权重αi来对文本的全局上下文表示进行加权求和，得到网络文本的最终表示形式，其计算方式为：
(3)联合训练局部上下文表示模型和全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
其中，在一些实施例中，联合训练局部上下文表示模型和全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型，包括：使用全连接层和激活函数转换文本的隐藏表示；使用两个单独的全连接层和SoftMax函数预测最终标签；联合药物名称分类模型和药物不良反应分类模型。
具体地，本申请实施例可以使用全连接层和激活函数转换网络文本的隐藏表示；使用两个单独的全连接层和SoftMax函数预测最终标签；联合训练两个模型。
具体而言，本申请实施例可以首先使用一个全连接层和ReLU激活函数转换网络文本的隐藏表示：
r′＝ReLU(Urr+br)；
使用两个单独的全连接层和SoftMax激活函数，分别计算药物名称和药物不良反应任务中推特的预测标签
和
其计算方式为：
利用药物名称和药物不良反应任务之间的内在关联性，在两个任务中联合训练本申请的模型。损失函数L的计算方式为：
本申请实施例可以通过RMSProp优化器对损失函数
来优化训练本申请实施例的模型。
由此，能够很好地捕捉局部和全局信息，减轻网络文本中大量拼写错误和用户创建缩写的影响，并对单词之间的交互进行建模，同时能够很好地加速训练和预测速度。
为使得本领域技术人员进一步了解本申请实施例的网络文本中药物名称及药物不良反应的联合检测方法，下面结合具体实施例进行详细说明。
如图3所示，该网络文本中药物名称及药物不良反应的联合检测方法，包括以下步骤：
S301，对文本数据进行预处理，过滤特殊符号分句，并将文本转换为单词序列。
S302，对文本的局部信息进行建模，构建单词的局部上下文表示。
S303，对文本的全局信息进行建模，构建文本的全局上下文表示。
S304，基于网络文本的标识对网络文本是否包含药物名称或药物不良反应进行分类，联合训练两个模型。
根据本申请实施例提出的网络文本中药物名称及药物不良反应的联合检测方法，使用了CNN-SelfAttention-Softmax的框架，首先从文本中捕捉文本的局部信息，进而利用这些基于局部信息的文本表示学习基于全局信息的文本表示，利用两种表示联合训练药物名称检测和药物不良反应检测两个任务，与单独训练的药物名称检测任务和药物不良反应检测任务相比，联合训练可以取得更好的性能，并在训练数据稀缺时带来更为显著的性能改善，同时有助于减少人工标注的工作量，方法中使用的多头自我注意力机制和附加注意力机制的结合可以通过构建更好的网络文本及其词语表示，更有效地提高系统的性能。
其次参照附图描述根据本申请实施例提出的网络文本中药物名称及药物不良反应的联合检测装置。
图4是本申请实施例的网络文本中药物名称及药物不良反应的联合检测装置的方框示意图。
如图4所示，该网络文本中药物名称及药物不良反应的联合检测装置10包括：第一提取模块100、第二提取模块200和识别模块300。
其中，第一提取模块100用于提取网络文本的局部上下文信息，得到网络文本中单词的局部上下文表示；
第二提取模块200用于提取网络文本的全局上下文信息，得到网络文本的全局上下文表示；
识别模块300用于基于局部上下文表示和全局上下文表示，利用预先训练的分类模型识别网络文本的实际类别，并根据实际类别得到网络文本中药物名称及药物不良反应的检测效果。
可选地，在利用预先训练的分类模型识别网络文本的实际类别之前，识别模块300还用于：
对文本的局部信息建模，构建单词的局部上下文表示模型，以提取局部上下文信息；
对文本的全局信息建模，构建文本的全局上下文表示模型，以提取全局上下文信息；
联合训练局部上下文表示模型和全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
可选地，识别模块300还用于：
使用字符向量嵌入矩阵查找文本的字符的向量表示；
使用字符级别的卷积神经网络，根据字符的局部上下文信息学习字符的隐向量表示；
使用词向量嵌入矩阵查找文本的词向量表示；
连接文本的字符向量表示和词向量表示。
可选地，识别模块300还用于：
使用双向长短时记忆网络学习文本的全局上下文信息；
使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；
使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；
根据每个单词的重要性权重加权求和，得到最终表示。
可选地，识别模块300还用于：
使用全连接层和激活函数转换文本的隐藏表示；
使用两个单独的全连接层和SoftMax函数预测最终标签；
联合药物名称分类模型和药物不良反应分类模型。
需要说明的是，前述对网络文本中药物名称及药物不良反应的联合检测方法实施例的解释说明也适用于该实施例的网络文本中药物名称及药物不良反应的联合检测装置，此处不再赘述。
根据本申请实施例提出的网络文本中药物名称及药物不良反应的联合检测装置，使用了CNN-SelfAttention-Softmax的框架，首先从文本中捕捉文本的局部信息，进而利用这些基于局部信息的文本表示学习基于全局信息的文本表示，利用两种表示联合训练药物名称检测和药物不良反应检测两个任务，与单独训练的药物名称检测任务和药物不良反应检测任务相比，联合训练可以取得更好的性能，并在训练数据稀缺时带来更为显著的性能改善，同时有助于减少人工标注的工作量，方法中使用的多头自我注意力机制和附加注意力机制的结合可以通过构建更好的网络文本及其词语表示，更有效地提高系统的性能。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的网络文本中药物名称及药物不良反应的联合检测方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的网络文本中药物名称及药物不良反应的联合检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种网络文本中药物名称及药物不良反应的联合检测方法，其特征在于，包括以下步骤：
提取网络文本的局部上下文信息，得到所述网络文本中单词的局部上下文表示；
提取所述网络文本的全局上下文信息，得到所述网络文本的全局上下文表示；
基于所述局部上下文表示和所述全局上下文表示，利用预先训练的分类模型识别所述网络文本的实际类别，并根据所述实际类别得到所述网络文本中药物名称及药物不良反应的检测效果。
2.根据权利要求1所述的方法，其特征在于，在利用所述预先训练的分类模型识别所述网络文本的实际类别之前，还包括：
对文本的局部信息建模，构建单词的局部上下文表示模型，以提取所述局部上下文信息；
对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，以提取所述全局上下文信息；
联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
3.根据权利要求2所述的方法，其特征在于，所述对文本的局部信息建模，构建单词的局部上下文表示模型，包括：
使用字符向量嵌入矩阵查找所述文本的字符的向量表示；
使用字符级别的卷积神经网络，根据所述字符的局部上下文信息学习字符的隐向量表示；
使用词向量嵌入矩阵查找所述文本的词向量表示；
连接所述文本的字符向量表示和词向量表示。
4.根据权利要求2所述的方法，其特征在于，所述对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，包括：
使用双向长短时记忆网络学习所述文本的全局上下文信息；
使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；
使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；
根据所述每个单词的重要性权重加权求和，得到最终表示。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型，包括：
使用全连接层和激活函数转换所述文本的隐藏表示；
使用两个单独的全连接层和SoftMax函数预测最终标签；
联合药物名称分类模型和药物不良反应分类模型。
6.一种网络文本中药物名称及药物不良反应的联合检测装置，其特征在于，包括：
第一提取模块，用于提取网络文本的局部上下文信息，得到所述网络文本中单词的局部上下文表示；
第二提取模块，用于提取所述网络文本的全局上下文信息，得到所述网络文本的全局上下文表示；
识别模块，用于基于所述局部上下文表示和所述全局上下文表示，利用预先训练的分类模型识别所述网络文本的实际类别，并根据所述实际类别得到所述网络文本中药物名称及药物不良反应的检测效果。
7.根据权利要求6所述的装置，其特征在于，在利用所述预先训练的分类模型识别所述网络文本的实际类别之前，所述识别模块还用于：
对文本的局部信息建模，构建单词的局部上下文表示模型，以提取所述局部上下文信息；
对所述文本的全局信息建模，构建所述文本的全局上下文表示模型，以提取所述全局上下文信息；
联合训练所述局部上下文表示模型和所述全局上下文表示模型，得到对是否包含药物名称或药物不良反应进行分类的分类模型。
8.根据权利要求7所述的装置，其特征在于，所述识别模块还用于：
使用字符向量嵌入矩阵查找所述文本的字符的向量表示；
使用字符级别的卷积神经网络，根据所述字符的局部上下文信息学习字符的隐向量表示；
使用词向量嵌入矩阵查找所述文本的词向量表示；
连接所述文本的字符向量表示和词向量表示。
9.根据权利要求7所述的装置，其特征在于，所述识别模块还用于：
使用双向长短时记忆网络学习所述文本的全局上下文信息；
使用多头自注意力机制绘制单词的交互，构建质量满足预设条件的单词上下文表示；
使用附加注意机制建模上下文信息量，为每个单词计算重要性权重；
根据所述每个单词的重要性权重加权求和，得到最终表示。
10.根据权利要求7-9任一项所述的装置，其特征在于，所述识别模块还用于：
使用全连接层和激活函数转换所述文本的隐藏表示；
使用两个单独的全连接层和SoftMax函数预测最终标签；
联合药物名称分类模型和药物不良反应分类模型。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的网络文本中药物名称及药物不良反应的联合检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的网络文本中药物名称及药物不良反应的联合检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111971.8A CN114492386B (zh) | 2022-01-29 | 2022-01-29 | 网络文本中药物名称及药物不良反应的联合检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111971.8A CN114492386B (zh) | 2022-01-29 | 2022-01-29 | 网络文本中药物名称及药物不良反应的联合检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114492386A true CN114492386A (zh) | 2022-05-13 |
| CN114492386B CN114492386B (zh) | 2024-09-27 |
Family
ID=81477915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210111971.8A Active CN114492386B (zh) | 2022-01-29 | 2022-01-29 | 网络文本中药物名称及药物不良反应的联合检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114492386B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775635A (zh) * | 2022-11-22 | 2023-03-10 | 长沙砝码柯数据科技有限责任公司 | 基于深度学习模型的药品风险识别方法、装置及终端设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569506A (zh) * | 2019-09-05 | 2019-12-13 | 清华大学 | 一种基于医疗词典的医疗命名实体识别方法 |
| CN112347761A (zh) * | 2020-11-27 | 2021-02-09 | 北京工业大学 | 基于bert的药物关系抽取方法 |
| CN112366003A (zh) * | 2020-10-20 | 2021-02-12 | 武汉华大基因科技有限公司 | 一种基于临床真实世界时间序列要素的不良反应监测方法 |
| CN112863695A (zh) * | 2021-02-22 | 2021-05-28 | 西京学院 | 基于量子注意力机制双向长短期记忆预测模型及提取方法 |
| US11080607B1 (en) * | 2020-12-16 | 2021-08-03 | Ro5 Inc. | Data platform for automated pharmaceutical research using knowledge graph |
| WO2021169347A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 提取文本关键字的方法及装置 |
| CN113901207A (zh) * | 2021-09-15 | 2022-01-07 | 昆明理工大学 | 一种基于数据增强和半监督学习的药物不良反应检测方法 |
| CN113961706A (zh) * | 2021-11-02 | 2022-01-21 | 南京大学 | 一种基于神经网络自注意力机制的精确文本表示方法 |
-
2022
- 2022-01-29 CN CN202210111971.8A patent/CN114492386B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569506A (zh) * | 2019-09-05 | 2019-12-13 | 清华大学 | 一种基于医疗词典的医疗命名实体识别方法 |
| WO2021169347A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 提取文本关键字的方法及装置 |
| CN112366003A (zh) * | 2020-10-20 | 2021-02-12 | 武汉华大基因科技有限公司 | 一种基于临床真实世界时间序列要素的不良反应监测方法 |
| CN112347761A (zh) * | 2020-11-27 | 2021-02-09 | 北京工业大学 | 基于bert的药物关系抽取方法 |
| US11080607B1 (en) * | 2020-12-16 | 2021-08-03 | Ro5 Inc. | Data platform for automated pharmaceutical research using knowledge graph |
| CN112863695A (zh) * | 2021-02-22 | 2021-05-28 | 西京学院 | 基于量子注意力机制双向长短期记忆预测模型及提取方法 |
| CN113901207A (zh) * | 2021-09-15 | 2022-01-07 | 昆明理工大学 | 一种基于数据增强和半监督学习的药物不良反应检测方法 |
| CN113961706A (zh) * | 2021-11-02 | 2022-01-21 | 南京大学 | 一种基于神经网络自注意力机制的精确文本表示方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775635A (zh) * | 2022-11-22 | 2023-03-10 | 长沙砝码柯数据科技有限责任公司 | 基于深度学习模型的药品风险识别方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114492386B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977361B (zh) | 基于深度语义信息表示的中文临床医疗实体识别方法 | |
| CN110147457B (zh) | 图文匹配方法、装置、存储介质及设备 | |
| CN107688821B (zh) | 基于视觉显著性与语义属性跨模态图像自然语言描述方法 | |
| CN110188202B (zh) | 语义关系识别模型的训练方法、装置及终端 | |
| CN108664589B (zh) | 基于领域自适应的文本信息提取方法、装置、系统及介质 | |
| US20190347269A1 (en) | Structured report data from a medical text report | |
| GB2571825A (en) | Semantic class localization digital environment | |
| JP7290861B2 (ja) | 質問応答システムのための回答分類器及び表現ジェネレータ、並びに表現ジェネレータを訓練するためのコンピュータプログラム | |
| CN108960338B (zh) | 基于注意力反馈机制的图像自动语句标注方法 | |
| CN112711953A (zh) | 一种基于注意力机制和gcn的文本多标签分类方法和系统 | |
| CN113449801B (zh) | 一种基于多级图像上下文编解码的图像人物行为描述生成方法 | |
| CN113051914A (zh) | 一种基于多特征动态画像的企业隐藏标签抽取方法及装置 | |
| Joshua Thomas et al. | A deep learning framework on generation of image descriptions with bidirectional recurrent neural networks | |
| CN113283336A (zh) | 一种文本识别方法与系统 | |
| CN116611071A (zh) | 一种基于多模态的函数级漏洞检测的方法 | |
| CN112749277A (zh) | 医学数据的处理方法、装置及存储介质 | |
| CN112216379A (zh) | 一种基于智能联合学习的疾病诊断系统 | |
| CN110909174A (zh) | 一种基于知识图谱的简单问答中实体链接的改进方法 | |
| CN114492386B (zh) | 网络文本中药物名称及药物不良反应的联合检测方法 | |
| Song et al. | Hey, AI! Can You See What I See? Multimodal Transfer Learning-Based Design Metrics Prediction for Sketches With Text Descriptions | |
| Asha et al. | Artificial Neural Networks based DIGI Writing | |
| CN113987188A (zh) | 一种短文本分类方法、装置及电子设备 | |
| CN115687576B (zh) | 一种主题约束表示的关键词抽取方法及装置 | |
| CN115512692B (zh) | 语音识别方法、装置、设备及存储介质 | |
| Fan et al. | A medical pre-diagnosis system for histopathological image of breast cancer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |