CN104765947A - 一种面向大数据的潜在药物不良反应数据挖掘方法 - Google Patents

Abstract

一种面向大数据的潜在药物不良反应数据挖掘方法，该方法包括以下步骤：A、抓取药物不良事件报告；B、对药物不良事件数据集的药物不良事件报告进行数据预处理；C、药名标准化；D、过滤已知不良反应；E、关联度计算；F、关联度排序。本发明适用于潜在药物不良反应的挖掘工作，不限于药物的种类；能够有效的发现上市药物的安全隐患，对提升用药者的健康水平具有重要的意义。

Description

一种面向大数据的潜在药物不良反应数据挖掘方法

技术领域

本发明涉及数据挖掘方法领域，涉及一种面向大数据的潜在药物不良反应数据挖掘方法。

背景技术

药物不良反应(Adverse Drug Reactions，简称ADRs)已经成为医学界和民众关注的热点，用药安全问题日益得到全社会的重视。尽管药物上市前会进行相应的临床试验，但是由于人群的数量及试验周期等限制，导致临床试验无法揭露药物所有的不良反应。从而造成具有潜在药物不良反应的新药流入市场，对公众健康产生了巨大的威胁。因此，如何挖掘药物的不良反应具有重大的理论价值和实用价值。

对于上市药物潜在不良反应挖掘的研究，主要依托于医院提供的电子病例以及药物不良反应自发报告系统所收集的药物不良事件报告。医院的电子病历系统具有完整的、格式化的病人信息记录，但是由于隐私保护等原因，这些信息外界是无法得到的。经过多年的收集，药物不良事件自发报告系统已积累了大量的药物不良事件报告，这些不良事件报告来自医生或者病人，其包含的药物不良反应关系尚未得到医学上的验证。经过匿名化等隐私保护处理，这些不良事件报告对外公开，为科研人员提供了宝贵的数据资源。而大多现有的研究主要针对其中的某类药物和某些不良反应进行潜在关系的挖掘，其泛化性能并不高。

发明内容

本发明的目的是提供一种可靠性强，适用于潜在药物不良反应的挖掘与预警的面向大数据的潜在药物不良反应数据挖掘方法。

本发明解决现有技术问题所采用的技术方案：一种面向大数据的潜在药物不良反应数据挖掘方法，其特征在于，该方法包括以下步骤：

A、抓取药物不良事件报告：在本地构建药物不良事件数据集，利用爬虫技术从已知的药物不良事件报告数据库中抓取包含有药名文本数据的药物不良事件报告，并以字符串形式存储于所述药物不良事件数据集中；所述药名文本数据为出现在药物不良事件报告的药名域中的文本数据。

B、对药物不良事件数据集的药物不良事件报告进行数据预处理；所述数据预处理过程包括以下步骤：

B1、药名文本数据规范化：利用正则表达式对所述药物不良事件报告中的药名文本数据进行规范化；

B2、生成候选药名片段：对于规范化后的药名文本数据中所包含有‘+’、‘-’、‘/’符号的药名文本，通过‘+’、‘-’、‘/’符号对药名文本进行切分，以形成候选药名片段；

B3、基于频率的候选药名片段去噪：

在步骤B2所形成的候选药名片段中所存在的无对应药名的文本数据，预设最小频率阈值，并将出现次数小于该阈值的药名片段从候选药名片段中过滤掉,得到药物名称列表；

C、药名标准化：利用生物医学命名实体识别技术，对药物名称列表中的药物名称进行药名标准化；药名标准化的具体方法为：通过利用MetaMap系统对药物名称列表进行生物医学实体识别，并将识别到的生物医学实体映射到UMLS的超级叙词表中形成不良反应药物列表(d1,d2,…,dm)和不良反应列表(a1,a2,…,an)；

D、过滤已知不良反应：对于步骤C得到的不良反应药物列表(d1,d2,…,dm)和不良反应列表(a1,a2,…,an)，在每份药物不良事件报告中，将不良反应药物列表中的药物di的已知不良反应aj从不良反应列表中去除，得到过滤后的不良反应列表(a1,a2,…,aj-1,aj+1,…,am)；

E、关联度计算：包括以下步骤：

E1、在已知的药物不良事件报告数据库中，统计不良事件药物列表中药物di出现的次数、不良反应aj出现的次数以及该药物di和不良反应aj的共现次数；

E2、计算药物di出现的情况下不良反应aj出现的条件概率p(aj|di)，和不良反应aj出现的情况下药物di出现的条件概率p(di|aj)；

$\begin{array}{c}p\left(a_j\right|d_i)=\frac{\mathrm{fre}(d_i,a_j)}{\mathrm{fre}\left(d_i\right)}\\ p\left(d_i\right|a_j)=\frac{\mathrm{fre}(d_i,a_j)}{\mathrm{fre}\left(a_j\right)}\end{array},$ 其中，fre(di)为药物di出现的次数，fre(aj)为不良反应aj出现的次数，fre(ai,dj)为药物di和不良反应aj的共现次数；

E3、关联度计算：利用双条件概率乘积法，计算药物di和不良反应aj的关联度：sim(di,aj)＝p(aj|di)*p(di|aj)；

F、关联度排序：对于药物di，根据步骤E3的药物和不良反应之间的关联度sim(di,aj)值，对所有的不良反应按照降序排列，取排列次序在前的不良反应作为药物di的潜在药物不良反应。

所述已知的药物不良事件报告数据库为公共开放数据集或电子病历。

在步骤B3中，预设最小频率阈值为100。

对于格式上无法存储在传统的关系数据库中的药物不良事件报告，利用格式解析工具将药物不良事件报告转化为字符串形式按行以文本文件的方式存储于药物不良事件数据集中。

本发明的有益效果在于：本发明具有以下特点：

(1)本发明可通用的在药物不良事件大数据集中识别潜在的药物不良反应，不局限于某类(些)药物或某类(些)不良反应；

(2)本发明通过过滤掉已知药物不良反应，有利于发现真正的潜在药物不良反应，有效的发现上市药物的安全隐患，提升用药者的健康水平；

(3)本发明可以对单个药物的潜在不良反应进行预测，还可以从全局出发，通过所有药物和不良反应的关联度，并根据关联度进行降序排序，从而可以得到最具可能性的药物和不良反应关系，进而向健康管理工作者提出药物安全警报。

附图说明

图1为本发明的总体流程图。

图2为一份药物与不良反应关系示意图。

图3为在图2基础上删除已知药物不良反应后的关系示意图。

具体实施方式

以下结合附图及具体实施方式对本发明进行说明：

图1为本发明一种面向大数据的潜在药物不良反应数据挖掘方法的总体流程图。如图1所示，一种面向大数据的潜在药物不良反应数据挖掘方法，该方法包括以下步骤：

A、抓取药物不良事件报告：在本地构建药物不良事件数据集，利用爬虫技术，从已知的药物不良事件报告数据库中抓取包含药名文本数据的药物不良事件报告，并存储于药物不良事件数据集中；药物不良事件报告是医务工作者或病人提交的、病人用药后出现的不良事件报告；药名文本数据为出现在药物不良事件报告的药名域中的文本数据；其中，已知的药物不良事件报告数据库优选电子病历或公共开放数据集，如美国食品药品监督管理局FDA(Food and DrugAdministration)的公共数据开放项目OpenFDA中开放的“药物不良反应事件报告”作为已知的药物不良事件报告数据库。本发明以OpenFDA作为已知的药物不良事件报告数据库对该方法进行说明。由于OpenFDA以JSON格式向外界提供数据，但JSON格式无法方便的存储在传统的关系数据库中。为了方便的存储和操作从OpenFDA抓取到的药物不良反应数据集，本发明使用JSON解析工具，将每份JSON格式的药物不良事件报告转化为一个字符串，并以在文本文件中按行存储的形式存储在本地构建的不良事件数据集中。即文本文件中，每一行为一份药物不良事件报告，而且每一行都是由JSON格式的数据转换后的字符串。

B、对药物不良事件数据集中的药物不良事件报告进行数据预处理；该预处理主要是针对药名的预处理。虽然药物不良事件报告多为格式化的数据，但每份报告中的“药名域”仍然是非结构的数据。为了准确的识别其中的药名，需要对其进行数据预处理：如OpenFDA虽然提供了格式化的药物不良事件报告，但药名部分仍然是非结构化的文本。医生或病人在提交不良事件报告时，在药名部分会书写药物的用法用量、药物别名等附加信息，然而这些附加信息对于潜在药物不良反应挖掘却是“噪音”。所以，进行数据清洗十分必要。

数据预处理过程包括以下步骤：

B1、药名文本数据规范化：利用正则表达式对所述药名文本数据进行规范化。药名文本数据规范化主要解决的是药名文本数据中的附加信息问题。本发明利用正则表达式技术，对药名文本进行规范化。表1给出了药名文本附加信息的具体例子，也给出了对应的正则表达式以及规范化结果。

表1 药名文本数据规范化

不良事件报告中的药名文本	正则表达式	规范化结果
			luprondepot3.75mg	\\d+\\.*\\d*[]*mg	luprondepot
plaquenil/00072602/	/\\d{8,}/	plaquenil
			humulin[insulinhuman]	\\[.+\\]*	humulin

fentanylpatch100mcg/hr	\\d+\\.*[\\d]+[]*mcg/hr	fentanylpatch
			tylenol(caplet)	\\(.+\\)*	tylenol
humulin70/30	\\d+/\\d+	humulin

B2、生成候选药名片段：对于规范化后的所述药名文本数据中所包含有‘+’、‘-’、‘/’符号的药名文本，通过‘+’、‘-’、‘/’符号对药名文本进行切分，以形成候选药名片段；

由于在很多情况下，不良事件报告提交者会把多种药物写在一起，并以‘+’、‘-’、‘/’等符号连接。本发明使用‘+’、‘-’、‘/’等符号对药名文本进行切分，形成候选药名片段。表2给出了切分药名片段的例子。

表2 切分药名候选片段

B3、基于频率的候选药名片段去噪：

在步骤B2所形成的候选药名片段中所存在的无对应药名的文本数据，预设最小频率阈值，并将出现次数小于该阈值的药名片段从候选药名片段中过滤掉从而得到药物名称列表；优选预设最小频率阈值为100。

C、药名标准化：利用生物医学命名实体识别技术，对药物名称列表中的药物名称进行药名标准化；药名标准化的具体方法为：通过利用MetaMap系统对经过步骤B3去噪后的得到的药物名称列表进行生物医学实体识别，并将识别到的生物医学实体映射到UMLS的超级叙词表中，并形成不良事件药物列表(d1,d2,…,dm)和不良事件列表(a1,a2,…,an)；

经过数据预处理过程，本发明可以得到药物名称列表。但是同种药物存在多种表达方式。表3给出两种药物分别存在多种表达方式的例子。两种药物在UMLS的超级叙词表中的CUI分别为C0031412和C0237417，但分别对应3种和2种不同的药名。优选的，本发明使用美国国家医学图书馆(The United StatesNational Library of Medicine,NLM)开发的MetaMap系统来完成对药物名称列表中药名的标准化。

表3 同一药物存在多种药名

药名	CUI
		phenobarbital	C0031412
phenobarbital tab	C0031412
		phenobarbitone	C0031412
phenytoin sodium	C0237417
		phenytoin sodium cap	C0237417

D、过滤已知不良反应：对于步骤C得到的不良事件药物列表(d1,d2,…,dm)和不良事件列表(a1,a2,…,an)，根据现有的生物医学本体，在每份药物不良事件报告中，将不良反应药物列表中的药物di的已知不良反应aj从不良反应列表中去除，得到过滤后的不良反应列表(a1,a2,…,aj-1,aj+1,…,am)；

图2所示为一份具体的药物不良事件报告的关系数据，该报告中包含4种药物和3种不良反应。理论上，该报告存在4*3＝12种药物和不良反应之间的关系，即在该报告中，每一种不良反应可能是由任一药物所引起的。但是，在药物不良事件数据库SIDER中已经存在carbamazepine导致completed suicide的记录，即已知药物carbamazepine会导致completed suicide的不良反应。因此其他3种药物引起completed suicide的可能性就会很低。本发明将这种已知的药物不良反应从报告中删除，即将completed suicide从记录中删除，但保留药物carbamazepine，因为carbamazepine仍然存在导致其他两种不良反应的可能性，如图3所示。

E、关联度计算：包括以下步骤：

E1、在已知的药物不良事件报告数据库中，统计不良反应药物列表中药物di出现的次数、不良反应aj出现的次数以及该药物di和不良反应aj的共现次数；分别以fre(di)、fre(aj)和fre(ai,dj)表示；

在本实施例中，假定药物为olanzapine。Olanzapine是一种精神类药物，适用于精神分裂症及其它有严重阳性症状和/或阴性症状的精神病的急性期和维持期的治疗，也可缓解精神分裂症及相关疾病的继发性情感症状。在整个数据集中，fre(olanzapine)＝6028。

E2、计算药物di出现的情况下不良反应aj出现的条件概率p(aj|di)，和不良反应aj出现的情况下药物di出现的条件概率p(di|aj)；

$\begin{array}{c}p\left(a_j\right|d_i)=\frac{\mathrm{fre}(d_i,a_j)}{\mathrm{fre}\left(d_i\right)}\\ p\left(d_i\right|a_j)=\frac{\mathrm{fre}(d_i,a_j)}{\mathrm{fre}\left(a_j\right)}\end{array},$ 其中，fre(di)为药物di出现的次数，fre(aj)为不良反应aj出现的次数，fre(ai,dj)为药物di和不良反应aj的共现次数；

E3、关联度计算：利用双条件概率乘积法，计算药物di和不良反应aj的关联度：sim(di,aj)＝p(aj|di)*p(di|aj)

F、关联度排序：对于药物di，根据步骤G的药物和不良反应之间的关联度sim(di,aj)值，对所有的不良反应按照降序排列，取排列次序在前的不良反应作为药物di的潜在药物不良反应。

例如，根据药物olanzapine(奥氮平)和不良反应之间的关联度降序排序，取关联度值排列在前5位所对应的olanzapine的潜在不良反应发现结果，如表4所示。

表4 olanzapine(奥氮平)潜在不良反应发现结果

经文献证实，olanzapine会诱导neuroleptic malignant syndrome(神经阻滞剂恶性综合征)的发生，olanzapine具有导致sudden cardiac death(心脏性猝死)的风险。

schizophrenia(精神分裂症)和psychotic disorder(精神性障碍)则是olanzapine的适应症，本发明将其识别为olanzapine的不良反应，则是由于不良事件报告的性质造成的。如果将该结果推荐给医护人员，医护人员则很容易的判定药物的适应症。而且，一定程度上，schizophrenia(精神分裂症)和psychotic disorder(精神性障碍)也说明了本发明可以有效的挖掘与olanzapine关联度最紧密的不良反应实体。

对于任何同等的数据集和药物，都可以使用本发明之方法。本发明可以准确向医护人员提出药品安全隐患，从而提升用药者的健康水平。

以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种面向大数据的潜在药物不良反应数据挖掘方法，其特征在于，该方法包括以下步骤：

A、抓取药物不良事件报告：在本地构建药物不良事件数据集，利用爬虫技术从已知的药物不良事件报告数据库中抓取包含有药名文本数据的药物不良事件报告，并以字符串形式存储于所述药物不良事件数据集中；所述药名文本数据为出现在药物不良事件报告的药名域中的文本数据；

 B、对药物不良事件数据集的药物不良事件报告进行数据预处理；所述数据预处理过程包括以下步骤：

B1、药名文本数据规范化：利用正则表达式对所述药物不良事件报告中的药名文本数据进行规范化；

B2、生成候选药名片段：对于规范化后的药名文本数据中所包含有‘+’、‘-’、‘/’符号的药名文本，通过 ‘+’、‘-’、‘/’符号对药名文本进行切分，以形成候选药名片段；

B3、基于频率的候选药名片段去噪：

在步骤B2所形成的候选药名片段中所存在的无对应药名的文本数据，预设最小频率阈值，并将出现次数小于该阈值的药名片段从候选药名片段中过滤掉,得到药物名称列表；

C、药名标准化：利用生物医学命名实体识别技术，对药物名称列表中的药物名称进行药名标准化；药名标准化的具体方法为：通过利用MetaMap系统对药物名称列表进行生物医学实体识别，并将识别到的生物医学实体映射到UMLS的超级叙词表中形成不良反应药物列表 (d1,d2,…, dm)和不良反应列表(a1,a2,…,an)；

D、过滤已知不良反应：对于步骤C得到的不良反应药物列表 (d1,d2,…, dm)和不良反应列表(a1,a2,…,an)，在每份药物不良事件报告中，将不良反应药物列表中的药物di的已知不良反应aj从不良反应列表中去除，得到过滤后的不良反应列表(a1,a2,…,aj-1,aj+1,…,am)；

E、关联度计算：包括以下步骤：

E1、在已知的药物不良事件报告数据库中，统计不良事件药物列表中药物di出现的次数、不良反应aj出现的次数以及该药物di和不良反应aj的共现次数；

E2、计算药物di出现的情况下不良反应aj出现的条件概率p(aj|di)，和不良反应aj出现的情况下药物di出现的条件概率p(di|aj)；

，其中，fre(di)为药物di出现的次数，fre(aj)为不良反应aj出现的次数，fre(ai,dj)为药物di和不良反应aj的共现次数；

E3、关联度计算：利用双条件概率乘积法，计算药物di和不良反应aj的关联度：sim(di,aj)=p(aj|di)*p(di|aj)；

F、关联度排序：对于药物di，根据步骤E3的药物和不良反应之间的关联度sim(di,aj)值，对所有的不良反应按照降序排列，取排列次序在前的不良反应作为药物di的潜在药物不良反应。

2.根据权利要求1所述的一种面向大数据的潜在药物不良反应数据挖掘方法，其特征在于，所述已知的药物不良事件报告数据库为公共开放数据集或电子病历。

3.根据权利要求1所述的一种面向大数据的潜在药物不良反应数据挖掘方法，其特征在于，在步骤B3中，预设最小频率阈值为100。

4.根据权利要求1所述的一种面向大数据的潜在药物不良反应数据挖掘方法，其特征在于，对于格式上无法存储在传统的关系数据库中的药物不良事件报告，利用格式解析工具将药物不良事件报告转化为字符串形式按行以文本文件的方式存储于药物不良事件数据集中。