CN115424696A - 一种基于迁移学习的中医罕见病中药处方生成方法和系统 - Google Patents
一种基于迁移学习的中医罕见病中药处方生成方法和系统 Download PDFInfo
- Publication number
- CN115424696A CN115424696A CN202211374618.5A CN202211374618A CN115424696A CN 115424696 A CN115424696 A CN 115424696A CN 202211374618 A CN202211374618 A CN 202211374618A CN 115424696 A CN115424696 A CN 115424696A
- Authority
- CN
- China
- Prior art keywords
- chinese medicine
- traditional chinese
- model
- knowledge
- prescription
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
Abstract
本发明公开了一种基于迁移学习的中医罕见病中药处方生成方法和系统,包括以下步骤:步骤S1:得到中医知识学习模型;步骤S2:基于多头自注意力机制的LSTM模型生成对应的中药名序列;步骤S3:得到中药剂量生成模型;步骤S4:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。本发明使用两段式迁移学习算法,以自建中医语料库为基础,训练中医领域的中医知识学习模型,使用中医临床罕见病例对中医知识学习模型进行修正。本方法模拟了中医医生的学习过程,其生成的中药处方也将更加契合患者的病情,充分利用了医生在临床诊疗过程中产生的经验性知识。
Description
技术领域
本发明涉及一种深度学习知识技术领域,尤其涉及一种基于迁移学习的中医罕见病中药处方生成方法和系统。
背景技术
在中医问诊过程中,医生需要根据患者的主诉从病、症两个角度进行分析,并根据中医理论望、闻、问、切四诊的信息,基于自身的专业知识和临床经验给出诊断结果并开具中药处方。由于中医学理论体系纷繁复杂,不同的中医医生接触并掌握的理论知识体系以及临床经验各不相同,导致中医诊疗过程较为依赖病人主诉和医生的主观判断。尤其在中医罕见病中,由于罕见病的临床案例极为稀缺,中医医生可参考的临床病例有限,临床治疗效果尚有提升空间。因此,研发中医罕见病中药处方生成系统,以人机交互的方式为中医医生提供辅助决策信息,是缓解上述现象的重要手段,同时也是促进中医智能化转型的一项重要举措。中医罕见病中药处方生成系统的目标是使用人工智能模型学习中医长久以来积累的治疗经验和医学理论,在临床诊疗过程中结合患者的临床症状信息,协助医生完成患者疾病/证候诊断,并生成治疗方案(即中医药处方)。通过上述方式,提高中医临床诊疗的效率和质量。
中药处方生成是中医临床诊疗中的重要组成部分,因此也是临床决策支持系统的一项重要功能。中药处方生成包含中药名和对应剂量两方面的推荐,目前的中药处方生成方法通常致力于中药名推荐,而忽视其剂量。现有的中药处方生成方法主要包括两类,第一类方法是基于机器学习算法,根据临床病例中患者的症状和病史构建相应的病理特征,然后将病理特征映射至药物特征,生成一组中药名,最终构建推荐的中药处方。其中常用的机器学习算法包括TextCNN、支持向量机和人工神经网络等。第二类方法是基于知识图谱的技术,将患者的症状集合视作一个群,即中医中的证候,并将证候信息与草药信息交互以输出不同症状适合的草药。现有的研究发现,可以通过构建患者临床症状和中草药关联的知识图谱,在知识图谱中构建推理路径以实现中药处方生成的功能。
现有技术存在以下缺点:
1.无法基于小样本得到准确的推荐效果。目前的研究采用的通常是基于seq2seq网络结构的模型,将中药处方生成任务当作由症状对应到中草药的任务。该类型的模型可以在中医临床病例数量充足的情况下达到良好的中药筛选任务效果。然而在现实环境中,由于医院对于患者数据安全的保护以及人工标注样本的低效率,实际的训练样本数量对于复杂的深度学习模型来说还不够充分。因此,这类模型在实际临床诊断中通常会出现各种问题,尤其是在样本稀缺的中医罕见病临床实践中。
2.现有模型无法学习以非结构化文本形式存在的中医知识。现有的方法普遍从结构化数据(即,人工标注的电子病历)中提取病人的症状信息,并通过机器学习的方法对症状序列/集合进行编码,再通过解码器对其进行解码生成中药处方。然而,这类方法对于数据的格式、质量和数量要求较高,且忽略了大量中医书籍和文献中记载的中医病例和中医理论知识。因此,模型对临床病例的建模能力和效率相对有限,其直观表现为模型在临床病例较少的场景中(如:罕见病场景)其准确率、召回率和F1值较低。
3.现有的中药处方生成方法无中药剂量。现有的中药方关注的是中药的推荐,在生成一组中药名后,即完成中药处方的生成并推荐给中医医生,每味中药剂量由医生确定。然而在临床实践中,剂量对中药的疗效有着不可忽视的作用,剂量过多或过少都将影响中药处方的疗效。中药名的推荐属于分类问题,而中药剂量的推荐属于回归问题,且理论上剂量可以是任意数值,因此建模难度较大,鉴于此,目前的主流方法通常忽略中药剂量的建模部分。
为此,我们提出一种基于迁移学习的中医罕见病中药处方生成方法和系统。
发明内容
本发明为了解决上述技术问题,提供一种基于迁移学习的中医罕见病中药处方生成方法和系统。
本发明采用的技术方案如下:
一种基于迁移学习的中医罕见病中药处方生成系统,包括:
拟人式中医知识学习模块:用于从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
中医临床罕见病处方生成模块:用于利用所述中医知识学习模型将中医临床罕见病例中患者病史、医学体征和患者主诉等信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
中药剂量生成模块:用于对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型,并将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
进一步地,所述拟人式中医知识学习模块的具体功能流程包括以下步骤:
步骤S11:通过自然语言处理方法对中医书籍或/和文献资料中的文本数据进行数据清洗,得到非结构化中医语料库;
步骤S12:从所述非结构化中医语料库抽取完整连续的、分词后的语句,构建长度上限为预设值的中医知识样本;
步骤S13:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,将所述掩码后的中医知识样本作为训练样本输入,所述掩码词的集合作为预测目标,通过所述RoBERTa模型输出中医知识样本中对应的掩码词的预测值;
步骤S14:将所述中医知识样本对应的掩码词与所述中医知识样本对应的掩码词的预测值计算交叉熵损失,并利用所述交叉熵损失优化所述RoBERTa模型,得到中医知识学习模型。
进一步地,所述步骤S11中所述自然语言处理方法包括对所述文本数据中的字符进行全角-半角转换、删除无效字符、将繁体字转换为简体字、去除停用词并将文本中与病例相关的句子删除。
进一步地,所述步骤S13具体包括以下子步骤:
步骤S131:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,对所述掩码后的中医知识样本分别计算对应的词向量、块向量和位置向量;
步骤S132:将所述词向量、所述块向量和所述位置向量转换成由相同维度向量组成的语句矩阵;
步骤S133:将所述语句矩阵输入所述RoBERTa模型中的文本语义特征抽取模块,经过计算,得到由所述文本语义特征抽取模块最后一层输出的中间语义表征;
步骤S134:所述词向量通过所述RoBERTa模型中的掩码词预测模块将所述中间语义表征映射到词表空间,得到所述中医知识样本的掩码词位置对应的词表上的概率分布,基于所述概率分布得到中医知识样本对应的掩码词的预测值。
进一步地,所述中医临床罕见病处方生成模块的具体功能流程包括以下步骤:
步骤S21:通过自然语言处理方法提取中医临床罕见病例中的病史信息、病人主诉信息和医学体征信息,构建对应的病史信息序列、病人主诉信息序列和医学体征信息序列;
步骤S22:基于多头自注意力机制,将所述病史信息序列、病人主诉信息序列和医学体征信息序列利用所述中医知识学习模型中对应的文本语义特征抽取模块生成表征,得到病史信息表征、病人主诉信息表征和医学体征信息表征;
步骤S23:将所述步骤S22中的三类表征利用池化操作进行融合,并生成中药表征;
步骤S24:将所述中药表征输入至LSTM模型,输出中药名序列。
进一步地,所述中药剂量生成模块的具体功能流程包括以下步骤:
步骤S31:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行预处理,得到预处理特征数据集,对所述预处理特征数据集中的连续型变量进行分段处理,对所述预处理特征数据集中的其他非连续型变量进行类别划分,得到分组,将所述分组后的全部变量合并,构建特征数据集;
步骤S32:将所述特征数据集作为模型的输入,对模型进行训练并使用网格搜索对模型进行调参,采用K折交叉验证的方式优化模型,得到中药剂量生成模型。
进一步地,所述步骤S31中所述预处理包括文本信息抽取、数据分组、数据标准化、数据去重、缺失值处理和/或异常值处理;
进一步地,所述步骤S32中对模型的训练为采用CART回归树算法。
步骤S33:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
本发明还提供一种基于迁移学习的中医罕见病中药处方生成方法,包括以下步骤:
步骤S1:从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
步骤S2:利用所述中医知识学习模型对中医临床罕见病例中的患者病史、医学体征和主诉信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
步骤S3:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型;
步骤S4:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。。
本发明的有益效果是:
1、本发明使用两段式迁移学习算法,以自建中医语料库为基础,训练中医领域的中医知识学习模型,使中医知识学习模型从中医书籍中学习有关“整体论”、“辨证论治”、“标本兼治”等中医原则,并以其为核心指导提取症状群辩证、证候诊断、症状-中药相互作用关系等复杂中医知识,进而与患者病例中的信息联合,使用中医临床罕见病例对中医知识学习模型进行修正,充分利用了医生在临床诊疗过程中产生的经验性知识,完成疾病诊断和药物推荐。这样的拟人式方法(先学习书籍,再实践临床病例)模拟了中医医生的学习过程,对于中医学知识的建模和学习将更高效,其生成的中药处方也将更加契合患者的病情。
2、基于CART回归树算法对筛选后的中药名和病例中的患者体征等信息进行回归,生成推荐的中药剂量。现有的中药方生成技术普遍采用默认的中药剂量,忽略了显著的外界因素可能对中药疗效产生的影响。本专利提出的方法可根据患者的个体差异、地域区别以及不同季节等因素,实现更为精准和个性化的中药剂量推荐。
3、本发明针对中医临床罕见病,设计了小样本训练方法,使得模型对于标注样本的依赖性大幅降低;
4、本发明设计了联合使用中医理论知识和患者病例数据的算法,通过综合考虑患者的证候,以及症状-药物之间的作用关系,并且使用患者的诊疗数据对模型进行修正,使得中药筛选任务结果有良好的准确率;
5、本发明针对不同的中药,设计了基于患者体征、地域气候、季节和中药药性等信息的中药剂量推荐方法,使得推荐的中药剂量更契合患者的身体情况。
附图说明
图1为本发明一种基于迁移学习的中医罕见病中药处方生成方法的流程示意图;
图2为本发明一种基于迁移学习的中医罕见病中药处方生成系统的结构示意图;
图3为本实施例中医知识学习模型的构建示意图;
图4为本实施例生成融合表征的示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,一种基于迁移学习的中医罕见病中药处方生成方法,包括以下步骤:
步骤S1:从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
步骤S2:利用所述中医知识学习模型对中医临床罕见病例中的患者病史、医学体征和主诉信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
步骤S3:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型;
步骤S4:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
参见图2,一种基于迁移学习的中医罕见病中药处方生成系统,包括:
拟人式中医知识学习模块:用于从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
所述拟人式中医知识学习模块的具体功能流程包括以下步骤:
步骤S11:通过自然语言处理方法对中医书籍或/和文献资料中的文本数据进行数据清洗,得到非结构化中医语料库;
所述步骤S11中所述自然语言处理方法包括对所述文本数据中的字符进行全角-半角转换、删除无效字符、将繁体字转换为简体字、去除停用词并将文本中与病例相关的句子删除。
步骤S12:从所述非结构化中医语料库抽取完整连续的、分词后的语句,构建长度上限为预设值的中医知识样本;
步骤S13:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,将所述掩码后的中医知识样本作为训练样本输入,所述掩码词的集合作为预测目标,通过所述RoBERTa模型输出中医知识样本中对应的掩码词的预测值;
所述步骤S13具体包括以下子步骤:
步骤S131:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,对所述掩码后的中医知识样本分别计算对应的词向量、块向量和位置向量;
步骤S132:将所述词向量、所述块向量和所述位置向量转换成由相同维度向量组成的语句矩阵;
步骤S133:将所述语句矩阵输入所述RoBERTa模型中的文本语义特征抽取模块,经过计算,得到由所述文本语义特征抽取模块最后一层输出的中间语义表征;
步骤S134:所述词向量通过所述RoBERTa模型中的掩码词预测模块将所述中间语义表征映射到词表空间,得到所述中医知识样本的掩码词位置对应的词表上的概率分布,基于所述概率分布得到中医知识样本对应的掩码词的预测值。
步骤S14:将所述中医知识样本对应的掩码词与所述中医知识样本对应的掩码词的预测值计算交叉熵损失,并利用所述交叉熵损失优化所述RoBERTa模型,得到中医知识学习模型。
中医临床罕见病处方生成模块:用于利用所述中医知识学习模型将中医临床罕见病例中患者病史、医学体征和患者主诉等信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
所述中医临床罕见病处方生成模块的具体功能流程包括以下步骤:
步骤S21:通过自然语言处理方法提取中医临床罕见病例中的病史信息、病人主诉信息和医学体征信息,构建对应的病史信息序列、病人主诉信息序列和医学体征信息序列;
步骤S22:基于多头自注意力机制,将所述病史信息序列、病人主诉信息序列和医学体征信息序列利用所述中医知识学习模型中对应的文本语义特征抽取模块生成表征,得到病史信息表征、病人主诉信息表征和医学体征信息表征;
步骤S23:将所述步骤S22中的三类表征利用池化操作进行融合,并生成中药表征;
步骤S24:将所述中药表征输入至LSTM模型,输出中药名序列。
中药剂量生成模块:用于对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型,并将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方;
所述中药剂量生成模块的具体功能流程包括以下步骤:
步骤S31:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行预处理,得到预处理特征数据集,对所述预处理特征数据集中的连续型变量进行分段处理,对所述预处理特征数据集中的其他非连续型变量进行类别划分,得到分组,将所述分组后的全部变量合并,构建特征数据集;
所述步骤S31中所述预处理包括文本信息抽取、数据分组、数据标准化、数据去重、缺失值处理和/或异常值处理。
步骤S32:将所述特征数据集作为模型的输入,对模型进行训练并使用网格搜索对模型进行调参,采用K折交叉验证的方式优化模型,得到中药剂量生成模型;
所述步骤S32中对模型的训练为采用CART回归树算法。
步骤S33:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
实施例:一种基于迁移学习的中医罕见病中药处方生成系统,包括:
拟人式中医知识学习模块:用于从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
所述拟人式中医知识学习模块的具体功能流程包括以下步骤:
步骤S11:通过自然语言处理方法对中医书籍或/和文献资料中的文本数据进行数据清洗,得到非结构化中医语料库;
所述自然语言处理方法包括对所述文本数据中的字符进行全角-半角转换、删除无效字符、将繁体字转换为简体字、去除停用词并将文本中与病例相关的句子删除;
步骤S12:从所述非结构化中医语料库抽取完整连续的、分词后的语句,构建长度上限为预设值的中医知识样本;
从非结构化中医语料库中抽取一组完整连续的、分词后的语句,构建长度上限为512的中医知识样本。当到达文档的末端时,将继续从下一个文档抽取句子并添加一个特殊分隔符号【SEP】表示文档边界;
步骤S13:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,将所述掩码后的中医知识样本作为训练样本输入,所述掩码词的集合作为预测目标,通过所述RoBERTa模型输出中医知识样本中对应的掩码词的预测值;
步骤S131:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,对所述掩码后的中医知识样本分别计算对应的词向量、块向量和位置向量;
输入的中医知识样本表示为:
表示可训练的位置向量矩阵,L表示最大位置长度,e表示位置向量维度;
步骤S132:将所述词向量、所述块向量和所述位置向量转换成由相同维度向量组成的语句矩阵;
公式(2)和(3)中的动态掩码和语句表征函数对于本方法是不可知的,在任意实施例中可以根据自身需要进行替换。
步骤S133:将所述语句矩阵输入所述RoBERTa模型中的文本语义特征抽取模块,经过计算,得到由所述文本语义特征抽取模块最后一层输出的中间语义表征;
在文本语义特征抽取模块中,输入表征v经过N层transformer,借助自注意力机制,如图3所示,充分学习文本中的每个词之间的语义关联,得到最后一层transformer输出的中间语义表征contextv,其中transformer的计算方式如下所示:
经过动态掩码处理后的中医知识样本表征v输入至公式(7)的多头自注意力模块当中,由公式(8)中的每个注意力分支(headi)生成特定的局部语义单元,将多个局部语义单元进行拼接,生成中医知识样本中间表征。然后,将该中间表征输入至公式(6)中,得到一个transformer产生的语义表征。公式(5)代表多个transformer堆叠的过程,最终得到contextv。在公式(5)的计算过程中,第一层的transformer的输入是中医知识样本表征v,其后N-1个transformer的输入为前一层transformer的输出。
其中,W*,b*为文本语义特征抽取模块和掩码词预测模块的可学习参数,MLP为多层感知机,MultiHead_SelfAttn表示多头自注意力机制,concat表示将多头拼接为一个向量,headi表示多头自注意力机制中的某一个头,attn是自注意力的计算方式,Q(查询), K(键), V(值)为多头自注意力机制的输入矩阵,Wi Q、Wi K、Wi V表示第i个子空间的映射矩阵,dk表示向量K的维度。Q,K,V矩阵均经过随机初始化,然后通过h个不同的线性变化将输入向量映射到不同的子空间。基于对Q与K的点乘计算可得到每个源词语对应到目标词语的权重,再采用这个关系权重对V(value)进行加权求和,以提升一个序列中相关元素的权重,降低不相关元素的权重,最后再经过softmax函数将自注意力分数归一化。
步骤S134:所述词向量通过所述RoBERTa模型中的掩码词预测模块将所述中间语义表征映射到词表空间,得到所述中医知识样本的掩码词位置对应的词表上的概率分布,基于所述概率分布得到中医知识样本对应的掩码词的预测值;
在掩码词预测模块中,通过词向量Ut将所述中间语义表征映射到词表空间,通过以下公式计算所述中医知识样本的掩码词位置对应的词表上的概率分布Pi:
步骤S14:将所述中医知识样本对应的掩码词与所述中医知识样本对应的掩码词的预测值计算交叉熵损失,并利用所述交叉熵损失优化所述RoBERTa模型,得到中医知识学习模型。
最后,在得到中医知识样本的被掩码位置的词对应的概率分布P后,根据labeli在词表中对应的位置,在生成的词表概率分布Pi中找到其概率值,并与中医知识样本的掩码词计算交叉熵损失,学习模型参数。
其中labeli是中医知识样本的掩码词位置对应的原词,Pi是RoBERTa模型输出的中医知识样本的掩码的预测词。
中医临床罕见病处方生成模块:用于利用所述中医知识学习模型将中医临床罕见病例中患者病史、医学体征和患者主诉等信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;所述多头自注意力机制为Multi-Head Self-Attention;
所述中医临床罕见病处方生成模块的具体功能流程包括以下步骤:
步骤S21:通过自然语言处理方法提取中医临床罕见病例中的病史信息、病人主诉信息和医学体征信息,构建对应的病史信息序列、病人主诉信息序列和医学体征信息序列;
步骤S22:基于多头自注意力机制,将所述病史信息序列、病人主诉信息序列和医学体征信息序列利用所述中医知识学习模型中对应的文本语义特征抽取模块生成表征,得到病史信息表征、病人主诉信息表征和医学体征信息表征;
如图4所示,提取中医知识学习模型中的文本语义特征抽取模块,以中医临床罕见病例中的病史信息序列、病人主诉信息序列和医学体征信息序列为输入,经过中医知识学习模型中的文本语义特征抽取模块得到这三类病例要素的表征。计算方法如下:
步骤S23:将所述步骤S22中的三类表征利用池化操作进行融合,并生成中药表征;
其中,Multihead_selfAttn表示自注意力机制,W1、Wm、Wn为待学习参数。
然后使用加权求和的方式,结合上述方式得到的权重对病史信息表征、病人主诉信息表征和医学体征信息表征进行融合,计算公式如下:
步骤S24:将所述中药表征输入至LSTM模型,输出中药名序列;
融合表征以及t-1步骤LSTM输出的最后一层的隐藏状态ht-1和t-1步骤输出的一味中药名yt-1,采用池化pooling的方式计算中药的表征xt。具体计算过程如下:
本实施例中采用的是average pooling操作构建中药表征xt。
将得到的中药表征xt输入LSTM,输出第t味中药yt,具体计算过程如下:
其中, 表示逐元素对应相乘,即阿达马乘;Wx,Vy和bx为待学习的参数; ct-1表示t-1时刻的隐藏细胞状态,yt-1表示t-1时刻输出的重要。在输入维度为d,隐层维度为h的LSTM网络中,各个变量的维度如下:
代表门的向量计算公式如下:
中药剂量生成模块:用于对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型,并将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
所述中药剂量生成模块的具体功能流程包括以下步骤:
步骤S31:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行预处理,得到预处理特征数据集,对所述预处理特征数据集中的连续型变量进行分段处理,对所述预处理特征数据集中的其他非连续型变量进行类别划分,得到分组,将所述分组后的全部变量合并,构建特征数据集;
首先,使用从患者病例中提取人口统计学数据,包括患者的年龄、性别、体重等信息。从系统中提取地域气候、季节信息和中药药性并根据这三类信息设置中药默认剂量。其次,提取中药处方中的中药名以及中药处方中药物对应的功效信息。 然后,对上述数据进行数据清洗,步骤包括使用正则表达式进行文本信息抽取、数据分组、数据标准化、数据去重、缺失值处理和异常值处理。
对连续型变量进行分段处理。对于患者的年龄,按照1-6岁为幼童,7-18岁为少年,19-29岁为青年,30-39岁为中青年组,40-49岁为中年组和50岁以上为中老年组,共划分为五个年龄组。按照人体的体重(千克)/身高的平方(平方米)计算体重指数,根据体重指数小于18.5的为偏瘦,体重指数在25-29.9之间为超重,体重指数大于等于30为肥胖的标准对体重进行分组。对其他非连续型变量进行类别划分,其中对于季节,按照春、夏、秋、冬进行分组;对于地域,按照自然地理区别划分为东北地区、华东地区、华北地区、华中地区、华南地区、西南地区、西北地区。最后,将分组后的全部变量合并,构建特征数据集。
步骤S32:将所述特征数据集作为模型的输入,对模型进行训练并使用网格搜索对模型进行调参,采用K折交叉验证的方式优化模型,得到中药剂量生成模型。
以中药处方中的剂量作为目标变量,所述特征数据集作为输入,采用CART回归树算法构建中药剂量生成模型。模型训练过程中使用网格搜索对模型进行调参,并采用K折交叉验证的方式优化模型。CART回归树算法的计算过程如下:
上式中,xdose为特征数据集输入值,为示性函数。在确认了划分空间后,根据特征数据集计算平方误差,然后在最小化平方误差的基础上求解每个单元的最优输出。回归树在对输入空间进行划分时,会对变量的所有值进行遍历,以此找到当前最优的切分变量j和最优切分点s,最终的目标函数如下:
其中,R1和Rk为切分后的两个区域,c1和ck为两个区间样本对应的均值。
在模型的训练过程中,使用网格搜索对模型进行调参,并采用K折交叉验证的方式避免模型过拟合。本实施例中,使用的是十折交叉验证,即将数据集分为十等份,按顺序将其中一份作为测试集,剩余九份作为训练集构建模型,采用测试集计算模型效果,最终模型效果以每一个评价指标的均值为准。本实施例中,模型的评价指标为R2、MSE和RMSE。
步骤S33:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,包括:
拟人式中医知识学习模块:用于从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
中医临床罕见病处方生成模块:用于利用所述中医知识学习模型将中医临床罕见病例中患者病史、医学体征和患者主诉等信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
中药剂量生成模块:用于对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型,并将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
2.如权利要求1所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述拟人式中医知识学习模块的具体功能流程包括以下步骤:
步骤S11:通过自然语言处理方法对中医书籍或/和文献资料中的文本数据进行数据清洗,得到非结构化中医语料库;
步骤S12:从所述非结构化中医语料库抽取完整连续的、分词后的语句,构建长度上限为预设值的中医知识样本;
步骤S13:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,将所述掩码后的中医知识样本作为训练样本输入,所述掩码词的集合作为预测目标,通过所述RoBERTa模型输出中医知识样本中对应的掩码词的预测值;
步骤S14:将所述中医知识样本对应的掩码词与所述中医知识样本对应的掩码词的预测值计算交叉熵损失,并利用所述交叉熵损失优化所述RoBERTa模型,得到中医知识学习模型。
3.如权利要求2所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述步骤S11中所述自然语言处理方法包括对所述文本数据中的字符进行全角-半角转换、删除无效字符、将繁体字转换为简体字、去除停用词并将文本中与病例相关的句子删除。
4.如权利要求2所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述步骤S13具体包括以下子步骤:
步骤S131:使用RoBERTa模型中的掩码工具对所述中医知识样本进行动态掩码,得到经过掩码后的中医知识样本,以及每个所述中医知识样本对应的掩码词的集合,对所述掩码后的中医知识样本分别计算对应的词向量、块向量和位置向量;
步骤S132:将所述词向量、所述块向量和所述位置向量转换成由相同维度向量组成的语句矩阵;
步骤S133:将所述语句矩阵输入所述RoBERTa模型中的文本语义特征抽取模块,经过计算,得到由所述文本语义特征抽取模块最后一层输出的中间语义表征;
步骤S134:所述词向量通过所述RoBERTa模型中的掩码词预测模块将所述中间语义表征映射到词表空间,得到所述中医知识样本的掩码词位置对应的词表上的概率分布,基于所述概率分布得到中医知识样本对应的掩码词的预测值。
5.如权利要求1所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述中医临床罕见病处方生成模块的具体功能流程包括以下步骤:
步骤S21:通过自然语言处理方法提取中医临床罕见病例中的病史信息、病人主诉信息和医学体征信息,构建对应的病史信息序列、病人主诉信息序列和医学体征信息序列;
步骤S22:基于多头自注意力机制,将所述病史信息序列、病人主诉信息序列和医学体征信息序列利用所述中医知识学习模型中对应的文本语义特征抽取模块生成表征,得到病史信息表征、病人主诉信息表征和医学体征信息表征;
步骤S23:将所述步骤S22中的三类表征利用池化操作进行融合,并生成中药表征;
步骤S24:将所述中药表征输入至LSTM模型,输出中药名序列。
6.如权利要求1所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述中药剂量生成模块的具体功能流程包括以下步骤:
步骤S31:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行预处理,得到预处理特征数据集,对所述预处理特征数据集中的连续型变量进行分段处理,对所述预处理特征数据集中的其他非连续型变量进行类别划分,得到分组,将所述分组后的全部变量合并,构建特征数据集;
步骤S32:将所述特征数据集作为模型的输入,对模型进行训练并使用网格搜索对模型进行调参,采用K折交叉验证的方式优化模型,得到中药剂量生成模型;
步骤S33:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
7.如权利要求6所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述步骤S31中所述预处理包括文本信息抽取、数据分组、数据标准化、数据去重、缺失值处理和/或异常值处理。
8.如权利要求6所述的一种基于迁移学习的中医罕见病中药处方生成系统,其特征在于,所述步骤S32中对模型的训练为采用CART回归树算法。
9.一种基于迁移学习的中医罕见病中药处方生成方法,其特征在于,包括以下步骤:
步骤S1:从中医书籍或/和文献中提取中医知识样本,并利用所述中医知识样本使用RoBERTa模型进行建模,得到中医知识学习模型;
步骤S2:利用所述中医知识学习模型对中医临床罕见病例中的患者病史、医学体征和主诉信息进行表征生成,利用池化操作融合所述表征,得到中药表征,并将所述中药表征利用基于多头自注意力机制的LSTM模型生成对应的中药名序列;
步骤S3:对中药处方中的中药名、中药处方中药物对应的功效信息和人口统计学数据进行处理得到特征数据集,将所述特征数据集作为模型的输入,对模型进行训练,得到中药剂量生成模型;
步骤S4:将所述中药名序列和所述特征数据集合并作为所述中药剂量生成模型的输入,依次生成每味中药推荐的剂量,最终生成完整的中药处方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211374618.5A CN115424696B (zh) | 2022-11-04 | 2022-11-04 | 一种基于迁移学习的中医罕见病中药处方生成方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211374618.5A CN115424696B (zh) | 2022-11-04 | 2022-11-04 | 一种基于迁移学习的中医罕见病中药处方生成方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115424696A true CN115424696A (zh) | 2022-12-02 |
CN115424696B CN115424696B (zh) | 2023-02-03 |
Family
ID=84208084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211374618.5A Active CN115424696B (zh) | 2022-11-04 | 2022-11-04 | 一种基于迁移学习的中医罕见病中药处方生成方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424696B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189843A (zh) * | 2023-04-23 | 2023-05-30 | 索思(苏州)医疗科技有限公司 | 治疗方案推荐方法、装置、系统及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050288966A1 (en) * | 2003-12-24 | 2005-12-29 | Robert Young | System and method for collecting diagnosis and prescription drug information |
TW201040756A (en) * | 2009-05-14 | 2010-11-16 | Heng-Hong Zhang | Chinese medicine intelligent formulary system |
US20150356272A1 (en) * | 2014-06-10 | 2015-12-10 | Taipei Medical University | Prescription analysis system and method for applying probabilistic model based on medical big data |
WO2016128636A1 (fr) * | 2015-02-12 | 2016-08-18 | Voluntis | Prescription sécurisée d'un dispositif médical logiciel |
CN108984811A (zh) * | 2017-06-05 | 2018-12-11 | 欧阳德方 | 一种药物制剂处方虚拟设计及评估的方法和系统 |
CN109166619A (zh) * | 2018-07-20 | 2019-01-08 | 上海溯斋网络科技有限公司 | 基于神经网络算法的中医智能诊断辅助系统及方法 |
CN111312356A (zh) * | 2020-01-17 | 2020-06-19 | 四川大学 | 一种基于bert和融入功效信息的中药处方生成方法 |
CN111916169A (zh) * | 2020-06-29 | 2020-11-10 | 南京大经中医药信息技术有限公司 | 一种中医电子病历结构化方法和终端 |
WO2020245727A1 (en) * | 2019-06-02 | 2020-12-10 | Predicta Med Analytics Ltd. | A method of evaluating autoimmune disease risk and treatment selection |
CN112420191A (zh) * | 2020-11-23 | 2021-02-26 | 北京麦岐科技有限责任公司 | 一种中医辅助决策系统及方法 |
CN113077873A (zh) * | 2021-05-06 | 2021-07-06 | 井颐医疗信息技术(杭州)有限公司 | 一种中医临床决策支持系统及方法 |
WO2021247557A1 (en) * | 2020-06-01 | 2021-12-09 | Byonyks Medical Devices, Inc. | Artificial intelligence and/or machine learning based systems, devices, and methods for designing patient prescriptions |
-
2022
- 2022-11-04 CN CN202211374618.5A patent/CN115424696B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050288966A1 (en) * | 2003-12-24 | 2005-12-29 | Robert Young | System and method for collecting diagnosis and prescription drug information |
TW201040756A (en) * | 2009-05-14 | 2010-11-16 | Heng-Hong Zhang | Chinese medicine intelligent formulary system |
US20150356272A1 (en) * | 2014-06-10 | 2015-12-10 | Taipei Medical University | Prescription analysis system and method for applying probabilistic model based on medical big data |
WO2016128636A1 (fr) * | 2015-02-12 | 2016-08-18 | Voluntis | Prescription sécurisée d'un dispositif médical logiciel |
CN108984811A (zh) * | 2017-06-05 | 2018-12-11 | 欧阳德方 | 一种药物制剂处方虚拟设计及评估的方法和系统 |
CN109166619A (zh) * | 2018-07-20 | 2019-01-08 | 上海溯斋网络科技有限公司 | 基于神经网络算法的中医智能诊断辅助系统及方法 |
WO2020245727A1 (en) * | 2019-06-02 | 2020-12-10 | Predicta Med Analytics Ltd. | A method of evaluating autoimmune disease risk and treatment selection |
CN111312356A (zh) * | 2020-01-17 | 2020-06-19 | 四川大学 | 一种基于bert和融入功效信息的中药处方生成方法 |
WO2021247557A1 (en) * | 2020-06-01 | 2021-12-09 | Byonyks Medical Devices, Inc. | Artificial intelligence and/or machine learning based systems, devices, and methods for designing patient prescriptions |
CN111916169A (zh) * | 2020-06-29 | 2020-11-10 | 南京大经中医药信息技术有限公司 | 一种中医电子病历结构化方法和终端 |
CN112420191A (zh) * | 2020-11-23 | 2021-02-26 | 北京麦岐科技有限责任公司 | 一种中医辅助决策系统及方法 |
CN113077873A (zh) * | 2021-05-06 | 2021-07-06 | 井颐医疗信息技术(杭州)有限公司 | 一种中医临床决策支持系统及方法 |
Non-Patent Citations (4)
Title |
---|
YUYANG XU等: "Time-aware Context-Gated Graph Attention Network for Clinical Risk Prediction", 《 IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》 * |
何雄: "基于真实世界临床数据的中医动态诊疗方案推荐方法研究", 《中国优秀硕士学位论文全文数据库》 * |
祁明浩等: "基于无尺度网络法的4116张胃癌中医处方研究", 《世界科学技术-中医药现代化》 * |
靳远远: "基于图神经网络的中医药方推荐技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189843A (zh) * | 2023-04-23 | 2023-05-30 | 索思(苏州)医疗科技有限公司 | 治疗方案推荐方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115424696B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111192680B (zh) | 一种基于深度学习和集成分类的智能辅助诊断方法 | |
CN107863147B (zh) | 基于深度卷积神经网络的医疗诊断的方法 | |
CN107016438B (zh) | 一种基于中医辨证人工神经网络算法模型的系统 | |
CN107577826A (zh) | 基于原始诊断数据的疾病分类编码方法及系统 | |
CN107705839A (zh) | 疾病自动编码方法及系统 | |
WO2022166361A1 (zh) | 一种基于跨模态融合的深度聚类方法及系统 | |
CN110413785A (zh) | 一种基于bert和特征融合的文本自动分类方法 | |
CN110010248B (zh) | 一种基于代价敏感集成学习模型的再入院风险预测方法 | |
CN107731269A (zh) | 基于原始诊断数据和病历文件数据的疾病编码方法及系统 | |
CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
CN109949929A (zh) | 一种基于深度学习大规模病历的辅助诊断系统 | |
CN111709575A (zh) | 基于c-lstm的学业成绩预测方法 | |
CN111798954A (zh) | 基于时间注意力机制和图卷积网络的药物组合推荐方法 | |
CN110413768A (zh) | 一种文章题目自动生成方法 | |
CN116383364B (zh) | 一种基于医生反馈与强化学习的医疗问答回复方法及系统 | |
CN115424696B (zh) | 一种基于迁移学习的中医罕见病中药处方生成方法和系统 | |
CN116092699A (zh) | 一种基于预训练模型的癌症问答交互方法 | |
CN116910172A (zh) | 基于人工智能的随访量表生成方法及系统 | |
CN113539412B (zh) | 基于深度学习的中草药推荐系统 | |
CN116052858A (zh) | 一种基于bert和特征融合的智能导诊方法 | |
CN116680412A (zh) | 一种基于知识图谱的中医处方推荐方法 | |
CN115171842A (zh) | 基于证候信息的图神经网络中药推荐方法 | |
CN113468874B (zh) | 一种基于图卷积自编码的生物医学关系抽取方法 | |
CN116738992A (zh) | 基于图注意力网络和字词融合的医疗命名实体识别方法 | |
CN116257786A (zh) | 一种基于多元时序图结构的异步时间序列分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |