CN115859990A - 基于元学习的信息抽取方法、装置、设备及介质 - Google Patents
基于元学习的信息抽取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115859990A CN115859990A CN202310126105.0A CN202310126105A CN115859990A CN 115859990 A CN115859990 A CN 115859990A CN 202310126105 A CN202310126105 A CN 202310126105A CN 115859990 A CN115859990 A CN 115859990A
- Authority
- CN
- China
- Prior art keywords
- model
- meta
- parameters
- target
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 79
- 238000003745 diagnosis Methods 0.000 claims abstract description 96
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 abstract description 29
- 239000003814 drug Substances 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 208000005171 Dysmenorrhea Diseases 0.000 description 1
- 206010013935 Dysmenorrhoea Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 241000411851 herbal medicine Species 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种基于元学习的信息抽取方法、装置、设备及介质，涉及计算机技术领域，包括：建立元模型，基于元模型的初始参数确定基模型的初始参数得到初始元学习模型；设置任务目标函数，对基模型的初始参数进行梯度更新得到基模型的目标参数；对基模型的目标参数进行加权平均计算得到平均后目标参数，基于第二参数更新逻辑和平均后目标参数对元模型的初始参数进行更新得到元模型的目标参数；基于基模型的目标参数和元模型的目标参数得到目标元学习模型获取与目标对象对应的舌诊诊断数据；利用目标元学习模型对舌诊诊断数据进行信息抽取得到结构化的目标诊断数据。能够利用少量的中医舌诊医案中历史诊断数据完成高效的信息抽取。
Description
技术领域
本发明涉及计算机技术领域，特别涉及基于元学习的信息抽取方法、装置、设备及介质。
背景技术
舌诊是中医医疗诊断疾病的重要手段，中医舌诊医案的信息抽取技术，有助于在中医舌象问诊系统搭建、中医舌诊知识图谱构建、舌诊相关疾病辅助推理，提供舌诊相关领域的知识收集和工具的高效使用。如何将舌诊诊断医案结构化，并提取有效关键信息并作为一个独立的数据单元，已经成为目前的研究热点，尤其是在线下、线上医疗诊断系统，智能问诊、预诊助理已经成为热门研究领域。中医舌诊医案以文本数据为主要数据源，以自然语言处理技术（Natural Language Processing，即NLP）为主要技术手段，实现医案中关系信息的抽取，例如用户基本信息、用户症状、汤药名、中草药名等，例如实体抽取、关系抽取等，使用上述NLP技术通常是以深度学习为基础，利用大规模数据进行模型的训练和预测。
现有的中医舌诊医案信息抽取技术主要分为三种方法，一是基于规则的信息抽取技术、二是基于机器学习信息抽取技术、三是基于实体关系的联合信息抽取技术，多是基于现有数据集资源，对计算资源要求相对较高，少量数据样本上很难发挥作用，但是，目前舌诊医案数据匮乏，致使现有的信息抽取技术效果较差。
综上，如何利用少量的中医舌诊医案中历史诊断数据完成高效的信息抽取是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于元学习的信息抽取方法、装置、设备及介质，能够利用少量的中医舌诊医案中历史诊断数据完成高效的信息抽取。其具体方案如下：
第一方面，本申请公开了一种基于元学习的信息抽取方法，包括：
建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；
获取与目标对象对应的舌诊诊断数据；
利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
可选的，所述基于元学习的信息抽取方法，还包括：
采集历史诊断数据和结构化的历史诊断数据，利用所述历史诊断数据和所述结构化的历史诊断数据得到训练阶段的第一支撑集、第一查询集以及测试阶段的第二支撑集、第二查询集；
在所述测试阶段利用所述第二支撑集调整所述基模型的更新后参数，以得到所述基模型的调整后参数，并利用所述第一查询集更新所述元模型的初始参数，以得到所述元模型的更新后参数；
在所述测试阶段利用所述第二支撑集调整所述基模型的更新后参数，以得到所述基模型的调整后参数，并利用所述第二查询集测试所述元模型的更新后参数是否符合预设条件，若满足则将所述基模型的更新后参数、所述元模型的更新后参数分别判定为所述基模型的目标参数、所述元模型的目标参数，以便得到目标元学习模型。
可选的，所述基于元学习的信息抽取方法，还包括：
建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，以便得到包含所述元模型和所述基模型的初始元学习模型。
可选的，所述建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，包括：
建立元模型；
利用语言模型构建编码层，并利用指针网络建立实体抽取层，基于交叉熵函数得到关系分类层，以便得到所述基模型。
第二方面，本申请公开了一种基于元学习的信息抽取装置，包括：
目标元学习模型获取模块，用于建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；
原始数据获取模块，用于获取与目标对象对应的舌诊诊断数据；
信息抽取模块，用于利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的基于元学习的信息抽取方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于元学习的信息抽取方法的步骤。
可见，本申请建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；获取与目标对象对应的舌诊诊断数据；利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。由此可见，本申请利用目标元学习模型对舌诊诊断数据进行信息抽取，而目标元学习模型是基于小样本训练得到的，即只需要利用少量的中医舌诊医案中历史诊断数据进行训练就可以得到信息抽取效果良好的目标元学习模型，那么后续利用目标元学习模型对舌诊诊断数据进行信息抽取，就可以得到结构化的目标诊断数据，无需大量的中医舌诊医案中历史诊断数据进行训练，更加符合实际训练条件。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种基于元学习的信息抽取方法流程图；
图2为本申请公开的一种具体的元学习模型训练示意图；
图3为本申请公开的一种具体的舌诊诊断数据示意图；
图4为本申请公开的一种具体的目标诊断数据示意图；
图5为本申请公开的一种具体的目标元学习模型获取流程图；
图6为本申请公开的一种具体的参数更新示意图；
图7为本申请公开的一种具体的针对舌诊医案的信息抽取模型示意图；
图8为本申请公开的一种基于元学习的信息抽取装置结构示意图；
图9为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
舌诊是中医医疗诊断疾病的重要手段，中医舌诊医案的信息抽取技术，有助于在中医舌象问诊系统搭建、中医舌诊知识图谱构建、舌诊相关疾病辅助推理，提供舌诊相关领域的知识收集和工具的高效使用。如何将舌诊诊断医案结构化，并提取有效关键信息并作为一个独立的数据单元，已经成为目前的研究热点，尤其是在线下、线上医疗诊断系统，智能问诊、预诊助理已经成为热门研究领域。中医舌诊医案以文本数据为主要数据源，以自然语言处理技术为主要技术手段，实现医案中关系信息的抽取，例如用户基本信息、用户症状、汤药名、中草药名等，例如实体抽取、关系抽取等，使用上述NLP技术通常是以深度学习为基础，利用大规模数据进行模型的训练和预测。
现有的中医舌诊医案信息抽取技术主要分为三种方法，一是基于规则的信息抽取技术、二是基于机器学习信息抽取技术、三是基于实体关系的联合信息抽取技术，多是基于现有数据集资源，对计算资源要求相对较高，少量数据样本上很难发挥作用，但是，目前舌诊医案数据匮乏，致使现有的信息抽取技术效果较差。
为此本申请相应的提供了一种基于元学习的信息抽取方案，基于元学习的信息抽取。
参见图1所示，本申请实施例公开了一种基于元学习的信息抽取方法，该方法包括：
步骤S11：建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型。
初始元学习模型包含两个模块，分别是基模型和元模型，基模型具体指的是任务模型，在本实施例中具体指舌诊医案的信息抽取模型，因此根据不同类别需求设计顶层模型结构，元模型结构和基模型基本确定。
例如图2所示的一种具体的元学习模型训练示意图，第一步：利用元模型的初始参数对基模型进行参数初始化。元学习的目标是初始化特定任务模型（基模型）的参数，并通过零样本学习或者小样本学习得到最终目标模型（特定任务模型），通常模型的参数初始化是通过人工设定或者通过迁移学习得到，这两类参数初始化方法并不能有效得到较优的模型初始化点，主要原因是随着任务的不断增多，并且以小样本形式进行学习，不同任务初始化点不同，无论是人工还是迁移学习都不能很好对所有任务（包括未知任务）进行有效初始化，容易得到局部区域，那么，通过元学习方法，以学习的形式对如何进行参数初始化进行建模，让模型学会针对不同的任务，如何进行有效的参数初始化，为了能够学习到这样的模型就需要以任务为基础训练单元进行元模型训练。由于元模型训练输入数据是以任务为基本单元，这里假设一个训练批次中有N个任务，如果各个任务是并行处理，则需要复制N份基模型，分别利用元模型的初始参数
对N个基模型进行参数初始化，得到N个基模型的初始参数/>
。
第二步：优化基模型的参数，设置任务目标函数进行梯度更新，经过优化得到最优化参数
，即基模型的目标参数，基模型参数优化是来源于元模型，初始化之后一般还需要进行几步迭代达到模型最优，并通过结果反馈对元模型进行参数更新，第一参数更新逻辑如下所示：
式中，
表示第i个任务的基模型初始参数，/>
表示当前任务基模型的优化的学习率，/>
表示第i个任务的目标损失函数，/>
表示第i个任务的训练数据集，/>
表示第i个任务的基模型的逻辑输出。
第三步，元模型优化，元模型优化是元学习方法起作用的关键所在。在第二步中，得到了每个任务的最优化参数
，将其进行加权平均得到此批次的所有任务的参数平均得到/>
，即得到平均后目标参数/>
，并利用针对元学习训练的数据批次数据/>
，在/>
上计算梯度并更新元模型的初始参数/>
得到最优化参数/>
，即得到元模型的目标参数，第二参数更新逻辑如下所示：
式中，
表示当前元模型的优化的学习率，/>
表示元模型的目标损失函数，/>
表示元模型的逻辑输出，需要注意的是，这是一个epoch元学习的训练过程，经过多次迭代达到元模型最优效果，最终基于基模型的目标参数和元模型的目标参数得到目标元学习模型。
步骤S12：获取与目标对象对应的舌诊诊断数据。
本实施例中，可以理解的是，获取舌诊诊断数据是原始的舌诊医案信息，信息抽取主要包括两大自然语言处理任务，一是实体抽取，具体例如用户的基本信息（姓名、年龄等）、用户患有症状、疾病、生活习惯、医诊分析等，二是关系抽取，例如中医医生给出的症状和中医药之间的治疗关系（韩心草草、大绿藤能够治疗痛经活血），如图3所示的一种具体的舌诊诊断数据示意图，舌诊诊断数据目标对象的基本信息、中医医生给出的症状和中医药之间的治疗关系较为混乱，不够结构化。
步骤S13：利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
本实施例中，例如图4所示的一种具体的目标诊断数据示意图，利用目标元学习模型对图3中舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
可见，本申请建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；获取与目标对象对应的舌诊诊断数据；利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。由此可见，本申请利用目标元学习模型对舌诊诊断数据进行信息抽取，而目标元学习模型是基于小样本训练得到的，即只需要利用少量的中医舌诊医案中历史诊断数据进行训练就可以得到信息抽取效果良好的目标元学习模型，那么后续利用目标元学习模型对舌诊诊断数据进行信息抽取，就可以得到结构化的目标诊断数据，无需大量的中医舌诊医案中历史诊断数据进行训练，更加符合实际训练条件。
在具体实施方式中，参见图5所示，上述获取目标元学习模型的具体过程还包括：
步骤S21：构建包含元模型和基模型的初始元学习模型。
步骤S22：采集历史诊断数据和结构化的历史诊断数据，利用所述历史诊断数据和所述结构化的历史诊断数据得到训练阶段的第一支撑集、第一查询集以及测试阶段的第二支撑集、第二查询集。
本实施例中，元学习模型是以任务（task）为训练基本单元，例如在本实施例中针对涉舌诊医案信息抽取问题，对实体抽取类别姓名、年龄分别指定为任务1和任务2，这里可以抽取N个实体类别标签，并对每个实体类别分别采样K个样本，通常这个实验装置称为N-way-K-Shot，其中，针对每个任务
，包含了训练阶段的第一支撑集/>
、第一查询集
以及测试阶段的第二支撑集/>
、第二查询集/>
。元学习训练一般包含训练、测试元模型和基模型，需要有效利用现有数据集并进行划分，如上所述，将数据划分为四种类型，并分类用于元学习和基模型的训练、测试。
步骤S23：在所述测试阶段利用所述第二支撑集调整所述基模型的更新后参数，以得到所述基模型的调整后参数，并利用所述第一查询集更新所述元模型的初始参数，以得到所述元模型的更新后参数。
例如图6所示的一种具体的参数更新示意图，在训练阶段利用
更新基模型的初始参数，以得到基模型的更新后参数，利用/>
更新元模型的初始参数，以得到元模型的更新后参数。
步骤S24：在所述测试阶段利用所述第二支撑集更新所述基模型的更新后参数，并利用所述第二查询集测试所述元模型的更新后参数是否符合预设条件，若满足则将所述基模型的更新后参数、所述元模型的更新后参数分别判定为所述基模型的目标参数、所述元模型的目标参数，以便得到目标元学习模型。
本实施例中，如图6中所示，在测试阶段利用
更新基模型的更新后参数，其中，只需要调整特定任务的基模型的更新后参数，以得到基模型的调整后参数，并利用
测试元模型的更新后参数是否符合预设条件，若满足则将基模型的调整后后参数、元模型的更新后参数分别判定为基模型的目标参数、元模型的目标参数，进而得到目标元学习模型。使用这种方式进行模型训练迭代是充分利用划分的数据集，因为模型有两类，分别是元模型和基模型，需要四类数据集进行训练和测试，本实施例利用上述数据划分形式，更加符合元学习训练和测试，并且还便于理解和实施训练。
由此可见，本申请引入元学习模型，而在对初始元学习模型进行训练以得到目标元学习模型的过程中，只需要少量的历史诊断数据和结构化的历史诊断数据，就可以得到信息抽取效果良好的目标元学习模型，更加符合历史诊断数据和结构化的历史诊断数据数量较少的现状，更具有实际意义，最终得到的目标元学习模型也可以解决舌诊医案信息抽取问题。
在具体实施方式中，上述获取初始元学习模型的具体过程还包括：
建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，以便得到包含所述元模型和所述基模型的初始元学习模型。
本实施例中，所述建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，包括：建立元模型；利用语言模型构建编码层，并利用指针网络建立实体抽取层，基于交叉熵函数得到关系分类层，以便得到所述基模型。
基模型的设计主要考虑到舌诊医案中涉及相关实体及关系，本实施例利用联合抽取方式完成实体和关系的识别。主要分以下步骤：
第一利用语言模型构建编码层，即利用语言模型对历史诊断数据进行编码，可以采用针对中文数据处理的RoBERTa模型。假设文本长度为的文本进行实体识别，输入经过RoBERTa编码得到向量序列
，通过变换函数/>
和/>
得到序列向量/>
和/>
，再经过打分函数/>
对两个序列组合进行指定a类型进行打分，最后将分数最高的/>
序列进行实体提取并打上标签a，/>
、/>
示位置编码，其中，打分函数/>
如下所示：
第二利用指针网络建立实体抽取层，即设计实体抽取层，实体抽取层我们采用指针网络完成，其优势是能够处理嵌套实体和非嵌套实体问题。从上面打分函数公式中可以看出最终打分函数相当于每个实体类别都要进行
个二分类问题，即每个类型实体都有/>
个候选实体，这会导致样本极度不平衡问题，因此可以采用如下所示的单目标多分类损失函数：
式中，
是样本X所有类型为a的实体集合，/>
是样本X所有非实体或者类型非a的实体集合，这样经过模型迭代就完成了实体抽取任务。
第三基于交叉熵函数得到关系分类层，例如图7所示的一种具体的针对舌诊医案的信息抽取模型示意图，首先将上面抽取的实体进行组合，并直接输入到关系分类进行关系分类，关系分类层采用如下所示的交叉熵函数：
式中，
表示第i个实体对输入样本，/>
表示第i个实体对输入样本的真实关系标签，/>
表示第i个实体对输入关系分类层后计算对应关系类别的置信度。
由此可见，本申请可以利用少量的历史诊断数据和结构化的历史诊断数据对初始元学习模型进行训练，得到信息抽取效果良好的目标元学习模型，并且还利用单目标多分类损失函数避免样本不均衡的情况，也进一步提高目标元学习模型的可靠性，使得后续得到的结构化的目标诊断数据更加符合实际，用户体验更好。
参见图8所示，本申请实施例公开了一种基于元学习的信息抽取装置，包括：
目标元学习模型获取模块11，用于建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；
原始数据获取模块12，用于获取与目标对象对应的舌诊诊断数据；
信息抽取模块13，用于利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
可见，本申请建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；获取与目标对象对应的舌诊诊断数据；利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。由此可见，本申请利用目标元学习模型对舌诊诊断数据进行信息抽取，而目标元学习模型是基于小样本训练得到的，即只需要利用少量的中医舌诊医案中历史诊断数据进行训练就可以得到信息抽取效果良好的目标元学习模型，那么后续利用目标元学习模型对舌诊诊断数据进行信息抽取，就可以得到结构化的目标诊断数据，无需大量的中医舌诊医案中历史诊断数据进行训练，更加符合实际训练条件。
进一步的，本申请实施例还提供了一种电子设备。图9是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的基于元学习的信息抽取方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于元学习的信息抽取方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由基于元学习的信息抽取过程中执行的方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于元学习的信息抽取方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于元学习的信息抽取方法，其特征在于，包括：
建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；
获取与目标对象对应的舌诊诊断数据；
利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
2.根据权利要求1所述的基于元学习的信息抽取方法，其特征在于，还包括：
采集历史诊断数据和结构化的历史诊断数据，利用所述历史诊断数据和所述结构化的历史诊断数据得到训练阶段的第一支撑集、第一查询集以及测试阶段的第二支撑集、第二查询集；
在所述测试阶段利用所述第二支撑集调整所述基模型的更新后参数，以得到所述基模型的调整后参数，并利用所述第一查询集更新所述元模型的初始参数，以得到所述元模型的更新后参数；
在所述测试阶段利用所述第二支撑集调整所述基模型的更新后参数，以得到所述基模型的调整后参数，并利用所述第二查询集测试所述元模型的更新后参数是否符合预设条件，若满足则将所述基模型的更新后参数、所述元模型的更新后参数分别判定为所述基模型的目标参数、所述元模型的目标参数，以便得到目标元学习模型。
3.根据权利要求1所述的基于元学习的信息抽取方法，其特征在于，还包括：
建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，以便得到包含所述元模型和所述基模型的初始元学习模型。
4.根据权利要求3所述的基于元学习的信息抽取方法，其特征在于，所述建立元模型以及包含编码层、实体抽取层和关系分类层的基模型，包括：
建立元模型；
利用语言模型构建编码层，并利用指针网络建立实体抽取层，基于交叉熵函数得到关系分类层，以便得到所述基模型。
5.一种基于元学习的信息抽取装置，其特征在于，包括：
目标元学习模型获取模块，用于建立元模型，并基于所述元模型的初始参数确定所述基模型的初始参数，以便得到初始元学习模型；设置任务目标函数，并基于所述任务目标函数和第一参数更新逻辑对所述基模型的初始参数进行梯度更新，以得到所述基模型的目标参数；对所述基模型的目标参数进行加权平均计算，以得到平均后目标参数，并基于第二参数更新逻辑和所述平均后目标参数对所述元模型的初始参数进行更新，以得到所述元模型的目标参数；基于所述基模型的目标参数和所述元模型的目标参数得到目标元学习模型；
原始数据获取模块，用于获取与目标对象对应的舌诊诊断数据；
信息抽取模块，用于利用所述目标元学习模型对所述舌诊诊断数据进行信息抽取，以得到结构化的目标诊断数据。
6.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的基于元学习的信息抽取方法的步骤。
7.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于元学习的信息抽取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310126105.0A CN115859990B (zh) | 2023-02-17 | 2023-02-17 | 基于元学习的信息抽取方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310126105.0A CN115859990B (zh) | 2023-02-17 | 2023-02-17 | 基于元学习的信息抽取方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115859990A true CN115859990A (zh) | 2023-03-28 |
| CN115859990B CN115859990B (zh) | 2023-05-09 |
Family
ID=85658242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310126105.0A Active CN115859990B (zh) | 2023-02-17 | 2023-02-17 | 基于元学习的信息抽取方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115859990B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909529A (zh) * | 2015-12-22 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种机器学习工具中间件及机器学习训练方法 |
| CN109034190A (zh) * | 2018-06-15 | 2018-12-18 | 广州深域信息科技有限公司 | 一种动态选择策略的主动样本挖掘的物体检测系统及方法 |
| CN110797124A (zh) * | 2019-10-30 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种模型多端协同训练方法、医疗风险预测方法和装置 |
| CN113642734A (zh) * | 2020-05-11 | 2021-11-12 | 阿里巴巴集团控股有限公司 | 一种深度学习模型的分布式训练方法、装置以及计算设备 |
| CN113837000A (zh) * | 2021-08-16 | 2021-12-24 | 天津大学 | 一种基于任务排序元学习的小样本故障诊断方法 |
| CN114065728A (zh) * | 2020-07-30 | 2022-02-18 | 中国电信股份有限公司 | 小样本机器阅读理解方法和装置、计算机可读存储介质 |
| CN114418117A (zh) * | 2022-01-20 | 2022-04-29 | 北京航空航天大学 | 用于少样本故障诊断的具有自适应学习率的元学习方法 |
| CN114468977A (zh) * | 2022-01-21 | 2022-05-13 | 深圳市眼科医院 | 一种眼科视力检查数据收集分析方法、系统及计算机存储介质 |
-
2023
- 2023-02-17 CN CN202310126105.0A patent/CN115859990B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909529A (zh) * | 2015-12-22 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种机器学习工具中间件及机器学习训练方法 |
| CN109034190A (zh) * | 2018-06-15 | 2018-12-18 | 广州深域信息科技有限公司 | 一种动态选择策略的主动样本挖掘的物体检测系统及方法 |
| CN110797124A (zh) * | 2019-10-30 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种模型多端协同训练方法、医疗风险预测方法和装置 |
| CN113642734A (zh) * | 2020-05-11 | 2021-11-12 | 阿里巴巴集团控股有限公司 | 一种深度学习模型的分布式训练方法、装置以及计算设备 |
| CN114065728A (zh) * | 2020-07-30 | 2022-02-18 | 中国电信股份有限公司 | 小样本机器阅读理解方法和装置、计算机可读存储介质 |
| CN113837000A (zh) * | 2021-08-16 | 2021-12-24 | 天津大学 | 一种基于任务排序元学习的小样本故障诊断方法 |
| CN114418117A (zh) * | 2022-01-20 | 2022-04-29 | 北京航空航天大学 | 用于少样本故障诊断的具有自适应学习率的元学习方法 |
| CN114468977A (zh) * | 2022-01-21 | 2022-05-13 | 深圳市眼科医院 | 一种眼科视力检查数据收集分析方法、系统及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115859990B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021151353A1 (zh) | 医学实体关系抽取方法、装置、计算机设备及可读存储介质 | |
| CN106934220B (zh) | 面向多数据源的疾病类实体识别方法及装置 | |
| CN112364880B (zh) | 基于图神经网络的组学数据处理方法、装置、设备及介质 | |
| CN103207856A (zh) | 一种本体概念及层次关系生成方法 | |
| CN110837548A (zh) | 答案匹配方法、装置、电子设备及存储介质 | |
| CN110728313B (zh) | 一种用于意图分类识别的分类模型训练方法及装置 | |
| CN113312925B (zh) | 一种基于自强化学习的遥感影像文本生成及优化方法 | |
| CN113204611A (zh) | 建立阅读理解模型的方法、阅读理解方法及对应装置 | |
| CN113569018A (zh) | 问答对挖掘方法及装置 | |
| CN114281968A (zh) | 一种模型训练及语料生成方法、装置、设备和存储介质 | |
| CN111160049B (zh) | 文本翻译方法、装置、机器翻译系统和存储介质 | |
| CN113409823A (zh) | 语音情绪识别方法、装置、电子设备及存储介质 | |
| JP7387964B2 (ja) | ソート学習モデルの訓練方法、ソート方法、装置、デバイス及び媒体 | |
| CN116467461A (zh) | 应用于配电网的数据处理方法、装置、设备及介质 | |
| CN112836019B (zh) | 公共医疗卫生命名实体识别与实体链接方法、装置、电子设备及存储介质 | |
| Basterrech et al. | Evolutionary Echo State Network: A neuroevolutionary framework for time series prediction | |
| CN115859990B (zh) | 基于元学习的信息抽取方法、装置、设备及介质 | |
| CN117077653A (zh) | 一种可控生成的方法及其装置 | |
| CN113722431B (zh) | 命名实体关系识别方法、装置、电子设备及存储介质 | |
| CN116029261B (zh) | 中文文本语法纠错方法及相关设备 | |
| CN115203532A (zh) | 一种项目推荐方法、装置、电子设备及存储介质 | |
| Yin et al. | Context-uncertainty-aware chatbot action selection via parameterized auxiliary reinforcement learning | |
| JP2022111020A (ja) | 文書類似度学習に基づくディープラーニングモデルの転移学習方法およびコンピュータ装置 | |
| CN113139881A (zh) | 双电源用户主供电源识别方法、装置、设备及存储介质 | |
| CN111476020B (zh) | 一种基于元强化学习的文本生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: Building 14, Phase I, Changsha Zhongdian Software Park, No. 39 Jianshan Road, Changsha High tech Development Zone, Changsha City, Hunan Province, 410205 Patentee before: Wisdom Eye Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |