CN117116408A - 一种面向电子病历解析的关系抽取方法 - Google Patents

一种面向电子病历解析的关系抽取方法 Download PDF

Info

Publication number
CN117116408A
CN117116408A CN202311384445.XA CN202311384445A CN117116408A CN 117116408 A CN117116408 A CN 117116408A CN 202311384445 A CN202311384445 A CN 202311384445A CN 117116408 A CN117116408 A CN 117116408A
Authority
CN
China
Prior art keywords
model
teacher
sentence
level
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311384445.XA
Other languages
English (en)
Other versions
CN117116408B (zh
Inventor
黄文体
何雨
陈嘉懿
尹卓英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202311384445.XA priority Critical patent/CN117116408B/zh
Publication of CN117116408A publication Critical patent/CN117116408A/zh
Application granted granted Critical
Publication of CN117116408B publication Critical patent/CN117116408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种面向电子病历解析的关系抽取方法，包括如下步骤：步骤S1，训练教师模型：分别将句子袋级数据和句子级数据输入教师模型进行训练，计算教师知识，采用反向传播方法训练教师模型，更新教师模型参数，完成教师模型的训练；步骤S2，训练学生模型：将句子级数据输入学生模型进行训练，采用反向传播方法和教师模型监督两种结合训练学生模型，更新学生模型参数，完成学生模型的训练；步骤S3，进行关系抽取：基于教师模型和学生模型构建多级知识蒸馏关系抽取模型，实现关系抽取。优点是，本发明采用句子级数据和句子袋级数据分别进行句级训练和袋级训练，并构建了多层级知识蒸馏监督获取教师知识，保证了教师知识的准确性和精确性。

Description

一种面向电子病历解析的关系抽取方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种面向电子病历解析的关系抽取方法。
背景技术
随着医疗信息化、医疗智能化的不断发展，海量的医疗数据、医学知识被不断的积累和迭代，对医学数据的理解和利用越来越重要。电子病历档案是构建智慧医疗体系的重要基石，它记录了患者的诊断和治疗全过程信息（包括患者基本信息、病程记录、检验检查结果、手术记录、护理记录、医嘱等），能够显著提高医生之间的信息交换，让医生可以全面了解患者病史，而不仅是当次就诊时的快照式概述，从而做出快速准确的诊断。
知识图谱作为人类知识信息的一种智能化、结构化的存储与表示方式，具有表达能力强、拓展性好等特点，很快被引入到海量医疗数据的管理与应用中，并形成了一套完整的基于知识图谱的医疗大数据技术体系，即通过知识图谱构建技术整合多源异构的医疗数据，将复杂的非结构化医疗数据转换为结构化的知识形式存储在知识图谱的格式化框架中。
关系抽取作为医学知识图谱构建过程中的核心任务，需要通过实体识别和关系抽取两个子任务，将结构化或非结构化的医学知识转化为结构化的三元组形式，以方便计算机对知识进行理解和处理。然而，医疗文本往往呈现出实体描述性文本长度较长，语义结构复杂等特点，例如“hereditary nonpolyposis colorectal cancer syndrome（遗传性非息肉病结直肠癌综合症）”。为了准确表述医学实体之间的关系，常常使用复杂句式表示其含义。而目前的关系抽取方法难以解析并捕获包含大量结构复杂且句子长度偏长的医疗文本语义。此外，医学知识专业性强、复杂度高、标注成本高，现有的知识抽取模型难以适应医学知识的复杂性，且难以为基于机器学习模型的医学人工智能提供足够的标注数据，严重制约了医疗知识图谱的自动化构建效率。
综上所述，急需一种面向电子病历解析的关系抽取方法以解决现有技术中存在的问题。
发明内容
本发明目的在于提供一种面向电子病历解析的关系抽取方法，具体技术方案如下：
一种面向电子病历解析的关系抽取方法，其特征在于，包括如下步骤：
步骤S1，训练教师模型：分别将句子袋级数据和句子级数据输入教师模型，基于自适应温度和注意力组合机制得到袋级教师模型预测和句级教师模型预测，以多层级知识蒸馏监督计算教师知识；以袋级教师模型预测和远程监督标签计算教师模型总损失，基于教师模型总损失和反向传播方法训练教师模型，更新教师模型参数，完成教师模型的训练；
步骤S2，训练学生模型：将句子级数据输入学生模型，基于自适应温度和教师知识得到句级学生模型预测，基于句级学生模型预测以及袋级教师模型预测中的教师知识计算知识蒸馏损失，以知识蒸馏损失和学生模型交叉熵损失计算得到学生模型总损失，基于学生模型总损失和反向传播方法训练学生模型，更新学生模型参数，完成学生模型的训练；
步骤S3，进行关系抽取：基于步骤S1中的教师模型和步骤S2中的学生模型构建多级知识蒸馏关系抽取模型，利用所述多级知识蒸馏关系抽取模型对输入的数据进行关系抽取；
教师模型总损失的表达式如下：
；
其中，表示教师模型总损失，/>是数据集中包含的句子袋数量；/>表示袋级的远程监督标签，/>；/>表示关系的个数，/>表示袋级教师模型预测；
采用库勒贝克-莱布勒散度作为学生模型的知识蒸馏损失，知识蒸馏损失的表达式如下：
；
其中，表示学生模型和教师模型的库勒贝克-莱布勒散度；/>为数据集中的句子数量；/>表示学生模型的预测，/>，/>表示句子的软化标签；/>表示教师知识；
学生模型总损失的表达式如下：
；
其中，表示权重超参数；/>表示学生模型交叉熵损失。
优选的，所述句子袋级数据为多个句子级数据组合成的一个矩阵。
优选的，注意组合机制的表达式如下：
；
其中，表示袋级教师模型预测；/>表示教师知识，，/>表示第/>个句子袋的软化标签；/>表示第/>个句子袋中所有句子的向量矩阵，/>，/>表示第/>个句子的向量矩阵；表示softmax函数；/>表示将/>转化成形状为/>的各句子的权重的可学习的转换操作。
优选的，所述教师知识的表达式如下：
；
其中，表示用于控制袋级教师模型预测和句级教师模型预测的重要性权重的超参数，/>。
优选的，softmax函数的表达式如下：
；
其中，表示第/>个句子的软预测，/>表示第/>个句子的logit向量，/>表示第/>个句子的自适应温度。
优选的，自适应温度的计算表达式如下：
；
其中，表示超参数，/>；/>表示关系的个数，/>表示第/>个句子的熵，/>表示双曲正切函数。
优选的，熵的计算表达式如下：
；
；
其中，表示不软化的第/>个关系的概率。
应用本发明的技术方案，具有以下有益效果：
（1）本发明提出的关系抽取方法采用句子级数据和句子袋级数据分别进行句级训练和袋级训练，并构建了多层级的知识蒸馏监督方法获取教师知识，其中句级别的训练保证了本发明方法对样本的充分学习，使得教师知识具有精确性，而基于注意力组合机制的袋级训练保证本发明方法不会因为单个错误样本而导致学习到偏见的知识，不同级别的结合保证了教师知识的准确性和精确性。
（2）本发明提出的关系抽取方法采用自适应温度控制标签软化方向和程度，本发明中的自适应温度计算方法可以将较低的温度分配给熵值较高的预测，实现了灵活软化的能力，当预测不平均时候使标签软化，当预测趋向于平均时使标签硬化。本发明提出的关系抽取方法能够根据预测的分布确认标签应该软化或硬化，避免传达错误或者偏见的知识。另外，本发明考虑到了温度硬化的可能性，硬化标签使得预测的分布变平，软化标签则不会向学生模型传达有意义的信息。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例中关系抽取方法的步骤流程图；
图2是本发明优选实施例中多级知识蒸馏关系抽取模型的模型示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明。
实施例：
参见图1，一种面向电子病历解析的关系抽取方法，包括如下步骤：
步骤S1，训练教师模型：分别将句子袋级数据和句子级数据输入教师模型，基于自适应温度和注意力组合机制得到袋级教师模型预测和句级教师模型预测，以多层级知识蒸馏监督计算教师知识；以袋级教师模型预测和远程监督标签计算教师模型总损失，基于教师模型总损失和反向传播方法训练教师模型，更新教师模型参数，完成教师模型的训练。
需要说明的是，所述句子袋级数据为多个句子级数据组合成的一个矩阵。在本实施例中，所述句子级数据为电子病历数据进行预处理得到，具体过程是：对于电子病历预料中的每一个句子，在提及的医学头实体和尾实体之前分别加上tokens[h]和[t]，在提及的医学头实体和尾实体之后分别加上tokens[/h]和[/t]。
步骤S2，训练学生模型：将句子级数据输入学生模型，基于自适应温度和多层级的教师知识得到句级学生模型预测，基于句级学生模型预测以及袋级教师模型预测中的教师知识计算知识蒸馏损失，以知识蒸馏损失和学生模型交叉熵损失计算得到学生模型总损失，基于学生模型总损失和反向传播方法训练学生模型，更新学生模型参数，完成学生模型的训练。需要说明的是，本实施例中的教师知识采用采用多层级的知识蒸馏监督方法获取，其中句级别的训练保证了模型对样本的充分学习，使得教师知识具有精确性，而基于注意力组合机制的句子袋训练保证模型整体不会因为单个错误样本而导致学习到偏见的知识，不同级别的结合保证了教师知识的准确性和精确性。
进一步地，本实施例中训练教师模型和学生模型的注意力组合机制相同，本实施例中以教师模型的注意组合机制为例进行说明，所述注意组合机制的表达式如下：
；
其中，表示袋级教师模型预测；/>表示教师知识，，/>表示第/>个句子袋的软化标签；/>表示第/>个句子袋中所有句子的向量矩阵，/>，/>表示第/>个句子的向量矩阵；表示softmax函数；/>表示将/>转化成形状为/>的各句子的权重的可学习的转换操作。
教师知识可表示为：
；
其中，表示用于控制袋级教师模型预测和句级教师模型预测的重要性权重的超参数，/>。本实施例提出的方法通过袋级训练缓解噪声句子的干扰，进而为了保留句级训练软预测的精确性，因此用于学生模型的教师知识是用多层级的方法获取的，以保证教师知识的准确性和精确性。
进一步地，本实施例中引入了一种可学习的和基于熵的方法来计算自适应温度，其目的是为每个句子生成自适应温度，并控制软化的程度，具有自适应温度的softmax函数的表达式如下：
；
其中，表示第/>个句子的软预测，/>表示第/>个句子的logit向量，/>表示第/>个句子的自适应温度。
进一步地，自适应温度决定了句子软化的方向和程度，自适应温度的计算表达式如下：
；
其中，表示超参数，/>；/>表示关系的个数，/>表示第/>个句子的熵，/>表示双曲正切函数。
进一步地，对于每一个句子，本实施例中通过CNN、PCNN或者ATT-BiLSTM神经网络算法生成句子的逻辑向量，将句子生成的逻辑向量进行计算，得到每个句子的熵，熵的计算表达式如下：
；
；
其中，表示不软化的第/>个关系的概率。本实施例中的自适应温度可以将较低的温度分配给熵值较高的预测，需要说明的是，当/>=1时，具有温度的软max函数与原始的软max函数相同，并且当/>>1（或/>< 1）时，它倾向于软化或硬化预测。因此，本实施例中的自适应温度实现了灵活软化的能力，更具体地说，当预测太不均匀时使标签软化，当预测太平均时使标签硬化。
进一步地，教师模型总损失的表达式如下：
；
其中，表示教师模型总损失，/>是数据集中包含的句子袋数量；/>表示袋级的远程监督标签，/>。
进一步地，采用库勒贝克-莱布勒散度作为学生模型的知识蒸馏损失，知识蒸馏损失的表达式如下：
；
其中，表示学生模型和教师模型的库勒贝克-莱布勒散度；/>为数据集中的句子数量；/>表示学生模型的预测，/>，/>表示句子的软化标签。
进一步地，学生模型总损失的表达式如下：
；
其中，表示权重超参数；/>表示学生模型交叉熵损失。
步骤S3，进行关系抽取：基于步骤S1中的教师模型和步骤S2中的学生模型构建如图2所示的多级知识蒸馏关系抽取模型，利用所述多级知识蒸馏关系抽取模型对输入的电子病历数据进行关系抽取。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向电子病历解析的关系抽取方法，其特征在于，包括如下步骤：
步骤S1，训练教师模型：分别将句子袋级数据和句子级数据输入教师模型，基于自适应温度和注意力组合机制得到袋级教师模型预测和句级教师模型预测，以多层级知识蒸馏监督计算教师知识；以袋级教师模型预测和远程监督标签计算教师模型总损失，基于教师模型总损失和反向传播方法训练教师模型，更新教师模型参数，完成教师模型的训练；
步骤S2，训练学生模型：将句子级数据输入学生模型，基于自适应温度和教师知识得到句级学生模型预测，基于句级学生模型预测以及袋级教师模型预测中的教师知识计算知识蒸馏损失，以知识蒸馏损失和学生模型交叉熵损失计算得到学生模型总损失，基于学生模型总损失和反向传播方法训练学生模型，更新学生模型参数，完成学生模型的训练；
步骤S3，进行关系抽取：基于步骤S1中的教师模型和步骤S2中的学生模型构建多级知识蒸馏关系抽取模型，利用所述多级知识蒸馏关系抽取模型对输入的数据进行关系抽取；
教师模型总损失的表达式如下：
；
其中，表示教师模型总损失，/>是数据集中包含的句子袋数量；/>表示袋级的远程监督标签，/>；/>表示关系的个数，/>表示袋级教师模型预测；
采用库勒贝克-莱布勒散度作为学生模型的知识蒸馏损失，知识蒸馏损失的表达式如下：
；
其中，表示学生模型和教师模型的库勒贝克-莱布勒散度；/>为数据集中的句子数量；/>表示学生模型的预测，/>，/>表示句子的软化标签；表示教师知识；
学生模型总损失的表达式如下：
；
其中，表示权重超参数；/>表示学生模型交叉熵损失。
2.根据权利要求1所述的关系抽取方法，其特征在于，所述句子袋级数据为多个句子级数据组合成的一个矩阵。
3.根据权利要求2所述的关系抽取方法，其特征在于，注意组合机制的表达式如下：
；
其中，表示袋级教师模型预测；/>表示教师知识，/>，表示第/>个句子袋的软化标签；/>表示第/>个句子袋中所有句子的向量矩阵，，/>表示第/>个句子的向量矩阵；/>表示softmax函数；表示将/>转化成形状为/>的各句子的权重的可学习的转换操作。
4.根据权利要求3所述的关系抽取方法，其特征在于，所述教师知识的表达式如下：
；
其中，表示用于控制袋级教师模型预测和句级教师模型预测的重要性权重的超参数，。
5.根据权利要求4所述的关系抽取方法，其特征在于，softmax函数的表达式如下：
；
其中，表示第/>个句子的软预测，/>表示第/>个句子的logit向量，/>表示第/>个句子的自适应温度。
6.根据权利要求5所述的关系抽取方法，其特征在于，自适应温度的计算表达式如下：
；
其中，表示超参数，/>；/>表示关系的个数，/>表示第/>个句子的熵，表示双曲正切函数。
7.根据权利要求6所述的关系抽取方法，其特征在于，熵的计算表达式如下：
；
；
其中，表示不软化的第/>个关系的概率。
CN202311384445.XA 2023-10-25 2023-10-25 一种面向电子病历解析的关系抽取方法 Active CN117116408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311384445.XA CN117116408B (zh) 2023-10-25 2023-10-25 一种面向电子病历解析的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311384445.XA CN117116408B (zh) 2023-10-25 2023-10-25 一种面向电子病历解析的关系抽取方法

Publications (2)

Publication Number Publication Date
CN117116408A true CN117116408A (zh) 2023-11-24
CN117116408B CN117116408B (zh) 2024-01-26

Family

ID=88795181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311384445.XA Active CN117116408B (zh) 2023-10-25 2023-10-25 一种面向电子病历解析的关系抽取方法

Country Status (1)

Country Link
CN (1) CN117116408B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205748A1 (en) * 2018-01-02 2019-07-04 International Business Machines Corporation Soft label generation for knowledge distillation
CN111914558A (zh) * 2020-07-31 2020-11-10 湖北工业大学 基于句袋注意力远程监督的课程知识关系抽取方法及系统
CN112365385A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 基于自注意力的知识蒸馏方法、装置和计算机设备
CN112528034A (zh) * 2020-11-16 2021-03-19 中国科学院深圳先进技术研究院 一种基于知识蒸馏的实体关系抽取方法
CN113326941A (zh) * 2021-06-25 2021-08-31 江苏大学 基于多层多注意力迁移的知识蒸馏方法、装置及设备
CN113434698A (zh) * 2021-06-30 2021-09-24 华中科技大学 基于全层级注意力的关系抽取模型建立方法及其应用
CN113673246A (zh) * 2021-07-29 2021-11-19 中国科学院自动化研究所 语义融合和知识蒸馏的农业实体识别方法和装置
AU2020353380A1 (en) * 2019-09-23 2022-04-14 Presagen Pty Ltd Decentralised artificial intelligence (AI)/machine learning training system
CN114386409A (zh) * 2022-01-17 2022-04-22 深圳大学 基于注意力机制的自蒸馏中文分词方法、终端及存储介质
CN114841173A (zh) * 2022-07-04 2022-08-02 北京邮电大学 基于预训练模型的学术文本语义特征提取方法、系统和存储介质
CN115081452A (zh) * 2022-08-22 2022-09-20 军工保密资格审查认证中心 一种实体关系的抽取方法
WO2023038432A1 (en) * 2021-09-07 2023-03-16 Samsung Electronics Co., Ltd. Method of load forecasting via knowledge distillation, and an apparatus for the same
CN116011559A (zh) * 2022-11-30 2023-04-25 南京大学 基于伪单词序列生成的病例分类的零样本蒸馏系统及方法
CN116415005A (zh) * 2023-06-12 2023-07-11 中南大学 一种面向学者学术网络构建的关系抽取方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205748A1 (en) * 2018-01-02 2019-07-04 International Business Machines Corporation Soft label generation for knowledge distillation
AU2020353380A1 (en) * 2019-09-23 2022-04-14 Presagen Pty Ltd Decentralised artificial intelligence (AI)/machine learning training system
CN111914558A (zh) * 2020-07-31 2020-11-10 湖北工业大学 基于句袋注意力远程监督的课程知识关系抽取方法及系统
CN112528034A (zh) * 2020-11-16 2021-03-19 中国科学院深圳先进技术研究院 一种基于知识蒸馏的实体关系抽取方法
CN112365385A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 基于自注意力的知识蒸馏方法、装置和计算机设备
CN113326941A (zh) * 2021-06-25 2021-08-31 江苏大学 基于多层多注意力迁移的知识蒸馏方法、装置及设备
CN113434698A (zh) * 2021-06-30 2021-09-24 华中科技大学 基于全层级注意力的关系抽取模型建立方法及其应用
CN113673246A (zh) * 2021-07-29 2021-11-19 中国科学院自动化研究所 语义融合和知识蒸馏的农业实体识别方法和装置
WO2023038432A1 (en) * 2021-09-07 2023-03-16 Samsung Electronics Co., Ltd. Method of load forecasting via knowledge distillation, and an apparatus for the same
CN114386409A (zh) * 2022-01-17 2022-04-22 深圳大学 基于注意力机制的自蒸馏中文分词方法、终端及存储介质
CN114841173A (zh) * 2022-07-04 2022-08-02 北京邮电大学 基于预训练模型的学术文本语义特征提取方法、系统和存储介质
CN115081452A (zh) * 2022-08-22 2022-09-20 军工保密资格审查认证中心 一种实体关系的抽取方法
CN116011559A (zh) * 2022-11-30 2023-04-25 南京大学 基于伪单词序列生成的病例分类的零样本蒸馏系统及方法
CN116415005A (zh) * 2023-06-12 2023-07-11 中南大学 一种面向学者学术网络构建的关系抽取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Z.X. YE, Z.H, LING: "Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions", 《PROCEEDINGS OF NAACL-HLT 2019》, pages 2810 - 2819 *
Z.Y. ZHANG 等: "Distilling Knowledge from Well-formed Soft Labels for Neural Relation Extraction", 《THE THIRTY-FORTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, pages 9620 - 9627 *
王嘉宁 等: "基于远程监督的关系抽取技术", 《华东师范大学学报 (自然科学版)》, pages 113 - 130 *

Also Published As

Publication number Publication date
CN117116408B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN112364174A (zh) 基于知识图谱的病人病历相似度评估方法及系统
CN108563626A (zh) 医疗文本命名实体识别方法和装置
US10984024B2 (en) Automatic processing of ambiguously labeled data
Hrnjica et al. Optimized genetic programming applications: emerging research and opportunities: emerging research and opportunities
CN116994694B (zh) 基于信息提取的患者病历数据筛选方法、装置和介质
CN108428478A (zh) 基于异质医疗数据挖掘的甲状腺癌风险预测方法
Jenders et al. Evolution of the Arden Syntax: key technical issues from the standards development organization perspective
Douali et al. Clinical decision support system based on fuzzy cognitive maps
Ali et al. The KEEN universe: An ecosystem for knowledge graph embeddings with a focus on reproducibility and transferability
Karaca et al. Multi-Chaos, Fractal and Multi-Fractional Artificial Intelligence of Different Complex Systems
Yang et al. Constructing public health evidence knowledge graph for decision-making support from COVID-19 literature of modelling study
Karaca Multi-chaos, fractal and multi-fractional AI in different complex systems
Spitzer et al. Digital twins and the future of precision mental health
CN108122613A (zh) 基于健康预测模型的健康预测方法和装置
CN117116408B (zh) 一种面向电子病历解析的关系抽取方法
Cannataro et al. Artificial intelligence in bioinformatics: from omics analysis to deep learning and network mining
Li Application of Machine learning and data mining in Medicine: Opportunities and considerations
CN117238437A (zh) 基于知识图谱的病情诊断辅助方法及系统
CN116955638A (zh) 知识图谱构建方法、装置、计算机可读介质及电子设备
CN116168828A (zh) 基于知识图谱和深度学习的疾病预测方法、装置及计算机设备
Liu et al. An interpretable machine learning approach for predicting hospital length of stay and readmission
Homayounfar et al. Data mining research trends in computerized patient records
AU2021102318A4 (en) System for Improving Prediction Accuracy of Healthcare Ontology
Han et al. A framework for generating anomaly analysis comments in DHI interpretation report
Shang et al. Assessment of medical reports uncertainty through topic modeling and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant