CN111312354A - 基于多智能体强化学习的乳腺病历实体识别标注增强系统 - Google Patents
基于多智能体强化学习的乳腺病历实体识别标注增强系统 Download PDFInfo
- Publication number
- CN111312354A CN111312354A CN202010085426.7A CN202010085426A CN111312354A CN 111312354 A CN111312354 A CN 111312354A CN 202010085426 A CN202010085426 A CN 202010085426A CN 111312354 A CN111312354 A CN 111312354A
- Authority
- CN
- China
- Prior art keywords
- medical record
- breast
- data
- entity identification
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 40
- 230000002787 reinforcement Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 16
- 238000011282 treatment Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000011160 research Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims 1
- 208000030270 breast disease Diseases 0.000 description 20
- 238000003745 diagnosis Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100022493 Mucin-6 Human genes 0.000 description 1
- 108010008692 Mucin-6 Proteins 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，包括用于将原始数据处理为系统可识别分析的表示形式的乳腺临床电子病历数据预处理模块，对乳腺临床电子病历数据从病历内容、结构特征、语言特征和语义特征进行分析，用于提取文本中的医疗概念实体的医疗临床实体识别模块及用于对从乳腺电子病历中抽取出的错误实体标签进行修正的强化学习标注增强模块。本发明基于部分可观测马尔科夫决策过程设计了针对实体识别序列标注的多智能体强化学习模型，对标注结果进行修正，相比于传统深度学习实体识别模型，有效提高了准确率。
Description
技术领域
本发明涉及一种基于多智能体强化学习的乳腺病历实体识别标注增强系统, 属于医疗自然语言处理技术领域。
背景技术
随着医院信息化技术的普及与发展，已逐步形成了以电子病历系统为核心， 并有效集成了多个临床信息系统的综合信息系统。在电子病历系统数几十年的使 用过程中，积累了海量医疗文本数据，涌现出了许多机构和团队对医疗文本结构 化展开了诸多研究。
电子病历是医疗活动过程中产生的与医学、健康密切相关的重要临床信息资 源，不仅包含了丰富的医学专业知识，也反映了患者的详细健康信息。因此，对 电子病历数据的信息提取显得尤为重要。但电子病历的数据并非完全结构化的形 式，其中包含了自由文本及一些复杂半结构化数据，对信息的分析利用造成了障 碍。因此，通过命名实体识别技术从电子病历中有效提取医疗、健康等相关概念 实体，对电子病历的分析、挖掘和利用具有重要意义。
由于医疗领域实体模式之间的差异性，因此，需要针对特定疾病进行命名实 体识别研究。而乳腺疾病在女性中是一种常见多发疾病，其致病因素复杂，并具 有较高的风险性，如治疗不及时或治疗不当，随时可能发生病变，导致生命危险。 通过对医疗数据的科学分析提取，寻找有效方式对乳腺疾病进行早期筛查、诊断 治疗，降低其发病率致死率具有重大意义。
乳腺疾病电子病历是在疾病诊疗过程中产生的数据，相较于文献教材等经过 整理删选而呈现出的理想化状态文本而言，它更接近医学实际应用场景，蕴含着 更为丰富而真实的信息。但同样它也具有其他电子病历文本共有的复杂特性，因 此，直接对其进行分析利用有一定难度。通过乳腺电子病历的命名实体识别，可 提供有效方法对乳腺疾病电子病历文本数据中所蕴含的医疗实体进行精准可靠 的结构化描述，有助于乳腺疾病数据的信息利用，为后续乳腺疾病的快速精准查 询服务及临床决策支持等提供了坚实的基础：一方面可用于建设乳腺疾病风险患 者识别标记、疾病药物推荐、辅助决策诊断等系统，帮助医生提高乳腺疾病规范 化诊疗的执行效率，予以科学的依据和建议方案；另一方面，还可以协助医生发 现诊疗过程中潜在的非正常情况，降低误诊和漏诊率，提高乳腺疾病患者的治愈 几率，对乳腺疾病研究的智能化发展具有重要价值。
命名实体识别的概念在MUC-6(Message Understanding Conference)首次被 提出后，随着其发展范围的不断扩大，针对各种特定领域的研究和应用不断被提 出，逐渐也成为了医疗文本结构化领域的一项重要技术手段。针对医疗领域，该 研究在医学信息学的临床决策支持、用户健康信息学的用户健康状况建模和个性 化医疗服务系统中皆有应用。目前，虽然深度神经网络技术在命名实体识别的应 用中取得了一定成果，但要获得较好的识别效果需建立在大量已标注数据训练的 基础上。由于神经网络自身结构特性和数据分布问题，模型识别性能存在上限， 不能满足临床医疗应用中对模型输出结果的高准确性要求。因此，寻找新方法进 一步提升实体识别性能也有着重要意义。
发明内容
本发明所要解决的技术问题是：提供一种基于多智能体强化学习的乳腺病历 实体识别标注增强系统，能够有效修正深度学习实体识别模型预测结果中的错误 标签，进一步提高识别准确率。
本发明解决其技术问题所采用的技术方案是：
一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在 于，包括以下模块：
乳腺临床电子病历数据预处理模块：对乳腺临床电子病历数据从病历内容、 结构特征、语言特征和语义特征进行分析，根据分析结果完成对电子病历数据的 清洗与整合，并完成乳腺临床实体类别定义和实体标注工作，采用Word2vector 完成文本向量化处理；该模块用于将原始数据处理为系统可识别分析的表示形 式；
医疗临床实体识别模块：采用GRU结构构建BiGRU-CRF模型进行实体识 别；该模块用于提取文本中的医疗概念实体；
强化学习标注增强模块：利用部分可观测马尔科夫决策过程建立多智能体强 化学习模型以适应多个序列标注协同预测的情况；模型学习采用适用于高维动作 空间的深度确定性策略梯度算法，使得在序列标签排列组合而产生指数级动作空 间的情况下，仍然能够寻找到最优价值函数进行收敛，对价值网络和策略网络都 采用双网络形式，使网络快速向优化目标靠拢；该模块在不影响原实体识别模型 泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进 一步提高实体识别性能。
优选地，所述乳腺临床电子病历数据预处理模块包括：
数据清洗子模块，从原始数据中抽取并整合文本数据，消除噪声和冗余数据， 并对文本中的常见表达问题进行修正，使数据更为规范化，用于下一步研究分析；
数据标注子模块，定义临床实体类型及标识符，并对选中的文本数据进行标 注；
文本向量化子模块，通过Word2Vec技术在字符级对文本进行向量化，生成 字向量表示。
更优选地，所述数据清洗子模块包括：依据XML语法规范，采用基于规则 的方式分段提取文本数据，并依据医疗卡号将同一患者多次就诊记录进行整合； 对数据进行筛选，删除噪声数据和冗余数据；并修正错别字、常见术语及特殊符、 异常数据的问题。
更优选地，所述数据标注子模块包括：依据乳腺电子病历内容特征定义6大 类医疗临床命名实体类型及其标示符，并采用BIO标注模式对文本数据进行实 体标注。
更优选地，所述文本向量化子模块包括：采用Word2vec技术中的CBOW算 法，以字符为单位，将每个字符的One-Hot表示映射成低维连续空间中的稠密向 量，获得字向量表示。
优选地，所述医疗临床实体识别模块包括：BiGRU-CRF深度学习算法，通 过双向GRU神经网络学习文本的上下文特征，生成包含上下文关联信息的隐层 向量；并利用条件随机场有效捕捉句子级别的标注序列信息，最终获得标签序列 预测结果。
优选地，所述强化学习模块包括：基于部分可观测马尔科夫决策过程的多智 能体强化学习模型，适应序列预测需要对多个文字联合标注的情况，满足上下文 之间协同工作的需求；同时，针对序列预测的动作空间由于标签序列的排列组合 而达到指数量级的情况，采用适用于高维动作空间的深度确定性策略梯度算法寻 找最优价值函数，并对算法中的网络采用双网络模式避免过度估计。
本发明基于部分可观测马尔科夫决策过程设计了针对实体识别序列标注的 多智能体强化学习模型，对标注结果进行修正。
本发明与传统技术相比，具有以下有益效果：
本发明针对乳腺疾病临床电子病历文本，利用强化学习辅助实体识别，在不 影响原实体识别模型泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体 标签进行修正，以进一步提高实体识别性能。该方法相比于传统深度学习实体识 别模型，有效提高了准确率，在原BiGRU-CRF模型的基础上提升了4.45％的准 确率。本发明提取出的临床医疗实体可为后续乳腺疾病的快速精准查询服务及临 床决策支持等提供了坚实的基础。一方面可用于建设乳腺疾病风险患者识别标 记、疾病药物推荐、辅助决策诊断等系统，帮助医生提高乳腺疾病规范化诊疗的 执行效率，予以科学的依据和建议方案；另一方面，还可以协助医生发现诊疗过 程中潜在的非正常情况，降低误诊和漏诊率，提高乳腺疾病患者的治愈几率，对 乳腺疾病研究的智能化发展具有重要价值。
附图说明
图1为本发明提供的基于多智能体强化学习的乳腺病历实体识别标注增强 系统的框架图；
图2为本发明中乳腺临床电子病历数据预处理过程的流程图；
图3为本发明中BiGRU-CRF实体识别模型；
图4为本发明中深度确定性策略梯度算法框架。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
实施例
本发明提供了一种基于多智能体强化学习的乳腺病历实体识别标注增强系 统，即一种利用深度学习算法进行乳腺电子病历临床医疗实体提取，进而采用强 化学习进行标签修正的系统，其包括：1)乳腺临床电子病历数据预处理模块： 对乳腺临床电子病历数据从病历内容、结构特征、语言特征和语义特征等进行分 析。根据分析结果完成对电子病历数据的清洗与整合，并完成乳腺临床实体类别 定义和实体标注工作，采用Word2vector完成文本向量化处理。该模块用于将原 始数据处理为系统可识别分析的表示形式；2)医疗临床实体识别模块：采用更 轻量级的GRU结构代替了常用的LSTM神经网络单元，构建了BiGRU-CRF模 型进行实体识别。该模块用于提取文本中的医疗概念实体；3)强化学习标注增 强模块：利用部分可观测马尔科夫决策过程建立了多智能体强化学习模型以适应 多个序列标注协同预测的情况。模型学习采用适用于高维动作空间的深度确定性 策略梯度算法，使得在序列标签排列组合而产生指数级动作空间的情况下，仍然 能够寻找到最优价值函数进行收敛，对价值网络和策略网络都采用双网络形式， 使网络快速向优化目标靠拢。该模块在不影响原实体识别模型泛化性能的基础 上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进一步提高实体识 别性能。
结合图1，本发明的总体框架主要分为三大模块。首先，将原始医疗电子病 历数据输入预处理模块，经处理后最终获得后续识别模块可处理的表示形式。然 后，进行BiGRU-CRF深度学习实体识别模型。训练完成后对数据进行预测，将 预测结果作为输入数据送入强化学习标注增强模型通过Actor-Critic模式的深度 确定性策略梯度算法进行学习和修正。
在预处理过程中，从病历内容、结构特征、语言特征和语义特征等对电子病 历数据进行分析，完成了数据清洗和数据标注。针对中文分词边界歧义问题，以 字符为单位进行文本向量化。在实体识别训练过程中，为提高收敛速度，使用轻 量级GRU结构代替LSTM构建神经网络。在强化学习过程中，通过部分可观测 马尔科夫决策过程建立多智能体强化学习模型，采用深度确定性策略梯度算法进 行学习，对标签进行修正。
结合图2，实现乳腺临床电子病历数据的预处理。由于数据的质量会影响最 终模型训练的效果，需要对原始数据先进行清洗。在数据标注过程中，定义了疾 病诊断、检查、检验、手术、药物、解剖部位共6类实体及其表示符，采用BIO 标注模式进行标注。最后通过生成字向量获得模型可处理的文本表示形式。具体 步骤如下：
步骤1：基于规则匹配XML标签，从原始XML文件中提取电子病历文本；
步骤2：依据医疗卡号选出同一患者的所有病历记录进行整合；
步骤3：删除非乳腺疾病为主要疾病的噪声数据、缺失率超多50％的数据及 冗余数据；
步骤4：修正错别字、常见术语及特殊符的错误表示、异常数据等问题；并 同时进入步骤5和步骤6；
步骤5：根据预定义的实体类型采用BIO标注模式对需要标注的数据标注， 构建训练数据语料库；
步骤6：生成每个字符的One-hot向量；
步骤7：输入上下文One-hot向量，预测中心字One-hot向量，训练CBOW 模型；
步骤8：得到CBOW模型收敛后的参数，即字向量。
结合图3，基于BiGRU-CRF的深度学习算法，实现临床实体识别。在实体 识别过程中，深度学习算法根究输入的字向量序列，通过双向GRU神经网络学 习上下文之间的依赖关系，获得包含关联信息的隐层表示，交予softmax计算对 应各实体标签的概率。并通过CRF层有效捕捉句子级别的序列标注信息，最终 计算获得联合概率最大的标签序列。具体步骤及其伪代码如下：
定义算法输入为字向量序列E＝{emb(x1),…,emb(xi),…,emb(xn)}，ht为隐层 状态，
为由softmax所得的第i个字的标签为yi的概率，A为转移矩阵，
为yi的下一个标签为yi+1的转移概率，最终算法输出位一个标签序列 Y＝{y1,y2,…,yn}。
步骤1：输入字向量序列E＝{emb(x1),…,emb(xi),…,emb(xn)}；
步骤2：经过双向GRU层中GRU单元的更新门、复位门生成隐层状态ht；
步骤3：将隐层状态ht输入softmax得到每个字对应每个标签的概率
步骤4：经过CRF层计算序列得分
最终选 择得分最大的序列。
结合图4，基于强化学习方法，实现实体识别标注修正。将深度学习实体识 别模型的预测结果输入强化学习模型，将文本序列和已有标注结果作为强化学习 的环境状态，根据反馈奖励不断修正标注结果，直到最大化累积收益。多智能体 强化学习基于部分可观测马尔科夫决策过程的建模如下：
G＝<S，A，P，R，Ω，O，γ>
其中，S为多智能体的一组优先的状态集合；A为对应的动作集合；P为在 t时刻，由状态s采取动作a转变为状态s’的转移概率函数；R为采取动作a带 来的收益的函数；Ω为环境观测对象的集合；O为条件观测概率函数，表示在上 一时刻采取动作a，到达当前状态s，能观测到环境对象z∈Ω的概率但在本发明 中，参考Ryan Lowe等人提出的通用多智能体Actor-Critic算法思想，仅考虑使 用本地信息(即自己的观察)来学习策略，并且不假设可微的环境动态模型和任 何特定结构的智能体间的通信方法；γ为折扣因子。
结合图4，强化学习框架采用Actor-Critic模式，策略网络π作为Actor，价 值网络Q作为Critic，采用中心化训练和分散式预测的方式，其框架图如图1所 示。策略网络以其他智能体的策略作为额外增强信息进行训练，但在预测时不使 用这些信息。而Deep Q-learning中的Q网络在训练和预测时无法分别包含不同 的信息，因此，仅访问本地信息(即自己的观察)。同时，为使智能体更好的进 行协作，互相了解各自所掌握的环境状态，对价值网络参数进行共享。
具体步骤如下：
步骤1：将深度学习实体识别模型的预测结果作为输入数据送入强化学习模 型；
步骤2：智能体的策略根据环境和观察选择相应动作执行；
步骤3：执行动作后，环境进入下一状态；
步骤4：根据得到的环境计算该动作的反馈奖励；
步骤5：策略根据环境和反馈奖励执行下一个动作，反复迭代，直到最大化 累计收益。
基于深度确定性策略梯度的多智能体强化学习算法如下：
Claims (7)
1.一种基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，包括以下模块：
乳腺临床电子病历数据预处理模块：对乳腺临床电子病历数据从病历内容、结构特征、语言特征和语义特征进行分析，根据分析结果完成对电子病历数据的清洗与整合，并完成乳腺临床实体类别定义和实体标注工作，采用Word2vector完成文本向量化处理；该模块用于将原始数据处理为系统可识别分析的表示形式；
医疗临床实体识别模块：采用GRU结构构建BiGRU-CRF模型进行实体识别；该模块用于提取文本中的医疗概念实体；
强化学习标注增强模块：利用部分可观测马尔科夫决策过程建立多智能体强化学习模型以适应多个序列标注协同预测的情况；模型学习采用适用于高维动作空间的深度确定性策略梯度算法，使得在序列标签排列组合而产生指数级动作空间的情况下，仍然能够寻找到最优价值函数进行收敛，对价值网络和策略网络都采用双网络形式，使网络快速向优化目标靠拢；该模块在不影响原实体识别模型泛化性能的基础上，对从乳腺电子病历中抽取出的错误实体标签进行修正，以进一步提高实体识别性能。
2.如权利要求1所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述乳腺临床电子病历数据预处理模块包括：
数据清洗子模块，从原始数据中抽取并整合文本数据，消除噪声和冗余数据，并对文本中的常见表达问题进行修正，使数据更为规范化，用于下一步研究分析；
数据标注子模块，定义临床实体类型及标识符，并对选中的文本数据进行标注；
文本向量化子模块，通过Word2Vec技术在字符级对文本进行向量化，生成字向量表示。
3.如权利要求2所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述数据清洗子模块包括：依据XML语法规范，采用基于规则的方式分段提取文本数据，并依据医疗卡号将同一患者多次就诊记录进行整合；对数据进行筛选，删除噪声数据和冗余数据；并修正错别字、常见术语及特殊符、异常数据的问题。
4.如权利要求2所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述数据标注子模块包括：依据乳腺电子病历内容特征定义6大类医疗临床命名实体类型及其标示符，并采用BIO标注模式对文本数据进行实体标注。
5.如权利要求2所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述文本向量化子模块包括：采用Word2vec技术中的CBOW算法，以字符为单位，将每个字符的One-Hot表示映射成低维连续空间中的稠密向量，获得字向量表示。
6.如权利要求1所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述医疗临床实体识别模块包括：BiGRU-CRF深度学习算法，通过双向GRU神经网络学习文本的上下文特征，生成包含上下文关联信息的隐层向量；并利用条件随机场有效捕捉句子级别的标注序列信息，最终获得标签序列预测结果。
7.如权利要求1所述的基于多智能体强化学习的乳腺病历实体识别标注增强系统，其特征在于，所述强化学习模块包括：基于部分可观测马尔科夫决策过程的多智能体强化学习模型，适应序列预测需要对多个文字联合标注的情况，满足上下文之间协同工作的需求；同时，针对序列预测的动作空间由于标签序列的排列组合而达到指数量级的情况，采用适用于高维动作空间的深度确定性策略梯度算法寻找最优价值函数，并对算法中的网络采用双网络模式避免过度估计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010085426.7A CN111312354B (zh) | 2020-02-10 | 2020-02-10 | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010085426.7A CN111312354B (zh) | 2020-02-10 | 2020-02-10 | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111312354A true CN111312354A (zh) | 2020-06-19 |
| CN111312354B CN111312354B (zh) | 2023-10-24 |
Family
ID=71148331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010085426.7A Active CN111312354B (zh) | 2020-02-10 | 2020-02-10 | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111312354B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986814A (zh) * | 2020-08-21 | 2020-11-24 | 南通大学 | 一种红斑狼疮患者的狼疮性肾炎预测模型的建模方法 |
| CN112802570A (zh) * | 2021-02-07 | 2021-05-14 | 成都延华西部健康医疗信息产业研究院有限公司 | 一种针对电子病历命名实体识别系统及方法 |
| CN112860842A (zh) * | 2021-03-05 | 2021-05-28 | 联仁健康医疗大数据科技股份有限公司 | 病历标注方法、装置及存储介质 |
| CN113377884A (zh) * | 2021-07-08 | 2021-09-10 | 中央财经大学 | 基于多智能体增强学习的事件语料库提纯方法 |
| CN115394435A (zh) * | 2022-09-09 | 2022-11-25 | 北京大学 | 基于深度学习的关键临床指标实体识别方法和系统 |
| CN116779150A (zh) * | 2023-07-03 | 2023-09-19 | 浙江一山智慧医疗研究有限公司 | 基于多智能体互动的个性化医疗决策方法、装置及应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710741A (zh) * | 2018-12-27 | 2019-05-03 | 中山大学 | 一种面向在线问答平台的基于深度强化学习的问题标注方法 |
| CN109871538A (zh) * | 2019-02-18 | 2019-06-11 | 华南理工大学 | 一种中文电子病历命名实体识别方法 |
| CN110335653A (zh) * | 2019-06-30 | 2019-10-15 | 浙江大学 | 基于openEHR病历格式的非标准病历解析方法 |
| CN110444261A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 序列标注网络训练方法、电子病历处理方法及相关装置 |
-
2020
- 2020-02-10 CN CN202010085426.7A patent/CN111312354B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710741A (zh) * | 2018-12-27 | 2019-05-03 | 中山大学 | 一种面向在线问答平台的基于深度强化学习的问题标注方法 |
| CN109871538A (zh) * | 2019-02-18 | 2019-06-11 | 华南理工大学 | 一种中文电子病历命名实体识别方法 |
| CN110335653A (zh) * | 2019-06-30 | 2019-10-15 | 浙江大学 | 基于openEHR病历格式的非标准病历解析方法 |
| CN110444261A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 序列标注网络训练方法、电子病历处理方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 杨红梅;李琳;杨日东;周毅;: "基于双向LSTM神经网络电子病历命名实体的识别模型" * |
| 王若佳;魏思仪;王继民;: "BiLSTM-CRF模型在中文电子病历命名实体识别中的应用研究" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986814A (zh) * | 2020-08-21 | 2020-11-24 | 南通大学 | 一种红斑狼疮患者的狼疮性肾炎预测模型的建模方法 |
| CN111986814B (zh) * | 2020-08-21 | 2024-01-16 | 南通大学 | 一种红斑狼疮患者的狼疮性肾炎预测模型的建模方法 |
| CN112802570A (zh) * | 2021-02-07 | 2021-05-14 | 成都延华西部健康医疗信息产业研究院有限公司 | 一种针对电子病历命名实体识别系统及方法 |
| CN112860842A (zh) * | 2021-03-05 | 2021-05-28 | 联仁健康医疗大数据科技股份有限公司 | 病历标注方法、装置及存储介质 |
| CN113377884A (zh) * | 2021-07-08 | 2021-09-10 | 中央财经大学 | 基于多智能体增强学习的事件语料库提纯方法 |
| CN115394435A (zh) * | 2022-09-09 | 2022-11-25 | 北京大学 | 基于深度学习的关键临床指标实体识别方法和系统 |
| CN115394435B (zh) * | 2022-09-09 | 2023-04-25 | 北京大学 | 基于深度学习的关键临床指标实体识别方法和系统 |
| CN116779150A (zh) * | 2023-07-03 | 2023-09-19 | 浙江一山智慧医疗研究有限公司 | 基于多智能体互动的个性化医疗决策方法、装置及应用 |
| CN116779150B (zh) * | 2023-07-03 | 2023-12-22 | 浙江一山智慧医疗研究有限公司 | 基于多智能体互动的个性化医疗决策方法、装置及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111312354B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111312354B (zh) | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 | |
| CN110750959B (zh) | 文本信息处理的方法、模型训练的方法以及相关装置 | |
| CN111222340B (zh) | 基于多标准主动学习的乳腺电子病历实体识别系统 | |
| CN111540468B (zh) | 一种诊断原因可视化的icd自动编码方法与系统 | |
| Liu et al. | Medical-vlbert: Medical visual language bert for covid-19 ct report generation with alternate learning | |
| CN116682553B (zh) | 一种融合知识与患者表示的诊断推荐系统 | |
| Hu et al. | Automatic construction of chinese herbal prescriptions from tongue images using CNNs and auxiliary latent therapy topics | |
| CN110277167A (zh) | 基于知识图谱的慢性非传染性疾病风险预测系统 | |
| CN111078875A (zh) | 一种基于机器学习的从半结构化文档中提取问答对的方法 | |
| CN113707339B (zh) | 一种多源异质数据库间概念对齐与内容互译方法及系统 | |
| CN111858940A (zh) | 一种基于多头注意力的法律案例相似度计算方法及系统 | |
| CN111582506A (zh) | 基于全局和局部标记关系的偏多标记学习方法 | |
| Tang et al. | Bafn: Bi-direction attention based fusion network for multimodal sentiment analysis | |
| CN110322959A (zh) | 一种基于知识的深度医疗问题路由方法及系统 | |
| Zhao et al. | Recognition of the agricultural named entities with multifeature fusion based on albert | |
| CN117316466A (zh) | 一种基于知识图谱与自然语言处理技术的临床决策方法、系统及设备 | |
| CN111710428A (zh) | 一种建模全局和局部上下文交互的生物医学文本表示方法 | |
| CN114359656A (zh) | 一种基于自监督对比学习的黑色素瘤图像识别方法和存储设备 | |
| Bu et al. | Efficient Utilization of Pre-trained Models: A Review of Sentiment Analysis via Prompt Learning | |
| Ishmam et al. | From image to language: A critical analysis of visual question answering (vqa) approaches, challenges, and opportunities | |
| CN112562809A (zh) | 一种基于电子病历文本进行辅助诊断的方法及系统 | |
| CN116168828A (zh) | 基于知识图谱和深度学习的疾病预测方法、装置及计算机设备 | |
| CN110516234A (zh) | 基于gru的中医文本分词方法、系统、设备及介质 | |
| Ma et al. | An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT | |
| CN114582449A (zh) | 基于XLNet-BiGRU-CRF模型的电子病历命名实体标准化方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |