CN115132314B - 检查印象生成模型训练方法、装置及生成方法 - Google Patents

检查印象生成模型训练方法、装置及生成方法 Download PDF

Info

Publication number
CN115132314B
CN115132314B CN202211059675.4A CN202211059675A CN115132314B CN 115132314 B CN115132314 B CN 115132314B CN 202211059675 A CN202211059675 A CN 202211059675A CN 115132314 B CN115132314 B CN 115132314B
Authority
CN
China
Prior art keywords
examination
impression
features
clinical information
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211059675.4A
Other languages
English (en)
Other versions
CN115132314A (zh
Inventor
汤进
曹明伟
赵海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202211059675.4A priority Critical patent/CN115132314B/zh
Publication of CN115132314A publication Critical patent/CN115132314A/zh
Application granted granted Critical
Publication of CN115132314B publication Critical patent/CN115132314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种检查印象生成模型训练方法、装置及生成方法，通过获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；对所述原始检查所见进行规范化处理，以获取规范化检查所见；分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。利用所述检查印象生成模型，输入检查所见，结合患者的临床信息，能够自动地生成语义连贯的、准确的检查印象，既能让专业医生从繁重的工作中解脱出来，又能减少医疗事故的发生。

Description

检查印象生成模型训练方法、装置及生成方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种检查印象生成模型训练方法、装置及生成方法。
背景技术
在临床上，许多放射科医生需要每天阅读大量的放射学图像，并为每张图像撰写诊断报告，这占据了放射科医生的大部分工作时间，此外，部分年轻的医生由于缺乏经验甚至会出现误诊、漏诊的现象。
为了解决这些问题，人工智能领域中医学报告自动生成方法被应用于医学影像辅助诊断中，这大大减少了放射科医生的工作量，并帮助没有经验的放射科医生作出准确的诊断。然而，现有的基于人工智能技术的医学影像报告自动生成方法很多都是基于编码器-解码器架构，首先由编码器输入医学图像，编码得到其视觉特征序列，然后由解码器解码输出一段描述图像内容的文本，即视为自动生成的报告，这类方法往往侧重于对检查所见的描述，较少涉及诊断结论性的检查印象的自动生成。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种检查印象生成模型训练方法、装置及生成方法。
为实现上述目的及其他相关目的，本发明提供一种检查印象生成模型训练方法，包括：
获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；
对所述原始检查所见进行规范化处理，以获取规范化检查所见；
分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；
利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。
在本发明的一可选实施例中，对所述原始检查所见进行规范化处理，以获取规范化检查所见，包括：
按照预先制定的规则对所述原始检查所见进行规范化处理，以获取规范化检查所见。
在本发明的一可选实施例中，对所述规范化检查所见进行特征提取，以获取检查所见特征，包括：
基于预定义医学术语词典，采用预设分词工具对所述规范化检查所见进行分词，以获取若干第一字词特征；
将若干所述第一字词特征拼接，以得到所述规范化检查所见的检查所见特征。
在本发明的一可选实施例中，对所述检查印象进行特征提取，以获取检查印象特征，包括：
基于预定义医学术语词典，采用预设分词工具对所述检查印象进行分词，以获取若干第二字词特征；
将若干所述第二字词特征拼接，以得到所述检查印象的检查印象特征。
在本发明的一可选实施例中，所述预设分词工具为jieba分词工具。
在本发明的一可选实施例中，所述临床信息包括年龄和性别。
在本发明的一可选实施例中，利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型包括：
利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象；
利用生成的新的检查印象来计算所述解码器网络的交叉熵损失函数值；
根据所述交叉熵损失函数值不断更新所述解码器网络的网络参数，直至网络收敛，以生成所述医学影像检查印象生成模型。
在本发明的一可选实施例中，所述解码器网络包括基于transfomer架构中的解码器模块、循环神经网络或长短期记忆网络。
为实现上述目的及其他相关目的，本发明还提供一种检查印象生成模型训练装置，包括：
数据获取模块，用于获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；
规范化处理模块，用于对所述原始检查所见进行规范化处理，以获取规范化检查所见；
特征提取模块，用于分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；
模型训练模块，用于利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。
为实现上述目的及其他相关目的，本发明还提供一种检查印象生成方法，包括：获取目标医学影像的规范化检查所见及临床信息；将所述规范化检查所见及所述临床信息输入至医学影像检查印象生成模型来生成所述目标医学影像的检查印象，其中，所述医学影像检查印象生成模型为根据上述方法训练得到。
本发明的检查印象生成模型训练方法、装置及检查印象生成方法，通过获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；对所述原始检查所见进行规范化处理，以获取规范化检查所见；分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。利用所述医学影像检查印象生成模型，输入检查所见，结合患者的临床信息，能够自动地生成语义连贯的、准确的检查印象，既能让专业医生从繁重的工作中解脱出来，又能减少医疗事故的发生。
附图说明
图1显示为本发明的检查印象生成模型训练方法的流程示意图。
图2显示为本发明的获取检查所见特征的流程示意图。
图3显示为本发明的获取检查印象特征的流程示意图。
图4显示为本发明的检查印象生成模型训练装置的功能模块图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
放射科医生撰写影像报告的大致流程是，首先通过阅读患者受检查部位的医学影像，进行详细的异常分析和描述，形成检查所见，然后结合自身的专业知识和临床经验以及患者的临床信息等，撰写得到诊断结论性的检查印象，最后由患者的基本信息、检查所见、检查印象等组合得到最终的结构化检查报告。这种方式会占用放射科医生的大部分工作时间，并且会由于医生缺乏经验甚至会出现误诊、漏诊的现象。
基于此本发明提出一种医学影像检查印象生成模型训练方法，利用训练获得的医学影像检查印象生成模型，通过输入检查所见，结合患者的临床信息，能够自动地生成语义连贯的、准确的检查印象，既能让专业医生从繁重的工作中解脱出来，又能减少医疗事故的发生。并且该模型复杂性小，工作效率高。
请参阅图2所示，图2示出了本发明的医学影像检查印象生成模型训练方法的较佳实施例的流程图。所述医学影像检查印象生成模型训练方法包括如下步骤：
S10：获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；
S20：对所述原始检查所见进行规范化处理，以获取规范化检查所见；
S30：分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；
S40：利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。
首先，执行步骤S10：获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象。
在本实施例中，所述训练数据为医学影像报告，所述医学影像报告通常包括原始检查所见、临床信息和检查印象。
作为示例，训练数据的样例如下：
原始检查所见：胸廓对称，气管居中，两肺纹理增多，未见明显实质性病变，心影增大，纵隔影无明显增宽，两膈面光滑，两肋膈角锐利。
临床信息：年龄28岁，性别女。
检查印象：心影增大，结合临床。
接着，执行步骤S20：对所述原始检查所见进行规范化处理，以获取规范化检查所见。
所述规范化检查所见是由原始检查所见按照人为制定的规则处理获得的，排除医生因撰写不规范而导致检查所见语义相同，内容却不相同的情况，避免检查所见书写不规范带来的干扰，使得网络能更好的捕获检查所见本身的语义联系和内在逻辑。
作为示例，对上述训练数据样例的原始检查所见进行规划化处理后获取的规范化检查所见为：胸廓对称，形态未见明显异常;气管居中；纵隔居中;双侧肺纹理未见明显增多，走形尚规整；肺实质未见明显异常;心影增大;肺门大小,形态未见明显异常；主动脉未见明显异常；两膈面光整；肋膈角清晰锐利;胸膜及胸腔无异常;骨骼形态规则，未见明显异常;未见体内异常异物影。
接着，执行步骤S30：分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征。
在本实施例中，如图3所示，对所述规范化检查所见进行特征提取，以获取检查所见特征，首先，基于预定义医学术语词典，采用预设分词工具对所述规范化检查所见进行分词，以获取若干第一字词特征（步骤S311）；然后，将若干所述第一字词特征拼接，以得到所述规范化检查所见的检查所见特征（步骤S312）。
其中，所述预定义医学术语词典是由专业的医学术语构建的词库，由专业的医学术语作为词库对规范化检查所见进行分词，有助于网络生成更为准确的检查印象。所述预设分词工具可以为jieba分词工具、ltp分词工具及ir分词工具。
具体地，例如基于预定义医学术语词典，可通过jieba分词工具对所述规范化检查所见进行分词，得到一个个字词，其中，拆分出字词拼凑可以得到完整的表示规范化检查所见的内容；根据分词结果抽取字词特征，拼凑形成检查所见的文本特征，也就是说，检查所见的文本特征是由每个字词特征拼接而成的。作为示例，根据分词结果抽取字词特征，是将分词后的字词通过独热（one-hot Encoding）编码成一个N维向量，比如胸廓用一个N维向量表示，向量维度与预定义医学术语词典中字词个数相同。
在本实施例中，所述临床信息包括年龄和性别，通过对临床信息抽取文本特征，来获取临床信息特征。具体地，通过对临床信息进行独热（one-hot Encoding）编码来获取临床信息特征。
在本实施例中，对所述检查印象进行特征提取，以获取检查印象特征，首先，基于预定义医学术语词典，采用预设分词工具对所述检查印象进行分词，以获取若干第二字词特征（步骤S321）；接着，将若干所述第二字词特征拼接，以得到所述检查印象的检查印象特征（步骤S322），所述检查印象特征用来在网络训练阶段衡量生成的检查印象的好坏。
具体地，例如基于预定义医学术语词典，可通过jieba分词工具对所述检查印象进行分词，得到一个个字词，其中，拆分出字词拼凑可以得到完整的表示检查印象的内容；根据分词结果抽取字词特征，拼凑形成检查印象的文本特征，也就是说，检查印象的文本特征是由每个字词特征拼接而成的。作为示例，根据分词结果抽取字词特征，是将分词后的字词通过独热（one-hot Encoding）编码成一个N维向量，向量维度与预定义医学术语词典中字词个数相同。
最后，执行步骤S40：利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。其中，所述解码器网络包括基于transfomer架构中的解码器模块、循环神经网络或长短期记忆网络。
具体地，进行模型训练时，利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象；利用生成的新的检查印象来计算所述解码器网络的交叉熵损失函数值；根据所述交叉熵损失函数值不断更新所述解码器网络的网络参数，直至网络收敛，以生成所述医学影像检查印象生成模型。
其中，所述解码器网络的交叉熵损失函数值的计算公式为：
Figure 796333DEST_PATH_IMAGE001
其中，L为损失值，y i 表示样本i的标签，正类为1，负类为0，p i 表示样本i预测为正类的概率。
作为示例，解码器网络为基于transfomer架构中的解码器模块，在进行模型训练时，多头注意力机制计算规范化检查所见内部的字词关联程度，并给予注意力高的字词更大的权重。
Figure 576070DEST_PATH_IMAGE002
其中，Q是查询向量，K是键向量，V是值向量，权值就是Q与K的相似度，d k 用来保持梯度的稳定。
对规范化检查所见和临床信息（年龄、性别）进行归一化处理，并通过前馈网络传播信息。作为示例，例如可用normalization函数来进行归一化处理。
通过softmax函数计算每个时间步最大的概率值，最大概率值对应的字或词，即为该时间步的生成内容，据此可以逐步生成完整的检查印象。例如模型最终能够生成的检查印象为心影增大。
Figure 299176DEST_PATH_IMAGE003
其中，z i 为第i个节点的输出值，C为输出节点的个数，即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]和为1的概率分布。
模型训练完成后，就可以利用测试数据对训练好的模型进行测试，以验证模型的实际效果。
在本实施例中，还介绍一种利用上述训练方法训练的医学影像检查印象生成模型的医学影像检查印象生成方法，包括：
获取目标医学影像的规范化检查所见及临床信息；将所述规范化检查所见及所述临床信息输入至医学影像检查印象生成模型，以生成所述目标医学影像的检查印象。
具体地，所述医学影像检查印象生成模型对所述规范化检查所见和所述临床信息进行编码处理，以获取能够被计算机理解的文本特征（检查所见特征和临床信息特征），根据所述文本特征生成语意连贯的、准确的检查印象。
需要说明的是，所述规范化检查所见是由原始检查所见按照人为制定的规则处理获得的，排除医生因撰写不规范而导致检查所见语义相同，内容却不相同的情况，避免检查所见书写不规范带来的干扰，使得网络能更好的捕获检查所见本身的语义联系和内在逻辑。
本发明的医学影像检查印象生成方法，首先对原始的检查所见进行预处理得到规范化的检查所见，再将规范化的检查所见和年龄、性别等信息编码成计算机能理解的文本特征，并且无需使用医学影像，最终生成语义连贯的、准确的检查印象。
本发明的医学影像检查印象生成方法，可用于医学影像辅助诊断，由于预先规范处理了原始的检查所见，有效去除了其中的干扰信息，并且结合了年龄、性别等临床信息，帮助网络做出正确的判断，极大的提高了网络生成结果的可靠性与准确性，最终得到了语义连贯的、准确的检查印象，避免了医生大量的重复性工作，同时也有效的避免了医疗事故的发生，具有一定的临床实用性最终得到了语义连贯的、准确的检查印象。
本发明的医学影像检查印象生成方法大大降低模型的复杂性，提高了模型的效率。
如图4所示，图4示出了本发明的医学影像检查印象生成模型训练装置11的较佳实施例的功能模块图。所述医学影像检查印象生成模型训练装置11包括数据获取模块111、规范化处理模块112、特征提取模块113及模型训练模块114。
所述数据获取模块111用于获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；所述规范化处理模块112用于对所述原始检查所见进行规范化处理，以获取规范化检查所见；所述特征提取模块113用于分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；所述模型训练模块114用于利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型。
需要说明的是，本发明的医学影像检查印象生成模型训练装置11是与上述医学影像检查印象生成模型训练方法相对应的虚拟装置，医学影像检查印象生成模型训练装置11中的功能模块分别对应医学影像检查印象生成模型训练方法中的相应步骤。本发明的医学影像检查印象生成模型训练装置11可与医学影像检查印象生成模型训练方法相互相配合实施。本发明的医学影像检查印象生成模型训练方法中提到的相关技术细节在医学影像检查印象生成模型训练11中依然有效，为了减少重复，这里不再赘述。相应地，本发明的医学影像检查印象生成模型训练装置11中提到的相关技术细节也可应用在上述医学影像检查印象生成模型训练方法中。
需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
在本文的描述中，提供了许多特定细节，诸如部件和/或方法的实例，以提供对本发明实施例的完全理解。然而，本领域技术人员将认识到可以在没有一项或多项具体细节的情况下或通过其他设备、系统、组件、方法、部件、材料、零件等等来实践本发明的实施例。在其他情况下，未具体示出或详细描述公知的结构、材料或操作，以避免使本发明实施例的方面变模糊。
还应当理解还可以以更分离或更整合的方式实施附图所示元件中的一个或多个，或者甚至因为在某些情况下不能操作而被移除或因为可以根据特定应用是有用的而被提供。
另外，除非另外明确指明，附图中的任何标志箭头应当仅被视为示例性的，而并非限制。此外，除非另外指明，本文所用的术语“或”一般意在表示“和/或”。在术语因提供分离或组合能力是不清楚的而被预见的情况下，部件或步骤的组合也将视为已被指明。
本发明所示实施例的上述描述(包括在说明书摘要中所述的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明所述实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。
本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
因而，尽管本发明在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换亦在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。

Claims (7)

1.一种检查印象生成模型训练方法，其特征在于，包括：
获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；
按照预先制定的规则对所述原始检查所见进行规范化处理，以获取规范化检查所见，以排除医生因撰写不规范而导致所述原始检查所见语义相同，内容却不相同的情况，避免所述原始检查所见书写不规范带来的干扰；
分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；
利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型，其中，所述解码器网络为基于transfomer架构中的解码器模块；
其中，利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型包括：
利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象；
利用生成的新的检查印象来计算所述解码器网络的交叉熵损失函数值；
根据所述交叉熵损失函数值不断更新所述解码器网络的网络参数，直至网络收敛，以生成所述医学影像检查印象生成模型；
其中，利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象，具体包括：
在进行模型训练时，多头注意力机制计算规范化检查所见内部的字词关联程度，并给予注意力高的字词更大的权重；
对规范化检查所见和临床信息进行归一化处理，并通过前馈网络传播信息 ；
通过softmax函数计算每个时间步最大的概率值，最大概率值对应的字或词，即为该时间步的生成内容，据此逐步生成所述新的检查印象。
2.根据权利要求1所述的检查印象生成模型训练方法，其特征在于，对所述规范化检查所见进行特征提取，以获取检查所见特征，包括：
基于预定义医学术语词典，采用预设分词工具对所述规范化检查所见进行分词，以获取若干第一字词特征；
将若干所述第一字词特征拼接，以得到所述规范化检查所见的检查所见特征。
3.根据权利要求1所述的检查印象生成模型训练方法，其特征在于，对所述检查印象进行特征提取，以获取检查印象特征，包括：
基于预定义医学术语词典，采用预设分词工具对所述检查印象进行分词，以获取若干第二字词特征；
将若干所述第二字词特征拼接，以得到所述检查印象的检查印象特征。
4.根据权利要求2或3所述的检查印象生成模型训练方法，其特征在于，所述预设分词工具为jieba分词工具。
5.根据权利要求1所述的检查印象生成模型训练方法，其特征在于，所述临床信息包括年龄和性别。
6.一种检查印象生成模型训练装置，其特征在于，包括：
数据获取模块，用于获取训练数据，所述训练数据包括原始检查所见、临床信息和检查印象；
规范化处理模块，用于按照预先制定的规则对所述原始检查所见进行规范化处理，以获取规范化检查所见，以排除医生因撰写不规范而导致所述原始检查所见语义相同，内容却不相同的情况，避免所述原始检查所见书写不规范带来的干扰；
特征提取模块，用于分别对所述规范化检查所见、所述临床信息及所述检查印象进行特征提取，以获取检查所见特征、临床信息特征及检查印象特征；
模型训练模块，用于利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型，其中，所述解码器网络为基于transfomer架构中的解码器模块；
其中，利用所述检查所见特征、所述临床信息特征、及所述检查印象特征对解码器网络进行训练，以获取医学影像检查印象生成模型包括：
利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象；
利用生成的新的检查印象来计算所述解码器网络的交叉熵损失函数值；
根据所述交叉熵损失函数值不断更新所述解码器网络的网络参数，直至网络收敛，以生成所述医学影像检查印象生成模型；
其中，利用所述检查所见特征和所述临床信息特征对所述解码器网络进行训练，以生成新的检查印象，具体包括：
在进行模型训练时，多头注意力机制计算规范化检查所见内部的字词关联程度，并给予注意力高的字词更大的权重；
对规范化检查所见和临床信息进行归一化处理，并通过前馈网络传播信息 ；
通过softmax函数计算每个时间步最大的概率值，最大概率值对应的字或词，即为该时间步的生成内容，据此逐步生成所述新的检查印象。
7.一种检查印象生成方法，其特征在于，包括：
获取目标医学影像的规范化检查所见及临床信息；
将所述规范化检查所见及所述临床信息输入至医学影像检查印象生成模型来生成所述目标医学影像的检查印象，其中，所述医学影像检查印象生成模型为根据权利要求1-5中任意一项所述方法训练得到。
CN202211059675.4A 2022-09-01 2022-09-01 检查印象生成模型训练方法、装置及生成方法 Active CN115132314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059675.4A CN115132314B (zh) 2022-09-01 2022-09-01 检查印象生成模型训练方法、装置及生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059675.4A CN115132314B (zh) 2022-09-01 2022-09-01 检查印象生成模型训练方法、装置及生成方法

Publications (2)

Publication Number Publication Date
CN115132314A CN115132314A (zh) 2022-09-30
CN115132314B true CN115132314B (zh) 2022-12-20

Family

ID=83387139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059675.4A Active CN115132314B (zh) 2022-09-01 2022-09-01 检查印象生成模型训练方法、装置及生成方法

Country Status (1)

Country Link
CN (1) CN115132314B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376199A (zh) * 2014-11-05 2015-02-25 宁波市科技园区明天医网科技有限公司 乳腺报告病灶示意图智能生成方法
CN106980767A (zh) * 2017-03-31 2017-07-25 上海森亿医疗科技有限公司 一种基于结构化医学数据库的数据搜索方法及系统
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN110210037A (zh) * 2019-06-12 2019-09-06 四川大学 面向循证医学领域的类别检测方法
CN110490855A (zh) * 2019-08-16 2019-11-22 四川大学华西第二医院 一种基于3d打印技术构建凶险性前置胎盘模型的方法
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012201103A1 (en) * 2004-06-23 2012-03-22 Ferguson, Ian Andrew Agents and methods for early diagnosis and monitoring of Alzheimer's disease and other neurological disorders
US20080254455A1 (en) * 2007-04-12 2008-10-16 Haiying Wang Detecting prostate cancer
JP5586835B2 (ja) * 2007-06-15 2014-09-10 オーソ−クリニカル・ダイアグノスティックス・インコーポレイテッド 臨床診断分析器性能推定器
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN109147890B (zh) * 2018-05-14 2020-04-24 平安科技（深圳）有限公司 一种医学报告的生成方法及设备
CN108962384A (zh) * 2018-07-03 2018-12-07 科大讯飞股份有限公司 一种决策结果确定方法、装置、设备及可读存储介质
CN110111864B (zh) * 2019-04-15 2023-05-26 中山大学 一种基于关系模型的医学报告生成系统及其生成方法
CN110689038B (zh) * 2019-06-25 2024-02-02 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110610489B (zh) * 2019-08-30 2021-11-23 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
CN113707257A (zh) * 2021-07-22 2021-11-26 中南大学 一种3d颅脑mri医学影像报告自动生成方法及系统
CN113903422A (zh) * 2021-09-09 2022-01-07 北京邮电大学 医疗影像诊断报告实体提取方法、装置及设备
CN114119558B (zh) * 2021-11-29 2024-05-03 桂林电子科技大学 一种自动生成鼻咽癌影像诊断结构化报告方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376199A (zh) * 2014-11-05 2015-02-25 宁波市科技园区明天医网科技有限公司 乳腺报告病灶示意图智能生成方法
CN106980767A (zh) * 2017-03-31 2017-07-25 上海森亿医疗科技有限公司 一种基于结构化医学数据库的数据搜索方法及系统
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN110210037A (zh) * 2019-06-12 2019-09-06 四川大学 面向循证医学领域的类别检测方法
CN110490855A (zh) * 2019-08-16 2019-11-22 四川大学华西第二医院 一种基于3d打印技术构建凶险性前置胎盘模型的方法
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"中文电子病历的新词发现及实体识别研究";姜涛;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210215;第2章-4章 *

Also Published As

Publication number Publication date
CN115132314A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11024066B2 (en) Presentation generating system for medical images, training method thereof and presentation generating method
CN109741806B (zh) 一种医学影像诊断报告辅助生成方法及其装置
CN111316281A (zh) 基于机器学习的自然语言情境中数值数据的语义分类
CN112070119A (zh) 超声切面图像质量控制方法、装置和计算机设备
CN114582470B (zh) 一种模型的训练方法、训练装置及医学影像报告标注方法
CN111696640A (zh) 自动获取病历模板的方法、装置和存储介质
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN115062165B (zh) 基于读片知识图谱的医学影像诊断方法及装置
CN112541066B (zh) 基于文本结构化的医技报告检测方法及相关设备
CN111008957A (zh) 医疗信息处理方法和装置
CN111191456B (zh) 一种使用序列标注进行识别文本分段的方法
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
US20220375576A1 (en) Apparatus and method for diagnosing a medical condition from a medical image
CN113656706A (zh) 基于多模态深度学习模型的信息推送方法及装置
CN115910263A (zh) 基于知识图谱的pet/ct影像报告结论辅助生成方法及装置
CN117594183A (zh) 基于反事实数据增强的放射学报告生成方法
CN117524402A (zh) 关于内镜影像分析并自动生成诊断报告的方法
CN115132314B (zh) 检查印象生成模型训练方法、装置及生成方法
CN116580801A (zh) 一种基于大型语言模型的超声检查方法
CN110570425A (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
CN115588486A (zh) 一种基于Transformer的中医诊断生成装置及其应用
CN114283140A (zh) 基于特征融合的肺部X-Ray图像分类方法、系统及存储介质
CN114708952A (zh) 一种图像标注方法、装置、存储介质和电子设备
US11386991B2 (en) Methods and apparatus for artificial intelligence informed radiological reporting and model refinement
Fagbuagun et al. Model development for pneumonia detection from chest radiograph using transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant