CN111063410B - 一种医学影像文本报告的生成方法及装置 - Google Patents

一种医学影像文本报告的生成方法及装置 Download PDF

Info

Publication number
CN111063410B
CN111063410B CN201911329296.0A CN201911329296A CN111063410B CN 111063410 B CN111063410 B CN 111063410B CN 201911329296 A CN201911329296 A CN 201911329296A CN 111063410 B CN111063410 B CN 111063410B
Authority
CN
China
Prior art keywords
medical image
identified
target
neural network
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911329296.0A
Other languages
English (en)
Other versions
CN111063410A (zh
Inventor
吴琼
欧歌
张永忠
张海鹏
黄继景
刘宗民
唐大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911329296.0A priority Critical patent/CN111063410B/zh
Publication of CN111063410A publication Critical patent/CN111063410A/zh
Application granted granted Critical
Publication of CN111063410B publication Critical patent/CN111063410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)

Abstract

本发明提供了一种医学影像文本报告的生成方法及装置，其中，所述生成方法包括：将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。用于提高医学影像文本报告的生成效率。

Description

一种医学影像文本报告的生成方法及装置
技术领域
本发明涉及图像描述技术领域，特别涉及一种医学影像文本报告的生成方法及装置。
背景技术
图像描述相较于图像识别、目标检测等技术更具有挑战性，具体来讲，其不仅需要识别图像中的目标对象，检测该目标对象的位置，还需要理解目标对象的形状色彩等属性，目标对象间的关系，目标对象参与的活动，并以自然语言的方式表述。
现有医学影像文本报告存在数据集有限，没有有效的预训练模型，语料库建立难度大等问题，无法生成更为细粒度的图像特征理解和描述文本。可见，现有医学影像文本报告的生成效率较低。
发明内容
本发明提供了一种医学影像文本报告的生成方法及装置，用于提高医学影像文本报告的生成效率。
第一方面，本发明实施例提供了一种医学影像文本报告的生成方法，包括：
将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。
在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和图像特征向量，包括：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：
确定针对所述待识别的医学影像的至少一个诊断标签；
从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。
在一种可能的实施方式中，所述对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：
确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
将二分类交叉熵作为所述卷积神经网络的损失函数；
将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；
在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；
将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。
第二方面，本发明实施例提供了一种医学影像文本报告的生成装置，包括：
第一处理单元，用于将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
第二处理单元，用于将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。
在一种可能的实施方式中，所述第一处理单元用于：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
在一种可能的实施方式中，所述第一处理单元用于：
确定针对所述待识别的医学影像的至少一个诊断标签；
从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。
在一种可能的实施方式中，所述第一处理单元用于：
确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第三处理单元，所述第三处理单元用于：
将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
将二分类交叉熵作为所述卷积神经网络的损失函数；
将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第四处理单元，所述第四处理单元用于：
将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；
在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。
在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第五处理单元，所述第五处理单元用于：
将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；
将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上面所述的医学影像报告文本的生成方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上面所述的医学影像报告文本的生成方法的步骤。
本发明的有益效果如下：
本发明实施例提供的一种医学影像文本报告的生成方法及装置，首先，将待识别的医学影像输入目标识别模型中的目标卷积神经网络，便可以输出针对该待识别的医学影像的语义特征向量和图像特征向量，然后，将经目标卷积神经网络输出的针对待识别的医学影像的语义特征向量和图像特征向量输入至目标识别模型中的目标循环神经网络，便可以由该目标循环神经网络输出针对该待识别的医学影像的文本报告，从而实现了针对该待识别的医学影像的文本报告的自动生成。此外，整个医学影像的文本报告生成过程，结合待识别的医学影像的语义特征向量和图像特征向量，从而实现了结合医学影像语义注意力的图像特征提取，将医学影像中各图像区域与相应的文本更准确的关联在一起，从而提高了医学影像的文本报告的生成效率。
附图说明
图1为本发明实施例提供的一种医学影像文本报告的生成方法的流程图；
图2为本发明实施例提供的一种医学影像文本报告的生成方法中目标识别模型的其中一种结构示意图；
图3为本发明实施例提供的一种医学影像文本报告的生成方法中步骤S102的方法流程图；
图4为本发明实施例提供的一种医学影像文本报告的生成方法中步骤S201的方法流程图；
图5为本发明实施例提供的一种医学影像文本报告的生成方法中步骤S202的方法流程图；
图6为本发明实施例提供的一种医学影像文本报告的生成方法中在步骤S101之后的方法流程图；
图7为本发明实施例提供的一种医学影像文本报告的生成方法中在步骤S101之后的方法流程图；
图8为本发明实施例提供的一种医学影像文本报告的生成方法中在步骤S101之后的方法流程图；
图9为本发明实施例提供的一种医学影像文本报告的生成装置的结构示意图；
图10为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，主要采用模板式的结构化或半结构化的方法，来生成医学影像文本报告。整个生成过程严重依赖手动设计，所生成的医学影像文本报告较为僵化，且所适用的图像场景较为有限，所生成的自然语言细节较少，可见，现有医学影像文本报告的生成效率较低。
鉴于此，本发明实施例提供了一种医学影像文本报告的生成方法及装置，用于提高医学影像文本报告的生成效率。
请参考图1，本发明实施例提供了一种医学影像文本报告的生成方法，包括：
S101：将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
在具体实施过程中，目标识别模型为预先建立的模型，该目标识别模型可以包括目标卷积神经网络，还可以包括目标循环神经网络，其中，目标卷积神经网络为预先建立的分类模型，比如，可以是VGG-19，还可以是其它的卷积神经网络。待识别的医学影像可以是胸片，还可以是心脏平片，还可以是食道造影等医学影像，在此不做限定。此外，语义特征向量可以是n×1维的向量，图像特征向量可以是m×1维的向量，n和m为均为大于1的正整数，二者可以是相等，还可以是不相等。
S102：将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。
在具体实施过程中，目标循环神经网络为预先建立的网络模型。经目标循环神经网络所输出的针对待识别的医学影像文本报告可以是胸部X射线文本报告，还可以是泌尿系统X射线文本报告，还可以是头颅X射线文本报告，还可以是骨与关节系统X射线文本报告，当然，所生成的医学文本报告的类型主要取决于所输入的待识别的医学影像的类型，在此不做限定。
在本发明实施例中，将待识别的医学影像输入目标识别模型中的目标卷积神经网络，便可以输出针对该待识别的医学影像的语义特征向量和图像特征向量，然后，将经目标卷积神经网络输出的针对待识别的医学影像的语义特征向量和图像特征向量输入至目标识别模型中的目标循环神经网络，便可以由该目标循环神经网络输出针对该待识别的医学影像的文本报告，从而实现了针对该待识别的医学影像的文本报告的自动生成。此外，整个医学影像的文本报告生成过程，结合待识别的医学影像的语义特征向量和图像特征向量，从而实现了结合医学影像语义注意力的图像特征提取，将医学影像中各图像区域与相应的文本更准确的关联在一起，从而提高了医学影像的文本报告的生成效率。
在本发明实施例中，如图2所示为目标识别模型对应的其中一种结构示意图，具体来讲，目标卷积神经网络可以是CNN(Convolutional Neural Network)网络，是一类包含卷积计算的神经网络结果，可以是包括卷积层1、全连接层2和输出层3，当然，其还可以是包括现有CNN网络结构中的其它层，在此不再详述。目标循环神经网络可以是LSTM(Long Short-Term Memory)网络，又称长短记忆网络，是一种解决长序依赖问题的时间循环神经网络，LSTM网络可以是包括输出门、遗忘门、输入门、隐藏状态更新，对于LSTM网络的具体结构和现有技术相同，在此就不再赘述。在具体实施过程中，CNN网络将输出语义特征向量和图像特征向量拼接在一起，比如，形成(n+m)×1维的结合图像语义注意力的图像特征向量，将拼接后的向量输入至LSTM网络，经LSTM网络自动生成医学影像对应的文本报告。
在本发明实施例中，如图3所示，步骤S102：将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告中，输出针对待识别的医学影像的语义特征向量和图像特征向量，包括：
S201：输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
S202：对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
在具体实施过程中，步骤S201至步骤S202的具体实现过程如下：
首先，由目标卷积神经网络输出针对待识别的医学影像的语义特征向量和第一诊断标签，该语义特征向量可以是200维的向量，第一诊断标签可以是一个或多个，比如，肺结节、甲状腺结节、脂肪肝，等等，在此不做限定。然后，对第一诊断标签进行全连接处理，获得针对待识别的图像影像的图像特征向量。比如，目标卷积神经网络为包括两层全连接层的VGG-19，将靠近VGG-19的输入层的全连接层替换为GAP层，利用远离VGG-19的输入层的全连接层对第一诊断标签进行全连接处理，比如，第一诊断标签对应的全连接层的权重与特征图进行点乘运算，从而获得针对待识别的医学影像的图像特征向量。如此一来，对第一诊断标签进行全连接处理后的图像特征向量为经语义注意力处理后的向量，从而实现了结合图像语义注意力对图像特征的提取，将医学影像中各图像区域与相应的文本更准确的关联在一起，从而提高了医学影像的文本报告的生成效率。
在本发明实施例中，如图4所示，步骤S201：输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：
S301：确定针对所述待识别的医学影像的至少一个诊断标签；
S302：从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
S303：将所述第一诊断标签输入目标词嵌入模型；
S304：输出针对所述待识别的医学影像的所述语义特征向量。
在具体实施过程中，步骤S301至步骤S304的具体实现过程如下：
首先，确定针对待识别的医学影像的至少一个诊断标签，至少一个诊断标签可以是一个，还可以是多个，比如，肺结节、甲状腺结节、脂肪肝，等等，在此不做限定。然后，从至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签，比如，可以是将VGG-19前向传播输出的结果为正的输出节点对应的诊断标签作为第一诊断标签，比如，若肺结节这一诊断标签为VGG-19前向传播输出的结果为正的诊断标签，则肺结节这一诊断标签可以作为第一诊断标签。然后将第一诊断标签输入目标词嵌入模型，输出针对待识别的医学影像的语义特征向量，该目标词嵌入模型可以是预先建立的模型，可以是从预先建立的字典中确定出与第一诊断标签对应的词条，将所对应的词条输入目标词嵌入模型，从而输出目标词嵌入模型。其中，字典的建立过程可以是，对医学影像文本报告语料库进行小写化、分词处理，将出现频数大于一的词条编入字典。
在本发明实施例中，如图5所示，步骤S202：对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：
S401：确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
S402：根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。
在具体实施过程中，步骤S401至步骤S402的具体实现过程如下：
首先，确定从目标卷积神经网络中最靠近输出层的卷积层输出的针对待识别的医学影像的特征图，也就是说，通过最靠近输出层的卷积层提取目标卷积神经网络中最高层级的图像特征。然后，根据从至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签，对最靠近输出层的卷积层输出的针对待识别的医学影像的特征图进行权重加权，获得针对待识别的医学影像的特征向量，该待识别的医学影像的特征向量为结合图像语义注意力的图像特征向量，从而实现了将待识别的医学影像中各图像区域与相应的文本更准确的关联在一起，从而提高了医学影像的文本报告的生成效率。此外，在具体实施过程中，还可以在卷积神经网络的全连接层和靠近输出层的卷积层之间添加各种池化层来提高对待识别的医学影像的特征图的处理精度。
在本发明实施例中，如图6所示，在步骤S101中将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
S501：将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
S502：将二分类交叉熵作为所述卷积神经网络的损失函数；
S503：将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。
在具体实施过程中，步骤S501至步骤S503的具体实现过程如下：
首先，将预训练的第一数据集输入待训练的卷积神经网络，该第一数据集包括含有已知诊断标签的多个医学影像，然后，将二分类交叉熵作为卷积神经网络的损失函数，利用该损失函数对待训练的卷积神经网络进行训练，通过反向传播算法迭代更新待训练的卷积神经网络，并在损失函数低于第一预设阈值时结束对该待训练的卷积神经网络的训练，此时，将训练后生成的卷积神经网络，作为目标卷积神经网络。这样的话，便可以实现对待识别的医学影像的最大似然估计，这时，对待识别的医学影像的分类识别更加精确。在具体实施过程中，第一预设阈值可以是本领域技术人员根据实际需要所设定的任一数值，二分类交叉熵具体可以是如公式(1)所示。
其中，表示某输出节点待训练的卷积神经网络预测值，y表示第一数据集标注的真实值，N表示设定的批量大小，即第一数据集的个数。
在本发明实施例中，如图7所示，在步骤S101中将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
S601：将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；
S602：在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。
在具体实施过程中，步骤S601至步骤S602的具体实现过程如下：
首先，将预训练的第二数据集输入待训练的识别模型，该第二数据集包括含有已知文本报告的多个医学影像，该待训练的识别模型包括目标卷积神经网络和待训练的循环神经网络，该待训练的识别模型实质上为由目标卷积神经网络和待训练的循环神经网络整合在一起模型。通过第二数据集对待训练的识别模型进行训练，通过反向传播算法迭代更新待训练的识别模型，并在损失函数低于第二预设阈值时结束对该待训练的识别模型的训练，此时，将训练后生成的循环神经网络，作为目标识别模型。这样的话，便可以实现对待识别的医学影像的最大似然估计，这时，对待识别的医学影像的文本报告的生成结果更加精确。其中，第二预设阈值具体可以是本领域技术人员根据实际需要所设定的任一数值。在具体实施过程中，将预训练的第二数据集输入待训练的识别模型之后，网络前向传播至待训练的循环神经网络，每次循环时，待训练的循环神经网络将上一循环的输出和随循环更新的模型状态，映射为输出词语在字典中概率分布的预测。比如，字典中有四个词条，概率分布的预测可以是[0.1，0.2，0.1,0.6]。此时，将第二数据集对应该医学影像文本报告中的对应位置的词条的概率的Log值作为损失函数，直至遍历医学影像文本报告中所有词语，将各部损失函数加和得到待训练的循环神经网络的损失函数LR，若待训练的卷积神经网络的损失函数为Lc，则待训练的识别模型的损失函数L可以是如公式(2)所示。
L＝λLC+(1-λ)LR (2)
其中，参数λ用于平衡卷积神经网络和循环神经网络间的损失函数。
在具体实施过程中，根据损失函数L训练待训练的识别模型，具体通过反向传播算法迭代更新模型参数，并进行超参数的调整，从而将识别模型的损失函数L低于第二预设阈值时所对应的识别模型，作为目标识别模型。
在本发明实施例中，如图8所示，在步骤S101中将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
S701：将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；
S702：将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。
在具体实施过程中，步骤S701至步骤S702的具体实现过程如下：
首先，将预训练的词条输入待训练的词嵌入模型，获得识别结果，该预训练的词条来自医学文献检索服务系统，比如可以是PubMed这一提供生物医学方面的论文搜寻以及摘要，并且免费搜寻的数据库，其数据库来源于MEDLINE，其核心主题为医学。具体可以是使用Python的gensim开源工具在PubMed论文集中预训练词条，最终字典中的每个词条可以映射为200维的词嵌入向量，该映射函数即为预训练的词嵌入模型。在将待训练的词条输入待训练的词嵌入模型之后，获得识别结果，然后，将识别结果满足预设误差范围时所对应的词嵌入模型，作为目标词嵌入模型。在具体实施过程中，预设误差范围可以为根据目标函数所确定的最小化分类误差。可以是选择小批量随机梯度下降为优化函数，最小化分类误差为目标函数，通过优化函数来优化待训练的词嵌入模型中的参数，从而使得目标函数达到最优，此时，表明目标识别结果和实际识别结果间满足预设误差范围，在目标识别结果满足预设误差范围时所对应的词嵌入模型，作为目标词嵌入模型。
基于同样的发明构思，如图9所示，本发明实施例还提供了一种医学影像文本报告的生成装置，包括：
第一处理单元10，用于将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
第二处理单元20，用于将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。
在本发明实施例中，第一处理单元10用于：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
在本发明实施例中，第一处理单元10用于：
确定针对所述待识别的医学影像的至少一个诊断标签；
从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。
在本发明实施例中，第一处理单元10用于：
确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。
在本发明实施例中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第三处理单元，所述第三处理单元用于：
将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
将二分类交叉熵作为所述卷积神经网络的损失函数；
将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。
在本发明实施例中，在所述第一处理单元将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第四处理单元，所述第四处理单元用于：
将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；
在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。
在本发明实施例中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成装置还包括第五处理单元，所述第五处理单元用于：
将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；
将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。
基于同样的发明构思，如图10所示，本发明实施例还提供了一种计算机设备，包括：存储器30、处理器40以及存储在存储器30上并可在处理器40上运行的计算机程序，处理器40执行所述程序时实现如上面所述的医学影像文本报告的生成方法的步骤。
处理器40可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的医学影像文本报告的生成方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器30，处理器40读取存储器30中的信息，结合其硬件完成信号处理流程的步骤。
具体地，所述处理器40，用于读取存储器30中的程序，执行上述医学影像文本报告的生成方法所述的任一步骤。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现前述医学影像文本报告的生成方法所述的任一步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种医学影像文本报告的生成方法，其特征在于，包括：
将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告；
其中，所述输出针对所述待识别的医学影像的语义特征向量和图像特征向量，包括：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
2.如权利要求1所述的生成方法，其特征在于，所述输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：
确定针对所述待识别的医学影像的至少一个诊断标签；
从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；
将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。
3.如权利要求2所述的生成方法，其特征在于，所述对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：
确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；
根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。
4.如权利要求1所述的生成方法，其特征在于，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；
将二分类交叉熵作为所述卷积神经网络的损失函数；
将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。
5.如权利要求1所述的生成方法，其特征在于，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；
在所述识别模型的损失函数低于第二预设阈值时所对应的识别模型，作为所述目标识别模型。
6.如权利要求2所述的生成方法，其特征在于，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：
将预训练的词条输入待训练的词嵌入模型，获得识别结果，其中，所述预训练的词条来自医学文献检索服务系统；
将所述识别结果满足预设误差范围时所对应的词嵌入模型，作为所述目标词嵌入模型。
7.一种医学影像文本报告的生成装置，其特征在于，包括：
第一处理单元，用于将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；
第二处理单元，用于将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告；
其中，所述第一处理单元用于：
输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；
对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。
8.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的医学影像文本报告的生成方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的医学影像文本报告的生成方法的步骤。
CN201911329296.0A 2019-12-20 2019-12-20 一种医学影像文本报告的生成方法及装置 Active CN111063410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329296.0A CN111063410B (zh) 2019-12-20 2019-12-20 一种医学影像文本报告的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329296.0A CN111063410B (zh) 2019-12-20 2019-12-20 一种医学影像文本报告的生成方法及装置

Publications (2)

Publication Number Publication Date
CN111063410A CN111063410A (zh) 2020-04-24
CN111063410B true CN111063410B (zh) 2024-01-09

Family

ID=70301265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329296.0A Active CN111063410B (zh) 2019-12-20 2019-12-20 一种医学影像文本报告的生成方法及装置

Country Status (1)

Country Link
CN (1) CN111063410B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640480B (zh) * 2020-05-21 2023-09-26 上海联影智能医疗科技有限公司 医学报告生成方法、计算机设备和存储介质
CN111681730B (zh) * 2020-05-22 2023-10-27 上海联影智能医疗科技有限公司 医学影像报告的分析方法和计算机可读存储介质
CN112069892B (zh) * 2020-08-03 2024-09-10 清华大学 一种图像识别方法、装置、设备及存储介质
CN112242185A (zh) * 2020-09-09 2021-01-19 山东大学 基于深度学习的医学图像报告自动生成方法及系统
CN112151179B (zh) * 2020-09-29 2023-11-14 上海联影医疗科技股份有限公司 影像数据评估方法、装置、设备及存储介质
CN112164446B (zh) * 2020-10-13 2022-04-22 电子科技大学 一种基于多网络融合的医疗影像报告生成方法
CN112529857B (zh) * 2020-12-03 2022-08-23 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
CN113160963A (zh) * 2020-12-18 2021-07-23 中电云脑(天津)科技有限公司 一种事件确定方法、装置、电子设备和存储介质
CN113436199B (zh) * 2021-07-23 2022-02-22 人民网股份有限公司 半监督视频目标分割方法及装置
CN113793677A (zh) * 2021-08-24 2021-12-14 挂号网（杭州）科技有限公司 一种电子病历管理方法、装置、存储介质及电子设备
CN113539408B (zh) * 2021-08-31 2022-02-25 北京字节跳动网络技术有限公司 一种医学报告生成方法、模型的训练方法、装置及设备
CN116631566B (zh) * 2023-05-23 2024-05-24 广州合昊医疗科技有限公司 一种基于大数据的医学影像报告智能生成方法
CN116797889B (zh) * 2023-08-24 2023-12-08 青岛美迪康数字工程有限公司 医学影像识别模型的更新方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145910A (zh) * 2017-05-08 2017-09-08 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
CN108073941A (zh) * 2016-11-17 2018-05-25 江南大学 一种基于深度学习的图像语义生成方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073941A (zh) * 2016-11-17 2018-05-25 江南大学 一种基于深度学习的图像语义生成方法
CN107145910A (zh) * 2017-05-08 2017-09-08 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Show and Tell: A Neural Image Caption Generator;Oriol Vinyals 等;2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR);第3156-3163页 *

Also Published As

Publication number Publication date
CN111063410A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111063410B (zh) 一种医学影像文本报告的生成方法及装置
US20210142181A1 (en) Adversarial training of machine learning models
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
CN103201707B (zh) 用于向电子设备输入文本的文本预测引擎、系统及方法
CN111539197B (zh) 文本匹配方法和装置以及计算机系统和可读存储介质
CN110363049B (zh) 图形元素检测识别和类别确定的方法及装置
CN112287670A (zh) 文本纠错方法、系统、计算机设备及可读存储介质
CN109840530A (zh) 训练多标签分类模型的方法和装置
US20160321522A1 (en) Devices, systems, and methods for pairwise multi-task feature learning
CN108717409A (zh) 一种序列标注方法及装置
CN111461168A (zh) 训练样本扩充方法、装置、电子设备及存储介质
US20200184312A1 (en) Apparatus and method for generating sampling model for uncertainty prediction, and apparatus for predicting uncertainty
CN113886571A (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
KR20190118937A (ko) 하이퍼파라미터의 최적화 시스템 및 방법
CN111127364A (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN108804591A (zh) 一种病历文本的文本分类方法及装置
CN112287656B (zh) 文本比对方法、装置、设备和存储介质
CN109615080B (zh) 无监督模型评估方法、装置、服务器及可读存储介质
CN117057443B (zh) 视觉语言模型的提示学习方法及电子设备
CN113434699A (zh) Bert模型的预训练方法、计算机装置和存储介质
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN111611796A (zh) 下位词的上位词确定方法、装置、电子设备及存储介质
CN114511023A (zh) 分类模型训练方法以及分类方法
CN117708351A (zh) 基于深度学习的技术标辅助评审方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant