CN113555078A - 模式驱动的胃镜检查报告智能生成方法和系统 - Google Patents

模式驱动的胃镜检查报告智能生成方法和系统 Download PDF

Info

Publication number
CN113555078A
CN113555078A CN202110668395.2A CN202110668395A CN113555078A CN 113555078 A CN113555078 A CN 113555078A CN 202110668395 A CN202110668395 A CN 202110668395A CN 113555078 A CN113555078 A CN 113555078A
Authority
CN
China
Prior art keywords
gastroscopy
report
vector
picture
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110668395.2A
Other languages
English (en)
Other versions
CN113555078B (zh
Inventor
丁帅
杨善林
曹云霞
王浩
刘雅静
张宏敏
王亚雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Medical University
Hefei University of Technology
Original Assignee
Anhui Medical University
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Medical University, Hefei University of Technology filed Critical Anhui Medical University
Priority to CN202110668395.2A priority Critical patent/CN113555078B/zh
Publication of CN113555078A publication Critical patent/CN113555078A/zh
Application granted granted Critical
Publication of CN113555078B publication Critical patent/CN113555078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备，涉及胃镜检查报告智能生成技术领域。本发明融合胃镜检查图像以及预先构建的报告词典，在Transformer的编码器‑解码器框架基础上搭建预先训练的图片部位识别网络，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS；契合临床报告生成过程，融入了胃镜医生专业知识与经验；参考相同检查部位报告的关键模式信息，有效提高了生成报告的自动化程度，大大减轻胃镜医生撰写检查报告的工作压力。

Description

模式驱动的胃镜检查报告智能生成方法和系统
技术领域
本发明涉及胃镜检查报告智能生成技术领域，具体涉及一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备。
背景技术
在医学领域，医学影像数据是医生进行疾病诊断和提供治疗方案的重要工具。在放射科、超声科等科室，检查医师会根据患者检查的影像数据来撰写检查报告，以供主治医生进行疾病的诊断和治疗方案的制定。撰写医学报告需要检查医师对疾病症状的表现形式、描述方式等专业知识有深入的了解，对于没有经验或者经验不足的检查医师，撰写医学报告可能会容易出错。而对于经验丰富的检查医师，此任务同样费时费力。因此，促进医学报告自动化生成，可以节省检查医师的时间，降低他们的工作压力，还有助于提高基层医疗机构的影像科诊疗水平。同时，生成的报告可供许多潜在用户使用，如影像科医生可使用检查报告来监视患者身体状况的变化并采取相关干预措施，提高临床疾病诊断效率。
目前，为了促进医学影像报告自动生成，业内学者提出了许多基于图像字幕生成的计算机辅助报告生成系统，该系统可以从医学图像中提取发现并生成包含细粒度信息的文本报告。现有的研究主要使用胸部X射线数据，采用编码器-解码器体系结构，从图像中提取疾病标签信息，生成文本型报告。为了让生成报告更加简洁、准确，相关研究引入注意力机制，捕获图像中的重点信息，提高报告描述的精确度。
但是，上述计算机辅助报告生成系统研究虽然在一定程度上解决了医学影像报告自动生成问题，但仍然存在不足。譬如，缺乏对胃镜检查报告生成的相关研究，以及胃镜检查报告生成的自动化水平低。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备，解决了胃镜检查报告自动化生成水平低的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种模式驱动的胃镜检查报告智能生成方法，包括：
S1、预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
S2、融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
S3、将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
S4、将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
S5、根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
优选的，所述S2中整体特征向量表示为
X＝I·L＝{x1，x2，…，xS} (1)
其中，所述整体特征向量X为S维；I与L分别表示所述视觉特征与部位特征向量：
I＝fv(Img)＝{i1，i2，...，iS} (2)
L＝ft(Img)＝{l1，l2，...，lS} (3)
所述视觉特征向量I与部位特征向量L均为S维；fv表示视觉特征提取函数；ft表示部位特征提取函数；Img表示所述胃镜检查图片。
优选的，所述S4具体包括：
S41、将当前时刻的关键模式信息和上一时刻生成的词条输入所述位置模式存储器中，更新当前时刻的关键模式信息；
S42、根据所述当前时刻的关键模式信息和隐藏层状态值，通过所述解码器解码得到当前时刻的词条，获取所述胃镜检查图片对应的目标文本序列向量。
优选的，所述S41具体包括：
S411、在任意t时刻，将所述Pt-1输入所述位置模式存储器的多头注意力层，获取查询向量Q，
Q＝Pt-1·Wq (4)
S412、将所述Pt-1和上一时刻生成的词条yt-1进行级联后输入所述位置模式存储模块的多头注意力层，获取键向量K、值向量V，
K＝[Pt-1；yt-1]·Wk (5)
V＝[Pt-1；yt-1]·Wv (6)
其中，Wq、Wk、Wv分别表示线性转换器对查询向量Q、键向量K和值向量V的训练权重；
S413、根据所述查询向量Q、键向量K和值向量V，获取输出结果M；
Figure BDA0003117848890000041
其中，dk表示向量K的维度大小；softmax表示激活函数；
S414、根据所述M，获取所述当前时刻的关键模式信息Pt；
Figure BDA0003117848890000042
Figure BDA0003117848890000043
其中，fmlp表示多层感知器；
Figure BDA0003117848890000044
表示将上一时刻的输出结果Mt-1输入多层感知器获取的向量结果；Z表示隐藏层状态值；fg表示门机制。
优选的，所述S42具体包括：
S421、根据所述当前时刻的关键模式信息Pt和隐藏层状态值Z，通过所述解码器解码得到当前时刻的词条yt指：
yt＝fd(Z；Pt) (10)
其中，fd表示解码器；
S422、根据所述yt，最终获取所述胃镜检查图片对应的目标文本序列向量Y＝{y1，y2，...，yT}。
优选的，所述S5中报告词典的构建过程包括：
根据临床胃镜检查医生在书写检查报告时的用词规则和范式，以及胃镜检查报告文本语料库来构建报告词典；所述词典包括位置名词、位置表征、病灶形状、病灶表征、修饰词以及常用的程度副词。
优选的，所述关键模式信息与所述胃镜检查图片所属检查部位一一对应，所述检查部位种类至少包括食道、贲门、胃体胃底、胃角、胃窦、幽门或者十二指肠；所述胃镜检查报告的模板与所述检查部位种类一一对应。
一种模式驱动的胃镜检查报告智能生成系统，包括：
预处理模块，用于预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
融合模块，用于融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
编码模块，用于将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
解码模块，用于将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
获取模块，用于根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
一种存储介质，其存储有用于模式驱动的胃镜检查报告智能生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的胃镜检查报告智能生成方法。
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的胃镜检查报告智能生成方法。
(三)有益效果
本发明提供了一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明包括融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。本发明融合胃镜检查图像以及预先构建的报告词典，在Transformer的编码器-解码器框架基础上搭建预先训练的图片部位识别网络，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS；契合临床报告生成过程，融入了胃镜医生专业知识与经验；参考相同检查部位报告的关键模式信息，有效提高了生成报告的自动化程度，大大减轻胃镜医生撰写检查报告的工作压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种模式驱动的胃镜检查报告智能生成方法的流程示意图；
图2为本发明实施例提供的一种模式驱动的胃镜检查报告智能生成方法的框架图；
图3为本发明实施例提供的一种位置模式存储模块的框架图；
图4为本发明实施例提供的一种模式驱动的胃镜检查报告智能生成系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备，解决了胃镜检查报告自动化生成水平低的技术问题，实现有效提高胃镜检查报告生成智能化水平，改善临床上胃镜检查报告质量与生成效率。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例包括融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。本发明实施例融合胃镜检查图像以及预先构建的报告词典，在Transformer的编码器-解码器框架基础上搭建预先训练的图片部位识别网络，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS；契合临床报告生成过程，融入了胃镜医生专业知识与经验；参考相同检查部位报告的关键模式信息，有效提高了生成报告的自动化程度，大大减轻胃镜医生撰写检查报告的工作压力。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
第一方面，如图1～2所示，本发明实施例提供了一种模式驱动的胃镜检查报告智能生成方法，包括：
S1、预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
S2、融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
S3、将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
S4、将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
S5、根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
本发明融合胃镜检查图像以及预先构建的报告词典，在Transformer的编码器-解码器框架基础上搭建预先训练的图片部位识别网络，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS；契合临床报告生成过程，融入了胃镜医生专业知识与经验；参考相同检查部位报告的关键模式信息，有效提高了生成报告的自动化程度，大大减轻胃镜医生撰写检查报告的工作压力。
下面将结合具体内容详细介绍本方案的各个步骤：
S1、预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量。
首先，本发明实施例需要提取输入的胃镜检查图片的视觉特征与部位特征信息，将源数据转换为序列数据，作为后续所有模块的输入源序列。
对于给定的胃镜检查图片Img，采用Resnet101网络来提取其视觉特征向量I＝{i1，i2，...，iS}，特征提取过程如公式(1)所示：
I＝fv(Img) (1)
其中，所述视觉特征向量I为S维；fv表示视觉特征提取函数。
在后续需要生成的胃镜检查报告中，同一部位的文本报告存在相似的书写格式以及描述规则，为了提高报告生成效率与准确度，本发明实施例提取所述胃镜检查图片的部位特征信息，作为后续位置模式存储器的特征信息来源。
具体采用Resnext101网络来提取部位特征向量L＝{l1，l2，...，lS}，特征提取过程如公式(2)所示：
L＝ft(Img) (2)
其中，所述部位特征向量L为S维；ft表示部位特征提取函数。
S2、融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量。
将所述I和L进行融合得到图片的整体特征向量X＝{x1，x2，...，xS}，作为编码器的输入源序列，融合过程如公式(3)所示
X＝I·L＝{x1，x2，…，xS} (3)
其中，所述整体特征向量X为S维；I与L分别表示所述视觉特征与部位特征向量：
S3、将所述整体特征向量输Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值。
本步骤采用Transformer模型的标准编码器框架，将输入序列X＝{x1，x2，...，xS}转换为一个连续的表达向量Z＝{z1，z2，...，zS}，zS来自对整体特征向量X编码后的隐藏层状态值，其计算过程如公式(4)所示：
Z＝fe(x1，x2，…，xS) (4)
其中，fe表示编码器。
S4、将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器(Location ModeStorage，LMS)，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息。
对于同一检查部位的胃镜检查图片数据，其报告内容与格式之间存在相似的模式，这种信息可以用作彼此之间的参考信息来辅助报告生成过程。
为了充分利用部位间的模式信息，如图2所示，本发明实施例在解码器部分引入位置模式存储器用于计算检查报告模式之间的交互和生成过程，再将其以矩阵形式输入至解码器中。
所述关键模式信息与所述部位特征向量，即所述胃镜检查图片所属检查部位一一对应，所述检查部位种类至少包括食道、贲门、胃体胃底、胃角、胃窦、幽门或者十二指肠。
本发明实施例可以按照不同检查部位的检查报告模板实现自动化生成检查报告，提高胃镜检查报告智能化生成水平，降低胃镜检查医生的工作压力，具体模板信息以及生成报告内容如表1所示，所述胃镜检查报告的模板与所述检查部位种类一一对应(不难看出的是，表1仅举例罗列其中几种情况)。
表1
Figure BDA0003117848890000121
所述S4具体包括：
S41、将当前时刻的关键模式信息和上一时刻生成的词条输入所述位置模式存储器中，更新当前时刻的关键模式信息。
S411、如图3所示，在任意t时刻，将所述Pt-1输入所述位置模式存储器的多头注意力层，获取查询向量Q，
Q＝Pt-1·Wq (5)
S412、将所述Pt-1和上一时刻生成的词条yt-1进行级联后输入所述位置模式存储模块的多头注意力层，获取键向量K、值向量V，
K＝[Pt-1；yt-1]·Wk (6)
V＝[Pt-1；yt-1]·Wv (7)
其中，Wq、Wk、Wv分别表示线性转换器对查询向量Q、键向量K和值向量V的训练权重。
本步骤中鉴于位置模式存储模块与解码过程一起执行，可能存在梯队消失或梯度爆炸等问题，故引入残差连接和门机制。
S413、根据所述查询向量Q、键向量K和值向量V，获取输出结果M；
Figure BDA0003117848890000131
其中，dk表示向量K的维度大小；softmax表示激活函数；
S414、根据所述M，获取所述当前时刻的关键模式信息Pt；
Figure BDA0003117848890000132
Figure BDA0003117848890000133
其中，fmlp表示多层感知器；
Figure BDA0003117848890000134
表示将上一时刻的输出结果Mt-1输入多层感知器获取的向量结果；Z表示隐藏层状态值；fg表示门机制。
S42、根据所述当前时刻的关键模式信息和隐藏层状态值，通过所述解码器解码得到当前时刻的词条，获取所述胃镜检查图片对应的目标文本序列向量。
S421、根据所述当前时刻的关键模式信息Pt和隐藏层状态值Z，通过所述解码器解码得到当前时刻的词条yt指：
yt＝fd(Z；Pt) (10)
其中，fd表示解码器；
S422、根据所述yt，最终获取所述胃镜检查图片对应的目标文本序列向量Y＝{y1，y2，...，yT}。
S5、根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
如图2所示，本步骤中将所述目标文本序列向量Y＝{y1，y2，...，yT}依次输入线性层Linear和激活函数层Softmax，获取每个词条对应的概率值，根据预先构建的报告词典，最终生成胃镜检查报告。
所述报告词典的构建过程包括：
根据临床胃镜检查医生在书写检查报告时的用词规则和范式，以及胃镜检查报告文本语料库来构建报告词典；所述词典包括位置名词、位置表征、病灶形状、病灶表征、修饰词以及常用的程度副词。
具体示例如表2所示。
表2胃镜检查报告词典
Figure BDA0003117848890000141
第二方面，如图4所示，本发明实施例提供了一种模式驱动的胃镜检查报告智能生成系统，包括：
预处理模块，用于预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
融合模块，用于融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
编码模块，用于将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
解码模块，用于将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
获取模块，用于根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
可理解的是，本发明提供的模式驱动的胃镜检查报告智能生成系统与本发明提供的模式驱动的胃镜检查报告智能生成方法相对应，其有关内容的解释、举例和有益效果等部分可以参考胃镜检查报告智能生成方法中的相应部分，此处不再赘述。
第三方面，本发明实施例提供了一种存储介质，其存储有用于模式驱动的胃镜检查报告智能生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的胃镜检查报告智能生成方法。
第四方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的胃镜检查报告智能生成方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例包括融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。本发明融合胃镜检查图像以及预先构建的报告词典，在Transformer的编码器-解码器框架基础上搭建预先训练的图片部位识别网络，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS；契合临床报告生成过程，融入了胃镜医生专业知识与经验；参考相同检查部位报告的关键模式信息，有效提高了生成报告的自动化程度，大大减轻胃镜医生撰写检查报告的工作压力。
2、本发明实施例考虑到相同检查部位的报告文本之间存在着某种相似性，如：病灶的描述词条、报告的书写格式等，在Transformer架构的基础上额外搭建预先训练的图片部位识别网络Resnext101，提取图片的部位特征信息；同时，设计胃镜检查位置模式存储模块LMS用于记录先前报告生成过程中相同检查部位的关键模式信息，加强临床疾病信息的利用率，提高生成报告的准确度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种模式驱动的胃镜检查报告智能生成方法，其特征在于，包括：
S1、预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
S2、融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
S3、将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
S4、将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
S5、根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
2.如权利要求1所述的胃镜检查报告智能生成方法，其特征在于，所述S2中整体特征向量表示为
X＝I·L＝{x1，x2，…，xS} (1)
其中，所述整体特征向量X为S维；I与L分别表示所述视觉特征与部位特征向量：
I＝fv(Img)＝{i1，i2，...，iS} (2)
L＝ft(Img)＝{l1，l2，...，lS} (3)
所述视觉特征向量I与部位特征向量L均为S维；fv表示视觉特征提取函数；ft表示部位特征提取函数；Img表示所述胃镜检查图片。
3.如权利要求1所述的胃镜检查报告智能生成方法，其特征在于，所述S4具体包括：
S41、将当前时刻的关键模式信息和上一时刻生成的词条输入所述位置模式存储器中，更新当前时刻的关键模式信息；
S42、根据所述当前时刻的关键模式信息和隐藏层状态值，通过所述解码器解码得到当前时刻的词条，获取所述胃镜检查图片对应的目标文本序列向量。
4.如权利要求3所述的胃镜检查报告智能生成方法，其特征在于，所述S41具体包括：
S411、在任意t时刻，将所述Pt-1输入所述位置模式存储器的多头注意力层，获取查询向量Q，
Q＝Pt-1·Wq (4)
S412、将所述Pt-1和上一时刻生成的词条yt-1进行级联后输入所述位置模式存储模块的多头注意力层，获取键向量K、值向量V，
K＝[Pt-1；yt-1]·Wk (5)
V＝[Pt-1；yt-1]·Wv (6)
其中，Wq、Wk、Wv分别表示线性转换器对查询向量Q、键向量K和值向量V的训练权重；
S413、根据所述查询向量Q、键向量K和值向量V，获取输出结果M；
Figure FDA0003117848880000031
其中，dk表示向量K的维度大小；softmax表示激活函数；
S414、根据所述M，获取所述当前时刻的关键模式信息Pt；
Figure FDA0003117848880000032
Figure FDA0003117848880000033
其中，fmlp表示多层感知器；
Figure FDA0003117848880000034
表示将上一时刻的输出结果Mt-1输入多层感知器获取的向量结果；Z表示隐藏层状态值；fg表示门机制。
5.如权利要求4所述的胃镜检查报告智能生成方法，其特征在于，所述S42具体包括：
S421、根据所述当前时刻的关键模式信息Pt和隐藏层状态值Z，通过所述解码器解码得到当前时刻的词条yt指：
yt＝fd(Z；Pt) (10)
其中，fd表示解码器；
S422、根据所述yt，最终获取所述胃镜检查图片对应的目标文本序列向量Y＝{y1，y2，...，yT}。
6.如权利要求1～5任一项所述的胃镜检查报告智能生成方法，其特征在于，所述S5中报告词典的构建过程包括：
根据临床胃镜检查医生在书写检查报告时的用词规则和范式，以及胃镜检查报告文本语料库来构建报告词典；所述词典包括位置名词、位置表征、病灶形状、病灶表征、修饰词以及常用的程度副词。
7.如权利要求1～5任一项所述的胃镜检查报告智能生成方法，其特征在于，
所述关键模式信息与所述胃镜检查图片所属检查部位一一对应，所述检查部位种类至少包括食道、贲门、胃体胃底、胃角、胃窦、幽门或者十二指肠；所述胃镜检查报告的模板与所述检查部位种类一一对应。
8.一种模式驱动的胃镜检查报告智能生成系统，其特征在于，包括：
预处理模块，用于预处理胃镜检查图片，获取所述胃镜检查图片的视觉特征和部位特征向量；
融合模块，用于融合所述视觉特征和部位特征向量，获取所述胃镜检查图片的整体特征向量；
编码模块，用于将所述整体特征向量输入Transformer模型的编码器中，获取所述整体特征向量编码后的隐藏层状态值；
解码模块，用于将所述隐藏层状态值输入所述Transformer模型的解码器中，获取所述胃镜检查图片对应的目标文本序列向量，所述解码器引入位置模式存储器，所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息；
获取模块，用于根据所述目标文本序列向量和预先构建的报告词典，获取胃镜检查报告。
9.一种存储介质，其特征在于，其存储有用于模式驱动的胃镜检查报告智能生成的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的胃镜检查报告智能生成方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的胃镜检查报告智能生成方法。
CN202110668395.2A 2021-06-16 2021-06-16 模式驱动的胃镜检查报告智能生成方法和系统 Active CN113555078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110668395.2A CN113555078B (zh) 2021-06-16 2021-06-16 模式驱动的胃镜检查报告智能生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110668395.2A CN113555078B (zh) 2021-06-16 2021-06-16 模式驱动的胃镜检查报告智能生成方法和系统

Publications (2)

Publication Number Publication Date
CN113555078A true CN113555078A (zh) 2021-10-26
CN113555078B CN113555078B (zh) 2023-06-30

Family

ID=78102171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110668395.2A Active CN113555078B (zh) 2021-06-16 2021-06-16 模式驱动的胃镜检查报告智能生成方法和系统

Country Status (1)

Country Link
CN (1) CN113555078B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889213A (zh) * 2021-12-06 2022-01-04 武汉大学 超声内镜报告的生成方法、装置、计算机设备及存储介质
WO2023087063A1 (en) * 2021-11-17 2023-05-25 Eyetelligence Limited Method and system for analysing medical images to generate a medical report
CN116665012A (zh) * 2023-06-09 2023-08-29 匀熵智能科技(无锡)有限公司 图像字幕自动生成方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170212603A1 (en) * 2016-01-26 2017-07-27 Imaging Advantage System and method for medical imaging report input
CN109902736A (zh) * 2019-02-25 2019-06-18 东北大学 一种基于自动编码器构建特征表示的肺结节图像分类方法
US20190362835A1 (en) * 2018-05-23 2019-11-28 Koninklijke Philips N.V. System and method for generating textual descriptions from medical images
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
US20200334416A1 (en) * 2019-04-16 2020-10-22 Covera Health Computer-implemented natural language understanding of medical reports
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170212603A1 (en) * 2016-01-26 2017-07-27 Imaging Advantage System and method for medical imaging report input
US20190362835A1 (en) * 2018-05-23 2019-11-28 Koninklijke Philips N.V. System and method for generating textual descriptions from medical images
CN109902736A (zh) * 2019-02-25 2019-06-18 东北大学 一种基于自动编码器构建特征表示的肺结节图像分类方法
US20200334416A1 (en) * 2019-04-16 2020-10-22 Covera Health Computer-implemented natural language understanding of medical reports
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LANLAN LI 等: "\"Research of Deep Learning on Gastric Cancer Diagnosis\"", 《IEEE》 *
王俊豪;罗轶凤;: "通过细粒度的语义特征与Transformer丰富图像描述", 华东师范大学学报(自然科学版), no. 05 *
薛湛琦;王远军;: "基于深度学习的多模态医学图像融合方法研究进展", 中国医学物理学杂志, no. 05 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023087063A1 (en) * 2021-11-17 2023-05-25 Eyetelligence Limited Method and system for analysing medical images to generate a medical report
CN113889213A (zh) * 2021-12-06 2022-01-04 武汉大学 超声内镜报告的生成方法、装置、计算机设备及存储介质
CN116665012A (zh) * 2023-06-09 2023-08-29 匀熵智能科技(无锡)有限公司 图像字幕自动生成方法、装置及存储介质
CN116665012B (zh) * 2023-06-09 2024-02-09 匀熵智能科技(无锡)有限公司 图像字幕自动生成方法、装置及存储介质

Also Published As

Publication number Publication date
CN113555078B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Xue et al. Multimodal recurrent model with attention for automated radiology report generation
Bustos et al. Padchest: A large chest x-ray image dataset with multi-label annotated reports
CN113555078B (zh) 模式驱动的胃镜检查报告智能生成方法和系统
CN109545302B (zh) 一种基于语义的医学影像报告模板生成方法
CN112712879B (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
CN111651991B (zh) 一种利用多模型融合策略的医疗命名实体识别方法
Pavlopoulos et al. Diagnostic captioning: a survey
CN112614561A (zh) 一种基于层级自注意力序列编码的脑ct医学报告生成方法
CN114944213A (zh) 基于记忆驱动的Transformer医学内窥镜图像报告生成方法
CN113988274B (zh) 一种基于深度学习的文本智能生成方法
CN115293128A (zh) 基于多模态对比学习放射学报告生成模型训练方法及系统
CN115861641A (zh) 一种基于细粒度注意力的医学影像报告生成方法
Kaur et al. Methods for automatic generation of radiological reports of chest radiographs: a comprehensive survey
Hou et al. Automatic report generation for chest X-ray images via adversarial reinforcement learning
CN116797572A (zh) 基于多模态数据的类风湿关节炎活动度分级装置
Kaur et al. CADxReport: Chest x-ray report generation using co-attention mechanism and reinforcement learning
CN117391092B (zh) 一种基于对比学习的电子病历多模态医疗语义对齐方法
Nimalsiri et al. Automated radiology report generation using transformers
Huang et al. An annotation model on end-to-end chest radiology reports
CN114664404A (zh) 一种胎儿心脏超声图像诊断报告自动生成系统的实现方法
Harerimana et al. HSGA: A Hybrid LSTM-CNN Self-Guided Attention to predict the future diagnosis from discharge narratives
CN113674866A (zh) 一种面向医疗文本的预训练方法
Reddy et al. Optimizing Medical Image Report Generation with Varied Attention Mechanisms
CN113408276A (zh) 一种基于语言模型的跨专科文本结构化方法
Zhou et al. Multi-modal broad learning system for medical image and text-based classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant