CN116631566A - 一种基于大数据的医学影像报告智能生成方法 - Google Patents

一种基于大数据的医学影像报告智能生成方法 Download PDF

Info

Publication number
CN116631566A
CN116631566A CN202310582362.5A CN202310582362A CN116631566A CN 116631566 A CN116631566 A CN 116631566A CN 202310582362 A CN202310582362 A CN 202310582362A CN 116631566 A CN116631566 A CN 116631566A
Authority
CN
China
Prior art keywords
medical image
text
report
model
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310582362.5A
Other languages
English (en)
Other versions
CN116631566B (zh
Inventor
王进
林兴
袁鑫浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Hehao Medical Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310582362.5A priority Critical patent/CN116631566B/zh
Publication of CN116631566A publication Critical patent/CN116631566A/zh
Application granted granted Critical
Publication of CN116631566B publication Critical patent/CN116631566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于计算机视觉与自然语言处理交叉领域，具体涉及一种基于大数据的医学影像报告智能生成方法，包括：将待处理的医学影像图片经预处理后输入到图像编码模型提取关键的图像特征；将提取的图像特征输入文本生成模型自动的生成诊断报告；其中，所述图像编码模型基于ViT神经网络模型，所述文本生成模型基于预训练语言模型GPT模型和分类器，通过设计损失函数FD‑CE和对比损失函数对医学影像报告智能生成模型进行优化，实现图像编码模型和文本生成模型之间的语义对齐和交互，本发明方法不仅使用方便，其生成的诊断报告更具有真实性和可靠性，可辅助医生进行诊断，从而提高诊断效率。

Description

一种基于大数据的医学影像报告智能生成方法
技术领域
本发明属于计算机视觉与自然语言处理的交叉领域领域，特别是涉及一种基于大数据的医学影像报告智能生成方法。
背景技术
图像描述是一种结合了计算机视觉和自然语言处理技术的人工智能技术，其目的是自动地对一张图片进行描述生成，通常生成的描述是自然语言文本形式的。首先利用计算机视觉技术对输入的图像进行特征提取，然后将这些特征传入到一个自然语言处理模型中，该模型根据图像特征生成与图片相关的自然语言文本描述。
近年来，医学影像技术(如CT影像、核磁共振影像)的快速发展大大提高了医疗水平，医学影像已成为病情诊断的重要依据之一。通过医学影像得出诊断报告是一项专业性极强的工作，同时也要消耗较多的时间与精力，而专业医生数量的增长远远跟不上影像数量的增长。越来越多的医学影像需要处理，这降低了医生的诊断效率，而且容易导致疲劳和注意力不集中，从而增加误诊和漏诊的风险。因此，为提高医生的工作效率和诊断准确性，急需一种先进的大数据技术来辅助医生理解这些医疗影像报告。这种技术可以通过自动化的方式对医疗影像进行理解和分析，提取关键信息并自动生成相应的诊断报告，从而减轻医生的负担，节省时间和精力，降低误诊和漏诊的风险，有助于提高医疗水平和质量。
与传统的图像描述任务不同，医学影像诊断报告内容具有专业性、明确性和离散性，因此也需要针对性的算法与模型设计。利用大数据技术处理该任务过程中，图像中的语义信息与自然语言之间进行对齐是非常重要的，某一图像区域及其对应的文本描述在嵌入向量空间中应具有相似的表示，否则生成的报告可能会失去精度和可信度。因此，如何在训练过程中让模型从大量医学影像数据中捕捉到图像与文本的对应关系是一个挑战。
发明内容
为了解决背景技术中存在的问题，本发明提供一种基于大数据的医学影像报告智能生成方法，该方法包括：
将待处理的医学影像图片进行预处理后输入训练好的医学影像报告智能生成模型自动的生成诊断报告；其中，所述医学影像报告智能生成模型包括：图像编码模型和文本生成模型；所述图像编码模型基于ViT神经网络模型，所述文本生成模型包括：预训练语言模型GPT模型和分类器；
所述医学影像报告智能生成模型的训练过程包括：
S1：获取原始医学影像报告数据集并进行预处理，所述原始医学影像报告数据包括：原始医学影像图片和原始医学影像图片对应的真实诊断报告文本；
S2：将原始医学影像图片输入图像编码模型进行编码得到原始图像特征；
S3：将原始图像特征输入预训练语言模型GPT进行编码得到文本编码向量，将文本编码向量输入分类器进行分类得到诊断报告文本；
S4：根据诊断报告文本与真实诊断报告文本计算FD-CE损失函数；根据图像编码向量和文本编码向量计算对比损失函数；根据FD-CE损失函数和对比损失函数构建医学影像报告智能生成模型的损失函数；
S5：以最小化医学影像报告智能生成模型的损失函数为优化目标利用梯度下降算法通过反向传播机制对医学影像报告智能生成模型的参数进行更新，医学影像报告智能生成模型的损失函数收敛后得到训练好的医学影像报告智能生成模型。
优选地，所述分类器基于Softmax函数进行分类处理，例如具有Softmax函数的全连接层、Softmax函数等。
进一步地，对原始医学影像图片或待处理的医学影像图片进行预处理包括：将原始医学影像图片或待处理的医学影像图片调整到固定的224x224像素大小，再切分为14×14个Patch，以确保图像编码模型能够接收相同大小的输入。
进一步地，对原始医学影像图片对应的真实诊断报告文本进行预处理包括：去除真实诊断报告文本中的无用字符、空格和特殊符号，再将文本转换成Prompt格式。
进一步地，所述FD-CE损失函数包括：
其中，V表示为词表；Y表示真实诊断报告文本；yi∈Y；wi表示真实诊断报告文本中第i个字对应的动态损失权重；/>为上一轮文本生成模型训练完的生成的诊断报告文本；/>为yi在真实诊断报告文本中的tfidf值，yi,k表示yi中的第k个值，yi表示真实诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本，文本生成模型生成的诊断报告文本和真实诊断报告文本用one-hot向量表示，M表示最大权重参数，LFD-CE表示FD-CE损失函数。
进一步地，所述对比损失函数包括：
其中，Hg,i为原始图像特征中的第j个值，Ht,i表示文本编码向量中的第i个值，AVG表示平均聚合函数，sim表示相似度函数，N表示训练样本的数量，n表示原始图像特征或文本编码向量中元素的个数。
进一步地，所述医学影像报告智能生成模型的损失函数包括：
loss＝α*L+(1-α)*LFD-CE
其中，L表示对比损失函数，LFD-CE表示FD-CE损失函数，α为损失的平衡因子超参数。
本发明至少具有以下有益效果
本发明将对比学习和大模型技术应用到医疗影像诊断报告生成领域中，采用对比学习使图像与自然语言在向量空间内对齐，捕捉到图像与文本的对应关系，加快微调速度；采用模板构建和加权学习的方式，减小生成模型的学习难度，提升整体生成效果；采用端到端的建模方式，使用简便，易于维护。
附图说明
图1为本发明的方法流程示意图；
图2为本发明模型结构流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1，本发明提供一种基于大数据的医学影像报告智能生成方法，该方法包括：
将待处理的医学影像图片进行预处理后输入训练好的医学影像报告智能生成模型自动的生成诊断报告；其中，所述医学影像报告智能生成模型包括：图像编码模型和文本生成模型；所述图像编码模型基于ViT(Vision Transformer)神经网络模型，所述文本生成模型包括：预训练语言模型GPT模型和分类器；
请参阅图2，所述医学影像报告智能生成模型的训练过程包括：
S1：获取原始医学影像报告数据集并进行预处理，所述原始医学影像报告数据包括：原始医学影像图片和原始医学影像图片对应的真实诊断报告文本；
S2：将原始医学影像图片输入图像编码模型进行编码得到原始图像特征；
S3：将原始图像特征输入预训练语言模型GPT进行编码得到文本编码向量，将文本编码向量输入分类器进行分类得到诊断报告文本；
S4：根据诊断报告文本与真实诊断报告文本计算FD-CE损失函数；根据图像编码向量和文本编码向量计算对比损失函数；根据FD-CE损失函数和对比损失函数构建医学影像报告智能生成模型的损失函数；
S5：以最小化医学影像报告智能生成模型的损失函数为优化目标利用梯度下降算法通过反向传播机制对医学影像报告智能生成模型的参数进行更新，医学影像报告智能生成模型的损失函数收敛后得到训练好的医学影像报告智能生成模型。
进一步地，对原始医学影像图片或待处理的医学影像图片进行预处理包括：将原始医学影像图片或待处理的医学影像图片调整到固定的224x224像素大小，再切分为14×14个Patch，以确保图像编码模型能够接收相同大小的输入。
设分成14×14个排列patch的图像为X，即X＝[patch1,patch2,...,patchn]，将每个进行patch线性投影，得到196长度的隐藏patch序列Z＝[z1,z2,...,z196]，zi＝Wpatchpatchi,其中Wpatch为可学习的投影矩阵参数，且序列中每个元素zi的维度为768；将Z输入到ViT模型进行编码，得到图像的编码表示Hg,其中Hg＝Vit(Z)，维度与Z保持一致；
设图像X对应的真实诊断报告文本序列为Y，将Y右移一位后得到生成模块文本输入Yshift，将图像特征Hg和Yshift输入GPT生成模块得到文本特征向量：Ht＝GPT(Yshift,Hg)；将文本特征向量输入到分类器进行分类，得到生成文本序列 为生成的第i个字符，计算公式如下：
其中，ht i∈Ht，ht i为第i个字符的文本向量，W和b为可学习参数。
进一步地，对原始医学影像图片对应的真实诊断报告文本进行预处理包括：去除真实诊断报告文本中的无用字符、空格和特殊符号，再将文本转换成Prompt格式。
通过将文本转换成统一的规范化模板(Prompt)格式，可以让预训练语言模型更好地理解和处理文本内容，从而更准确地生成诊断报告。以充分利用预训练语言模型GPT(Generative Pre-trained Transformer)的知识。模板构建细节如下表所示：
进一步地，所述FD-CE损失函数包括：
其中，V表示为词表；Y表示真实诊断报告文本；yi∈Y；wi表示真实诊断报告文本中第i个字对应的动态损失权重；/>为上一轮文本生成模型训练完的生成的诊断报告文本；/>为yi在真实诊断报告文本中的tfidf值，yi,k表示yi中的第k个值，yi表示真实诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本，文本生成模型生成的诊断报告文本和真实诊断报告文本用one-hot向量表示，M表示最大权重参数，LFD-CE表示FD-CE损失函数。
采用生成诊断报告内容与真实诊断报告内容Y计算损失函数过程中，为聚焦当前模型生成文本，动态赋予难生成样本更高的权重，使其在下一轮训练中得到更多的关注。
进一步地，所述对比损失函数包括：
其中，Hg,i为原始图像特征中的第j个值，Ht,i表示文本编码向量中的第i个值，AVG表示平均聚合函数，sim表示相似度函数，N表示训练样本的数量，n表示原始图像特征或文本编码向量中元素的个数，在训练样本量为N的mini-batch中表示第i个图文样本对，采用对比学习的方法拉近图像与其诊断文本的距离，增大图像与非对应诊断文本的距离，以使图像中的语义信息与自然语言之间进行对齐。
进一步地，所述医学影像报告智能生成模型的损失函数包括：
loss＝α*L+(1-α)*LFD-CE
其中，L表示对比损失函数，LFD-CE表示FD-CE损失函数，α为损失的平衡因子超参数。
本发明将对比学习和大模型技术应用到医疗影像诊断报告生成领域中，采用对比学习使图像与自然语言在向量空间内对齐，加快微调速度；采用模板构建和加权学习的方式，减小生成模型的学习难度，提升整体生成效果；采用端到端的建模方式，使用简便，易于维护。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于大数据的医学影像报告智能生成方法，其特征在于，包括：将待处理的医学影像图片进行预处理后输入训练好的医学影像报告智能生成模型自动的生成诊断报告；其中，所述医学影像报告智能生成模型包括：图像编码模型和文本生成模型；所述图像编码模型基于ViT神经网络模型，所述文本生成模型包括：预训练语言模型GPT模型和分类器；
所述医学影像报告智能生成模型的训练过程包括：
S1：获取原始医学影像报告数据集并进行预处理，所述原始医学影像报告数据包括：原始医学影像图片和原始医学影像图片对应的真实诊断报告文本；
S2：将原始医学影像图片输入图像编码模型进行编码得到原始图像特征；
S3：将原始图像特征输入预训练语言模型GPT进行编码得到文本编码向量，将文本编码向量输入分类器进行分类得到诊断报告文本；
S4：根据诊断报告文本与真实诊断报告文本计算FD-CE损失函数；根据图像编码向量和文本编码向量计算对比损失函数；根据FD-CE损失函数和对比损失函数构建医学影像报告智能生成模型的损失函数；
S5：以最小化医学影像报告智能生成模型的损失函数为优化目标利用梯度下降算法通过反向传播机制对医学影像报告智能生成模型的参数进行更新，医学影像报告智能生成模型的损失函数收敛后得到训练好的医学影像报告智能生成模型。
2.根据权利要求1所述的一种基于大数据的医学影像报告智能生成方法，其特征在于，对原始医学影像图片或待处理的医学影像图片进行预处理包括：将原始医学影像图片或待处理的医学影像图片调整到固定的224x224像素大小，再切分为14×14个Patch，以确保图像编码模型能够接收相同大小的输入。
3.根据权利要求1所述的一种基于大数据的医学影像报告智能生成方法，其特征在于，对原始医学影像图片对应的真实诊断报告文本进行预处理包括：去除真实诊断报告文本中的无用字符、空格和特殊符号，再将文本转换成Prompt格式。
4.根据权利要求1所述的一种基于大数据的医学影像报告智能生成方法，其特征在于，
所述FD-CE损失函数包括：
其中，V表示为词表；Y表示真实诊断报告文本；yi∈Y；wi表示真实诊断报告文本中第i个字对应的动态损失权重；/>为上一轮文本生成模型训练完的生成的诊断报告文本；tfidfyi为yi在真实诊断报告文本中的tfidf值，yi,k表示yi中的第k个值，yi表示真实诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本中的第i个字，/>表示文本生成模型生成的诊断报告文本，文本生成模型生成的诊断报告文本和真实诊断报告文本用one-hot向量表示，M表示最大权重参数LFD-CE表示FD-CE损失函数。
5.根据权利要求1所述的一种基于大数据的医学影像报告智能生成方法，其特征在于，所述对比损失函数包括：
其中，Hg,i为原始图像特征中的第j个值，Ht,i表示文本编码向量中的第i个值，AVG表示平均聚合函数，sim表示相似度函数，N表示训练样本的数量，n表示原始图像特征或文本编码向量中元素的个数。
6.根据权利要求1所述的一种基于大数据的医学影像报告智能生成方法，其特征在于，所述医学影像报告智能生成模型的损失函数包括：
loss＝α*L+(1-α)*LFD-CE
其中，L表示对比损失函数，LFD-CE表示FD-CE损失函数，α为损失的平衡因子超参数。
CN202310582362.5A 2023-05-23 2023-05-23 一种基于大数据的医学影像报告智能生成方法 Active CN116631566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310582362.5A CN116631566B (zh) 2023-05-23 2023-05-23 一种基于大数据的医学影像报告智能生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310582362.5A CN116631566B (zh) 2023-05-23 2023-05-23 一种基于大数据的医学影像报告智能生成方法

Publications (2)

Publication Number Publication Date
CN116631566A true CN116631566A (zh) 2023-08-22
CN116631566B CN116631566B (zh) 2024-05-24

Family

ID=87620743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310582362.5A Active CN116631566B (zh) 2023-05-23 2023-05-23 一种基于大数据的医学影像报告智能生成方法

Country Status (1)

Country Link
CN (1) CN116631566B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
CN113539408A (zh) * 2021-08-31 2021-10-22 北京字节跳动网络技术有限公司 一种医学报告生成方法、模型的训练方法、装置及设备
CN114220516A (zh) * 2021-12-17 2022-03-22 北京工业大学 一种基于层级循环神经网络解码的脑ct医学报告生成方法
CN114743630A (zh) * 2022-04-01 2022-07-12 杭州电子科技大学 一种基于跨模态对比学习的医学报告生成方法
CN114972929A (zh) * 2022-07-29 2022-08-30 中国医学科学院医学信息研究所 一种医学多模态模型的预训练方法及装置
CN114973226A (zh) * 2022-05-13 2022-08-30 上海大学 自监督对比学习自然场景中文本识别系统训练方法
US20230005284A1 (en) * 2021-09-18 2023-01-05 Beijing Baidu Netcom Science Technology Co., Ltd. Method for training image-text matching model, computing device, and storage medium
CN115761314A (zh) * 2022-11-07 2023-03-07 重庆邮电大学 一种基于提示学习的电商图文分类方法及系统
US20230092027A1 (en) * 2021-03-25 2023-03-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training medical image report generation model, and image report generation method and apparatus
CN115909002A (zh) * 2022-10-10 2023-04-04 南京莱斯电子设备有限公司 一种基于对比学习的图像翻译方法
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品
US20230154164A1 (en) * 2021-11-12 2023-05-18 Siemens Healthcare Gmbh Self-supervised learning for artificial intelligence-based systems for medical imaging analysis

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
US20230092027A1 (en) * 2021-03-25 2023-03-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training medical image report generation model, and image report generation method and apparatus
CN113539408A (zh) * 2021-08-31 2021-10-22 北京字节跳动网络技术有限公司 一种医学报告生成方法、模型的训练方法、装置及设备
US20230005284A1 (en) * 2021-09-18 2023-01-05 Beijing Baidu Netcom Science Technology Co., Ltd. Method for training image-text matching model, computing device, and storage medium
US20230154164A1 (en) * 2021-11-12 2023-05-18 Siemens Healthcare Gmbh Self-supervised learning for artificial intelligence-based systems for medical imaging analysis
CN114220516A (zh) * 2021-12-17 2022-03-22 北京工业大学 一种基于层级循环神经网络解码的脑ct医学报告生成方法
CN114743630A (zh) * 2022-04-01 2022-07-12 杭州电子科技大学 一种基于跨模态对比学习的医学报告生成方法
CN114973226A (zh) * 2022-05-13 2022-08-30 上海大学 自监督对比学习自然场景中文本识别系统训练方法
CN114972929A (zh) * 2022-07-29 2022-08-30 中国医学科学院医学信息研究所 一种医学多模态模型的预训练方法及装置
CN115909002A (zh) * 2022-10-10 2023-04-04 南京莱斯电子设备有限公司 一种基于对比学习的图像翻译方法
CN115761314A (zh) * 2022-11-07 2023-03-07 重庆邮电大学 一种基于提示学习的电商图文分类方法及系统
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AN YAN等: ""Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation"", 《ARXIV》, pages 1 - 7 *
WEITAO SHI等: ""Multi-modal graph reasoning for structured video text extraction"", 《COMPUTERS AND ELECTRICAL ENGINEERING》, vol. 107, pages 1 - 9 *
杨楠等: "基于深度学习的图像描述研究", 《红外与激光工程》, vol. 47, no. 02, pages 1 - 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备
CN117112829B (zh) * 2023-10-24 2024-02-02 吉林大学 医疗数据跨模态检索方法、装置和相关设备

Also Published As

Publication number Publication date
CN116631566B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN110750959B (zh) 文本信息处理的方法、模型训练的方法以及相关装置
CN109918671A (zh) 基于卷积循环神经网络的电子病历实体关系抽取方法
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN111325323A (zh) 一种融合全局信息和局部信息的输变电场景描述自动生成方法
CN105654135A (zh) 一种基于递归神经网络的图像文字序列识别系统
CN112164446B (zh) 一种基于多网络融合的医疗影像报告生成方法
CN116631566B (zh) 一种基于大数据的医学影像报告智能生成方法
Yang et al. Writing by memorizing: Hierarchical retrieval-based medical report generation
Zhu et al. Topic-guided attention for image captioning
CN113516152B (zh) 一种基于复合图像语义的图像描述方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN110263174A (zh) —基于焦点关注的主题类别分析方法
CN115690072A (zh) 基于多模态深度学习的胸片特征提取和疾病分类方法
CN115761757A (zh) 基于解耦特征引导的多模态文本页面分类方法
CN112488963A (zh) 一种用于农作物病害数据的增强方法
CN116304042A (zh) 一种基于多模态特征自适应融合的虚假新闻检测方法
CN115630649A (zh) 一种基于生成模型的医学中文命名实体识别方法
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
CN112132841B (zh) 医疗图像切割方法及装置
CN115862837A (zh) 一种基于类型推理与语义约束的医学视觉问答方法
CN111340807B (zh) 病灶定位核心数据提取方法、系统、电子设备及存储介质
CN117236335A (zh) 基于提示学习的两阶段命名实体识别方法
CN111368663A (zh) 自然场景中静态面部表情识别方法、装置、介质及设备
CN116521863A (zh) 一种基于半监督学习的标签抗噪文本分类方法
CN112348007B (zh) 一种基于神经网络的光学字符识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240424

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240427

Address after: Room 111, 112, 113, No. 200-3 Yuangang Road, Tianhe District, Guangzhou City, Guangdong Province, 510515

Applicant after: Guangzhou hehao Medical Technology Co.,Ltd.

Country or region after: China

Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant