CN117542538A - 一种基于强化学习的医疗多模态内容分析及生成方法 - Google Patents

一种基于强化学习的医疗多模态内容分析及生成方法 Download PDF

Info

Publication number
CN117542538A
CN117542538A CN202410036713.7A CN202410036713A CN117542538A CN 117542538 A CN117542538 A CN 117542538A CN 202410036713 A CN202410036713 A CN 202410036713A CN 117542538 A CN117542538 A CN 117542538A
Authority
CN
China
Prior art keywords
text
memory
vector
visual
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410036713.7A
Other languages
English (en)
Inventor
宋彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202410036713.7A priority Critical patent/CN117542538A/zh
Publication of CN117542538A publication Critical patent/CN117542538A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于强化学习的医疗多模态内容分析及生成方法，将给定图像输送到目标检测模型中，生成与给定图像相匹配的文本报告；目标检测模型的训练过程如下：S1：构建训练集，将训练集中图像输送到目标检测模型中；S2：提取图像的视觉特征，同时获取目标检测模型中已生成文本的文本特征；S3：对视觉特征和文本特征进行建模，得到视觉特征的记忆对应向量组以及文本特征的记忆对应向量组；S4：对视觉特征的记忆对应向量组进行编码，得到输出矩阵；S5：对输出矩阵和文本特征的记忆对应向量组进行解码，输出当前时间步的预测文本；该医疗多模态内容分析及生成方法有利于放射学影像报告的生成。

Description

一种基于强化学习的医疗多模态内容分析及生成方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于强化学习的医疗多模态内容分析及生成方法。
背景技术
放射学报告生成方法需要处理的医疗数据是多模态的，既需要处理放射学影像，又需要处理报告文本。此外，在该类医疗数据中，文本报告中的每一条诊断信息都与放射学影像中的一定图像区域相对应。考虑到影像与文本之间的这种对齐关系对生成文本的重要性，模型学习这种对齐关系的能力是实现卓越性能的关键。现有的技术在有监督模式下通过共同注意力机制促进不同模态之间的特征对齐，但由于缺乏对这种对齐关系的标注，不足以实现有效和准确的对应关系学习，使得最终得到的文本报告不准确。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于强化学习的医疗多模态内容分析及生成方法，提高了文本报告的生成准确性。
本发明提出的一种基于强化学习的医疗多模态内容分析及生成方法，将给定图像输送到目标检测模型中，生成与给定图像相匹配的文本报告；
所述目标检测模型的训练过程如下：
S1：构建训练集，并将训练集中图像输送到目标检测模型中；
S2：提取图像的视觉特征/>，同时获取目标检测模型中已生成文本/>的文本特征/>；
S3：对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>；
S4：对视觉特征的记忆对应向量组进行编码，得到输出矩阵/>；
S5：对输出矩阵和文本特征的记忆对应向量组/>进行解码处理，输出当前时间步的预测文本。
进一步地，在步骤S3中，基于跨模态记忆模块对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>，跨模态记忆模块包括一个用于对齐视觉特征/>和文本特征/>的记忆矩阵/>，跨模态记忆模块含有多个线程，每个线程遵循相同的对齐方式；其中，视觉特征的记忆对应向量组/>生成过程如下：
将视觉特征、文本特征/>以及记忆特征/>分别映射到对齐空间，得到视觉特征向量/>、文本特征向量/>以及记忆特征向量/>，/>，/>，/>，/>分别表示向量序号，/>为视觉特征的总个数，/>，/>为已生成文本特征的总个数，/>，为记忆矩阵/>中记忆特征的总个数，/>，/>表示第/>个记忆特征；
在对齐空间中，计算每一个视觉特征向量与记忆特征向量/>之间的距离/>并按/>升序排列，选择前/>个记忆特征向量/>，/>，/>表示记忆特征向量序号；
在记忆矩阵中选择与记忆特征向量/>对应的记忆特征/>，将记忆特征/>映射为对应的视觉向量/>；
计算视觉向量的加权和输出向量/>；
将所有线程输出的向量连接以生成视觉特征的记忆对应向量组/>。
进一步地，视觉特征向量、文本特征向量/>以及记忆特征向量/>计算如下：
其中，、/>以及/>是三个可学习的参数矩阵；
距离的计算如下：
视觉向量生成如下：
其中，是一个可学习的参数矩阵；
向量的计算如下：
其中，表示权重，/>表示选取的记忆特征向量总数，/>表示乘积。
进一步地，在目标检测模型训练过程中，基于输出多个当前时间步的预测文本生成图像对应的完整报告；通过评测指标向目标检测模型中已生成文本/>生成奖励/>，并通过强化学习算法来引导视觉和文本的跨模态对齐。
强化学习算法包括基于Transformer的价值网络，基于价值网络计算已生成文本的价值/>，优势函数/>如下：
其中，为已生成文本/>通过评测指标生成的奖励，/>表示已生成文本/>经过步骤S1至S5的一个时间步后得到的已生成文本，/>表示/>的价值；强化学习通过梯度上升最大化优势函数/>的期望值实现对目标检测模型的训练，价值网络的更新通过最小化实现。
本发明提供的一种基于强化学习的医疗多模态内容分析及生成方法的优点在于：本发明结构中提供的一种基于强化学习的医疗多模态内容分析及生成方法，利用跨模态记忆模块，目标检测模型可以更好地对视觉特征和文本特征进行对齐，从而有利于放射学影像报告的生成。同时在目标检测模型中加入强化学习的思想，以解决先前工作中存在的没有对齐标注来指导对齐关系准确的学习的问题，使得最终输出的文本报告与目标图像区域一一对应。
附图说明
图1为本发明的结构示意图；
图2为目标检测模型的训练流程图。
具体实施方式
下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
如图1和2所示，本发明提出的一种基于强化学习的医疗多模态内容分析及生成方法，将给定图像输送到目标检测模型中，生成与给定图像相匹配的文本报告；
所述目标检测模型包括视觉提取器、跨模态记忆模块、编辑器和解码器；目标检测模型的训练过程如下步骤S1至S5：
S1：构建训练集，并将训练集中图像输送到目标检测模型中。
S2：提取图像的视觉特征/>，同时获取目标检测模型中已生成文本/>的文本特征/>；
利用视觉提取器提取图像的视觉特征/>，记为/>，其中第/>个视觉特征记为，/>为视觉特征的总个数。已生成文本/>的文本特征/>，记为/>，其中第/>个文本特征记为/>，/>为已生成文本特征的总个数。可以理解的是，目标检测模型中已生成文本/>为历史数据，也就是说已生成文本/>是每次目标检测模型训练过程中生成的文本，该文本被文本储存模块进行储存作为历史数据，加入新一轮的训练过程。
S3：对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>；
基于跨模态记忆模块对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>；跨模态记忆模块包括一个记忆矩阵/>，记忆矩阵/>用于对齐视觉特征/>和文本特征/>，记为/>，其中第/>个记忆特征记为/>，/>为记忆特征的总个数。
跨模态记忆模块含有多个线程，每个线程遵循相同的对齐方式；其中，视觉特征的记忆对应向量组生成过程如下步骤S31至S35：
S31：将视觉特征、文本特征/>以及记忆特征/>分别映射到对齐空间，得到视觉特征向量/>、文本特征向量/>以及记忆特征向量/>，/>，/>，/>，/>，/>分别表示向量序号，/>为视觉特征的总个数，/>，/>为已生成文本特征的总个数，，/>为记忆矩阵/>中记忆特征的总个数。
视觉特征向量、文本特征向量/>以及记忆特征向量/>计算如下：
其中，、/>以及/>是三个可学习的参数矩阵。
S32：在对齐空间中，计算每一个视觉特征向量与记忆特征向量/>之间的距离并按/>升序排列，选择前/>个记忆特征向量/>，/>，/>表示记忆特征向量序号；
距离的计算如下：
S33：在记忆矩阵中选择与记忆特征向量/>对应的记忆特征/>，将记忆特征映射为对应的视觉向量/>；
视觉向量生成如下：
其中，是一个可学习的参数矩阵。
S34：计算视觉向量的加权和输出向量/>；
向量计算如下：
其中，表示权重，/>表示选取的记忆特征向量总数，/>表示乘积。
S35：将所有线程输出的向量连接以生成视觉特征的记忆对应向量组/>。
文本特征的记忆对应向量组的计算过程与视觉特征的记忆对应向量组/>类似，以下简略说明，具体详见步骤S31至S35。
在步骤S31基础上，在对齐空间中，计算每一个文本特征向量与记忆特征向量/>之间的距离/>并按/>升序排列，选择前/>个记忆特征向量/>；
在记忆矩阵中选择与记忆特征向量/>对应的记忆特征/>，将记忆特征/>映射为对应的文本向量/>；
计算文本向量的加权和输出向量/>；
将所有线程输出的向量连接以生成文本特征的记忆对应向量组/>。
其中涉及到的、/>、/>等公式类比到步骤S31至S35中的对应公式即可。
S4：对视觉特征的记忆对应向量组进行编码，得到输出矩阵/>；
本实施例采用基于Transformer的编码器对进行编码。
S5：对输出矩阵和文本特征的记忆对应向量组/>进行解码处理，输出当前时间步的预测文本；
本实施例采用基于Transformer的解码器对和/>进行解码，具体为：将/>和/>输入到基于Transformer的解码器中，从而输出当前时间步的预测文本。
通过步骤S1至S5输出不同时间步的预测文本，将图像对应的输出预测文本进行拼接，以生成图像/>对应的完整报告。
基于BLEU、METEOR以及ROUGE等评测指标，通过评测指标向目标检测模型中已生成文本生成奖励/>，并通过强化学习算法来引导视觉和文本的跨模态对齐。
强化学习算法具体为：具体使用A3C（Asynchronous Advantage Actor-Critic）强化学习算法。该算法包括一个基于Transformer的价值网络（Critic），该价值网络可以参考现有网络。通过价值网络计算当前已生成文本的价值/>，基于/>和奖励/>计算优势函数：
其中，为已生成文本/>通过评测指标生成的奖励，/>表示已生成文本/>经过步骤S1至S5的一个时间步后得到的已生成文本，/>表示/>的价值，其中，/>为已生成文本/>经过步骤S1至S5后输出的当前时间步的预测文本，将当前时间步的预测文本作为已生成文本在目标检测模型中储存，并作为下一个时间步计算的已生成文本，在进行下一个时间步的文本时，已生成文本为当前时间步的文本集合，奖励/>也是当前时间步的文本集合对应的奖励；也就是说已生成文本以及对应的奖励随着目标检测模型的训练是一个不断变化的集合，经过对这个集合中的元素进行优化，可以实现对目标检测模型的训练优化。
强化学习通过梯度上升最大化的期望值实现对目标检测模型的训练。价值网络的更新则是通过最小化/>实现的。
在本实施例中，利用跨模态记忆模块，目标检测模型可以更好地对视觉特征和文本特征进行对齐，从而有利于放射学影像报告的生成。同时在目标检测模型中加入强化学习的思想，以解决先前工作中存在的没有对齐标注来指导对齐关系准确的学习的问题，使得最终输出的文本报告与目标图像区域一一对应，提高了文本报告的准确性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于强化学习的医疗多模态内容分析及生成方法，其特征在于，将给定图像输送到目标检测模型中，生成与给定图像相匹配的文本报告；
所述目标检测模型的训练过程如下：
S1：构建训练集，并将训练集中图像输送到目标检测模型中；
S2：提取图像的视觉特征/>，同时获取目标检测模型中已生成文本/>的文本特征/>；
S3：对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>；
S4：对视觉特征的记忆对应向量组进行编码，得到输出矩阵/>；
S5：对输出矩阵和文本特征的记忆对应向量组/>进行解码处理，输出当前时间步的预测文本。
2.根据权利要求1所述的基于强化学习的医疗多模态内容分析及生成方法，其特征在于，在步骤S3中，基于跨模态记忆模块对视觉特征和文本特征/>进行建模，得到视觉特征的记忆对应向量组/>以及文本特征的记忆对应向量组/>，跨模态记忆模块包括一个用于对齐视觉特征/>和文本特征/>的记忆矩阵/>，跨模态记忆模块含有多个线程，每个线程遵循相同的对齐方式；其中，视觉特征的记忆对应向量组/>生成过程如下：
将视觉特征、文本特征/>以及记忆特征/>分别映射到对齐空间，得到视觉特征向量、文本特征向量/>以及记忆特征向量/>，/>，/>，/>，/>分别表示向量序号，/>为视觉特征的总个数，/>，/>为已生成文本特征的总个数，/>，，/>为记忆矩阵/>中记忆特征的总个数；
在对齐空间中，计算每一个视觉特征向量与记忆特征向量/>之间的距离/>并按升序排列，选择前/>个记忆特征向量/>，/>，/>表示记忆特征向量序号；
在记忆矩阵中选择与记忆特征向量/>对应的记忆特征/>，将记忆特征/>映射为对应的视觉向量/>；
计算视觉向量的加权和输出向量/>；
将所有线程输出的向量连接以生成视觉特征的记忆对应向量组/>。
3.根据权利要求2所述的基于强化学习的医疗多模态内容分析及生成方法，其特征在于，视觉特征向量、文本特征向量/>以及记忆特征向量/>计算如下：
其中，、/>以及/>是三个可学习的参数矩阵；
距离的计算如下：
视觉向量生成如下：
其中，是一个可学习的参数矩阵；
向量的计算如下：
其中，表示权重，/>表示选取的记忆特征向量总数，/>表示乘积。
4.根据权利要求1所述的基于强化学习的医疗多模态内容分析及生成方法，其特征在于，在目标检测模型训练过程中，基于输出多个当前时间步的预测文本生成图像对应的完整报告；
通过评测指标向目标检测模型中已生成文本生成奖励/>，并通过强化学习算法来引导视觉和文本的跨模态对齐；
强化学习算法包括基于Transformer的价值网络，基于价值网络计算已生成文本的价值/>，优势函数/>如下：
其中，为已生成文本/>通过评测指标生成的奖励，/>表示已生成文本/>经过步骤S1至S5的一个时间步后得到的已生成文本，/>表示/>的价值；
强化学习通过梯度上升最大化优势函数的期望值实现对目标检测模型的训练，价值网络的更新通过最小化/>实现。
CN202410036713.7A 2024-01-10 2024-01-10 一种基于强化学习的医疗多模态内容分析及生成方法 Pending CN117542538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410036713.7A CN117542538A (zh) 2024-01-10 2024-01-10 一种基于强化学习的医疗多模态内容分析及生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410036713.7A CN117542538A (zh) 2024-01-10 2024-01-10 一种基于强化学习的医疗多模态内容分析及生成方法

Publications (1)

Publication Number Publication Date
CN117542538A true CN117542538A (zh) 2024-02-09

Family

ID=89786618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410036713.7A Pending CN117542538A (zh) 2024-01-10 2024-01-10 一种基于强化学习的医疗多模态内容分析及生成方法

Country Status (1)

Country Link
CN (1) CN117542538A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743630A (zh) * 2022-04-01 2022-07-12 杭州电子科技大学 一种基于跨模态对比学习的医学报告生成方法
CN115171838A (zh) * 2022-08-24 2022-10-11 中南大学 基于跨模态融合的医学报告生成模型的训练方法
CN117077085A (zh) * 2023-10-17 2023-11-17 中国科学技术大学 大模型结合双路记忆的多模态有害社交媒体内容识别方法
US20230386646A1 (en) * 2022-05-26 2023-11-30 Verily Life Sciences Llc Combined vision and language learning models for automated medical reports generation
CN117198497A (zh) * 2022-05-26 2023-12-08 中国石油大学(华东) 基于双分支特征融合的医学影像报告生成方法
CN117316369A (zh) * 2023-08-24 2023-12-29 兰州交通大学 平衡跨模态信息的胸部影像诊断报告自动生成方法
CN117352121A (zh) * 2023-11-02 2024-01-05 北京邮电大学 一种医学影像报告的生成方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743630A (zh) * 2022-04-01 2022-07-12 杭州电子科技大学 一种基于跨模态对比学习的医学报告生成方法
US20230386646A1 (en) * 2022-05-26 2023-11-30 Verily Life Sciences Llc Combined vision and language learning models for automated medical reports generation
CN117198497A (zh) * 2022-05-26 2023-12-08 中国石油大学(华东) 基于双分支特征融合的医学影像报告生成方法
CN115171838A (zh) * 2022-08-24 2022-10-11 中南大学 基于跨模态融合的医学报告生成模型的训练方法
CN117316369A (zh) * 2023-08-24 2023-12-29 兰州交通大学 平衡跨模态信息的胸部影像诊断报告自动生成方法
CN117077085A (zh) * 2023-10-17 2023-11-17 中国科学技术大学 大模型结合双路记忆的多模态有害社交媒体内容识别方法
CN117352121A (zh) * 2023-11-02 2024-01-05 北京邮电大学 一种医学影像报告的生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHU-WANGXIAO: "一文读懂 深度强化学习算法 A3C（Actor-Critic Algorithm）", HTTPS://WWW.CNBLOGS.COM/WANGXIAOCVPR/P/8110120.HTML, 25 December 2017 (2017-12-25) *
ZHIHONG CHEN等: "Cross-modal Memory Networks for Radiology Report Generation", ARXIV, 28 April 2022 (2022-04-28) *

Similar Documents

Publication Publication Date Title
CN109192300A (zh) 智能问诊方法、系统、计算机设备和存储介质
CN112633378B (zh) 一种多模态影像胎儿胼胝体智能检测方法及系统
CN109065110A (zh) 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN111382271B (zh) 文本分类模型的训练方法及装置、文本分类方法及装置
CN113609326B (zh) 基于外部知识和目标间关系的图像描述生成方法
CN110767279A (zh) 基于lstm的电子健康记录缺失数据补全方法及系统
EP4152211A1 (en) Neural network model training method, image classification method, text translation method and apparatus, and device
CN113724359A (zh) 一种基于Transformer的CT报告生成方法
CN114743630A (zh) 一种基于跨模态对比学习的医学报告生成方法
CN116230154A (zh) 基于记忆强化Transformer的胸腔X光诊断报告生成方法
CN112052889A (zh) 基于双门控递归单元解码的喉镜图像识别方法
CN114299324A (zh) 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN116797572A (zh) 基于多模态数据的类风湿关节炎活动度分级装置
CN115471716A (zh) 一种基于知识蒸馏的胸部放射影像疾病分类模型轻量化方法
CN114491289A (zh) 一种双向门控卷积网络的社交内容抑郁检测方法
CN116977338B (zh) 基于视觉语义联合的染色体病例级异常提示系统
CN117542538A (zh) 一种基于强化学习的医疗多模态内容分析及生成方法
CN117237685A (zh) 一种基于多模态深度聚类的机械设备故障诊断方法
CN117315244A (zh) 融合多尺度特征的医学图像分割方法、设备、存储介质
CN116092644A (zh) 基于核心算法和虚拟现实技术的医疗过程辅助管理系统
CN114971375A (zh) 基于人工智能的考核数据处理方法、装置、设备及介质
CN115526503A (zh) 设备巡检数据处理方法、装置、设备及可读存储介质
CN114461085A (zh) 医疗输入推荐方法、装置、设备及存储介质
CN113657103B (zh) 一种基于ner的非标准中文快递寄件信息识别方法及系统
CN118098482B (zh) 基于5g技术的智慧医疗管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination