CN117557883B - 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 - Google Patents
基于病理对齐扩散网络的医疗多模态内容分析及生成方法 Download PDFInfo
- Publication number
- CN117557883B CN117557883B CN202410048581.XA CN202410048581A CN117557883B CN 117557883 B CN117557883 B CN 117557883B CN 202410048581 A CN202410048581 A CN 202410048581A CN 117557883 B CN117557883 B CN 117557883B
- Authority
- CN
- China
- Prior art keywords
- features
- alignment
- feature vectors
- memory
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000007170 pathology Effects 0.000 title claims abstract description 28
- 238000009792 diffusion process Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 title claims abstract description 11
- 230000001575 pathological effect Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 69
- 238000013507 mapping Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于病理对齐扩散网络的医疗多模态内容分析及生成方法,将给定图像输入到融合检测模型中,以生成与给定图像相匹配的文本报告;所述融合检测模型的训练过程如下:S1:构建训练集,并将训练集中的图像输送到融合检测模型;S2:提取图像的图像特征;S3:将图像特征与不同粒度的病理信息进行对齐,获得对齐特征;S4:将对齐特征进行特征增强得到增强特征,将对齐特征和增强特征相加后进行归一化操作得到归一化特征,基于归一化特征指导文本生成,得到文本报告;该医疗多模态内容分析及生成方法,解决现有基于自回归式的方法容易出现的错误传播问题,提高生成报告的质量。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及基于病理对齐扩散网络的医疗多模态内容分析及生成方法。
背景技术
放射学影像报告生成旨在从特定的临床放射学影像(例如胸部x光影像像)中自动生成自由文本描述,其中现有的方法大多采用传统的自回归方法,即使用基于Transformer的模型进行处理。然而,现有的自回归方法在生成文本时存在着错误传播问题,进而导致诊断不准确和关键病理信息的遗漏。
发明内容
基于背景技术存在的技术问题,本发明提出了基于病理对齐扩散网络的医疗多模态内容分析及生成方法,解决现有基于自回归式的方法容易出现的错误传播问题,提高生成报告的质量。
本发明提出的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,将给定图像输入到融合检测模型中,以生成与给定图像相匹配的文本报告;
所述融合检测模型的训练过程如下:
S1:构建训练集,并将训练集中的图像输送到融合检测模型;
S2:提取图像的图像特征;
S3:将图像特征与不同粒度的病理信息进行对齐,获得对齐特征;
S31:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中计算报告粒度对齐特征;
S32:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中预测病理标签;
S33:计算病理标签的平均池化值,得到病理术语粒度对齐特征;
S34:将报告粒度对齐特征和病理术语粒度对齐特征相加并进行归一化操作,得到对齐特征;
S4:将对齐特征进行特征增强得到增强特征,将对齐特征和增强特征相加后进行归一化操作得到归一化特征,基于归一化特征指导文本生成,得到文本报告;
S5:将归一化特征输送到扩散网络中指导文本生成,得到文本报告。
进一步地,在步骤S4中,基于记忆网络将对齐特征进行特征增强得到增强特征,所述记忆网络中设置一个记忆矩阵,记忆矩阵由个记忆向量组成,,增强特征的生成过程为:
将对齐特征和记忆向量映射到相同的语义空间得到对齐特征向量和记忆特征向量;
计算对齐特征向量和记忆特征向量之间的相似度,并将相似度降序排列,选择前个记忆特征向量,并计算个记忆特征向量分别对应的权重;
将个记忆特征向量映射到与对齐特征具有相同维度的空间,得到映射特征;
将个映射特征加权相加得到增强特征。
进一步地,在步骤S4中,在扩散网络中基于归一化特征指导文本生成,得到文本报告,具体为:
将对齐特征和增强特征相加后进行归一化操作得到归一化特征;
基于视觉特征和加强后的特征,利用扩散解码器生成文本报告的终特征向量;
对终特征向量进行解码操作得到文本报告。
进一步地,对齐特征向量和记忆特征向量计算如下:
其中,与是两个可学习的矩阵参数;
相似度计算如下:
其中,为记忆特征向量的转置,表示对齐特征向量和记忆特征向量的维度;
个记忆特征向量分别对应的权重计算如下:
其中,表示记忆特征向量的个数;
映射特征生成如下:
其中,是一个可训练的矩阵参数;
增强特征生成如下:
其中,表示乘积。
进一步地,归一化特征计算如下:
其中,表示归一化,表示对齐特征,表示增强特征;
用高斯噪声初始化,表示第次迭代所产生的特征向量,并进行迭代降噪得到终特征向量:
其中,表示总迭代次数,表示在第次迭代所产生的特征向量,表示在第次迭代所产生的特征向量,表示第次迭代的噪声系数,表示第次迭代的噪声系数,是基于Transformer的扩散网络解码器,表示中间参量。
本发明提供的基于病理对齐扩散网络的医疗多模态内容分析及生成方法的优点在于:本发明结构中提供的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,通过多粒度病理对齐模块进行报告粒度对齐以及病理术语粒度对齐,融合检测模型可以有效率地将放射图与相关报告和病理术语对齐,从而提高生成报告的质量;从而解决现有基于自回归式的方法容易出现的错误传播问题,提高生成报告的质量。
附图说明
图1为本发明的结构示意图;
图2为融合检测模型的训练流程图。
具体实施方式
下面,通过具体实施例对本发明的技术方案进行详细说明,在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
如图1和2所示,本发明提出的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,将给定图像输入到融合检测模型中,以生成与给定图像相匹配的文本报告;
所述融合检测模型包括依次连接的图像编码器、多粒度病理对齐模块、记忆网络和扩散网络;
所述融合检测模型的训练过程如下:
S1:构建训练集,并将训练集中的图像输送到融合检测模型。
S2:基于图像编码器提取图像的图像特征;
该图像编码器可以直接采用现有的编码器即可,以能实现对图像进行图像特征提取为准。
S3:基于多粒度病理对齐模块将图像特征与不同粒度的病理信息进行对齐,获得对齐特征;
其中,多粒度病理对齐模块包括报告粒度对齐和病理术语粒度对齐,分别编码报告粒度对齐特征和病理术语粒度对齐特征;步骤S3具体包括步骤S31至S34:
S31:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中计算报告粒度对齐特征;
其中,表示病理提取器,是蕴含可能病理信息的向量,,是病理信息向量的总个数。
S32:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中预测病理标签;
S33:计算病理标签的平均池化值,得到病理术语粒度对齐特征;
S34:将报告粒度对齐特征和病理术语粒度对齐特征相加并进行归一化操作,得到对齐特征;
S4:将对齐特征进行特征增强得到增强特征,将对齐特征和增强特征相加后进行归一化操作得到归一化特征,基于归一化特征指导文本生成,得到文本报告;
在步骤S4中,基于记忆网络将对齐特征进行特征增强得到增强特征,所述记忆网络中设置一个记忆矩阵,记忆矩阵由个记忆向量组成,,增强特征的生成过程为:
S41:将对齐特征和记忆向量映射到相同的语义空间得到对齐特征向量和记忆特征向量;
其中,与是两个可学习的矩阵参数。
S42:计算对齐特征向量和记忆特征向量之间的相似度,并将相似度降序排列,选择前个记忆特征向量,并计算个记忆特征向量分别对应的权重;
相似度计算如下:
其中,为记忆特征向量的转置,表示对齐特征向量和记忆特征向量的维度;
个记忆特征向量分别对应的权重计算如下:
其中,表示记忆特征向量的个数,表示所选中个记忆特征向量分别对应的相似度,中的为所选中的个记忆特征向量分别对应的相似度。
S43:将个记忆特征向量映射到与对齐特征具有相同维度的空间,得到映射特征;
映射特征生成如下:
其中,是一个可训练的矩阵参数。
S44:将个映射特征加权相加得到增强特征。
增强特征生成如下:
其中,表示乘积;
S45:将对齐特征和增强特征相加后进行归一化操作得到归一化特征,记忆矩阵增强后的特征生成如下::
其中,表示归一化。
S5:将归一化特征输送到扩散网络中指导文本生成,得到文本报告;
S51:基于视觉特征和加强后的特征,利用扩散解码器生成文本报告的终特征向量;
用高斯噪声初始化,并进行迭代降噪得到终特征向量,表示第次迭代所产生的特征向量:
其中,表示总迭代次数,表示在第次迭代所产生的特征向量,表示在第次迭代所产生的特征向量,表示第次迭代的噪声系数,表示第次迭代的噪声系数,是基于Transformer的扩散网络解码器,表示中间参量,表示图像特征。
S52:对终特征向量进行解码操作得到文本报告:
其中,表示解码操作。
通过步骤S1至S5,通过多粒度病理对齐模块进行报告粒度对齐以及病理术语粒度对齐,融合检测模型可以有效率地将放射图与相关报告和病理术语对齐,从而提高生成报告的质量;从而解决现有基于自回归式的方法容易出现的错误传播问题,提高生成报告的质量。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (4)
1.基于病理对齐扩散网络的医疗多模态内容分析及生成方法,其特征在于,将给定图像输入到融合检测模型中,以生成与给定图像相匹配的文本报告;
所述融合检测模型的训练过程如下:
S1:构建训练集,并将训练集中的图像输送到融合检测模型;
S2:提取图像的图像特征;
S3:将图像特征与不同粒度的病理信息进行对齐,获得对齐特征;
S31:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中计算报告粒度对齐特征;
S32:利用基于Transformer的多标签分类器作为病理对齐器从图像特征中预测病理标签;
S33:计算病理标签的平均池化值,得到病理术语粒度对齐特征;
S34:将报告粒度对齐特征和病理术语粒度对齐特征相加并进行归一化操作,得到对齐特征;
S4:将对齐特征进行特征增强得到增强特征,将对齐特征和增强特征相加后进行归一化操作得到归一化特征;
S5:将归一化特征输送到扩散网络中指导文本生成,得到文本报告;
S51:基于视觉特征和归一化特征,利用扩散解码器生成文本报告的终特征向量;
用高斯噪声初始化,表示第次迭代所产生的特征向量,并进行迭代降噪得到终特征向量
其中,表示总迭代次数,表示在第次迭代所产生的特征向量,表示在第次迭代所产生的特征向量,表示第次迭代的噪声系数,表示第次迭代的噪声系数,是基于Transformer的扩散网络解码器,表示中间参量,表示图像特征;
S52:对终特征向量进行解码操作得到文本报告。
2.根据权利要求1所述的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,其特征在于,在步骤S4中,基于记忆网络将对齐特征进行特征增强得到增强特征,所述记忆网络中设置一个记忆矩阵,记忆矩阵由个记忆向量组成,,增强特征的生成过程为:
将对齐特征和记忆向量映射到相同的语义空间得到对齐特征向量和记忆特征向量;
计算对齐特征向量和记忆特征向量之间的相似度,并将相似度降序排列,选择前个记忆特征向量,并计算个记忆特征向量分别对应的权重;
将个记忆特征向量映射到与对齐特征具有相同维度的空间,得到映射特征;
将个映射特征加权相加得到增强特征。
3.根据权利要求2所述的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,其特征在于,对齐特征向量和记忆特征向量计算如下:
其中,与是两个可学习的矩阵参数;
相似度计算如下:
其中,为记忆特征向量的转置,表示对齐特征向量和记忆特征向量的维度;
个记忆特征向量分别对应的权重计算如下:
其中,表示记忆特征向量的个数,表示所选中个记忆特征向量分别对应的相似度;
映射特征生成如下:
其中,是一个可训练的矩阵参数;
增强特征生成如下:
其中,表示乘积。
4.根据权利要求1所述的基于病理对齐扩散网络的医疗多模态内容分析及生成方法,其特征在于,归一化特征计算如下:
其中,表示归一化,表示对齐特征,表示增强特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410048581.XA CN117557883B (zh) | 2024-01-12 | 2024-01-12 | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410048581.XA CN117557883B (zh) | 2024-01-12 | 2024-01-12 | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117557883A CN117557883A (zh) | 2024-02-13 |
CN117557883B true CN117557883B (zh) | 2024-07-05 |
Family
ID=89817146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410048581.XA Active CN117557883B (zh) | 2024-01-12 | 2024-01-12 | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557883B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117352121A (zh) * | 2023-11-02 | 2024-01-05 | 北京邮电大学 | 一种医学影像报告的生成方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4176449A4 (en) * | 2020-07-06 | 2024-07-24 | Harrison Ai Pty Ltd | METHOD AND SYSTEM FOR AUTOMATED GENERATION OF TEXT SUBTITLES FROM MEDICAL IMAGES |
US20220375576A1 (en) * | 2021-05-07 | 2022-11-24 | Empallo, Inc. | Apparatus and method for diagnosing a medical condition from a medical image |
CN114387430B (zh) * | 2022-01-11 | 2024-05-28 | 平安科技(深圳)有限公司 | 基于人工智能的图像描述生成方法、装置、设备及介质 |
US20230386646A1 (en) * | 2022-05-26 | 2023-11-30 | Verily Life Sciences Llc | Combined vision and language learning models for automated medical reports generation |
CN114944213A (zh) * | 2022-06-08 | 2022-08-26 | 长江大学 | 基于记忆驱动的Transformer医学内窥镜图像报告生成方法 |
CN115171838B (zh) * | 2022-08-24 | 2023-04-07 | 中南大学 | 基于跨模态融合的医学报告生成模型的训练方法 |
CN115861641A (zh) * | 2022-10-31 | 2023-03-28 | 浙江工业大学 | 一种基于细粒度注意力的医学影像报告生成方法 |
CN115662565A (zh) * | 2022-11-14 | 2023-01-31 | 三峡大学 | 一种融合标签信息的医学影像报告生成方法及设备 |
CN116452939A (zh) * | 2023-05-11 | 2023-07-18 | 河海大学 | 基于多模态实体融合与对齐的社交媒体虚假信息检测方法 |
CN116259407B (zh) * | 2023-05-16 | 2023-07-25 | 季华实验室 | 基于多模态数据的疾病诊断方法、装置、设备及介质 |
-
2024
- 2024-01-12 CN CN202410048581.XA patent/CN117557883B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117352121A (zh) * | 2023-11-02 | 2024-01-05 | 北京邮电大学 | 一种医学影像报告的生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
Cross-modal Memory Networks for Radiology Report Generation;Zhihong Chen;arXiv;20220428;1-11 * |
Also Published As
Publication number | Publication date |
---|---|
CN117557883A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021179205A1 (zh) | 医学图像分割方法、医学图像分割装置及终端设备 | |
Wang et al. | Triple attention learning for classification of 14 thoracic diseases using chest radiography | |
Wang et al. | A self-boosting framework for automated radiographic report generation | |
Luo et al. | Pseudo-convolutional policy gradient for sequence-to-sequence lip-reading | |
EP4266195A1 (en) | Training of text and image models | |
CN111275118B (zh) | 基于自我修正式标签生成网络的胸片多标签分类方法 | |
Zeng et al. | Understanding and generating ultrasound image description | |
Singh et al. | From chest x-rays to radiology reports: a multimodal machine learning approach | |
Guo et al. | Msanet: multiscale aggregation network integrating spatial and channel information for lung nodule detection | |
CN113724359A (zh) | 一种基于Transformer的CT报告生成方法 | |
Xie et al. | DG-CNN: Introducing margin information into convolutional neural networks for breast cancer diagnosis in ultrasound images | |
CN116342516A (zh) | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 | |
Shah et al. | Ancient sanskrit line-level ocr using opennmt architecture | |
Xue et al. | Lipformer: learning to lipread unseen speakers based on visual-landmark transformers | |
Van Aken et al. | This patient looks like that patient: Prototypical networks for interpretable diagnosis prediction from clinical text | |
CN117557883B (zh) | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 | |
CN116740041B (zh) | 基于机器视觉的cta扫描图像分析系统及其方法 | |
Gu et al. | Automatic generation of pulmonary radiology reports with semantic tags | |
Yang et al. | Lesion classification of wireless capsule endoscopy images | |
CN115659991A (zh) | 一种基于共现关系分层注意力的脑ct医学报告自动生成方法 | |
CN114664404A (zh) | 一种胎儿心脏超声图像诊断报告自动生成系统的实现方法 | |
Wei et al. | Deep Pneumonia: Attention-Based Contrastive Learning for Class-Imbalanced Pneumonia Lesion Recognition in Chest X-rays | |
Hou et al. | MKCL: Medical Knowledge with Contrastive Learning model for radiology report generation | |
CN113657103B (zh) | 一种基于ner的非标准中文快递寄件信息识别方法及系统 | |
Hu et al. | Label generation network based on self-selected historical information for multiple disease classification on chest radiography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |