CN117350982A - 一种基于多医学图像的糖尿病肾病分析方法及系统 - Google Patents

一种基于多医学图像的糖尿病肾病分析方法及系统 Download PDF

Info

Publication number
CN117350982A
CN117350982A CN202311374755.3A CN202311374755A CN117350982A CN 117350982 A CN117350982 A CN 117350982A CN 202311374755 A CN202311374755 A CN 202311374755A CN 117350982 A CN117350982 A CN 117350982A
Authority
CN
China
Prior art keywords
attention mechanism
head self
heads
row
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311374755.3A
Other languages
English (en)
Other versions
CN117350982B (zh
Inventor
周思捷
薛杰
冯其
胡明阳
刘章锁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202311374755.3A priority Critical patent/CN117350982B/zh
Publication of CN117350982A publication Critical patent/CN117350982A/zh
Application granted granted Critical
Publication of CN117350982B publication Critical patent/CN117350982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于多医学图像的糖尿病肾病分析方法，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，得到多医学图像的糖尿病肾病分析结果。本发明从多个医学图像中获取糖尿病肾病相关的信息，有效提高了分析的准确度。

Description

一种基于多医学图像的糖尿病肾病分析方法及系统
技术领域
本发明涉及人工智能领域，尤其是涉及一种基于多医学图像的糖尿病肾病分析方法及系统。
背景技术
糖尿病肾病(Diabetic Nephropathy，DN)是糖尿病最常见和最严重的并发症之一，也是导致终末期肾病(ESRD)的主要原因。糖尿病肾病的具体发病原因还有待确定，但是一般认为由于高血糖会增加肾脏的负荷，造成肾脏血管和肾小球的损伤，进而引发糖尿病肾病。糖尿病肾病在早期没有明显症状，随着疾病的进展，会出现水肿、尿液泡沫增加、疲劳、食欲不振等症状，如果再任由疾病发展，最终可能会诱发终末期肾功能衰竭。越早发现糖尿病肾病，越早的进行干预，效果越明显。但是糖尿病肾病早期并不容易被发现，随着医疗图像仪器、图像处理技术以及人工智能的发展，很多医院、高校和科研院所在不断尝试将人工智能应用到糖尿病肾病的识别中，尤其是早期糖尿病肾病的识别。但是依靠单一的医学图像对糖尿病肾病进行分析的效果不佳，如何采用多医学图像对糖尿病肾病进行分析是亟待解决的问题。
发明内容
为了解决上述问题，本发明提供了一种基于多医学图像的糖尿病肾病分析方法，所述方法包括以下步骤：
利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
优选地，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
优选地，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
优选地，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：
对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出；
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出；
将第一输出和第二输出输入到多层感知器中得到融合特征。
优选地，所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，具体为：
将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
优选地，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
此外，本发明还提供了一种基于多医学图像的糖尿病肾病分析系统，所述系统包括以下模块：
第一特征提取模块，用于利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
第二特征提取模块，用于将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
结果分析模块，用于将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
优选地，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
优选地，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
优选地，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：
对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出；
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出；
将第一输出和第二输出输入到多层感知器中得到融合特征。
优选地，所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，具体为：
将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
优选地，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，实现如上所述的方法。
针对糖尿病肾病早期症状不明显、不易分析的问题，本发明从与糖尿病肾病相关的多个医学图像中获取信息，由于其他医学图像相较于眼底图像对于糖尿病肾病的分析更为重要，相较于眼底图像，本发明还从ViT的MSA中获取其他医学图像的更多信息，这对于最后分析结果的正确性有很大帮助，能够有效提高分析的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例一的流程图；
图2为ViT网络模型的结构图；
图3为本发明的整体结构图；
图4为第一特征矩阵计算示意图；
图5为第二实施例的结构图。
具体实施方式
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，本发明提供了一种基于多医学图像的糖尿病肾病分析方法，如图1所示，所述方法包括以下步骤：
S1，利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
糖尿病肾病患者的眼底往往存在不同程度的病变，虽然其他疾病也能诱发眼底病变，但是眼底检查可以从一定程度上表征糖尿病肾病，利用眼底拍照技术拍摄到眼底图像，通过ViT网络模型得到眼底图像的类别标识。其中，类别标识是指ViT网络模型的ClassToken，Class Token是可学习的嵌入向量，在ViT网络模型中，通过对Class Token进行MLP操作得到分类结果。
S2，将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
其他与糖尿病肾病相关的医学图像有肾部的CT、MRI、超声波，此外还有肾穿刺活检光镜图像、肾穿刺活检免疫荧光图像等，这些医学图像都是对糖尿病肾病进行分析的重要依据。早期的糖尿病肾病症状不明显，通过单一的医学图像很可能出现漏检或者分析不准确的问题。基于此，除了眼底图像，本发明还考虑了与糖尿病肾病相关的其他医学图像，在一个实施例中，所述的与糖尿病肾病相关的其他医学图像包括但不限于CT、MRI、超声波、肾穿刺活检光镜图像、肾穿刺活检免疫荧光图像；在另外一个实施例中，所述的与糖尿病肾病相关的其他医学图像至少包括CT、MRI、超声波、肾穿刺活检光镜图像、肾穿刺活检免疫荧光图像的两个。
对于每个与糖尿病肾病相关的其他医学图像预设一个ViT网络模型，这样就形成了其他医学图像和ViT网络模型的对应关系，不同的其他医学图像对应的ViT网络模型可以相同也可以不同。例如CT图像对应的ViT网络模型的层数和MRI对应的ViT网络模型的层数相同，又例如CT图像对应的ViT网络模型的层数和肾穿刺活检免疫荧光图像对应的ViT网络模型的层数不同。
ViT网络模型的Transformer Encoder有多个相同的层构成，典型的层的结构如图2所示，每个层包括了Norm、Multi-Head Attention、Norm、MLP，假设每层的输入为zl-1，输出为zl，则zl＝MLP(LN(z'l))+z'l，其中zl'＝MSA(LN(zl-1))+zl-1。其中MSA表示多头自注意力(Multi-Head Self-Attention)，由于ViT网络模型有多个相同的层，每个层的结构相同，这也就会存在多个多头自注意力机制MSA，对于ViT网络模型中的第一个多头自注意力机制，也即第一个MSA，有多个自注意力输出，将第一个MSA的多个头的输出进行合并，优选地，进行第一维度连接操作，也即执行concact(head1，head2，…，head N)。对ViT网络模型中的最后一个多头自注意力机制执行相同的操作，也即将MSA的多头结果进行合并。这里所述的第一个多头自注意力机制也即第一个MSA是指最靠近ViT输入的MSA，最后一个多头自注意力机制也即最后一个MSA是指最靠近ViT输出的MSA。
在MSA中会将多头的每个头的输出整理得到整个MSA的输出，这实际到权重矩阵WO，将合并后的结构和权重矩阵WO进行相乘得到MSA最终的输出。由于一个MSA对应一个合并结果，而且一个MSA也对应一个WO，根据第一个MSA的合并结果和第一个MSA的权重矩阵WO得到第一特征矩阵，根据最后一个MSA的合并结果和最后一个MSA的权重矩阵WO得到第二特征矩阵，需要注意的是，上述第一个MSA的权重矩阵WO和最后一个MSA的权重矩阵WO不一定相同，多数情况下，二者是不同的。
其中，第一特征矩阵更靠近原始输入，能够获取更多的原始医学图像中的特征信息，而随着ViT网络结构的深入，第二特征矩阵能够更多的获取深层次的信息，将二者融合后，既能够节省数据量，又可以同时获取浅层信息和深层信息，相较于仅仅通过ViT的ClassToken获取的信息更为丰富。而且由于其他医学图像相较于眼底图像对于糖尿病肾病的分析更为重要，相较于眼底图像，本发明还从ViT的MSA中获取其他医学图像的更多信息，这对于最后分析结果的正确性有很大帮助。
S3，将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
眼底图像通过ViT网络模型后会输出一个类别标识也即class token，非眼底图像的其他糖尿病肾病医学图像通过ViT网络模型后也会输出一个类别标识也即class token，同时还会输出一个融合特征，这样眼底图像对应一个class token，非眼底图像对应一个class token和融合特征，将这些特征进行融合，然后基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。在一个具体实施例中，所述分析结果为患病风险或者是否对糖尿病肾病进行干预，或者直接给出干预建议等，本发明对分析结果不作具体限定。需要注意的是，在步骤S1-S3中会涉及到矩阵、向量或者张量的融合或合并等，这就需要对尺寸进行变换，这是本领域公知公用的，对此不再做赘述。
在一个具体实施例中，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：采用包含有多头注意力机制和多层感知器的检测头对融合的特征分析。当然，检测头也可以包括其他结构，例如层归一化、残差块等，本发明对此不作具体限定。
在一个具体实施例中，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
对于每个其他医学图像，其对应一个ViT网络模型，每个ViT网络模型有多个MSA，这就会输出多个自注意力的结果，对于第一个多头自注意力MSA，例如第一个头的输出为第二个头的输出为/>以此类推，得到所有头的输出，然后执行Concact()操作，其中Concact()是指水平拼接，也即沿着axis＝1的方向进行拼接，利用Numpy库的np.concatenate(/>axis＝1)。
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
最后一个多头自注意力机制中多个头的合并结果过程和第一个多头自注意力机制中多个头的合并过程相同，这里不再赘述。
在注意力机制中，关注的重点区域的注意力越大，通过注意力可视化方法可以查看注意力主要集中的区域。随着ViT网络的深入也即层数的增加，深层的信息会被发现，并不断加强，但是容易漏掉一些简单的特征，特别是对于糖尿病肾病早期症状不明显的情况下，医学图像中细小的特征可能会含有糖尿病肾病相关的信息，保留这些不被重视的信息对于后续的分析也很重要，而随着层数的增加，深层的信息被挖掘，基于此，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
为了便于理解，下面结合一个示例说明上述过程，假设第一个MSA的一个头的大小为2×2，第一个MSA有4个头，按照拼接后得到一个2×8的矩阵，第一个MSA对应的权重矩阵WO为8×2，如图4所示，对于第一特征矩阵中的第一个元素其计算过程是max{1*1,2*3,1*3,3*12,5*8,2*3,1*1,3*7}，也即max{1,6,3,36,40,6,1,21}＝40，以同样的方式可以得到第一特征矩阵的其他元素。
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
第二特征矩阵的计算过程和第一特征矩阵的计算过程相同，这里不再赘述。
第一特征矩阵和第二特征矩阵表示了医学图像的不同层次信息，为了便于后续的计算，将二者进行融合，在一个具体的实施例中，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：
对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出；
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出；
将第一输出和第二输出输入到多层感知器中得到融合特征。
其中归一化优选层归一化，而且优选地，第一输出和第二输出输入到多层感知器中得到的融合特征和第一特征矩阵的尺寸相同，优选地，第一特征矩阵和第二特征矩阵尺寸相同。
在一个可替换的实施例中，上述的多层感知器可以替换为全连接层。
在另外一个实施例中，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：将第一特征矩阵和第二特征矩阵进行相同位置的元素相加，然后进行归一化操作。
在一个具体实施例中，所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，具体为：
将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
垂直方向的拼接和水平方向的拼接不同，但是都可以通过Numpy库直接进行操作，例如垂直拼接，也即沿着axis＝0的方向进行拼接，也即np.concatenate((class token0,class token1,fusion feature1,class token2,fusion feature2,…),axis＝0)。其中，class token0表示眼底图像的类别标识class token；class token1和fusion feature1表示其他医学图像1的类别标识class token和融合特征；class token2和fusion feature2表示其他医学图像2的类别标识class token和融合特征。
在得到眼底图像的信息和非眼底图像的信息后，设置一个检测头，通过检测头得到糖尿病肾病分析结果。将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果后，将融合结果输入到检测头，得到分析结果。
鉴于多头注意力机制和多层感知机的强大拟合性，在一个实施例中，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
实施例二，本发明还提供了一种基于多医学图像的糖尿病肾病分析系统，所述系统包括以下模块：
第一特征提取模块，用于利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
第二特征提取模块，用于将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
结果分析模块，用于将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
优选地，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
优选地，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
优选地，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：
对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出；
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出；
将第一输出和第二输出输入到多层感知器中得到融合特征。
优选地，所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，具体为：
将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
优选地，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
实施例三，本发明还提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被计算机执行时，实现如实施例一所述的方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多医学图像的糖尿病肾病分析方法，其特征在于，所述方法包括以下步骤：
利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
2.如权利要求1所述的方法，其特征在于，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
3.如权利要求1所述的方法，其特征在于，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
4.如权利要求1所述的方法，其特征在于，所述根据第一特征矩阵和第二特征矩阵得到融合特征，具体为：
对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出；
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出；
将第一输出和第二输出输入到多层感知器中得到融合特征。
5.如权利要求1所述的方法，其特征在于，所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，具体为：
将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
6.如权利要求1所述的方法，其特征在于，所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果，具体为：
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
7.一种基于多医学图像的糖尿病肾病分析系统，其特征在于，所述系统包括以下模块：
第一特征提取模块，用于利用眼底照相的方法拍摄眼底图像，将眼底图像输入到ViT网络模型中得到眼底图像的类别标识；
第二特征提取模块，用于将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中，并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到融合特征；
结果分析模块，用于将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合，基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果。
8.如权利要求7所述的系统，其特征在于，所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果，具体为：
获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果；其中i为正整数，1≤i≤N，N表示第一个多头自注意力机制的头数；
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将/>作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果；其中j为正整数，1≤j≤M，M表示最后一个多头自注意力机制的头数。
9.如权利要求7所述的系统，其特征在于，所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵，具体为：
第一特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素，L表示第一个多头自注意力机制对应的权重矩阵WO的行数；
第二特征矩阵中的第p行第q列的元素的计算方式为： 其中，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第1列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素，/>表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素，/>表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素，/>表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素，K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时，实现如权利要求1-6任一项所述的方法。
CN202311374755.3A 2023-10-23 2023-10-23 一种基于多医学图像的糖尿病肾病分析方法及系统 Active CN117350982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311374755.3A CN117350982B (zh) 2023-10-23 2023-10-23 一种基于多医学图像的糖尿病肾病分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311374755.3A CN117350982B (zh) 2023-10-23 2023-10-23 一种基于多医学图像的糖尿病肾病分析方法及系统

Publications (2)

Publication Number Publication Date
CN117350982A true CN117350982A (zh) 2024-01-05
CN117350982B CN117350982B (zh) 2024-05-14

Family

ID=89368917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311374755.3A Active CN117350982B (zh) 2023-10-23 2023-10-23 一种基于多医学图像的糖尿病肾病分析方法及系统

Country Status (1)

Country Link
CN (1) CN117350982B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537395A (zh) * 2021-08-09 2021-10-22 同济大学 一种基于眼底图像的糖尿病性视网膜病变图像识别方法
CN114037624A (zh) * 2021-10-27 2022-02-11 成都大学附属医院 一种用于糖尿病肾脏病变分类的图像增强方法及设备
WO2022152165A1 (zh) * 2021-01-13 2022-07-21 高雄医学大学 眼底镜影像预测糖尿病性肾病变期程的方法及其系统
CN115731189A (zh) * 2022-11-22 2023-03-03 河北师范大学 肠镜图像病变识别方法、装置、电子设备及存储介质
CN115880525A (zh) * 2022-11-23 2023-03-31 西安交通大学 基于异构数据的糖尿病肾病的辅助检测方法
CN116092667A (zh) * 2022-12-29 2023-05-09 天翼物联科技有限公司 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN116386860A (zh) * 2022-12-22 2023-07-04 东北林业大学 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台
CN116883768A (zh) * 2023-07-26 2023-10-13 郑州大学 基于多模态特征融合的肺结节智能分级方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022152165A1 (zh) * 2021-01-13 2022-07-21 高雄医学大学 眼底镜影像预测糖尿病性肾病变期程的方法及其系统
CN113537395A (zh) * 2021-08-09 2021-10-22 同济大学 一种基于眼底图像的糖尿病性视网膜病变图像识别方法
CN114037624A (zh) * 2021-10-27 2022-02-11 成都大学附属医院 一种用于糖尿病肾脏病变分类的图像增强方法及设备
CN115731189A (zh) * 2022-11-22 2023-03-03 河北师范大学 肠镜图像病变识别方法、装置、电子设备及存储介质
CN115880525A (zh) * 2022-11-23 2023-03-31 西安交通大学 基于异构数据的糖尿病肾病的辅助检测方法
CN116386860A (zh) * 2022-12-22 2023-07-04 东北林业大学 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台
CN116092667A (zh) * 2022-12-29 2023-05-09 天翼物联科技有限公司 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN116883768A (zh) * 2023-07-26 2023-10-13 郑州大学 基于多模态特征融合的肺结节智能分级方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FOUAD M等: "Matrix Metalloproteinase-2 as Potential Marker of Early Nephropathy in Type 1 Diabetes", 《AMERICAN JOURNAL OF INTERNAL MEDICINE》, 1 March 2015 (2015-03-01), pages 1 - 5 *
张子振;刘明;朱德江;: "融合注意力机制和高效网络的糖尿病视网膜病变识别与分类", 中国图象图形学报, no. 08, 12 August 2020 (2020-08-12), pages 200 - 210 *
杨雪柯 等: "基于机器学习模型的2型糖尿病患者视网膜微血管形态学特征与糖尿病肾病的相关性", 《中华医学杂志》, 16 May 2023 (2023-05-16), pages 1393 - 1400 *

Also Published As

Publication number Publication date
CN117350982B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN110197493A (zh) 眼底图像血管分割方法
Zhang et al. Diabetic retinopathy grading by a source-free transfer learning approach
KR102676569B1 (ko) 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
CN113826143A (zh) 特征点检测
CN113177916B (zh) 一种基于少样本学习方法的轻微高血压眼底辨别模型
US20220005584A1 (en) Information processing apparatus, information processing method, and storage medium
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Tursynova et al. Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks.
Wang et al. Automatic real-time CNN-based neonatal brain ventricles segmentation
He et al. Self-speculation of clinical features based on knowledge distillation for accurate ocular disease classification
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN112926537A (zh) 图像处理方法、装置、电子设备以及存储介质
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
Wu et al. PAENet: A progressive attention-enhanced network for 3D to 2D retinal vessel segmentation
CN116245828A (zh) 一种融合医学领域知识的胸部x线质量评价方法
Che et al. Image quality-aware diagnosis via meta-knowledge co-embedding
Wang et al. Tissue self-attention network for the segmentation of optical coherence tomography images on the esophagus
Rivas-Villar et al. Joint keypoint detection and description network for color fundus image registration
Sengupta et al. Ophthalmic diagnosis and deep learning–a survey
Shi et al. Artifact-tolerant clustering-guided contrastive embedding learning for ophthalmic images in glaucoma
Benvenuto et al. Unsupervised deep learning network for deformable fundus image registration
CN117350982B (zh) 一种基于多医学图像的糖尿病肾病分析方法及系统
KR102103281B1 (ko) 뇌혈관 질환의 진단을 위한 ａｉ 기반의 보조 진단 시스템
JP7406901B2 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant