CN115115523A - 一种融合CNN和Transformer的医学图像深度信息提取方法 - Google Patents

一种融合CNN和Transformer的医学图像深度信息提取方法 Download PDF

Info

Publication number
CN115115523A
CN115115523A CN202211029560.0A CN202211029560A CN115115523A CN 115115523 A CN115115523 A CN 115115523A CN 202211029560 A CN202211029560 A CN 202211029560A CN 115115523 A CN115115523 A CN 115115523A
Authority
CN
China
Prior art keywords
cnn
module
transformer
medical image
tensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211029560.0A
Other languages
English (en)
Other versions
CN115115523B (zh
Inventor
苏进
张弓
李学俊
王华彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Canada Institute Of Health Engineering Hefei Co ltd
Original Assignee
China Canada Institute Of Health Engineering Hefei Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Canada Institute Of Health Engineering Hefei Co ltd filed Critical China Canada Institute Of Health Engineering Hefei Co ltd
Priority to CN202211029560.0A priority Critical patent/CN115115523B/zh
Publication of CN115115523A publication Critical patent/CN115115523A/zh
Application granted granted Critical
Publication of CN115115523B publication Critical patent/CN115115523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种融合CNN和Transformer的医学图像深度信息提取方法，属于医学图像处理技术领域。本发明包括：一、获取高分辨率和低分辨率的医学图像作训练集和测试集；二、将所有图像转化成张量，并经一层卷积提取浅层特征，随后分别输入CNN和Transformer模块；三、在CNN模块中采用球形敏感哈希的方法将所有的张量投射到一个球面中，然后计算相似性，按照顺序重新排列张量；四、在Transformer模块中，将张量放入深度特征提取模块，学习图像之间的长期依赖，得到相关性的特征关系；五、将CNN和Transformer模块进行融合，提高模型性能。本发明可以更好地重建医学图像的细节和纹理。

Description

一种融合CNN和Transformer的医学图像深度信息提取方法
技术领域
本发明属于医学图像处理技术领域，更具体地说，涉及一种融合CNN和Transformer的医学图像深度信息提取方法。
背景技术
近年来，深度学习在图像处理领域的应用取得了显著的研究成果。在许多任务中，通过深度学习得到的特征被证明比传统方法构造的特征具有更强的表示能力。董超等人于2014年收录于《计算机视觉和模式识别》的文章“使用深度卷积网络的图像超分辨率”，提出了利用卷积神经网络（SRCNN）的超分辨率算法，并将其应用于图像超分辨率重建领域。该网络结构简单，超分辨率重建效果好，但卷积核较大，上采样采用传统的双三次插值；这些结构特征极大地影响了网络的运行速度。
随后，王小龙等人于2018年收录于《计算机视觉和模式识别》的文章“非局部神经网络”，提出了一种基于NLA的全局注意力方式进行相似性学习，因为图像不同小块之间具有一定的相似性所以可以将图像的恢复效果大大提高，但是这种方法同时也融合了大量的噪声和无关的特征，这会使得算法的计算难度增加也会影响一部分图像的恢复。
宜群美等人于2021年收录于《计算机视觉和模式识别》的文章“具有非局部稀疏注意的图像超分辨率”，提出了一种局部敏感注意力方式（NLSN），这种方式使得模型只关注最相关的区域，而忽略了很多无关的因素，这无疑是一种质的飞跃，将图像效果又恢复到了一个更高层次。但是这种方式也存在局限性，其只关注了局部特征而忽略了很多的全局特征，这导致图像处理效果可能会变差。
经检索，中国专利公开号CN113887487A，公布日2022年1月4日，公开了一种基于CNN-Transformer的面部表情识别方法及装置；该申请案包括对输入图片进行预处理，获得矫正后的人脸图片；计算人脸图像的LBP特征，并作为输入送入预先构建的CNN网络获得面部的局部特征；将人脸图像均匀划分之后送入Transformer获得面部的全局特征；对全局特征和局部特征进行信息融合，获得融合特征；通过融合特征来进行情感识别，该申请案通过特征融合模块，可自主学习局部特征和全局特征对整体的影响权重，提高了不同特征之间的互补性。但该申请案是针对面部表情进行识别的方案，虽然也涉及到了CNN和Transformer的融合，但鉴于CNN和Transformer是一个很大的概念，关键还是在于内部的搭建，因而该申请案并不适用于医学图像的特征信息提取。
发明内容
1.发明要解决的技术问题
在医学成像过程中，由于受到硬件设备和技术的限制，生成的图像往往是不清晰的，分辨率低且边缘部分比较模糊，本发明的目的在于解决上述现有技术存在的缺陷，提出了一种融合CNN和Transformer的医学图像深度信息提取方法；本发明在NLSN基础上，进一步提出一种融合Transformer和CNN方法去解决医学图像超分辨率问题的网络(EfficientNon-Local Transformer for Medical Image Super-Resolution ENLT)，可以更好地重建图像的细节和纹理。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种融合CNN和Transformer的医学图像深度信息提取方法，包括如下步骤：
步骤一、获取高分辨率和低分辨率的医学图像作为训练集和测试集；
步骤二、将所有的图像转化成张量，并且经过一层卷积来提取浅层特征，随后分别输入到CNN和Transformer模块中；
步骤三、在CNN模块中首先采用球形敏感哈希（LSH）的方法将所有的张量投射到一个球面中，然后计算相似性，按照顺序重新排列张量；
步骤四、在Transformer模块中，将张量放入深度特征提取模块，该模块可以学习图像之间的长期依赖，从而得到相关性的特征关系；
步骤五、将CNN和Transformer模块进行融合，以提高模型的性能。
更进一步地，步骤一中，为了充分利用数据集，需使用Warwick和DIV2K训练集图像并且进行数据扩展。使用切割、翻转和旋转两种方法来增加数据。此外，每个图像分别旋转90°，180°和270°。首先对Warwick和DIV2K数据集进行双三次差值，得到LR图像。然后将LR训练图像分割成一组48×48的块，相应的将HR图像块切出来对应的96×96的块。然后将其放入3×3的卷积中。
更进一步地，步骤二中，首先将输入图像X转变成张量，通过一层简单的卷积核大小为3×3 的卷积神经网络来提取特征。
更进一步地，步骤三中，首先给定一个查询位置i，然后将输入X重新塑造成一维特征，所以它的输出y i 表示为：
Figure 484352DEST_PATH_IMAGE001
其中，x i ，x j ，x t 是输入图像X上位置 i、j 和 t的像素级特征，f(., .)计算不同特征之间相似性，g(.) 是特征变换函数。
然后通过稀疏表示将向量限制在一个非零常数K内，将所有的张量进行随机扩大，从而让模型可以更好的聚合全局的特征。最终表达式如下所示：
Figure 769840DEST_PATH_IMAGE002
其中，α是非零元素，k是常数，β是提高特征聚合能力的随机因子。
然后，采用球形敏感哈希(LSH) 来形成注意力桶。根据角距离将嵌入空间划分为具有相似特征的桶。然后通过哈希函数将每个张量投影到高维空间中，并且进行随机旋转。随后选择最近的多面体顶点作为其哈希码。因此，如果两个向量的角距离越小，它们落在同一个哈希桶中的概率越大，即定义的注意力桶。然后根据角距离将所有张量投影到球体上。公式如下所示，其中A表示随机旋转矩阵。
Figure 664109DEST_PATH_IMAGE003
在投影完成之后，将所有的张量划分为128的桶，每个桶拥有144的块计算相似性，随后进行重新排列插入回原来的张量中。
更进一步地，步骤四中，通过Transformer方法提取更深层次的特征，公式如下所示：
Figure 718653DEST_PATH_IMAGE004
其中，F表示利用transformer方法提取后的特征值，H D 是深度特征提取模块，包含K 个残差 Swin Transformer 块 (RSTB块)和一个 3×3 卷积层。每个RSTB块包括 SwinTransformer 层、一个卷积层和一个残差连接。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
针对医学图像特征信息之间缺乏相关性的问题，本发明提供了一种融合CNN和Transformer的医学图像深度信息提取方法，该方法的网络结构首先将输入图像X转变成一个张量，然后进入一个卷积核大小为3×3的卷积中，随后进入CNN模块和Transformer模块，CNN模块中运用批量矩阵乘法进行特征的投影和计算，最后重新排序得到一个最终的结果，然后Transformer模块利用深层特征提取全局特征，以便处理更多的纹理信息，最后将二者进行结合得到最终的特征图，可以更好地重建图像的细节和纹理。
附图说明
图1为用于医学图像的ENLT网络结构图；
图2为医学图像处理的效果图；
图3为自然图像处理的效果图；
图4为本发明的步骤流程图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
针对医学图像特征信息之间缺乏相关性的问题，本实施例提供了一种融合CNN和Transformer的医学图像深度信息提取方法。结合图4，本实施例包括如下步骤：
步骤一、获取高分辨率和低分辨率的医学图像作为训练集和测试集；
为了充分利用数据集，本实施例使用Warwick和DIV2K训练集图像，并且进行数据扩展。具体为使用切割、翻转和旋转的方法来增加数据。此外，本实施例将每个图像分别旋转90°，180°和270°。首先对Warwick和DIV2K数据集进行双三次差值处理，得到LR图像。然后将LR训练图像分割成一组48×48的块，相应的将高分辨率HR图像块切出来对应的96×96的块。
步骤二、将输入图像X转变成张量，通过一层简单的卷积核大小为3×3 的卷积神经网络来提取浅层特征，表示如下：
Figure 289442DEST_PATH_IMAGE005
随后分别输入到CNN和Transformer模块中。
步骤三、在CNN模块中首先采用球形敏感哈希（LSH）的方法将所有的张量投射到一个球面中，然后计算相似性，按照顺序重新排列张量；
首先给定一个查询位置i，然后为了方便表示将输入X重新塑造成一维特征，所以输出y i 表示为：
Figure 327806DEST_PATH_IMAGE001
其中，x i ，x j ，x t 是输入图像X上位置 i、j 和 t的像素级特征，f(., .)计算不同特征之间相似性，g(.) 是特征变换函数。
然后通过稀疏表示将向量限制在一个非零常数K内，这一操作可以大大减少运算量，并且为了融合更多的特征，将所有的张量进行随机扩大，从而让模型可以更好的聚合全局的特征。最终表达式如下所示：
Figure 258721DEST_PATH_IMAGE002
其中，α是非零元素，k是常数，β是提高特征聚合能力的随机因子。
本实施例期望的注意力不仅应该保持稀疏，还应该包含更多相关元素。因此，本实施例采用球形敏感哈希(LSH) 来形成注意力桶。本实施例根据角距离将嵌入空间划分为具有相似特征的桶。然后通过哈希函数将每个张量投影到高维空间中，并且进行随机旋转。本实施例选择最近的多面体顶点作为其哈希码。因此，如果两个向量的角距离越小，它们落在同一个哈希桶中的概率越大，即定义的注意力桶。然后根据角距离将所有张量投影到球体上，公式如下所示：
Figure 433351DEST_PATH_IMAGE006
其中，A表示随机旋转矩阵。
在投影完成之后本实施例将所有的张量划分为128的桶，每个桶拥有144的块计算相似性，随后进行重新排列插入回原来的张量中。
在实际应用中LSH是通过批量矩阵乘法来实现的，这样可以让每个张量事先知道加入哪一个桶中，并且通过忽略很多的不相关因素和噪声来实现高效率和鲁棒性。
步骤四、在Transformer模块中，本实施例将张量放入深度特征提取模块，这个模块可以学习图像之间的长期依赖，从而得到相关性的特征关系。
通过Transformer方法提取更深层次的特征，公式如下所示：
Figure 175042DEST_PATH_IMAGE004
其中，F表示利用transformer方法提取后的特征值，H D 是深度特征提取模块，它包含 K 个残差 Swin Transformer 块 (RSTB)和一个 3×3 卷积层。每个 RSTB 包括 SwinTransformer 层、一个卷积层和一个残差连接。
步骤五、将CNN和Transformer模块进行融合，以提高模型的性能。
如图1所示，为本实施例提出的融合Transformer和CNN方法解决医学图像超分辨率的网络，用图像质量评价指标对网络进行评价。
表1 图像质量评价指标值
Figure 435122DEST_PATH_IMAGE007
如表1所示，当放大因子为2时，ENLT算法得到的平均PSNR和SSIM值都有很大的改善。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于，包括如下步骤：
步骤一、获取高分辨率和低分辨率的医学图像作为训练集和测试集；
步骤二、将所有的图像转化成张量，并且经过一层卷积来提取浅层特征，随后分别输入到CNN和Transformer模块中；
步骤三、在CNN模块中，首先采用球形敏感哈希的方法将所有的张量投射到一个球面中，然后计算相似性，按照顺序重新排列张量；
步骤四、在Transformer模块中，将张量放入深度特征提取模块，该深度特征提取模块学习图像之间的长期依赖，得到相关性的特征关系；
步骤五、将CNN和Transformer模块进行融合，获得最终模型，并利用该模型处理医学图像。
2.根据权利要求1所述的一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于：步骤二中，首先将输入图像X转变成张量，通过一层卷积核大小为3×3 的卷积神经网络来提取特征。
3.根据权利要求2所述的一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于：步骤三中，首先给定一个查询位置i，然后将输入X重新塑造成一维特征，输出y i 表示为：
Figure 411444DEST_PATH_IMAGE001
其中，x i ，x j ，x t 是输入图像X上位置 i、j 和 t的像素级特征，f(., .)计算不同特征之间相似性，g(.) 是特征变换函数；
然后，通过稀疏表示将向量限制在一个非零常数K内。
4.根据权利要求3所述的一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于：步骤三采用球形敏感哈希形成注意力桶，根据角距离将嵌入空间划分为具有相似特征的桶，然后通过哈希函数将每个张量投影到高维空间中，并且进行随机旋转；随后选择最近的多面体顶点作为其哈希码，两个向量的角距离越小落在同一个哈希桶中的概率越大，然后根据角距离将所有张量投影到球体上。
5.根据权利要求4所述的一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于：在投影完成之后将所有的张量划分为128的桶，每个桶拥有144的块计算相似性，随后进行重新排列插入回原来的张量中。
6.根据权利要求5所述的一种融合CNN和Transformer的医学图像深度信息提取方法，其特征在于：步骤四中，所述的深度特征提取模块包括K 个残差 Swin Transformer 块和一个 3×3 卷积层，每个Swin Transformer 块包括 Swin Transformer 层、一个卷积层和一个残差连接。
CN202211029560.0A 2022-08-26 2022-08-26 一种融合CNN和Transformer的医学图像深度信息提取方法 Active CN115115523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211029560.0A CN115115523B (zh) 2022-08-26 2022-08-26 一种融合CNN和Transformer的医学图像深度信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211029560.0A CN115115523B (zh) 2022-08-26 2022-08-26 一种融合CNN和Transformer的医学图像深度信息提取方法

Publications (2)

Publication Number Publication Date
CN115115523A true CN115115523A (zh) 2022-09-27
CN115115523B CN115115523B (zh) 2022-11-25

Family

ID=83336405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211029560.0A Active CN115115523B (zh) 2022-08-26 2022-08-26 一种融合CNN和Transformer的医学图像深度信息提取方法

Country Status (1)

Country Link
CN (1) CN115115523B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357747A (zh) * 2022-10-18 2022-11-18 山东建筑大学 一种基于序数哈希的图像检索方法及系统
CN115457339A (zh) * 2022-11-11 2022-12-09 中加健康工程研究院(合肥)有限公司 一种基于深度集成学习的ad预测方法、系统及装置
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380675A1 (en) * 2017-11-22 2020-12-03 Daniel Iring GOLDEN Content based image retrieval for lesion analysis
US20210166446A1 (en) * 2019-11-28 2021-06-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN114064948A (zh) * 2021-10-15 2022-02-18 西安深信科创信息技术有限公司 基于广义平均池化策略的哈希图像检索方法及装置
CN114066902A (zh) * 2021-11-22 2022-02-18 安徽大学 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114299082A (zh) * 2021-12-15 2022-04-08 苏州大学 一种新冠肺炎ct图像分割方法、装置及存储介质
CN114445422A (zh) * 2022-01-13 2022-05-06 同济大学 基于transformer的医学图像分割方法、系统、介质及电子设备
CN114565816A (zh) * 2022-03-03 2022-05-31 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380675A1 (en) * 2017-11-22 2020-12-03 Daniel Iring GOLDEN Content based image retrieval for lesion analysis
US20210166446A1 (en) * 2019-11-28 2021-06-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN114064948A (zh) * 2021-10-15 2022-02-18 西安深信科创信息技术有限公司 基于广义平均池化策略的哈希图像检索方法及装置
CN114066902A (zh) * 2021-11-22 2022-02-18 安徽大学 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114299082A (zh) * 2021-12-15 2022-04-08 苏州大学 一种新冠肺炎ct图像分割方法、装置及存储介质
CN114445422A (zh) * 2022-01-13 2022-05-06 同济大学 基于transformer的医学图像分割方法、系统、介质及电子设备
CN114565816A (zh) * 2022-03-03 2022-05-31 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CORSO G, YING Z, PÁNDY M, ET AL.: "Neural distance embeddings for biological sequences", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 2021》 *
KITAEV N, KAISER Ł, LEVSKAYA A.: "Reformer: The efficient transformer", 《ARXIV PREPRINT ARXIV:2001》 *
LI T, ZHANG Z, PEI L, ET AL: "HashFormer: Vision Transformer Based Deep Hashing for Image Retrieval", 《IEEE SIGNAL PROCESSING LETTERS, 2022》 *
LU D, WANG J, ZENG Z, ET AL.: "SwinFGHash: Fine-grained Image Retrieval via Transformer-based Hashing Network", 《PROC. BRITISH MACHINE VIS. CONF. 2021》 *
ZHENG M, GAO P, ZHANG R, ET AL.: "End-to-end object detection with adaptive clustering transformer", 《ARXIV PREPRINT ARXIV:2011》 *
张炯等: "局部全局特征耦合与交叉尺度注意的医学图像融合", 《计算机工程》 *
机器之心: "NLP携手Transformer跨界计算机视觉，DETR：目标检测新范式", 《HTTPS://WWW.THEPAPER.CN/NEWSDETAIL_FORWARD_10291267》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357747A (zh) * 2022-10-18 2022-11-18 山东建筑大学 一种基于序数哈希的图像检索方法及系统
CN115357747B (zh) * 2022-10-18 2024-03-26 山东建筑大学 一种基于序数哈希的图像检索方法及系统
CN115457339A (zh) * 2022-11-11 2022-12-09 中加健康工程研究院(合肥)有限公司 一种基于深度集成学习的ad预测方法、系统及装置
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN115953296B (zh) * 2022-12-09 2024-04-05 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法
CN116563302B (zh) * 2023-05-30 2023-12-12 上海万序健康科技有限公司 智慧医疗信息管理系统及其方法

Also Published As

Publication number Publication date
CN115115523B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN115115523B (zh) 一种融合CNN和Transformer的医学图像深度信息提取方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
Wang et al. Image inpainting via generative multi-column convolutional neural networks
CN110136063B (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111915484B (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
Sun et al. Hybrid pixel-unshuffled network for lightweight image super-resolution
Jiang et al. Deep CNN denoiser and multi-layer neighbor component embedding for face hallucination
CN106503661B (zh) 基于烟花深度信念网络的人脸性别识别方法
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
Li et al. Learning dual memory dictionaries for blind face restoration
CN113870286B (zh) 一种基于多级特征和掩码融合的前景分割方法
JP2023502653A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
CN115393186A (zh) 一种人脸图像超分辨率重建方法、系统、设备及介质
Chen et al. Robust face super-resolution via position relation model based on global face context
Bai et al. Survey of learning based single image super-resolution reconstruction technology
CN112102388A (zh) 基于巡检机器人单目图像获取深度图像的方法及装置
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
Zhou Superresolution reconstruction of remote sensing image based on generative adversarial network
CN116188882A (zh) 融合自注意力和多路路径图卷积的点云上采样方法及系统
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
Wang et al. Capsules encoder and capsgan for image inpainting
Liu et al. A novel convolutional neural network architecture for image super-resolution based on channels combination
CN112634281A (zh) 一种基于图卷积网络的网格分割方法
Chen et al. Contrastive structure and texture fusion for image inpainting
Yang et al. Hallucinating very low-resolution and obscured face images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant