CN114693831B - 一种图像处理方法、装置、设备和介质 - Google Patents

一种图像处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN114693831B
CN114693831B CN202210603369.6A CN202210603369A CN114693831B CN 114693831 B CN114693831 B CN 114693831B CN 202210603369 A CN202210603369 A CN 202210603369A CN 114693831 B CN114693831 B CN 114693831B
Authority
CN
China
Prior art keywords
image
computed tomography
target
images
sequence image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210603369.6A
Other languages
English (en)
Other versions
CN114693831A (zh
Inventor
苗瑞
蔡芳发
周波
陈永刚
邹小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiqing Zhiyuan Technology Co ltd
Original Assignee
Shenzhen HQVT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen HQVT Technology Co Ltd filed Critical Shenzhen HQVT Technology Co Ltd
Priority to CN202210603369.6A priority Critical patent/CN114693831B/zh
Publication of CN114693831A publication Critical patent/CN114693831A/zh
Application granted granted Critical
Publication of CN114693831B publication Critical patent/CN114693831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种图像处理方法、装置、设备和介质，使用预先训练的生成对抗网络模型分析第一目标电子计算机断层扫描序列图像中每一张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及第一目标电子计算机断层扫描序列图像的空间特征信息。由于生成对抗网络模型中的生成器模型包括通道注意机机制模块和空间注意机机制模块，从而能够分析各个第一目标电子计算机断层扫描图像之间的关联性以及第一目标电子计算机断层扫描序列图像的整体特征，进而能够更为准确的将低分辨率电子计算机断层扫描序列图像重构出高分辨率的电子计算断层扫描序列图像，以将低剂量的电子计算机断层扫描序列图像重构出高质量的电子计算机断层扫描序列图像。

Description

一种图像处理方法、装置、设备和介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备和介质。
背景技术
电子计算机断层扫描（Computed Tomography，CT）检查对结肠癌的诊断具有一定的价值。通常电子计算机断层扫描图像的清晰度与辐射剂量有关，辐射剂量越高，电子计算机断层扫描图像的清晰度越高，辐射剂量越低，电子计算机断层扫描图像的清晰度越低，因而高剂量的电子计算机断层扫描图像有助于医生更为准确的分析结直肠癌的病理信息。但是，需要患者承受高剂量的辐射，影响患者的身体健康。
因而，如何在低剂量辐射下获取高质量的电子计算机断层扫描图像是目前亟需解决的问题。
发明内容
本申请提供一种图像处理方法、装置、设备和介质，用以将低分辨率的电子计算机断层扫描图像重构出高分辨率的电子计算断层扫描图像。
第一方面，本申请提供一种图像处理方法，包括：
获取第一目标电子计算机断层扫描序列图像，所述第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像；
使用预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及所述第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，所述第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像；
其中，所述生成对抗网络模型中的生成器模型包括通道注意力机制模块和空间注意力机制模块，所述第二目标电子计算机断层扫描图像的分辨率大于所述第一目标电子计算机断层扫描图像的分辨率。
可选的，所述获取第一目标电子计算机断层扫描序列图像，具体包括：
通过X射线对目标进行环扫，获得第一目标电子计算机断层扫描序列图像。
可选的，所述方法还包括：
建立图卷积神经网络模型，在所述图卷积神经网络模型中添加通道注意力机制模块和空间注意力机制模块；
获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练，获得生成器模型，所述训练集包括多个训练对，每个训练对包括第一电子计算机断层扫描序列图像和第二电子计算机断层扫描序列图像；
其中，所述第一电子计算机断层扫描序列图像包括多张依次排列的第一电子计算机断层扫描图像，所述第二电子计算机断层扫描序列图像包括多张依次排列的第二电子计算机断层扫描图像，所述第二电子计算机断层扫描图像的分辨率大于所述第一电子计算机断层扫描图像的分辨率。
可选的，获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练，具体包括：
获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练；
将所述第一电子计算机断层扫描序列图像输入训练后的图卷积神经网络模型中，获得第三电子计算机断层扫描序列图像；
将所述第二电子计算机断层扫描序列图像和所述第三电子计算机断层扫描序列图像输入所述生成对抗网络模型中的判别器模型中，若所述判别器模型输出区别特征，对所述图卷积神经网络模型继续训练，直至所述判别器模型无法输出区别特征。
可选的，所述对所述图卷积神经网络模型继续训练，具体包括：
根据所述第二电子计算机断层扫描序列图像和所述第三电子计算机断层扫描序列图像的区别特征调整所述拓扑结构信息的权重和所述空间特征信息的权重；
在调整权重后利用所述训练集对所述图卷积神经网络模型继续训练。
可选的，获取训练集，具体包括：
获取目标辐射剂量下的第一电子计算机断层扫描序列图像，对所述第一电子计算机断层扫描序列图像进行下采样获得第二电子计算机断层扫描序列图像，所述目标辐射剂量大于或等于预设值。
可选的，所述获取目标剂量下的第一电子计算机断层扫描序列图像，对所述第一电子计算机断层扫描序列图像进行下采样获得第二电子计算机断层扫描序列图像，具体包括：
获取目标辐射剂量下的结直肠癌的第一电子计算机断层扫描序列图像，对所述第一电子计算机断层扫描序列图像进行多倍采样，获得第二电子计算机断层扫描序列图像。
第二方面，本申请提供一种图像处理装置，包括：
获取模块，用于获取第一目标电子计算机断层扫描序列图像，所述第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像；
处理模块，用于将所述第一目标电子计算机断层扫描序列图像输入预先训练的生成对抗网络模型中，所述预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及所述第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，所述第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像；
其中，所述生成对抗网络模型中的生成器模型包括通道注意力机制模块和空间注意力机制模块，所述第二目标电子计算机断层扫描图像的分辨率大于所述第一目标电子计算机断层扫描图像的分辨率。
第三方面，本申请提供一种电子设备，包括：存储器和处理器；
存储器用于存储指令；处理器用于调用存储器中的指令执行第一方面及第一方面任一种可能的设计中的图像处理方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的图像处理方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的图像处理方法。
本申请提供的图像处理方法，获取第一目标电子计算机断层扫描序列图像，使用预先训练的生成对抗网络模型分析第一目标电子计算机断层扫描序列图像中每一张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像。由于生成对抗网络模型中的生成器模型包括通道注意机机制模块和空间注意机机制模块，从而能够分析各个第一目标电子计算机断层扫描图像之间的关联性以及第一目标电子计算机断层扫描序列图像的整体特征，进而能够更为准确的将低分辨率电子计算机断层扫描序列图像重构出高分辨率的电子计算断层扫描序列图像，因而可以将低剂量的电子计算机断层扫描序列图像重构出高质量的电子计算机断层扫描序列图像。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种图像处理的流程图；
图2为本申请一实施例提供的一种生成器模型的训练方法的流程图；
图3为本申请一实施例提供的一种图像处理装置的结构示意图；
图4为本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
电子计算机断层扫描（Computed Tomography，CT）检查对结肠癌的诊断具有一定的价值，其作用包括：①发现结、直肠内较小而隐蔽的病灶；②评估癌肿与其周围组织的关系，局部有无肿大淋巴结转移，其他脏器有无浸润或转移；③对结肠癌进行分期；④应用螺旋电子计算机断层扫描仿真结肠镜技术可观察结肠癌完全性梗阻时阻塞近端肠腔内的情况。
根据X射线造影所产生的不规则充盈缺损，伴有肠壁僵硬、黏膜皱襞中断等征象并结合临床资料可以很好地对结直肠癌进行诊断，而这一过程需要较高清晰度的电子计算机断层扫描图像。通常电子计算机断层扫描图像的清晰度与辐射剂量有关，辐射剂量越高，电子计算机断层扫描图像的清晰度越高，辐射剂量越低，电子计算机断层扫描图像的清晰度越低，因而高剂量的电子计算机断层扫描图像有助于医生更为准确的分析结直肠癌的病理信息。但是，需要患者承受高剂量的辐射，影响患者的身体健康。
因而，如何在低剂量辐射下获取高质量的电子计算机断层扫描图像是目前亟需解决的问题。
针对上述问题，本申请提出了一种图像处理方法，获取第一目标电子计算机断层扫描序列图像，第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像。使用预先训练的生成对抗网络模型分析每一张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，第二目标电子计算机断层扫描序列图像包括多张依次排序的第二目标电子计算机断层扫描图像。由于生成对抗网络模型中的生成器模型包括通道注意机机制模块和空间注意机机制模块，从而能够分析各个第一目标电子计算机断层扫描图像之间的关联性以及第一目标电子计算机断层扫描序列图像的整体特征，进而能够更为准确的将低分辨率的第一目标电子计算机断层扫描序列图像重构出高分辨率的第二目标电子计算断层扫描序列图像，因而可以将低剂量的电子计算机断层扫描序列图像重构出高质量的电子计算机断层扫描序列图像。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请中，以电子设备为执行主体，执行如下实施例的图像处理方法。具体地，该执行主体可以为电子设备的硬件装置，或者为电子设备中实现下述实施例的软件应用，或者为安装有实现下述实施例的软件应用的计算机可读存储介质，或者为实现下述实施例的软件应用的代码。
图1示出了本申请一实施例提供的一种图像处理方法的流程图。在图1所示实施例的基础上，如图1所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：
S101、获取第一目标电子计算机断层扫描序列图像。
电子计算机断层扫描图像，即CT图像。电子计算机断层扫描图像中的不同内容由CT值进行展示，CT值是电子计算机断层扫描图像中各组织与X线衰减系数相当的对应值，不同组织具有不同的CT值，CT值也可以称为HU（Hounsfield Unit，亨氏单位）值。因而，若要获取分辨率更好的电子计算机断层扫描图像，目标需要承受更大的辐射剂量。
第一目标电子计算机断层扫描序列图像是通过X射线环扫目标物获得的序列图像，包括多张依次排列的第一目标电子计算机断层扫描图像。例如第一目标电子计算机断层扫描序列图像为D×W×H的序列，D表示第一目标电子计算机断层扫描图像的长，W表示第一目标电子计算机断层扫描图像的宽，H表示第一目标电子计算机断层扫描图像的数量。第一目标电子计算机断层扫描序列图像例如为512×512×512的序列图像。
S102、使用预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像。
将第一目标电子计算机断层扫描序列图像输入预先训练的生成对抗网络（Generative Adversarial Networks，GAN）模型中，预先训练的生成对抗网络模型包括通道注意力机制模块和空间注意力机制模块。
通道注意力机制模块包括通道注意力机制，通道注意力机制用于关注哪个通道上的特征有效。将H×W×C的特征图（feature map）输入通道注意力机制模块中，通道注意力机制模块先分别进行一个全局平均池化和全局最大池化得到两个1×1×C的特征图，然后将两个1×1×C的特征图分别送入两层的全连接神经网络。对于这两个1×1×C的特征图，两层的全连接神经网络共享参数再得到两个特征图，而后将再次得到的两个特征图相加，并通过Sigmoid函数得到0~1之间的权重系数，将权重系数与最初输入的H×W×C的特征图相乘，得到最终输出的特征图，最终输出的特征图体现H×W×C的特征图中各个图之间的拓扑结构信息。
空间注意力机制模块包括空间注意力机制，空间注意力机制用于关注空间中哪部分特征有效。将H×W×C的特征图（feature map）输入空间注意力机制模块中，空间注意力机制模块先分别进行一个通道维度的最大池化和平局池化得到两个H×W×1的特征图，将两个H×W×1的特征图在通道维度上拼接起来，得到H×W×2的特征图。然后经过一个卷积层降为1个通道，输出H×W×1的特征图，再通过Sigmoid函数生成空间权重系数，将权重系数与最初输入的H×W×C的特征图相乘，得到最终输出的特征图，最终的特征图体现H×W×C的特征图的空间特征信息。
由于预先训练的生成对抗网络模型包括通道注意力机制模块和空间注意力机制模块，因此预先训练的生成对抗网络模型能够分析每组第一目标电子计算机断层扫描图像之间的拓扑结构信息，生成包括各个第一目标电子计算机断层扫描图像之间的拓扑结构信息的第一特征图。预先训练的生成对抗网络模型还能够分析第一目标电子计算机断层扫描序列图像的空间特征，生成包括第一目标电子计算机断层扫描序列的空间特征的第二特征图。预先训练的生成对抗网络模型在生成第一特征图和第二特征图后，利用超分辨重建技术（Super Resolution reconstruction technology）对第一特征图和第二特征图进行重构，生成第二目标电子计算机断层扫描序列图像，第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像，第二目标电子计算机断层扫描图像的分辨率大于第一目标电子计算机断层扫描图像的分辨率，从而将低分辨率的第一目标电子计算机断层扫描序列图像重构出高分辨率的第二目标电子计算断层扫描序列图像。
生成对抗网络模型包括生成器模型和判别器模型，生成器模型用于将低分辨率的第一目标电子计算机断层扫描序列图像生成高分辨率的第二目标电子计算机断层扫描序列图像。
在一些实施例中，生成器模型的训练过程可以包括：建立图卷积神经网络模型（Graph Convolutional Neural Network，GCN），在图卷积神经网络模型中加入通道注意力机制模块和空间注意力机制模块。利用获取的训练集对建立的图卷积神经网络模型进行训练，获得生成器模型，生成器模型能够将输入的低分辨率电子计算机断层扫描序列图像重构成高分辨率的电子计算机断层扫描序列图像。可以在建立图卷积神经网络模型之前获取训练集，也可以在建立图卷积神经网络模型之后获取训练集。
训练集包括多个训练对，每个训练对包括第一电子计算机断层扫描序列图像和第二电子计算机断层扫描序列图像，第一电子计算机断层扫描序列图像包括多个依次排列的第一电子计算机断层扫描图像，第二电子计算机断层扫描序列图像包括多个依次排列的第二电子计算机断层扫描图像，第二电子计算机断层扫描图像的分辨率大于第一电子计算机断层扫描图像的分辨率。
由于第二电子计算机断层扫描序列图像中的第二电子计算机断层扫描图像大于对应的第一电子计算机断层扫描序列图像中的第一电子计算机断层扫描图像，为了便于描述，称第二电子计算机断层扫描序列图像的分辨率大于第一电子计算机断层扫描序列图像的分辨率。利用高分辨率的第二电子计算机断层扫描序列图像和低分辨率的第一电子计算机断层扫描序列图像训练已建立的图卷积神经网络模型，获得生成器模型。
在实际情况中，配对的低分辨率电子计算机断层扫描序列图像和高分辨率电子计算机断层扫描序列图像的样本量较少，因而可以获取目标辐射剂量下的第二电子计算机断层扫描序列图像，目标辐射剂量大于或等于预设值，目标辐射剂量为高辐射剂量，而后对第二电子计算机断层扫描序列图像进行下采样，获得低分辨率的第一电子计算机断层扫描序列图像，从而获得大量配对的高分辨率电子计算机断层扫描序列图像和低分辨率电子计算机断层扫描序列图像，提高训练集的数量，进而提高模型的预测结果的准确性。例如获取目标辐射剂量下的结直肠癌的第一电子计算机断层扫描序列图像，对第一电子计算机断层扫描序列图像进行多倍采样，获得第二电子计算机断层扫描序列图像，以便后续对直肠癌进行分析。多倍例如可以为两倍、四倍等。
本申请提供的图像处理方法，利用预先训练的生成对抗网络模型分析各个第一目标电子计算机断层扫描图像之间的关联性以及第一目标电子计算机断层扫描序列图像的整体特征，进而能够更为准确的将低分辨率的第一目标电子计算机断层扫描序列图像重构出高分辨率的第二目标电子计算断层序列扫描图像。
图2示出了本申请一实施例提供的一种生成器模型的训练方法的流程图。如图所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：
S201、建立图卷积神经网络模型，在图卷积神经网络模型中对添加通道注意力机制模块和空间注意力机制模块。
图卷积神经网络模型只需要较少的层数便可以得到较深层的卷积神经网络模型（Convolutional Neural Network，CNN）所能达到的性能，减少模型的计算量。
S202、获取训练集，利用训练集对图卷积神经网络模型进行训练。
训练集包括多个训练对，每个训练对包括第一电子计算机断层扫描序列图像和第二电子计算机断层扫描序列图像，第一电子计算机断层扫描序列图像包括多个依次排列的第一电子计算机断层扫描图像，第二电子计算机断层扫描序列图像包括多个依次排列的第二电子计算机断层扫描图像，第二电子计算机断层扫描图像的分辨率大于第一电子计算机断层扫描图像的分辨率。
利用多对第一电子计算机断层扫描序列图像和第二电子计算机断层扫描序列图像对图卷积神经网络模型进行训练。
S203、将第一电子计算机断层扫描序列图像输入训练后的图卷积神经网络模型中，获得第三电子计算机断层扫描序列图像。
将训练集中的第一电子计算机断层扫描序列图像输入训练后的图卷积神经网络模型中，训练后的图卷积神经网络分析第一电子计算机断层扫描序列图像中每张第一电子计算机断层扫描图像之间的拓扑结构信息以及第一电子计算机断层扫描序列图像的空间特征信息，输出第三电子计算机断层扫描序列图像。
S204、将第二电子计算机断层扫描序列图像和第三电子计算机断层扫描序列图像输入判别器模型中，若判别器模型输出区别特征，对图卷积神经网络模型继续训练，直至判别器模型无法输出区别特征。
将训练集中的第二电子计算机断层扫描序列图像和图卷积神经网络模型生成的第三电子计算机断层扫描序列图像一并输入生成对抗网络模型中的判别器模型中。判别器分析第二电子计算机断层扫描序列图像和第三电子计算机断层模型序列图像，并在第二电子计算机断层扫描序列图像和第三电子计算机断层模型序列图像存在区别时输出区别特征。
第二电子计算机断层扫描序列图像中的第二电子计算机断层扫描图像与第三电子计算机断层扫描序列图像中的第三电子计算机断层扫描图像一一对应，判别器可以分析每张第二电子计算机断层扫描图像与对应的第三电子计算机断层图像之间的特征，从而得到第二电子计算机断层扫描序列图像和第三电子计算机断层扫描序列图像之间的区别特征。
将第二电子计算机断层扫描序列图像和第三电子计算机断层扫描序列图像输入判别器模型中，若判别器模型没有输出区别技术特征，表明对图卷积网络模型的训练完成，训练完成的图卷积模型即为生成器模型。若判别器模型输出区别特征，需要对图卷积网络模型继续训练，再次利用判别器模型区分图卷积网络模型生成的电子计算机断层序列图像与原始电子计算机断层序列图像是否存在区别，直至判别器无法输出区别时，结束对图卷积神经网络模型的训练。
在一些实施例中，根据第二电子计算机断层扫描序列图像和第三电子计算机断层扫描序列图像调整拓扑结构信息的权重和空间特征信息的权重。例如可以通过不确定因子γ调整拓扑结构信息和空间特征信息的权重。在图卷积神经网络模型训练过程中加入不确定性因子γ，提高图卷积神经网络模型生成结果的准确性，其具体实现是在损失函数Lsum上，Lsum=(1-γ)LG+γLD，其中LG表示拓扑结构关系，LD表示空间特征信息，从而根据损失函数调整图卷积神经网络模型生成的电子计算机扫描序列图像的分辨率。
本申请提供的生成器模型的训练方法，利用图卷积神经网络模型替换传统的卷积神经网络模型，并在图卷积神经网络模型中添加通道注意力机制和空间注意力机制，从而能够分析电子计算机断层扫描序列图像中电子计算机断层扫描图像之间的关联性以及电子计算机断层扫描序列图像的整体特征，提高模型预测的准确性。
图3示出了本申请一实施例提供的一种图像处理装置的结构示意图，如图3所示，本实施例的图像处理装置10用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的图像处理装置10包括：
获取模块11，用于获取第一目标电子计算机断层扫描序列图像，第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像；
处理模块12，用于将第一目标电子计算机断层扫描序列图像输入预先训练的生成对抗网络模型中，预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像；
其中，生成对抗网络模型中的生成器模型包括通道注意力机制模块和空间注意力机制模块，第二目标电子计算机断层扫描图像的分辨率大于第一目标电子计算机断层扫描图像的分辨率。
本申请实施例提供的图像处理装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
图4示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图4所示，该电子设备20，用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的电子设备20可以包括：存储器21，处理器22和通信接口23。
存储器21，用于存储计算机指令。该存储器21可能包含高速随机存取存储器（Random Access Memory，RAM），也可能还包括非易失性存储（Non-Volatile Memory，NVM），例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
处理器22，用于执行存储器存储的计算机指令，以实现上述实施例中的图像处理方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。
通信接口23，可以与处理器22连接。处理器22可以控制通信接口23来实现信息的接收和发送的功能。
本实施例提供的电子设备可用于执行上述的图像处理方法，其实现方式和技术效果类似，本实施例此处不再赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现上述的各种实施方式提供的方法。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机指令，至少一个处理器执行该计算机指令使得设备实施上述的各种实施方式提供的方法。
本申请实施例还提供一种芯片，该芯片包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用并运行所述计算机指令，使得安装有所述芯片的设备执行如上各种可能的实施方式中所述的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一目标电子计算机断层扫描序列图像，所述第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像；
使用预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及所述第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，所述第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像；
其中，所述生成对抗网络模型中的生成器模型是通过对添加有通道注意力机制模块和空间注意力机制模块的图卷积神经网络模型训练得到的，所述第二目标电子计算机断层扫描图像的分辨率大于所述第一目标电子计算机断层扫描图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述获取第一目标电子计算机断层扫描序列图像，具体包括：
通过X射线对目标进行环扫，获得第一目标电子计算机断层扫描序列图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练，获得生成器模型，所述训练集包括多个训练对，每个训练对包括第一电子计算机断层扫描序列图像和第二电子计算机断层扫描序列图像；
其中，所述第一电子计算机断层扫描序列图像包括多张依次排列的第一电子计算机断层扫描图像，所述第二电子计算机断层扫描序列图像包括多张依次排列的第二电子计算机断层扫描图像，所述第二电子计算机断层扫描图像的分辨率大于所述第一电子计算机断层扫描图像的分辨率。
4.根据权利要求3所述的方法，其特征在于，获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练，具体包括：
获取训练集，利用所述训练集对所述图卷积神经网络模型进行训练；
将所述第一电子计算机断层扫描序列图像输入训练后的图卷积神经网络模型中，获得第三电子计算机断层扫描序列图像；
将所述第二电子计算机断层扫描序列图像和所述第三电子计算机断层扫描序列图像输入所述生成对抗网络模型中的判别器模型中，若所述判别器模型输出区别特征，对所述图卷积神经网络模型继续训练，直至所述判别器模型无法输出区别特征。
5.根据权利要求4所述的方法，其特征在于，所述对所述图卷积神经网络模型继续训练，具体包括：
根据所述第二电子计算机断层扫描序列图像和所述第三电子计算机断层扫描序列图像的区别特征调整所述拓扑结构信息的权重和所述空间特征信息的权重；
在调整权重后利用所述训练集对所述图卷积神经网络模型继续训练。
6.根据权利要求3-5中任意一项所述的方法，其特征在于，获取训练集，具体包括：
获取目标辐射剂量下的第二电子计算机断层扫描序列图像，对所述第二电子计算机断层扫描序列图像进行下采样获得第一电子计算机断层扫描序列图像，所述目标辐射剂量大于或等于预设值。
7.根据权利要求3-5所述的方法，其特征在于，
获取目标辐射剂量下的结直肠癌的第一电子计算机断层扫描序列图像，对所述第一电子计算机断层扫描序列图像进行多倍采样，获得第二电子计算机断层扫描序列图像。
8.一种图像处理装置，其特征在于，所述装置，包括：
获取模块，用于获取第一目标电子计算机断层扫描序列图像，所述第一目标电子计算机断层扫描序列图像包括多张依次排列的第一目标电子计算机断层扫描图像；
处理模块，用于将所述第一目标电子计算机断层扫描序列图像输入预先训练的生成对抗网络模型中，所述预先训练的生成对抗网络模型分析每张第一目标电子计算机断层扫描图像之间的拓扑结构信息以及所述第一目标电子计算机断层扫描序列图像的空间特征信息，输出第二目标电子计算机断层扫描序列图像，所述第二目标电子计算机断层扫描序列图像包括多张依次排列的第二目标电子计算机断层扫描图像；
其中，所述生成对抗网络模型中的生成器模型是通过对添加有通道注意力机制模块和空间注意力机制模块的图卷积神经网络模型训练得到的，所述第二目标电子计算机断层扫描图像的分辨率大于所述第一目标电子计算机断层扫描图像的分辨率。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任意一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如权利要求1至7中任一项所述的图像处理方法。
CN202210603369.6A 2022-05-31 2022-05-31 一种图像处理方法、装置、设备和介质 Active CN114693831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210603369.6A CN114693831B (zh) 2022-05-31 2022-05-31 一种图像处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210603369.6A CN114693831B (zh) 2022-05-31 2022-05-31 一种图像处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN114693831A CN114693831A (zh) 2022-07-01
CN114693831B true CN114693831B (zh) 2022-09-02

Family

ID=82131204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210603369.6A Active CN114693831B (zh) 2022-05-31 2022-05-31 一种图像处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114693831B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538236A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于生成对抗网络的图像超分辨率重构方法
CN113837942A (zh) * 2021-09-26 2021-12-24 平安科技（深圳）有限公司 基于srgan的超分辨率图像生成方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020175446A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 学習方法、学習システム、学習済みモデル、プログラム及び超解像画像生成装置
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111833261A (zh) * 2020-06-03 2020-10-27 北京工业大学 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN112435164B (zh) * 2020-11-23 2024-04-30 浙江工业大学 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN113361689A (zh) * 2021-06-09 2021-09-07 上海联影智能医疗科技有限公司 超分辨率重建网络模型的训练方法和扫描图像处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538236A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于生成对抗网络的图像超分辨率重构方法
CN113837942A (zh) * 2021-09-26 2021-12-24 平安科技（深圳）有限公司 基于srgan的超分辨率图像生成方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"SG-GAN: Adversarial Self-Attention GCN for Point Cloud Topological Parts Generation";Yushi Li 等;《IEEE Transactions on Visualization and Computer Graphics》;20210326;第1-13页 *

Also Published As

Publication number Publication date
CN114693831A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN110009669B (zh) 一种基于深度强化学习的3d/2d医学图像配准方法
US11514621B2 (en) Low-dose image reconstruction method and system based on prior anatomical structure difference
US11615530B2 (en) Medical data processing apparatus for reconstructing a medical image using a neural network
WO2024032098A1 (zh) 伪影去除模型的训练方法、装置、设备、介质及程序产品
CN112435164A (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
EP4190243A1 (en) Image processing device, image processing method, learning device, learning method, and program
CN114548238A (zh) 图像三维重建方法、装置、电子设备及存储介质
CN112819914A (zh) 一种pet图像处理方法
WO2020113148A1 (en) Single or a few views computed tomography imaging with deep neural network
CN112489158A (zh) 基于cGAN的自适应网络用于低剂量PET图像的增强方法
CN111340904A (zh) 图像处理方法、装置及计算机可读存储介质
CN117152365B (zh) 一种口腔cbct超低剂量成像的方法、系统及装置
US12029600B2 (en) Method and system for material decomposition in dual-or multiple-energy x-ray based imaging
CN114693831B (zh) 一种图像处理方法、装置、设备和介质
CN117522880A (zh) 一种用于牙结石分割的高效轻量级方法及设备
CN110473297B (zh) 图像处理方法、装置、电子设备和存储介质
US11915401B2 (en) Apriori guidance network for multitask medical image synthesis
CN114331921A (zh) 一种低剂量ct图像降噪方法及装置
CN117409100B (zh) 基于卷积神经网络的cbct图像伪影矫正系统及方法
CN112488951B (zh) 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法
JP7566696B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US20230097196A1 (en) Ultra-Fast-Pitch Acquisition and Reconstruction in Helical Computed Tomography
CN115861470A (zh) 图像伪影校正方法、装置、设备、存储介质和程序产品
CN117173271A (zh) Ct图像处理方法、模型训练方法、设备、介质及产品
CN112053292A (zh) 医学图像的处理方法、处理装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 518101 Shenzhen, Guangdong province Baoan District Xixiang Street Gu Shu Development Zone Taihua Indus Industrial Park 8 Building 3 layer.

Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.

Address before: 518101 Shenzhen, Guangdong province Baoan District Xixiang Street Gu Shu Development Zone Taihua Indus Industrial Park 8 Building 3 layer.

Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd.