CN113160124A - 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法 - Google Patents

一种食管癌影像在能谱ct与普通ct的特征空间重构的方法 Download PDF

Info

Publication number
CN113160124A
CN113160124A CN202110209960.9A CN202110209960A CN113160124A CN 113160124 A CN113160124 A CN 113160124A CN 202110209960 A CN202110209960 A CN 202110209960A CN 113160124 A CN113160124 A CN 113160124A
Authority
CN
China
Prior art keywords
common
energy spectrum
fusion
feature
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110209960.9A
Other languages
English (en)
Other versions
CN113160124B (zh
Inventor
李家健
黄国恒
陈子洋
王卓薇
夏霆坚
郑志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110209960.9A priority Critical patent/CN113160124B/zh
Publication of CN113160124A publication Critical patent/CN113160124A/zh
Application granted granted Critical
Publication of CN113160124B publication Critical patent/CN113160124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，解决了现有技术通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性的技术问题。

Description

一种食管癌影像在能谱CT与普通CT的特征空间重构的方法
技术领域
本申请涉及图像处理技术领域，尤其涉及一种食管癌影像在能谱CT与普通CT的特征空间重构的方法。
背景技术
在临床医学诊断中，CT已成为广泛应用于临床诊断和筛查疾病的一种重要手段。随着技术的发展，目前的CT有很多种，例如普通的CT、螺旋CT、电子束CT、能谱CT以及PET-CT(正电子发射计算机断层显像)等。食管癌病灶成像方面也具有以上CT的成像方式，而不同食管癌CT的成像方式各不相同，从而导致其具有不同的特征及新增特征。例如，食管癌普通CT能提供病灶的精确定位，食管癌能谱CT能提供病灶详尽的功能与代谢等分子信息。但是，现有技术中未能将各种成像技术进行有效结合。因此，将医学有用信息与计算机视觉成像技术结合，最大化的呈现病理信息,对于疾病诊断和治疗具有十分重要的意义。
现有技术中已经有通过医学图像识别模型辅助医生进行图像分析，但这些模型通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性。
发明内容
本申请提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，用于解决现有技术通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性的技术问题。
有鉴于此，本申请第一方面提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，包括：
对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；
对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；
将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。
可选的，所述对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征，包括：
对所述普通CT样本特征和所述能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；
对所述普通CT样本特征和所述能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，所述双注意力特征映射包括所述通道注意力特征映射和所述维度注意力特征映射；
将所述第一普通CT映射特征和所述第二普通CT映射特征进行特征融合得到普通CT融合特征，将所述第一能谱CT映射特征和所述第二能谱CT映射特征进行特征融合得到能谱CT融合特征。
可选的，所述方法还包括：
通过所述判别网络分别计算所述普通CT融合特征和所述能谱CT融合特征的概率分布；
通过所述判别网络根据所述普通CT融合特征和所述能谱CT融合特征的概率分布计算信息量，并根据所述信息量进行梯度更新，以对所述对抗权重进行修正，使得所述判别网络根据修正后的所述对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。
可选的，所述方法还包括：
计算所述普通CT融合特征和所述能谱CT融合特征之间的特征距离，使得所述判别网络根据所述特征距离进行网络参数更新。
可选的，所述将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征，之后还包括：
将所述普通CT样本特征与所述食管癌重构特征进行特征融合。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，包括：对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
本申请中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个流程示意图；
图2为本申请实施例提供的一种对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射过程的一个示意图；
图3为本申请实施例提供的Net2Net框架图；
图4为本申请实施例提供的一种基于判别网络的对抗式对齐和重构构成示意图；
图5为本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于食管癌影像在能谱CT与普通CT中呈现状态不同，从而导致了对于食管癌影像样本进行病灶分割时，由于特征维度不一致，使得在增量学习过程中无法对特征维度不相同的样本进行有效的学习，从而导致学习的性能大幅下降。针对食管癌普通CT与能谱CT图像在同一数据集中样本特征维度不一致问题，有必要研究一种特征空间重构的增量学习方法，旨在解决食管癌样本中特征维度不一致问题。而基于最小二乘法支持向量机的特征增量学习算法只能利用先前的结构参数来训练新的特征，虽然可以缩短训练时间，减少存储空间，但并未考虑到训练数据和测试数据的特征维度不一致情况。为了改善特征维度不一致带来的兼容性差，导致不能将不同的CT样本进行有效结合的问题，本申请实施例提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法。
为了便于理解，请参阅图1，本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个实施例，包括：
步骤101、对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征。
本申请实施例中采用分割网络对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征，分割网络可以为现有的U-Net网络。通过分割网络将给定的样本映射到一个特征表征空间，其中，分割网络的损失函数为：
Figure BDA0002951932470000051
式中，φML为Triplet Loss损失项，r为距离惩罚项，d+、d-分别为样本特征之间的语义差异，φR为正则项，用于保留原有样本特征，
Figure BDA0002951932470000053
分别为先验概率和当前预测概率，l为输入样本预分割区域数量。
步骤102、对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征。
本申请实施例中的注意力特征映射过程具体为：对普通CT样本特征和能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；对普通CT样本特征和能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，双注意力特征映射包括通道注意力特征映射和维度注意力特征映射；将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。
可以参考图2，Z为能谱CT样本特征，Base为普通CT样本特征，CAM为用于进行通道注意力特征映射的通道注意力模块、DAM为用于进行维度注意力特征映射的维度注意力模块、DualAttention为用于双注意力特征映射的双注意力模块，Concat-feature为用于特征拼接的特征拼接模块。CAM通过下采样方式对普通CT样本特征和能谱CT样本特征的通道特征进行提纯，因为在通过分割网络进行特征提取，这些特征已经由低级特征提升到高级特征，其语义响应已经高度关联，这种相互特征映射在特定语义的特征表示下能够一定程度提升特征区分性，因此构建多层通道注意力模块能通过多次迭代建立不同语义层级的通道关系，最后，综合多级通道注意力，进行网络层级数求和。通道注意力特征映射可以表示为：
Figure BDA0002951932470000052
式中，N为通道注意力模块的网络层级数，F'(cam)i,j为第一普通CT映射特征或第一能谱CT映射特征的第i通道对第j通道的影响，Fi、Fj为普通CT样本特征或能谱CT样本特征的第i通道特征、第j通道特征，i、j通道的联系越强，F'(cam)i,j的值越大，C为通道数。最终通过F'(cam)i,j对各通道特征进行加权求和得到第一普通CT映射特征或第一能谱CT映射特征。
在卷积神经网络中，高层特征具有丰富的语义信息，这有助于指导底层特征的选择，实现更准确的分辨率信息选择。通过通道注意力模块可以了解每个通道的权重，从而在通道内通过注意力调整权重。CAM实现执行全局池化，以提供全局三维结构信息作为低层特征的指南，以选择类别局部化详细信息。具体来说，对低层特征执行3×3卷积滤波，以减少来自分割网络中低层特征输出的特征图通道数。高层特征生成的全局三维结构信息是通过具有批归一化和ReLU非线性函数的1×1卷积滤波器执行的，然后与低层特征相乘。最后，用加权的低级特征添加高级特征。该CAM更有效地部署不同比例的特征图，并使用高级特征图为低级特征图提供指导信息。
通过DAM引入维度通道注意力来关注新的维度特征，与通道注意力模块不同，通过一个维度转换器将输入的特征图中的维度信息进行对应的维度变换，然后通过DAM学习每个维度的权重，产生维度注意力。定义
Figure BDA0002951932470000061
为原有的特征图，即普通CT样本特征，
Figure BDA0002951932470000062
为新增特征图，即能谱CT样本特征，M为维度空间上的特征图个数。然后将
Figure BDA0002951932470000063
进行维度压缩为
Figure BDA0002951932470000064
T＝C×D，i是普通CT样本映射出的第i个特征图，j是指能谱CT样本映射出的第j个特征图。将
Figure BDA0002951932470000065
进行空间转换为
Figure BDA0002951932470000066
然后进行矩阵相乘和压缩，注意力特征映射过程可以表示为：
Figure BDA0002951932470000067
最后根据计算得到的维度注意力系数F'(dam)i,j对普通CT样本特征和能谱CT样本特征分别进行加权求和，再通过DualAttention对加权求和得到的特征图进行双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征。DualAttention由CAM和DAM构成，映射过程可以参考前述CAM和DAM的映射过程，在此不再进行赘述。
最后通过Concat-feature将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。通过一系列注意力模块组合映射提高普通CT样本特征和能谱CT样本特征之间的差异性。
步骤103、将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
在对食管癌的普通CT样本和能谱CT样本进行注意力特征映射后，需要对普通CT融合特征和能谱CT融合特征进行特征对齐，这里的特征对齐是对普通CT融合特征和能谱CT融合特征进行特征映射学习，能够在不重新训练网络模型的情况下，学习普通CT样本特征和能谱CT样本特征之间的映射关系，以生成一组可以自适应普通CT融合特征和能谱CT融合特征的对抗权重。本申请实施例将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，以生成对抗权重，使得判别网络(Discriminator-network)根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
进一步，本申请实施例基于Net2Net框架进行特征重构，通过生成的对抗权重对普通CT融合特征和能谱CT融合特征进行特征融合得到食管癌重构特征。可以参考图3，x[1]、x[2]为普通CT融合特征，x[3]为能谱CT融合特征，a、b、c、d、e、f、g为对抗权重，h[1]、h[2]为判别网络的隐含层，y为食管癌重构特征。
进一步，本申请实施例中的判别网络的网络结构与分割网络的网络结构一致，目的是确定那些在普通CT融合特征和能谱CT融合特征的特征空间之间已经很好地对齐的特征维度，并保护这种维度级别的对齐。
进一步，在将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练时，还可以对对抗权重进行修正。具体的，通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布；通过判别网络根据普通CT融合特征和能谱CT融合特征的概率分布计算信息量，并根据信息量进行梯度更新，以对对抗权重进行修正，使得判别网络根据修正后的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
请参考图4，通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布C1、C2，通过对抗式维度交叉熵模块(图4中的Cross-entropy against dimension)进行特征优化，通过公式(4)的损失函数以及判别网络之间的对抗，能更好地融合特征，实现特征重构。
Figure BDA0002951932470000081
式中，Z*为普通CT融合特征，Z为能谱CT融合特征，D为判别网络，
Figure BDA0002951932470000084
为针对z*的交叉熵，Ez～Z为针对Z的交叉熵。在判别网络对输入的特征进行特征提取得到特征图，对特征图进行特征压缩降维成一维向量，然后通过公式(5)计算概率分布，然后根据公式(6)计算信息量，并根据信息量进行梯度更新，以对对抗权重进行修正。
Figure BDA0002951932470000082
Figure BDA0002951932470000083
式中，p(x)、q(x)为普通CT融合特征、能谱CT融合特征的概率分布，具体计算过程类似，β是一个可变系数，可以通过训练得到，x为普通CT融合特征或能谱CT融合特征对应的一维向量，xi为特征x中的第i个元素，n为特征x中的元素个数，D(p||q)为信息量，表示普通CT融合特征与能谱CT融合特征的分布距离，以这个距离来度量这两个特征之间的拟合程度。通过对抗式维度交叉熵模块确定两个特征空间之间样本分布不同的维度，从而调整训练期间对抗性损失的权重。
本申请实施例中加入对抗性齐次惩罚机制修正特征注意力映射，并结合普通CT融合特征与能谱CT融合特征的概率分布，以预测每个维度特征在两个样本特征之间的对齐情况。具体来说，如果普通CT融合特征与能谱CT融合特征的概率分布一致，则表明实现了良好的语义对齐，在这种情况下，减少对抗性损失的影响，以鼓励判别网络生成可以保持特征空间之间语义一致性的不变特征。相反，如果普通CT融合特征与能谱CT融合特征的概率分布彼此不一致，这表明目标特征远未被正确映射，此时就增加特征上的对抗性损失的权重，以便调整对齐。
进一步，在计算到概率分布C1、C2后，进入任务差异判别模块(图4中的Discrepancybetween tasks)进行度量学习，通过度量学习来评价特征距离来衡量对抗式特征对齐的差异性以及特征的融合程度是否达到最优，以辅助判别网络对特征进行判别。具体的，计算普通CT融合特征和能谱CT融合特征之间的特征距离，使得判别网络根据特征距离进行网络参数更新。在任务差异判别模块中，通过比对两个特征的特征距离来评估特征的融合距离，通过公式(7)计算普通CT融合特征与能谱CT融合特征之间的特征距离：
Figure BDA0002951932470000091
式中，k(xi，xj)为特征映射操作，用于将特征映射到高维空间，xi、xj分别为普通CT融合特征、能谱CT融合特征，m、n分别为普通CT样本和能谱CT样本的样本数，yi、yj分别为普通CT融合特征、能谱CT融合特征的基标准(groundtruth)。
本申请实施例通过比对两个任务的特征距离来评定二者特征领域的融合距离，以此来衡量对抗式特征对齐的差异性以及特征的融合程度是否达到最优，以此辅助对抗式特征对齐网络对特征进行判别。
进一步，在通过特征重构得到食管癌重构特征，之后还可以将普通CT样本特征与食管癌重构特征进行特征融合，此处的特征融合可以通过残差映射操作实现，目的是弥补在对齐和重组特征过程中食管癌能谱CT图像数据样本所丢失的特征信息，从而兼容不同特征维度的样本数据，重构后的食管癌重构特征与普通CT样本特征的维度一致。可以将普通CT样本特征与食管癌重构特征进行特征融合后的特征输入到原分割网络中进行特征增量学习，通过结合终身学习迭代存储原有的特征表示，使得原有分割网络模型能动态兼容食管癌能谱CT图像样本特征维度不一致的样本，从而维持相对稳定的网络性能，实现增量学习中能谱CT与普通CT图像特征维度的一致性。
本申请实施例中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。
以上为本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个实施例，以下为本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置的一个实施例。
请参考图5，本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置，包括：
特征提取单元，用于对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；
注意力特征映射单元，用于对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；
对齐训练单元，用于将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
作为进一步地改进，注意力特征映射单元，具体用于：
对普通CT样本特征和能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；
对普通CT样本特征和能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，双注意力特征映射包括通道注意力特征映射和维度注意力特征映射；
将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。
作为进一步地改进，装置还包括：权重修正单元，用于：
通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布；
通过判别网络根据普通CT融合特征和能谱CT融合特征的概率分布计算信息量，并根据信息量进行梯度更新，以对对抗权重进行修正，使得判别网络根据修正后的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。
作为进一步地改进，装置还包括：
计算单元，用于计算普通CT融合特征和能谱CT融合特征之间的特征距离，使得判别网络根据特征距离进行网络参数更新。
作为进一步地改进，装置还包括：
特征融合单元，用于将普通CT样本特征与食管癌重构特征进行特征融合。
本申请实施例中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。
本申请实施例还提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的食管癌影像在能谱CT与普通CT的特征空间重构的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (5)

1.一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，其特征在于，包括：
对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；
对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；
将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。
2.根据权利要求1所述的食管癌影像在能谱CT与普通CT的特征空间重构的方法，其特征在于，所述对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征，包括：
对所述普通CT样本特征和所述能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；
对所述普通CT样本特征和所述能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，所述双注意力特征映射包括所述通道注意力特征映射和所述维度注意力特征映射；
将所述第一普通CT映射特征和所述第二普通CT映射特征进行特征融合得到普通CT融合特征，将所述第一能谱CT映射特征和所述第二能谱CT映射特征进行特征融合得到能谱CT融合特征。
3.根据权利要求1所述的食管癌影像在能谱CT与普通CT的特征空间重构的方法，其特征在于，所述方法还包括：
通过所述判别网络分别计算所述普通CT融合特征和所述能谱CT融合特征的概率分布；
通过所述判别网络根据所述普通CT融合特征和所述能谱CT融合特征的概率分布计算信息量，并根据所述信息量进行梯度更新，以对所述对抗权重进行修正，使得所述判别网络根据修正后的所述对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。
4.根据权利要求1所述的食管癌影像在能谱CT与普通CT的特征空间重构的方法，其特征在于，所述方法还包括：
计算所述普通CT融合特征和所述能谱CT融合特征之间的特征距离，使得所述判别网络根据所述特征距离进行网络参数更新。
5.根据权利要求1所述的食管癌影像在能谱CT与普通CT的特征空间重构的方法，其特征在于，所述将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征，之后还包括：
将所述普通CT样本特征与所述食管癌重构特征进行特征融合。
CN202110209960.9A 2021-02-25 2021-02-25 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法 Active CN113160124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209960.9A CN113160124B (zh) 2021-02-25 2021-02-25 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209960.9A CN113160124B (zh) 2021-02-25 2021-02-25 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法

Publications (2)

Publication Number Publication Date
CN113160124A true CN113160124A (zh) 2021-07-23
CN113160124B CN113160124B (zh) 2022-12-16

Family

ID=76883427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209960.9A Active CN113160124B (zh) 2021-02-25 2021-02-25 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法

Country Status (1)

Country Link
CN (1) CN113160124B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420985A (zh) * 2011-11-29 2012-04-18 宁波大学 一种多视点视频对象提取方法
CN107184224A (zh) * 2017-05-18 2017-09-22 太原理工大学 一种基于双模态极限学习机的肺结节诊断方法
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111966883A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 结合自动编码器和生成对抗网络的零样本跨模态检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420985A (zh) * 2011-11-29 2012-04-18 宁波大学 一种多视点视频对象提取方法
CN107184224A (zh) * 2017-05-18 2017-09-22 太原理工大学 一种基于双模态极限学习机的肺结节诊断方法
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111966883A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 结合自动编码器和生成对抗网络的零样本跨模态检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOHENG HUANG ET AL.: "Eso-Net: A Novel 2.5D Segmentation Network With the Multi-Structure Response Filter for the Cancerous Esophagus", 《IEEE ACCESS》 *
JIAJIAN LI ET AL.: "Channel-Attention U-Net: Channel Attention Mechanism for Semantic Segmentation of Esophagus and Esophageal Cancer", 《IEEE ACCESS》 *
黄国恒 等: "基于多颜色空间卷积神经网络的车辆颜色分类", 《工业控制计算机》 *

Also Published As

Publication number Publication date
CN113160124B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Nie et al. Adversarial confidence learning for medical image segmentation and synthesis
CN112184658A (zh) 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
Yang et al. Synthesizing multi-contrast MR images via novel 3D conditional Variational auto-encoding GAN
CN111583194B (zh) 基于贝叶斯粗糙集和布谷鸟算法的高维特征选择算法
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
Liu et al. Auxiliary segmentation method of osteosarcoma MRI image based on transformer and U‐Net
CN113744265B (zh) 一种基于生成对抗网络的异常检测系统、方法和存储介质
Yuan et al. Diffuse large B‐cell lymphoma segmentation in PET‐CT images via hybrid learning for feature fusion
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
CN117456183A (zh) 一种多层级特征提取融合注意力机制的医学图像分割方法
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
Hou et al. Cross attention densely connected networks for multiple sclerosis lesion segmentation
Fedoruk et al. Performance of GAN-based augmentation for deep learning COVID-19 image classification
Moradi et al. Alzheimer’s disease classification using 3D conditional progressive GAN-and LDA-based data selection
Nagaraja et al. Optimization Study of Renal CT Image Classification Using Convolution Neural Networks
CN117457081A (zh) 一种基于超图的空间转录组数据处理方法及系统
CN116030308B (zh) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN111582330A (zh) 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法
CN113160124B (zh) 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法
CN115984296A (zh) 一种应用多注意力机制的医学图像分割方法及系统
CN115063349B (zh) 基于sMRI多维张量形态特征预测脑年龄的方法及装置
Mustafa et al. Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion with Jacobian Maps
Abbasi et al. Unsupervised deep learning registration model for multimodal brain images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant