CN113361543A - Ct图像特征提取方法、装置、电子设备和存储介质 - Google Patents

Ct图像特征提取方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113361543A
CN113361543A CN202110642694.9A CN202110642694A CN113361543A CN 113361543 A CN113361543 A CN 113361543A CN 202110642694 A CN202110642694 A CN 202110642694A CN 113361543 A CN113361543 A CN 113361543A
Authority
CN
China
Prior art keywords
image
sample
features
feature extraction
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110642694.9A
Other languages
English (en)
Inventor
李建强
谭卓斐
付光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110642694.9A priority Critical patent/CN113361543A/zh
Publication of CN113361543A publication Critical patent/CN113361543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种CT图像特征提取方法、装置、电子设备和存储介质，所述方法包括：基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；基于特征权重参数，提取CT图像特征；其中，特征提取模型是基于样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图进行对比学习得到的。本发明对比学习得到的特征提取模型能够学习无标签的样本CT图像的样本图像序列对上图像的通用表示形式，进而在基于特征提取模型的特征权重参数提取CT图像特征时，可以快速且准确从待提取特征的CT图像中提取出能够表达该CT图像本质的通用特征，从而可以避免传统方法中人工标注量大且周期长的问题。

Description

CT图像特征提取方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种CT图像特征提取方法、装置、电子设备和存储介质。
背景技术
图像特征提取是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
图像特征提取是图像处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。
计算机断层扫描(Computed Tomography，CT)可以获取清晰的CT图像。如脑CT图像可明确显示脑肿瘤、脑出血或是脑损伤等各种情形，但由于不同CT装置所得图像的像素大小及数目不同，CT图像结果通常是一整套图像序列，而疾病可能仅能体现在其中某几张切片上。
目前，多通过特征提取模型提取CT图像特征，但现有的特征提取模型通常需要在监督学习的情况下完成，从而需要规模庞大且专业的数据标注，标注工作量较大，进而影响模型的训练效率。
发明内容
本发明提供一种CT图像特征提取方法、装置、电子设备和存储介质，用以解决现有技术中特征提取模型标注工作量大导致模型训练效率较低的缺陷。
本发明提供一种CT图像特征提取方法，包括：、基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；
基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；
其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
根据本发明提供的一种CT图像特征提取方法，所述特征提取模型是基于如下步骤训练得到的：
将所述样本图像序列对输入至所述特征提取模型的查询编码层，得到所述查询编码层输出的原始特征；
将所有样本图像序列对对应的光流图输入至所述特征提取模型的动量编码层，得到所述动量编码层输出的各光流图对应的关键字特征；
将所述原始特征和所有关键字特征输入至所述特征提取模型的对比层，由所述对比层从各关键字特征中确定与所述原始特征相似度最高的特征作为正样本特征，并将其余关键字特征作为负样本特征；
基于所述正样本特征、所述负样本特征以及所有关键字特征，确定损失函数值，并以所述损失函数值更新所述特征权重函数。
根据本发明提供的一种CT图像特征提取方法，所述特征提取模型的损失函数用于最小化所述原始特征与所述正样本特征之间的差异，最大化所述原始特征与负样本特征之间的差异；所述负样本特征指除所述正样本特征外的关键字特征。
根据本发明提供的一种CT图像特征提取方法，所述损失函数值是基于如下公式确定的：
Figure BDA0003108626660000031
其中，lq表示所述损失函数值，q表示所述原始特征，k+表示所述正样本特征，τ表示温度参数，ki表示所述关键字特征，K表示样本池的字典长度。
根据本发明提供的一种CT图像特征提取方法，所述样本图像序列对对应的样本光流图是基于如下步骤确定的：
基于模糊权重因子，以及所述样本图像序列对，确定所述样本图像序列对对应的光流场；
基于所述光流场，生成所述样本图像序列对对应的样本光流图。
根据本发明提供的一种CT图像特征提取方法，所述光流场是基于如下公式确定的：
dout(x,y)＝γ×Gavg(x,y)-1×havg(x,y)；
其中，dout(x,y)表示所述光流场，γ表示所述模糊权重因子，x表示所述样本图像序列对中前一张序列的像素点位置，y表示所述样本图像序列对中后一张序列的像素点位置，Gavg(x,y)-1和havg(x,y)表示采用二次线性插值法计算得到的系数向量值。
根据本发明提供的一种CT图像特征提取方法，所述CT图像特征用于对图像分类模型进行训练，以使训练完成的图像分类模型对各CT图像进行分类。
本发明还提供一种CT图像特征提取装置，包括：
参数获取单元，用于获取特征提取模型的特征权重参数；
特征提取单元，用于基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；
其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述CT图像特征提取方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述CT图像特征提取方法的步骤。
本发明提供的CT图像特征提取方法、装置、电子设备和存储介质，基于样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图进行对比学习得到特征提取模型，从而使得学习得到的特征提取模型能够学习无标签的样本CT图像的样本图像序列对上图像的通用表示形式，进而在基于特征提取模型的特征权重参数提取CT图像特征时，可以快速且准确从待提取特征的CT图像中提取出能够表达该CT图像本质的通用特征，即基于该通用特征就可以判断该CT图像中是否存在疾病特征，从而可以避免传统方法中人工标注量大且周期长的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的CT图像特征提取方法的流程示意图；
图2是本发明提供的特征提取模型训练的流程示意图；
图3是本发明提供的光流图生成的流程示意图；
图4是本发明提供的CT图像特征提取装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
计算机断层扫描(Computed Tomography，CT)可以获取清晰的CT图像。如脑CT图像可明确显示脑肿瘤、脑出血或是脑损伤等各种情形，但由于不同CT装置所得图像的像素大小及数目不同，CT图像结果通常是一整套图像序列，而疾病可能仅能体现在其中某几张切片上。
目前，多通过特征提取模型提取CT图像特征，但现有的特征提取模型通常需要在监督学习的情况下完成，从而需要规模庞大且专业的数据标注，标注工作量较大，进而影响模型的训练效率。
对此，本发明提供一种CT图像特征提取方法。图1是本发明提供的CT图像特征提取方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；
步骤120、基于特征权重参数，提取CT图像的图像特征，CT图像包括CT图像序列对及其对应的光流图；
其中，特征提取模型是基于样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图进行对比学习得到的。
具体地，CT图像即电子计算机断层扫描，是三维图像，CT图像通常是一整套图像序列，所有图像序列构成立体三维图像。然而，某些疾病可能仅出现在其中某几个图像序列中，即这些图像序列中对应的特征为关键特征。
若采用传统方法中的有监督学习方法提取图像特征，则需要对所有图像序列进行标注，即同时需要对出现疾病的图像序列进行标注，也需要对正常部位的图像序列进行标注，标注工作量大且标注周期较长。
为了解决上述问题，本发明实施例基于样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图进行对比学习得到特征提取模型，通过在不同样本图像序列之间进行比较来学习样本图像序列上图像的通用表现形式。
其中，样本图像序列对指样本CT图像中每相邻的两个样本图像序列，样本光流图用于表征每相邻两个样本图像序列之间的变化信息，在训练特征提取模型时，将样本图像序列对与所有样本光流图进行对比，由于所有样本光流图中只存在一个样本光流图与样本图像序列对匹配，即只存在一个样本光流图与样本图像序列对最相似，即可以理解为该样本光流图为正样本，而其它样本光流图与该样本图像序列对不匹配，即可以理解为其它样本光流图为负样本。其中，样本CT图像可以从MRI脑肿瘤公开数据和脑CT公开数据中获取的。
在对特征提取模型进行训练的过程中，利用无标签的样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图，可以使得模型学习到最小化正样本与对应样本图像序列对之间的差异，最大化负样本与该样本图像序列对的差异，即使得特征提取模型能够从对比学习中学习到如何提取与样本图像序列对最相似的特征，即可以理解为样本图像序列对有且只有一个这个最相似的特征，从而若任一其它图像不具备该最相似的特征，则表明该图像与样本图像序列对中包含的信息不同。
由于CT图像大多为医学CT图像，而大部分医学CT图像是没有标注的，若人工从每张医学CT图像中的图像序列对中筛选是否存在疾病特征，则会耗费大量的人工筛选时间。若任一图像序列中存在疾病特征，则该疾病特征就是最能表达该图像序列本质信息的特征，即该疾病特征是与该图像序列最相似的特征，因此基于本发明实施例提供的特征提取模型中样本CT图像的样本图像序列的特征权重参数可以快速且准确从待提取特征的CT图像中的所有图像序列中提取出能够表达该CT图像本质的通用特征，即基于该通用特征就可以判断该CT图像中是否存在疾病特征，从而可以避免传统方法中人工标注量大且周期长的问题。
其中，特征权重参数可以表征待提取特征的CT图像中各区域特征所占的权重，本发明实施例可以基于特征权重参数，采用相应的特征提取算法公式从待提取特征的CT图像中提取相应的CT图像特征，也可以以特征权重参数更新初始图像特征提取模型后，将待提取特征的CT图像输入至特征提取模型中，得到CT图像特征，本发明实施例对此不作具体限定。
本发明实施例提供的图像特征提取方法，基于样本CT图像的样本图像序列对以及样本图像序列对对应的样本光流图进行对比学习得到特征提取模型，从而使得学习得到的特征提取模型能够学习无标签的样本CT图像的样本图像序列对上图像的通用表示形式，进而在基于特征提取模型的特征权重参数提取CT图像的图像特征时，可以快速且准确从待提取特征的CT图像中的所有CT图像序列及其对应的光流图中提取出能够表达该CT图像本质的通用特征，即基于该通用特征就可以判断该CT图像中是否存在疾病特征，从而可以避免传统方法中人工标注量大且周期长的问题。
基于上述实施例，特征提取模型是基于如下步骤训练得到的：
将样本图像序列对输入至特征提取模型的查询编码层，得到查询编码层输出的原始特征；
将所有样本图像序列对对应的光流图输入至特征提取模型的动量编码层，得到动量编码层输出的各光流图对应的关键字特征；
将原始特征和所有关键字特征输入至特征提取模型的对比层，由对比层从各关键字特征中确定与原始特征相似度最高的特征作为正样本特征，并将其余关键字特征作为负样本特征；
基于正样本特征、负样本特征以及所有关键字特征，确定损失函数值，并以损失函数值更新特征权重函数。
具体地，特征提取模型包括查询编码层、动量编码层以及对比层。如图2所示，查询编码层可以由查询编码器构成，动量编码层可以由关键字动量编码器构成。将样本图像序列对输入至特征提取模型的查询编码层，得到查询编码层输出的原始特征。将所有样本图像序列对对应的光流图输入至动量编码层，得到动量编码层输出的各光流图对应的关键字特征。接着，将原始特征和所有关键字特征输入对比层，由对比层从各关键字特征中确定与原始特征相似度最高的特征作为正样本特征，并将其余关键字特征作为负样本特征，从而可以基于正样本特征，负样本特征以及所有关键字特征，确定损失函数值，并以损失函数值更新特征权重函数。
在训练特征提取模型时，可以先定义动量对比学习网络作为初始模型，其包含一个查询编码器和关键字的动量编码器K，从而可以得到图片的低维表示。其中，查询编码器和关键字动量编码器K的网络结构相同，包括13层卷积层和3层全连接层。以脑CT图像作为样本CT图像为例，特征提取模型的训练过程如下：
在查询编码器中输入脑CT图像的序列对，以及在动量编码器K中输入脑CT图像的序列对对应的光流图，对于任意脑CT图像的序列对q1、q2和编码过的光流图集合{k0,k1,…,ki}，集合中有且仅有一个ki可以和脑CT图像的序列对匹配，即跟该原始脑CT图像相似度最高。
定义内积函数s度量样本之间的相似程度，让正例组合负例隔开至少n的距离：
s(<q1,q2>,k+)＝||max(0,f(q1,q2)-f(k+)||
s(<q1,q2>,k-)＝||max(n,f(q1,q2)-f(k-)||
其中，k+为由q1、q2生成的光流图，k-为其它图像对生成的不相关光流图。
此外，本发明实施例可以定义动量字典并将其队列化，即用一个队列来维护当前的负样本池，每次计算loss时使用K个负样本，然后将当前batch得到的特征入队，队首的batch结果出队。将字典的大小设置成一个超参数，每一次将batch_size大小的样本送入字典中，当队列满时，将队列中最旧的批次淘汰。这样不仅可以扩展字典的大小，而且还能很好的保持字典中的一致性。因为队列有着进出的动态更新机制，一方面能够和Mini-batch解耦，另外一方面也就不用对所有样本做类似预处理的进行编码。
其中，构建字典的两个要素包括：1)字典需要足够大；当字典的容量足够大时，它可以包含足够多的负样本，这有利于提取到很好的特征(字典程度K的大小定义为65536)。2)对于字典的编码器网络的更新应该采用动量更新的方式来保持一致性。
再有，本发明实施例采取基于动量的移动平均方式更新关键字的编码器。因为字典中的键值来自于不同的batch，通过此动量更新方式θk＝mθk+(1-m)θq来更新负例样本的参数，把查询编码器的参数θq赋值给键值编码器θk。通过这种动量更新的方法，可以从q的梯度反向传播间接获得k的梯度。相对于直接用q的梯度更新替代k的梯度更新，这种动量更新的方式更加平稳。动量参数m设置为0.999以便每一次训练时都对原编码器网络进行缓慢更新。
在训练特征提取模型时，需要进行多次的反向传播与参数更新，每次更新前向模型输入同样批大小的训练数据，每批训练数据包含同样批大小的原始图像对qi、qj和对应的光流图ki。
首先对查询编码器和关键字的动量编码器K进行初始化,初始时两个网络完全相同；然后遍历加载图像对，原图像对通过查询编码器得到特征q，光流图通过关键字编码器得到特征k，分别计算q与k的乘积，q与自带迷你队列中其他批次样本的乘积，然后通过交叉熵损失函数计算损失，通过反向传播更新查询编码器，对于关键字动量编码器进行动量更新，让加载的批次样本k进入队列，淘汰最早进入队列的批次。
基于上述任一实施例，特征提取模型的损失函数用于最小化原始特征与正样本特征之间的差异，最大化原始特征与负样本特征之间的差异；负样本特征指除正样本特征外的关键字特征。
在本实施例中，特征提取模型的损失函数用于最小化原始特征与正样本特征之间的差异，最大化原始特征与负样本特征之间的差异，即使得特征提取模型能够从对比学习中学习到如何提取与样本图像序列对最相似的特征，即可以理解为样本图像序列对有且只有一个这个最相似的特征，从而若任一其它图像不具备该最相似的特征，则表明该图像与样本图像序列对中包含的信息不同。
其中，本发明实施例通过定义内积函数s度量样本之间的相似程度，让正例组合负例隔开至少n的距离：
s(<q1,q2>,k+)＝||max(0,f(q1,q2)-f(k+)||
s(<q1,q2>,k-)＝||max(n,f(q1,q2)-f(k-)||
其中，k+为由q1、q2生成的光流图，k-为其它图像对生成的不相关光流图。
基于上述任一实施例，损失函数值是基于如下公式确定的：
Figure BDA0003108626660000101
其中，lq表示损失函数值，q表示原始特征，k+表示正样本特征，τ表示温度参数，ki表示关键字特征，K表示样本池的字典长度。
在本实施例中，利用爱因斯坦求和法分别计算原始特征与正样本特征k+的乘积，然后计算原始特征与字典队列中的负样本特征k-的乘积。然后将与正负样本特征的计算值放到一起除以温度参数T，正样本的标签为0，然后执行进队和出队操作。
考虑到在输入样本时没有明确指定负样本特征，而除了正样本特征，其它(2N-1)个关键字特征被视为负样本特征，因此，本发明实施例在所有正样本特征中计算lori.opt和lopt,ori，以得出训练批次的最终损失。因此，训练批次的损失函数定义为:
Figure BDA0003108626660000111
其中，ori为原始脑CT图像序列对，opt是由原始脑CT图像序列对对生成的光流图，N为原始脑CT图像样本个数，K为字典长度。最终归一化后的温度交叉熵损失函数作为特征提取模型的损失函数，该损失函数为：
Figure BDA0003108626660000112
其中，lq表示损失函数值，q表示原始特征，k+表示正样本特征，τ表示温度参数，ki表示关键字特征，K表示样本池的字典长度。
基于上述任一实施例，样本图像序列对对应的样本光流图是基于如下步骤确定的：
基于模糊权重因子，以及样本图像序列对，确定样本图像序列对对应的光流场；
基于光流场，生成样本图像序列对对应的样本光流图。
基于上述任一实施例，光流场是基于如下公式确定的：
dout(x,y)＝γ×Gavg(x,y)-1×havg(x,y)；
其中，dout(x,y)表示光流场，γ表示模糊权重因子，x表示样本图像序列对中前一张序列的像素点位置，y表示样本图像序列对中后一张序列的像素点位置，Gavg(x,y)-1和havg(x,y)表示利用二次线性插值法计算系数向量值并进行尺度变换后得到的中间系数向量值。
具体地，基于样本CT图像中样本图像序列的顺序，每相邻两个样本图像序列构成样本图像序列对，并生成每组序列对对应的光流图。
Om＝{Oi},i∈[1,n]
fm＝F(Oj,Oj+1),j∈[1,n)
Om是去冗余后的n张样本图像序列，函数F用来生成前后连续图像对光流图。
其中，在利用中间变量求解光流场时，进行局部模糊化处理过程中，考虑到脑CT影像独特的色彩特性，本实施例采用均值模糊法，并引入模糊权重因子γ＝distance(x,y)，以防止生成的光流场过于光滑或是过于微弱，权重γ由前后切片中像素点对的欧氏距离决定。
如图3所示，依次对样本图像序列对进行灰度化处理，对序列对的二维信号进行空间转换，利用二维高斯分布进行权重分配，二次插值得到新一帧图像位置中的系数向量值，最后根据上述光流场公式计算得到彩色标注的光流图。
基于上述任一实施例，CT图像特征用于对图像分类模型进行训练，以使训练完成的图像分类模型对各CT图像进行分类。
具体地，利用上述任一实施例的方法提取出全序列所有CT图像特征并引入下游网络分类模型中，从而可以实现自监督方式下的分类网络训练。对于下游主任务网络，可以引入变量α∈(0,1)来平衡对比学习任务和主任务，最终的损失函数定义为：L＝lmain+αlconst；其中，lmain为主网络损失，lconst对比网络损失。通过此方法可以将提取出的序列图像特征引入多样的下游任务中，具有较高拓展性和实用性。
下面对本发明提供的CT图像特征提取装置进行描述，下文描述的CT图像特征提取装置与上文描述的CT图像特征提取方法可相互对应参照。
基于上述任一实施例，本发明还提供一种CT图像特征提取装置，如图4所示，该装置包括：
参数获取单元410，用于基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；
特征提取单元420，用于基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；
其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
基于上述任一实施例，还包括：
查询编码单元，用于将所述样本图像序列对输入至所述特征提取模型的查询编码层，得到所述查询编码层输出的原始特征；
动量编码单元，用于将所有样本图像序列对对应的光流图输入至所述特征提取模型的动量编码层，得到所述动量编码层输出的各光流图对应的关键字特征；
对比单元，用于将所述原始特征和所有关键字特征输入至所述特征提取模型的对比层，由所述对比层从各关键字特征中确定与所述原始特征相似度最高的特征作为正样本特征，并将其余关键字特征作为负样本特征；
更新单元，用于基于所述正样本特征、所述负样本特征以及所有关键字特征，确定损失函数值，并以所述损失函数值更新所述特征权重函数。
基于上述任一实施例，所述特征提取模型的损失函数用于最小化所述原始特征与所述正样本特征之间的差异，最大化所述原始特征与负样本特征之间的差异；所述负样本特征指除所述正样本特征外的关键字特征。
基于上述任一实施例，所述损失函数值是基于如下公式确定的：
Figure BDA0003108626660000131
其中，lq表示所述损失函数值，q表示所述原始特征，k+表示所述正样本特征，τ表示温度参数，ki表示所述关键字特征，K表示样本池的字典长度。
基于上述任一实施例，还包括：
确定单元，用于基于模糊权重因子，以及所述样本图像序列对，确定所述样本图像序列对对应的光流场；
生成单元，用于基于所述光流场，生成所述样本图像序列对对应的样本光流图。
基于上述任一实施例，所述光流场是基于如下公式确定的：
dout(x,y)＝γ×Gavg(x,y)-1×havg(x,y)；
其中，dout(x,y)表示所述光流场，γ表示所述模糊权重因子，x表示所述样本图像序列对中前一张序列的像素点位置，y表示所述样本图像序列对中后一张序列的像素点位置，Gavg(x,y)-1和havg(x,y)表示采用二次线性插值法计算得到的系数向量值。
基于上述任一实施例，所述CT图像特征用于对图像分类模型进行训练，以使训练完成的图像分类模型对各CT图像进行分类。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、存储器(memory)520、通信接口(CommunicationsInterface)530和通信总线540，其中，处理器510，存储器520，通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令，以执行CT图像特征提取方法，该方法包括：基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
此外，上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的CT图像特征提取方法，该方法包括：基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的CT图像特征提取方法，该方法包括：基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种CT图像特征提取方法，其特征在于，包括：
基于特征提取模型，获取样本CT图像的样本图像序列的特征权重参数；
基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；
其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
2.根据权利要求1所述的图像特征提取方法，其特征在于，所述特征提取模型是基于如下步骤训练得到的：
将所述样本图像序列对输入至所述特征提取模型的查询编码层，得到所述查询编码层输出的原始特征；
将所有样本图像序列对对应的光流图输入至所述特征提取模型的动量编码层，得到所述动量编码层输出的各光流图对应的关键字特征；
将所述原始特征和所有关键字特征输入至所述特征提取模型的对比层，由所述对比层从各关键字特征中确定与所述原始特征相似度最高的特征作为正样本特征，并将其余关键字特征作为负样本特征；
基于所述正样本特征、所述负样本特征以及所有关键字特征，确定损失函数值，并以所述损失函数值更新所述特征权重函数。
3.根据权利要求2所述的图像特征提取方法，其特征在于，所述特征提取模型的损失函数用于最小化所述原始特征与所述正样本特征之间的差异，最大化所述原始特征与负样本特征之间的差异；所述负样本特征指除所述正样本特征外的关键字特征。
4.根据权利要求2所述的图像特征提取方法，其特征在于，所述损失函数值是基于如下公式确定的：
Figure FDA0003108626650000011
其中，lq表示所述损失函数值，q表示所述原始特征，k+表示所述正样本特征，τ表示温度参数，ki表示所述关键字特征，K表示样本池的字典长度。
5.根据权利要求1所述的图像特征提取方法，其特征在于，所述样本图像序列对对应的样本光流图是基于如下步骤确定的：
基于模糊权重因子，以及所述样本图像序列对，确定所述样本图像序列对对应的光流场；
基于所述光流场，生成所述样本图像序列对对应的样本光流图。
6.根据权利要求5所述的图像特征提取方法，其特征在于，所述光流场是基于如下公式确定的：
dout(x,y)＝γ×Gavg(x,y)-1×havg(x,y)；
其中，dout(x,y)表示所述光流场，γ表示所述模糊权重因子，x表示所述样本图像序列对中前一张序列的像素点位置，y表示所述样本图像序列对中后一张序列的像素点位置，Gavg(x,y)-1和havg(x,y)表示采用二次线性插值法计算得到的系数向量值。
7.根据权利要求1至6任一项所述的图像特征提取方法，其特征在于，所述CT图像特征用于对图像分类模型进行训练，以使训练完成的图像分类模型对各CT图像进行分类。
8.一种CT图像特征提取装置，其特征在于，包括：
参数获取单元，用于获取特征提取模型的特征权重参数；
特征提取单元，用于基于所述特征权重参数，提取CT图像的图像特征，所述CT图像包括CT图像序列对及其对应的光流图；
其中，所述特征提取模型是基于样本CT图像的样本图像序列对以及所述样本图像序列对对应的样本光流图进行对比学习得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述CT图像特征提取方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述CT图像特征提取方法的步骤。
CN202110642694.9A 2021-06-09 2021-06-09 Ct图像特征提取方法、装置、电子设备和存储介质 Pending CN113361543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642694.9A CN113361543A (zh) 2021-06-09 2021-06-09 Ct图像特征提取方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642694.9A CN113361543A (zh) 2021-06-09 2021-06-09 Ct图像特征提取方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113361543A true CN113361543A (zh) 2021-09-07

Family

ID=77533379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642694.9A Pending CN113361543A (zh) 2021-06-09 2021-06-09 Ct图像特征提取方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113361543A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN111931865A (zh) * 2020-09-17 2020-11-13 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110866134A (zh) * 2019-11-08 2020-03-06 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN111931865A (zh) * 2020-09-17 2020-11-13 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
EP3252671A1 (en) Method of training a deep neural network
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN111539480B (zh) 多类别医学图像识别方法及设备
CN109087298B (zh) 一种阿尔兹海默病mri图像分类方法
CN112419344B (zh) 一种基于Chan-Vese模型的无监督图像分割方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN110859642B (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN113222964B (zh) 一种冠脉中心线提取模型的生成方法及装置
CN111652798A (zh) 人脸姿态迁移方法和计算机存储介质
CN114581434A (zh) 基于深度学习分割模型的病理图像处理方法、电子设备
CN113378940A (zh) 神经网络训练方法、装置、计算机设备及存储介质
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN109740669B (zh) 一种基于深度特征聚合的乳腺癌病理图像分类方法
CN114722892A (zh) 基于机器学习的持续学习方法及装置
CN113361543A (zh) Ct图像特征提取方法、装置、电子设备和存储介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
Kolarik et al. Planar 3D transfer learning for end to end unimodal MRI unbalanced data segmentation
Xing et al. The Beauty or the Beast: Which Aspect of Synthetic Medical Images Deserves Our Focus?
Xu et al. Expectation maximization pseudo labelling for segmentation with limited annotations
CN112446893A (zh) 肝脏图像的轮廓分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination