CN118097193A - 基于图卷积的哈希编码图像匹配方法及系统 - Google Patents

基于图卷积的哈希编码图像匹配方法及系统 Download PDF

Info

Publication number
CN118097193A
CN118097193A CN202410487747.8A CN202410487747A CN118097193A CN 118097193 A CN118097193 A CN 118097193A CN 202410487747 A CN202410487747 A CN 202410487747A CN 118097193 A CN118097193 A CN 118097193A
Authority
CN
China
Prior art keywords
hash
convolution
image
representing
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410487747.8A
Other languages
English (en)
Other versions
CN118097193B (zh
Inventor
向德辉
陈慕阳
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202410487747.8A priority Critical patent/CN118097193B/zh
Publication of CN118097193A publication Critical patent/CN118097193A/zh
Application granted granted Critical
Publication of CN118097193B publication Critical patent/CN118097193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图卷积的哈希编码图像匹配方法及系统，涉及图像处理技术领域，包括：获取原训练集；构建哈希标签生成网络，使用无监督方式训练，将原始多分类标签转换为正交哈希类中心标签；构建增强特征图卷积哈希编码网络；使用训练集对增强特征图卷积哈希编码网络进行训练，获得每张图像的哈希编码；构建风格判别器，正确判别输入图像风格；综合哈希编码和风格判别结果依次配对数据集中图像，完成近似类图像匹配任务。本发明提供的基于图卷积的哈希编码图像匹配方法提出增强特征图卷积哈希编码图像匹配方法与现有图像匹配方法相比，能进一步提升病理图像近似类匹配正确率。

Description

基于图卷积的哈希编码图像匹配方法及系统
技术领域
本发明涉及图像处理技术领域，具体为基于图卷积的哈希编码图像匹配方法及系统。
背景技术
胰腺癌是一种高度恶性的消化道肿瘤，其中主要是导管腺癌。这种癌症起病隐匿性强，初期症状不明显，因此诊断与治疗都很困难。目前，全视野切片图像技术实现了病理切片图像的数字化，使病理医生能够在高分辨率图像下更好地分析病人的组织病变情况，但这一分析过程要求医生具备极高的专业素养。通过算法自动匹配胰腺导管腺癌病理图像中相似的图像，可以辅助医生对患者病情做出更加精准的诊断，对提高医疗水平落后地区患者的就诊质量具有非常重要的现实意义。
近年来，基于哈希编码的图像匹配深度学习模型已经证明在解决自然图像问题上能够达到不错的性能。但是，医学图像相比于自然图像特征更为复杂，且数据量较少，各类别数据量分布极为不平衡。想要做到准确的匹配较为困难。需要寻求更好的方法，能够使模型适应在训练过程中未涵盖的未知场景。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：解决现有技术中对于复杂的医学图像只能进行分类，不能有效进行图像匹配的问题。并利用医学图像中各组织之间的相互关系的先验知识，克服容易出现错误匹配的技术缺陷。
为解决上述技术问题，本发明提供如下技术方案：基于图卷积的哈希编码图像匹配方法，包括：获取原训练集，所述原训练集中包含多组织成分图像；构建哈希标签生成网络，使用无监督方式训练，将原始多分类标签转换为正交哈希类中心标签；构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器和多层感知机；使用训练集对增强特征图卷积哈希编码网络进行训练，获得每张图像的哈希编码；构建风格判别器，使用训练集中的图像对其进行训练，正确判别输入图像风格；综合哈希编码和风格判别结果依次配对数据集中图像，完成近似类图像匹配任务。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中： 所述构建哈希标签生成网络包括使用哈希正交损失函数和符号损失函数对生 成的哈希类中心标签进行约束，所述哈希正交损失函数和符号损失函数表示 为，
；
其中，表示哈希标签生成网络生成的哈希标签矩阵，，表示哈希标 签矩阵的转置，,表示单位矩阵， 总类别数，表示编码长 度，表示符号函数。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中： 所述通道关联图卷积模块包括利用数据集多分类标签信息计算生成邻接矩阵，邻接矩阵中 的第i行第j列的元素是第i类目标出现时第j类目标出现的频率，表示为，
；
其中，表示数据集中包含第i类目标的图像数量，表示训练集，表示指示 函数，当满足括号内条件时为1，否则为0。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中：所述通道关联图卷积模块还包括将哈希类中心标签先通过一个参数可学习的权重矩阵对之前生成好的哈希类中心标签做编码压缩，压缩得到的短编码与邻接矩阵计算矩阵乘法后，再次与一个参数可学习的权重矩阵进行矩阵运算，得到先验特征；
创建参数可学习的通道相关矩阵，相关矩阵尺寸为，其中，为 将编码器提取的最深层特征图通道数，使用预训练好的编码器提取的深层特征图根据通道 维度变形为后和通道相关矩阵相乘，得到通道关联特征，其中，是最深层特征 图的高，是最深层特征图的宽；
将通道关联特征和先验特征相加后送入多层感知机计算得到最终图特征。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中：所述获得每张图像的哈希编码包括使用总损失函数表示为，
；
其中，表示生成的哈希编码，表示增强特征生成的哈希编码，表示输入图 像所属类的哈希类中心标签， 表示所有哈希类中心标签中第n类的类中心标签， 表示余弦相似度，表示超参数。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中：所述构建风格判别器包括使用预训练好的编码器提取最深层特征图，经过一个卷积层计算均值向量，然后通过一个多层感知机计算压缩均值向量；
使用预训练好的编码器提取最深层特征图，经过一个卷积层计算方差向量，然后通过一个多层感知机计算压缩方差向量；
将压缩均值向量和压缩方差向量沿通道维度拼接，送入一个多层感知机输出预测 结果，预测结果使用二值交叉熵损失函数和标签进行约束，表示为；
；
其中，B表示输入批量大小，表示第b个图像的真实标签，表示第b个图像的 预测概率；
所述风格判别器包括均值向量支路和方差向量支路，每个支路包含操作相同但初始化参数不同的一个卷积层和一个全连接层；卷积层采用卷积核大小为3，步长为1，填充为1的卷积操作、批正则化和ReLU操作；全连接层压缩向量长度为输入的1/4；最后的多层感知机输出通道数为2，得到风格判别预测概率向量。
作为本发明所述的基于图卷积的哈希编码图像匹配方法的一种优选方案，其中：所述完成近似类图像匹配任务包括采用综合相似度计算图像相似度，表示为，
；
其中，表示第u张和第v张图像的哈希编码的余弦相似度，表示内积，||表示 求模，分别表示第u张和第v张图像的特征哈希编码，表示第u张和第v张图像的风 格加权系数 分别表示第u张和第v张图像的风格判别结果；
在计算得到输入图像和其他所有图像加权相似度之后，选取加权相似度最高的图像作为输入图像的匹配图像。
本发明的另外一个目的是提供基于图卷积的哈希编码图像匹配系统，其能通过图卷积神经网络为输入图像生成特征哈希编码，并利用特征哈希编码对数据集中图像进行近似类匹配，解决了现有方法在病理图像上仅能进行分类任务或近似类匹配任务效果不佳的缺陷。
为解决上述技术问题，本发明提供如下技术方案：基于图卷积的哈希编码图像匹配系统，包括：训练集获取模块、哈希标签生成网络构建模块、增强特征图卷积哈希编码网络构建模块、风格判别器以及训练模块；所述训练集获取模块用于获取原训练集，所述原训练集中包含多张多组织成分图像；所述哈希标签生成网络构建模块用于构建哈希标签生成网络，所述哈希标签生成网络使用原始多分类标签进行无监督哈希类中心标签生成；所述增强特征图卷积哈希编码网络构建模块用于构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器模块和多层感知机；所述风格判别器用于对输入图像进行风格特征判别，辅助图像匹配；所述训练模块用于通过训练集对增强特征图卷积哈希编码网络进行训练并更新增强特征图卷积哈希编码网络的参数，获得训练后增强特征图卷积哈希编码网络。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述基于图卷积的哈希编码图像匹配方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于图卷积的哈希编码图像匹配方法的步骤。
本发明的有益效果：本发明提供的基于图卷积的哈希编码图像匹配方法提出了一个关联特征图卷积哈希编码网络并设计了对应损失函数，使得网络能够对输入图像进行特征哈希编码预测，从而达到利用特征哈希编码对输入图像进行近似类图像匹配的效果；本发明提出了一个风格判别器用于辅助匹配，通过该风格判别器可以识别病理图像的染色风格，结合关联特征图卷积哈希编码网络可以保证在不影响近似类匹配的前提下，优先匹配到不同染色风格的近似类图像；本发明提出的增强特征图卷积哈希编码图像匹配方法（包括关联特征图卷积哈希编码网络和风格判别器两部分）与现有图像匹配方法相比，能进一步提升病理图像近似类匹配正确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个实施例提供的基于图卷积的哈希编码图像匹配方法的整体流程图。
图2为本发明一个实施例提供的基于图卷积的哈希编码图像匹配方法的哈希标签生成网络示意图。
图3为本发明一个实施例提供的基于图卷积的哈希编码图像匹配方法的通道关联图卷积模块示意图。
图4为本发明一个实施例提供的基于图卷积的哈希编码图像匹配方法的风格判别器示意图。
图5为本发明一个实施例提供的基于图卷积的哈希编码图像匹配方法的实验匹配对比图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
参照图1-图4，为本发明的一个实施例，提供了基于图卷积的哈希编码图像匹配方法，包括：
S1、获取原训练集，所述原训练集中包含多张多组织成分图像；
S2、构建哈希标签生成网络，使用无监督方式训练其将原始多分类标签转换为正交哈希类中心标签。
具体的参见图2所示，所述哈希标签生成网络输入为长度为n的多分类标签，形式如(1)所示：
（1）；
其中，分别表示肿瘤、血管、神经、胰岛和导管，如果输入图像包含对应类别，则对应类别位置为1，否则为0。将其通过多层感知机获得长为/>的哈希类标签。训练过程中使用的损失函数为：
（2）；
(3)；
其中，表示哈希标签生成网络生成的哈希标签矩阵，/>表示哈希标签矩阵/>的转置，/>表示单位矩阵，/>表示总类别数，/>表示编码长度，/>表示符号函数。
S3、构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器和多层感知机；
编码器使用预训练好的U-Net的编码器部分，在训练过程中冻结编码器参数，仅更新通道关联图卷积模块、变分自编码器和多层感知机参数。
通道关联图卷积模块具体的，参见图3所示，输入分为先验信息整合部分和特征输 入部分。在先验信息整合部分，首先建立一个邻接矩阵用以表示多类目标类别之间的 相关性。邻接矩阵中的第i行第j列的元素是第i类目标出现时第j类目标出现的频率，表 示为式(5)。表示数据集中包含第i类目标的图像数量，计算公式为式(4)，其中表示 训练集。1是指示函数，当满足括号条件时为1，否则为0。式(5)分子表示在所有包含第i类的 图像中，同时包含第j类的图像数量。邻接矩阵对角线（即i=j时），所有元素设置为0。
（4）；
（5)；
特征输入部分是编码器提取的深层特征图, h, w, c分别为深层特征图长、宽、通道数。为了更充分地利用通道间的关联信息，设置一个参数可学习的关联矩阵/>,c为输入深层特征通道数。将深层特征图/>按照通道拉直为c个长向量后堆叠形成特征矩阵/>。特征矩阵和关联矩阵计算矩阵乘法，然后经过一个全局平均池化获得通道关联特征。将通道关联特征和前面的先验知识向量相加，经过两层全连接层，每个全连接层采用一次全连接操作和ReLU激活操作的组合，最终输出长为512的关联图卷积特征向量。
S4、使用训练集对增强特征图卷积哈希编码网络进行训练，获得每张图像的哈希编码，使用的总损失函数：
(6)；
(7)；
(8)；
(9)；
其中，表示生成的哈希编码，/>表示增强特征生成的哈希编码，/>表示输入图像所属类的哈希类中心标签， />表示所有哈希类中心标签中第n类的类中心标签，表示余弦相似度，/>表示超参数。
S5、构建风格判别器，使用训练集中的图像对其进行训练，使得风格判别其可以正确判别输入图像风格；
具体的，参见图4所示。编码器的最深层特征图送入两个结构一样但是初始化不一样的卷积层分别提取深层特征的均值和方差属性。卷积层由两次卷积运算组成，每次卷积运算包含3×3卷积、批正则化和ReLU激活。每层卷积输出不改变图像大小，第一层卷积输出通道为输入的1/8，第二层卷积输出通道为输入的1/16。卷积输出按照通道分别计算均值和方差，得到均值和方差向量。均值和方差向量使用两个结构一样的全连接层进行特征压缩，压缩至均值方差向量的1/4长度后沿通道拼接，送入预测全连接层得到预测结果。预测结果和风格独热标签计算二值交叉熵损失函数，如式(10)。
(10)；
其中，B表示输入批量大小，表示第b个图像的真实标签，/>表示第b个图像的预测概率。
S6、综合哈希编码和风格判别结果依次配对原训练集的图像，完成近似类图像匹配任务；
通过采用综合相似度计算图像相似度：
（11）；
(12)；
(13)；
其中，表示第u张和第v张图像的哈希编码的余弦相似度，/>分别表示第u张和第v张图像的特征哈希编码。/>表示第u张和第v张图像的风格加权系数分别表示第u张和第v张图像的风格判别结果。/>表示最终第u张和第v张图像的哈希编码的综合相似度。
实施例2
为本发明的一个实施例，提供了基于图卷积的哈希编码图像匹配系统，包括：
训练集获取模块、哈希标签生成网络构建模块、增强特征图卷积哈希编码网络构建模块、风格判别器以及训练模块。
训练集获取模块用于获取原训练集，所述原训练集中包含多张多组织成分图像。
哈希标签生成网络构建模块用于构建哈希标签生成网络，所述哈希标签生成网络使用原始多分类标签进行无监督哈希类中心标签生成。
增强特征图卷积哈希编码网络构建模块用于构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器模块和多层感知机。
风格判别器用于对输入图像进行风格特征判别，辅助图像匹配。
训练模块用于通过训练集对增强特征图卷积哈希编码网络进行训练并更新增强特征图卷积哈希编码网络的参数，获得训练后增强特征图卷积哈希编码网络。
实施例3
本发明的一个实施例，其不同于前两个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
实施例4
参照图1和图5，为本发明的一个实施例，提供了基于图卷积的哈希编码图像匹配方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
参照图1所示，为本发明整体流程框图。本发明使用的数据采集自患有胰腺导管腺癌的病人。共包含来自72名不同病人的全切片病理染色图像，所有图像均采用HE染色。这些全切片病理图像由一名经验丰富的病理科专家医生进行标注，共包括图像中所有肿瘤、神经、血管、胰岛和导管共5类组织成分的区域。对全切片病理图像采用如下步骤进行处理：1.将全切片病理图像下采样16倍后，获得平均尺寸约为12000×9400的缩放后图像；2.使用一个512×512的滑动窗口，将下采样后的全切片病理图像裁剪为无重合的局部切片图像；3.在裁剪后的图像中，将包含分割目标的共计3378张局部切片图像作为本章所使用的总数据集。
本发明使用pytorch深度学习框架，torch版本1.13.0。所有的训练和验证过程均在配备有24G大小显存的NVIDIA GeForce RTX 3090显卡上完成。在训练过程中，神经网络采用小批量方法读取数据，批尺寸设置为2。优化器选用随机梯度下降（StochasticGradient Descent, SGD）方法，初始学习率设为0.01，优化器动量设为0.9，优化器正则化系数设为0.0001。学习率调整策略选用Poly方法。
本发明的实验结果如下：为了定量评估本发明提出的方法的性能，选用近似类匹配正确率作为评价指标。在此部分定义，如果两张图像中包含的类别完全一致或两张图像中包含类别只相差一个类，则两张图像属于近似类。同时定义近似类匹配正确率表示为：
；
本发明将分割结果与奇特哈希编码匹配网络进行了比较，如表1所示，表1为本发明将近似类匹配结果与他人的方法进行了比较。
表1 实验结果对比表
如图5所示，为不同方法的近似类匹配结果图，其中，第一列是原始病理切片图片。第二列是对应的金标准。第三列是匹配到的目标图像，第四列是匹配图像的金标准。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于图卷积的哈希编码图像匹配方法，其特征在于，包括：
获取原训练集，所述原训练集中包含多组织成分图像；
构建哈希标签生成网络，使用无监督方式训练，将原始多分类标签转换为正交哈希类中心标签；
构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器和多层感知机；
使用训练集对增强特征图卷积哈希编码网络进行训练，获得每张图像的哈希编码；
构建风格判别器，使用训练集中的图像对其进行训练，正确判别输入图像风格；
综合哈希编码和风格判别结果依次配对数据集中图像，完成近似类图像匹配任务。
2.如权利要求1所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述构建哈希标签生成网络包括使用哈希正交损失函数和符号损失函数/>对生成的哈希类中心标签进行约束，所述哈希正交损失函数/>和符号损失函数/>表示为，
；
其中，表示哈希标签生成网络生成的哈希标签矩阵，/>，/>表示哈希标签矩阵/>的转置，/>,/>表示单位矩阵，/> 总类别数，/>表示编码长度，表示符号函数。
3.如权利要求2所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述通道关联图卷积模块包括利用数据集多分类标签信息计算生成邻接矩阵，邻接矩阵中的第i行第j列的元素是第i类目标出现时第j类目标出现的频率，表示为，
；
其中，表示数据集中包含第i类目标的图像数量，/>表示训练集，/>表示指示函数，当满足括号内条件时为1，否则为0。
4.如权利要求3所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述通道关联图卷积模块还包括将哈希类中心标签先通过一个参数可学习的权重矩阵对之前生成好的哈希类中心标签做编码压缩，压缩得到的短编码与邻接矩阵计算矩阵乘法后，再次与一个参数可学习的权重矩阵进行矩阵运算，得到先验特征；
创建参数可学习的通道相关矩阵，相关矩阵/>尺寸为/>，其中，/>为将编码器提取的最深层特征图通道数，使用预训练好的编码器提取的深层特征图根据通道维度变形为/>后和通道相关矩阵相乘，得到通道关联特征，其中，/>是最深层特征图的高，/>是最深层特征图的宽；
将通道关联特征和先验特征相加后送入多层感知机计算得到最终图特征。
5.如权利要求4所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述获得每张图像的哈希编码包括使用总损失函数表示为，
；
其中，表示生成的哈希编码，/>表示增强特征生成的哈希编码，/>表示输入图像所属类的哈希类中心标签， />表示所有哈希类中心标签中第n类的类中心标签，/>表示余弦相似度，/>表示超参数。
6.如权利要求5所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述构建风格判别器包括使用预训练好的编码器提取最深层特征图，经过一个卷积层计算均值向量，然后通过一个多层感知机计算压缩均值向量；
使用预训练好的编码器提取最深层特征图，经过一个卷积层计算方差向量，然后通过一个多层感知机计算压缩方差向量；
将压缩均值向量和压缩方差向量沿通道维度拼接，送入一个多层感知机输出预测结果，预测结果使用二值交叉熵损失函数和标签进行约束，表示为；
；
其中，B表示输入批量大小，表示第b个图像的真实标签，/>表示第b个图像的预测概率；
所述风格判别器包括均值向量支路和方差向量支路，每个支路包含操作相同但初始化参数不同的一个卷积层和一个全连接层；卷积层采用卷积核大小为3，步长为1，填充为1的卷积操作、批正则化和ReLU操作；全连接层压缩向量长度为输入的1/4；最后的多层感知机输出通道数为2，得到风格判别预测概率向量。
7.如权利要求6所述的基于图卷积的哈希编码图像匹配方法，其特征在于：所述完成近似类图像匹配任务包括采用综合相似度计算图像相似度，表示为，
；
其中，表示第u张和第v张图像的哈希编码的余弦相似度，/>表示内积，||表示求模，/>分别表示第u张和第v张图像的特征哈希编码，/>表示第u张和第v张图像的风格加权系数 />分别表示第u张和第v张图像的风格判别结果；
在计算得到输入图像和其他所有图像加权相似度之后，选取加权相似度最高的图像作为输入图像的匹配图像。
8.一种采用如权利要求1~7任一所述的基于图卷积的哈希编码图像匹配方法的系统，其特征在于，包括：训练集获取模块、哈希标签生成网络构建模块、增强特征图卷积哈希编码网络构建模块、风格判别器以及训练模块；
所述训练集获取模块用于获取原训练集，所述原训练集中包含多张多组织成分图像；
所述哈希标签生成网络构建模块用于构建哈希标签生成网络，所述哈希标签生成网络使用原始多分类标签进行无监督哈希类中心标签生成；
所述增强特征图卷积哈希编码网络构建模块用于构建增强特征图卷积哈希编码网络，所述增强特征图卷积哈希编码网络包括编码器、通道关联图卷积模块、变分自编码器模块和多层感知机；
所述风格判别器用于对输入图像进行风格特征判别，辅助图像匹配；
所述训练模块用于通过训练集对增强特征图卷积哈希编码网络进行训练并更新增强特征图卷积哈希编码网络的参数，获得训练后增强特征图卷积哈希编码网络。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于图卷积的哈希编码图像匹配方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于图卷积的哈希编码图像匹配方法的步骤。
CN202410487747.8A 2024-04-23 2024-04-23 基于图卷积的哈希编码图像匹配方法及系统 Active CN118097193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410487747.8A CN118097193B (zh) 2024-04-23 2024-04-23 基于图卷积的哈希编码图像匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410487747.8A CN118097193B (zh) 2024-04-23 2024-04-23 基于图卷积的哈希编码图像匹配方法及系统

Publications (2)

Publication Number Publication Date
CN118097193A true CN118097193A (zh) 2024-05-28
CN118097193B CN118097193B (zh) 2024-10-11

Family

ID=91152013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410487747.8A Active CN118097193B (zh) 2024-04-23 2024-04-23 基于图卷积的哈希编码图像匹配方法及系统

Country Status (1)

Country Link
CN (1) CN118097193B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555121A (zh) * 2019-08-27 2019-12-10 清华大学 基于图神经网络的图像哈希生成方法及装置
CN114168781A (zh) * 2021-11-26 2022-03-11 清华大学 病理图像检索方法及装置
CN115938563A (zh) * 2022-11-02 2023-04-07 华中科技大学 一种基于跨模态语义哈希的医疗诊断方法和装置
CN116543215A (zh) * 2023-05-10 2023-08-04 北京工业大学 一种基于深度哈希互学习的脑网络分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555121A (zh) * 2019-08-27 2019-12-10 清华大学 基于图神经网络的图像哈希生成方法及装置
CN114168781A (zh) * 2021-11-26 2022-03-11 清华大学 病理图像检索方法及装置
CN115938563A (zh) * 2022-11-02 2023-04-07 华中科技大学 一种基于跨模态语义哈希的医疗诊断方法和装置
CN116543215A (zh) * 2023-05-10 2023-08-04 北京工业大学 一种基于深度哈希互学习的脑网络分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Graph Convolutional Network Hashing", IEEE, 14 December 2018 (2018-12-14) *
JIAN GAO等: "Multiview Graph Convolutional Hashing for Multisource Remote Sensing Image Retrieval", IEEE, 15 July 2021 (2021-07-15) *
杨景丞: "脑疾病功能核磁共振图像检索算法研究", 中国优秀硕士学位论文全文数据库 医药卫生科技辑, 15 April 2024 (2024-04-15) *
陆宇轩等: "基于多序列MRI 胰腺联合分割算法", 电子技术与软件工程, 15 March 2022 (2022-03-15) *

Also Published As

Publication number Publication date
CN118097193B (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN117218453B (zh) 一种不完备多模态医学影像学习方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN112927246B (zh) 肺部轮廓分割、肿瘤免疫浸润分类系统及方法
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及系统
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN117974693A (zh) 图像分割方法、装置、计算机设备和存储介质
CN116778158B (zh) 基于改进u形网络的多组织成分图像分割方法及系统
CN114283301A (zh) 一种基于Transformer的自适应医学影像分类方法及系统
CN117036793B (zh) 一种基于pet影像多尺度特征的脑龄评估方法及装置
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN117953208A (zh) 一种基于图的边缘注意力门医学影像分割方法及装置
CN116934712A (zh) 应用于肺部三维图像处理的配准方法及装置
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant