CN116486071A - 图像分块特征提取方法、装置及存储介质 - Google Patents

图像分块特征提取方法、装置及存储介质 Download PDF

Info

Publication number
CN116486071A
CN116486071A CN202310260982.7A CN202310260982A CN116486071A CN 116486071 A CN116486071 A CN 116486071A CN 202310260982 A CN202310260982 A CN 202310260982A CN 116486071 A CN116486071 A CN 116486071A
Authority
CN
China
Prior art keywords
image
sample image
graph
node
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310260982.7A
Other languages
English (en)
Inventor
马喜波
揭晨露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310260982.7A priority Critical patent/CN116486071A/zh
Publication of CN116486071A publication Critical patent/CN116486071A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像分块特征提取方法、装置及存储介质。该方法包括：输入待处理图像分块至图注意力网络模型，获得待处理图像分块的特征向量；其中，所述图注意力网络模型基于以下步骤训练获得：将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；基于所述拓扑特征训练图注意力网络模型。本申请实施例提供的图像分块特征提取方法、装置及存储介质，通过训练得到的图注意力网络模型能够获取待处理图像分块的局部特征信息和全局特征信息，提升了特征信息提取的准确性。

Description

图像分块特征提取方法、装置及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种图像分块特征提取方法、装置及存储介质。
背景技术
随着人工智能的飞速发展，深度学习算法通常被应用于图像处理方法中。以卷积神经网络为代表，通过大量带标签的数据训练模型，以端对端的方式获取图片中包含的深层特征信息，在图片分类、语义分割等领域的已经应用成熟。
对于具有超高分辨率、包含超大数据量的图像的处理更为复杂，例如对全切片图像(Whole Slide Image,WSI)的处理，全切片图像是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像，需要先将这类图像切割成合适大小的图像分块，然后利用深度学习进行特征提取。但是由于这类图片分割成多个图像分块后，图像中有用信息的提取难度增大，而且这种特征提取方法会导致提取的特征信息不准确。
发明内容
本申请实施例提供一种图像分块特征提取方法、装置及存储介质，用以解决现有技术中图像分块的特征信息提取不准确的技术问题。
第一方面，本申请实施例提供一种图像分块特征提取方法，包括：
输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于语义分割模型对所述样本图像分块进行语义分割得到初始分割结果；
基于所述初始分割结果利用通道注意力机制确定所述样本图像分块的语义分割图。
在一些实施例中，所述语义分割模型的损失函数表达式如下：
其中，x、y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
在一些实施例中，基于拼接图像分块利用图注意力网络确定所述样本图像分块的拓扑特征，包括：
将所述拼接图像分块输入残差神经网络进行压缩得到节点特征；
通过注意力机制确定节点间连接关系的权重；
基于所述节点特征和所述节点间连接关系的权重确定所述样本图像分块的拓扑特征。
在一些实施例中，基于所述拓扑特征训练图注意力网络模型，包括：
基于所述样本图像分块的拓扑特征确定样本图像分块的特征向量；
基于所述样本图像分块的特征向量训练图注意力网络模型。
在一些实施例中，基于所述图像分块的拓扑特征确定样本图像分块的特征向量，包括：
为每一节点分配邻接节点的权重；所述邻接节点指与节点相邻的节点；
基于所述拓扑特征和所述邻接节点的权重更新样本图像分块的特征向量。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于全切片图像的缩略图利用最大类间方差法OTSU获取所述缩略图的掩膜；
基于压缩后的全切片图像确定所述全切片图像的初始图像分块；
基于所述缩略图的掩膜对所述初始图像分块进行数据增强，得到所述样本图像分块。
第二方面，本申请实施例提供图像分块特征提取装置，包括：
特征提取模块，用于输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
第三方面，本申请实施例提供一种电子设备，包括存储器，收发机，处理器；
所述存储器用于存储计算机程序；所述收发机用于在所述处理器的控制下收发数据；所述处理器用于读取所述存储器中的计算机程序并执行如上所述第一方面所述的图像分块特征提取方法。
第四方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行如上所述第一方面所述的图像分块特征提取方法。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行如上所述第一方面所述的图像分块特征提取方法。
第六方面，本申请实施例还提供一种通信设备可读存储介质，所述通信设备可读存储介质存储有计算机程序，所述计算机程序用于使通信设备执行如上所述第一方面所述的图像分块特征提取方法。
第七方面，本申请实施例还提供一种芯片产品可读存储介质，所述芯片产品可读存储介质存储有计算机程序，所述计算机程序用于使芯片产品执行如上所述第一方面所述的图像分块特征提取方法。
本申请实施例提供的图像分块特征提取方法、装置及存储介质，通过将样本图像分块的原图与该样本图像分块的语义分割图进行拼接，对拼接后的图像分块进行构图，使用图注意力网络确定样本图像分块的拓扑特征，基于该拓扑特征训练图注意力网络模型，实现了对样本图像分块中的局部特征以及样本图像分块间的全局特征的有效学习，通过该模型获取待处理图像分块的特征信息，提高了图像分块特征信息提取的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分块特征提取方法的流程示意图；
图2是本申请实施例提供的一种图像分块特征提取方法的示例场景的语义分割模型结构图；
图3是本申请实施例提供的一种图像分块特征提取方法装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的图像分块特征提取方法的流程示意图，如图1所示，本申请实施例提供一种图像分块特征提取方法。该方法包括：
步骤101、输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
具体地，先构建一个图注意力网络模型，该模型用于获取图像分块的特征向量，用样本图像分块对该图注意力网络模型进行训练，然后将待处理图像分块输入该图注意力网络模型中，输出所述待处理图像分块的特征向量。
其中，对于图注意力网络模型的训练包括以下几个步骤：
首先，将选择的全切片图像的图像分块作为样本图像分块，将样本图像分块的语义分割图与该样本图像分块的原图进行拼接或融合(contact)。所述全切片图像可以通过医学处理库openslide获取。所述样本图像分块的语义分割图可以通过Segformer分割模型获取。
例如，基于图神经网络对样本图像分块进行构图，其中，以样本图像分块为节点，以样本图像分块间的连接关系为边。将样本图像分块的语义分割图与该样本图像分块的原图进行拼接得到拼接图像分块，基于该拼接图像分块可以确定节点特征。
然后，基于图神经网络，以样本图像分块为节点，以样本图像分块间的连接关系为边进行构图。在获取拼接图像分块后，基于该拼接图像分块生成节点特征，然后利用注意力机制确定节点之间连接关系的权重，根据该权重和拼接图像分块生成节点特征确定节点或图像分块间的拓扑关系，获取全局拓扑特征。最后基于获取的拓扑特征训练图注意力网络模型。
例如，将拼接图像分块输入残差神经网络(Residual Neural Network，ResNet)中进行压缩，将拼接图像分块压缩为128维向量，将其作为节点特征。利用图注意力网络对节点之间的连接进行权重的分配，将该权重作为对应边的特征。然后学习节点之间的拓扑关系，获取全局拓扑特征。最后根据获取的样本图像分块的拓扑特征训练构建的图注意力网络模型。
本申请实施例提供的图像分块特征提取方法，基于样本图像分块的语义分割图与所述样本图像分块的原图拼接后的拼接图像分块，确定节点特征，基于样本图像分块之间的连接关系利用注意力机制确定边特征，基于节点特征和边特征学习样本图像分块/节点之间的拓扑关系，从而获取全局的拓扑特征，然后根据该拓扑特征训练图注意力网络模型，使得通过该模型能够获得待处理图像分块的局部特征信息和全局特征信息，提升了特征信息提取的准确性。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于语义分割模型对所述样本图像分块进行语义分割得到初始分割结果；
基于所述初始分割结果利用通道注意力机制确定所述样本图像分块的语义分割图。
本申请实施例提供的图像分块特征提取方法，
具体地，可以通过Segformer分割模型对样本图像分块进行语义分割，得到初始分割结果。对初始分割结果利用通道注意力机制，对不同通道分配不同权重，基于权重将低层次细节特征与高层次语义特征进行融合，输出最终的样本图像分块的语义分割图。
例如，将样本图像分块输入Segformer分割模型，其中，样本图像分块经过模型中的编码器，得到多尺度特征；然后经过模型中的解码器，基于多层感知机(MultilayerPerceptron，MLP)进行上采样，将输出拼接后得到初始分割结果。在Segformer分割模型中添加一个通道注意力模块，将初始分割结果输入该通道注意力模块，并对不同的通道分配不同的权重，使得分割模型在融合低层次细节信息与高层次语义信息过程中自主学习如何基于权重融合系低层次细节信息与高层次语义信息，然后进行通道压缩，得到最终的样本图像分块的语义分割图。
本申请实施例提供的图像分块特征提取方法，通过在语义分割过程中使用通道注意力机制，有效融合了低层次细节信息与高层次语义信息，使得输出更为准确的图像分块的语义分割结果，从而提高图像分块特征提取的准确性。
在一些实施例中，所述语义分割模型的损失函数表达式如下：
其中，x、y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
具体地，由于组织边界的分割存在不准确的问题，所以需要为分割模型设计一种边界感知的损失函数。例如，在交叉熵损失的基础上设计边界感知损失函数。
例如，根据真实标签(ground truth)，若边界附近的像素分类错误，则计算该像素与边界的距离。距离越近，表示损失惩罚越大。
本申请实施例提供的图像分块特征提取方法，通过设计边界感知的损失函数对边界附近错误分割的像素点进行损失惩罚，实现边界感知，有效改善了边界分割不准确问题，获取了更为准确的语义分割图，从而提高了图像分块特征提取的准确性。
在一些实施例中，基于拼接图像分块利用图注意力网络确定所述样本图像分块的拓扑特征，包括：
将所述拼接图像分块输入残差神经网络进行压缩得到节点特征；
通过注意力机制确定节点间连接关系的权重；
基于所述节点特征和所述节点间连接关系的权重确定所述样本图像分块的拓扑特征。
具体地，将拼接图像分块输入残差神经网络(ResNet)中进行压缩，生成节点特征，然后基于注意力机制确定样本图像分块/节点之间的连接关系的权重，基于该节点特征和确定的权重确定样本图像分块的拓扑特征。
例如，通过ResNet将拼接图像分块压缩为128维向量，并将其作为节点特征；使用注意力机制为节点之间的连接关系进行权重的自动分配，生成边特征，基于节点特征和边权重学习节点之间的拓扑关系，提取全局的拓扑特征。
本申请实施例提供的图像分块特征提取方法，通过残差神经网络压缩拼接图像分块得到节点特征，利用注意力机制确定边权重，基于节点特征和边权重确定全局拓扑特征，使得同时考虑了样本图像分块的局部特征与全局特征并基于此训练图注意力网络模型，使得图像分块特征提取的准确性更高。
在一些实施例中，基于所述拓扑特征训练图注意力网络模型，包括：
基于所述样本图像分块的拓扑特征确定样本图像分块的特征向量；
基于所述样本图像分块的特征向量训练图注意力网络模型。
具体地，在获取样本图像分块的拓扑特征后，基于该拓扑特征确定节点的特征向量，使用获取的样本图像分块的特征向量训练构建的图注意力网络模型。
例如，基于样本图像分块/节点的拓扑特征确定节点特征，基于该节点特征得到节点的特征向量，根据得到的节点的特征向量对构建的图注意力网络模型进行训练，然后将待处理图像分块输入训练后的图注意力网络模型，输出该待处理图像分块的特征向量。
本申请实施例提供的图像分块特征提取方法，基于图像分块的拓扑特征来进行训练构建的图注意力网络模型，考虑了图像分块的全局特征，使得图像分块特征提取结果更加准确。
在一些实施例中，基于所述图像分块的拓扑特征确定样本图像分块的特征向量，包括：
为每一节点分配邻接节点的权重；所述邻接节点指与节点相邻的节点；
基于所述拓扑特征和所述邻接节点的权重更新样本图像分块的特征向量。
具体地，在确定样本图像分块的拓扑特征之后，进行特征结合或融合，从而更新节点特征。每一节点还获取其邻接节点的权重，基于拓扑特征和邻接节点的权重更新节点特征，从而获得更新后的节点的特征向量。
例如，节点获取其邻接节点的权重，根据该权重结合拓扑特征以及自身的节点特征生成新的特征，作为新的节点特征。
再例如，设置或计算一个多头注意力系数来将邻接节点的权重信息、拓扑特征以及自身的节点特征进行融合计算，生成新的节点特征，实现节点特征向量的更新。
本申请实施例提供的图像分块特征提取方法，基于邻接节点的权重、样本图像分块的拓扑特征结合节点特征来进行节点特征向量的更新，构建了更为准确、信息量更为丰富的图注意力网络模型，使得基于该图注意力网络模型进行图像分块特征提取的准确性得到了提高。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于全切片图像的缩略图利用最大类间方差法OTSU获取所述缩略图的掩膜；
基于压缩后的全切片图像确定所述全切片图像的初始图像分块；
基于所述缩略图的掩膜对所述初始图像分块进行数据增强，得到所述样本图像分块。
具体地，需要对样本图像分块进行一些预处理才能得到最终所需的样本图像分块。
所述全切片病理图像可以通过读取医学处理库openslide获得，该全切片病理图像以多分辨率金字塔结构存储，全切片病理图像的缩略图即金字塔结构中的图像。例如，读取第7层图像，获得全切片病理图像的缩略图。
具体地，通过大类间方差法(OTSU)对缩略图进行背景过滤，获得缩略图的掩膜(mask)。
例如，通过OTSU算法遍历缩略图的灰度值，选择类间方差最大时对应的灰度值作为分割阈值，对缩略图进行前后景分割，得到缩略图的掩膜。
具体地，将全切片病理图像压缩至与掩膜大小一致的尺寸，然后基于该压缩后的全切片病理图像进行切割得到全切片病理图像的初始图像分块。
例如，通过openslide读取第7层图像获得全切片病理图像的缩略图，读取第0层图像获得全切片病理图像的原图，将该图像压缩至原来的六十四分之一，然后将压缩后的图切割成互不重叠、大小为512×512的图像分块。
可选地，在对压缩后的全切片病理图像进行切割后得到多个图像分块，还需要去除不包含前景的图像分块，剩下的图像分块即全切片病理图像的初始图像分块。
具体地，在得到缩略图的掩膜以及初始图像分块之后，基于缩略图的掩膜和初始图像分块进行数据增强，将得到的图像分块作为样本图像分块。所述数据增强的方法包括反转、旋转、裁剪、缩放、平移转换、随机亮度增强或减弱等。
例如，对缩略图的掩膜和初始图像分块同时进行反转、旋转、裁剪、缩放、平移转换、随机亮度增强或减弱等实现数据增强，进一步扩充数据，获得最终所需的用于训练图注意力网络模型的样本图像分块。
本申请实施例提供的图像分块特征提取方法，通过对图像分块进行过滤、数据增强等预处理，得到最终的样本图像分块，强化了图像分块的重要图像特征，减少了无关信息对图注意力网络模型训练的影响，提高了图像分块特征提取的准确性。
下面通过具体示例对上述各实施例提供的图像分块特征提取方法进一步说明：
步骤1：使用医学处理库openslide读取患者切除的肝组织全扫切片病理图像。
具体地，由于全切片病理图片尺寸过大，并且以多分辨率金字塔结构存储。所以通过使用openslide读取全切片病理图片时读取第7层图像，获得全切片病理图片的缩略图。
步骤2：通过OTSU法过滤缩略图的空白背景。
具体地，通过OTSU算法，遍历整副图像灰度值，选择类间方差最大时对应的灰度值作为阈值，对缩略图进行前后景分割，得到缩略图的掩膜(mask)。
步骤3：将全切片病理图片缩放到原图的六十四分之一，并进行切块处理，将缩放后的全切片病理图片切割成不重叠的、大小为512×512的图像分块(tile)。
具体地，使用openslide读取第0层图像，即全切片病理图片的原图，并将该图压缩到原图的六十四分之一。使用get_tile函数将其切成不重叠的、大小为512×512的tile，并去除不包含前景的tile，得到全切片病理图像的初始图像分块。
步骤4：对初始图像分块进行数据增强。
具体地，通过对初始图像分块与缩略图的掩膜同时进行反转、旋转、裁剪、缩放、平移转换、随机亮度增强或减弱等数据增强方法，进一步扩充数据，得到最终所需的用于训练模型的样本图像分块。
步骤5：图2是本申请实施例提供的一种图像分块特征提取方法的示例场景的语义分割模型结构图，如图2所示，将数据增强后得到的样本图像分块输入进改进的Segformer分割模型进行语义分割，得到tile级的分割结果，具体包括以下几个步骤：
步骤5.1：选择轻量级混合变压器编码器MiT-B0，该编码器参数量少，性能较高。将步骤4得到的tile输入Segformer的编码器，得到多尺度特征。
Segformer编码首先经过一个重叠补丁嵌入(Overlap Patch Embedding)模块，后经过4个转换器(Transformer)模块进行下采样，得到不同尺度的特征图。其中，每个Tranformer模块包含高效自注意力模块、混合前向(Mix-FFN)模块、Overlap PatchEmbedding模块。各阶段的下采样得到的特征图尺寸大小为
其中，H表示特征图的长度，W表示特征图的宽度，Ci+1表示特征图通道。
步骤5.2：在解码器部分，在MLP上采样模块进行修改。如图2所示，每个阶段的上采样输入特征包含来自编码器的同尺度的下采样特征以及较小尺度的下采样特征图，将较小尺寸特征进行上采样后与同尺寸特征进行拼接，再一同经过MLP模块上采样至原图尺寸。
将各个阶段得到的与原图尺寸大小相同的特征图进行拼接(contact)后，输入进一个通道注意力模块，对不同的通道赋予不同的权重，使得模型在融合低层次细节信息与高层次语义信息过程中自主学习如何融合低层次细节信息与高层次语义信息，然后进行通道压缩。
步骤5.3：针对组织边界分割不准确的问题，在交叉熵损失的基础上，设计一种边界感知损失函数。根据真实标签(ground truth)判断，若对边界附近的像素分类错误，则计算其与边界的距离。距离越近，则损失惩罚越大。因此，损失函数公式设计如下：
其中，x、y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
步骤6：将每个样本图像分块的语义分割图与该样本图像分块的原图进行拼接，并通过残差神经网络(Residual Neural Network，ResNet)生成节点特征，使用图注意力网络为每个节点自动分配邻居节点的权重，通过提取样本图像分块间的拓扑结构特征进行图注意力网络模型的训练。具体包括以下几个步骤：
步骤6.1：图注意力网络模型构建：将样本图像分块的语义分割图与原图拼接，得到拼接图像分块，然后通过ResNet网络将其压缩为128维向量，作为节点特征。将与该样本图像分块相邻的8个样本图像分块作为邻接节点。
节点特征集合表示为N表示节点的数量，F表示每个节点的特征数量，/>表示第i个节点(简称节点i)的节点特征，i的取值范围为1至N。
更新后的节点特征集合表示为F′表示每个节点的特征数量，F′的取值可能与F不同，/>表示节点i的更新后的节点特征，i的取值范围为1至N。
步骤6.2：边权重矩阵构建：对于不同的节点的连接的权重生成，图卷积网络使用注意力机制对节点之间的权重进行自动分配，学习节点之间的拓扑关系，获取全局特征。
计算节点i与其邻接节点j之间的相似系数用于表示节点j的特征对节点i的重要性。共享参数W的线性映射对节点特征进行了增维，函数a用于把拼接后的高维特征映射到一个实数上。
使用归一化指数函数(softmax函数)对所有节点j的选择进行标准化，标准化的结果表示为：
其中，eij为节点i与其邻接节点j之间的相似系数；Ni表示节点；LeakyReLu为激活函数；exp为指数函数。
步骤6.3：节点更新：对于特征结合部分，节点获取每个邻接节点的权重，并根据邻接节点的权重、节点的拓扑特征以及自身节点特征计算高级特征，利用该高级特征对节点特征进行更新。
根据计算好的多头注意力系数σ，对节点特征进行更新，获得最终的样本图像分块的特征向量。其中，节点更新后特征表示为其中，K表示头(head)的数量。
步骤6.4：模型训练：基于得到的样本图像分块的特征向量对图注意力网络模型进行训练。
步骤7：特征提取：将待处理图像分块输入训练好的图注意力网络模型中，输出该待处理图像分块对应的特征向量。
本申请实施例提供的图像分块特征提取方法，通过将样本图像分块的原图与该样本图像分块的语义分割图进行拼接，对拼接后的图像分块进行构图，使用图注意力网络确定样本图像分块的拓扑特征，基于该拓扑特征训练图注意力网络模型，实现了对样本图像分块中的局部特征以及样本图像分块间的全局特征的有效学习，通过该模型获取待处理图像分块的特征信息，提高了图像分块特征信息提取的准确性。
图3是本申请实施例提供的一种图像分块特征提取装置的结构示意图，如图3所示，本申请实施例提供一种图像分块特征提取装置，包括特征提取模块301。
所述特征提取模块301用于输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
在一些实施例中，还包括：
语义分割模块，用于基于语义分割模型对所述样本图像分块进行语义分割得到初始分割结果；
第一确定模块，用于基于所述初始分割结果利用通道注意力机制确定所述样本图像分块的语义分割图。
在一些实施例中，所述语义分割模型的损失函数表达式如下：
其中，x、y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
在一些实施例中，还包括：
压缩模块，用于将所述拼接图像分块输入残差神经网络进行压缩得到节点特征；
第二确定模块，用于通过注意力机制确定节点间连接关系的权重；
第三确定模块，用于基于所述节点特征和所述节点间连接关系的权重确定所述样本图像分块的拓扑特征。
在一些实施例中，所述图注意力网络模型还基于以下子模块训练获得：
第一确定子模块，用于基于所述样本图像分块的拓扑特征确定样本图像分块的特征向量；
训练子模块，用于基于所述样本图像分块的特征向量训练图注意力网络模型。
在一些实施例中，所述第一确定子模块包括：
分配单元，用于为每一节点分配邻接节点的权重；所述邻接节点指与节点相邻的节点；
更新单元，用于基于所述拓扑特征和所述邻接节点的权重更新样本图像分块的特征向量。
在一些实施例中，所述图注意力网络模型还基于以下子模块训练获得：
获取子模块，用于基于全切片图像的缩略图利用最大类间方差法OTSU获取所述缩略图的掩膜；
第二确定子模块，用于基于压缩后的全切片图像确定所述全切片图像的初始图像分块；
数据增强子模块，用于基于所述缩略图的掩膜对所述初始图像分块进行数据增强，得到所述样本图像分块。
具体地，本申请实施例提供的上述图像分块特征提取装置，能够实现上述图像分块特征提取方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是，本申请上述各实施例中对单元/模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
图4是本申请实施例提供的一种电子设备的结构示意图，如图4所示，所述电子设备包括存储器420，收发机400，处理器410，其中：
存储器420，用于存储计算机程序；收发机400，用于在所述处理器410的控制下收发数据；处理器410，用于读取所述存储器420中的计算机程序并执行上述的图像分块特征提取方法，该方法包括：
输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于语义分割模型对所述样本图像分块进行语义分割得到初始分割结果；
基于所述初始分割结果利用通道注意力机制确定所述样本图像分块的语义分割图。
在一些实施例中，所述语义分割模型的损失函数表达式如下：
其中，x,y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
在一些实施例中，基于拼接图像分块利用图注意力网络确定所述样本图像分块的拓扑特征，包括：
将所述拼接图像分块输入残差神经网络进行压缩得到节点特征；
通过注意力机制确定节点间连接关系的权重；
基于所述节点特征和所述节点间连接关系的权重确定所述样本图像分块的拓扑特征。
在一些实施例中，基于所述拓扑特征训练图注意力网络模型，包括：
基于所述样本图像分块的拓扑特征确定样本图像分块的特征向量；
基于所述样本图像分块的特征向量训练图注意力网络模型。
在一些实施例中，基于所述图像分块的拓扑特征确定样本图像分块的特征向量，包括：
为每一节点分配邻接节点的权重；所述邻接节点指与节点相邻的节点；
基于所述拓扑特征和所述邻接节点的权重更新样本图像分块的特征向量。
在一些实施例中，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于全切片图像的缩略图利用最大类间方差法OTSU获取所述缩略图的掩膜；
基于压缩后的全切片图像确定所述全切片图像的初始图像分块；
基于所述缩略图的掩膜对所述初始图像分块进行数据增强，得到所述样本图像分块。
具体地，收发机400，用于在处理器410的控制下接收和发送数据。
其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器410代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机400可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器410负责管理总线架构和通常的处理，存储器420可以存储处理器410在执行操作时所使用的数据。
处理器410可以是中央处理器(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在一些实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述各方法实施例提供的图像分块特征提取方法。
具体地，本申请实施例提供的上述计算机可读存储介质，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是：所述计算机可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
另外需要说明的是：本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像分块特征提取方法，其特征在于，包括：
输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
2.根据权利要求1所述的图像分块特征提取方法，其特征在于，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于语义分割模型对所述样本图像分块进行语义分割得到初始分割结果；
基于所述初始分割结果利用通道注意力机制确定所述样本图像分块的语义分割图。
3.根据权利要求2所述的图像分块特征提取方法，其特征在于，所述语义分割模型的损失函数表达式如下：
其中，x、y表示像素点的坐标；c表示像素点的类别；Yi表示像素点的真实值；表示像素点的预测值；|Dx,y|表示像素点距离边界的距离；ρ表示定值，用于防止分母为0；L表示损失函数值。
4.根据权利要求1所述的图像分块特征提取方法，其特征在于，基于拼接图像分块利用图注意力网络确定所述样本图像分块的拓扑特征，包括：
将所述拼接图像分块输入残差神经网络进行压缩得到节点特征；
通过注意力机制确定节点间连接关系的权重；
基于所述节点特征和所述节点间连接关系的权重确定所述样本图像分块的拓扑特征。
5.根据权利要求1所述的图像分块特征提取方法，其特征在于，基于所述拓扑特征训练图注意力网络模型，包括：
基于所述样本图像分块的拓扑特征确定样本图像分块的特征向量；
基于所述样本图像分块的特征向量训练图注意力网络模型。
6.根据权利要求5所述的图像分块特征提取方法，其特征在于，基于所述图像分块的拓扑特征确定样本图像分块的特征向量，包括：
为每一节点分配邻接节点的权重；所述邻接节点指与节点相邻的节点；
基于所述拓扑特征和所述邻接节点的权重更新样本图像分块的特征向量。
7.根据权利要求1所述的图像分块特征提取方法，其特征在于，将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块之前，还包括：
基于全切片图像的缩略图利用最大类间方差法OTSU获取所述缩略图的掩膜；
基于压缩后的全切片图像确定所述全切片图像的初始图像分块；
基于所述缩略图的掩膜对所述初始图像分块进行数据增强，得到所述样本图像分块。
8.一种图像分块特征提取装置，其特征在于，包括：
特征提取模块，用于输入待处理图像分块至图注意力网络模型，获得所述待处理图像分块的特征向量；
其中，所述图注意力网络模型基于以下步骤训练获得：
将样本图像分块的语义分割图与所述样本图像分块的原图进行拼接得到拼接图像分块；
基于拼接图像分块利用图注意力机制确定所述样本图像分块的拓扑特征；
基于所述拓扑特征训练图注意力网络模型。
9.一种电子设备，其特征在于，包括存储器，收发机，处理器；
所述存储器用于存储计算机程序；所述收发机用于在所述处理器的控制下收发数据；所述处理器用于读取所述存储器中的计算机程序并执行如权利要求1至7任一项所述的图像分块特征提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行权利要求1至7中的任一项所述的图像分块特征提取方法。
CN202310260982.7A 2023-03-13 2023-03-13 图像分块特征提取方法、装置及存储介质 Pending CN116486071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310260982.7A CN116486071A (zh) 2023-03-13 2023-03-13 图像分块特征提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310260982.7A CN116486071A (zh) 2023-03-13 2023-03-13 图像分块特征提取方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116486071A true CN116486071A (zh) 2023-07-25

Family

ID=87224111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310260982.7A Pending CN116486071A (zh) 2023-03-13 2023-03-13 图像分块特征提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116486071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495853A (zh) * 2023-12-28 2024-02-02 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495853A (zh) * 2023-12-28 2024-02-02 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质
CN117495853B (zh) * 2023-12-28 2024-05-03 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110490202B (zh) 检测模型训练方法、装置、计算机设备和存储介质
CA3041140C (en) Systems and methods for segmenting an image
CN109872306B (zh) 医学图像分割方法、装置和存储介质
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
US20180336683A1 (en) Multi-Label Semantic Boundary Detection System
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN110796154B (zh) 一种训练物体检测模型的方法、装置以及设备
CN114067107B (zh) 基于多粒度注意力的多尺度细粒度图像识别方法及系统
CN111860138B (zh) 基于全融合网络的三维点云语义分割方法及系统
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
US20220261659A1 (en) Method and Apparatus for Determining Neural Network
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN113095346A (zh) 数据标注的方法以及数据标注的装置
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
CN114419381A (zh) 一种语义分割方法及应用其的道路积水检测方法和装置
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN115605878A (zh) 使用基于自注意力的神经网络处理图像
CN115187819B (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
Priya Resnet based feature extraction with decision tree classifier for classificaton of mammogram images
CN116486071A (zh) 图像分块特征提取方法、装置及存储介质
CN113744280B (zh) 图像处理方法、装置、设备及介质
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
US20240233325A9 (en) Method for classifying images and electronic device
CN115641317B (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination