CN115757844A

CN115757844A - 一种医学图像检索网络训练方法、应用方法及电子设备

Info

Publication number: CN115757844A
Application number: CN202211512870.8A
Authority: CN
Inventors: 陈亚雄; 杨锴; 汤一博; 路雄博; 熊盛武
Original assignee: Chongqing Research Institute Of Wuhan University Of Technology
Current assignee: Chongqing Research Institute Of Wuhan University Of Technology
Priority date: 2022-11-28
Filing date: 2022-11-28
Publication date: 2023-03-07

Abstract

本发明提供了一种医学图像检索网络训练方法、应用方法及电子设备，包括：获取医学三元组实例及医学三元组实例标签；构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及标签作为医学图像检索网络的输入，基于多尺度模块得到多尺度特征图，基于卷积自注意力模块得到注意力监督约束图，基于哈希标签模块得到对应哈希码及预测标签；设置总体损失函数参数，训练医学图像检索网络至损失不再降低，得到训练完备的医学图像检索网络。本发明基于多尺度模块和卷积自注意力模块捕获医学图像的多尺度信息及增强通道域的信息交互作用，对医学图像检索网络优化改进，提升医学图像检索的精度。

Description

一种医学图像检索网络训练方法、应用方法及电子设备

技术领域

本发明涉及图像检索领域，具体涉及一种医学图像检索网络训练方法、应用方法、电子设备及存储介质。

背景技术

随着射线成像技术的快速发展，医疗数据逐渐电子化，医学图像的数量急剧增加。为了更好地辅助医疗诊断和评估，在大规模医学图像中挖掘有用信息非常关键。因此，医学图像检索引起了广泛注意。

医学图像检索的目标是在大型医学图像数据库中检索类似的医学图像，可以呈现被查询的医学图像的上下文，这样助于帮助诊断。由于针对大规模的医学图像数据集，医学图像检索算法需要具有良好的可伸缩性和准确性。深度哈希技术通过利用深度神经网络将高维特征投射到低纬二进制码中，加速检索过程，提高检索效率，因此，深度哈希码学习在医学图像检索中得到了广泛的应用。

现有的深度哈希医学图像检索方法虽然取得了良好的性能，但仍然存在：1、未充分考虑医学图像的多尺度信息，导致大量信息丢失；2、忽略通道域的信息交互来捕获可辨别区域，影响哈希码的质量。

发明内容

有鉴于此，有必要提出一种医学图像检索网络训练方法、应用方法、电子设备及存储介质，用于解决现有技术中未考虑医学图像的多尺度信息，导致大量信息丢失以及忽略通道域的信息交互而影响哈希码的质量进而导致医学图像检索效率不高的技术问题。

为了解决上述问题，本发明提供一种医学图像检索网络训练方法，包括：

获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签；

构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为所述医学图像检索网络的输入，基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，基于所述卷积自注意力模块对所述多尺度特征图进行注意力监督约束处理得到注意力监督约束图，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签；

设置所述医学图像检索网络的总体损失函数的参数，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。

进一步的，所述基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图像，包括：

将输入的医学三元组实例及医学三元组标签进行特征提取得到三元组特征图，并通过三个并行卷积层和三个并行第一稠密块和最大池化层进行所述三元组特征图的卷积操作，得到有相同高和宽的三个输出特征图，然后沿通道方向将三个特征图进行拼接，得到所述多尺度特征图。

进一步的，基于所述卷积自注意力模块对所述多尺度特征图像进行注意力监督约束处理得到注意力监督约束图，包括：

输入所述多尺度特征图，通过三个平行的卷积层并基于注意力机制以多种并行方式学习注意力权重，得到注意图，将输入的所述多尺度特征图与所述注意图进行相加拼接，得到所述注意力监督约束图，作为卷积自注意模块的输出。

进一步的，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签，包括：

将所述注意力监督约束图作为输入，通过第二稠密块后输入至全连接层，全连接层分别与哈希层和分类层相连接；

基于所述哈希层将所述注意力监督约束图转化成哈希码；

基于所述分类层对所述注意力监督约束图进行预测，得到对应的预测标签。

进一步的，总体损失函数由层次相似性函数、语义学习函数和类别级保持函数组成。

进一步的，设置所述医学图像检索网络的总体损失函数的参数，包括：

基于所述层次相似性函数将二进制码转化为类哈希码且利用二范式代替汉明距离，并根据所述类哈希码以及所述汉明距离分别确定哈希码相似性和深度特征的相似性，作为相似度参数；

基于语义学习函数获取增强类哈希码潜在相关性的语义信息，作为语义信息参数。

基于类别级保持函数获取已学习的特征以投影辨别哈希码的类别级信息，作为类别级信息参数。

进一步的，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络，包括：

以所述相似度参数、语义信息参数以及类别级信息参数作为损失函数的损失参数，基于所述哈希码和预测标签进行训练时，调整所述总体损失函数的损失参数和三元组损失的边缘阈值，利用Adam函数优化损失，进行设定轮次的训练或直到损失不再降低，得到训练完备的医学图像检索网络。

本发明还提供一种医学图像检索网络应用方法，包括：

获取待检索医学图像；

将所述待检索医学图像输入到训练完备的医学图像检索网络，检索相似医学图像，其中，所述训练完备的医学图像检索网络根据上述任一项所述的医学图像检索网络训练方法确定；

医学图像检索网络输出得到相似医学图像。

本发明还提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项所述的医学图像检索网络训练方法，和/或上述的医学图像检索网络应用方法。

本发明还提供一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的医学图像检索网络训练方法，和/或上述的医学图像检索网络应用方法。

与现有技术相比，采用上述实施例的有益效果是：在本发明提供的医学图像检索网络训练中，首先，从训练样本集中获取锚点医学实例、正例医学实例以及负例医学实例组成医学三元组标签，获取锚点医学实例标签、正例医学实例标签以及负例医学实例标签组成医学三元组实例标签；然后构建由多尺度模块，卷积自注意力模块和哈希标签模块组成的医学图像检索网络，将三元组实例及三元组标签作为医学图像检索网络的输入；其中，基于多尺度模块进行多尺度特征提取得到多尺度特征图，基于卷积自注意力模块进行注意力监督约束得到注意力监督约束图，可以捕获医学图像的多尺度信息和增强通道域的信息交互作用；最后，设置总体损失函数的参数，基于哈希码和预测标签训练医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。在本发明提供的应用方法中，首先，获取待测医学图像，然后利用上述训练完备的医学图像检索网络对相似医学图像进行检索，即可输出得到相似医学图像。综上，本发明通过引入多尺度模块和卷积自注意力模块，对医学图像检索网络优化改进，充分提取其医学图像的多尺度信息并增强通道域的信息交互，改善网络性能，提升医学图像检索的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的医学图像检索网络训练方法的一个实施例的流程图；

图2为本发明步骤S102的一个实施例流程图；

图3为本发明提供的医学图像检索网络的一个实施例的整体网络架构图；

图4为本发明提供的医学图像检索网络训练装置的一个实施例的结构示意图；

图5为本发明提供的医学图像检索网络应用装置的一个实施例的结构示意图；

图6为本发明提供的电子设备的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本发明保护的范围。

应当理解，示意图的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例通过了基于多尺度三元组哈希的医学图像检索方法，以下进行说明。

图1为本发明提供的医学图像检索网络训练方法的一个实施例流程示意图，如图1所示，医学图像检索网络训练方法包括：

S101、获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签；

S102、构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为所述医学图像检索网络的输入，基于所述多尺度模型对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，基于所述卷积自注意力模块对所述多尺度特征图进行注意力监督约束处理得到注意力监督约束图。基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码；

S103、设置所述医学图像检索网络的总体损失函数的参数，训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。

在本发明提供的医学图像检索网络训练中，基于多尺度模块进行多尺度特征提取得到多尺度特征图，基于卷积自注意力模块进行注意力监督约束得到注意力监督约束图，可以捕获医学图像的多尺度信息和增强通道域的信息交互作用；与现有技术相比，本发明通过引入多尺度模块和卷积自注意力模块，对医学图像检索网络优化改进，可以充分提取其医学图像的多尺度信息并增强通道域的信息交互，得到更高的医学图像检索精度。

在本发明的一个具体实施例中，步骤S101获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签包括：

使用3个数据集，分别为COVID-19胸部X射线图像的组合精选数据集Curated X-Ray、皮肤癌Skin Cancer MNISTS Dataset数据集和新冠放射COVID-19RadiographyDataset数据集，对于每个数据集，选用70％的数据作为训练集，剩余30％作为测试和检索集，同一个数据集中的医学图像为同类医学图像，不同数据集中的医学图像为不同类医学图像。

对于给定的I个医学三元组单元

和对应的三元组标签

其中

表示第i个锚点医学实例，

表示该锚点医学实例的标签；

表示第i个正例医学实例，

表示该正例医学实例的标签；

表示第i个负例医学实例，

表示该负例医学实例的标签。相比于负例医学实例，锚点医学实例与正例医学实例更相似，目的是学习将医学实例映射到二进制代码的映射关系，并同时保持汉明空间中相似医学实例的相似性，进一步的，即

比

小，其中

表示汉明距离，

和

分别表示

和

的k位二进制码。

在本发明的一个具体实施例中，步骤S102包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为医学图像检索网络的输入，如图3所示，步骤S102包括：

S201、基于多尺度模块对医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图；

S202、基于卷积自注意力模块对多尺度特征图进行注意力监督约束处理得到注意力监督约束图；

S203、基于哈希标签模块将注意力监督约束图生成对应的哈希码。

在本发明的一个具体实施例中，基于多尺度模块对医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图像，包括：

将输入的医学三元组实例及医学三元组标签进行特征提取得到三元组特征图，并通过三个并行卷积层和三个并行第一稠密块和最大池化层进行三元组特征图的卷积操作，得到有相同高和宽的三个输出特征图，然后沿通道方向将三个特征图进行拼接，得到多尺度特征图。

具体的，三个平行的卷积层分别包含16个步幅为1的1×1卷积、16个步幅为1的3×3卷积和步幅为1的5×5卷积，上述三个平行的卷积层的填充分别为0、1和2；每个第一稠密块包含四个瓶颈层，每个瓶颈层的连续操作包括：批量归一化、ReLU(Linearrectification function，线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数)和一个1×1卷积，批量归一化、ReLU和一个3×3卷积；最大池化层对输入的特征图进行压缩，去除冗余信息。对于输入多尺度模块的特征图，其通道数可以为c₀，那么输出的特征图通道数为c₀+c*d-1)，其中c是增长率，d是层数，经过第一稠密块的特征图的高和宽保持不变，但通道数改变。即输入图像通过3个平行的卷积操作进行处理，得到有相同高和宽的3个输出特征图，然后沿通道方向将3个输出特征图沿通道方向进行拼接，得到输出的多尺度特征图。

在本发明的一个具体实施例中，基于卷积自注意力模块对多尺度特征图像进行注意力监督约束处理得到注意力监督约束图，包括：

输入所述多尺度特征图，通过三个平行的卷积层并通过注意力机制以多种并行方式学习注意力权重，得到注意图，将输入的所述多尺度特征图与得到的注意图进行相加拼接，得到所述注意力监督约束图，作为卷积自注意模块的输出。

具体的，多尺度特征图作为卷积自注意力模块的输入，卷积自注意力模块包含三个平行的卷积并利用Q、K和V(Query、Key和Value，查找向量，被查向量，内容向量)以多种并行的方式学习注意力权重。对于每一个头部H^u，输入通过可学习的参数矩阵

转换为Q^u,K^u,V^u，其中，Q^u和K^u是e_k维的向量；卷积自注意力模块可以表示为：

Attention_mul(Q,K,V)＝[H₁,…,H_U]W_a

其中，

W_a表示可学习参数矩阵，θ(·)表示softmax(逻辑回归模型)函数，式中点乘通过

进行放缩。

具体来说，多尺度特征图通过三个平行的1×1卷积得到三个向量Q、K和V；注意图通过注意力模块等式计算得到，然后将原始特征图和得到的注意图进行相加拼接，得到，注意力监督约束图，作为卷积自注意力模块的最终输出。

在本发明的一个具体实施例中，基于哈希标签模块，将注意力监督约束图生成对应的哈希码和预测标签，包括：

将注意力监督约束图，作为哈希标签模块的输入，通过第二稠密块后输入至全连接层，全连接层分别与哈希层和分类层相连接；其中，哈希层将注意力监督约束图转换为哈希码，分类层将对注意力监督约束图进行预测，得到对应的预测标签。

具体的，第二稠密块的激活函数是ReLU函数，全连接层包括1024个结点，分类层包含s个结点，其中s表示的是样本的类别数量，激活函数是softmax函数，哈希层使用近似符号函数的函数(如tanh函数)作为激活函数，训练过程中产生k位类哈希码。

相应的，对第i个医学三元组单元

深度哈希函数可以写为：

其中，

其中，

表示医学实例

的k位哈希码，z＝{a,p,n}，f^z表示深度哈希函数，

表示医学实例

的深度特征，ω^z表示权重，τ表示tanh函数，θ(·)表示符号函数。

需要进一步说明的是，本发明通过多尺度模块和卷积自注意力模块，虽然充分提取了其医学图像的多尺度信息并增强了通道域的信息交互，提升了医学图像检索网络的精度，但在损失函数中，仍存在损失函数仅考虑哈希码的相似性，但深度特征的相似性与哈希码的相似性不兼容的问题。因此本发明还通过利用由层次相似性函数、语义学习函数和类别级保持函数组成总目标损失函数，不仅可以保持深度特征的类别级信息和哈希码的语义信息，还能提升层次相似性深度特征和哈希码之间相似性兼容度，进一步提升医学图像检索网络的精度，以下进行详细说明。

在本发明的具体实施例中，总体损失函数由层次相似性函数、语义学习函数和类别级保持函数组成；其中层次相似性函数将二进制码转化为类哈希码，且利用二范式代替汉明距离，并根据类哈希码以及汉明距离分别确定哈希码相似性和深度特征相似性，作为相似度参数；语义学习函数获取增强类哈希码潜在相关性的语义信息，作为语义信息参数；类别级保持函数获取已学习的特征以投影辨别哈希码的类别级信息，作为类别级信息参数。

具体的，多尺度三元组哈希方法学习映射关系，将医学实例映射至哈希码并的同时还需要保持相似医学图像之间的相似性，为了达到这一目的，相比于负例医学实例

的哈希码

锚点医学实例

的哈希码

与正例医学实例

的哈希码

要更相似。此外，相比于负例医学实例

的深度特征

锚点医学实例

的深度特征

与正例医学实例

的深度特征

要更相似，为了实现这一目标，需要同时捕获哈希码的相似性，层次相似性函数可以写为：

其中，

表示汉明距离，η表示哈希码相似性学习的边缘阈值，δ表示深度特征相似性学习的边缘阈值，max(·表示最大值函数，||·||₂表示二范式。

但是上述的层次相似性函数在训练过程难以优化，所以将二进制码

和

转化为类哈希码

并且利用二范式代替汉明距离。那么层次相似性函数可以写为：

其中，

其中，

表示层次相似性函数，能同时捕捉哈希码相似性和深度特征的相似性。

表示医学实例

的类哈希码，并且z＝{a,p,n}，ω^z表示权重。

语义信息对于增强类哈希码的潜在相关性至关重要，因此，在本发明的具体实施例中，标签信息用来为学习哈希函数提供语义信息。那么语义学习函数可以表示为：

其中，

表示语义学习函数，在哈希码学习过程中保持哈希码的语义信息，ε(·)表示交叉熵函数，

表示投影函数，

表示

的标签，

表示

的标签，

表示

的标签。

类别级信息有助于学习好的特征以投影辨别哈希码，深度特征越有效，哈希码鉴别能力就越强，在本发明的具体实施例中，类别级保持函数可以表示为：

其中，

表示类别级保持函数，能保持深度特征的类别级信息。σ(·)表示softmax函数，θ^a表示

的类别层权重，θ^p表示

的类别层权重，θⁿ表示

的类别层权重。

综合考虑层次相似性函数、语义学习函数和类别级保持函数，总体损失函数可以表示为：

其中，α和β表示控制损失项权重的超参数，

表示目标函数。

在本发明的一个具体实施例中，训练医学检索网络模型直至损失不再降低，得到训练完备的医学图像检索网络，包括：

以相似度参数、语义信息参数以及类别级信息参数作为损失函数的损失参数，当样本输入进行训练时，调整总体损失函数的损失参数和三元组损失的边缘阈值，利用Adam函数优化损失，进行设定轮次的训练或直到损失不再降低，得到训练完备的网络模型。

具体的，训练整体网络模型时，医学三元组图像大小调整为256×256，并在每轮训练中随机采样作为网络的输入，将三元组损失的边缘阈值η和η均设置为0.5，总体损失函数的参数α和β分别设置为0.8和1，该网络利用Adam函数优化损失，学习率为0.001，评估哈希码位数从8、16、32、48到64的性能和最相似图像从5、10、15、20、25到30的性能，训练100个轮次或直到损失不再降低，得到训练好的模型。

下面将结合一个具体的应用场景，更清楚地说明本发明的技术方案，同时评估本发明的有效性，具体流程如下：

一、数据集的准备：

使用3个数据集，分别为COVID-19胸部X射线图像的组合精选数据集Curated X-Ray、皮肤癌Skin Cancer MNISTS Dataset数据集和新冠放射COVID-19RadiographyDataset数据集，对于每个数据集，选用70％的数据作为训练集，用于训练得到完备的医学图像检索网络，剩余30％作为测试和检索集，用于测试评估医学图像检索网络的有效性。

二、应用过程：

根据上述的医学图像检索网络训练方法的具体实施例，使用训练集数据组成的医学三元组图像和医学三元组标签对医学图像检索网络进行训练，直到医学图像检索网络的损失函数不再降低，得到训练好的医学图像检索网络模型。

图3为本发明的医学图像检索网络的一个具体实施例的整体网络架构图，应用场景中使用的医学图像检索网络的结构如图3所示，在医学图像检索网络中包括：

由正例医学实例(positive)、锚点医学实例(anchor)和负例医学实例(negative)组成的医学三元组实例图像(triplet images)通过多尺度模块(Multi-ScaleDenseBlock)后连接卷积自注意力模块(Convolutional Self-attention)，卷积自注意力模块将多尺度特征图(feature map)与注意图(attention map)相加拼接得到注意力监督约束图，传入哈希标签模块，哈希标签模块包括：第二稠密块(DenseBlock)、全连接层(fully connected layer)、哈希层(hash layer)和分类层(predict layer)，哈希层与分类层均与全连接层相连，分别得到输出的哈希码和预测标签，通过整体损失函数优化医学图像检索网络。

使用训练好的医学图像检索神经网络计算测试数据集中样本图像的平均命中率(mHR)、平均平均精度(mAP)和平均倒数排名(mRR)，以此三个指标评价检索性能。其中，命中率(HR)用于测量返回列表中有多少图像与查询图像相似；在返回列表中，平均精度(AP)将与查询图像相似的图像的排名位置做平均计算，从而测量排名质量；倒数排名(RR)指在返回列表中第一个相似图像排序的倒数位置。

三、结果分析：

为了评估本发明方法的有效性，将本发明与ASH、ATH、DHN、DPSH、DSH、DTSH和IDHN等先进的方法进行检索性能的比较。

表1

表1是本发明与其他方法在Curated X-Ray数据集、Skin Cancer MNIST数据集和COVID-19Radiography数据集上，通过相似图像为10的试验指标mHR@10(相似图像为10的平均命中率)、mAP@10(相似图像为10的平均平均精度)和mRR@10(相似图像为10的平均倒数排名)比较试验结果。通过对比结果可以看出本发明的具体实施例的前10个检索结果的平均精度指标最高。

本发明实施例还提供了一种医学图像检索网络训练装置，图4为本发明通过的医学图像检索网络训练装置一实施例的结构示意图，医学图像检索网络训练装置400包括：

第一获取单元401，用于获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签；

第一处理单元402，用于构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为所述医学图像检索网络的输入，基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，基于所述卷积自注意力模块对所述多尺度特征图进行注意力监督约束处理得到注意力监督约束图，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码；

训练单元403，用于设置所述医学图像检索网络的总体损失函数的参数，训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。

本发明实施例还提供了一种医学图像检索网络应用装置，图5为本发明提供的医学图像检索网络应用装置一实施例的结构示意图，医学图像检索网络应用装置500包括：

第二获取单元501、用于获取待检索医学图像；

第二处理单元502、将所述待检索医学图像输入到训练完备的医学图像检索网络，检索相似医学图像，其中，所述训练完备的医学图像检索网络根据如上所述的医学图像检索网络训练方法确定；

图像检索单元503、医学图像检索网络输出得到相似医学图像。

本发明还提供了一种电子设备，如图6所示，图6为本发明提供的电子设备一实施例的结构示意图，电子设备600包括处理器601、存储器602级存储在存储器602并可在处理器601上运行的计算机程序，处理器601执行程序时，实现如上所述的医学图像检索网络训练方法，和/或如上所述的医学图像检索网络应用方法。

作为优选的实施例，上述电子设备600还包括显示器603，用于显示处理器601执行如上所述的医学图像检索网络训练方法，和/或如上所述的医学图像检索网络应用方法。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在电子设备600中的执行过程。例如，计算机程序可以被分割成上述实施例中的第一获取单元401、第一处理单元402、训练单元403、第二获取单元501、第二处理单元502以及图像检索单元503，各单元的具体功能如上所述，在此不一一赘述。

电子设备600可以是带摄像头模组的桌上型计算机、笔记本、掌上电脑或智能手机等设备。

其中，处理器601可能是一种集成电路芯片，具有信号的处理能力。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器也可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器602可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，安全数字(Secure Digital，SD卡)，闪存卡(Flash Card)等。其中，存储器602用于存储程序，所述处理器601在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器601中，或者由处理器601实现。

其中，显示器603可以是LED显示屏，液晶显示器或触控式显示器等。显示器603用于显示在电子设备600的各种信息。

可以理解的是，图6所示的结构仅为电子设备600的一种结构示意图，电子设备600还可以包括比图6所示更多或更少的组件。图6中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的医学图像检索网络训练方法，和/或如上所述的医学图像检索网络应用方法。

一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种医学图像检索网络训练方法，其特征在于，包括：

2.根据权利要求1所述的医学图像检索网络训练方法，其特征在于，所述基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，包括：

将输入的医学三元组实例及医学三元组标签进行特征提取得到三元组特征图，并通过三个并行卷积层和三个并行的第一稠密块和最大池化层进行所述三元组特征图的卷积操作，得到有相同高和宽的三个输出特征图，然后沿通道方向将三个特征图进行拼接，得到所述多尺度特征图。

3.根据权利要求2所述的医学图像检索网络训练方法，其特征在于，基于所述卷积自注意力模块对所述多尺度特征图像进行注意力监督约束处理得到注意力监督约束图，包括：

4.根据权利要求3所述的医学图像检索网络训练方法，其特征在于，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签，包括：

基于所述哈希层将所述注意力监督约束图转化成哈希码；

5.根据权利要求1所述的医学图像检索网络训练方法，其特征在于，总体损失函数由层次相似性函数、语义学习函数和类别级保持函数组成。

6.根据权利要求5所述的医学图像检索网络训练方法，其特征在于，设置所述医学图像检索网络的总体损失函数的参数，包括：

基于语义学习函数获取增强类哈希码潜在相关性的语义信息，作为语义信息参数；

7.根据权利要求6所述的医学图像检索网络训练方法，其特征在于，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络，包括：

8.一种医学图像检索网络应用方法，其特征在于，包括：

获取待检索医学图像；

将所述待检索医学图像输入到训练完备的医学图像检索网络，检索相似医学图像，其中，所述训练完备的医学图像检索网络根据权利要求1至7任一项所述的医学图像检索网络训练方法确定；

医学图像检索网络输出得到相似医学图像。

9.一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的医学图像检索网络训练方法，和/或根据权利要求8所述的医学图像检索网络应用方法。

10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1至7任一项所述的医学图像检索网络训练方法，和/或根据权利要求8所述的医学图像检索网络应用方法。