CN113362329A - 病灶检测模型的训练方法及识别图像中的病灶的方法 - Google Patents

Abstract

本发明实施例公开了病灶检测模型的训练方法及识别图像中的病灶的方法，病灶检测模型的训练方法包括，将获取到的训练集中第一预设数量的样本输入至初始病灶检测模型的特征提取层，以得到对应的第二特征图，将每个第二特征图输入至病灶检测层，以使预测每个超声图像样本的病灶所在位置和病灶类别，并根据预设损失函数计算损失值，更新初始病灶检测模型，当满足预设训练终止条件时，终止训练以得到病灶检测模型。由此，在提取超声图像样本的图像特征时，基于每个元素与其他元素的高斯距离，以强化近距离特征的贡献度，和弱化远距离特征的贡献度，提高了特征提取的有效性，使得模型的预测结果更为准确。

Description

病灶检测模型的训练方法及识别图像中的病灶的方法

技术领域

本发明涉及目标检测领域，尤其涉及一种病灶检测模型的训练方法及识别图像中的病灶的方法。

背景技术

由于超声图像的图像质量较低，对医生的扫描手法和阅片经验有较高要求，同时，在利用神经网络模型识别超声图像时，超声图像的图像质量限制了神经网络模型的检测精度。

发明内容

有鉴于此，本发明提供一种病灶检测模型的训练方法及识别图像中的病灶的方法，以改善超声图像的图像质量低，导致神经网络模型的检测效果差的现状。

第一方面，本发明实施例提供一种病灶检测模型的训练方法，包括：

获取训练集，其中，训练集中包括预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别；

从训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，得到每个超声图像样本对应的第二特征图，其中，初始病灶检测模型包括特征提取层和病灶检测层，特征提取层中设置有注意力模块，注意力模块包括第一注意力子模块和第二注意力子模块，第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用第一特征图计算空间注意力权重，基于预设算式计算第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用空间注意力权重和高斯距离权重得到初始特征图的第一输出，第二注意力子模块用于根据初始特征图得到通道注意力权重，及利用通道注意力权重得到初始特征图的第二输出，注意力模块用于根据第一输出和第二输出得到初始特征图的第二特征图；

将第一预设数量的超声图像样本对应的第二特征图输入至初始病灶检测模型的病灶检测层，得到每个超声图像样本对应的病灶位置预测信息和病灶预测类别；

根据每个超声图像对应的病灶位置信息和病灶类别，及病灶位置预测信息和病灶预测类别，基于预设损失函数，计算第一预设数量的超声图像样本对应的损失值，以最小化损失值为目标，迭代训练初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

第二方面，本发明实施例提供一种识别图像中的病灶的方法，包括：

获取待检测超声图像；

将待检测超声图像输入至病灶检测模型的特征提取层，得到待检测超声图像对应的第二特征图，其中病灶检测模型通过如第一方面中任一项的病灶检测模型的训练方法得到；

将待检测超声图像对应的第二特征图输入至病灶检测模型的病灶检测层，确定待检测超声图像中病灶所在位置和病灶类别。

第三方面，本发明实施例提供的一种病灶检测模型的训练装置，包括：

训练集获取模块，用于获取训练集，其中，训练集中包括预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别；

特征提取模块，用于从训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，其中，初始病灶检测模型包括特征提取层和病灶检测层，特征提取层中设置有注意力模块，注意力模块包括第一注意力子模块和第二注意力子模块，第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用第一特征图计算空间注意力权重，基于预设算式计算第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用空间注意力权重和高斯距离权重得到初始特征图的第一输出，第二注意力子模块用于根据初始特征图得到通道注意力权重，及利用通道注意力权重得到初始特征图的第二输出，注意力模块用于根据第一输出和第二输出得到初始特征图的第二特征图；

预测模块，用于将第一预设数量的超声图像样本对应的第二特征图输入至初始病灶检测模型的病灶检测层，得到每个超声图像样本对应的病灶位置预测信息和病灶预测类别；

训练模块，用于根据每个超声图像对应的病灶位置信息和病灶类别，及病灶位置预测信息和病灶预测类别，基于预设损失函数，计算第一预设数量的超声图像样本对应的损失值，以最小化损失值为目标，迭代训练初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

第四方面，本发明实施例提供一种识别图像中的病灶的装置，包括：

图像获取模块，用于获取待检测超声图像；

特征输出模块，用于将待检测超声图像输入至病灶检测模型的特征提取层，得到待检测超声图像对应的第二特征图，其中病灶检测模型通过如第一方面中任一种的病灶检测模型的训练方法得到；

检测模块，用于将待检测超声图像对应的第二特征图输入至病灶检测模型的病灶检测层，确定待检测超声图像中病灶所在位置和病灶类别。

第五方面，本发明实施例提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的病灶检测模型的训练方法，或第二方面中的识别图像中的病灶的方法。

第六方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的病灶检测模型的训练方法，或第二方面中的识别图像中的病灶的方法。

本发明实施例提供的病灶检测模型的训练方法，将获取到的训练集中第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，以得到每个超声图像样本对应的第二特征图，将每个超声图像样本对应的第二特征图输入至初始病灶检测模型的病灶检测层，以使初始病灶检测模型预测超声图像样本中的病灶所在位置和病灶类别，并根据预设损失函数计算损失值，反向更新初始病灶检测模型，直至满足预设训练终止条件时，终止训练以得到训练好的病灶检测模型。

由此，在提取超声图像样本的图像特征时，基于每个元素与其他元素的高斯距离，以强化近距离特征的贡献度，和弱化远距离特征的贡献度，即根据各个像素的高斯距离远近关系，使得初始病灶检测模型在提取特征时，能有效强化近距离特征的影响，弱化远距离特征的影响；并且，还将超声图像中各个通道的关联性，和超声图像的各个像素的空间强度关联性一并用作特征提取，进一步提高了特征图的有效性，使得初始病灶检测模型的预测结果更为准确。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提供的病灶检测模型的训练方法的流程示意图；

图2示出了本发明实施例提供的病灶位置信息的标注过程示意图；

图3示出了本发明实施例提供的第一注意力子模块的结构示意图；

图4示出了本发明实施例提供的第二注意力子模块的结构示意图；

图5示出了本发明实施例提供的注意力模块的结构示意图；

图6示出了本发明实施例提出的一种初始病灶检测模型的网络结构示意图；

图7示出了本发明实施例提供的识别图像中的病灶的方法的流程示意图；

图8示出了本发明实施例提供的病灶检测模型的训练装置的结构示意图；

图9示出了本发明实施例提供的识别图像中的病灶的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

参照图1，图1示出了本发明实施例提供的病灶检测模型的训练方法的流程示意图，本发明实施例提供的病灶检测模型的训练方法包括：

S110，获取训练集，其中，训练集中包括预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别。

可以理解的是，超声成像具备安全性高、成本低、无创伤、成像快以及操作舒适等优点，因而超声成像被广泛应用于疾病的筛选、诊断和评估，也因此，本发明实施例将超声图像作为模型训练样本和识别对象。

进一步的，本发明实施例中的病灶位置信息可以理解为病灶的包裹框，即包裹框的左上角顶点坐标，包裹框的高度和宽度；而病灶类别包括良性病灶和恶性病灶。还能理解的是，病灶位置信息的标注和病灶类别的标注，可以是通过人工标注完成，或是直接获取已有的数据集中的标注信息。还需理解的是，在本发明实施例中，病灶位置信息和病灶类别为每个超声图像的ground truth，即正确标注信息，而包裹框可以理解为正确的候选框。

还需理解的是，每张超声图像样本包含的病灶数量不等，因而超声图像样本对应的病灶位置信息和病灶类别可理解为：一张超声图像样本中，所有病灶的所在位置，即包裹框，和超声图像样本中每个病灶的病灶类别。

可选的，在本发明实施例提供的一种实施方式中，S110包括：

获取第二预设数量的超声图像样本，及每个超声图像样本对应的病灶类别；

在所有超声图像样本中标注出所有病灶所在位置，并根据病灶所在位置得到病灶位置信息；

利用第二预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别构成训练集。

可以理解的是，一张超声图像样本中的病灶可能有多个，因而本发明实施例提供的此种实施方式下，计算机设备将针对超声图像样本中的多个病灶，根据医生在超声图像样本标注出的所有病灶的所在位置，确定病灶位置信息。

具体的，对一张超声图像样本中的其中一个病灶进行标注的过程包括：对获取到的超声图像中的其中一个病灶进行病灶区域勾画；根据已勾画病灶区域的超声图像，获取超声图像对应的掩膜图像；根据掩膜图像确定超声图像的病灶所在位置。示范性的，参照图2，图2示出了本发明实施例提供的病灶位置信息的标注过程示意图，包括第一图像201、第二图像202、第三图像203以及第四图像204，其中，第一图像201表示原始病灶图像，第二图像202表示已勾画病灶区域的图像，第三图像203表示原始病灶图像对应的掩膜图像，第四图像204表示标注有病灶所在位置的掩膜图像，其中，第四图像204中的(x,y)表示包裹框的左上角顶点坐标，W和H表示包裹框的宽度和高度。由此，得到了每个超声样本对应的病灶位置信息和病灶类别后，便能对初始病灶检测模型的预测结果进行损失计算以完成模型训练。

进一步的，在此种实施方式下，利用第二预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别构成训练集，包括：

对所有所述超声图像样本进行数据增强处理，得到第三预设数量的超声图像样本；

利用所述第三预设数量的超声图像样本，及每个所述超声图像样本对应的病灶位置信息和病灶类别构成训练集。

可以理解的是，每个超声图像样本均需医生逐一标注，需耗费大量的人力成本和时间成本，因此，本发明实施例在获取到第二预设数量的超声样本图像后，对训练集进行数据增强，以增多样本数量。由此，减少了标注成本，并避免了因训练样本过少而发生过拟合或者欠拟合的概率。

还能理解的是，数据增强的方式包括但不限于水平翻转、角度旋转、缩放变换、颜色空间变换、亮度调整、对比度调整的变换方式，具体可根据实际情况选择。还需说明的是，变换后的超声图像样本对应的病灶位置信息需同步标定，以保证标注信息的有效性。

S120，从训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，得到每个超声图像样本对应的第二特征图，其中，初始病灶检测模型包括特征提取层和病灶检测层，特征提取层中设置有注意力模块，注意力模块包括第一注意力子模块和第二注意力子模块，第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用第一特征图计算空间注意力权重，基于预设算式计算第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用空间注意力权重和高斯距离权重得到初始特征图的第一输出，第二注意力子模块用于根据初始特征图得到通道注意力权重，及利用通道注意力权重得到初始特征图的第二输出，注意力模块用于根据第一输出和第二输出得到初始特征图的第二特征图。

需说明的是，本发明实施例提出了一种三重注意力机制，由第一注意力子模块和第二注意力子模块组合的注意力模块实现，其中，第一注意力子模块包括强度空间注意力和物理空间注意力，而第二注意力子模块包括通道注意力，其中，强度空间注意力对应空间注意力权重，物理空间注意力对应高斯距离权重，通道注意力对应通道注意力权重。

进一步的，相比于通用的空间注意力和通道注意力，本发明实施例提出的三重注意力机制，在计算空间注意力权重的同时，根据预设算式计算第一特征图中每个元素与其他元素的高斯距离，进而得到高斯距离矩阵，即高斯距离权重。

需理解的是，对于图像中的某块区域，不同位置的像素对于区域中心像素的影响不同，越靠近区域中心像素，即高斯距离越小，像素贡献度越大，进而高斯距离权重越高，反之距离越远则高斯距离权重越小。

因此，本发明实施例根据第一特征图中每个元素与其他元素的高斯距离，以确定第一特征图内各元素间的高斯距离关系，进而得到高斯距离矩阵。可选的，设一张特征图的大小为3×3，即包含9个元素，则根据每个元素与其他元素的高斯距离，计算机设备将输出9个元素对应的9个小高斯距离矩阵，每个小高斯距离矩阵的大小为3×3；将每个元素对应的小高斯距离矩阵均转换为9×1的向量；将9个元素对应的向量拼接为9×9的高斯距离矩阵，即得到高斯距离权重。

由此，在利用第一注意力子模块获取第一输出时，高斯距离权重可以强化近距离特征的贡献度，弱化远距离特征的贡献度，使得初始病灶检测模型在通过空间注意权重关注局部特征的同时，抑制了第一特征图中远距离元素的噪声干扰，从而提高模型的预测准确率。

S130，将第一预设数量的超声图像样本对应的第二特征图输入至初始病灶检测模型的病灶检测层，得到每个超声图像样本对应的病灶位置预测信息和病灶预测类别。

可以理解的是，在得到每个超声图像样本对应的第二特征图后，病灶检测层中的网络将在关注局部特征的同时，抑制第一特征图中远距离元素的噪声干扰，从而提高了病灶检测层的识别准确率。

S140，根据每个超声图像对应的病灶位置信息和病灶类别，及病灶位置预测信息和病灶预测类别，基于预设损失函数，计算第一预设数量的超声图像样本对应的损失值，以最小化损失值为目标，迭代训练初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

可以理解的是，本发明实施例在进行模型训练时，每次训练输入第一预设数量的超声图像样本来进行损失计算和反向更新，并在此次训练完成后，再从训练集中选取第一预设数量的超声图像样本来进行下一次训练，利用训练集中的超声样本图像迭代更新初始病灶模型，直至满足预设条件后，终止训练。

还可以理解的是，预设训练终止条件包括但不限于召回率满足预设值、损失函数收敛、迭代次数达到预设次数、F1参数满足预设值等等，具体可根据实际情况选择/设置。

由此，本发明实施例基于提出的三重注意力机制，使得初始病灶检测模型在提取特征时，能有效强化近距离特征的影响，弱化远距离特征的影响；并且，还将超声图像中各个通道的关联性，和超声图像的各个像素的空间强度关联性一并用作特征提取，进一步提高了特征图的有效提取，使得初始病灶检测模型的预测结果更为准确。

可选的，在本发明实施例提供的一种实施方式中，预设算式为：

式中，d _i,j 表示元素i和元素j之间的高斯距离，r _i 和c _i 表示元素i所在的行和列，r _j 和c _j 表示元素j所在的行和列，σ为高斯核参数，高斯核参数由初始特征图的大小和病灶所在区域占超声图像样本的尺寸的比值确定。

需说明的是，高斯核参数决定了高斯距离矩阵中的数值分布，具体而言，高斯核参数越小，高斯加权图中的高强度像素所占的区域越小，网络融合的特征区域越小；相反，高斯核参数越大，高斯加权图中的高强度像素所占的区域越大，网络融合的特征区域越大。

进一步的，在不同疾病的病灶检测模型中，高斯核参数也不同；因而本发明实施例中的高斯核参数可理解为一个超参数，能根据检测目标的类别自动确定。

示范性的，在本发明实施例提供的一种用于检测乳腺癌病灶的病灶检测模型中，设超声图像样本大小为S1，初始特征图大小为S2，乳腺癌病灶所在区域为S3，则高斯核参数由S2、S3/S1以及2×S3/S1决定。

需说明的是，本发明实施例利用S2、S3/S1以及2×S3/S1来计算高斯核参数的原因是：根据大量的数据统计，大部分医生在进行乳腺癌病灶的判断时，常根据超声图像中病灶所在区域，和一倍病灶面积的病灶周边区域来进行乳腺癌类别判断。

因此，在此种实施方式下，本发明实施例基于乳腺癌病灶的先验知识，在注意力机制中加入了高斯距离权重，并利用由S2、S3/S1以及2×S3/S1决定的高斯核参数来计算每个元素与其他元素的高斯距离，使得网络在学习图像特征时，关注超声图像中病灶所在区域，和一倍病灶面积的病灶周边区域的图像特征信息。由此，使得模型在学习图像特征信息的同时，还一并考虑先验知识，从而提高了模型识别率。

可选的，在本发明实施例提供的一种实施方式中，第一注意力子模块包括第一卷积层和第一激活函数层，其中，第一卷积层的卷积核大小为1×1；

第一注意力子模块还用于利用第一卷积层得到初始特征图的第一特征图，将第一特征图转换为第一特征向量，利用第一激活函数层对第一特征向量进行归一化处理得到第一特征单位向量，及将第一特征单位向量扩充为预设大小的第一特征矩阵，作为空间注意力权重。

具体而言，参照图3，图3示出了本发明实施例提供的第一注意力子模块的结构示意图，设初始特征图的大小为（c，w，h），其中，c表示通道数，h和w分别代表图像高度和图像宽度。第一注意力子模块利用1×1的第一卷积层，将初始特征图的通道信息融合，得到大小为（1，w，h）的第一特征图；将第一特征图转换为大小为（h×w）的第一特征向量；将第一特征图输入至第一激活函数层以进行归一化处理，得到大小为（h×w）的第一特征单位向量；对第一特征单位向量进行向量扩充，得到大小为[h×w，h×w]的第一特征矩阵，即空间注意力权重。可以理解的是，空间注意力权重中的各个元素，代表了初始特征图中每个元素在空间维度下的特征强度关系。

可选的，将第一特征图转换为大小为（h×w）的第一特征向量的过程可利用squeeze()函数实现；第一激活函数层可由softmax函数实现。

需说明的是，大小为[h×w，h×w]的第一特征矩阵中，每一列的元素相同。

进一步的，本发明实施例中得到第一输出的过程还包括：

计算大小为（1，w，h）的第一特征图中，每个元素相对其他元素的物理高斯距离，进而得到大小为[h×w，h×w]的高斯距离矩阵，即高斯距离权重。

将空间注意力权重与高斯距离权重做点积，并进行归一化处理，得到[h×w，h×w]大小的第一权重；将初始特征图的大小变换为（c，h×w），再与第一权重做矩阵乘，并进行矩阵变换，得到大小为（c，w，h）的第一输出。

可选的，参考图4，图4示出了本发明实施例提供的第二注意力子模块的结构示意图，在本发明实施例提供的一种实施方式中，第二注意力子模块包括第二卷积层、第二激活函数层及两个全连接层，其中，第二卷积层的卷积核大小为1×1；

第二注意力子模块还用于利用第二卷积层获取初始特征图得到第二特征图，将第二特征图转换为第二特征向量，利用第二激活函数层对第二特征向量进行归一化处理得到第二特征单位向量，并利用第二特征单位向量得到初始特征图的通道特征向量，将通道特征向量输入至两个全连接层，得到通道注意力权重。

具体而言，设初始特征图的大小为（c，w，h），其中，c表示通道数，h和w分别代表图像高度和图像宽度。第二注意力子模块利用1×1的第一卷积层，将初始特征图的通道信息融合，得到大小为（1，w，h）的第二特征图；将第二特征图转换为大小为（h×w）的第二特征向量；将第二特征图输入至第二激活函数层以进行归一化处理，得到大小为（h×w）的第二特征单位向量；将初始特征图与第二特征向量进行矩阵乘，得到大小为c的通道特征向量，将通道输入至两个全连接层，得到大小为c的通道注意力权重。

可选的，两个全连接层分别为fc(c，c/2)和fc(c/2，c)；将第二特征图转换为大小为（h×w）的第二特征向量的过程可利用squeeze()函数实现；第二激活函数层可由softmax函数实现。

进一步的，进而本发明实施例中得到第二输出的过程还包括：

将初始特征图与通道注意力权重做点积，得到第二输出。

由此，本发明实施例提供的第二注意力子模块，利用全连接层变换全局通道特征，学习到不同通道之间的依赖性；还利用通道权重变换初始特征图，实现了重要通道的特征强化和干扰通道的特征弱化，进一步提高了模型的预测准确率。

因此，本发明实施例中的注意力模块的结构可如图5所示，图5示出了本发明实施例提供的注意力模块的结构示意图，可知本发明实施例的注意力模块输出第二特征图的过程可以理解为：将第一输出、第二输出和初始特征图进行矩阵和运算，以得到第二特征图。

可选的，在本发明实施例提供的一种实施方式中，预设损失函数为：

式中，loss表示损失值，lcls表示分类损失，lobj表示置信度损失，lbox表示候选框的偏差损失，λ _class表示分类损失权重，λ _obj 表示置信度损失权重，λ _coord 表示候选框的偏差损失权重；S表示网格尺寸；S ² 表示网格数量；B表示每个网格里的候选框的数量；i表示候选框在网格中的横坐标，j表示候选框在网格中的纵坐标；

表示如果(i,j)对应的候选框里有目标，则值为1，否则为0；

表示如果(i,j)对应的候选框里没有目标，则值为1，否则为0；

表示(i,j)对应的候选框中的目标为类别c的标签，如果(i,j)对应的候选框中的目标为类别c，则

值为1，否则为0；

表示（i,j）对应的候选框中的目标被预测为类别c的概率；

表示（i,j）对应的候选框是否负责某个目标的预测，如果(i,j)对应的候选框与某个真实框的交并比最大，则该候选框（i,j）负责预测该目标，

值为1，否则为0；C _i,j 表示(i,j)对应的候选框预测目标的置信度；L _GIoU 表示交并比损失，pb _i,j 表示(i,j)对应的预测框，tb表示对应于pb _i,j 的真实框。

可选的，在本发明实施例提供的一种实施方式中，特征提取层为ResNet-50模型；

ResNet-50模型中的第三阶段、第四阶段及第五阶段中的最后一个残差模块内的最后一个卷积层之后设置有注意力模块。

可以理解的是，目标检测模型中的特征提取层可由任意结构的多层模型实现，本发明实施例采用的ResNet-50模型仅为可选的模型之一。

还可以理解的是，由于高斯距离权重的计算量较大，即对模型的推理速度有一定影响，因此本发明实施例为了加快模型的训练效率，仅在第三阶段、第四阶段及第五阶段中的最后一个残差模块内的最后一个卷积层之后设置有注意力模块。

进一步的，在本发明实施例提出的一种实施方式中，初始病灶检测模型基于YOLO-3结构和ResNet-50模型构成。

具体的，参照图6，图6示出了本发明实施例提出的一种初始病灶检测模型的网络结构示意图，其中，第二残差模块包括依次相连的第三卷积层、第四卷积层、第五卷积层以及注意力模块，而第五卷积层的输入则为初始特征图，注意力模块输出的第二特征图为下一网络的输入。

可以理解的是，第一阶段中的第一卷积模块、第二阶段中的三个第一残差模块、第三阶段中的三个第一残差模块、第四阶段中的五个第一残差模块以及第五阶段中的两个第一残差模块属于ResNet-50模型，即特征提取层，而第二卷积模块和第六卷积层则属于病灶检测层。还可以理解的是，除去注意力模块外，任意一个模块/卷积层可根据实际情况选择/设置。

可选的，在本发明实施例提供的一种实施方式中，S120包括：

根据所述训练集中每个所述超声图像样本的每个像素的像素强度，计算所有所述超声图像样本的强度均值和强度标准差；

基于所述强度均值和所述强度标准差，对所述训练集中所有所述超声图像样本进行归一化处理；

从归一化处理后的训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层。

由此，将归一化处理后的训练集输入至初始病灶检测模型，减少了计算机设备的计算量，进而降低了功耗，提高了计算效率和模型实施效率。

实施例2

参照图7，图7示出了本发明实施例一种识别图像中的病灶的方法，方法包括：

S310，获取待检测超声图像；

S320，将待检测超声图像输入至病灶检测模型的特征提取层，得到待检测超声图像对应的第二特征图，其中病灶检测模型通过如第一方面中任一项的病灶检测模型的训练方法得到；

S330，将待检测超声图像对应的第二特征图输入至病灶检测模型的病灶检测层，确定待检测超声图像中病灶所在位置和病灶类别。

本发明实施例提供的识别图像中的病灶的方法，通过病灶检测模型的特征提取层完成特征提取，使得模型在进行预测时，强化近距离特征的影响，弱化远距离特征的影响；并且，还将超声图像中各个通道的关联性，和超声图像的各个像素的空间强度关联性一并用作特征提取，进一步提高了特征图的有效性，使得预测结果更为准确。

实施例3

参照图8，图8示出了本发明实施例提供的病灶检测模型的训练装置的结构示意图，本发明实施例提供的一种病灶检测模型的训练装置400，包括：

训练集获取模块410，用于获取训练集，其中，训练集中包括预设数量的超声图像样本，及每个超声图像样本对应的病灶位置信息和病灶类别；

特征提取模块420，用于从训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，得到每个超声图像样本对应的第二特征图，其中，初始病灶检测模型包括特征提取层和病灶检测层，特征提取层中设置有注意力模块，注意力模块包括第一注意力子模块和第二注意力子模块，第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用第一特征图计算空间注意力权重，基于预设算式计算第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用空间注意力权重和高斯距离权重得到初始特征图的第一输出，第二注意力子模块用于根据初始特征图得到通道注意力权重，及利用通道注意力权重得到初始特征图的第二输出，注意力模块用于根据第一输出和第二输出得到初始特征图的第二特征图；

预测模块430，用于将第一预设数量的超声图像样本对应的第二特征图输入至初始病灶检测模型的病灶检测层，得到每个超声图像样本对应的病灶位置预测信息和病灶预测类别；

训练模块440，用于根据每个超声图像对应的病灶位置信息和病灶类别，及病灶位置预测信息和病灶预测类别，基于预设损失函数，计算第一预设数量的超声图像样本对应的损失值，以最小化损失值为目标，迭代训练初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

可以理解的是，本发明实施例3公开的病灶检测模型的训练装置的技术方案通过各个功能模块的协同作用，用于执行实施例1中所公开的病灶检测模型的训练方法，病灶检测模型的训练方法所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

实施例4

参照图9，图9示出了本发明实施例提供的识别图像中的病灶的装置的结构示意图，本发明实施例提供的识别图像中的病灶的装置500，包括：

图像获取模块510，用于获取待检测超声图像；

特征输出模块520，用于将待检测超声图像输入至病灶检测模型的特征提取层，得到待检测超声图像对应的第二特征图，其中病灶检测模型通过如第一方面中任一种的病灶检测模型的训练方法得到；

检测模块530，用于将待检测超声图像对应的第二特征图输入至病灶检测模型的病灶检测层，确定待检测超声图像中病灶所在位置和病灶类别。

可以理解的是，本发明实施例4公开的识别图像中的病灶的装置的技术方案通过各个功能模块的协同作用，用于执行实施例2中所公开的识别图像中的病灶的方法，识别图像中的病灶的方法所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

本发明实施例提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如实施例1中任一种公开的病灶检测模型的训练方法，或实施例2中的识别图像中的病灶的方法。

本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如实施例1中任一种公开的病灶检测模型的训练方法，或实施例2中的识别图像中的病灶的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种病灶检测模型的训练方法，其特征在于，包括：

获取训练集，其中，所述训练集中包括预设数量的超声图像样本，及每个所述超声图像样本对应的病灶位置信息和病灶类别；

从所述训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，得到每个所述超声图像样本对应的第二特征图，其中，所述初始病灶检测模型包括特征提取层和病灶检测层，所述特征提取层中设置有注意力模块，所述注意力模块包括第一注意力子模块和第二注意力子模块，所述第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用所述第一特征图计算空间注意力权重，基于预设算式计算所述第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用所述空间注意力权重和所述高斯距离权重得到所述初始特征图的第一输出，所述第二注意力子模块用于根据所述初始特征图得到通道注意力权重，及利用所述通道注意力权重得到所述初始特征图的第二输出，所述注意力模块用于根据所述第一输出和所述第二输出得到所述初始特征图的第二特征图；

将所述第一预设数量的超声图像样本对应的第二特征图输入至所述初始病灶检测模型的病灶检测层，得到每个所述超声图像样本对应的病灶位置预测信息和病灶预测类别；

根据每个所述超声图像对应的病灶位置信息和病灶类别，及所述病灶位置预测信息和病灶预测类别，基于预设损失函数，计算所述第一预设数量的超声图像样本对应的损失值，以最小化所述损失值为目标，迭代训练所述初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

2.根据权利要求1所述的方法，其特征在于，所述预设算式为：

式中，d _i,j 表示元素i和元素j之间的高斯距离，r _i 和c _i 表示元素i所在的行和列，r _j 和c _j 表示元素j所在的行和列，σ为高斯核参数，所述高斯核参数由所述初始特征图的大小和病灶所在区域占所述超声图像样本的尺寸的比值确定。

3.根据权利要求1所述的方法，其特征在于，所述第一注意力子模块包括第一卷积层和第一激活函数层，其中，所述第一卷积层的卷积核大小为1×1；

所述第一注意力子模块还用于利用所述第一卷积层得到所述初始特征图的第一特征图，将所述第一特征图转换为第一特征向量，利用所述第一激活函数层对所述第一特征向量进行归一化处理得到第一特征单位向量，及将所述第一特征单位向量扩充为预设大小的第一特征矩阵，作为所述空间注意力权重。

4.根据权利要求1所述的方法，其特征在于，所述第二注意力子模块包括第二卷积层、第二激活函数层及两个全连接层，其中，所述第二卷积层的卷积核大小为1×1；

所述第二注意力子模块还用于利用所述第二卷积层获取所述初始特征图得到第二特征图，将所述第二特征图转换为第二特征向量，利用所述第二激活函数层对所述第二特征向量进行归一化处理得到第二特征单位向量，并利用所述第二特征单位向量得到所述初始特征图的通道特征向量，将所述通道特征向量输入至两个所述全连接层，得到所述通道注意力权重。

5.根据权利要求1所述的方法，其特征在于，所述特征提取层为ResNet-50模型；

所述ResNet-50模型中的第三阶段、第四阶段及第五阶段中的最后一个残差模块内的最后一个卷积层之后设置有所述注意力模块。

6.一种识别图像中的病灶的方法，其特征在于，包括：

获取待检测超声图像；

将所述待检测超声图像输入至病灶检测模型的特征提取层，得到所述待检测超声图像对应的第二特征图，其中所述病灶检测模型通过如权利要求1-5任一项所述的病灶检测模型的训练方法得到；

将所述待检测超声图像对应的第二特征图输入至所述病灶检测模型的病灶检测层，确定所述待检测超声图像中病灶所在位置和病灶类别。

7.一种病灶检测模型的训练装置，其特征在于，包括：

训练集获取模块，用于获取训练集，其中，所述训练集中包括预设数量的超声图像样本，及每个所述超声图像样本对应的病灶位置信息和病灶类别；

特征提取模块，用于从所述训练集中选取第一预设数量的超声图像样本输入至初始病灶检测模型的特征提取层，得到每个所述超声图像样本对应的第二特征图，其中，所述初始病灶检测模型包括特征提取层和病灶检测层，所述特征提取层中设置有注意力模块，所述注意力模块包括第一注意力子模块和第二注意力子模块，所述第一注意力子模块用于根据获取到的初始特征图得到第一特征图，利用所述第一特征图计算空间注意力权重，基于预设算式计算所述第一特征图中每个元素与其他元素的高斯距离后，得到高斯距离权重，及利用所述空间注意力权重和所述高斯距离权重得到所述初始特征图的第一输出，所述第二注意力子模块用于根据所述初始特征图得到通道注意力权重，及利用所述通道注意力权重得到所述初始特征图的第二输出，所述注意力模块用于根据所述第一输出和所述第二输出得到所述初始特征图的第二特征图；

预测模块，用于将所述第一预设数量的超声图像样本对应的第二特征图输入至所述初始病灶检测模型的病灶检测层，得到每个所述超声图像样本对应的病灶位置预测信息和病灶预测类别；

训练模块，用于根据每个所述超声图像对应的病灶位置信息和病灶类别，及所述病灶位置预测信息和病灶预测类别，基于预设损失函数，计算所述第一预设数量的超声图像样本对应的损失值，以最小化所述损失值为目标，迭代训练所述初始病灶检测模型，直到满足预设训练终止条件时，终止训练以得到病灶检测模型。

8.一种识别图像中的病灶的装置，其特征在于，包括：

图像获取模块，用于获取待检测超声图像；

特征输出模块，用于将所述待检测超声图像输入至病灶检测模型的特征提取层，得到所述待检测超声图像对应的第二特征图，其中所述病灶检测模型通过如权利要求1-5任一项所述的病灶检测模型的训练方法得到；

检测模块，用于将所述待检测超声图像对应的第二特征图输入至所述病灶检测模型的病灶检测层，确定所述待检测超声图像中病灶所在位置和病灶类别。

9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行如权利要求1-5任一项所述的病灶检测模型的训练方法，或权利要求6所述的识别图像中的病灶的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在处理器上运行时执行如权利要求1-5任一项所述的病灶检测模型的训练方法，或权利要求6所述的病灶识别图像中的病灶的方法。

Images