CN115409818B - 一种应用于内窥镜图像目标检测模型的增强训练方法 - Google Patents

Abstract

本发明公开了一种应用于内窥镜图像目标检测模型的增强训练方法，从样本标签的选择上进行优化，一个是引入对抗样本训练，并优化对抗样本的使用方式，实验表明，这两种策略综合使用，提高了模型在受限数据训练情况下的精度和泛化能力。

Description

一种应用于内窥镜图像目标检测模型的增强训练方法

技术领域

本发明属于目标检测技术领域，具体的为：一种应用于内窥镜图像目标检测模型的增强训练方法。

背景技术

随着电子技术的发展，医用内窥镜产品越来越丰富，极大的融入了各式各样的疾病诊断、治疗流程中。同时随着图像智能识别技术的发展，利用内窥镜图像，实现部分疾病的自动识别和预警等得到了越来越多的重视。

在图像智能识别中，人工建立的数据库往往具有决定性的作用，但是海量的数据在很多场景下并不存在，尤其是医疗领域，比如妇科内窥镜图像，往往由于各种原因，如隐私等，数据并不能充分的获取和标注。这样就要求对于图像目标检测模型的训练方式，进行尽量的优化。

发明内容

发明目的：针对上述现有技术，提出一种应用于内窥镜图像目标检测模型的增强训练方法

技术方案：一种应用于内窥镜图像目标检测模型的增强训练方法，其特征在于，包括以下步骤：

1)获取待训练图像，所述待训练图像包括标注信息；

2)通过目标检测模型对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图；

3)通过所述目标检测模型的特征金字塔网络对所述待训练图像的多尺度特征图进行融合得到融合后的多尺度特征图；

4)通过所述目标检测模型的检测头网络对融合后的多尺度特征图进行检测得到待训练图像的目标检测结果；

5)引入最优对抗样本对所述目标检测模型进行训练，预设锚点集合，通过预设锚点的样本的权重对所述目标检测模型的损失进行调制，得到训练后的目标检测模型。

优选的，预设锚框样本集合为{Q_i}，目标真实位置为R，所述目标检测模型使用所述锚框样本集合{Q_i}得到的预测置信度集合为目标预测位置集合为/>其中i表示锚点序号；则训练中选取的正锚框样本的权重w_i为：

对所有锚框样本进行权重计算，从大到小排序，得到集合，根据下式计算k值：

其中，T表示固定阈值，选出权重大于固定阈值T的k个正锚框样本。

优选的，通过最大化交叉熵法来获得最优对抗样本，将所述最优对抗样本记为X^a，计算最优对抗样本X^a的均值μ^a和方差σ^a，然后归一化所有的X^a得到将/>作为所述目标检测模型的batchnorm层的输出。

优选的，所述目标检测模型为YOLOv6。

有益效果：

1)从两个方面，对目标检测训练流程进行了优化。一个是从样本标签的选择上进行优化，一个是引入对抗样本训练，并优化对抗样本的使用方式。实验表面，这两种策略综合使用，提高了模型在受限数据训练情况下的精度和泛化能力。

2)不但维护了网络对于常规样本的响应能力，同时也强化了其对于攻击性样本的鲁棒性

具体实施方式

下面对本发明做更进一步的解释。

一种应用于内窥镜图像目标检测模型的增强训练方法，其特征在于，包括以下步骤：

1)获取待训练图像，所述待训练图像包括标注信息；

2)通过目标检测模型对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图；

3)通过所述目标检测模型的特征金字塔网络对所述待训练图像的多尺度特征图进行融合得到融合后的多尺度特征图；

4)通过所述目标检测模型的检测头网络对融合后的多尺度特征图进行检测得到待训练图像的目标检测结果；

5)引入最优对抗样本对所述目标检测模型进行训练，预设锚点集合，通过预设锚点的样本的权重对所述目标检测模型的损失进行调制，得到训练后的目标检测模型。

预设锚框样本集合为{Q_i}，目标真实位置为R，所述目标检测模型使用所述锚框样本集合{Q_i}得到的预测置信度集合为目标预测位置集合为/>其中i表示锚点序号；则训练中选取的正锚框样本的权重w_i为：

对所有锚框样本进行权重计算，从大到小排序，得到集合，根据下式计算k值：

其中，T表示固定阈值，选出权重大于固定阈值T的k个正锚框样本。

通过最大化交叉熵法来获得最优对抗样本，将所述最优对抗样本记为X^a，计算最优对抗样本X^a的均值μ^a和方差σ^a，然后归一化所有的X^a得到将/>作为所述目标检测模型的batchnorm层的输出。

所述目标检测模型为YOLOv6。

随着电子技术的发展，医用内窥镜产品越来越丰富，极大的融入了各式各样的疾病诊断、治疗流程中。同时随着图像智能识别技术的发展，利用内窥镜图像，实现部分疾病的自动识别和预警等得到了越来越多的重视。

在图像智能识别中，人工建立的数据库往往具有决定性的作用，但是海量的数据在很多场景下并不存在，尤其是医疗领域，比如妇科内窥镜图像，往往由于各种原因，如隐私等，数据并不能充分的获取和标注。这样就要求对于图像目标检测模型的训练方式，进行尽量的优化。

这里从两个方面，对目标检测训练流程进行了优化。一个是从样本标签的选择上进行优化，一个是引入对抗样本训练，并优化对抗样本的使用方式。实验表面，这两种策略综合使用，提高了模型在受限数据训练情况下的精度和泛化能力。

经典的标签分配策略通常采用预定义的规则来匹配每个锚点的样本，选择为目标或背景。这种静态的策略并没有考虑对于具有不同大小、形状或遮挡条件的目标，其目标边界会有很大的不同。

此前有些研究表明，预设锚点的预测置信度得分可以作为设计动态分配策略的指标。但这种策略依然是基于单个锚点的，如果可以为图像中的所有的目标标签找到全局更优的锚点置信度分配，这样理应可以实现更好的效果。基于此，训练中采用了一种全局动态分配的策略。

假设预设锚点集合为{Q_i}，某目标真实位置为R，模型使用锚点得到的预测置信度集合为预测位置集合为/>其中i表示锚点序号。

则训练中选取的正锚点样本的权重为：

训练中，使用样本权重对损失进行调制，可以加快训练收敛速度和效果。这里对于单个锚点权重，综合考虑了目标框与真实目标的重叠程度和模型响应。

而对于全局信息的融入，使用控制正锚点样本的方式，训练使用的正锚点数量根据如下规则选取：

对所有锚点样本进行权重计算，从大到小排序，得到集合{w'_i}，根据下式计算k值：

其中，T表示固定阈值。这样可以选出权重和大于T的k个正锚点样本。控制T值，可以动态控制正锚点的选择，对于严格不能漏掉感兴趣目标的应用场景，可以选择较大的T值。比如在妇科宫腔镜筛查中，希望所有可能的目标都得到响应，而对错误的目标响应并不敏感，这样可以选择较大的T值。

在很多医疗领域，由于隐私等原因，图像数据并不能充分的获取和标注。而使用对抗训练，可以在相对受限的样本中，提供模型的鲁棒性。这里使用PGD方法(Towards deeplearning models resistant to adversarial attacks)，通过计算最大化交叉熵来获得最优攻击性的样本。

但是，通常的操作是攻击性样本和正常的样本放在一起，来最小化网络损失，这样做的问题是常常会导致的模型鲁棒性虽然更高了，但是对于正常图像的检测能力却会一定程度的下降。究其原因，因为攻击性样本是人造的样本，跟正常样本的数据分布并不相同，使用同样的网络参数并不是很合理，导致影响到正常样本的模型响应也就算预期之内了。

鉴于此，在通过计算最大化交叉熵来获得最优攻击性的样本，记为X^a，区别于很多基于PGD的方法，并没有直接进行训练，而是计算其均值μ^a和方差σ^a，然后归一化所有的X^a得到

在训练过程中，对于网络结构中所有的batchnorm层，对于普通样本X依旧正常计算，对于攻击性的样本X^a，则通过上一步单独计算得到作为batchnorm的输出。这样不但维护了网络对于常规样本的响应能力，同时也强化了其对于攻击性样本的鲁棒性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种应用于内窥镜图像目标检测模型的增强训练方法，其特征在于，包括以下步骤：

1)获取待训练图像，所述待训练图像包括标注信息；

2)通过目标检测模型对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图；

3)通过所述目标检测模型的特征金字塔网络对所述待训练图像的多尺度特征图进行融合得到融合后的多尺度特征图；

4)通过所述目标检测模型的检测头网络对融合后的多尺度特征图进行检测得到待训练图像的目标检测结果；

5)引入最优对抗样本对所述目标检测模型进行训练，预设锚点集合，通过预设锚点的样本的权重对所述目标检测模型的损失进行调制，得到训练后的目标检测模型；

预设锚框样本集合为{Q_i}，目标真实位置为R，所述目标检测模型使用所述锚框样本集合{Q_i}得到的预测置信度集合为目标预测位置集合为/>其中i表示锚点序号；则训练中选取的正锚框样本的权重w_i为：

对所有锚框样本进行权重计算，从大到小排序，得到集合，根据下式计算k值：

其中，T表示固定阈值，选出权重大于固定阈值T的k个正锚框样本。

2.如权利要求1所述的一种应用于内窥镜图像目标检测模型的增强训练方法，其特征在于，通过最大化交叉熵法来获得最优对抗样本，将所述最优对抗样本记为X^a，计算最优对抗样本X^a的均值μ^a和方差σ^a，然后归一化所有的X^a得到将/>作为所述目标检测模型的batchnorm层的输出。

3.如权利要求1所述的一种应用于内窥镜图像目标检测模型的增强训练方法，其特征在于，所述目标检测模型为YOLOv6。