CN114333014A - 训练目标检测模型的方法、目标检测方法及电子设备 - Google Patents

Abstract

本申请实施例涉及目标检测技术领域，公开了一种训练目标检测模型的方法、目标检测方法及电子设备。其中，所述训练目标检测模型的方法包括：获取图像样本，所述图像样本标注有目标标签；将所述图像样本分解为第一颜色图像样本、第二颜色图像样本和第三颜色图像样本；将所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别输入预设神经网络进行迭代训练，在所述预设神经网络收敛时，获得目标检测模型。本申请能够有效降低光照、亮度对目标检测的影响，减少漏检、误检问题，有效提高目标检测的准确度和召回率。

Description

训练目标检测模型的方法、目标检测方法及电子设备

技术领域

本申请实施例涉及目标检测技术领域，尤其涉及一种训练目标检测 模型的方法、目标检测方法及电子设备。

背景技术

随着移动通信技术的快速发展以及人民生活水平的提升，各种智能 终端已广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用 APP等软件，使得美颜自拍、拍照测肤此类功能的APP需求也变得越来 越多，因此，不少用户希望此类APP能够自动分析出脸部的痘痘情况。

本申请发明人在实现本申请实施例的过程中，发现：现有的技术很 多都是采用手动点击去痘痘的功能，过程繁琐，不利于用户的体验，同 时痘痘有效信息小，特征不够明显，传统的图像处理算法很难满足需求， 用户拍照的图片容易受到光照强度、亮度等因素的干扰，容易导致漏检、 误检的情况。

发明内容

本申请实施例的目的是提供一种训练目标检测模型的方法、目标检 测方法及电子设备，能够有效降低光照、亮度对目标检测的影响，减少 漏检、误检问题，有效提高目标检测的准确度和召回率。

为解决上述技术问题，本申请实施例采用以下技术方案：

第一方面，本申请实施例中提供给了一种训练目标检测模型的方法， 包括：

获取图像样本，所述图像样本标注有目标标签；

将所述图像样本分解为第一颜色图像样本、第二颜色图像样本和第 三颜色图像样本；

将所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色 图像样本分别输入预设神经网络进行迭代训练，在所述预设神经网络收 敛时，获得目标检测模型；

其中，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构均包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜 色图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过 一通道的所述网络结构进行迭代训练。

在一些实施例中，所述预设神经网络包括第一通道特征提取模块、 第一通道特征融合模块及第一通道SSH检测模块；

所述将所述第一颜色图像样本、所述第二颜色图像样本和所述第三 颜色图像样本分别输入预设神经网络进行迭代训练，在所述预设神经网 络收敛时，获得目标检测模型，包括：

利用第一通道特征提取模块对所述第一颜色图像样本进行特征提 取，获取第一颜色通道特征；

所述第一颜色通道特征通过所述第一通道特征融合模块与第二颜 色通道特征和/或第三颜色通道特征进行特征融合，获得第一融合特征；

将所述第一融合特征输入所述第一通道SSH检测模块，获得多个第 一预测框对应的概率和位置；

基于所述第一预测框对应的概率和位置、以及所述目标标签计算第 一损失值；

根据所述第一损失值、第二损失值和第三损失值调整预设神经网络， 直至预设神经网络收敛，获得所述目标检测模型；

其中，所述第一损失值、所述第二损失值及所述第三损失值分别用 于指示一所述通道的损失值。

在一些实施例中，所述基于所述第一预测框对应的概率和位置、以 及所述目标标签计算第一损失值，包括：

从所述第一预测框中选择样本框，基于所述样本框对应的概率和位 置、以及所述目标标签，利用第一损失函数计算第一损失值；

所述样本框包括正样本框；所述从所述第一预测框中选择样本框， 包括：

计算所述第一预测框与所述目标标签对应的目标位置之间的交并 比；

如果所述交并比大于第一比值，则将交并比大于第一比值的第一预 测框作为正样本框。

在一些实施例中，所述根据所述第一损失值、第二损失值和第三损 失值调整预设神经网络，包括：

根据如下公式调整所述预设神经网络的损失；

其中，i表示所述预设神经网络的通道，

表示第i通道的目标 分类损失，p_j表示预测第j个预测框为目标的概率，

表示目标标签，L_cls表示交叉熵损失函数；

表示目标标签的标注框回归损失函数，box_j表示正样本框的位置，

表示目标标签的标注框的位置；R函数表示 鲁棒性回归函数。

第二方面，本申请实施例还提供一种目标检测方法，所述方法包括：

获取待测原始图像；

将所述待测原始图像分解为第一颜色通道图像、第二颜色通道图像 和第三颜色通道图像；

将所述第一颜色通道图像、第二颜色通道图像和第三颜色通道图像 输入目标检测模型中，获得第一通道检测结果、第二通道检测结果和第 三通道检测结果，所述目标检测模型采用如上述所述的训练目标检测模 型的方法获得。

在一些实施例中，在所述获得第一通道检测结果、第二通道检测结 果和第三通道检测结果之后，所述方法还包括：

通过S_NMS非极大值抑制算法剔除第一通道检测结果、第二通道检 测结果和第三通道检测结果中的重复预测框，确定最终预测结果，包括：

获取第一通道检测结果、第二通道检测结果和第三通道检测结果中 的重复预测框；

对所述重复预测框打分，获得各个重复预测框对应的得分值；

对所述得分值进行排序，且将得分值低于第一分数的重复预测框删 除。

在一些实施例中，所述对所述重复预测框打分，获得各个重复预测 框对应的得分值，包括：

获取各个重复预测框中得分最高的预测框；

获取得分最高的预测框与待处理框的交并比；

根据预设交并比及所述得分最高的预测框与待处理框的交并比，得到待 处理框对应的得分值。

第三方面，本申请实施例还提供一种训练目标检测模型的装置，所 述装置包括：

样本获取模块，用于获取图像样本，所述图像样本标注有目标标签；

第一分解模块，用于将所述图像样本分解为第一颜色图像样本、第 二颜色图像样本和第三颜色图像样本；

训练模块，用于将所述第一颜色图像样本、所述第二颜色图像样本 和所述第三颜色图像样本分别输入预设神经网络进行迭代训练，在所述 预设神经网络收敛时，获得目标检测模型；

其中，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色 图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一 通道的所述网络结构进行迭代训练。

第四方面，本申请还提供一种电子设备，所述电子设备包括：

至少一个处理器，以及

存储器，所述存储器与所述处理器通信连接，所述存储器存储有可 被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执 行，以使所述至少一个处理器能够执行如第一方面和第二方面所述的方 法。

第五方面，本申请还提供一种非易失性计算机可读存储介质，其特 征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计 算机可执行指令被电子设备执行时，使所述电子设备执行如第一方面和 第二方面任一项所述的方法。

本申请实施例的有益效果：区别于现有技术的情况，本申请实施例 提供的训练目标检测模型的方法、目标检测方法及电子设备，在训练目 标检测模型的时候，获取图像样本，所述图像样本标注有目标标签；将 所述图像样本分解为第一颜色图像样本、第二颜色图像样本和第三颜色 图像样本，由于在分解为三种颜色通道的图像样本后，不会将亮度输入 到预设神经网络中训练，避免受到图像样本中的光照和亮度的干扰；将 所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色图像样 本分别输入预设神经网络进行迭代训练，在所述预设神经网络收敛时， 获得目标检测模型，由于在训练的时候没有亮度干扰，因此，得到的目 标检测模型能够有效提升目标定位的准确度。

并且，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色 图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一 通道的所述网络结构进行迭代训练，采用特征金字塔技术，实现多通道 多尺度特征的融合。

在目标检测的时候，获取待测原始图像，然后，将所述待测原始图 像分解为第一颜色通道图像、第二颜色通道图像和第三颜色通道图像， 避免识别时亮度的干扰；将所述第一颜色通道图像、第二颜色通道图像 和第三颜色通道图像输入目标检测模型中，获得第一通道检测结果、第 二通道检测结果和第三通道检测结果。通过第一通道检测结果、第二通 道检测结果和第三通道检测结果，能够有效检测密集目标，避免两个相 近的目标因为交并比重叠值较大的原因而被误删除，降低复杂环境的影 响，提升密集目标检测的准确度，有效提升模型的召回率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明， 这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标 号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例 限制。

图1是本申请训练目标检测模型的方法的一个实施例的流程示意图；

图2是本申请训练目标检测模型的方法的一个实施例的模型结构示 意图；

图3是本申请训练目标检测模型的方法的一个实施例的bneck模块 结构示意图；

图4是本申请目标检测方法的一个实施例的流程示意图；

图5是本申请目标检测方法的一个实施例的最终预测结果示意图；

图6是本申请训练目标检测模型的的一个实施例的结构示意图；

图7是本申请目标检测装置的一个实施例的结构示意图；

图8是本申请电子设备的一个实施例中控制器的硬件结构示意图。

具体实施方式

下面结合具体实施例对本申请进行详细说明。以下实施例将有助于 本领域的技术人员进一步理解本申请，但不以任何形式限制本申请。应 当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前 提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附 图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的 具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，如果不冲突，本申请实施例中的各个特征可以相互 结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了 功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以 以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步 骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对 数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似 项进行区分。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本 申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请 的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用 于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关 的所列项目的任意的和所有的组合。

此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只 要彼此之间未构成冲突就可以相互组合。

本申请实施例提供的目标检测方法和装置可以应用于电子设备，可 以理解的是，电子设备中，设置有控制器、图像获取模块。

可以理解的，电子设备可以是智能手机，带有图像获取模块，如摄 像头。

本申请实施例提供的密集目标，目标可以是人脸上的痘痘，也可以 是一张图片中存在的多个人脸，以下的目标检测，均以痘痘检测为例。

请参见图1，为应用于本申请的训练目标检测模型的方法的实施例 的流程示意图，所述方法可以由电子设备中的控制器执行，该方法包括 步骤S101-步骤S103。

S101：获取图像样本，所述图像样本标注有目标标签。

获取图像样本，图像样本可以是不同应用场景、不同拍摄质量的带 有人脸的图像，且该带有人脸的图像中，存在痘痘区域。图像样本可以 是多张图像。

在获得图像样本以后，用户可以手动标注痘痘区域，作为目标标签， 比如，利用标注工具，在目标为痘痘的区域进行标注，从而得到痘痘区 域的位置特征和类别特征，位置特征是该痘痘区域在该图像样本上的坐 标；类别特征可以包括是痘痘/不是痘痘的二分类类别，也可以是多种 类别，如不同发展程度的痘痘，可以是不是痘痘/红疹/脓包/痘印等多种类别。

在标注目标标签以后，将该图像样本作为初始样本数据集。

在本实施例中，在输入预设神经网络进行迭代训练前，对图像样本 进行预处理和数据增强，将数据分成训练集、验证集和测试集，所述方 法还包括：

对所述图像样本进行归一化处理，得到固定尺寸的预处理图像。

具体地，可以对带有痘痘区域的图像样本进行归一化处理，得到固 定尺寸的预处理图像，如归一化尺寸为640*640的预处理图像。

S102：将所述图像样本分解为第一颜色图像样本、第二颜色图像样 本和第三颜色图像样本。

为了减少光照、亮度等因素的干扰，将所述图像样本分解为第一颜 色图像样本、第二颜色图像样本和第三颜色图像样本。以一张图像样本 为例，一张图像样本可以是一张RGB图像，RGB图像为三维图像，在分 解的时候，直接提取RGB中每一个颜色通道就可以得到各个颜色通道的 样本图像，为第一颜色图像样本、第二颜色图像样本和第三颜色图像样本，第一颜色图像样本可以为红色通道的图像，第二颜色图像样本可以 为绿色通道的图像，第三颜色图像样本可以为蓝色通道的图像，如图2 所示，将一张图像样本分解后，得到第一颜色图像样本、第二颜色图像 样本和第三颜色图像样本这三张图像。

S103:将所述第一颜色图像样本、所述第二颜色图像样本和所述第 三颜色图像样本输入预设神经网络进行迭代训练，在所述预设神经网络 收敛时，获得目标检测模型。

其中，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色 图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一 通道的所述网络结构进行迭代训练。

在本实施例中，特征提取模块为基础特征提取网络结构，可采用 Mob i l enet_v3作为基础网络特征提取结构，如图3所示，图3为bneck 模块结构示意图。基础网络特征提取结构如下表一所示：

表一

其中，第一列I nput代表mobi l enetV3每个特征层的shape变化；

第二列Operator代表每次特征层即将经历的b l ock结构，在 Mob i l eNetV3中，特征提取经过了许多的bneck结构；

第三列s i ze、第四列out分别代表了bneck内逆残差结构上升后的 通道数、输入到bneck时特征层的通道数；

第五列SE代表了是否在这一层引入注意力机制，N表示否，Y表示 是；

第六列NL代表了激活函数的种类，HS代表h-swi sh激活函数，RE 代表RELU激活函数；

第七列s代表了每一次b l ock结构所用的步长。

如图2所示，将所述第一颜色图像样本输入第一通道特征提取模块 中，利用第一通道特征提取模块对所述第一颜色图像样本进行特征提取， 获取第一颜色通道特征。

将所述第二颜色图像样本输入第二通道特征提取模块中，利用第二 通道特征提取模块对所述第二颜色图像样本进行特征提取，获取第二颜 色通道特征。

且将所述第三颜色图像样本输入第三通道特征提取模块中，利用第 三通道特征提取模块对所述第三颜色图像样本进行特征提取，获取第三 颜色通道特征，从而得到各个颜色通道特征。

对应地，网络结构中的特征融合模块包括第一通道特征融合模块、 第二通道特征融合模块和第三通道特征融合模块。

在获取第一颜色通道特征、第二颜色通道特征和第三颜色通道特征 后，可以利用第一通道特征融合模块融合第一颜色通道特征和第二颜色 通道特征，也可以利用第一通道特征融合模块融合第一颜色通道特征、 第二颜色通道特征和第三颜色通道特征，或者是利用第一通道特征融合 模块融合第一颜色通道特征和第三颜色通道特征，获得第一融合特征； 以及，利用第二通道特征融合模块融合第二颜色通道特征和第一颜色通 道特征，可以利用第二通道特征融合模块融合第二颜色通道特征和第三 颜色通道特征，还可以利用第二通道特征融合模块融合第一颜色通道特 征、第二颜色通道特征和第三颜色通道特征，获得第二融合特征；以及， 利用第三通道特征融合模块融合第三颜色通道特征、第一颜色通道特征， 或者是利用第三通道特征融合模块融合第三颜色通道特征、第二颜色通 道特征，或者是利用第三通道特征融合模块融合第一颜色通道特征、第 二颜色通道特征和第三颜色通道特征，获得第三融合特征。

因此，利用任一通道的特征融合模块，将一种颜色通道特征与另外 两种颜色特征中的至少一种进行特征融合，从而获得多通道的特征融合。 在本实施例中，特征融合模块采用的是特征金字塔技术，通过 concatenat ion操作将不同颜色通道特征进行拼接，例如，在利用第一 通道特征融合模块融合第一颜色通道特征和第二颜色通道特征时，将第一颜色通道特征的特征向量拼接在第二颜色通道特征的特征向量之后。 可以理解的，在使用concatenat i on操作拼接的时候，会导致特征维数 增多，因此，在本实施例中，在各特征提取模块进行特征提取后，对提 取的特征图进行平均池化(poo l i ng)操作，池化(pool i ng)后会让同 个颜色通道的特征维数减少，训练参数减少，泛化能力加强，进而防止过拟合，并且，特征维数的减少并不会让同个颜色通道的特征丢失。从 而，通过特征融合模块融合后获得的第一融合特征、第二融合特征和第 三融合特征，实现了多尺度多通道的特征融合。

进一步的，在得到多尺度多通道的融合特征后，在本实施中，将该 融合特征输入SSH检测模块进行痘痘的定位和分类，具体的，将第一融 合特征输入第一通道SSH检测模块进行痘痘的定位和分类，得到多个第 一预测框对应的概率和位置；将第二融合特征输入第二SSH检测二模块 进行痘痘的定位和分类，得到多个第二预测框以及所述第二预测框对应的概率及位置；以及将第三融合特征输入第三通道SSH检测模块进行痘 痘的定位和分类；得多个第三预测框以及所述第三预测框对应的概率及 位置。应该说明的是，第一预测框、第二预测框及第三预测框用于指示 样本图像经过特征提取模块、特征融合模块及SSH检测模块后输出的可 能为痘痘的预测区域。

可以理解的，请继续参阅图2，在完成多个不同尺寸的特征提取、 融合及检测后，在本实施例中，根据预设神经网络的结构特征，构建了 损失函数以使得预设神经网络能够尽快达到收敛状态。具体的，由于每 个颜色通道都会输出检测结果，因此，构建每个通道的分类回归损失函 数，在构建第一通道SSH检测模块的回归损失函数时，基于所述第一预 测框对应的概率和位置、以及所述目标标签，利用第一损失函数计算第 一损失值。同理，构建第二通道SSH检测模块的回归损失函数时，基于 所述第二预测框对应的概率和位置、以及所述目标标签，利用第二损失 函数计算第二损失值；构建第三通道SSH检测模块的回归损失函数时， 基于所述第三预测框对应的概率和位置、以及所述目标标签，利用第三 损失函数计算第三损失值。其中，所述第一损失值、所述第二损失值及 所述第三损失值分别用于指示一所述通道的损失值。

在本实施例中，根据如下公式1调整所述预设神经网络的损失；

其中，i表示所述预设神经网络的通道，

表示第i通道的目标 分类损失，p_j表示预测第j个预测框为目标的概率，

表示目标标签，L_cls表示交叉熵损失函数；

表示目标标签的标注框回归损失函数，box_j表示正样本框的位置，

表示目标标签的标注框的位置；R函数表示 鲁棒性回归函数。

可以理解的，当i＝1时，上述公式1得到的损失值L为第一损失值， 当i＝2时，上述公式1得到的损失值L为第二损失值，当i＝3时，上述 公式1得到的损失值L为第三损失值。

通过上述公式，计算出第一损失值、第二损失值和第三损失值，然 后，根据所述第一损失值、第二损失值和第三损失值调整预设神经网络， 直至预设神经网络收敛，获得所述目标检测模型。当损失值越来越小时， 说明预测框与目标标签的标注框越来越接近，因此，将越来越小的损失 值对应的预测框作为痘痘区域。

在其中一些实施例中，基于所述第一预测框对应的概率和位置、以 及所述目标标签，利用第一损失函数计算第一损失值，可以包括：

从所述第一预测框中选择样本框，基于所述样本框对应的概率和位 置、以及所述目标标签，利用第一损失函数计算第一损失值；

其中，所述样本框包括正样本框，或者正样本框以及负样本框。

可选地，从第一预测框中选择正样本框，可以包括：

计算所述第一预测框与所述目标标签对应的目标位置之间的交并 比；

如果所述交并比大于第一比值，则将交并比大于第一比值的第一预 测框作为正样本框。

具体地，在训练阶段，与现有技术类似，在计算第一损失值之前， 需要计算第一预测框与所述目标标签中的目标位置特征的交并比I oU， 交并比I oU是指“预测的边框”和“真实的边框”的交集和并集的比值， 即第一预测边框与目标标签中的目标位置特征的交集和并集的比值。并 且，交并比I oU大于第一比值的第一预测框作为正样本，第一比值通过 经验可知，为0.5；交并比I oU小于第二比值0.3的第一预测框被认为 是背景，而负样本通过第一损失值获得，可选为将第一损失值大于预设 损失值对应的第一预测框作为负样本框，即当损失值越来越小时，说明 模型学习到目标标签的特征信息，如果第一损失值越来越大，则越可能 不接近真实的目标，因此，大于某个预设损失值则认为是负样本框。很明显，在众多的第一预测框中，有大于99％的第一预测框为负样本框。

同样地，在第二预测框中选择正样本框及根据第二损失值获得负样 本框，在第三预测框中选择正样本框及根据第三损失值获取负样本框与 第一预测框选择的正样本框和根据第一损失值获得负样本框类似。

为了避免正负样本的不均衡的问题，使用本领域中的标准OHEM对 样本进行处理，其中，OHEM是通过改进Hard Examp l e Mi n i ng方法， 使其适应在线学习算法，特别是基于SGD的神经网络方法，在本领域中 为常规处理方式，在此不再赘述。

在训练到模型收敛的时候，完成对样本的训练。

本申请实施例提供的训练目标检测模型的方法，在训练目标检测模 型的时候，获取图像样本，所述图像样本标注有目标标签；将所述图像 样本分解为第一颜色图像样本、第二颜色图像样本和第三颜色图像样本， 由于在分解为三种颜色通道的图像样本后，不会将亮度输入到预设神经 网络中训练，避免受到图像样本中的光照和亮度的干扰；将所述第一颜 色图像样本、所述第二颜色图像样本和所述第三颜色图像样本输入预设 神经网络进行迭代训练，在所述预设神经网络收敛时，获得目标检测模 型，由于在训练的时候没有亮度干扰，因此，得到的目标检测模型能够 有效提升目标定位的准确度。

如图4所示，图4是本申请提供的一种目标检测方法，所述方法包 括步骤S401-S403:

S401：获取待测原始图像；

S402:将所述待测原始图像分解为第一颜色通道图像、第二颜色通 道图像和第三颜色通道图像；

S403：将所述第一颜色通道图像、第二颜色通道图像和第三颜色通 道图像输入目标检测模型中，获得第一通道检测结果、第二通道检测结 果和第三通道检测结果，所述目标检测模型采用如上述训练目标检测模 型的方法获得。

具体地，在进行目标检测的时候，获取待测原始图像，该待测原始 图像可以为人脸图像，然后，将所述待测原始图像分解为第一颜色通道 图像、第二颜色通道图像和第三颜色通道图像，从而有效避免亮度分量 对模型的影响，并且，不丢失待测原始图像原有的特征关联。将所述第 一颜色通道图像、第二颜色通道图像和第三颜色通道图像输入目标检测 模型中，获得第一通道检测结果、第二通道检测结果和第三通道检测结 果，从而获得多个通道的检测结果，有效检测密集型目标，比如人脸上 的痘痘。

在所述获得第一通道检测结果、第二通道检测结果和第三通道检测 结果之后，所述方法还可以包括：

通过S_NMS非极大值抑制算法剔除第一通道检测结果、第二通道检 测结果和第三通道检测结果中的重复预测框，确定最终预测结果，包括：

获取第一通道检测结果、第二通道检测结果和第三通道检测结果中 的重复预测框；

对所述重复预测框打分，获得各个重复预测框对应的得分值；

对所述得分值进行排序，且将得分值低于第一分数的重复预测框删 除

具体地，由于采用的是三个通道的检测模块，因此，每一个通道都 能检测出痘痘区域，那么，就会存在第一通道检测结果、第二通道检测 结果和第三通道检测结果都检测到的痘痘区域为同一个区域的情况，因 此，第一通道检测结果、第二通道检测结果和第三通道检测结果的同时 检测有助于弥补单通道检测的漏检问题，尤其是密集目标如密集痘痘， 痘痘与痘痘之间较为接近的情况下，若只采用单通道检测方式，会出现 漏检情况。并且，由于三个通道检测，可能会存在大量的重复预测框， 因此，通过S_NMS非极大值抑制算法剔除第一通道检测结果、第二通道 检测结果和第三通道检测结果中的重复预测框，确定最终预测结果，进 一步地，剔除重复预测框可以包括：

获取第一通道检测结果、第二通道检测结果和第三通道检测结果中 的重复预测框；

对所述重复预测框打分，获得各个重复预测框对应的得分值；

对所述得分值进行排序，且将得分值低于第一分数的重复预测框删 除。

在一些实施例中，对所述重复预测框打分，获得各个重复预测框对 应的得分值，可以包括：

获取各个重复预测框中得分最高的预测框；

获取得分最高的预测框与待处理框的交并比；

根据预设交并比及所述得分最高的预测框与待处理框的交并比，得 到待处理框对应的得分值。

具体地，可以采用非极大值抑制(Non-Maximum Suppress ion,NMS) 算法计算重叠框，如公式2所示：

其中，M表示当前得分最高的预测框，b_i为待处理的预测框，0.4和 0.75表示交并比IoU的阈值，S_i表示得分值。

根据不同的交并比IoU值，获得不同的得分值S_j，如当b_j和M的IoU 值小于0.4，则当前重复的预测框的得分值为原来的得分值S_i，即S_i＝S_i； 当b_i和M的IoU值大于等于0.4，且小于0.75，那么当前重复的预测框 的得分值S_i＝1+log(S_i)；当b_i和M的IoU值大于0.75，则当前重复的 预测框的得分值为S_i＝S_i(1-IoU)，从而得到对各个重复的预测框的得 分值，即重新赋予新的得分值，对得分值二次排序，将最后分值低于预 设分数的区域删除，得分值大于预设分数的保留，作为最终预测结果。 如图5所示，得到人脸的痘痘的最终预测区域和预测类别。

通过利用S-NMS算法删除重叠的候选框，避免两个相近的痘痘因为 IoU重叠值较大的原因而被误删除，能够有效提升预设三通道目标检测 网络模型的召回率。

本申请的实施例，在目标检测的时候，获取待测原始图像，然后， 将所述待测原始图像分解为第一颜色通道图像、第二颜色通道图像和第 三颜色通道图像，避免识别时亮度的干扰；将所述第一颜色通道图像、 第二颜色通道图像和第三颜色通道图像输入目标检测模型中，获得第一 通道检测结果、第二通道检测结果和第三通道检测结果。通过第一通道检测结果、第二通道检测结果和第三通道检测结果，能够有效检测密集 目标，避免两个相近的目标因为交并比重叠值较大的原因而被误删除， 有效提升模型的召回率。

本申请实施例还提供了一种训练目标检测模型的装置，请参阅图6， 其示出了本申请实施例提供的一种训练目标检测模型的装置的结构，该 训练目标检测模型的装置600包括：

样本获取模块601，用于获取图像样本，所述图像样本标注有目标 标签；

第一分解模块602，用于将所述图像样本分解为第一颜色图像样本、 第二颜色图像样本和第三颜色图像样本；

训练模块603，用于将所述第一颜色图像样本、所述第二颜色图像 样本和所述第三颜色图像样本分别输入预设神经网络进行迭代训练，在 所述预设神经网络收敛时，获得目标检测模型；

其中，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色 图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一 通道的所述网络结构进行迭代训练。

本申请的实施例，在训练目标检测模型的时候，获取图像样本，所 述图像样本标注有目标标签；将所述图像样本分解为第一颜色图像样本、 第二颜色图像样本和第三颜色图像样本，由于在分解为三种颜色通道的 图像样本后，不会将亮度输入到预设神经网络中训练，避免受到图像样 本中的光照和亮度的干扰；将所述第一颜色图像样本、所述第二颜色图 像样本和所述第三颜色图像样本输入预设神经网络进行迭代训练，在所 述预设神经网络收敛时，获得目标检测模型，由于在训练的时候没有亮 度干扰，因此，得到的目标检测模型能够有效提升目标定位的准确度。

并且，所述预设神经网络为三通道网络结构，任一通道的所述网络 结构包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色 图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一 通道的所述网络结构进行迭代训练，采用特征金字塔技术，实现多通道 多尺度特征的融合。

在一些实施例中，所述预设神经网络包括第一通道特征提取模块、 第一通道特征融合模块及第一通道SSH检测模块；

所述预设神经网络包括：

第一通道特征提取模块、第二通道特征提取模块和第三通道特征提 取模块；

特征融合模块,用于融合所述第一通道特征提取模块、第二通道特 征提取模块和/或第三通道特征提取模块输出的特征；

第一通道SSH检测模块、第二通道SSH检测模块和第三通道SSH检 测模块。

在一些实施例中，训练模块603，还用于：

利用第一通道特征提取模块对所述第一颜色图像样本进行特征提 取，获取第一颜色通道特征；

所述第一颜色通道特征通过所述第一通道特征融合模块与第二颜 色通道特征和/或第三颜色通道特征进行特征融合，获得第一融合特征；

将所述第一融合特征输入所述第一通道SSH检测模块，获得多个第 一预测框对应的概率和位置；

基于所述第一预测框对应的概率和位置、以及所述目标标签，利用 第一损失函数计算第一损失值；

根据所述第一损失值、第二损失值和第三损失值调整预设神经网络， 直至预设神经网络收敛，获得所述目标检测模型。

在一些实施例中，所述第一损失值、第二损失值和第三损失值的计 算公式如下：

其中，

表示第i通道的目标分类损失，p_j表示预测第j个预 测框为目标的概率，

表示目标标签，L_cls表示交叉熵损失函数；

表示目标标签的标注框回归损失函数，box_j表示正样本框的位置，

表 示目标标签的标注框的位置；R函数表示鲁棒性回归函数。

在一些实施例中，训练模块603，还用于：

从所述第一预测框中选择样本框，基于所述样本框对应的概率和位 置、以及所述目标标签，利用第一损失函数计算第一损失值；

其中，所述样本框包括正样本框，或者正样本框以及负样本框。

在一些实施例中，训练模块603，还用于：

计算所述第一预测框与所述目标标签对应的目标位置之间的交并 比；

如果所述交并比大于第一比值，则将交并比大于第一比值的第一预 测框作为正样本框。

在一些实施例中，训练模块603，还用于：

将第一损失值大于预设损失值对应的第一预测框作为负样本框。

本申请实施例还提供了一种目标检测装置，请参阅图7，其示出了 本申请实施例提供的一种标检测装置的结构，该目标检测装置700包括：

待测图像获取模块701，用于获取待测原始图像；

第二分解模块702，用于将所述待测原始图像分解为第一颜色通道 图像、第二颜色通道图像和第三颜色通道图像；

输入输出模块703，用于将所述第一颜色通道图像、第二颜色通道 图像和第三颜色通道图像输入目标检测模型中，获得第一通道检测结果、 第二通道检测结果和第三通道检测结果，所述目标检测模型采用如第一 方面的方法获得。

本申请的实施例，在目标检测的时候，获取待测原始图像，然后， 将所述待测原始图像分解为第一颜色通道图像、第二颜色通道图像和第 三颜色通道图像，避免识别时亮度的干扰；将所述第一颜色通道图像、 第二颜色通道图像和第三颜色通道图像输入目标检测模型中，获得第一 通道检测结果、第二通道检测结果和第三通道检测结果。通过第一通道检测结果、第二通道检测结果和第三通道检测结果，能够有效检测密集 目标，避免两个相近的目标因为交并比重叠值较大的原因而被误删除， 有效提升模型的召回率。

在一些实施例中，目标检测装置700还包括剔除模块704，用于：

通过S_NMS非极大值抑制算法剔除第一通道检测结果、第二通道检 测结果和第三通道检测结果中的重复预测框，确定最终预测结果。

所述剔除模块704，还用于：

获取第一通道检测结果、第二通道检测结果和第三通道检测结果中 的重复预测框；

对所述重复预测框打分，获得各个重复预测框对应的得分值；

对所述得分值进行排序，且将得分值低于第一分数的重复预测框删 除。

在一些实施例中，剔除模块704，还用于：

获取各个重复预测框中得分最高的预测框；

获取得分最高的预测框与待处理框的交并比；

根据预设交并比及所述得分最高的预测框与待处理框的交并比，得 到待处理框对应的得分值。

需要说明的是，上述装置可执行本申请实施例所提供的方法，具备 执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技 术细节，可参见本申请实施例所提供的方法。

图8为电子设备的一个实施例中控制器的硬件结构示意图，如图8 所示，控制器包括：

一个或多个处理器51、存储器52。图8中以一个处理器51、一个 存储器52为例。

处理器51、存储器52可以通过总线或者其他方式连接，图8中以 通过总线连接为例。

存储器52作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施 例中的目标检测方法对应的程序指令/模块(例如，附图6-7所示的样 本获取模块601、第一分解模块602、训练模块603、待测图像获取模块 701、第二分解模块702、输入输出模块703、剔除模块704)。处理器 51通过运行存储在存储器52中的非易失性软件程序、指令以及模块， 从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例 的目标检测方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储 根据人员进出检测装置的使用所创建的数据等。此外，存储器52可以 包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个 磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远 程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于 互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述一个或 者多个处理器51执行时，执行上述任意方法实施例中的目标检测方法， 例如，执行以上描述的图1中的方法步骤S101至步骤S103，图4中的 方法步骤S401至步骤S403；实现图6中的模块601-603及图7中的模 块701-704的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的 功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本 申请实施例所提供的方法。

本申请实施例提供了一种非易失性计算机可读存储介质，所述计 算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被 一个或多个处理器执行，例如图8中的一个处理器51，可使得上述 一个或多个处理器可执行上述任意方法实施例中的目标检测方法，例 如，执行以上描述的图1中的方法步骤S103，图4中的方法步骤S401 至步骤S403；实现图6中的模块601-603及图7中的模块701-704 的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件 说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分 布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模 块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到 各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬 件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分 流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存 储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方 法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储 记忆体(Read-Only Memory,ROM)或随机存储记忆体 (RandomAccessMemory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非 对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特 征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的 本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人 员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使 相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种训练目标检测模型的方法，其特征在于，所述方法包括：

获取图像样本，所述图像样本标注有目标标签；

将所述图像样本分解为第一颜色图像样本、第二颜色图像样本和第三颜色图像样本；

将所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别输入预设神经网络进行迭代训练，在所述预设神经网络收敛时，获得目标检测模型；

其中，所述预设神经网络为三通道网络结构，任一通道的所述网络结构均包括特征提取模块、特征融合模块及SSH检测模块，所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别通过一通道的所述网络结构进行迭代训练。

2.根据权利要求1所述的方法，其特征在于，所述预设神经网络包括第一通道特征提取模块、第一通道特征融合模块及第一通道SSH检测模块；

所述将所述第一颜色图像样本、所述第二颜色图像样本和所述第三颜色图像样本分别输入预设神经网络进行迭代训练，在所述预设神经网络收敛时，获得目标检测模型，包括：

利用第一通道特征提取模块对所述第一颜色图像样本进行特征提取，获取第一颜色通道特征；

所述第一颜色通道特征通过所述第一通道特征融合模块与第二颜色通道特征和/或第三颜色通道特征进行特征融合，获得第一融合特征；

将所述第一融合特征输入所述第一通道SSH检测模块，获得多个第一预测框对应的概率和位置；

基于所述第一预测框对应的概率和位置、以及所述目标标签计算第一损失值；

根据所述第一损失值、第二损失值和第三损失值调整预设神经网络，直至预设神经网络收敛，获得所述目标检测模型；

其中，所述第一损失值、所述第二损失值及所述第三损失值分别用于指示一所述通道的损失值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一预测框对应的概率和位置、以及所述目标标签计算第一损失值，包括：

从所述第一预测框中选择样本框，基于所述样本框对应的概率和位置、以及所述目标标签，利用第一损失函数计算第一损失值；

所述样本框包括正样本框；所述从所述第一预测框中选择样本框，包括：

计算所述第一预测框与所述目标标签对应的目标位置之间的交并比；

如果所述交并比大于第一比值，则将交并比大于第一比值的第一预测框作为正样本框。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一损失值、第二损失值和第三损失值调整预设神经网络，包括：

根据如下公式调整所述预设神经网络的损失；

其中，i表示所述预设神经网络的通道，

表示第i通道的目标分类损失，p_j表示预测第j个预测框为目标的概率，

表示目标标签，L_cls表示交叉熵损失函数；

表示目标标签的标注框回归损失函数，box_j表示正样本框的位置，

表示目标标签的标注框的位置；R函数表示鲁棒性回归函数。

5.一种目标检测方法，其特征在于，所述方法包括：

获取待测原始图像；

将所述待测原始图像分解为第一颜色通道图像、第二颜色通道图像和第三颜色通道图像；

将所述第一颜色通道图像、第二颜色通道图像和第三颜色通道图像输入目标检测模型中，获得第一通道检测结果、第二通道检测结果和第三通道检测结果，所述目标检测模型采用如权利要求1-4的方法获得。

6.根据权利要求5所述的方法，其特征在于，在所述获得第一通道检测结果、第二通道检测结果和第三通道检测结果之后，所述方法还包括：

通过S_NMS非极大值抑制算法剔除第一通道检测结果、第二通道检测结果和第三通道检测结果中的重复预测框，确定最终预测结果，包括：

获取第一通道检测结果、第二通道检测结果和第三通道检测结果中的重复预测框；

对所述重复预测框打分，获得各个重复预测框对应的得分值；

对所述得分值进行排序，且将得分值低于第一分数的重复预测框删除。

7.根据权利要求6所述的方法，其特征在于，所述对所述重复预测框打分，获得各个重复预测框对应的得分值，包括：

获取各个重复预测框中得分最高的预测框；

获取得分最高的预测框与待处理框的交并比；

根据预设交并比及所述得分最高的预测框与待处理框的交并比，得到待处理框对应的得分值。

8.一种电子设备，其特征在于，包括存储器以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述电子设备实现如权利要求1-7任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

Images