CN114359631A - 基于编码-译码弱监督网络模型的目标分类与定位方法 - Google Patents
基于编码-译码弱监督网络模型的目标分类与定位方法 Download PDFInfo
- Publication number
- CN114359631A CN114359631A CN202111602395.9A CN202111602395A CN114359631A CN 114359631 A CN114359631 A CN 114359631A CN 202111602395 A CN202111602395 A CN 202111602395A CN 114359631 A CN114359631 A CN 114359631A
- Authority
- CN
- China
- Prior art keywords
- network model
- model
- classifier
- encoder
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于编码‑译码弱监督网络模型的图像目标分类与定位的方法，所述方法如下：一、构建带有编码器和译码器的端到端网络模型以及分类层或迁移学习现有的经典网络模型作为编码器和译码器；二、增加前场与背景分离的弱监督模型结构；三、输入目标数据进行训练，最优收敛后保存模型参数；四、调用已优化的网络模型；五、输入待测数据并得到结果。该方法在端到端的卷积神经网络模型基础上，增加了目标区域与背景分离的网络结构以及分类层，利用图像级的标签进行网络的监督，并且以弱监督的方式引导网络生成像素级的图像结果，在无需像素级标签的基础上实现目标区域的分类和定位，避免了像素级标签标定的耗时耗力，大大降低了研究成本。
Description
技术领域
本发明属于图像识别领域，涉及一种基于编码-译码弱监督网络模型的图像目标分类与定位的方法。
背景技术
深度学习技术功能的实现，是将神经网络模型通过训练集进行训练以学习数据集中不同数据特征更新网络参数后达成的。而对于网络模型的训练学习方式，就监督型网络模型而言，主要有三种：全监督、弱监督以及半监督。全监督网络模型的输出与数据对象所包含标签是对应的，对于图像级别的类别标签，输出的是目标的类别，对于像素级别的定位或分割标签，则输出的是目标的定位或分割结果；弱监督的方法是指采用图像级别类别标注(弱标签)来获取分割/定位级别的检测效果；半监督学习通常会使用大量的未标记数据和少部分有标签的数据用于表面缺陷检测模型的训练。在这三种方式中，全监督与弱监督的应用更加的广泛，而基于半监督的方法由于条件限制大部分用于解决缺陷分类或识别任务，很少用于目标的定位任务中。
由于在目标的定位任务中，全监督的模型方案需要训练集具有像素级的标签，这无疑增加了专业人员在图像标定时的工作量，从而增加研究的难度。为了解决这个问题，弱监督的模型方案应运而生，虽然研究人员已经提出了很多不同的弱监督方案，如CAM模型、Grad-CAM模型以及WILDCAT模型，但是它们的表现仍有待完善。
发明内容
针对以上问题，本发明提出了一种基于编码-译码弱监督网络模型的图像目标分类与定位的方法，该方法在端到端的卷积神经网络模型基础上，增加了目标区域与背景分离的网络结构以及分类层，利用图像级的标签进行网络的监督，并且以弱监督的方式引导网络生成像素级的图像结果，在无需像素级标签的基础上实现目标区域的分类和定位，避免了像素级标签标定的耗时耗力，大大降低了研究成本。
本发明的目的是通过以下技术方案实现的：
一种基于编码-译码弱监督网络模型的图像目标分类与定位的方法，包括如下步骤：
步骤一、构建带有编码器和译码器的端到端网络模型以及分类层或迁移学习现有的经典网络模型作为编码器和译码器；
步骤二、增加前场与背景分离的弱监督模型结构；
步骤三、输入目标数据进行训练，最优收敛后保存模型参数；
步骤四、调用通过步骤三得到的已优化的网络模型；
步骤五、输入待测数据并得到结果。
相比于现有技术，本发明具有如下优点：
本发明可以利用现有的模型结构以及优化的参数，通过迁移学习的方式实现跨域的应用，这在一定程度上缓解了目标数据集缺乏导致的过拟合问题；并且，在原有模型的基础上，设计了目标区域与背景分离的网络结构，再通过图像级标签的弱监督引导下，可以在无需像素级标签的情况下实现目标的定位与分类，大大降低了专业人员在需要获取数据像素级标签时的时间与精力成本。
附图说明
图1是编码-译码弱监督网络模型的图像目标分类与定位的方法的流程图；
图2是编码-译码弱监督网络模型。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于编码-译码弱监督网络模型的图像目标分类与定位的方法，如图1所示，所示方法包括如下步骤：
步骤一、构建带有编码器和译码器的端到端网络模型(或选择包括但不限于U-Net、SegNet等经典模型)以及用于目标分类的分类器，包括以下分步骤：
根据目标图像的大小和纹理情况设计带有编码器和译码器的端到端的网络模型。如最简单的卷积核-批归一化-激活函数(如ReLU)作为一个卷积单元，然后若干个卷积单元串联构成一个卷积块，卷积块之间用最大池化等方法进行连接，以降低特征图分辨率，增大网络感受野，这是编码器；对于译码器，与编码器相对应的，由若干卷积块和上采样(如逆最大池化)组成，输出的空间尺寸与编码器输入相同。或迁移学习现有的经典网络模型作为编码器和译码器(迁移学习可以防止目标数据集小而导致的过拟合，并且可以缩短收敛时间)，包括但不限于FCN、U-Net、SegNet等，其中编码器中的下采样过程用保留索引的最大池化，译码器中的上采样过程根据其在编码器中对应的最大池化索引以逆最大池化的方式进行；设计用于目标分类的分类器，可以是若干个全连接层以及激活函数的连接构成，并根据输入神经元的数量决定是否进行神经元的丢失操作。
本步骤根据目标图像的大小和纹理情况设计端到端的网络模型，具有一定的针对性，使得模型更加适用于目标任务；利用保留的最大池化索引可以在译码器中有效的恢复目标区域位置；迁移学习已学习知识的现有经典模型，可以加速网络模型的收敛，并且缓解目标数据训练时的过拟合。
步骤二、增加前场与背景分离的弱监督模型结构，如图2所示，包括以下具体内容：
(a)获取编码器最后一层输出的前场特征图，若模型的初始输入为x1，则编码器最后一层输出的前场特征图gf表示为：gf＝Ge(x1)，其中Ge(·)是编码器的前向传播操作；
(b)将前场特征图输入到分类器当中，输出得到类别概率，可以表示为：pf＝Classifier(gf)，其中pf是分类器输出的类别概率，Classifier(·)是分类器操作；
(c)获取目标区域的单通道二值掩码图m，将前场特征图输入到译码器当中，该过程可以表示为：m＝Gd(gf)，其中Gd(·)是译码器的前向传播操作；
(d)将目标区域的二值掩码图m转换为RGB三通道mRGB，并将输入图片x1中mRGB＞0的对应位置像素置零，获得去除目标区域后的图像x2；
(e)将x2输入到编码器当中，得到去前场后的特征图gb，该过程表示为：gb＝Ge(x2)；
(f)将gb输入到分类器Classifier(·)当中，得到类别概率pb，表示为：pb＝Classifier(gb)。
本步骤中，第一次利用编码器获得与目标区域类别相关的抽象的特征，再通过译码器获得与目标区域位置有关的更加直观的二值掩码，之后通过在源图片上去除目标区域获得无目标背景图，这导致第二次通过译码器获得的特征包含很少的目标特征。
步骤三、输入目标数据进行训练，最优收敛后保存模型参数，包括以下具体内容：
设置训练超参数，选择优化器(如Adam,SGD等)和损失函数(根据分类情况而定，如交叉熵损失函数)，将训练数据导入设计好的模型当中并进行模型的训练，可以通过K折交叉验证的方式进行，训练过程中，通过选择的损失函数计算pf与真值类别之间的损失，以及pb与零类别之间的损失，前者是为了促使网络寻找感兴趣区域，并根据该区域的特征正确分类，后者是对网络进一步的监督，促使网络尽可能地提取与感兴趣区域想关的信息，并通过选择的优化器进行优化(优化过程可以是以梯度下降的方式进行网络参数的更新)，待模型收敛后保存。
本步骤中，利用pf与真值类别之间损失的优化引导编码器更新参数，使得得到的gf中只含有目标区域特征，利用pb与零类别之间损失的优化引导译码器更新参数，使得得到的去除mRGB＞0对应位置像数值的图片x2在经过译码器后得到的gb不含有目标区域特征，这在一定程度上形成了互相博弈的过程，最终使得译码器得到的二值掩码图能够充分反映目标区域的位置。
步骤四、调用通过步骤三得到的已优化的网络模型。
步骤五、输入待测数据并得到结果，包括以下具体内容：
将待测数据输入到已训练好的网络模型当中，得到输入图片的分类，再将输出的二值掩码图通过热力图的方式合成到原图片发当中，从而得到标定目标位置的结果，利用可视化算法可以将该结果显示出来。
本步骤中，利用热力图标定目标位置，可以直观的显示目标区域所在的位置；并且，还可以有效揭示模型最关注的目标区域，即热力值最高的区域，这在一定程度上反映了模型的运行机制。
Claims (6)
1.一种基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述方法包括如下步骤：
步骤一、构建带有编码器和译码器的端到端网络模型以及分类层或迁移学习现有的经典网络模型作为编码器和译码器；
步骤二、增加前场与背景分离的弱监督模型结构；
步骤三、输入目标数据进行训练，最优收敛后保存模型参数；
步骤四、调用通过步骤三得到的已优化的网络模型；
步骤五、输入待测数据并得到结果。
2.根据权利要求1所述的基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述步骤一包括以下具体内容：
(1)根据目标图像的大小和纹理情况设计带有编码器和译码器的端到端的网络模型，或迁移学习现有的经典网络模型作为编码器和译码器；
(2)设计用于目标分类的分类器，该分类器由若干个全连接层以及激活函数的连接构成，并根据输入神经元的数量决定是否进行神经元的丢失操作。
3.根据权利要求1或2所述的基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述经典网络模型为U-Net或SegNet。
4.根据权利要求1所述的基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述步骤二包括以下具体内容：
(a)获取编码器最后一层输出的前场特征图，若模型的初始输入为x1，则编码器最后一层输出的前场特征图gf表示为：gf＝Ge(x1)，其中Ge(·)是编码器的前向传播操作；
(b)将前场特征图输入到分类器当中，输出得到类别概率，可以表示为：pf＝Classifier(gf)，其中pf是分类器输出的类别概率，Classifier(·)是分类器操作；
(c)获取目标区域的单通道二值掩码图m，将前场特征图输入到译码器当中，该过程表示为：m＝Gd(gf)，其中Gd(·)是译码器的前向传播操作；
(d)将目标区域的二值掩码图m转换为RGB三通道mRGB，并将输入图片x1中mRGB＞0的对应位置像素置零，获得去除目标区域后的图像x2；
(e)将x2输入到编码器当中，得到去前场后的特征图gb，该过程表示为：gb＝Ge(x2)；
(f)将gb输入到分类器Classifier(·)当中，得到类别概率pb，表示为：pb＝Classifier(gb)。
5.根据权利要求1所述的基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述步骤三包括以下具体内容：
设置训练超参数，选择优化器和损失函数将训练数据导入设计好的模型当中并进行模型的训练，训练过程中，通过选择的损失函数计算分类器输出的类别概率pf与真值类别之间的损失，以及类别概率pb与零类别之间的损失，并通过选择的优化器进行优化，待模型收敛后保存。
6.根据权利要求1所述的基于编码-译码弱监督网络模型的图像目标分类与定位的方法，其特征在于所述步骤五包括以下具体内容：
将待测数据输入到已训练好的网络模型当中，得到输入图片的分类，再将输出的二值掩码图通过热力图的方式合成到原图片发当中，从而得到标定目标位置的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111602395.9A CN114359631A (zh) | 2021-12-24 | 2021-12-24 | 基于编码-译码弱监督网络模型的目标分类与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111602395.9A CN114359631A (zh) | 2021-12-24 | 2021-12-24 | 基于编码-译码弱监督网络模型的目标分类与定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359631A true CN114359631A (zh) | 2022-04-15 |
Family
ID=81100361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111602395.9A Pending CN114359631A (zh) | 2021-12-24 | 2021-12-24 | 基于编码-译码弱监督网络模型的目标分类与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359631A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152575A (zh) * | 2023-04-18 | 2023-05-23 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
| CN116523914A (zh) * | 2023-07-03 | 2023-08-01 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
| CN117335815A (zh) * | 2023-11-29 | 2024-01-02 | 广东工业大学 | 基于改进原模图神经译码器的训练方法及装置 |
-
2021
- 2021-12-24 CN CN202111602395.9A patent/CN114359631A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152575A (zh) * | 2023-04-18 | 2023-05-23 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
| CN116523914A (zh) * | 2023-07-03 | 2023-08-01 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
| CN116523914B (zh) * | 2023-07-03 | 2023-09-19 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
| CN117335815A (zh) * | 2023-11-29 | 2024-01-02 | 广东工业大学 | 基于改进原模图神经译码器的训练方法及装置 |
| CN117335815B (zh) * | 2023-11-29 | 2024-03-15 | 广东工业大学 | 基于改进原模图神经译码器的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
| CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN109978807B (zh) | 一种基于生成式对抗网络的阴影去除方法 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN111523553B (zh) | 一种基于相似度矩阵的中心点网络多目标检测方法 | |
| CN114359631A (zh) | 基于编码-译码弱监督网络模型的目标分类与定位方法 | |
| CN110956185A (zh) | 一种图像显著目标的检测方法 | |
| CN113158862B (zh) | 一种基于多任务的轻量级实时人脸检测方法 | |
| CN110298387A (zh) | 融入像素级attention机制的深度神经网络目标检测方法 | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN113657560B (zh) | 基于节点分类的弱监督图像语义分割方法及系统 | |
| KR20180048930A (ko) | 분류를 위한 강제된 희소성 | |
| CN107657204A (zh) | 深层网络模型的构建方法及人脸表情识别方法和系统 | |
| CN114692732B (zh) | 一种在线标签更新的方法、系统、装置及存储介质 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
| WO2021158830A1 (en) | Rounding mechanisms for post-training quantization | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN116977844A (zh) | 一种轻量级水下目标实时检测方法 | |
| CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |