CN113343991B - 一种特征内增强的弱监督学习方法 - Google Patents

一种特征内增强的弱监督学习方法 Download PDF

Info

Publication number
CN113343991B
CN113343991B CN202110878233.1A CN202110878233A CN113343991B CN 113343991 B CN113343991 B CN 113343991B CN 202110878233 A CN202110878233 A CN 202110878233A CN 113343991 B CN113343991 B CN 113343991B
Authority
CN
China
Prior art keywords
feature map
enhanced
feature
texture
texture feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110878233.1A
Other languages
English (en)
Other versions
CN113343991A (zh
Inventor
王博
乔梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202110878233.1A priority Critical patent/CN113343991B/zh
Publication of CN113343991A publication Critical patent/CN113343991A/zh
Application granted granted Critical
Publication of CN113343991B publication Critical patent/CN113343991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明属于计算机图像识别技术领域，尤其涉及一种特征内增强的弱监督学习方法，利用浅层卷积神经网络提取输入图像的浅层特征，获得高分辨率的纹理特征图；对纹理特征图进行特征内增强处理，获得增强后的纹理特征图；利用深层卷积神经网络提取纹理特征图的深层特征，用于计算损失函数。本发明采用特征内增强结构，通过在神经网络中对图像学习获得的特征图进行筛选目标区域特征，并在该特征中对目标区域特征增强，实现了单轮迭代训练的弱监督学习数据增强以提升模型的识别能力，大幅度缩短了模型训练耗时。

Description

一种特征内增强的弱监督学习方法
技术领域
本发明属于计算机图像识别技术领域，尤其涉及一种特征内增强的弱监督学习方法。
背景技术
随着图像识别技术的发展，如何使用少量样本训练出准确率高、泛化性强的模型，一直是业界研究的方向之一，其中又以数据增强方法简单高效，通过对图像进行缩放、替换等变换组合达到数据增广的目的。
常用的数据增强方法都是随机的选择需要应用变换的区域，这种方式结构灵活、易于实现，但是随机过程中会引入图像中的背景噪声；后来逐渐引入弱监督学习的方式，在训练过程中通过注意力机制对没有精细标注的图像目标区域进行筛选，对筛选后的图像区域再进行增强操作。
公开号CN111680701A的专利“图像识别模型的训练方法、装置及图像识别方法、装置”提出了一种采用弱监督学习方式进行区域替换的数据增强方法，其通过神经网络学习的特征图筛选目标区域，并映射至原始图像，对原始图像组进行区域混合叠加，再进行二次学习实现模型识别能力的增强。
上述专利的技术方案虽然引入弱监督学习的方式，使模型训练过程中，重点学习目标区域的特征，但是其提出的区域混合叠加方式针对原始图像进行二次学习，相当于一轮迭代中，实际对数据进行了两轮训练，训练时间长。
发明内容
本发明提供了一种特征内增强的弱监督学习方法，拟解决背景技术中提到的区域混合叠加方式针对原始图像进行二次学习，需要进行两轮训练，导致训练时间长的问题。
一种特征内增强的弱监督学习方法，包括以下步骤：
步骤1：利用浅层卷积神经网络提取输入图像的浅层特征，获得高分辨率的纹理特征图；
步骤2：对纹理特征图进行特征内增强处理，获得增强后的纹理特征图；
步骤3：利用深层卷积神经网络提取纹理特征图的深层特征，用于计算损失函数。
优选的，所述步骤1包括：
步骤1.1：通过1倍卷积核提取输入图像宽高尺寸缩放0.5倍的初始特征图；
步骤1.2：利用1倍卷积组对初始特征图提取宽高尺寸不变的浅层特征、利用2倍卷积组对初始特征图提取宽高缩放0.5倍的浅层特征，对上述两个浅层特征在通道维度组合，获得纹理特征图。
优选的，所述步骤2包括：
步骤2.1：对纹理特征图的每个通道特征图分别进行归一化处理，获得归一化特征图；
步骤2.2：选取阈值，对归一化特征图筛选显著特征图，高于阈值的为有效特征区域，低于阈值的为无效特征区域；
步骤2.3：以显著特征图的特征峰点为中心，以特征峰点最近的特征低点为边界，确定增强特征范围，将增强特征范围复制到无效特征区域，得到增强后的纹理特征图。
优选的，所述步骤3包括：
步骤3.1：分别利用1倍卷积组、2倍卷积组、4倍卷积组和8倍卷积组提取步骤2.3中增强后的纹理特征图的深层特征；
利用1倍卷积组对增强后的纹理特征图提取高宽尺寸不变的深层特征；
利用2倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.5倍的深层特征；
利用4倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.25倍的深层特征；
利用8倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.125倍的深层特征；
对上述四个深层特征在通道维度组合，获得纹理特征图；
步骤3.2：对步骤3.1中获得的纹理特征图进行全连接层处理得到特征向量，并计算损失函数。
与现有技术相比本发明的有益效果是：本发明采用特征内增强结构，通过在神经网络中对图像学习获得的特征图进行筛选目标区域特征，并在该特征图中对目标区域特征增强，实现了单轮迭代训练的弱监督学习数据增强以提升模型的识别能力，大幅度缩短了模型训练耗时。
附图说明
图1为本发明的流程图。
图2为本发明步骤1中的浅层特征提取示意图。
图3为本发明步骤2中的具体步骤流程示意图。
图4为本发明步骤3中的深层特征提取示意图。
图5为本发明的增强区域以及待增强区域示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1到附图5所示，一种特征内增强的弱监督学习方法，包括以下步骤：
步骤1：利用浅层卷积神经网络提取输入图像的浅层特征，获得高分辨率的纹理特征图；
参见附图2所示，所述步骤1包括，步骤1.1：通过1倍卷积核提取输入图像宽高尺寸缩放0.5倍的初始特征图；
例如：输入图像的形状为（256,256，3），第一个卷积核参数为核尺寸3*3、步长为2、边界填充为1，经过该卷积核计算后可以得到形状为（128，128，32）的初始特征图，尺寸在原有基础上缩小了0.5倍。
所述图像的形状为（256,256，3），其中（256,256，3）分别代表图像的宽度、高度和通道数；即图像的形状为（宽度、高度、通道数）。
所述特征图尺寸计算公式如下：输出尺寸=[(输入尺寸+2倍边界填充-核尺寸)/步长]+1。
步骤1.2：利用1倍卷积组对初始特征图提取宽高尺寸不变的浅层特征、利用2倍卷积组提对初始特征图提取宽高缩放0.5倍的浅层特征，对上述两个浅层特征在通道维度组合，获得纹理特征图。
例如：1倍卷积组和2倍卷积组中的卷积核参数均为尺寸为3*3、步长为1、边界填充为1，经其计算后特征图尺寸保持不变；1倍卷积组到2倍卷积组的卷积核参数为核尺寸3*3、步长为2、边界填充为1，使的特征图尺寸变为0.5倍；2倍卷积组到1倍卷积组的操作为上采样，使得特征图尺寸变为2倍；1倍卷积组和2倍卷积组之间经过卷积缩放、上采样使得与各自尺寸保持一致。
上述各自尺寸指的是初始特征图的高宽尺寸一致，如:初始特征图宽高为（128,128），1倍卷积组处理后的特征图宽高为（128,128），2倍卷积组处理后的特征图宽高为（64,64），然后2倍卷积组的特征图上采样（即尺寸扩大一倍），变为（128,128），达到尺寸一致。
步骤2：对纹理特征图进行特征内增强处理，获得增强后的纹理特征图；
步骤2.1：对纹理特征图的每个通道特征图分别进行归一化处理，获得归一化特征图；
例如：纹理特征图的尺寸为（128,128,64），对于每个通道的特征图尺寸为（128，128），（128，128）代表宽高尺寸，按照归一化公式计算进行归一化处理，使得特征都归一化至[0，1]。
按照归一化公式处理可将特征图上的每个特征点的值等比例缩放到[0，1]范围内。
所述归一化公式如下：输出特征=（输入特征–最小特征）/（最大特征-最小特征）。
步骤2.2：选取阈值，对归一化特征图筛选显著特征图，大于阈值的为有效特征区域，小于阈值的为无效特征区域；
例如：在0.4到0.6中随机选择一个阈值为0.56，对每个特征图中小于该阈值的特征置0，大于阈值的特征保持不变。
步骤2.3：以显著特征图的特征峰点为中心，以特征峰点最近的特征低点为边界，确定增强特征范围，将增强特征范围复制到无效特征区域，得到增强后的纹理特征图。
例如：统计有效特征中的特征峰值数量，随机选取一个峰值作为复制中心，如图5所示，0.8为所选取的特征峰值，A框区域则为待增强的区域，B框区域为增强区域的覆盖区域。
步骤3：利用深层卷积神经网络提取纹理特征图的深层特征，用于计算损失函数。
步骤3.1：分别利用1倍卷积组、2倍卷积组、4倍卷积组和8倍卷积组提取步骤2.3中增强后的纹理特征图的深层特征；
利用1倍卷积组对增强后的纹理特征图提取高宽尺寸不变的深层特征；
利用2倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.5倍的深层特征；
利用4倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.25倍的深层特征；
利用8倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.125倍的深层特征；
对上述四个深层特征在通道维度组合，获得纹理特征图；
例如：1倍卷积组、2倍卷积组、4倍卷积组和8倍卷积组中的卷积核参数的核尺寸均为3*3、步长为1，边界填充为1，经其计算后特征图尺寸保持不变；1倍卷积组到2倍卷积组、2倍卷积组到4倍卷积组、4倍卷积组到8倍卷积组的卷积核参数的核尺寸为3*3、步长为1，边界填充为1，使得特征图尺寸变为0.5倍；2倍卷积组到1倍卷积组、4倍卷积组到2倍卷积组、8倍卷积组到4倍卷积组的操作为上采样，使得特征图尺寸变为2倍。N倍和2N倍（N=1、2、4）间经过卷积缩放、上采样使得每组特征图的尺寸保持一致。
步骤3.2：对步骤3.1中获得的纹理特征图进行全连接层处理得到特征向量，并计算损失函数。
例如：纹理特征图的形状为（16,16，512），经过一个核尺寸为3*3、步长为2、边界填充为1的卷积核处理变为（8,8，512），后经过一个核尺寸为1*1的卷积核处理，得到特征图尺寸（8,8，num_classes），再经过全局平均池化处理得到长度为num_classes的特征向量，用于计算损失函数，其中num_classes为训练样本的类别总数。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种特征内增强的弱监督学习方法，其特征在于，包括以下步骤：
步骤1：利用浅层卷积神经网络提取输入图像的浅层特征，获得高分辨率的纹理特征图；
步骤2：对纹理特征图进行特征内增强处理，获得增强后的纹理特征图；
步骤3：利用深层卷积神经网络提取纹理特征图的深层特征，用于计算损失函数；
所述步骤2包括：
步骤2.1：对纹理特征图的每个通道特征图分别进行归一化处理，获得归一化特征图；
步骤2.2：选取阈值，对归一化特征图筛选显著特征图，高于阈值的为有效特征区域，低于阈值的为无效特征区域；
步骤2.3：以显著特征图的特征峰点为中心，以特征峰点最近的特征低点为边界，确定增强特征范围，将增强特征范围复制到无效特征区域，得到增强后的纹理特征图。
2.根据权利要求1所述的一种特征内增强的弱监督学习方法，其特征在于，所述步骤1包括：
步骤1.1：通过1倍卷积核提取输入图像宽高尺寸缩放0.5倍的初始特征图；
步骤1.2：利用1倍卷积组对初始特征图提取宽高尺寸不变的浅层特征、利用2倍卷积组对初始特征图提取宽高缩放0.5倍的浅层特征，对上述两个浅层特征在通道维度组合，获得纹理特征图。
3.根据权利要求2所述的一种特征内增强的弱监督学习方法，其特征在于，所述步骤3包括：
步骤3.1：分别利用1倍卷积组、2倍卷积组、4倍卷积组和8倍卷积组提取步骤2.3中增强后的纹理特征图的深层特征；
利用1倍卷积组对增强后的纹理特征图提取高宽尺寸不变的深层特征；
利用2倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.5倍的深层特征；
利用4倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.25倍的深层特征；
利用8倍卷积组对增强后的纹理特征图提取高宽尺寸缩放0.125倍的深层特征；
对上述四个深层特征在通道维度组合，获得纹理特征图；
步骤3.2：对步骤3.1中获得的纹理特征图进行全连接层处理得到特征向量，并计算损失函数。
4.根据权利要求2所述的一种特征内增强的弱监督学习方法，其特征在于，所述纹理特征图和初始特征图尺寸计算公式如下：输出尺寸=[(输入尺寸+2倍边界填充-核尺寸)/步长]+1。
5.根据权利要求1所述的一种特征内增强的弱监督学习方法，其特征在于，所述归一化处理采用的归一化公式如下：输出特征=（输入特征–最小特征）/（最大特征-最小特征）。
CN202110878233.1A 2021-08-02 2021-08-02 一种特征内增强的弱监督学习方法 Active CN113343991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110878233.1A CN113343991B (zh) 2021-08-02 2021-08-02 一种特征内增强的弱监督学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110878233.1A CN113343991B (zh) 2021-08-02 2021-08-02 一种特征内增强的弱监督学习方法

Publications (2)

Publication Number Publication Date
CN113343991A CN113343991A (zh) 2021-09-03
CN113343991B true CN113343991B (zh) 2023-06-09

Family

ID=77480535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110878233.1A Active CN113343991B (zh) 2021-08-02 2021-08-02 一种特征内增强的弱监督学习方法

Country Status (1)

Country Link
CN (1) CN113343991B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN111882489A (zh) * 2020-05-15 2020-11-03 东北石油大学 用于水下图像同时增强的超分辨率图形恢复方法
CN111951195A (zh) * 2020-07-08 2020-11-17 华为技术有限公司 图像增强方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2957610B1 (fr) * 2010-03-17 2012-03-23 Freudenberg Politex Sa Produit non-tisse contenant des particules organiques et/ou minerales et son procede de fabrication
US10621747B2 (en) * 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
WO2019067960A1 (en) * 2017-09-28 2019-04-04 D5Ai Llc AGGRESSIVE DEVELOPMENT USING COOPERATIVE GENERATORS
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
CN108629367B (zh) * 2018-03-22 2022-04-26 中山大学 一种基于深度网络增强服装属性识别精度的方法
CN111680701B (zh) * 2020-05-07 2023-04-07 北京三快在线科技有限公司 图像识别模型的训练方法、装置及图像识别方法、装置
CN112052783B (zh) * 2020-09-02 2024-04-09 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112818903B (zh) * 2020-12-10 2022-06-07 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN113052188A (zh) * 2021-03-26 2021-06-29 大连理工大学人工智能大连研究院 一种遥感图像目标检测方法、系统、设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN111882489A (zh) * 2020-05-15 2020-11-03 东北石油大学 用于水下图像同时增强的超分辨率图形恢复方法
CN111951195A (zh) * 2020-07-08 2020-11-17 华为技术有限公司 图像增强方法及装置

Also Published As

Publication number Publication date
CN113343991A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Liu et al. Multi-level wavelet-CNN for image restoration
Li et al. Wavelet integrated CNNs for noise-robust image classification
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN107886169B (zh) 一种基于文本-图像生成对抗网络模型的多尺度卷积核方法
CN109389585B (zh) 一种基于全卷积神经网络的脑组织提取方法
CN109377459B (zh) 一种生成式对抗网络的超分辨率去模糊方法
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN112132959A (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN107590785A (zh) 一种基于sobel算子的布里渊散射谱图像识别方法
CN110992295A (zh) 基于小波-red卷积神经网络的低剂量ct重建方法
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
CN110335322B (zh) 基于图像的道路识别方法及道路识别装置
CN113343991B (zh) 一种特征内增强的弱监督学习方法
CN113781343A (zh) 一种超分辨率图像质量提升方法
Xing et al. Digital rock resolution Enhancement and detail recovery with multi attention neural network
CN111563843B (zh) 一种图像超分辨重构方法、系统及相关装置
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116778470A (zh) 对象识别及对象识别模型训练方法、装置、设备及介质
CN111986079A (zh) 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置
CN116468083A (zh) 一种基于Transformer的生成对抗网络方法
CN116542924A (zh) 一种前列腺病灶区域检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant