CN114511576B - 尺度自适应特征增强深度神经网络的图像分割方法与系统 - Google Patents

尺度自适应特征增强深度神经网络的图像分割方法与系统 Download PDF

Info

Publication number
CN114511576B
CN114511576B CN202210407298.2A CN202210407298A CN114511576B CN 114511576 B CN114511576 B CN 114511576B CN 202210407298 A CN202210407298 A CN 202210407298A CN 114511576 B CN114511576 B CN 114511576B
Authority
CN
China
Prior art keywords
feature
adaptive
image
deep neural
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210407298.2A
Other languages
English (en)
Other versions
CN114511576A (zh
Inventor
袭肖明
宋祚永
张光
聂秀山
孙良运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202210407298.2A priority Critical patent/CN114511576B/zh
Publication of CN114511576A publication Critical patent/CN114511576A/zh
Application granted granted Critical
Publication of CN114511576B publication Critical patent/CN114511576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于基于特定计算模型的计算机系统领域，提供了一种尺度自适应特征增强深度神经网络的图像分割方法与系统。该方法包括，基于输入图像数据采用尺度自适应特征增强深度神经网络，得到预测结果；将输入图像数据进行预处理，得到分割掩码图；基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图。

Description

尺度自适应特征增强深度神经网络的图像分割方法与系统
技术领域
本发明属于基于特定计算模型的计算机系统领域，尤其涉及一种尺度自适应特征增强深度神经网络的图像分割方法与系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
图像分割是数字图像处理至关重要的环节，在目标提取、智能安防、病灶分割等众多领域应用广泛。然而现有的图像分割方法大多是针对于具有一定尺寸大中型目标，对于图像中可视化特征极少的小目标，在性能上难以达到令人满意的效果。例如，在医学图像分割中，由于病症较轻的患者，病灶区域表示信息较小，分割难度较大。因此，关注小目标区域可以克服现有分割方法提取目标尺寸单一的局限性，有助于进一步提升图像分割性能。
深度学习由于其强大的特征学习能力，已成为当今主流的分割方法。然而，由于其层次化的特征学习方式，导致其在学习高层特征时，丢失小目标的信息。同时，由于小目标像素数量较少，使得网络在训练过程中学习大量非小目标区域的知识，忽略了小目标的特性，进而限制了分割性能的提升。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种尺度自适应特征增强深度神经网络的图像分割方法与系统，其可用于小目标图像分割任务，进一步提升图像分割精度。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种尺度自适应特征增强深度神经网络的图像分割方法。
尺度自适应特征增强深度神经网络的图像分割方法，包括：
基于输入图像数据，采用尺度自适应特征增强深度神经网络，得到预测结果；
所述输入图像数据，采用尺度自适应特征增强深度神经网络，得到预测结果的过程包括：
将输入图像数据进行预处理，得到分割掩码图；
基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图。
本发明的第二个方面提供一种尺度自适应特征增强深度神经网络的图像分割系统。
尺度自适应特征增强深度神经网络的图像分割系统，包括：
预测模块，其被配置为：基于输入图像数据采用尺度自适应特征增强深度神经网络，得到预测结果；
模型构建模块，其被配置为：所述尺度自适应特征增强深度神经网络包括图像预处理模块、底层特征提取模块、高层特征提取模块和融合模块；
图像预处理模块，其被配置为：将输入图像数据进行预处理，得到分割掩码图；
底层特征提取模块，其被配置为：基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
高层特征提取模块，其被配置为：提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
融合模块，其被配置为：将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图。
不同于大多数特征提取网络对于底层特征学习和高层特征学习使用相同的特征学习模块，本发明在传统的基网络基础上，提出了一种新的尺度自适应的特征增强网络，使用不同的模块对底层特征和高层特征进行更有效的学习。该网络将特征提取分成低级特征学习和高级特征学习两部分。在低级学习特征中，引入多尺度学习技术，使其可以获取不同大小目标的底层细节信息。在高级特征学习中，引入小目标感知注意力模块，该模块主要用于约束高级特征中要将注意力聚焦于小目标部分，进而防止小目标语义信息的丢失。引入特征级注意力融合模块，用于融合提取到的低级特征和高级特征。引入重要性损失函数，在传统的像素级损失函数中加入重要性权重
Figure 627037DEST_PATH_IMAGE001
，同时引入重要性权重
Figure 667805DEST_PATH_IMAGE001
的稀疏正则化，使得模型在训练过程中关注到数量较少的小目标。
与现有技术相比，本发明的有益效果是：
本发明提出的一种尺度自适应特征增强深度神经网络的图像分割方法与系统，与传统方法相比，该方法在图像分割方面表现出了优异性。一方面，不同于大多数特征提取网络对于底层特征学习和高层特征学习使用相同的特征学习模块，本发明创造性的提出了一种新的尺度自适应的特征增强网络，该网络利用不同的特征学习模块自适应地学习多尺度的底层细节信息，同时，可对高层语义信息进行增强，提升了对于不同大小目标的特征学习能力。另一方面，本发明构建了一种自适应的分类损失函数，可自适应的选择对于像素分类较为重要的像素，使得这些像素在训练阶段能够获得模型重点关注，有助于提升模型对不同大小目标的分割精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例二示出的尺度自适应特征增强深度神经网络的图像分割系统的框架图；
图2是本发明实施例二示出的尺度自适应特征增强深度神经网络的图像分割系统的框架图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
本实施例提供了一种尺度自适应特征增强深度神经网络的图像分割方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括：
基于输入图像数据，采用尺度自适应特征增强深度神经网络，得到预测结果；
所述输入图像数据，采用尺度自适应特征增强深度神经网络，得到预测结果的过程包括：
将输入图像数据进行预处理，得到分割掩码图；
基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图。
本实施例中的一种尺度自适应特征增强深度神经网络实现图像分割的网络模型训练过程，包括如下步骤：
S1：数据集预处理
由于小目标图像样本的像素数量较少，不利于深度神经网络的训练，因此需要对原始数据集中的小目标物体进行数据增强。首先依据分割掩码将数据集图像中的小目标区域复制并随机粘贴到原图像中。在粘贴至新位置前，对图像执行随机变换操作，具体方式包括随机缩放至原尺寸的±30%、随机旋转±20°、增加噪声等。需要特别注意的是，原始目标区域与粘贴的副本间不能互相遮挡。
S2：尺度自适应卷积模块
图像首先被馈送到3个卷积层以提取高分辨率的底层特征
Figure 420866DEST_PATH_IMAGE002
。在这里，根据目标尺寸的不同，将图像分别输入
Figure 456956DEST_PATH_IMAGE003
等多个并行的大小不一的卷积核中，学习不同尺度的底层特征，如纹理、边缘等细节信息。
S3：尺度注意力模块
针对提取到的不同尺度的特征，构建了一个小型的注意力网络,该网络由两个卷积层组成。第一个卷积层使用
Figure 709208DEST_PATH_IMAGE004
的卷积核和ReLU激活函数。第二个卷积层使用
Figure 17698DEST_PATH_IMAGE005
个滤波器，然后再通过softmax逐元素的归一化，生成权重注意力图
Figure 528445DEST_PATH_IMAGE006
。最后将提取到的不同尺度特征
Figure 904194DEST_PATH_IMAGE002
与权重注意力图
Figure 842194DEST_PATH_IMAGE006
相乘，使得提取到的底层特征粒度适应不同目标区域的大小。
S4：高层语义特征提取模块
将学习获得的底层特征
Figure 637981DEST_PATH_IMAGE002
馈送到2个卷积层中，用于提取图像的关键特征信息，得到图像的高层语义特征图
Figure 545894DEST_PATH_IMAGE007
。然后利用拉普拉斯滤波器（Laplacian filter）对学到的高层特征图进行锐化，使得小目标区域的语义特征信息相较于其他区域有明显差别，为计算一致性损失做准备。
S5：小目标感知注意力模块
将分割掩码图馈送到小目标感知注意力模块，该模块首先使用一个卷积层提取特征，然后分别利用两个卷积层获取归一化层的缩放系数与偏置项。将提取到的特征缩放并偏置后输出，将目标的重要信息编码到学到的特征中，得到小目标感知注意力图
Figure 448253DEST_PATH_IMAGE008
，实现对图像分割掩码的重新编码。
S6：计算特征一致性损失
为了使学到的高层特征
Figure 353892DEST_PATH_IMAGE007
的注意力区域与小目标感知注意力图
Figure 433712DEST_PATH_IMAGE008
保持一致，引入一致性正则化，计算特征一致性损失
Figure 286262DEST_PATH_IMAGE009
，特征的注意力区域和小目标感知注意力图越相近，两者的一致性损失就越小。
S7：特征级注意力融合模块
该模块利用注意力机制融合获得的低级特征和高级特征。具体来说，将通过attention操作产生的权重因子
Figure 777548DEST_PATH_IMAGE010
与对应的不同层级特征相乘，然后相加，得到最终融合后的图像全局特征图
Figure 103356DEST_PATH_IMAGE011
。
S8：构建自适应的损失函数
针对图像中的不同像素，在传统的交叉熵损失函数的基础上引入自适应分类权重
Figure 421205DEST_PATH_IMAGE012
，构建自适应损失函数。相较于为所有像素分配相等的权重的方式，自适应分类权重
Figure 562599DEST_PATH_IMAGE013
给予重要像素较大的权重，以突出其重要性。同时引入该权重的稀疏正则化项
Figure 485555DEST_PATH_IMAGE014
，保证权重的稀疏性，进而使得模型在训练时关注到数量较少的重要的像素。这些像素包括小目标像素和容易分错的模糊边缘的少量像素。在该损失函数中，分类重要性权重是通过自动学习的形式得出的。
S9：计算自适应的交叉熵损失
针对经过分割模型获得的全局特征图
Figure 779002DEST_PATH_IMAGE011
，计算各像素的概率最大值所对应的类别，记作
Figure 990672DEST_PATH_IMAGE015
。将像素的预测类别
Figure 529232DEST_PATH_IMAGE016
与真实标签类别
Figure 509957DEST_PATH_IMAGE017
进行自适应的交叉熵损失计算：
Figure 911989DEST_PATH_IMAGE018
。
S10：计算网络模型损失
在这里，将网络模型损失
Figure 84389DEST_PATH_IMAGE019
定义为自适应的交叉熵损失
Figure 879169DEST_PATH_IMAGE020
和特征一致性损失
Figure 557144DEST_PATH_IMAGE021
的组合。特征一致性损失与自适应的交叉熵损失以多次实验得出的一个参数
Figure 349651DEST_PATH_IMAGE022
作为特征一致性损失的系数，然后将其结果与自适应的交叉熵损失相加计算得到网络模型的总损失：
Figure 21066DEST_PATH_IMAGE023
。
S11：网络训练
在网络模型中使用特征一致性损失与自适应的交叉熵损失加权和
Figure 603226DEST_PATH_IMAGE019
做为总损失，重复进行反向传播训练。此过程，损失值会伴随训练轮次的增多而慢慢下降，直至预先设定的训练轮次或者损失值呈现平稳趋势。保存网络模型作为训练结果。
S12：预测阶段
输入待测试的图像数据进入已训练好的网络模型中进行预测，获得图像分割结果图。
实施例二
本实施例提供了一种尺度自适应特征增强深度神经网络的图像分割系统。
如图1所示，尺度自适应特征增强深度神经网络的图像分割系统，包括：
预测模块，其被配置为：基于输入图像数据采用尺度自适应特征增强深度神经网络，得到预测结果；
模型构建模块，其被配置为：所述尺度自适应特征增强深度神经网络包括图像预处理模块、底层特征提取模块、高层特征提取模块和融合模块；
图像预处理模块，其被配置为：将输入图像数据进行预处理，得到分割掩码图；
底层特征提取模块，其被配置为：基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
高层特征提取模块，其被配置为：提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
融合模块，其被配置为：将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图。
如图2所示，对整个图像分割系统模型框架做解释说明。图2中所对应的虚线框内系统为主要执行分割功能的系统模块，其中向量提取模块利用S2与S4中所述模块分别提取底层特征
Figure 886440DEST_PATH_IMAGE024
和高层特征
Figure 866159DEST_PATH_IMAGE025
，然后将二者通过S7中所述特征级注意力融合模块融合，得到全局特征图
Figure 54564DEST_PATH_IMAGE026
。然后进入损失函数计算损失，根据损失函数来反向传播调节网络参数，使网络达到最佳的状态。获取分割结果利用S9中所述网络进行训练，最后输出预测结果。
用户输入待测试图像数据进入分割系统，分割系统内部自动进行特征提取、计算损失函数和计算分割结果三个过程，最后输出分割结果与用户进行交互。
此处需要说明的是，上述预测模块、模型构建模块、图像预处理模块、底层特征提取模块、高层特征提取模块和融合模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，包括：
基于输入图像数据，采用尺度自适应特征增强深度神经网络，得到预测结果；
所述输入图像数据，采用尺度自适应特征增强深度神经网络的过程包括：
将输入图像数据进行预处理，得到分割掩码图；
基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图；
所述尺度自适应特征增强深度神经网络通过训练得到，所述训练的过程采用网络模型损失函数，对所述尺度自适应特征增强深度神经网络进行优化；所述网络模型损失函数包括自适应的交叉熵损失函数；
所述自适应的交叉熵损失函数为，在交叉熵损失函数的基础上引入自适应分类权重
Figure 330088DEST_PATH_IMAGE001
和自适应分类权重
Figure 228773DEST_PATH_IMAGE001
的稀疏正则化项
Figure 63874DEST_PATH_IMAGE002
，构建自适应的交叉熵损失函数；其中，所述自适应分类权重
Figure 73419DEST_PATH_IMAGE001
提高重要像素的权重，以突出其重要性；所述稀疏正则化项
Figure 310365DEST_PATH_IMAGE002
，保证了自适应分类权重
Figure 114373DEST_PATH_IMAGE001
的稀疏性。
2.根据权利要求1所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，所述输入图像数据为待测试的图像数据或者训练的图像数据。
3.根据权利要求1所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，所述预处理具体过程包括：
获取图像样本数据集；
依据分割掩码将图像数据集中的目标区域复制，然后随机粘贴到原图像中，得到分割掩码图和初始图像;
其中，目标区域与粘贴的副本间不能互相遮挡。
4.根据权利要求3所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，在粘贴至新位置前，对图像执行随机变换操作，所述随机变换操作包括随机缩放尺寸、随机旋转或增加噪声中的至少一种。
5.根据权利要求3所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，在得到所述初始图像之后包括：
采用不同尺寸的卷积层提取初始图像在不同尺度的底层特征；
基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；
将不同尺度的底层特征与生成权重注意力图相乘，使得提取到的底层特征粒度适应不同目标区域的大小，得到第一特征图。
6.根据权利要求1所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，得到第二特征图的过程包括：基于第一特征图，提取图像的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，利用两个卷积层获取归一化层的缩放系数与偏置项，将提取到的特征缩放并偏置后输出，得到目标感知注意力图；对高层语义特征图和目标感知注意力图进行一致性正则化处理，得到第二特征图。
7.根据权利要求1所述的尺度自适应特征增强深度神经网络的图像分割方法，其特征在于，在得到所述图像全局特征图之后包括：
计算图像全局特征图每个像素的概率，得到概率最大值所对应的类别；将概率最大值所对应的类别与真实标签类别进行自适应的交叉熵损失值计算。
8.尺度自适应特征增强深度神经网络的图像分割系统，其特征在于，包括：
预测模块，其被配置为：基于输入图像数据采用尺度自适应特征增强深度神经网络，得到预测结果；
模型构建模块，其被配置为：所述尺度自适应特征增强深度神经网络包括图像预处理模块、底层特征提取模块、高层特征提取模块和融合模块；
图像预处理模块，其被配置为：将输入图像数据进行预处理，得到分割掩码图；
底层特征提取模块，其被配置为：基于输入图像数据，提取不同尺度的底层特征；基于不同尺度的底层特征，采用注意力网络，生成权重注意力图；将不同尺度的底层特征和权重注意力图相乘，得到第一特征图；
高层特征提取模块，其被配置为：提取第一特征图的关键特征信息，得到图像的高层语义特征图；提取分割掩码图的特征，得到目标感知注意力图；根据高层语义特征图和目标感知注意力图，得到第二特征图；
融合模块，其被配置为：将第一特征图和第二特征图进行融合，得到用于预测的图像全局特征图；
所述尺度自适应特征增强深度神经网络通过训练得到，所述训练的过程采用网络模型损失函数，对所述尺度自适应特征增强深度神经网络进行优化；所述网络模型损失函数包括自适应的交叉熵损失函数；
所述自适应的交叉熵损失函数为，在交叉熵损失函数的基础上引入自适应分类权重
Figure 577715DEST_PATH_IMAGE001
和自适应分类权重
Figure 250005DEST_PATH_IMAGE001
的稀疏正则化项
Figure 482403DEST_PATH_IMAGE002
，构建自适应的交叉熵损失函数；其中，所述自适应分类权重
Figure 847525DEST_PATH_IMAGE001
提高重要像素的权重，以突出其重要性；所述稀疏正则化项
Figure 532585DEST_PATH_IMAGE002
，保证了自适应分类权重
Figure 883932DEST_PATH_IMAGE001
的稀疏性。
CN202210407298.2A 2022-04-19 2022-04-19 尺度自适应特征增强深度神经网络的图像分割方法与系统 Active CN114511576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210407298.2A CN114511576B (zh) 2022-04-19 2022-04-19 尺度自适应特征增强深度神经网络的图像分割方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210407298.2A CN114511576B (zh) 2022-04-19 2022-04-19 尺度自适应特征增强深度神经网络的图像分割方法与系统

Publications (2)

Publication Number Publication Date
CN114511576A CN114511576A (zh) 2022-05-17
CN114511576B true CN114511576B (zh) 2022-07-12

Family

ID=81555496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210407298.2A Active CN114511576B (zh) 2022-04-19 2022-04-19 尺度自适应特征增强深度神经网络的图像分割方法与系统

Country Status (1)

Country Link
CN (1) CN114511576B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937148B (zh) * 2022-06-08 2024-09-06 华南理工大学 一种小目标特征增强图像分割方法及系统
CN115861745B (zh) * 2022-10-25 2023-06-06 中国交通信息科技集团有限公司 一种用于生成三维模型的二维图像特征提取方法与系统
CN115376094B (zh) * 2022-10-27 2023-02-03 山东聚祥机械股份有限公司 基于尺度感知神经网络的无人清扫车路面识别方法及系统
CN116109655B (zh) * 2023-01-16 2024-06-25 阿里巴巴（中国）有限公司 图像编码器处理方法及装置、图像分割方法
CN117706058B (zh) * 2024-02-04 2024-05-10 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489096A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图匹配模型的低配准精度下遥感图像变化检测方法
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443143B (zh) * 2019-07-09 2020-12-18 武汉科技大学 多分支卷积神经网络融合的遥感图像场景分类方法
US11321863B2 (en) * 2019-09-23 2022-05-03 Toyota Research Institute, Inc. Systems and methods for depth estimation using semantic features
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111462126B (zh) * 2020-04-08 2022-10-11 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN111753671A (zh) * 2020-06-02 2020-10-09 华东师范大学 一种现实场景的人群计数方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN114078132A (zh) * 2020-08-02 2022-02-22 广东技术师范大学 一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法
CN111914948B (zh) * 2020-08-20 2024-07-26 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
US20220067533A1 (en) * 2020-08-27 2022-03-03 Microsoft Technology Licensing, Llc Transformer-Based Neural Network including a Mask Attention Network
CN112837330B (zh) * 2021-03-02 2024-05-10 中国农业大学 基于多尺度双注意力机制和全卷积神经网络的叶分割方法
CN113628191A (zh) * 2021-08-11 2021-11-09 南开大学 一种基于自适应尺度的医学图像分割方法
CN114092820B (zh) * 2022-01-20 2022-04-22 城云科技（中国）有限公司 目标检测方法及应用其的移动目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489096A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图匹配模型的低配准精度下遥感图像变化检测方法
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法

Also Published As

Publication number Publication date
CN114511576A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN107679525B (zh) 图像分类方法、装置及计算机可读存储介质
Chen et al. Saliency detection via the improved hierarchical principal component analysis method
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN115222998B (zh) 一种图像分类方法
CN110610143A (zh) 多任务联合训练的人群计数网络方法、系统、介质及终端
CN112633234A (zh) 人脸去眼镜模型训练、应用方法及其装置、设备和介质
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Ye et al. An improved efficientNetV2 model based on visual attention mechanism: application to identification of cassava disease
Xiang et al. Crowd density estimation method using deep learning for passenger flow detection system in exhibition center
US11948090B2 (en) Method and apparatus for video coding
Li et al. A review of advances in image inpainting research
CN112784831A (zh) 融合多层特征增强注意力机制的文字识别方法
Yu et al. LBP‐based progressive feature aggregation network for low‐light image enhancement
Zhao et al. End‐to‐End Retinex‐Based Illumination Attention Low‐Light Enhancement Network for Autonomous Driving at Night
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN113344200B (zh) 用于训练可分离卷积网络的方法、路侧设备及云控平台
Li et al. Super‐Resolution Reconstruction of Underwater Image Based on Image Sequence Generative Adversarial Network
Chen et al. Application of optimized convolution neural network model in mural segmentation
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant