CN116884005B - 一种结合卷积网络与图特征的快速语义分割方法与系统 - Google Patents

一种结合卷积网络与图特征的快速语义分割方法与系统 Download PDF

Info

Publication number
CN116884005B
CN116884005B CN202311158791.6A CN202311158791A CN116884005B CN 116884005 B CN116884005 B CN 116884005B CN 202311158791 A CN202311158791 A CN 202311158791A CN 116884005 B CN116884005 B CN 116884005B
Authority
CN
China
Prior art keywords
semantic
graph
semantics
representing
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311158791.6A
Other languages
English (en)
Other versions
CN116884005A (zh
Inventor
夏雪
尤佳榆
鄢杰斌
方玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202311158791.6A priority Critical patent/CN116884005B/zh
Publication of CN116884005A publication Critical patent/CN116884005A/zh
Application granted granted Critical
Publication of CN116884005B publication Critical patent/CN116884005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种结合卷积网络与图特征的快速语义分割方法与系统，该方法包括：获取彩色自然图像，以彩色自然图像作为输入；基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容；自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；利用融合语义内容建模语义特征图的节点关系与通道关系，分别获得基于节点关系的图语义与基于通道关系的空间语义；将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。本发明通过基于空洞卷积构建主干网络，以达到轻量化目的，再捕获空间语义信息和全局上下文信息提高分割精度，在降低参数量的同时达到较优的精度。

Description

一种结合卷积网络与图特征的快速语义分割方法与系统
技术领域
本发明涉及深度学习与计算机视觉分析领域，特别涉及一种结合卷积网络与图特征的快速语义分割方法与系统。
背景技术
为了确保语义分割结果能够支持下游任务，比如场景理解和自动驾驶，分割的准确性是至关重要的，且近年来，语义分割模型在移动设备上的应用需求在迅速增加。然而许多精心设计的语义分割模型需要大量的可学习参数或矩阵乘法运算来获得先进的性能，这会带来较高的计算消耗。如果这些语义分割过程花费太多时间在计算掩码或在内存中存储参数上，很可能会阻碍这些任务的实际应用。
目前现有的语义分割方法中，大多数精度高的网络都存在参数量过大的问题，因此在移动设备上高效运行是当前语义分割任务面临的主要挑战之一。
基于卷积的神经网络能很好的捕获局部信息，但无法直接获取长距离信息。使用自注意力机制的方法可以有效解决这个问题，因此将卷积与注意力机制相结合能够较好的融合局部信息与全局上下文信息，但是自注意力机制的计算量较大，会使得模型的参数量骤增，影响其可用性。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种结合卷积网络与图特征的快速语义分割方法与系统，以解决上述技术问题。
本发明提供了一种结合卷积网络与图特征的快速语义分割方法，所述方法包括如下步骤：
步骤1、获取彩色自然图像，以彩色自然图像作为输入；
步骤2、基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容；
步骤3、自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
步骤4、利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
步骤5、将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
在本发明通过使用基于空洞卷积的内容提取模块获得基础语义内容达到轻量化目的，再通过捕获空间语义信息和全局上下文信息提高分割精度，以解决现有大模型高精度但参数量过大的问题，在降低参数量的同时达到较优的精度。
本发明还提出一种结合卷积网络与图特征的快速语义分割系统，所述系统包括：
内容提取模块，用于获取彩色自然图像，以彩色自然图像作为输入，基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容：
层级内容融合模块，用于自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
自注意力头部模块，用于利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
语义类别输出模块，用于将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
与目前的语义分割网络相比，本发明的有益效果主要在于：
本发明基于深度学习技术、注意力机制与图结构；所设计的基于轻量注意力的层级内容融合模块能够在不增加太多参数量的前提下，提取出网络中不同层级的特征去捕获长距离信息和全局上下文信息，融合低层级特征内容以最大化进行信息复用；并且能够通过图结构建模出特征图的节点关系，通过注意力结构建模出通道关系，获取较为复杂的空间信息；将所获得的图语义与网络深层级特征图相融合，辅助形成最终的语义类别图。经对比实验验证，本发明在语义分割任务上都有良好表现，并且可为场景分析、自动驾驶、看图说话等下游应用任务提供图像内容线索。
本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的一种结合卷积网络与图特征的快速语义分割方法的流程图；
图2为本发明一种结合卷积网络与图特征的快速语义分割方法的总体架构图；
图3为本发明自注意力头部模块的结构图；
图4为本发明提出的一种结合卷积网络与图特征的快速语义分割系统的框架图；
图中，表示逐元素相乘，/>表示逐元素相加。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。
请参阅图1至图3，本发明实施例提供了一种结合卷积网络与图特征的快速语义分割方法，所述方法包括如下步骤：
步骤1、获取彩色自然图像，以彩色自然图像作为输入；
本实施例中采用PASCAL-Person-Part数据集作为训练图像输入到网络中，所有图像都为固定尺寸。
步骤2、基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容；
在上述方案中，采用了一种轻量级主干网络以提取输入图像不同层级的基础语义内容；主干网络包括27层卷积层，主干网络的浅层包括有3层普通卷积层和4层空洞卷积层，其中第7层输出浅层级特征，主干网络的中层包括有9层空洞卷积层，其中第12层和第17层分别输出中层级特征/>和中层级特征/>，主干网络的深层包括有10层空洞卷积层，其中第23层和第27层分为输出高层级特征/>和高层级特征/>，浅层级特征/>、中层级特征/>、中层级特征/>、高层级特征/>和高层级特征/>构成多层级基础语义内容。
步骤3、自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
进一步的，本步骤的具体方法如下：
将中层级特征、中层级特征/>与高层级特征/>进行注意力计算，得到全局注意力，全局注意力存在如下关系式：
；
其中，、/>、/>表示分别作用于/>、/>、/>的卷积层，且卷积层的输出与通道相等，/>表示张量转置，/>表示沿着特征通道的归一化操作，/>代表融合不同层级基础语义的全局注意力；
将全局注意力与浅层级特征/>融合并进行卷积，将卷积结果与高层级特征融合，得到带有全局注意力的融合语义内容/>，带有全局注意力的融合语义内容/>存在如下关系式：
；
其中，表示大小为1x1的卷积层，且输出通道数与高层级特征/>通道数相等。
步骤4、利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义的方法具体包括如下步骤：
利用图卷积操作提取带有全局注意力的融合语义内容的节点关系，获取节点关系的过程存在如下关系式：
；
其中，表示邻接矩阵，/>表示图卷积参数，且邻接矩阵/>与图卷积参数/>通过学习更新，/>表示包含所有节点信息的图特征，/>表示邻接矩阵/>与图特征/>之间的节点关系，/>表示防止过平滑的单位矩阵，/>表示/>归一化操作，图特征的图结构构建方法存在如下关系式：
；
其中，是特征变换的卷积层，/>表示包含所有节点信息的图特征；
利用节点关系获取基于节点关系的图语义，基于节点关系的图语义获取过程存在如下关系式：
；
其中，表示基于节点关系的图语义特征计算，/>表示本路径所输出的基于节点关系的图语义；
对融合语义内容进行降维，以减少计算量，获得降维语义内容，根据降维语义内容，采用自注意力的方式计算全局通道注意力，进而获取通道关系，计算全局通道注意力过程存如下关系式：
；
其中，表示降维语义内容，/>和/>分别表示不同的卷积层，/>表示通道关系，降维语义内容存在如下关系式：
；
其中，表示特征降维操作，/>表示降维语义内容；
根据通道关系，获取基于通道关系的空间语义，获取基于通道关系的空间语义过程存在如下关系式：
；
其中，表示卷积层，/>表示本路径输出的基于通道关系的空间语义。
步骤5、将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果，语义类别图生成过程存在如下关系式：
；
其中，表示聚合后的语义类别图；/>表示上采样层，/>表示上采样后的语义类别图，即为语义分割结果。
在上述方案中，上采样层包括卷积层与双线性插值操作，卷积层的输出通道数量等于语义类别数。
请参阅图4，本发明实施例还提供了一种结合卷积网络与图特征的快速语义分割系统，所述系统包括：
内容提取模块，用于获取彩色自然图像，以彩色自然图像作为输入，基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容：
层级内容融合模块，用于自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
自注意力头部模块，用于利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
语义类别输出模块，用于将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
为了证明本发明相较于现有技术具备优异的性能，本实施例中将本发明与现有模型进行测试对比，本次测试采用两种数据集，测试结果如表1所示，其中，测试集1为PASCAL-Person-Part数据集，测试集2为Cityscapes数据集。评价指标分别为参数量与平均分割交并比(mIoU: Mean Intersectio over Union)。其中前者为计算模型量级的指标，参数值小代表网络更轻；后者为对应类别成分分割准确度指标，体现模型定位与识别的精确度，值越大代表模型分割性能越好。
表1 本发明与现有技术测试对比实例
为了证明本发明各模块的有效性，将本发明不同模块拆分后在Cityscapes数据集上测试，结果如表2所示，评价指标为平均分割交并比。
在表2中，主干网络部分为本发明基于空洞卷积构建的27层卷积层的主干网络；+层级内容融合模块则表示在主干网络基础上增加层级内容融合模块，以自适应融合不同层级的基础语义内容；+自注意力头部模块表示在增加层级内容融合模块部分的基础上进一步增加自注意力头部模块，以获取图语义与空间语义。
表2 本发明的评价指标
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种结合卷积网络与图特征的快速语义分割方法，其特征在于，所述方法包括如下步骤：
步骤1、获取彩色自然图像，以彩色自然图像作为输入；
步骤2、基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容；
步骤3、自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
步骤4、利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
步骤5、将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
2.根据权利要求1所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，在所述步骤2中，主干网络包括27层卷积层，主干网络的浅层包括有3层普通卷积层和4层空洞卷积层，其中第7层输出浅层级特征，主干网络的中层包括有9层空洞卷积层，其中第12层和第17层分别输出中层级特征/>和中层级特征/>，主干网络的深层包括有10层空洞卷积层，其中第23层和第27层分为输出高层级特征/>和高层级特征/>，浅层级特征/>、中层级特征/>、中层级特征/>、高层级特征/>和高层级特征/>构成多层级基础语义内容。
3.根据权利要求2所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，在所述步骤3中，自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容的方法具体包括如下步骤：
将中层级特征、中层级特征/>与高层级特征/>进行注意力计算，得到全局注意力，全局注意力存在如下关系式：
；
其中，、/>、/>表示分别作用于/>、/>、/>的卷积层，且卷积层的输出与通道相等，/>表示张量转置，/>表示沿着特征通道的归一化操作，/>代表融合不同层级基础语义的全局注意力；
将全局注意力与浅层级特征/>融合并进行卷积，将卷积结果与高层级特征/>融合，得到带有全局注意力的融合语义内容/>，带有全局注意力的融合语义内容/>存在如下关系式：
；
其中，表示大小为 1x1 的卷积层，且输出通道数与高层级特征/>通道数相等。
4.根据权利要求3所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，在所述步骤4中，利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义的方法具体包括如下步骤：
利用图卷积操作提取带有全局注意力的融合语义内容的节点关系，获取节点关系的过程存在如下关系式：
；
其中，表示邻接矩阵，/>表示图卷积参数，且邻接矩阵/>与图卷积参数/>通过学习更新，/>表示包含所有节点信息的图特征，/>表示邻接矩阵/>与图特征/>之间的节点关系，表示防止过平滑的单位矩阵，/>表示/>归一化操作；
利用节点关系获取基于节点关系的图语义，基于节点关系的图语义获取过程存在如下关系式：
；
其中，表示基于节点关系的图语义特征计算，/>表示本路径所输出的基于节点关系的图语义；
对融合语义内容进行降维，获得降维语义内容，根据降维语义内容，采用自注意力的方式计算全局通道注意力，进而获取通道关系，计算全局通道注意力过程存如下关系式：
；
其中，表示降维语义内容，/>和/>分别表示不同的卷积层，/>表示通道关系；
根据通道关系，获取基于通道关系的空间语义，获取基于通道关系的空间语义过程存在如下关系式：
；
其中，表示卷积层，/>表示本路径输出的基于通道关系的空间语义。
5.根据权利要求4所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，图特征的图结构构建方法存在如下关系式：
；
其中，是特征变换的卷积层，/>表示包含所有节点信息的图特征。
6.根据权利要求5所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，降维语义内容存在如下关系式：
；
其中，表示特征降维操作，/>表示降维语义内容。
7.根据权利要求6所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，在所述步骤5中，将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果，语义类别图生成过程存在如下关系式：
；
其中，表示聚合后的语义类别图；/>表示上采样层，/>表示上采样后的语义类别图，即为语义分割结果。
8.根据权利要求7所述的一种结合卷积网络与图特征的快速语义分割方法，其特征在于，上采样层包括卷积层与双线性插值操作，卷积层的输出通道数量等于语义类别数。
9.一种结合卷积网络与图特征的快速语义分割系统，其特征在于，所述系统应用如上述权利要求1至8任意一项所述的一种结合卷积网络与图特征的快速语义分割方法，所述系统包括：
内容提取模块，用于获取彩色自然图像，以彩色自然图像作为输入，基于空洞卷积构建主干网络，提取彩色自然图像的不同层级基础语义内容：
层级内容融合模块，用于自适应地融合不同层级的基础语义内容，以获得带有全局注意力的融合语义内容；
自注意力头部模块，用于利用融合语义内容建模语义特征图的节点关系与通道关系，从而分别获得基于节点关系的图语义与基于通道关系的空间语义；
语义类别输出模块，用于将空间语义与图语义聚合为类别特征图，将类别特征图上采样为语义类别图，以语义类别图作为最终的语义分割结果。
CN202311158791.6A 2023-09-08 2023-09-08 一种结合卷积网络与图特征的快速语义分割方法与系统 Active CN116884005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311158791.6A CN116884005B (zh) 2023-09-08 2023-09-08 一种结合卷积网络与图特征的快速语义分割方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311158791.6A CN116884005B (zh) 2023-09-08 2023-09-08 一种结合卷积网络与图特征的快速语义分割方法与系统

Publications (2)

Publication Number Publication Date
CN116884005A CN116884005A (zh) 2023-10-13
CN116884005B true CN116884005B (zh) 2023-11-07

Family

ID=88268513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311158791.6A Active CN116884005B (zh) 2023-09-08 2023-09-08 一种结合卷积网络与图特征的快速语义分割方法与系统

Country Status (1)

Country Link
CN (1) CN116884005B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3015658A1 (en) * 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法
CN113486897A (zh) * 2021-07-29 2021-10-08 辽宁工程技术大学 一种卷积注意力机制上采样解码的语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481862B2 (en) * 2020-02-26 2022-10-25 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3015658A1 (en) * 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法
CN113486897A (zh) * 2021-07-29 2021-10-08 辽宁工程技术大学 一种卷积注意力机制上采样解码的语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全局双边网络的语义分割算法;任天赐;黄向生;丁伟利;安重阳;翟鹏博;;计算机科学(第S1期);171-175 *

Also Published As

Publication number Publication date
CN116884005A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110232394B (zh) 一种多尺度图像语义分割方法
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
US20220230282A1 (en) Image processing method, image processing apparatus, electronic device and computer-readable storage medium
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN111767922B (zh) 一种基于卷积神经网络的图像语义分割方法及网络
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
JP7139749B2 (ja) 画像認識学習装置、画像認識装置、方法、及びプログラム
CN112329801B (zh) 一种卷积神经网络非局部信息构建方法
CN110298841B (zh) 一种基于融合网络的图像多尺度语义分割方法及装置
CN114764868A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114067389A (zh) 一种面部表情的分类方法和电子设备
WO2019196718A1 (zh) 元素图像生成方法、装置及系统
CN110348453B (zh) 一种基于级联的物体检测方法及系统、存储介质及终端
CN111062431A (zh) 图像聚类方法、图像聚类装置、电子设备及存储介质
CN110347853B (zh) 一种基于循环神经网络的图像哈希码生成方法
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111666872B (zh) 一种数据不平衡下的高效行为识别方法
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN116884005B (zh) 一种结合卷积网络与图特征的快速语义分割方法与系统
CN116975347A (zh) 图像生成模型训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant