CN111062964B - 图像分割方法及相关装置 - Google Patents

图像分割方法及相关装置 Download PDF

Info

Publication number
CN111062964B
CN111062964B CN201911191967.1A CN201911191967A CN111062964B CN 111062964 B CN111062964 B CN 111062964B CN 201911191967 A CN201911191967 A CN 201911191967A CN 111062964 B CN111062964 B CN 111062964B
Authority
CN
China
Prior art keywords
image
features
feature
module
image features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911191967.1A
Other languages
English (en)
Other versions
CN111062964A (zh
Inventor
施欣欣
范艳
禹世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY CO LTD
Original Assignee
SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY CO LTD filed Critical SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority to CN201911191967.1A priority Critical patent/CN111062964B/zh
Publication of CN111062964A publication Critical patent/CN111062964A/zh
Application granted granted Critical
Publication of CN111062964B publication Critical patent/CN111062964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分割方法及相关装置，应用于电子设备，电子设备预先配置图像分割网络模型，其包括编码模块、特征平衡模块和解码模块，方法包括：将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像；将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征；将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像；将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果。采用本申请实施例可以提升图像分割精度。

Description

图像分割方法及相关装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像分割方法及相关装置。
背景技术
语义分割的本质是将图像中每一个像素按照其所属类别进行分类，即将图像按目标类别分割成不同的像素区域。语义分割作为场景理解的一个重要组成部分，在目标识别、图像检索、交通违法识别及自动驾驶等领域有着广泛的应用，以交通违法识别为例，现有的语义分割网络通常首先提取输入图像不同层次的特征，然后通过某种方法融合提取到的不同层次的图像特征，然而这些方法并没有考虑到不同层次特征的平衡问题，没有充分的利用所提取的不同层次的特征，因此，降低了图像分割精度。
发明内容
本申请实施例提供了一种图像分割方法及相关装置，可以提升图像分割精度。
第一方面，本申请实施例提供一种图像分割方法，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，所述方法包括：
将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；
将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像；
将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
第二方面，本申请实施例提供了一种图像分割装置，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，所述装置包括：
编码单元，用于将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
特征平衡单元，用于将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；
解码单元，用于将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像；
拼接融合单元，用于将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的图像分割方法及相关装置，应用于电子设备，电子设备预先配置图像分割网络模型，图像分割网络模型包括编码模块、特征平衡模块和解码模块，将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像，N为大于1的整数，将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征，将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果，能够通过特征平衡模块平衡地融合不同层次的特征，使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息，从而，充分的利用所提取的不同层次的图像特征，有助于提升图像分割精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种图像分割方法的流程示意图；
图1B是本申请实施例提供的图像分割网络模型的结构示意图；
图1C是本申请实施例提供的特征平衡模块的结构示意图；
图1D是本申请实施例提供的图像分割网络模型的优化演示示意图；
图2是本申请实施例提供的另一种图像分割方法的流程示意图；
图3是本申请实施例提供的另一种电子设备的结构示意图；
图4是本申请实施例提供的一种图像分割装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、行车记录仪、交通指挥平台、服务器、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备(如智能手表、蓝牙耳机)等，上述仅是举例，而非穷举，包含但不限于上述电子设备，电子设备还可以为服务器，或者，视频矩阵，在此不做限定。
下面对本申请实施例进行详细介绍。
请参阅图1A，图1A是本申请实施例提供的一种图像分割方法的流程示意图，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，如图所示，本图像分割方法包括：
101、将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数。
其中，本申请实施例中，图像分割网络模型可以基于编解码结构实现，其主要思想是在编码模块和解码模块之间嵌入一个特征平衡模块。编码模块可以先实现特征提取功能，再可以逐步实现下采样功能。编码模块可以基于卷积神经网络实现，可以实现逐步对输入图像进行下采样，提取不同层次的特征。输入图像可以为交通场景图像，例如，十字路口图像、路边监控拍摄的图像。
具体实现中，输入图像可以为一张或者多张图像，输入图像可以为交通场景图像，其可以包括：行人、交通指示灯、摄像头、车辆、斑马线、指示牌等等。电子设备可以将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，其中，N为大于1的整数，例如，N为4或者5。请参阅图1B，在N为4时，图像分割网络模型可以包括编码模块、解码模块和特征平衡模块，在输入图像输入到图像分割网络模型，得到一个图像分割结果。
102、将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征。
其中，上述特征平衡模块可以融合不同层次的图像特征。电子设备可以对编码模块中提取的不同层次的特征进行融合，使融合后的特征平衡的包含了不同层次特征的信息，再与解码模块中的特征进行融合，达到提高图像分割精度的目的。
在一个可能的示例中，上述步骤102，将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，可以包括如下步骤：
A21、将所述N层图像特征中每一层图像特征的通道数调整一致，得到调整后的所述N层图像特征；
A22、使用最大池化或者双线性插值将调整后的所述N个图像特征尺寸调整为一致，并基于尺寸一致后的所述N个图像特征进行逐像素加权求和运算，得到N个第一特征；
A23、将所述N个第一特征输入到自注意力模块，得到融合后的所述N个融合图像特征。
其中，上述自注意力模块能够实现注意力机制，该注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征。具体实现中，电子设备可以将N层图像特征中每一层图像特征的通道数调整一致，得到调整后的N层图像特征，并且可以使用最大池化或者双线性插值将调整后的N层图像特征尺寸调整为一致，并基于尺寸一致后的N层图像特征尺寸进行逐像素加权求和，得到N个第一特征，具体地，可以以每一层图像特征的尺寸作为一个尺寸标准，将其他层的图像特征的尺寸调整为与标准尺寸一致，接着，可以将N个第一特征输入到自注意力模块，得到融合后的N个融合图像特征。
举例说明下，特征平衡模块可以实现如下两个步骤：获取平衡的语义特征和精炼平衡的语义特征。
其中，获取平衡的语义特征具体为：可以使用1x1的卷积将编码模块提取的特征{E1/2、E1/4、E1/8、E1/16}的通道数调整到相同(如256)，然后，使用最大池化或双线性插值将其resize到同一尺寸(如原图大小的1/4)，记为I1、I2、I3、I4，再对I1、I2、I3、I4进行逐像素求和取平均，得到平衡的第一特征F1。
Figure BDA0002293795070000061
另外，精炼平衡的语义特征具体为：自注意力机制能通过捕捉全局的信息来获得更大的感受野和上下文信息，将第一特征F1输入自注意力模块得到更具有分辨力的融合图像特征F2。
在一个可能的示例中，在所述特征平衡模块包括Fuse网络和Refine网络时；上述步骤102，将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，可以包括如下步骤：
B21、将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征；
B22、将所述N个初级融合特征输入到所述Refine网络，得到融合后的N个融合图像特征。
其中，特征平衡模块可以包括Fuse网络和Refine网络，其中，Fuse网络能够实现融合功能，Refine网络能够实现精炼功能。请参阅图1C，特征平衡网络包括Fuse网络和Refine网络，且其将Fuse网络的输出数据作为Refine网络的输入数据。图1C中，编码模块提取的“N层图像特征”，即E1/2、E1/4、E1/8、E1/16；特征平衡模块得到的“N个融合图像特征”，即为O1、O2、O3、O4；解码模块中的“N个上采样图像”，即为：D1/16、D1/8、D1/4、D1/2。
103、将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像。
其中，解码模块可以通过双线性插值上采样逐步恢复图像特征的分辨率，并使用编码模块中提取的特征帮助恢复目标的边界细节。
104、将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
其中，电子设备可以对N个上采样图像以及N个融合图像特征在通道维度进行拼接，每次拼接后可以使用一个1x1的卷积对拼接后的特征进行融合，得到图像分割结果，图像分割结果中可以包括目标和背景。
综上，电子设备可以将输入图像输入到编码模块进行特征提取，逐步对输入图像进行下采样，得到N个不同层次的特征，该输入图像为交通场景图像，N一般为4或者5(附图中以n＝4示意)，将N个图像特征输入到特征平衡模块，得到N个融合后的特征(分别与融合之前的N个不同层次的特征的分辨率相同)，再将N个融合后的特征分别与解码模块中的具有相同分辨率的N个特征在通道维度进行拼接，每次拼接后使用一个卷积对拼接后的特征进一步融合，最后得到输入图像的分割结果。
具体实现中，以N为4为例，编码模块可以使用ResNet网络作为主干网络，对输入图像进行特征提取，使用核为3x3，stride＝2的卷积对输入图像进行下采样，逐步提取不同层次的图像特征，取出编码模块中最后一个分辨率分别为原图分辨率1/2、1/4、1/8、1/16的特征，记为E1/2、E1/4、E1/8、E1/16。将E1/2、E1/4、E1/8、E1/16输入特征平衡模块，得到融合后的特征O1、O2、O3、O4。解码模块通过双线性插值对提取的特征进行上采样(上采样倍数为2)，逐步恢复图像特征的分辨率，取出特征D1/16、D1/8、D1/4、D1/2，分别与O1、O2、O3、O4在通道维度进行拼接，每次拼接后使用一个1x1的卷积对拼接后的特征进行融合，得到图像分割结果。而特征平衡模块可以对编码模块中提取的不同层次的特征进行融合，得一个平衡的包含了不同层次特征信息的综合特征。
在一个可能的示例中，针对多个类别中的任意两个类别时，在上述步骤101，将输入图像输入到所述编码模块进行下采样操作之前，还可以包括如下步骤：
C1、获取样本图像以及所述样本图像对应的第一标签图像；
C2、将所述样本图像输入到预设图像分割网络模型，得到预测结果；
C3、对所述预测结果进行标签化处理，得到第二标签图像；
C4、依据所述第一标签图像和所述第二标签图像确定预设损失函数，所述预设损失函数包括权值对，所述权值对包括第一权值和第二权值，所述第一权值用于调整背景的分割结果，所述第二权值用于调整目标分割结果；
C5、将所述预测结果输入到所述预设损失函数，得到运算结果；
C6、依据所述运算结果调整所述预设图像分割网络模型的模型参数，得到所述图像分割网络模型。
其中，预设图像分割网络模型可以预先设置或者系统默认，其也可以基于编解码结构实现，其主要思想是在编码模块和解码模块之间嵌入一个特征平衡模块，与图像分割网络模型类似。上述模型参数可以为编码模块、解码模块和特征平衡模块中任一神经网络模型的模型参数，模型参数具体可以为以下至少一种：卷积核、层数、激活函数类型、度量(metrics)、权值最佳算法(optimize)、batch_size等等，在此不做限定。上述预设损失函数可以为以下至少一种：交叉熵损失函数、铰链损失函数和指数损失函数等等，在此不作限定，其可以预先设置或者系统默认。当然，2个类别可以按照上述方式处理，多个类别以此类推。
其中，预设损失函数可以用如下公式表示：
Loss＝w1*function1+w2*function2
其中，Loss为预设损失函数，function1为第一子损失函数，function2为第二子损失函数，function1为调节背景的函数，w1为function1对应的第一权值，function2为调节目标的函数，w2为function2对应的权值，通过调节w1或者w2的大小，可以对图像分割效果实现调节。
具体实现中，电子设备可以获取样本图像以及该样本图像对应的第一标签图像，其中，第一标签图像中包括两种标签，具体为背景标签和目标标签，例如，背景可以用0表示，目标可以用1表示，进一步地，如图1D所示，电子设备可以将样本图像输入到预设图像分割网络模型，得到预测结果，并对预测结果进行标签化处理，得到第二标签图像，依据第一标签图像和第二标签图像确定预设损失函数，预设损失函数包括权值对，权值对包括第一权值和第二权值，第一权值用于调整背景的分割结果，第二权值用于调整目标分割结果，将预测结果输入到预设损失函数，得到运算结果，依据运算结果调整预设图像分割网络模型的模型参数，得到图像分割网络模型，其中，第一权值和第二权值的取值范围均大于0。
在一个可能的示例中，上述步骤101之前，或者，步骤104之后，或者，步骤C6之后，还可以包括如下步骤：
D1、统计所述图像分割网络模型的训练集中各个类别数据的标签比例，得到多个比例值；
D2、在比例值i小于预设阈值以及比例值j大于或等于所述预设阈值时，将所述比例值j对应的类别作为普通类别数据d1，将所述比例值i对应的类别作为少样本类别数据d2，所述比例值i和所述比例值j为所述多个比例值中的两个比例值；
D3、在训练阶段，循环N次执行如下步骤S1-S2：
S1：从所述d1中抽取第一数据，利用所述第一数据训练所述图像分割网络模型k次，得到k次训练后的所述图像分割网络模型；
S2：从所述d2中抽取第二数据，利用所述第二数据训练经过k次训练后的所述图像分割网络模型，得到再次训练后的所述图像分割网络模型；
其中，所述N为大于1的整数，其中，k＝num(d1)/(n*num(d2))，num(d1)为所述第一数据的样本数量，num(d2)为所述第二数据的样本数量，n为大于0的实数。
具体实现中，预设阈值可以由用于自行设置或者系统默认。某些类别数据占比很少的情况下，从整个数据集(训练集)中随机抽取数据通常难以保证这些少量的样本均匀分布于整个训练过程。统计训练集中各个类别数据的标签比例，若某个类别所占比例小于预设阈值r，则这个别可看成是少样本类别，反之则是普通类别，将整个训练集划分为普通类别数据d1和少样本类别数据d2，针对任意普通类别样本d1以及少数类别样本d2，训练时首先从d1中抽取第一数据，利用该第一数据训练图像分割网络模型k次后，再从d2中抽取第二数据，利用该第二数据继续对图像分割网络模型进行训练，其中，间隔k由d1，d2中样本个数以及一个比例系数n决定。
k＝num(d1)/(n*num(d2))
其中，num(d1)为第一数据的样本数量，num(d2)为第二数据的样本数量，n为大于0的实数。
如此，相当于使少样本类别数据增加n倍，并且，能使这些数据稳定均匀的分布于整个训练集。
具体实现中，可以采集交通场景图像作为样本图像，对采集的图像进行标注，得到标签图像，由于实际的交通场景一般较为复杂，需要分割的类别比较多，因而标注的训练集中往往会出现样本不均衡的现象，某些类别标签在训练集中占比非常低的情况，在这种情况下，如果直接对分割网络进行训练，训练好的分割模型通常会对这些类别的分割效果很差，甚至完全无法分割这些类别数据，可以采用如下方式解决该问题：
语义分割的本质是对图像中每一个像素进行分类，由于交通场景图像中大部分像素是背景，其他类别像素所占比例也差异较大，因此，在训练过程中，大部分背景像素和占比较高的类别像素属于易分负样本，少量的占比较少的类别像素属于难分正样本。难分正样本在训练过程中单个样本的损失函数较高，但是该类样本占总体样本的比例较小，而易分负样本占的比重非常高，虽然单个样本的损失函数较小，但是累计的损失函数会主导损失函数，导致分割模型更趋向于背景和占比较高的类别。对于上述情况，计算网络损失的时候引入一个类别权重w，并使用在线困难样本挖掘(ohem)思想，抑制易分负样本，使模型更多的根据目标类别和难分正样本的损失来优化模型参数的更新方向。
具体地，样本图像可以输入到图像分割网络模型，推理得到预测prediction，根据prediction和输入图像的标签label使用交叉熵损失函数计算网络的损失Loss，可以将Loss根据权重w进行调整，再使用在线难例挖掘(online hard example miniing，ohem)算法，抑制易分负样本的损失，使模型更多的根据目标类别和难分正样本的损失来优化模型参数的更新方向。其中，背景类别权重初始化为1，其他所有目标类别都初始化为1.2，后面根据计算的类别损失来逐步更新。
具体更新方法可以为：每训练1个周期后，测试各类别的交叉比(Intersection-over-Union，IOU)，由各类别的IOU计算得到一个更新后的权重w。
Figure BDA0002293795070000101
Figure BDA0002293795070000102
其中，i为类别，wi为类别i对应的更新后的权值，c为类别总数，wi0为类别i的初始权重，w′i是类别i对应的中间结果，再根据w′i的范围，可以得到更新后的权重wi。
在一个可能的示例中，上述步骤101之前，还可以包括如下步骤：
E1、获取目标静脉图像；
E2、将所述目标静脉图像与预设静脉模板进行匹配；
E3、在所述目标静脉图像与所述预设静脉模板匹配成功时，执行步骤101。
其中，预设静脉模板可以预先保存在电子设备中。电子设备可以获取目标静脉图像，并且将目标静脉图像与预设静脉模板进行匹配，在目标静脉图像与预设静脉模板匹配成功时，执行步骤101，否则，则可以不执行步骤101，如此，可以针对指定用户实现图像分割功能。
在一个可能的示例中，上述步骤E2，将所述目标静脉图像与预设静脉模板进行匹配，可以包括如下步骤：
E21、对所述目标静脉图像进行特征提取，得到第一特征点集；
E22、将所述第一特征点集与所述预设静脉模板的第二特征点集进行匹配，得到多个匹配值；
E23、从所述多个匹配值中选取最大的三个目标匹配值；
E24、获取所述三个目标匹配值对应的特征点对，得到三对特征点对，所述三对特征点对包括来自于所述目标静脉图像的三个目标第一特征点和来自于所述预设静脉模板的三个目标第二特征点，所述三个目标第一特征点不处于同一直线上且所述三个目标第二特征点不处于同一直线上；
E25、将所述三个目标第一特征点构成第一三角形；
E26、将所述三个目标第二特征点构成第二三角形；
E27、在所述第一三角形与所述第二三角形相似时，确定所述目标静脉图像与所述预设静脉图像匹配成功。
其中，本申请实施例中，电子设备可以对目标静脉图像进行特征提取，得到第一特征点集，具体特征提取方式可以为：尺度不变特征变换(scale invariant featuretransform，SIFT)、harris角点检测和SURF算法等等，在此不做限定，基于相同算法，也可以对预设静脉模板进行特征提取，得到第二特征点集，进而，可以将第一特征点集与预设静脉模板的第二特征点集进行匹配，得到多个匹配值。
进一步地，电子设备可以从多个匹配值中选取最大的三个目标匹配值，并获取该三个目标匹配值对应的特征点对，得到三对特征点对，该三对特征点对包括来自于目标静脉图像的三个目标第一特征点和来自于预设静脉模板的三个目标第二特征点，三个目标第一特征点不处于同一直线上且三个目标第二特征点不处于同一直线上。电子设备可以将三个目标第一特征点构成第一三角形，并且可以将三个目标第二特征点构成第二三角形，在第一三角形与第二三角形相似时，确定目标静脉图像与预设静脉图像匹配成功，否则，则确认目标静脉图像与预设静脉图像匹配失败。
可以看出，本申请实施例中所描述的图像分割方法，电子设备预先配置图像分割网络模型，图像分割网络模型包括编码模块、特征平衡模块和解码模块，将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像，N为大于1的整数，将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征，将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果，能够通过特征平衡模块平衡地融合不同层次的特征，使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息，从而，充分的利用所提取的不同层次的图像特征，有助于提升图像分割精度。
与上述图1A所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种图像分割方法的流程示意图，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，如图所示，本图像分割方法包括：
201、将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数。
202、在所述特征平衡模块包括Fuse网络和Refine网络时，将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征。
203、将所述N个初级融合特征输入到所述Refine网络，得到融合后的N个融合图像特征。
204、将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像。
205、将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
其中，上述步骤201-步骤205的具体描述可以参照上述图1A所描述的图像分割方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的图像分割方法，应用于电子设备，电子设备预先配置图像分割网络模型，图像分割网络模型包括编码模块、特征平衡模块和解码模块，将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像，N为大于1的整数，将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征，将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果，能够通过特征平衡模块平衡地融合不同层次的特征，使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息，从而，充分的利用所提取的不同层次的图像特征，有助于提升图像分割精度。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；
将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像；
将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
可以看出，本申请实施例中所描述的电子设备，该电子设备预先配置图像分割网络模型，图像分割网络模型包括编码模块、特征平衡模块和解码模块，将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像，N为大于1的整数，将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征，将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果，能够通过特征平衡模块平衡地融合不同层次的特征，使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息，从而，充分的利用所提取的不同层次的图像特征，有助于提升图像分割精度。
在一个可能的示例中，在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，上述程序包括用于执行以下步骤的指令：
将所述N层图像特征中每一层图像特征的通道数调整一致，得到调整后的所述N层图像特征；
使用最大池化或者双线性插值将调整后的所述N个图像特征尺寸调整为一致，并基于尺寸一致后的所述N个图像特征进行逐像素加权求和运算，得到N个第一特征；
将所述N个第一特征输入到自注意力模块，得到融合后的所述N个融合图像特征。
在一个可能的示例中，在所述特征平衡模块包括Fuse网络和Refine网络时；
在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，上述程序包括用于执行以下步骤的指令：
将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征；
将所述N个初级融合特征输入到所述Refine网络，得到融合后的N个融合图像特征。
在一个可能的示例中，针对多个类别中的任意两个类别时，在所述将输入图像输入到所述编码模块进行下采样操作之前，上述程序还包括用于执行以下步骤的指令：
获取样本图像以及所述样本图像对应的第一标签图像；
将所述样本图像输入到预设图像分割网络模型，得到预测结果；
对所述预测结果进行标签化处理，得到第二标签图像；
依据所述第一标签图像和所述第二标签图像确定预设损失函数，所述预设损失函数包括权值对，所述权值对包括第一权值和第二权值，所述第一权值用于调整背景的分割结果，所述第二权值用于调整目标分割结果；
将所述预测结果输入到所述预设损失函数，得到运算结果；
依据所述运算结果调整所述预设图像分割网络模型的模型参数，得到所述图像分割网络模型。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
统计所述图像分割网络模型的训练集中各个类别数据的标签比例，得到多个比例值；
在比例值i小于预设阈值以及比例值j大于或等于所述预设阈值时，将所述比例值j对应的类别作为普通类别数据d1，将所述比例值i对应的类别作为少样本类别数据d2，所述比例值i和所述比例值j为所述多个比例值中的两个比例值；
循环N次执行如下步骤S1-S2：
S1：从所述d1中抽取第一数据，利用所述第一数据训练所述图像分割网络模型k次，得到k次训练后的所述图像分割网络模型；
S2：从所述d2中抽取第二数据，利用所述第二数据训练经过k次训练后的所述图像分割网络模型，得到再次训练后的所述图像分割网络模型；
其中，所述N为大于1的整数，其中，k＝num(d1)/(n*num(d2))，num(d1)为所述第一数据的样本数量，num(d2)为所述第二数据的样本数量，n为大于0的实数。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的图像分割装置400的功能单元组成框图。该图像分割装置400，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，所述装置400包括：
编码单元401，用于将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
特征平衡单元402，用于将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；
解码单元403，用于将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像；
拼接融合单元404，用于将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果。
可以看出，本申请实施例中所描述的图像分割装置，应用于电子设备，电子设备预先配置图像分割网络模型，图像分割网络模型包括编码模块、特征平衡模块和解码模块，将输入图像输入到编码模块进行特征提取，得到特征图像，并对特征图像逐步进行下采样操作，得到N层图像特征，输入图像为交通场景图像，N为大于1的整数，将N层图像特征输入到特征平衡模块，得到融合后的N个融合图像特征，特征平衡模块用于融合不同层次的图像特征，将N个融合图像特征输入到解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，将N个上采样图像与N个融合图像特征进行拼接融合，得到图像分割结果，能够通过特征平衡模块平衡地融合不同层次的特征，使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息，从而，充分的利用所提取的不同层次的图像特征，有助于提升图像分割精度。
在一个可能的示例中，在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，所述特征平衡单元402具体用于：
将所述N层图像特征中每一层图像特征的通道数调整一致，得到调整后的所述N层图像特征；
使用最大池化或者双线性插值将调整后的所述N个图像特征尺寸调整为一致，并基于尺寸一致后的所述N个图像特征进行逐像素加权求和运算，得到N个第一特征；
将所述N个第一特征输入到自注意力模块，得到融合后的所述N个融合图像特征。
在一个可能的示例中，在所述特征平衡模块包括Fuse网络和Refine网络时；
在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，所述特征平衡单元402具体用于：
将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征；
将所述N个初级融合特征输入到所述Refine网络，得到融合后的N个融合图像特征。
在一个可能的示例中，在所述将输入图像输入到所述编码模块进行下采样操作之前，所述装置400还具体用于：
获取样本图像以及所述样本图像对应的第一标签图像；
将所述样本图像输入到预设图像分割网络模型，得到预测结果；
对所述预测结果进行标签化处理，得到第二标签图像；
依据所述第一标签图像和所述第二标签图像确定预设损失函数，所述预设损失函数包括权值对，所述权值对包括第一权值和第二权值，所述第一权值用于调整背景的分割结果，所述第二权值用于调整目标分割结果；
将所述预测结果输入到所述预设损失函数，得到运算结果；
依据所述运算结果调整所述预设图像分割网络模型的模型参数，得到所述图像分割网络模型。
在一个可能的示例中，所述装置400还具体用于：
统计所述图像分割网络模型的训练集中各个类别数据的标签比例，得到多个比例值；
在比例值i小于预设阈值以及比例值j大于或等于所述预设阈值时，将所述比例值j对应的类别作为普通类别数据d1，将所述比例值i对应的类别作为少样本类别数据d2，所述比例值i和所述比例值j为所述多个比例值中的两个比例值；
循环N次执行如下步骤S1-S2：
S1：从所述d1中抽取第一数据，利用所述第一数据训练所述图像分割网络模型k次，得到k次训练后的所述图像分割网络模型；
S2：从所述d2中抽取第二数据，利用所述第二数据训练经过k次训练后的所述图像分割网络模型，得到再次训练后的所述图像分割网络模型；
其中，所述N为大于1的整数，其中，k＝num(d1)/(n*num(d2))，num(d1)为所述第一数据的样本数量，num(d2)为所述第二数据的样本数量，n为大于0的实数。
可以理解的是，本实施例的图像分割装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种图像分割方法，其特征在于，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，所述方法包括：
将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，所述解码模块通过双线性插值上采样逐步恢复图像特征的分辨率，并使用所述编码模块中提取的特征帮助恢复目标的边界细节；
将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果，以使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息；
其中，所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，包括：
将所述N层图像特征中每一层图像特征的通道数调整一致，得到调整后的所述N层图像特征；
使用最大池化或者双线性插值将调整后的所述N层图像特征尺寸调整为一致，并基于尺寸一致后的所述N层图像特征进行逐像素加权求和运算，得到N个第一特征；
将所述N个第一特征输入到自注意力模块，得到融合后的所述N个融合图像特征；
其中，在所述特征平衡模块包括Fuse网络和Refine网络时；
所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，包括：
将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征；
将所述N个初级融合特征输入到所述Refine网络，得到融合后的所述N个融合图像特征。
2.根据权利要求1所述的方法，其特征在于，针对多个类别中的任意两个类别时，在所述将输入图像输入到所述编码模块进行下采样操作之前，所述方法还包括：
获取样本图像以及所述样本图像对应的第一标签图像；
将所述样本图像输入到预设图像分割网络模型，得到预测结果；
对所述预测结果进行标签化处理，得到第二标签图像；
依据所述第一标签图像和所述第二标签图像确定预设损失函数，所述预设损失函数包括权值对，所述权值对包括第一权值和第二权值，所述第一权值用于调整背景的分割结果，所述第二权值用于调整目标分割结果；
将所述预测结果输入到所述预设损失函数，得到运算结果；
依据所述运算结果调整所述预设图像分割网络模型的模型参数，得到所述图像分割网络模型。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
统计所述图像分割网络模型的训练集中各个类别数据的标签比例，得到多个比例值；
在比例值i小于预设阈值以及比例值j大于或等于所述预设阈值时，将所述比例值j对应的类别作为普通类别数据d1，将所述比例值i对应的类别作为少样本类别数据d2，所述比例值i和所述比例值j为所述多个比例值中的两个比例值；
在训练阶段，循环N次执行如下步骤S1-S2：
S1：从所述d1中抽取第一数据，利用所述第一数据训练所述图像分割网络模型k次，得到k次训练后的所述图像分割网络模型；
S2：从所述d2中抽取第二数据，利用所述第二数据训练经过k次训练后的所述图像分割网络模型，得到再次训练后的所述图像分割网络模型；
其中，所述N为大于1的整数，其中，k=num(d1)/（n*num(d2)），num(d1)为所述第一数据的样本数量，num(d2)为所述第二数据的样本数量，n为大于0的实数。
4.一种图像分割装置，其特征在于，应用于电子设备，所述电子设备预先配置图像分割网络模型，所述图像分割网络模型包括编码模块、特征平衡模块和解码模块，所述装置包括：
编码单元，用于将输入图像输入到所述编码模块进行特征提取，得到特征图像，并对所述特征图像逐步进行下采样操作，得到N层图像特征，所述输入图像为交通场景图像，所述N为大于1的整数；
特征平衡单元，用于将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征，所述特征平衡模块用于融合不同层次的图像特征；
解码单元，用于将所述N个融合图像特征输入到所述解码模块进行上采样，得到N个上采样图像，每一特征融合图像对应一个上采样图像，所述解码模块通过双线性插值上采样逐步恢复图像特征的分辨率，并使用所述编码模块中提取的特征帮助恢复目标的边界细节；
拼接融合单元，用于将所述N个上采样图像与所述N个融合图像特征进行拼接融合，得到图像分割结果，以使融合后的特征能平衡的包含图像泛化的细节信息和抽象的语义信息；
其中，在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，所述特征平衡单元具体用于：
将所述N层图像特征中每一层图像特征的通道数调整一致，得到调整后的所述N层图像特征；
使用最大池化或者双线性插值将调整后的所述N层图像特征尺寸调整为一致，并基于尺寸一致后的所述N层图像特征进行逐像素加权求和运算，得到N个第一特征；
将所述N个第一特征输入到自注意力模块，得到融合后的所述N个融合图像特征；
其中，在所述特征平衡模块包括Fuse网络和Refine网络时；
在所述将所述N层图像特征输入到所述特征平衡模块，得到融合后的N个融合图像特征方面，所述特征平衡单元具体用于：
将所述N层图像特征输入到所述Fuse网络，得到N个初级融合特征；
将所述N个初级融合特征输入到所述Refine网络，得到融合后的N个融合图像特征。
5.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-3任一项所述的方法中的步骤的指令。
6.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。
CN201911191967.1A 2019-11-28 2019-11-28 图像分割方法及相关装置 Active CN111062964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911191967.1A CN111062964B (zh) 2019-11-28 2019-11-28 图像分割方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911191967.1A CN111062964B (zh) 2019-11-28 2019-11-28 图像分割方法及相关装置

Publications (2)

Publication Number Publication Date
CN111062964A CN111062964A (zh) 2020-04-24
CN111062964B true CN111062964B (zh) 2023-07-14

Family

ID=70299130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191967.1A Active CN111062964B (zh) 2019-11-28 2019-11-28 图像分割方法及相关装置

Country Status (1)

Country Link
CN (1) CN111062964B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653103A (zh) * 2020-05-07 2020-09-11 浙江大华技术股份有限公司 一种目标对象的识别方法及装置
CN111798445B (zh) * 2020-07-17 2023-10-31 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN112150470B (zh) * 2020-09-22 2023-10-03 平安科技（深圳）有限公司 图像分割方法、装置、介质及电子设备
CN113240631B (zh) * 2021-04-22 2023-12-12 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113658199B (zh) * 2021-09-02 2023-11-03 中国矿业大学 基于回归修正的染色体实例分割网络
CN115527027A (zh) * 2022-03-04 2022-12-27 西南民族大学 一种基于多特征融合机制的遥感影像地物分割方法
CN116309623B (zh) * 2023-05-17 2023-08-18 广东电网有限责任公司湛江供电局 一种多源信息融合增强的建筑物分割方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678256B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
CN110033003B (zh) * 2019-03-01 2023-12-15 华为技术有限公司 图像分割方法和图像处理装置
CN110120047B (zh) * 2019-04-04 2023-08-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110298361B (zh) * 2019-05-22 2021-05-04 杭州未名信科科技有限公司 一种rgb-d图像的语义分割方法和系统

Also Published As

Publication number Publication date
CN111062964A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111062964B (zh) 图像分割方法及相关装置
CN108537292B (zh) 语义分割网络训练方法、图像语义分割方法及装置
EP3779774B1 (en) Training method for image semantic segmentation model and server
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
KR20220038475A (ko) 비디오 콘텐츠 인식 방법 및 장치, 저장 매체, 및 컴퓨터 디바이스
CN110096617B (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN112288018A (zh) 文字识别网络的训练方法、文字识别方法和装置
CN110781980A (zh) 目标检测模型的训练方法、目标检测方法及装置
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN112927209A (zh) 一种基于cnn的显著性检测系统和方法
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN114495916B (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN112801266B (zh) 神经网络构建方法、装置、设备及介质
CN114398973A (zh) 一种媒体内容标签识别方法、装置、设备及存储介质
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN108960265B (zh) 图像分类过程的优化方法、图像分类方法、装置及系统
CN110490876B (zh) 一种基于轻量级神经网络的图像分割方法
CN112733777A (zh) 一种遥感图像的道路提取方法、装置、设备和存储介质
CN116956117A (zh) 一种标签识别的方法、装置、设备、存储介质及程序产品
CN116468525A (zh) 信息处理方法、装置、电子设备以及计算机存储介质
CN116778180A (zh) 一种基于多级特征和上下文信息融合的rgb-d显著性目标检测方法
CN112307371B (zh) 小程序子服务识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant