CN112465801B - 一种分尺度提取掩码特征的实例分割方法 - Google Patents

一种分尺度提取掩码特征的实例分割方法 Download PDF

Info

Publication number
CN112465801B
CN112465801B CN202011451909.0A CN202011451909A CN112465801B CN 112465801 B CN112465801 B CN 112465801B CN 202011451909 A CN202011451909 A CN 202011451909A CN 112465801 B CN112465801 B CN 112465801B
Authority
CN
China
Prior art keywords
mask
feature map
image
branches
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011451909.0A
Other languages
English (en)
Other versions
CN112465801A (zh
Inventor
朱皞罡
安山
杨汀阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011451909.0A priority Critical patent/CN112465801B/zh
Publication of CN112465801A publication Critical patent/CN112465801A/zh
Application granted granted Critical
Publication of CN112465801B publication Critical patent/CN112465801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明公开了一种分尺度提取掩码特征的实例分割方法，所述方法包括，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图；根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数，从而提升分割网络对目标尺度变化的鲁棒性，并进一步提高图像实例分割的精确度。

Description

一种分尺度提取掩码特征的实例分割方法
技术领域
本发明涉及图像分割技术领域，特别涉及一种分尺度提取掩码特征的实例分割方法。
背景技术
随着深度神经网络技术的发展，出现了各种图像实例分割模型，当前学术界性能指标最好的算法是SOLO算法(Segmenting Objects by Locations)以及其改进版本SOLOv2。而在实例分割中影响实例掩码质量的主要因素是，预测的卷积核参数和掩码特征图。
现有技术中，对不同尺度的目标，掩码特征分支都是通过一个1*1的卷积层提取一个掩码特征图，该掩码特征图被各个卷积核参数共享，而该共享掩码特征图的表征能力是不充分的，并不能很好的反映出被处理图像的全部特征，从而影响了实例掩码的质量，进一步的影响图像实例分割的精确度。
因此，如何提升分割网络对目标尺度变化的鲁棒性，并进一步提高图像实例分割的精确度，是目前有待解决的技术问题。
发明内容
本发明提供了一种分尺度提取掩码特征的实例分割方法，用于解决现有技术中图像实例分割的精确度不高的技术问题，所述方法包括：
基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；
基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；
基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；
根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行实例分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数。
一些实施例中，在基于所述预设实例分割模型的掩码卷积核分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的各个特征图的卷积核参数之前，所述方法还包括：
对各所述特征图进行双线性插值，以分别得到预设尺寸的特征图。
一些实施例中，在基于所述预设实例分割模型的分尺度掩码特征图分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的多个待处理图像的掩码特征图之前，所述方法还包括：
去除尺寸最小的所述特征图，将剩余所述特征图采样至所述待处理图像尺寸的四分之一大小并合并。
一些实施例中，在根据同一语义类别的各个所述掩码特征图与对应的目标卷积核参数生成实例掩码之前，所述方法还包括：
根据所述扩张率确定目标尺寸范围；
根据所述目标尺寸范围从多个所述特征图中确定目标特征图；
根据所述目标特征图确定所述目标卷积核参数。
一些实施例中，根据所述扩张率确定目标尺寸范围，具体为：
获取待处理图像所有所述特征图的尺寸范围；
基于所述扩张卷积分支的数量将所述尺寸范围划分为多个所述目标尺寸范围，所述目标尺寸范围的数量与所述扩张卷积分支的数量相同；
根据所述扩张率的大小确定所述目标尺寸范围。
一些实施例中，在根据同一语义类别的各个所述掩码特征图与对应的目标卷积核参数生成实例掩码之前，所述方法还包括：
基于所述预设实例分割模型的分类分支与所述特征图确定所述语义类别。
一些实施例中，所述预设实例分割模型的损失函数包括所述分类分支的损失函数和所述分尺度掩码特征图分支的损失函数，所述分尺度掩码特征图分支的损失函数为各个扩张卷积分支的损失函数的和。
一些实施例中，在基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图之前，所述方法还包括：
通过预设数据增强策略对所述待处理图像进行数据增强，使所述待处理图像的样本得到扩充。
相应的，本申请还提出了一种图像实例分割设备，所述设备法包括：
特征图获取模块，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；
掩码卷积核模块，基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定所述待处理图像的各个特征图的卷积核参数；
分尺度掩码特征图模块，基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；
实例掩码生成模块，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数。
相应的，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的方法。
与现有技术相比，本申请具有以下有益效果：
本发明公开了一种分尺度提取掩码特征的实例分割方法及设备，所述方法包括，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数，通过采用不同扩张率的扩张卷积分支对不同尺度的特征图提取掩码特征图，从而提升分割网络对目标尺度变化的鲁棒性，并进一步提高图像实例分割的精确度。
附图说明
图1为本申请实施例提出的一种分尺度提取掩码特征的实例分割方法的流程示意图；
图2为本申请实施例提出的不同扩张率的扩张卷积的感受野示意图；
图3为本申请另一实施例提出的一种分尺度提取掩码特征的实例分割方法的流程示意图；
图4为本申请具体实施例提出的一种分尺度提取掩码特征的实例分割方法的流程示意图；
图5为本申请实施例提出的一种分尺度提取掩码特征的实例分割设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
如背景技术所述，现有技术中对不同尺度的目标，掩码特征分支都是通过一个1*1的卷积层提取一个掩码特征图，该掩码特征图被各个卷积核参数共享，而该共享掩码特征图的表征能力是不充分的，并不能很好的反映出待处理图像的全部特征，从而影响了实例掩码的质量，进一步的影响图像实例分割的精确度。
为了解决上述问题，本申请提出了一种分尺度提取掩码特征的实例分割方法，如图1所示，所示方法包括：
S101，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图。
本步骤中，预设实例分割模型是通过待处理图像学习训练得到的，预设实例分割模型的骨干神经网络主要用于提取待处理图像的特征图，本步骤中，根据待处理图像的目标不同可以获取到多个不同尺寸的特征图。该尺寸主要指分辨率，一般分辨率大的特征图用来表征待处理图像的小目标。
S102，基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数。
本步骤中，在获取到多个待处理图像的特征图后，根据预设实例分割模型的掩码卷积核分支对待处理图像的特征图进行卷积处理，得到各个特征图对应的卷积核参数。可选的，卷积核参数为一个D维向量，对于3*3的卷积核，D＝9E个参数，其中，E是与卷积核参数进行卷积的特征图通道数。
为了准确的得到各个特征图的卷积核参数，在一些实施例中，在基于所述预设实例分割模型的掩码卷积核分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的各个特征图的卷积核参数之前，所述方法还包括：
对各所述特征图进行双线性插值，以分别得到预设尺寸的特征图。
具体的，在得到待处理图像的多个不同尺寸的特征图后，先将各个特征图进行双线插值，得到预设尺寸的特征图，该预设尺寸可以根据实际情况进行设置，可选的，当特征图数量为5时，对应的预设尺寸从大到小的分辨率依次为：40*40、36*36、24*24、16*16、12*12。当然本领域技术人员也可以根据特征图的数量以及实际情况设置其他的预设尺寸，一般而言，特征图的尺寸越大设置的预设尺寸也越大。在得到预设尺寸的特征图之后，再对该预设尺寸的特征图做卷积处理，以得到特征图对应的卷积核参数。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他在对特征图进行卷积获取卷积核参数之前对特征图进行处理的方法都属于本申请的保护范围。
S103，基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图。
本步骤中，在得到待处理图像的特征图后，通过预设实例分割模型的分尺度掩码特征图分支对特征图进行卷积处理得到待处理图像的多个掩码特征图，该分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图。
需要说明的是，本步骤中将设实例分割模型的分尺度掩码特征图分支分成多个扩张卷积分支，每一个扩张卷积核分支分别对特征图进行卷积处理，然后输出一个掩码特征图，即最后输出的掩码特征图的数量与扩张卷积分支的数量相同。
为了准确的得到待处理图像的掩码特征图，在一些实施例中，在基于所述预设实例分割模型的分尺度掩码特征图分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的多个待处理图像的掩码特征图之前，所述方法还包括：
去除尺寸最小的所述特征图，将剩余所述特征图采样至所述待处理图像尺寸的四分之一大小并合并。
具体的，在通过分尺度掩码特征图分支对多个特征图进行处理之前，先去除尺寸最小的特征图，然后将剩余特征图采样至待处理图像尺寸的四分之一大小，然后相加合并成一张特征图并作为分尺度掩码特征图的输入。例如多个待处理图像的特征图的数量为5，则去除一张尺寸最小的特征图，然后对剩余的4张特征图进行后续处理，一般的，尺寸小的特征图只能表征大目标的特征，而图像实例分割是需要对待处理图进行分割细化，那些待处理图像的大目标通常都是背景或非分割内容。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他在对特征图进行卷积获取掩码特征图之前对特征图进行处理的方法都属于本申请的保护范围。
S104，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行实例分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数。
本步骤中，语义类别表示了待处理图像各个位置的类别，将同一语义类别的掩码特征图与目标卷积核参数进行卷积就可以得到各个类别的实例掩码，然后通过该实例掩码就可以将待处理图像分割为各个类别。该目标卷积核参数是卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数。扩张卷积可以在不增加参数和计算量的情况下增大感受野，对于扩张率为d的k*k扩张卷积，它通过在连续的过滤器值之间插入d-1个0，得到的感受野为：(k+(k-1)(d-1))*(k+(k-1)(d-1))。例如，一个3*3的卷积，扩张率d＝1,2,3，得到的感受野分别是3*3,5*5,7*7，如图2所示，不同扩张率的扩张卷积的感受野不同，图中圆点表示过滤器值，以圆点为四角的区域表示感受野。
为了能够充分的表征待处理图像的各个特征，在一些实施例中，在根据同一语义类别的各个所述掩码特征图与对应的目标卷积核参数生成实例掩码之前，所述方法还包括：
根据所述扩张率确定目标尺寸范围；
根据所述目标尺寸范围从多个所述特征图中确定目标特征图；
根据所述目标特征图确定所述目标卷积核参数。
具体的，为了将各个掩码特征图与对应的目标卷积核参数进行卷积处理，以得到能充分表征待处理图像的实例掩码，先根据扩张卷积分支的扩张率确定目标尺寸范围，然后根据该目标尺寸范围从多个特征图中匹配与该目标尺寸范围匹配的目标特征图，最后匹配该目标特征图生成的目标卷积核参数。一般而言，扩张率越大匹配的目标特征图的尺寸越小。
为了准确确定目标尺寸范围，在一些实施例中，根据所述扩张率确定目标尺寸范围，具体为：
获取待处理图像所有所述特征图的尺寸范围；
基于所述扩张卷积分支的数量将所述尺寸范围划分为多个所述目标尺寸范围，所述目标尺寸范围的数量与所述扩张卷积分支的数量相同；
根据所述扩张率的大小确定所述目标尺寸范围。
具体的，先获取所有待处理图像的特征图的尺寸范围，该尺寸范围将所有待处理图像的特征图包含在内，其中最大范围根据最大尺寸特征图来确定，最小范围根据最小尺寸特征图来确定，然后根据扩张卷积分支的数量将该尺寸范围划分成多个目标尺寸范围，可选的，可以根据扩张卷积分支的数量将上述所有待处理图像的特征图的尺寸范围，划分为范围区间相邻的多个目标尺寸范围，如(1,9)，(10,19)，(20,29).......也可以根据其它规则进行划分，原则上保证每一个特征图都可以被化到唯一一个目标尺寸范围内，且目标尺寸范围的数量与扩张卷积分支的数量相同。最后，根据扩张率的大小从多个目标尺寸范围内确定一个目标尺寸范围，一般扩张率越大对应的目标尺寸范围越小。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他确定目标卷积核参数的方法都属于本申请的保护范围。
为了准确的获得待处理图像的语义类别，在一些实施例中，在根据同一语义类别的各个所述掩码特征图与对应的目标卷积核参数生成实例掩码之前，所述方法还包括：
基于所述预设实例分割模型的分类分支与所述特征图确定所述语义类别。
具体的，通过预设实例分割模型的分类分支对特征图进行卷积处理，得到待处理图像的语义类别，该语义类别用于给待处理图像的各个位置分类。可选的，先将待处理图像双线性插值，得到预设尺寸的特征图后，再作为分类分支的输入。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他获取待处理图像的语义类别的方法都属于本申请的保护范围。
为了准确得到预设实例分割模型的损失函数，在一些实施例中，所述预设实例分割模型的损失函数包括所述分类分支的损失函数和所述分尺度掩码特征图分支的损失函数，所述分尺度掩码特征图分支的损失函数为各个扩张卷积分支的损失函数的和。
具体的，预设实例分割模型的损失函数通过如下公式获得：
L＝Lcate+μ(Lmask_S+Lmask_M+Lmask_L+......)
其中，L为预设实例分割模型的损失函数，Lcate是分类分支的损失函数，优选的，Lcate为Focal loss，Lmask_S，Lmask_M，Lmask_L分别表示不同的扩张卷积分支的损失函数，具体扩张卷积分支的损失函数的数量根据扩张卷积分支的数量来确定，μ是分尺度掩码特征图分支的损失权重，优选的，μ被设置为3。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，本领域技术人员可以根据需要设置其他的损失函数，这些都属于本申请的保护范围。
为了进一步的提高图像实例分割的精确度，在一些实施例中，在基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图之前，所述方法还包括：
通过预设数据增强策略对所述待处理图像进行数据增强，使所述待处理图像的样本得到扩充。
具体的，预设数据增强策略包括：左右、上下翻转，旋转，偏移，放大缩小，亮度变化，切变和弹性形变等。
本发明公开了一种分尺度提取掩码特征的实例分割方法，所述方法包括，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图；根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数，通过采用不同扩张率的扩张卷积分支对不同尺度的特征图提取掩码特征图，从而提升分割网络对目标尺度变化的鲁棒性，并进一步提高图像实例分割的精确度。
为了进一步阐述本发明的技术思想，结合具体应用场景，如图3所示，本发明另一实施例提出的一种分尺度提取掩码特征的实例分割方法的流程示意图，所述方法具体步骤如下：
S301，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图。
具体的，可以根据预设实例分割模型的骨干神经网络并通过FPN(一种高效的CNN特征提取方法)，获取待处理图像的多个不同尺寸的特征图。可选的，如图4所示，获取到的特征图为5张，尺寸从大到小被记为：P2、P3、P4、P5、P6。
S302，基于所述预设实例分割模型的分类分支与所述特征图确定待处理图像的语义类别。
具体的，先将获取到的特征图双线性插值为预设尺寸大小，然后对各个预设尺寸大小的特征图通过分类分支进行卷积得到待处理图像的语义类别。例如，将上述P2-P6特征图先双线性插值为S*S大小，然后再进卷积处理，需要说明的是，不同的特征图对应的S值不同，可选的，S从大到小依次为：40、36、24、16、12。
S303，基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数。
具体的，先将获取到的特征图双线性插值为预设尺寸大小，然后对各个预设尺寸大小的特征图通过掩码卷积核分支进行卷积得到各个所述特征图的卷积核参数。
S304，基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图。
具体的，先去除尺寸最小的一张特征图，然后将剩余特征图上采样至待处理图像的四分之一大小并相加合并，将合并后的特征图作为分尺度掩码特征图分支的输入，分尺度掩码特征图包括多个扩张卷积分支，每个扩张卷积分支输出一个掩码特征图。例如，当扩张卷积分支数量为3，那么就输出3个掩码特征图。
S305，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行实例分割。
具体的，在得到待处理图像的语义类别后，将语义类别相同的各个掩码特征图与目标卷积核参数进行卷积，得到实例掩码。该目标卷积核参数是从多个卷积核参数中选出与扩张卷积分支的扩张率对应的卷积核参数。例如，特征图为P2-P6，扩张卷积分支数量为3，对应的扩张率d依次为1、2、3，通过预设匹配规则，将扩张率为1的扩张卷积分支输出的掩码特征图与P2、P3对应的掩码卷积核参数匹配，将扩张率为2的扩张卷积分支输出的掩码特征图与P4对应的掩码卷积核参数匹配，将扩张率为3的扩张卷积分支输出的掩码特征图与P5、P6对应的掩码卷积核参数匹配，一般而言，当扩张率较小时，匹配负责提取小目标的掩码特征图对应的卷积核参数，即尺寸范围较大的特征图(一般特征图尺寸范围大、分辨率高可以表征小目标的特征)。当扩张率较大时，匹配负责提取大目标的掩码特征图对应的卷积核参数。
如图4所示，特征图P2-P6双线性插值到S*S大小后，作为上面两个分支的输入，最上面的分支代表分类分支，第二条分支代表掩码卷积核分支，P2-P5上采样至待处理图像的1/4大小后，作为最下面的分层掩码卷积核分支的输入，该分层掩码卷积核分支包括三个扩张卷积分支，输出的掩码特征图分别为F1、F2、F3，掩码卷核分支的输出与最下面的分尺度掩码特征图分支进行匹配后，做卷积处理得到实例掩码mask，通过分类分支输出的待处理图像的语义类别和实例掩码就可以对图形进行实例分割。
需要说明的是，本领域技术人员可以根据需要设置扩张卷积分支的数量和对应匹配的目标卷积核参数，可选的，通过消减实验确定最优的分尺度掩码特征图分支结构以及匹配模式，例如当获取的特征图数量为5时，可以将分尺度掩码特征图分支设置为三个平行的扩张卷积分支，扩张率分别为1、2、3，每个分支包含两个扩张卷积层。当然也可以设置其他分支数量和结构这些都属于本申请的保护范围。
通过应用本申请的技术方案，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；基于所述预设实例分割模型的分类分支与所述特征图确定待处理图像的语义类别；基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行实例分割，通过采用不同扩张率的扩张卷积分支对不同尺度的特征图提取掩码特征图，从而提升分割网络对目标尺度变化的鲁棒性，并进一步提高图像实例分割的精确度。
与本申请实施例中的分尺度提取掩码特征的实例分割方法相对应，本申请实施例还提出了一种分尺度提取掩码特征的实例分割设备，如图5所示，所述设备包括：
特征图获取模块501，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；
掩码卷积核模块502，基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定所述待处理图像的各个特征图的卷积核参数；
分尺度掩码特征图模块503，基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；
实例掩码生成模块504，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割，所述目标卷积核参数为所述卷积核参数中与所述扩张卷积分支的扩张率对应的卷积核参数。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种分尺度提取掩码特征的实例分割方法，其特征在于，所述方法包括：
基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；
基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定各个所述特征图的卷积核参数；
基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；
根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行实例分割；
所述方法还包括：
根据扩张率确定目标尺寸范围；
根据所述目标尺寸范围从多个所述特征图中确定目标特征图；
根据所述目标特征图确定所述目标卷积核参数；
根据所述扩张率确定目标尺寸范围，具体为：
获取所述待处理图像所有所述特征图的尺寸范围；
基于所述扩张卷积分支的数量将所述尺寸范围划分为多个所述目标尺寸范围，所述目标尺寸范围的数量与所述扩张卷积分支的数量相同；
根据所述扩张率的大小确定所述目标尺寸范围。
2.如权利要求1所述的方法，其特征在于，在基于所述预设实例分割模型的掩码卷积核分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的各个特征图的卷积核参数之前，所述方法还包括：
对各所述特征图进行双线性插值，以分别得到预设尺寸的特征图。
3.如权利要求1所述的方法，其特征在于，在基于所述预设实例分割模型的分尺度掩码特征图分支与所述待处理图像的多个不同尺寸的特征图确定所述待处理图像的多个待处理图像的掩码特征图之前，所述方法还包括：
去除尺寸最小的所述特征图，将剩余所述特征图采样至所述待处理图像尺寸的四分之一大小并合并。
4.如权利要求1所述的方法，其特征在于，在根据同一语义类别的各个所述掩码特征图与对应的目标卷积核参数生成实例掩码之前，所述方法还包括：
基于所述预设实例分割模型的分类分支与所述特征图确定所述语义类别。
5.如权利要求4所述的方法，其特征在于，所述预设实例分割模型的损失函数包括所述分类分支的损失函数和所述分尺度掩码特征图分支的损失函数，所述分尺度掩码特征图分支的损失函数为各个扩张卷积分支的损失函数的和。
6.如权利要求1所述的方法，其特征在于，在基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图之前，所述方法还包括：
通过预设数据增强策略对所述待处理图像进行数据增强，使所述待处理图像的样本得到扩充。
7.一种分尺度提取掩码特征的实例分割设备，其特征在于，所述设备包括：
特征图获取模块，基于预设实例分割模型的骨干神经网络获取待处理图像的多个不同尺寸的特征图；
掩码卷积核模块，基于所述预设实例分割模型的掩码卷积核分支与所述特征图确定所述待处理图像的各个特征图的卷积核参数；
分尺度掩码特征图模块，基于所述预设实例分割模型的分尺度掩码特征图分支与所述特征图确定所述待处理图像的多个掩码特征图，所述分尺度掩码特征图分支包括多个扩张卷积分支，每个所述扩张卷积分支对应一个掩码特征图；
实例掩码生成模块，根据同一语义类别的各个所述掩码特征图与目标卷积核参数生成实例掩码，并基于所述实例掩码对待处理图像进行分割；
根据扩张率确定目标尺寸范围；
根据所述目标尺寸范围从多个所述特征图中确定目标特征图；
根据所述目标特征图确定所述目标卷积核参数；
根据所述扩张率确定目标尺寸范围，具体为：
获取所述待处理图像所有所述特征图的尺寸范围；
基于所述扩张卷积分支的数量将所述尺寸范围划分为多个所述目标尺寸范围，所述目标尺寸范围的数量与所述扩张卷积分支的数量相同；
根据所述扩张率的大小确定所述目标尺寸范围。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1－6任一项所述的方法。
CN202011451909.0A 2020-12-09 2020-12-09 一种分尺度提取掩码特征的实例分割方法 Active CN112465801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011451909.0A CN112465801B (zh) 2020-12-09 2020-12-09 一种分尺度提取掩码特征的实例分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011451909.0A CN112465801B (zh) 2020-12-09 2020-12-09 一种分尺度提取掩码特征的实例分割方法

Publications (2)

Publication Number Publication Date
CN112465801A CN112465801A (zh) 2021-03-09
CN112465801B true CN112465801B (zh) 2022-11-29

Family

ID=74800669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011451909.0A Active CN112465801B (zh) 2020-12-09 2020-12-09 一种分尺度提取掩码特征的实例分割方法

Country Status (1)

Country Link
CN (1) CN112465801B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111885B (zh) * 2021-04-14 2022-11-29 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113379770B (zh) * 2021-06-30 2023-04-07 华南理工大学 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113569860B (zh) * 2021-07-29 2024-02-27 北京地平线信息技术有限公司 实例分割方法和实例分割网络的训练方法及其装置
CN114581670A (zh) * 2021-11-25 2022-06-03 哈尔滨工程大学 一种基于空间分布注意力的船舶实例分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084274A (zh) * 2019-03-29 2019-08-02 南京邮电大学 实时图像语义分割方法及系统、可读存储介质和终端
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110633632A (zh) * 2019-08-06 2019-12-31 厦门大学 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111222440A (zh) * 2019-12-31 2020-06-02 江西开心玉米网络科技有限公司 一种人像背景分离方法、装置、服务器及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102438095B1 (ko) * 2018-02-09 2022-08-30 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084274A (zh) * 2019-03-29 2019-08-02 南京邮电大学 实时图像语义分割方法及系统、可读存储介质和终端
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110633632A (zh) * 2019-08-06 2019-12-31 厦门大学 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111222440A (zh) * 2019-12-31 2020-06-02 江西开心玉米网络科技有限公司 一种人像背景分离方法、装置、服务器及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A deep residual networks classification algorithm of fetal heart CT images;LI LEI 等;《2018 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES》;20181018;全文 *
基于深度学习的图像目标检测算法总数;张婷婷 等;《电信科学》;20200720(第7期);全文 *

Also Published As

Publication number Publication date
CN112465801A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN110532859B (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110232394B (zh) 一种多尺度图像语义分割方法
CN109977956B (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN112465800B (zh) 一种使用分类注意力模块校正分类错误的实例分割方法
US10769784B2 (en) Image analyzing method and electrical device
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN114049332A (zh) 异常检测方法及装置、电子设备和存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112329808A (zh) 一种Deeplab语义分割算法的优化方法及系统
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN111340139B (zh) 一种图像内容复杂度的判别方法及装置
Fu et al. Screen content image quality assessment using Euclidean distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant