CN113724269A - 实例分割方法、实例分割网络的训练方法及相关设备 - Google Patents

Abstract

本申请公开了一种实例分割方法、实例分割网络的训练方法、电子设备及计算机可读存储介质。该实例分割方法包括：确定输入图像中实例对应的实例候选区域；利用输入图像的原始特征图对实例候选区域进行分割，得到第一实例分割结果；利用实例候选区域的实例边界信息对第一实例分割结果进行增强，得到增强特征图，实例边界信息用于表示实例候选区域中实例的边界位置；基于增强特征图，得到第二实例分割结果。通过上述方式，能够提高实例分割结果的准确度。

Description

实例分割方法、实例分割网络的训练方法及相关设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种实例分割方法、实例分割网络的训练方法、电子设备及计算机可读存储介质。

背景技术

实例分割即对图像进行目标检测得到不同类别的目标区域，将同一类别的目标区域细分得到其中单个目标(实例)的候选区域，对每个实例候选区域进行分割(前景背景区分)，得到实例分割结果。

实例分割由于可以被应用于各种各样的领域(例如交通、金融、医学领域)而备受重视。但是目前的实例分割方法得到的实例分割结果准确度不高。

发明内容

本申请提供一种实例分割方法、实例分割网络的训练方法、电子设备及计算机可读存储介质，能够提高实例分割结果的准确度。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种实例分割方法。该方法包括：确定输入图像中的实例候选区域；利用输入图像的原始特征图对实例候选区域进行分割，得到第一实例分割结果；利用所述实例候选区域的实例边界信息对第一实例分割结果进行增强，得到增强特征图；基于增强特征图，得到第二实例分割结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种实例分割网络的训练方法。该方法包括：利用实例分割网络执行如下步骤：确定训练图像中实例对应的训练实例候选区域；利用训练图像的训练原始特征图对训练实例候选区域进行分割，得到第一训练实例分割结果；利用训练实例候选区域的实例边界信息对第一训练实例分割结果进行增强，得到训练增强特征图，实例边界信息用于表示实例候选区域中的实例的边界位置；基于训练增强特征图，得到第二训练实例分割结果。基于第二训练实例分割结果，获取实例分割网络的第一损失；至少利用第一损失更新实例分割网络的参数。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请确定输入图像中的实例候选区域，利用输入图像的原始特征图对实例候选区域进行分割，得到第一实例分割结果之后，未直接将第一实例分割结果作为最终的实例分割结果，利用实例候选区域的实例边界信息对第一实例分割结果进行边界修复得到增强特征图，由于利用用于表示实例候选区域的实例的边界位置的实例边界信息(实例的边界位置信息)对第一实例分割结果进行增强之后，提高了实例的边界位置信息在增强特征图中的表达能力，因此，本申请将基于增强特征图得到的第二实例分割结果作为输入图像最终的实例分割结果，能够提高最终的实例分割结果的准确度。

附图说明

图1是本申请提供的实例分割方法一实施例的流程示意图；

图2是本申请提供的实例分割方法另一实施例的流程示意图；

图3是图2中S21的具体流程示意图；

图4是本申请提供的实例分割方法又一实施例的流程示意图；

图5是本申请实例分割网络的一结构示意图；

图6是本申请实例分割网络的另一结构示意图；

图7是本申请实例分割网络的又一结构示意图；

图8是本申请提供的实例分割网络的训练方法一实施例的流程示意图；

图9是本申请电子设备一实施例的结构示意图；

图10是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请提供的实例分割方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：确定输入图像中实例对应的实例候选区域。

输入图像可以的RGB格式的，也可以是其他格式的，本申请后文以RGB格式进行说明。

可以利用HRNet、ResNet等特征提取网络(主干网络)对输入图像进行特征提取，得到输入图像的原始特征图。特征提取网络包括若干卷积层，随着特征提取网络的加深，提取到的特征包含的信息越来越丰富。将靠近特征提取网络输入端的卷积层(例如第一个或者第二个卷积层)提取到的特征称为浅层特征，以及，将靠近特征提取网络输出端的卷积层(例如倒数第一个或者倒数第二个卷积层)提取到的特征称为高层特征。

实例为输入图像中的单个目标。可以对输入图像的原始特征图进行区域检测，得到实例候选区域。具体而言，实例候选区域也可以被称为实例候选框，即输入图像中实例的检测框。检测框可以表示为(坐标，长度，宽度)，坐标可以为左上坐标、右上坐标、中心坐标等等。可以利用分类回归网络对输入图像的原始特征图进行区域检测，得到输入图像中的实例候选区域。

实例候选区域可能为一个，也可能为多个。例如，多个实例候选区域的集合可以表示为P_bbox＝{b₁，b₂，...，b_n}，b_i表示第i个实例候选区域，i∈[1，n]。b_i为矩形区域，可以表示为b_i＝[x_i，y_i，w_i，h_i]，(x_i，y_i)、w_i和h_i分别表示左上角坐标、宽度和高度。

S12：利用输入图像的原始特征图对实例候选区域进行分割，得到第一实例分割结果。

可以获取原始特征图中与实例候选区域对应的候选特征图；对候选特征图进行分割，得到第一实例分割结果。

每个实例候选区域对应一第一实例分割结果，所有实例候选区域对应的第一实例分割结果共同构成输入图像的第一实例分割结果。

以其中一个实例候选区域对应的第一实例分割结果为例进行说明，获取原始特征图F中与实例候选区域b对应的候选特征图f，f依序经过若干卷积层、归一化(softmax)层，得到第一实例分割结果m。第一实例分割结果m包括候选特征图中每个像素点为前景(实例)的概率和为背景的概率，第一实例分割结果m的形式为掩码图，其通道数为2，大小与f一致。

S13：利用实例候选区域的实例边界信息对第一实例分割结果进行增强，得到增强特征图。

实例边界信息可以用于表示实例候选区域中实例的边界位置。实例边界信息包括实例候选区域中哪些像素点为实例的边界上的像素点，哪些像素点为实例的非边界上的像素点。利用实例候选区域的实例边界信息对第一实例分割结果进行增强，能够提高实例边界信息在增强特征图中的表达能力。

每个实例候选区域对应一增强特征图，可以将所有实例候选区域对应的增强特征图组合映射成整体的增强特征图。例如，实例候选区域数量为n，实例候选区域对应的增强特征图为mf，可以设计一个全零三维张量MF，MF与原始特征图F大小一致，按照顺序利用n个mf替换MF中对应实例候选区域的像素点的特征。从而，MF中对应非实例候选区域的像素点的特征值为0。经替换的MF即为整体的增强特征图。

上述S12～S13可以视为对候选特征图进行实例边界特征的修复的过程，修复结果为增强特征图。为了提高边界修复效果，S11～S13可以依时序/循环执行多次，每次执行时的原始特征图为上一层执行得到的增强特征图和原始特征图的级联结果。即，每次执行完S13之后，利用原始特征图和每次得到的整体的增强特征图的级联结果更新原始特征图，并跳转至S11，以重复执行S11-S13，直至循环次数达到多次。

下面对原始特征图F更新为F’的过程进行说明。原始特征图F和整体的增强特征图MF的级联结果F’中，每个像素点的特征为F中对应像素点的特征和MF中对应像素点的特征的级联结果，F’的大小与F一致，其通道数为c_F′＝c_F+c_MF。其中c_F为F的通道数，c_MF为MF的通道数。通过此方式更新原始特征图，能够提高边界信息在原始特征图中的表达能力。

S14：基于增强特征图，得到第二实例分割结果。

在S11-S13循环执行多次的情况下，本步骤是基于最后一次执行得到的增强特征图，得到第二实例分割结果。基于增强特征图，得到第二实例分割结果，可以视为基于增强特征图对实例候选区域进行再次分割的过程。

第二实例分割结果可以用于表示实例候选区域中的实例的位置。即，第二实例分割结果包括实例候选区域中每个像素点为前景(实例)的概率和为背景的概率，为实例的概率大于阈值的像素点被视为实例所在区域的像素点，否则被视为背景所在区域的像素点。

每个实例候选区域对应一第二实例分割结果。以其中一个实例候选区域对应的第二实例分割结果为例，增强特征图mf依序经过若干卷积层、归一化层，得到第二实例分割结果m′。m′的表现形式可以为新的掩码图，其中每个像素点的特征包括实例候选区域中对应像素点为前景(实例)的概率和为背景的概率。

所有实例候选区域对应的第二实例分割结果组合映射成整体的第二实例分割结果。例如，实例候选区域数量为n。可以设计一个全零三维张量M′，M′的大小与F相同，通道数为2。按照顺序利用n个m’替换M′中对应实例候选区域的像素点的特征，从而，M′中对应非实例候选区域的像素点的特征值为0。经替换的M′即为整体的第二实例分割结果。

通过本实施例的实施，本申请确定输入图像中的实例候选区域，利用输入图像的原始特征图对实例候选区域进行分割，得到第一实例分割结果之后，未直接将第一实例分割结果作为最终的实例分割结果，而是进一步利用实例候选区域的实例边界信息对第一实例分割结果进行边界修复得到增强特征图，由于利用实例的边界位置信息对第一实例分割结果进行增强之后，提高了实例的边界位置信息在增强特征图中的表达能力，因此，本申请将基于增强特征图得到的第二实例分割结果作为输入图像最终的实例分割结果，能够提高最终的实例分割结果的准确度。

图2是本申请提供的实例分割方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对S13的进一步扩展。如图2所示，本实施例可以包括：

S21：对候选特征图进行边界预测，得到实例候选区域对应的边界特征图。

其中，候选特征图为原始特征图中实例候选区域对应的特征图，边界特征图用于表示实例候选区域的实例边界信息。

边界特征图的每个像素点的特征包括实例候选区域中对应像素点为边界像素点的概率(在实例边界上的概率)和为非边界像素点的概率(不在实例边界上的概率)。

在一具体实施方式中，可以直接对候选特征图进行边界预测，得到边界特征图。

结合参阅图3，在另一具体实施方式中，S21可以通过如下步骤实现：

S211：从输入图像中提取与实例候选区域对应的实例图像。

实例图像的大小与实例候选区域的大小相同。可以从输入图像中提取初始的实例图像，将初始的实例图像缩放至实例候选区域的大小，作为实例图像。或者，可以将输入图像缩放至原始特征图的大小，经缩放的输入图像中提取与实例候选区域对应的实例图像。

例如，计算输入图像I与原始特征图F的大小比例，按照该比例将I缩放至F的大小，得到经缩放的输入图像

接着根据b的位置从

中剪切出实例图像i，i的大小与b相同。

S212：对实例图像和候选特征图的级联结果进行边界预测，得到边界特征图。

实例图像i和候选特征图f的级联结果fi中，每个像素点的特征为f中对应像素点的特征和i中对应像素点的(RGB三个通道)特征的级联结果。fi的大小与f的大小一致，其通道数c_fi＝c_f+3，其中c_f为f的通道数。在对fi进行边界预测的过程中，fi依序经过若干卷积层、归一化层，得到大小与f一致、通道数为2的边界特征图e。

可以理解的是，实例图像中包含能够表达实例的细节信息，因此基于实例图像和候选特征图的级联结果进行边界预测，得到的边界特征图准确度更高。

S22：将边界特征图和第一实例分割结果进行融合，得到增强特征图。

可以将边界特征图与第一实例分割结果级联，得到边界特征图和第一实例分割结果的级联结果；对边界特征图和第一实例分割结果的级联结果进行维度转换，得到增强特征图。

具体而言，可以将边界特征图e和第一实例分割结果m的级联结果me中，每个像素点的特征为m中对应像素点的特征和e中对应像素点的特征的级联结果。me的大小与f一致，其通道数为4。me依序经过若干卷积层和1×1的维度变换的卷积层，得到大小与f一致的增强特征图mf。

另外，在上述S11～S13循环执行多次的情况下，受限于区域检测的准确性，每次通过S11确定的关于同一实例的实例候选区域可能位置不相同，因此为了有效减少由于区域检测的不准确性导致的实例截断等问题、进一步提高实例分割结果的准确度，可以利用上一次和本次确定的关于同一实例的实例候选区域的融合结果，更新本次确定的实例候选区域。在此情况下，还可以对上述实施例进一步扩展。具体如下：

图4是本申请提供的实例分割方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例中的步骤为S11之后、S12之前可以包括的步骤。如图4所示，本实施例可以包括：

S31：获取上一次执行得到的实例候选区域与本次执行得到的实例候选区域之间的交并比。

本步骤中，获取上一次执行得到的各个实例候选区域与本次执行得到的各个实例候选区域两两之间的交并比(IOU，Intersection over Union)。例如，上一次执行得到的实例候选区域集合为P_bbox′＝{b₁′，b₂′，...，b_n′}，本次执行得到的实例候选区域集合为P_bbox＝{b₁，b₂，...，b_n}，那么获取P_bbox′和P_bbox中的实例候选区域两两之间的交并比。

S32：基于交并比，将上一次执行得到的实例候选区域与本次执行得到的实例候选区域进行融合，得到融合区域。

可以理解的是，两个实例候选区域之间的交并比可以用于衡量是否该两个实例候选区域是否对应同一实例。即交并比越大越可能对应同一实例。由此，可以预先设定一交并比阈值δ，若两个实例候选区域之间的交并比大于阈值(IoU＞δ)，则将该两个实例候选区域进行融合。

例如，待融合的其中一个实例候选区域的位置为[x，y，w，h]，(x，y)、w和h分别表示左上角坐标点、宽度和高度；另一个实例候选区域的位置为[x′，y′，w′，h′]，(x′，y′)、w′和h′分别表示左上角坐标点、宽度和高度。那么融合区域的位置可以表示为[min(x，x′)，min(y，y′)，max((x+w)，(x′+w′))，max((y+h)，(y′+h′))。

S33：利用融合区域，更新本次执行得到的实例候选区域。

本申请提供的实例分割方法是利用实例分割网络实现的。下面结合图5-7，通过一个详细的例子(S11-S13循环执行3次)，对上述实例分割方法进行说明。

实例分割网络包括主干网络(图未示)和边界修复模块1～3。将输入图像I送入实例分割网络，实例分割网络的处理过程如下：

1)主干网络对进行特征提取，得到原始特征图F1。

2)对F1进行区域检测，得到实例候选区域集合B1。

3)将I、F1和B1送入边界修复模块1，边界修复模块1基于I、F1和B1得到新的原始特征图F2。如图6所示，对B1中每个实例候选区域b，边界修复模块1获取b在F1中对应的候选特征图f；以及，将I缩放为与F1大小一致的

并获取b在

中对应的实例图像i。对f分割得到第一实例分割结果m；对f和i的级联结果fi进行边界预测，得到边界特征图e；对m和e的级联结果me进行维度转换，得到增强特征图mf，所有b对应的mf组合映射成一个整体的增强特征图MF。将MF和F的级联结果作为新的原始特征图F2。

4)对F2进行区域检测，得到实例候选区域集合B2。

5)计算B2和B1中实例候选区域两两之间的交并比，将交并比大于阈值的两个实例候选区域融合，利用融合结果更新B2。

6)将I、F2和B2送入边界修复模块2，边界修复模块2基于I、F2和B2处理得到新的原始特征图F3。边界修复模块2与边界修复模块1的处理过程类似，在此不赘述。

7)对F3进行区域检测，得到实例候选区域集合B3。

8)计算B3和B2中实例候选区域两两之间的交并比，将交并比大于阈值的两个实例候选区域融合，利用融合结果更新B3。

9)将I、F3和B3送入边界修复模块3，边界修复模块3基于I、F3和B3得到B3中每个实例候选区域对应的增强特征图mf。边界修复模块3得到mf与边界修复模块1得到mf的过程类似，在此不赘述。

10)基于B3中每个实例候选区域的mf第二实例分割结果M′。如图7所示，基于B3中每个实例候选区域的mf得到对应的m′；将所有实例候选区域对应的m′组合映射成一个整体的第二实例分割结果M′。

在将实例分割网络应用于上述实例分割方法之前，需要对其进行训练。具体如下：

图8是本申请提供的实例分割网络的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。其中S41～S44是通过实例分割网络实现的。如图8所示，本实施例可以包括：

S41：确定训练图像中实例对应的训练实例候选区域。

S42：利用训练图像的训练原始特征图对训练实例候选区域进行分割，得到第一训练实例分割结果。

S43：利用训练实例候选区域的实例边界信息第一对训练实例分割结果进行增强，得到训练增强特征图。

实例边界信息用于表示训练实例候选区域中实例的边界位置。

可以对训练候选特征图进行边界预测，得到训练实例候选区域对应的训练边界特征图；对训练边界特征图与第一训练实例分割结果进行融合，得到训练增强特征图。其中，训练候选特征图为训练原始特征图中训练实例候选区域对应的特征图，训练边界特征图用于表示训练实例候选区域的实例边界信息。

S44：基于训练增强特征图，得到第二训练实例分割结果。

本实施例中S41～S44的详细描述，请参考前面实施例的说明，在此不赘述。

S45：基于第二训练实例分割结果，获取实例分割网络的第一损失。

训练图像带有标注信息，标注信息包括真实的训练实例分割结果，可以通过第二训练实例分割结果与真实的训练实例分割结果之间的差异，采用二值交叉熵或其他方法计算第一损失。

S46：至少利用第一损失更新实例分割网络的参数。

实例分割网络在训练阶段对图像的处理可以与应用阶段完全一致，为了更好地训练实例分割网络，其在训练阶段对图像的处理可以与应用阶段不完全一致。

在完全一致的情况下，上述S41-S43和前述S11-S13一样依时序/循环执行多次，即每次执行完S43之后更新原始特征图并跳转至S41。

在不完全一致的情况下，上述S41-S44依时序/循环执行多次，即每次执行完S44之后更新原始特征图并跳转至S41。由此，完全不一致的情况下，实例分割网络在训练阶段，每次执行S43得到训练增强特征图之后，会进一步执行S44以基于训练增强特征图得到第二训练实例分割结果，执行S44之后再跳转至S41。

本步骤中，可以仅利用第一损失更新实例分割网络的参数。

或者，可以基于第一训练实例分割结果，获取实例分割网络的第二损失；利用第一损失和第二损失更新实例分割网络的参数，即利用所有第一损失和第二损失的加权和更新实例分割网络的参数。其中，可以基于第一训练实例分割结果与真实的训练实例分割结果之间的差异，采用二值交叉熵或其他方法计算第二损失。

或者，可以基于训练边界特征图获取实例分割网络的第三损失；利用第一损失和第三损失更新实例分割网络的参数。即利用所有第一损失和第三损失的加权和更新实例分割网络的参数。其中，训练图像带有的标注信息还包括真实的训练边界特征图，可以基于预测得到的训练边界特征图与真实的训练边界特征图之间的差异，采用二值交叉熵或其他方法计算第三损失。

或者，可以利用第一损失、第二损失和第三损失更新实例分割网络的参数。即利用所有第一损失、第二损失和第三损失的加权和更新实例分割网络的参数。

通过本实施例的实施，本申请在对实例分割网络的训练阶段，没有直接将第一训练实例分割结果作为最终的训练实例分割结果，而是进一步利用训练实例候选区域的实例边界信息对第一训练实例分割结果进行增强得到增强特征图，由于对第一训练实例分割结果增强之后，提高了实例边界信息在增强特征图中的表达能力，因此将基于增强特征图得到的第二训练实例分割结果作为最终的训练实例分割结果，准确度更高。从而，用第二训练实例分割结果作为训练实例分割网络的约束条件，能够提高训练效果。

图9是本申请电子设备一实施例的结构示意图。如图9所示，该电子设备包括处理器51、与处理器51耦接的存储器52。

其中，存储器52存储有用于实现上述任一实施例的方法的程序指令；处理器51用于执行存储器52存储的程序指令以实现上述方法实施例的步骤。其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图10是本申请计算机可读存储介质一实施例的结构示意图。如图10所示，本申请实施例的计算机可读存储介质60存储有程序指令61，该程序指令61被执行时实现本申请上述实施例提供的方法。其中，该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种实例分割方法，其特征在于，包括：

确定输入图像中实例对应的实例候选区域；

利用所述输入图像的原始特征图对所述实例候选区域进行分割，得到第一实例分割结果；

利用所述实例候选区域的实例边界信息对所述第一实例分割结果进行增强，得到增强特征图；所述实例边界信息用于表示所述实例候选区域中的所述实例的边界位置；

基于所述增强特征图，得到第二实例分割结果。

2.根据权利要求1所述的方法，其特征在于，所述利用所述实例候选区域的实例边界信息对所述第一实例分割结果进行增强，得到增强特征图，包括：

对候选特征图进行边界预测，得到所述实例候选区域对应的边界特征图，其中，所述候选特征图为所述原始特征图中所述实例候选区域对应的特征图，所述边界特征图用于表示所述实例候选区域的实例边界信息；

对所述边界特征图和所述第一实例分割结果进行融合，得到所述增强特征图。

3.根据权利要求2所述的方法，其特征在于，所述对候选特征图进行边界预测，得到所述实例候选区域对应的边界特征图，包括：

从所述输入图像中提取与所述实例候选区域对应的实例图像；

对所述实例图像和所述候选特征图的级联结果进行边界预测，得到所述边界特征图。

4.根据权利要求3所述的方法，其特征在于，所述从所述输入图像中提取与所述实例候选区域对应的实例图像，包括：

将所述输入图像缩放至所述原始特征图的大小；

从经缩放的输入图像中提取与所述实例候选区域对应的实例图像。

5.根据权利要求2所述的方法，其特征在于，所述对所述边界特征图和所述第一实例分割结果进行融合，得到所述增强特征图，包括：

将所述边界特征图与所述第一实例分割结果级联，得到所述边界特征图和所述第一实例分割结果的级联结果；

对所述边界特征图和所述第一实例分割结果的级联结果进行维度转换，得到所述增强特征图。

6.根据权利要求1所述的方法，其特征在于，所述确定输入图像中的实例候选区域的步骤至所述利用所述实例候选区域的实例边界信息对所述第一实例分割结果进行增强，得到增强特征图的步骤依时序执行多次，其中，每次执行时的所述原始特征图为上一次执行得到的所述增强特征图和上一次执行时的所述原始特征图的级联结果；

所述基于所述增强特征图，得到第二实例分割结果，包括：

利用最后一次执行得到的所述增强特征图，得到所述第二实例分割结果。

7.根据权利要求6所述的方法，其特征在于，在所述利用所述输入图像的原始特征图对所述实例候选区域进行分割，得到第一实例分割结果之前，所述方法还包括：

获取上一次执行得到的所述实例候选区域与本次执行得到的所述实例候选区域之间的交并比；

基于所述交并比，将上一次执行得到的所述实例候选区域与本次执行得到的所述实例候选区域进行融合，得到融合区域；

利用所述融合区域，更新本次执行得到的所述实例候选区域。

8.根据权利要求1所述的方法，其特征在于，所述确定输入图像中实例对应的实例候选区域，包括：

对所述输入图像的原始特征图进行区域检测，得到所述实例候选区域。

9.根据权利要求1所述的方法，其特征在于，所述利用所述输入图像的原始特征图对所述实例候选区域进行分割，得到所述实例候选区域的第一实例分割结果，包括：

获取所述原始特征图中与所述实例候选区域对应的候选特征图；

对所述候选特征图进行分割，得到所述实例候选区域的第一实例分割结果。

10.一种实例分割网络的训练方法，其特征在于，包括利用所述实例分割网络执行如下步骤：

确定训练图像中实例对应的训练实例候选区域；

利用所述训练图像的训练原始特征图对所述训练实例候选区域进行分割，得到第一训练实例分割结果；

利用所述训练实例候选区域的实例边界信息对所述第一训练实例分割结果进行增强，得到训练增强特征图，所述实例边界信息用于表示所述训练实例候选区域中实例的边界位置；

基于所述训练增强特征图，得到第二训练实例分割结果；

基于所述第二训练实例分割结果，获取所述实例分割网络的第一损失；

至少利用所述第一损失更新所述实例分割网络的参数。

11.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：

基于所述第一训练实例分割结果，获取所述实例分割网络的第二损失；

所述至少利用所述第一损失更新所述实例分割网络的参数，包括：

利用所述第一损失和所述第二损失更新所述实例分割网络的参数。

12.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：

基于所述第二实例分割结果，获取所述实例分割网络的第三损失；

所述至少利用所述第一损失更新所述实例分割网络的参数，包括：

利用所述第一损失和所述第三损失更新所述实例分割网络的参数。

13.根据权利要求10所述的方法，其特征在于，所述利用所述训练实例候选区域的实例边界信息对所述第一训练实例分割结果进行增强，得到训练增强特征图，包括：

对训练候选特征图进行边界预测，得到所述训练实例候选区域对应的训练边界特征图，其中，所述训练候选特征图为所述训练原始特征图中所述训练实例候选区域对应的特征图，所述训练边界特征图用于表示所述训练实例候选区域的实例边界信息；

对所述训练边界特征图与所述第一训练实例分割结果进行融合，得到所述训练增强特征图。

14.根据权利要求13所述的方法，其特征在于，所述方法进一步包括：

基于所述训练边界特征图获取所述实例分割网络的第三损失；

所述至少利用所述第一损失更新所述实例分割网络的参数，包括：

利用所述第一损失和所述第三损失更新所述实例分割网络的参数。

15.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-14中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-14中任一项所述的方法。

Images