CN110378348B - 视频实例分割方法、设备及计算机可读存储介质 - Google Patents

视频实例分割方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110378348B
CN110378348B CN201910624621.XA CN201910624621A CN110378348B CN 110378348 B CN110378348 B CN 110378348B CN 201910624621 A CN201910624621 A CN 201910624621A CN 110378348 B CN110378348 B CN 110378348B
Authority
CN
China
Prior art keywords
feature map
frame
video
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910624621.XA
Other languages
English (en)
Other versions
CN110378348A (zh
Inventor
钱智明
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Seengene Technology Co ltd
Original Assignee
Beijing Seengene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Seengene Technology Co ltd filed Critical Beijing Seengene Technology Co ltd
Priority to CN201910624621.XA priority Critical patent/CN110378348B/zh
Publication of CN110378348A publication Critical patent/CN110378348A/zh
Application granted granted Critical
Publication of CN110378348B publication Critical patent/CN110378348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种视频实例分割方法、设备及计算机可读存储介质。该方法包括：获得视频中每一帧的主干特征图和多层次特征图；将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息；根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；将后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，目标检测信息包括目标类别和目标区域位置；将目标检测信息与语义特征图输入至实例分割子网络，得到实例分割结果。在进行视频实例分割时，本发明实施例能够较好地保证分割结果的准确性，即使受到外观恶化影响，本发明实施例也能够达到较好的实例分割效果。

Description

视频实例分割方法、设备及计算机可读存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频实例分割方法、设备及计算机可读存储介质。
背景技术
在视频处理技术领域中，常常要进行视频实例分割。可以理解的是，视频实例分割是指从视频序列中分离出目标，视频实例分割是视频分析和编辑中最重要的任务之一。需要指出的是，由于受到视频中外观恶化的影响，例如受到运动模糊、视频散焦等的影响，现有技术中在进行视频实例分割时，分割结果的准确性较差。
发明内容
本发明实施例提供一种视频实例分割方法、设备及计算机可读存储介质，以解决现有技术中在进行视频实例分割时，分割结果的准确性差的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供的一种视频实例分割方法，所述方法包括：
获得视频中每一帧的主干特征图和多层次特征图；
将所述视频中相邻帧的主干特征图输入至光流估计子网络，得到所述相邻帧之间的光流信息；
根据所述光流信息，得到所述相邻帧的共享特征图，将所述共享特征图与所述相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；
将所述后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，所述目标检测信息包括目标类别和目标区域位置；
将所述目标检测信息与所述语义特征图输入至实例分割子网络，得到实例分割结果。
第二方面，本发明实施例提供一种视频实例分割装置，所述装置包括：
第一获得模块，用于获得视频中每一帧的主干特征图和多层次特征图；
第二获得模块，用于将所述视频中相邻帧的主干特征图输入至光流估计子网络，得到所述相邻帧之间的光流信息；
处理模块，用于根据所述光流信息，得到所述相邻帧的共享特征图，将所述共享特征图与所述相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；
第三获得模块，用于将所述后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，所述目标检测信息包括目标类别和目标区域位置；
第四获得模块，用于将所述目标检测信息与所述语义特征图输入至实例分割子网络，得到实例分割结果。
第三方面，本发明实施例提供一种视频实例分割设备，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述视频实例分割方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频实例分割方法的步骤。
本发明实施例中，可以获得视频中每一帧的主干特征图和多层次特征图，在进行实例分割时，可以先将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息，然后根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图。接下来，可以将后一帧的多层次特征图输入至目标检测子网络，得到包括目标类别和目标区域位置的目标检测信息，之后，将目标检测信息与语义特征图输入至实例分割子网络，可以得到实例分割结果。可见，本发明实施例中综合使用了光流估计子网络、目标检测子网络和实例分割子网络，通过光流估计子网络的使用，能够通过相邻帧的光流信息来提升相邻帧的内容相关性，基于光流信息，以及特征图的融合，能够得到可靠性较高的语义特征图，并且，通过目标检测子网络的使用，能够得到准确率较高的目标检测信息，通过实例分割子网络的使用，可以基于可靠性较高的语义特征图，以及准确率较高的目标检测信息，得到最终的实例分割结果。因此，在进行视频实例分割时，本发明实施例能够较好地保证分割结果的准确性，这样，即使受到外观恶化的影响，本发明实施例也能够达到较好的实例分割效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的视频实例分割方法的流程图；
图2是本发明实施例中视频处理框架的结构图；
图3是本发明实施例中基于卷积的GRU网络的结构图；
图4是本发明实施例中大尺度可分离卷积使用的网络的结构图；
图5为本发明实施例提供的视频实例分割装置的结构框图；
图6为本发明实施例提供的视频实例分割设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明实施例提供的视频实例分割方法进行说明。
需要说明的是，本发明实施例提供的视频实例分割方法应用于视频实例分割设备。这里，视频实例分割设备可以是具有视频处理能力的电子设备，例如为服务器，当然，视频实例分割设备的类型并不局限于此，具体可以根据实际情况来确定，本发明实施例对此不做任何限定。
参见图1，图中示出了本发明实施例提供的视频实例分割方法的流程图。如图1所示，该方法包括如下步骤：
步骤101，获得视频中每一帧的主干特征图和多层次特征图。
需要说明的是，视频中的每一帧均为图像帧，对于每一帧，均可以执行获得其的主干特征图和多层次特征图的操作，那么，每一帧均会存在对应的主干特征图和对应的多层次特征图。
在一种具体实施方式中，获得视频中每一帧的主干特征图和多层次特征图，包括：
针对视频中每一帧，将其输入至主干网络，得到其主干特征图；其中，视频中每一帧的主干特征图包括分辨率和网络层次均不同的五张特征图；
针对视频中每一帧，将其的主干特征图中的至少三层特征图进行特征融合处理，得到其多层次特征图；其中，特征融合处理包括上采样、直连和卷积，视频中每一帧的多层次特征图中包括分辨率不同的三张特征图。
这里，主干网络也可以称为Backbone网络。具体地，主干网络可以为残差神经网络(Residual Neural Network，ResNet)或者MobileNet(一种轻量化神经网络)，可选地，MobileNet可以为MobileNet_V2。
需要说明的是，上采样是与下采样相对的概念，上采样也可以称为UpSampling，一般而言，上采样可以用来进行图像放大，例如采用内插方法进行图像放大，即在原有图像像素的基础上，在像素点之间采用合适的插值算法插入新的元素；其中，插值算法可以有很多种，例如基于边缘的图像插值算法和基于区域的图像插值算法。另外，直连也可以称为Contact；卷积也可以称为Convolution或者Conv。
这种实施方式中，在将视频中的任一帧输入主干网络之后，主干网络可以对其进行多次卷积(例如进行101次卷积)，以得到多次卷积对应的多个卷积结果(例如101个卷积结果)，根据多个卷积结果可以得到该帧的主干特征图；其中，每个卷积结果均可以为一特征图，每一特征图可以使用矩阵×通道数的形式进行表示。具体地，通过多次卷积得到的多个卷积结果中可以包括分辨率和网络层次均不同的五张特征图，这五张特征图可以依次对应第一网络层次、第二网络层次、第三网络层次、第四网络层次和第五网络层次，第一网络层次至第五网络层次的层次逐渐升高。具体地，如图2所示，对于视频中的第t帧(即It)，其对应的多个卷积结果中可以包括分辨率和网络层次均不同的Bt,1、Bt,2、Bt,3、Bt,4、Bt,5，这时，Bt,1、Bt,2、Bt,3、Bt,4、Bt,5可以组成视频中的第t帧的主干特征图，并且，Bt,1位于第一网络层次，Bt,2位于第二网络层次，Bt,3位于第三网络层次，Bt,4位于第四网络层次，Bt,5位于第五网络层次。
在得到第t帧的主干特征图之后，可以使用特征金字塔网络(Feature PyramidNetwork，FPN)，将第t帧的主干特征图中的至少三层特征图(例如Bt3、Bt4和Bt5)进行特征融合处理，以得到第t帧的多层次特征图，第t帧的多层次特征图中可以包括分辨率不同的三张特征图。具体地，如图2所示，可以先对Bt,5进行卷积，生成Ht,1；然后对Ht,1进行上采样，将上采样结果与Bt,4进行直连，将直连结果进行卷积，以生成Ht,2；之后可以对Ht,2进行上采样，将上采样结果与Bt,3进行直连，将直连结果进行卷积，以生成Ht,3；其中，Ht,1、Ht,2和Ht,3可以组成视频中的第t帧的多层次特征图，Ht,1的分辨率最小，Ht,3的分辨率最大，Ht,2的分辨率居中。
需要指出的是，为了得到第t帧的多层次特征图，也可以同时利用Bt,2、Bt,3、Bt,4、Bt,5，这种情况下获得多层次特征图的过程与上段中的获得过程是类似的，具体参照上段中的相关描述即可，在此不再赘述。
这种实施方式中，利用主干网络，可以非常便捷地得到视频中每一帧的主干特征图，通过对主干特征图的至少三层特征图进行处理，可以非常便捷得到视频中每一帧的多层次特征图，以便于依据得到的主干特征图和多层次特征图，执行后续的步骤。
步骤102，将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息。
这里，相邻帧是指视频中任意两个相邻的图像帧，例如，视频中的第t-1帧和第t帧是相邻帧，视频中的第t帧和第t+1帧也是相邻帧。
这里，可以仅将视频中相邻帧的主干特征图中的至少部分特征图输入至光流估计子网络，以通过光流估计，得到相邻帧之间的光流信息。需要说明的是，光流估计能够捕捉目标在相邻帧间的运动关系，其被广泛用于视频分析和处理。传统光流估计方法主要采用变分方法，主要针对小位移，而针对目标的大位移，一些组合匹配方法已经整合到变分方法中，例如DeepFlow和EpicFlow。另外，基于深度学习的方法最近已被用于光流，例如，FlowNet系列方法，基于深度学习的特征流表明视频中的信息冗余可以被利用来加速视频识别，同时精度下降很小，本发明实施例中具体可以利用基于深度学习的方法来得到光流信息。
步骤103，根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图。
这里，相邻帧的共享特征图可以承载有相邻帧的共享特征，这样，在将共享特征图与相邻帧中的后一帧的多层次特征图进行融合后，生成的语义特征图可以认为是利用相邻帧中的前一帧，对相邻帧中的后一帧进行预测得到的特征图，语义特征图与相邻帧中的前后两帧的内容均是紧密相关的。
步骤104，将后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，目标检测信息包括目标类别和目标区域位置。
这里，目标类别可以用Classification进行表征，目标区域位置可以用Location进行表征。
步骤105，将目标检测信息与语义特征图输入至实例分割子网络，得到实例分割结果。
这里，实例分割也可以称为Instance Segmentation。
需要说明的是，实例分割子网络可以包括：两个卷积层模块、一个反卷积层，以及一个面向分割任务的卷积层；其中，每个卷积层模块均可以包括一个卷积层，一个修正线性单元(Rectified Linear Unit，ReLU)层和一个批归一化层。在一种具体实施方式中，将目标检测信息与语义特征图输入至实例分割子网络，得到实例分割结果，包括：
根据目标检测信息中目标区域位置，对语义特征图进行裁剪，得到目标区域特征；
将目标区域特征经过至少三次卷积和至少一次反卷积，得到多类别掩膜输出，将多类别掩膜输出中目标类别对应的掩膜作为实例分割结果。
由于目标区域特征是根据目标区域位置，对语义特征图进行裁剪得到的，目标区域特征可以为一张能够体现出目标的信息的特征图。在目标区域特征经过至少三次卷积和至少一次反卷积之后，得到的多类别掩膜输出中可以包括多个类别对应的多个掩膜，这时，可以仅从中获取目标类别对应的掩膜，该掩膜可以作为最终的实例分割结果。
这种实施方式中，依据目标检测信息、语义特征图，以及实例分割子网络，可以非常便捷地得到实例分割结果。
本发明实施例中，可以获得视频中每一帧的主干特征图和多层次特征图，在进行实例分割时，可以先将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息，然后根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图。接下来，可以将后一帧的多层次特征图输入至目标检测子网络，得到包括目标类别和目标区域位置的目标检测信息，之后，将目标检测信息与语义特征图输入至实例分割子网络，可以得到实例分割结果。可见，本发明实施例中综合使用了光流估计子网络、目标检测子网络和实例分割子网络，通过光流估计子网络的使用，能够通过相邻帧的光流信息来提升相邻帧的内容相关性，基于光流信息，以及特征图的融合，能够得到可靠性较高的语义特征图，并且，通过目标检测子网络的使用，能够得到准确率较高的目标检测信息，通过实例分割子网络的使用，可以基于可靠性较高的语义特征图，以及准确率较高的目标检测信息，得到最终的实例分割结果。因此，在进行视频实例分割时，本发明实施例能够较好地保证分割结果的准确性，这样，即使受到外观恶化的影响，本发明实施例也能够达到较好的实例分割效果。
可选地，获得视频中每一帧的主干特征图和多层次特征图之前，该方法还包括：
将视频中的帧划分为关键帧和非关键帧；
其中，关键帧的主干特征图中的任一特征图的通道数是非关键帧的主干特征图中的相应特征图的N倍，关键帧的多层次特征图中的任一特征图是非关键帧的多层次特征图中的相应特征图的N倍，N为大于或等于2的整数。
这里，N可以为2、3、4或者5，当然，N的取值并不局限于此，具体可以根据实际情况来确定，本实施例对此不做任何限定。为了便于理解，本实施例中均以N为4的情况为例进行说明。
需要说明的是，对于视频中的帧，在进行关键帧和非关键帧的划分时，可以根据实际处理速度需求设定关键帧和非关键帧的比例，一般而言，该比例可以位于1:5到1:10之间。具体地，可以将视频中的第一帧作为关键帧，然后每隔10帧取一帧作为关键帧，并将其余帧均作为非关键帧。
本实施例中，关键帧的主干特征图中的任一特征图的通道数可以是非关键帧的主干特征图中的相应特征图的4倍，关键帧的多层次特征图中的任一特征图可以是非关键帧的多层次特征图中的相应特征图的4倍。这里，视频中的第t帧可以为关键帧，视频中的第t-1帧可以为非关键帧，第t帧的主干特征图可以包括Bt,1、Bt,2、Bt,3、Bt,4、Bt,5，第t帧的多层次特征图可以包括Ht,1、Ht,2和Ht,3，第t-1帧的主干特征图可以包括Bt-1,1、Bt-1,2、Bt-1,3、Bt-1,4、Bt-1,5，第t-1帧的多层次特征图可以包括Ht-1,1、Ht-1,2、Ht-1,3，那么，Bt,1的通道数可以为Bt-1,1的通道数的4倍，Bt,2的通道数可以为Bt-1,2的通道数的4倍，Bt,3的通道数可以为Bt-1,3的通道数的4倍，Bt,4的通道数可以为Bt-1,4的通道数的4倍；类似地，Ht,1的通道数可以为Ht-1,1的通道数的4倍，Ht,2的通道数可以为Ht-1,2的通道数的4倍，Ht,3的通道数可以为Ht-1,3的通道数的4倍。
本实施例中，通过关键帧的主干特征图中的特征图与非关键帧的主干特征图中的相应特征图的通道数的差异化，以及关键帧的多层次特征图中的特征图与非关键帧的多层次特征图中的相应特征图的通道数的差异化，既能够保证关键帧的实例分割精度，又能够保证非关键帧的实例分割速度。
可选地，视频中每一帧的主干特征图均是利用主干网络得到的，并且，关键帧对应的主干网络通道数乘子为非关键帧的N倍。
这里，视频中每一帧的主干特征图均可以是将该帧输入主干网络后得到的，关键帧和非关键帧对应的主干网络可以均为MobileNet_V2，但是，作为关键帧对应的主干网络的MobileNet_V2的通道数乘子可以为1.4，作为非关键帧对应的主干网络的MobileNet_V2的通道数乘子可以为0.35，这样能够便捷地实现关键帧的主干特征图中的特征图与非关键帧的主干特征图中的相应特征图的通道数的差异化。
可选地，光流估计子网络包括第一卷积层模块、第二卷积层模块和第三卷积层模块；
第一卷积层模块用于将相邻帧的主干特征图中，位于第四网络层次的特征图进行直连后，再进行卷积、ReLU激活和批归一化，得到处理结果；
第二卷积层模块用于将相邻帧中的前一帧的多层次特征图中，分辨率居中的特征图，以及第一卷积层模块的处理结果进行直连后，再进行反卷积、ReLU激活和批归一化，得到处理结果；
第三卷积层模块用于将第二卷积层模块的处理结果进行卷积、ReLU激活和批归一化，得到处理结果；其中，光流信息是从第三卷积层模块的处理结果中提取的。
以图2为例，在视频中的第t帧的主干特征图包括Bt,1、Bt,2、Bt,3、Bt,4、Bt,5，视频帧中的第t帧的多层次特征图包括Ht,1、Ht,2和Ht,3，视频中的第t-1帧的主干特征图包括Bt-1,1、Bt-1,2、Bt-1,3、Bt-1,4、Bt-1,5，视频中的第t-1帧的多层次特征图包括Ht-1,1、Ht-1,2、Ht-1,3的情况下，Bt,1和Bt-1,1可以位于第一网络层次，Bt,2和Bt-1,2可以位于第二网络层次，Bt,3和Bt-1,3可以位于第三网络层次，Bt,4和Bt-1,4可以位于第四网络层次，Bt,5和Bt-1,5可以位于第五网络层次，Ht,2的分辨率在Ht,1、Ht,2和Ht,3三者中可以是居中的，Ht-1,2的分辨率在Ht-1,1、Ht-1,2、Ht-1,3三者中可以是居中的。
对于第一卷积层模块而言，其可以将位于第四网络层次的Bt,4和Bt-1,4先进行直连，然后将直连结果依次进行卷积、ReLU激活和批归一化，以得到处理结果，处理结果可以为图2中的Ot,1，第一卷积层模块可以将Ot,1提供给第二卷积层模块。
需要指出的是，在Bt,4的通道数为Bt-1,4的通道数的4倍的情况下，可以先对Bt,4进行降维处理(例如通过1×1的卷积进行降维)，使Bt,4的通道数与Bt-1,4的通道数相同，然后再对Bt,4与Bt-1,4进行直连。另外，后续实施例中，当不同通道数的特征图进行直连或者相加时，也需要先通过维度调节操作，保证特征图的通道数一致后再进行相应处理。
对于第二卷积层模块而言，其可以将Ht-1,2，以及Ot,1进行直连，然后将直流结果依次进行反卷积、ReLU激活和批归一化，以得到处理结果，处理结果可以为图2中的Ot,2，第二卷积层模块可以将Ot,2提供给第三卷积层模块。
对于第三卷积层模块，其可以将Ot,2依次进行卷积、ReLU激活和批归一化，得到处理结果，处理结果可以为图2中的Ot,3，之后，可以从Ot,3中提取光流信息。
可见，本实施例中，利用由第一卷积层模块、第二卷积层模块和第三卷积层模块组成的光流估计子网络，可以便捷可靠地得到相邻帧之间的光流信息，并且，光流估计子网络的整体结构也非常简单。
可选地，根据光流信息，得到相邻帧的共享特征图，包括：
根据光流信息，对相邻帧中的前一帧的多层次特征图中，分辨率最大的特征图进行特征扭曲，得到相邻帧的共享特征图。
这里，特征扭曲也可以称为Feature Warping。
仍以图2为例，在得到光流信息之后，可以根据光流信息，对Ht-1,3进行特征扭曲，以得到作为相邻帧的共享特征图的Wt,t-1。可见，本实施例中，得到共享特征图的操作实施起来非常便捷。
可选地，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图，包括：
将共享特征图与相邻帧中后一帧的多层次特征图中分辨率最大的特征图进行相加后，对相加结果进行批归一化，并将批归一化结果输入至基于卷积的门控循环单元(Gated Recurrent Unit，GRU)网络中，得到语义特征图。
这里，基于卷积的GRU网络也可以称为ConvGRU网络，ConvGRU网络具体可以为基于Bottleneck(即瓶颈)卷积的GRU网络。
仍以图2为例，在得到作为相邻帧的共享特征图的Wt,t-1之后，可以先将Wt,t-1与Ht,3进行相加，对相加结果进行批归一化，并将批归一化结果输入至ConvGRU，以得到语义特征图St，St具体为视频中第t帧的语义特征图。这里，视频中第t-1帧也可以具有语义特征图，该语义特征图可以为St-1，为了得到St，可以将Wt,t-1与Ht,3的相加结果进行批归一化后得到的批归一化结果，以及St作为两个输入数据输入至ConvGRU网络，以得到ConvGRU网络的输出数据，该输出数据即可作为St。
需要说明的是，ConvGRU网络的结构图可以如图3所示，在使用ConvGRU网络时，只需给ConvGRU网络提供两个输入数据，ConvGRU网络即可输出一个输出数据，ConvGRU网络基于两个输入数据，得到输出数据的流程可以为：
利用公式Bt＝Conv1([Xt,Yt-1])，计算Bt；
利用公式Rt＝σ(Conv2(Bt))和Zt＝σ(Conv2(Bt))，计算Rt和Zt；
利用公式Ct＝Conv1([Xt,Rt*Yt-1])，计算Ct；
利用公式Tt＝tanh(Conv2(Ct))，计算Tt；
利用公式Yt＝(1-Zt)*Yt-1+Zt*Tt，计算Yt；
其中，Xt为两个输入数据中的一者，Yt-1为两个输入数据中的另一者，Ht为输出数据，Conv1为1×1的卷积，Conv2为3×3的卷积，σ为Sigmoid函数，tanh为正切函数，Yt为输出数据。
可见，本实施例中，通过使用ConvGRU网络，可以非常便捷地实现共享特征图与相邻帧中的后一帧的多层次特征图的融合，以实现目标时间序列上的特征信息的融合。
可选地，将后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息，包括：
根据后一帧的多层次特征图中分辨率居中的特征图，得到用于表征每个候选区域是否包含目标的估计结果，并根据估计结果，得到目标候选区域；
对后一帧的多层次特征图中分辨率居中的特征图进行卷积和大尺度可分离卷积后输入到基于卷积的GRU网络中，得到目标检测特征图；
根据目标候选区域，对目标检测特征图进行裁剪，得到候选目标区域特征；
根据候选目标区域特征，确定目标类别，并通过回归得到优化的目标区域位置；
根据目标类别和优化的目标区域位置，得到目标检测信息。
这里，目标检测子网络可以包括区域推荐网络(Region Proposal Network，RPN)、位置敏感的候选区域池化(Position Sensitive RoI Pooling，PSRoIPooling)、区域分类与回归模块，以及RoIAlign模块等。
具体实施时，可以先将Ht,1输入至RPN，以得到用于表征Ht,1中的每个候选区域是否包含目标的估计结果，这里，候选区域的数量可能有上万个，数十万个等。接下来，对于估计结果指示包含目标的候选区域，可以使用非极大值抑制(Non Maximum Suppression，NMS)方式对其处理，以得到目标候选区域，这时，目标候选区域的数量相比于候选区域的数量可以大大减少，例如，目标候选区域的数量可以为上千个。
另外，还可对将Ht,1进行卷积，以得到图2中的Dt,1，之后，可以对Dt,1进行大尺度可分离卷积，并根据大尺度可分离卷积结果，得到作为目标检测特征图的Dt,2。这里，大尺度可分离卷积也可以称为Large Sep Conv，大尺度可分离卷积使用的网络的结构图可以如图4所示，图4中的K的取值可以为15，也就是说，进行大尺度可分离卷积时使用的可以为1×15的卷积或者15×1的卷积。
需要说明的是，Dt,2具体为视频中第t帧的目标检测特征图，这里，视频中第t-1帧也可以具有目标检测特征图，该目标检测特征图可以为Dt-1,2，为了得到Dt,2，可以将Dt,1的大尺度可分离卷积结果，以及Dt-1,2作为两个输入数据输入至ConvGRU网络，以得到ConvGRU网络的输出数据，该输出数据即可作为Dt,2。需要指出的是，ConvGRU网络基于两个输入数据得到输出数据的过程参照上述实施例中的说明即可，在此不再赘述。
接下来，可以由RoIAlign模块根据目标候选区域，对作为目标检测特征图的Dt,2进行裁剪，以得到候选目标区域特征，可以由区域分类与回归模块根据目标候选区域特征，确定目标类别，并通过进一步回归得到优化的目标区域位置。之后，可以由RoIAlign模块获得包括目标类别和优化的目标区域位置的目标检测信息，目标检测信息可以用于后续的实例分割。
可见，本实施例中，利用包括RPN、区域分类与回归模块，RoIAlign模块等的目标检测子网络，可以便捷可靠地得到目标检测信息，并且，通过引入大尺度可分离卷积操作，有利于增加进行目标检测时的检测视野，这样能够较好地保证检测结果的可靠性。
由上述内容可知，本实施例中总共可以涉及三个子网络，分别为光流估计子网络、目标检测子网络、视频实例分割子网络。具体地，光流估计子网络可以用于实现得到图2中的Ot,1，Ot,2、Ot等的过程，光流估计子网络可以捕捉连续帧之间的光流信息，并通过特征扭曲进一步得到共享特征图Wt,t-1。目标检测子网络可以用于实现得到图2中的Dt,1、Dt,2等的过程，目标检测子网络可以采用基于区域的全卷积网络(Region-based FullyConvolutional Networks，RFCN)架构，并通过ConvGRU网络来融合时序特征，从而为实例分割提供更精确的目标检测信息。实例分割子网络可以将特征图Ht,3与上述共享特征图Wt,t-1进行特征相加处理，并进一步利用ConvGRU网络来融合目标时间序列上的特征信息，最后根据目标检测信息获得实例分割结果。
另外，在处理关键帧和非关键帧上，可以分别采用两个网络，这两个网络均由MobileNetV2构成，但两个网络的通道数乘子不同，例如，前者的通道数乘子为1.4，后者的通道数乘子为0.35。关键帧的主干网络特征图和特征图Ht,1、Ht,2和Dt,1的通道数均为非关键帧的对应特征图的4倍，特征图Ht,3、Dt,2以及光流估计子网络部分特征图结构保持不变，因此在光流估计子网络上，关键帧的特征图可以通过1×1的卷积降维后再进行特征融合。
可选地，获得视频中每一帧的主干特征图和多层次特征图之前，该方法还包括：
构建视频处理框架；其中，视频处理框架包括光流估计子网络、目标检测子网络和实例分割子网络；
计算视频处理框架的光流估计误差；
根据光流估计误差，对视频处理框架进行误差修正。
这里，光流估计误差L可以为：
L＝Lcls+Lbox+Lflow+Lmask；
其中，Lcls、Lbox、Lflow和Lmask分别为区域分类、位置回归、光流估计和掩模的误差损失函数，Lcls通过多类交叉熵进行度量，Lbox通过SmoothedL1函数进行度量，Lflow通过均方误差进行度量，Lmask则通过二值交叉熵进行度量。
这里，视频处理框架可以为用于视频实例分割的端到端学习框架(Multi-features Fusion for Video Instance Segmentation，MFVIS)。对于构建好的视频处理框架，可以利用上述公式计算得到光流估计误差L。在得到L之后，可以调整视频处理框架中的至少部分参数或者使用到的算法，例如，可以调整目标检测子网络中对Dt,1进行大尺度可分离卷积时使用的卷积，并在调整之后，再次计算L，并比对前后计算得到的L的差异，并根据差异结果再次进行参数或算法的调整，以通过多次调整，实现视频处理框架的误差修正，从而将视频处理框架的L降低至较低的水平，以保证后续利用视频处理框架进行视频实例分割时，分割结果的准确性。
需要指出的是，现有技术中的视频实例分割方法是基于启发式后处理，而不是基于视频内容学习，因而不能够提高目标检测与分割质量，并且，由于视频运动，相同目标在不同帧的空间上是不对齐的且有一定的形变，导致朴素的特征融合甚至可能使性能恶化。
现有技术中，早期的实例分割方法一般先提出分割候选区域，再对候选区域进行分类，然后对有目标的区域进行目标检测，最后在检测区域内对目标进行分割。而有研究人员提出了组合分割建议系统和目标检测系统用于全卷积实例分割(FCIS)。在此基础上，MASK R-CNN并行的预测类别和位置框坐标的同时为每一个RoI输出一个二元掩膜，并采用RoIAlign来减少量化误差，大大提高了实例分割的性能。
一般而言，视频实例分割方法可分为基于传播的方法和基于检测的方法；其中，基于传播的方法主要利用目标运动的时间相关性，并将此问题表达为从给定的带分割标记的帧开始的目标信息传播。这些方法依赖于像素之间的时空连接，可以适应目标的复杂变形和移动。然而，这些方法容易受到像遮挡和快速运动这样的时间不连续性的影响，并且一旦传播变得不可靠，就会遭受漂移。基于检测的方法从给定的带注释的帧中学习目标的外观，并在每一帧执行目标对象的像素级检测。由于它们很少依赖时间一致性，因此它们在处理目标遮挡和漂移方面较有成效。然而，由于他们的估计主要基于注解帧中的目标外观，所以它们往往不能适应外观变化并且难以用具有相似外观的目标实例进行分离。近期解决这个问题的方法是利用深度神经网络，但该方法很大程度上依赖于在线学习，尽管在线学习通过让网络适应目标对象的外观来提高分割准确性，但计算上是昂贵的，因此限制了它的实际使用。
另外，在进行视频目标检测时，几乎所有已存在的方法都是仅在最后阶段“位置框后处理”中包含时间信息，已存在的方法可以包括管卷积神经网络(Tube ConvolutionalNeural Network，T-CNN)、Seq-NMS、基于变换点检测的多目标跟踪(Multi-Class Multi-Object Tracking using Changing Point Detection，MCMOT)。具体地，T-CNN根据预先计算的光流将预测的位置框传播到相邻帧，然后利用来自高信任位置框的跟踪算法生成目标候选位置框。Seq-NMS沿着连续帧的附近高精度位置框构建序列，将序列的框重新评分为平均信度，抑制接近该序列的其他框。MCMOT将后处理制定为多对象跟踪问题。一系列人工规则(例如，关于滤波器的检测器，颜色/运动线索，变化点检测和前向后验证)用于确定位置框是否属于被跟踪对象，并进一步重新确定跟踪结果。不幸的是，所有这些方法都是多阶段传输途径，每个阶段的结果将依赖于前一阶段的结果。因此，很难纠正前一阶段产生的错误。相比之下，我们的方法考虑特征层次的时间信息而不是最终的目标框层次。
有鉴于此，本实施例提出了一种用于进行视频实例分割的方法，该方法可用于现实增强中目标的实时交互，该方法使用一种端对端学习框架，该方法考虑特征层次的时间信息而不是最终的目标框层次，该方法通过多层次特征融合的方式来综合利用视频中时序特征、光流特征和目标语义特征，以得到分割质量较高的实例目标；本实施例通过基于ConvGRU网络来学习目标运动路径上时序特征，通过相邻帧的光流特征来提升相邻帧的内容相关性，通过关键帧的特征学习来提升视频分割精度，通过非关键帧的快速学习来提高视频处理速度。这样，本实施例能够结合基于传播的视频实例分割方法和基于检测的视频实例分割方法的优势，利用关键帧的高精度实例分割来抑制目标漂移，并结合时序信息和光流信息进行多层次特征融合，使得视频实例分割在处理速度提高的同时能够获得较高的实例分割精度，从而实现实时的高质量的视频实例分割。因此，本实施例能够较好地实现分割速度与分割精度的平衡，其的处理速度在单片显卡(如GTX 1080Ti)上可以达到40fps(即每秒40帧)。
下面对本发明实施例提供的视频实例分割装置进行说明。
参见图5，图中示出了本发明实施例提供的视频实例分割装置500的结构框图。如图5所示，视频实例分割装置500包括：
第一获得模块501，用于获得视频中每一帧的主干特征图和多层次特征图；
第二获得模块502，用于将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息；
处理模块503，用于根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；
第三获得模块504，用于将后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，目标检测信息包括目标类别和目标区域位置；
第四获得模块505，用于将目标检测信息与语义特征图输入至实例分割子网络，得到实例分割结果。
可选地，第一获得模块501，包括：
第一获得子模块，用于针对视频中每一帧，将其输入至主干网络，得到其主干特征图；其中，视频中每一帧的主干特征图包括分辨率和网络层次均不同的五张特征图；
第二获得子模块，用于针对视频中每一帧，将其的主干特征图中的至少三层特征图进行特征融合处理，得到其多层次特征图；其中，特征融合处理包括上采样、直连和卷积，视频中每一帧的多层次特征图中包括分辨率不同的三张特征图。
可选地，视频实例分割装置500还包括：
划分模块，用于在获得视频中每一帧的主干特征图和多层次特征图之前，将视频中的帧划分为关键帧和非关键帧；
其中，关键帧的主干特征图中的任一特征图的通道数是非关键帧的主干特征图中的相应特征图的N倍，关键帧的多层次特征图中的任一特征图是非关键帧的多层次特征图中的相应特征图的N倍，N为大于或等于2的整数。
可选地，视频中每一帧的主干特征图均是利用主干网络得到的，并且，关键帧对应的主干网络通道数乘子为非关键帧的N倍。
可选地，光流估计子网络包括第一卷积层模块、第二卷积层模块和第三卷积层模块；
第一卷积层模块用于将相邻帧的主干特征图中，位于第四网络层次的特征图进行直连后，再进行卷积、修正线性单元ReLU激活和批归一化，得到处理结果；
第二卷积层模块用于将相邻帧中的前一帧的多层次特征图中，分辨率居中的特征图，以及第一卷积层模块的处理结果进行直连后，再进行反卷积、ReLU激活和批归一化，得到处理结果；
第三卷积层模块用于将第二卷积层模块的处理结果进行卷积、ReLU激活和批归一化处理，得到处理结果；其中，光流信息是从第三卷积层模块的处理结果中提取的。
可选地，处理模块503，具体用于：
根据光流信息，对相邻帧中的前一帧的多层次特征图中，分辨率最大的特征图进行特征扭曲，得到相邻帧的共享特征图。
可选地，处理模块503，具体用于：
将共享特征图与相邻帧中后一帧的多层次特征图中分辨率最大的特征图进行相加后，对相加结果进行批归一化，并将批归一化结果输入至基于卷积的门控循环单元GRU网络中，得到语义特征图。
可选地，第三获得模块504，包括：
第三获得子模块，用于根据后一帧的多层次特征图中分辨率居中的特征图，得到用于表征每个候选区域是否包含目标的估计结果，并根据估计结果，得到目标候选区域；
第四获得子模块，用于对后一帧的多层次特征图中分辨率居中的特征图进行卷积和大尺度可分离卷积后输入到基于卷积的GRU网络中，得到目标检测特征图；
第五获得子模块，用于根据目标候选区域，对目标检测特征图进行裁剪，得到候选目标区域特征；
第六获得子模块，用于根据候选目标区域特征，确定目标类别，并通过回归得到优化的目标区域位置；
第七获得子模块，用于根据目标类别和优化的目标区域位置，得到目标检测信息。
可选地，第四获得模块505，包括：
第八获得子模块，用于根据目标检测信息中目标区域位置，对语义特征图进行裁剪，得到目标区域特征；
第九获得子模块，用于将目标区域特征经过至少三次卷积和至少一次反卷积，得到多类别掩膜输出，将多类别掩膜输出中目标类别对应的掩膜作为实例分割结果。
可见，本发明实施例中综合使用了光流估计子网络、目标检测子网络和实例分割子网络，通过光流估计子网络的使用，能够通过相邻帧的光流信息来提升相邻帧的内容相关性，基于光流信息，以及特征图的融合，能够得到可靠性较高的语义特征图，并且，通过目标检测子网络的使用，能够得到准确率较高的目标检测信息，通过实例分割子网络的使用，可以基于可靠性较高的语义特征图，以及准确率较高的目标检测信息，得到最终的实例分割结果。因此，在进行视频实例分割时，本发明实施例能够较好地保证分割结果的准确性，这样，即使受到外观恶化的影响，本发明实施例也能够达到较好的实例分割效果。
下面对本发明实施例提供的视频实例分割设备进行说明。
参见图6，图中示出了本发明实施例提供的视频实例分割设备600的结构示意图。如图6所示，视频实例分割设备600包括：处理器601、存储器603、用户接口604和总线接口。
处理器601，用于读取存储器603中的程序，执行下列过程：
获得视频中每一帧的主干特征图和多层次特征图；
将视频中相邻帧的主干特征图输入至光流估计子网络，得到相邻帧之间的光流信息；
根据光流信息，得到相邻帧的共享特征图，将共享特征图与相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；
将后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，目标检测信息包括目标类别和目标区域位置；
将目标检测信息与语义特征图输入至实例分割子网络，得到实例分割结果。
在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器601代表的一个或多个处理器和存储器603代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。针对不同的用户设备，用户接口604还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器601负责管理总线架构和通常的处理，存储器603可以存储处理器601在执行操作时所使用的数据。
可选地，处理器601，具体用于：
针对视频中每一帧，将其输入至主干网络，得到其主干特征图；其中，视频中每一帧的主干特征图包括分辨率和网络层次均不同的五张特征图；
针对视频中每一帧，将其的主干特征图中的至少三层特征图进行特征融合处理，得到其多层次特征图；其中，特征融合处理包括上采样、直连和卷积，视频中每一帧的多层次特征图中包括分辨率不同的三张特征图。
可选地，处理器601，还用于：
在获得视频中每一帧的主干特征图和多层次特征图之前，将视频中的帧划分为关键帧和非关键帧；
其中，关键帧的主干特征图中的任一特征图的通道数是非关键帧的主干特征图中的相应特征图的N倍，关键帧的多层次特征图中的任一特征图是非关键帧的多层次特征图中的相应特征图的N倍，N为大于或等于2的整数。
可选地，视频中每一帧的主干特征图均是利用主干网络得到的，并且，关键帧对应的主干网络通道数乘子为非关键帧的N倍。
可选地，光流估计子网络包括第一卷积层模块、第二卷积层模块和第三卷积层模块；
第一卷积层模块用于将相邻帧的主干特征图中，位于第四网络层次的特征图进行直连后，再进行卷积、修正线性单元ReLU激活和批归一化，得到处理结果；
第二卷积层模块用于将相邻帧中的前一帧的多层次特征图中，分辨率居中的特征图，以及第一卷积层模块的处理结果进行直连后，再进行反卷积、ReLU激活和批归一化，得到处理结果；
第三卷积层模块用于将第二卷积层模块的处理结果进行卷积、ReLU激活和批归一化处理，得到处理结果；其中，光流信息是从第三卷积层模块的处理结果中提取的。
可选地，处理器601，具体用于：
根据光流信息，对相邻帧中的前一帧的多层次特征图中，分辨率最大的特征图进行特征扭曲，得到相邻帧的共享特征图。
可选地，处理器601，具体用于：
将共享特征图与相邻帧中后一帧的多层次特征图中分辨率最大的特征图进行相加后，对相加结果进行批归一化，并将批归一化结果输入至基于卷积的门控循环单元GRU网络中，得到语义特征图。
可选地，处理器601，具体用于：
根据后一帧的多层次特征图中分辨率居中的特征图，得到用于表征每个候选区域是否包含目标的估计结果，并根据估计结果，得到目标候选区域；
对后一帧的多层次特征图中分辨率居中的特征图进行卷积和大尺度可分离卷积后输入到基于卷积的门控循环单元GRU网络中，得到目标检测特征图；
根据目标候选区域，对目标检测特征图进行裁剪，得到候选目标区域特征；
根据候选目标区域特征，确定目标类别，并通过回归得到优化的目标区域位置；
根据目标类别和优化的目标区域位置，得到目标检测信息。
可选地，处理器601，具体用于：
根据目标检测信息中目标区域位置，对语义特征图进行裁剪，得到目标区域特征；
将目标区域特征经过至少三次卷积和至少一次反卷积，得到多类别掩膜输出，将多类别掩膜输出中目标类别对应的掩膜作为实例分割结果。
可见，本发明实施例中综合使用了光流估计子网络、目标检测子网络和实例分割子网络，通过光流估计子网络的使用，能够通过相邻帧的光流信息来提升相邻帧的内容相关性，基于光流信息，以及特征图的融合，能够得到可靠性较高的语义特征图，并且，通过目标检测子网络的使用，能够得到准确率较高的目标检测信息，通过实例分割子网络的使用，可以基于可靠性较高的语义特征图，以及准确率较高的目标检测信息，得到最终的实例分割结果。因此，在进行视频实例分割时，本发明实施例能够较好地保证分割结果的准确性，这样，即使受到外观恶化的影响，本发明实施例也能够达到较好的实例分割效果。
优选地，本发明实施例还提供一种视频实例分割设备，包括处理器601，存储器603，存储在存储器603上并可在处理器601上运行的计算机程序，该计算机程序被处理器601执行时实现上述视频实例分割方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频实例分割方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种视频实例分割方法，其特征在于，所述方法包括：
获得视频中每一帧的主干特征图和多层次特征图；
将所述视频中相邻帧的主干特征图输入至光流估计子网络，得到所述相邻帧之间的光流信息；
根据所述光流信息，得到所述相邻帧的共享特征图，将所述共享特征图与所述相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图；
将所述后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息；其中，所述目标检测信息包括目标类别和目标区域位置；
将所述目标检测信息与所述语义特征图输入至实例分割子网络，得到实例分割结果；
其中，所述将所述共享特征图与所述相邻帧中的后一帧的多层次特征图进行融合，生成语义特征图，包括：
将所述共享特征图与所述相邻帧中后一帧的多层次特征图中分辨率最大的特征图进行相加后，对相加结果进行批归一化，并将批归一化结果输入至基于卷积的门控循环单元GRU网络中，得到语义特征图。
2.根据权利要求1所述的方法，其特征在于，所述获得视频中每一帧的主干特征图和多层次特征图，包括：
针对视频中每一帧，将其输入至主干网络，得到其主干特征图；其中，所述视频中每一帧的主干特征图包括分辨率和网络层次均不同的五张特征图；
针对所述视频中每一帧，将其的主干特征图中的至少三层特征图进行特征融合处理，得到其多层次特征图；其中，所述特征融合处理包括上采样、直连和卷积，所述视频中每一帧的多层次特征图中包括分辨率不同的三张特征图。
3.根据权利要求1所述的方法，其特征在于，所述获得视频中每一帧的主干特征图和多层次特征图之前，所述方法还包括：
将视频中的帧划分为关键帧和非关键帧；
其中，所述关键帧的主干特征图中的任一特征图的通道数是所述非关键帧的主干特征图中的相应特征图的N倍，所述关键帧的多层次特征图中的任一特征图是所述非关键帧的多层次特征图中的相应特征图的N倍，N为大于或等于2的整数。
4.根据权利要求3所述的方法，其特征在于，所述视频中每一帧的主干特征图均是利用主干网络得到的，并且，所述关键帧对应的主干网络通道数乘子为所述非关键帧的N倍。
5.根据权利要求1所述的方法，其特征在于，所述光流估计子网络包括第一卷积层模块、第二卷积层模块和第三卷积层模块；
所述第一卷积层模块用于将所述相邻帧的主干特征图中，位于第四网络层次的特征图进行直连后，再进行卷积、修正线性单元ReLU激活和批归一化，得到处理结果；
所述第二卷积层模块用于将所述相邻帧中的前一帧的多层次特征图中，分辨率居中的特征图，以及所述第一卷积层模块的处理结果进行直连后，再进行反卷积、ReLU激活和批归一化，得到处理结果；
所述第三卷积层模块用于将所述第二卷积层模块的处理结果进行卷积、ReLU激活和批归一化处理，得到处理结果；其中，所述光流信息是从所述第三卷积层模块的处理结果中提取的。
6.根据权利要求1所述的方法，其特征在于，所述根据所述光流信息，得到所述相邻帧的共享特征图，包括：
根据所述光流信息，对所述相邻帧中的前一帧的多层次特征图中，分辨率最大的特征图进行特征扭曲，得到所述相邻帧的共享特征图。
7.根据权利要求1所述的方法，其特征在于，所述将所述后一帧的多层次特征图输入至目标检测子网络，得到目标检测信息，包括：
根据所述后一帧的多层次特征图中分辨率居中的特征图，得到用于表征每个候选区域是否包含目标的估计结果，并根据所述估计结果，得到目标候选区域；
对所述后一帧的多层次特征图中分辨率居中的特征图进行卷积和大尺度可分离卷积后输入到基于卷积的门控循环单元GRU网络中，得到目标检测特征图；
根据所述目标候选区域，对所述目标检测特征图进行裁剪，得到候选目标区域特征；
根据所述候选目标区域特征，确定目标类别，并通过回归得到优化的目标区域位置；
根据所述目标类别和优化的目标区域位置，得到目标检测信息。
8.根据权利要求1所述的方法，其特征在于，所述将所述目标检测信息与所述语义特征图输入至实例分割子网络，得到实例分割结果，包括：
根据所述目标检测信息中目标区域位置，对所述语义特征图进行裁剪，得到目标区域特征；
将所述目标区域特征经过至少三次卷积和至少一次反卷积，得到多类别掩膜输出，将所述多类别掩膜输出中所述目标类别对应的掩膜作为实例分割结果。
9.一种视频实例分割设备，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的视频实例分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的视频实例分割方法的步骤。
CN201910624621.XA 2019-07-11 2019-07-11 视频实例分割方法、设备及计算机可读存储介质 Active CN110378348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910624621.XA CN110378348B (zh) 2019-07-11 2019-07-11 视频实例分割方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910624621.XA CN110378348B (zh) 2019-07-11 2019-07-11 视频实例分割方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110378348A CN110378348A (zh) 2019-10-25
CN110378348B true CN110378348B (zh) 2021-07-09

Family

ID=68252817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910624621.XA Active CN110378348B (zh) 2019-07-11 2019-07-11 视频实例分割方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110378348B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275746B (zh) * 2020-01-19 2023-05-23 浙江大学 一种基于fpga的稠密光流计算系统及方法
CN113283269A (zh) * 2020-02-20 2021-08-20 上海博泰悦臻电子设备制造有限公司 用于标识地图的方法、电子设备和计算机存储介质
CN113496158A (zh) * 2020-03-20 2021-10-12 中移(上海)信息通信科技有限公司 对象检测模型的优化方法、装置、设备及存储介质
CN111860442B (zh) * 2020-07-31 2022-11-11 浙江工业大学 一种基于时序特征共享结构的视频目标检测方法
CN112132750B (zh) * 2020-09-25 2024-04-09 北京猿力未来科技有限公司 一种视频处理方法与装置
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法
CN113129226B (zh) * 2021-03-24 2023-06-23 西安理工大学 基于convGRU-U-Net的计算鬼成像重建算法
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN113421231B (zh) * 2021-06-08 2023-02-28 杭州海康威视数字技术股份有限公司 一种出血点检测方法、装置及系统
CN113450280A (zh) * 2021-07-07 2021-09-28 电子科技大学 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN113538527B (zh) * 2021-07-08 2023-09-26 上海工程技术大学 一种高效轻量级光流估计方法、存储介质及装置
CN114419524B (zh) * 2022-03-29 2022-08-05 之江实验室 一种基于伪光流辅助的视频分类方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN109284667A (zh) * 2018-07-26 2019-01-29 同济大学 一种面向视频的三流式人体运动行为空间域检测方法
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
CN109753913A (zh) * 2018-12-28 2019-05-14 东南大学 计算高效的多模式视频语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN109284667A (zh) * 2018-07-26 2019-01-29 同济大学 一种面向视频的三流式人体运动行为空间域检测方法
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
CN109753913A (zh) * 2018-12-28 2019-05-14 东南大学 计算高效的多模式视频语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mask R-CNN;Kaiming He等;《2017 IEEE International Conference on Computer Vision》;20171225;第2961-2969页 *

Also Published As

Publication number Publication date
CN110378348A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378348B (zh) 视频实例分割方法、设备及计算机可读存储介质
Oh et al. Crowd counting with decomposed uncertainty
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN109410242B (zh) 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
Chen et al. Optimizing video object detection via a scale-time lattice
Ren et al. A fusion approach for multi-frame optical flow estimation
JP7177062B2 (ja) 統計モデルを用いた画像データからの深度予測
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US20100128789A1 (en) Method and apparatus for processing video sequences
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
CN110163887B (zh) 基于运动插值估计与前景分割相结合的视频目标跟踪方法
CN109635630B (zh) 手部关节点检测方法、装置及存储介质
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
Zuo et al. Minimum spanning forest with embedded edge inconsistency measurement model for guided depth map enhancement
Godet et al. Starflow: A spatiotemporal recurrent cell for lightweight multi-frame optical flow estimation
Chen et al. Deep density-aware count regressor
Ma et al. Towards no-reference image quality assessment based on multi-scale convolutional neural network
KR101916573B1 (ko) 다중 객체 추적 방법
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
Salehian et al. Dynamic programming-based dense stereo matching improvement using an efficient search space reduction technique
CN114973071A (zh) 基于长短期时序特征的无监督视频目标分割方法及系统
US20150379728A1 (en) Method for generating a motion field for a video sequence
CN111931572B (zh) 一种遥感影像的目标检测方法
CN117011655A (zh) 基于自适应区域选择特征融合方法、目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant