CN112465029A - 一种实例追踪的方法及装置 - Google Patents

一种实例追踪的方法及装置 Download PDF

Info

Publication number
CN112465029A
CN112465029A CN202011356521.2A CN202011356521A CN112465029A CN 112465029 A CN112465029 A CN 112465029A CN 202011356521 A CN202011356521 A CN 202011356521A CN 112465029 A CN112465029 A CN 112465029A
Authority
CN
China
Prior art keywords
sequence
tracking
image
result
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011356521.2A
Other languages
English (en)
Other versions
CN112465029B (zh
Inventor
王钰晴
程保山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202011356521.2A priority Critical patent/CN112465029B/zh
Publication of CN112465029A publication Critical patent/CN112465029A/zh
Application granted granted Critical
Publication of CN112465029B publication Critical patent/CN112465029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种实例追踪的方法及装置，可获指定数量的连续帧图像，作为图像序列，通过第一卷积神经网络层确定图像序列的特征图序列，并在确定图像序列的时空特征序列后，根据特征图序列以及时空特征序列输入编码器，得到对应预设追踪实例数量的编码结果，将编码结果输入解码器，得到按照图像序列以及追踪实例预测顺序排列的分类预测序列，最后根据分类预测序列、特征图序列以及编码结果，确定每帧图像中每个追踪实例的掩膜以及每个追踪实例的追踪结果，不需要确定感兴趣区域，因此在对实例检测和追踪上的耗时低，并且可一次确定多帧图像中实例追踪结果，进一步提高了实例追踪的效率。

Description

一种实例追踪的方法及装置
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种实例追踪的方法及装置。
背景技术
目前，随着无人驾驶技术的发展，由于实例追踪技术在无人车控制以及创建高精地图等方面的帮助，实例追踪技术已经成为重点研究的技术。
以应用在无人车控制场景中为例，无人车上可设置有采集图像的传感器，在需要确定运动策略时，首先可将最近一段时间各时刻采集到的图像进行实例分割，并将实例分割后的各图像中的相同实例进行关联，以实现对各图像中的实例的检测、分割和追踪。基于该实例分割后的各图像和各图像中相同实例的关联关系，后续可确定该无人车的运动策略。
现有技术中，常用的对各图像中的实例进行检测、分割和追踪的方法是基于掩膜追踪-区域卷积神经网络(MaskTrack-Region Convolutional Neural Networks,MaskTrack-RCNN)的网络结构的模型来实现的。
具体的，首先通过输入含有相同实例的多帧图片，各图像经卷积神经网络(Convolutional Neural Networks，CNN)进行特征提取，选取感兴趣区(Region ofInteret，ROI)，之后通过ROI Align操作对各个ROI区域进行校准，使得不同大小的实例提取的特征尺寸一致，该特征将分别输入BBox层、Mask层以及tracking层。其中，BBox层用于确定追踪实例的包围框(bounding box)大小和类别的预测，Mask层用于进行追踪实例的分割mask的预测，tracking层通过计算不同追踪实例特征之间的关系来实现对于不同图像中追踪实例的追踪和分割。后续则可基于追踪结果确定无人车的运动策略。
但是，现有技术中实例的检测和分割，与实例的追踪实际属于独立的两个过程，也就是分别要通过模型图像中分割出实例，再基于分割的结果对应的ROI区域的特征进行关联，确定追踪结果，过程较为繁琐，导致效率较低。
发明内容
本说明书提供一种实例追踪方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供的实例追踪的方法，包括：
从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；
根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；
确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；
将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；
将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；
根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
可选地，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列，具体包括：
将确定出的图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述第一卷积神经网络层分别输出的所述图像序列中各图像对应的特征图；
按照所述图像序列中各帧图像的排序，对各图像对应的特征图进行拼接，得到特征图序列。
可选地，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，具体包括：
通过所述编码器中的位置编码功能，针对所述图像序列中各图像中每个像素，根据该像素在图像中的位置，以及该像素所在图像在所述图像序列中的排序，进行编码得到包含位置特征以及时序特征的处理结果；
根据各像素的处理结果，确定所述图像序列对应的时空特征序列。
可选地，将所述位置特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，具体包括：
按照所述时空特征序列的维度，将所述时空特征序列的包含的各时空特征，对应添加到具有维度相同的所述特征图序列包含的各图像特征中；
根据预设的追踪实例数量，针对每帧图像对应的添加了时空特征的图像特征，进行扩充，使得每帧图像对应的图像特征的数量与所述追踪实例数量一致；
将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器，得到所述编码器根据各图像特征之间的相似度输出的各图像特征对应的编码结果。
可选地，对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器之前，所述方法还包括：
根据预设的一维卷积核对进行扩充后的特征图序列进行降维处理，使输入的数据符合作为所述编码器的输入要求。
可选地，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，具体包括：
将所述编码结果输入所述追踪模型的解码器；
得到按照所述图像序列中各帧图像的顺序，以及预设的每帧图像包含的追踪实例的预测结果的顺序，所述解码器输出的各帧图像包含的追踪实例的分类预测结果，作为分类预测序列。
可选地，根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果，具体包括：
将所述编码结果作为自注意力层的注意力加权参数，对所述分类预测序列进行注意力加权；
针对每帧图像中的每个追踪实例，根据注意力加权后对应该追踪实例的分类预测结果、所述编码结果中对应该追踪实例的编码特征以及特征图序列中对应该帧图像的特征图进行融合，将融合结果进行三维卷积处理，得到该帧图像中该追踪实例的掩膜；
根据所述追踪结果序列中对应各帧图像的分类预测结果，确定各追踪实例在各帧图像之间的追踪结果。
可选地，采用下述方法训练所述追踪模型；其中：
根据所述指定数量，从历史上连续采集的图像中，确定若干组图像序列，作为训练样本；
针对每各训练样本，根据所述预设的追踪实例数量，从该训练样本的每帧图像中确定需要追踪的追踪实例对应的包围框，并按照相同的追踪实例的排序，确定该训练样本的追踪实例的分类结果的排序；
根据确定出的各包围框以及所述分类结果的排序，确定该训练样本的标签；
将所述训练样本输入所述追踪模型，根据所述追踪模型输出的追踪实例的掩膜与所述训练样本的标签包含的包围框的位置差，以及所述追踪模型输出的追踪实例的分类预测结果与所述训练样本的标签包含分类结果的排序的差异，确定损失，并以损失最小为优化目标调整所述追踪模型中的模型参数。
可选地，所述追踪模型至少包括：第一卷积层、编码器、解码器以及第二卷积层。
本说明书提供的实例追踪的装置，包括：
获取模块，从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；
图像特征确定模块，根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；
时空特征确定模块，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；
编码模块，将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；
解码模块，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；
追踪模块，根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
本说明书提供的计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一上述的实例追踪方法。
本说明书提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一上述的实例追踪方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的实例追踪方法中，可获指定数量的连续帧图像，作为图像序列，通过第一CNN层确定图像序列的特征图序列，并在确定图像序列的时空特征序列后，根据特征图序列以及时空特征序列输入编码器，得到对应预设追踪实例数量的编码结果，将编码结果输入解码器，得到按照图像序列以及追踪实例预测顺序排列的分类预测序列，最后根据分类预测序列、特征图序列以及编码结果，通过第二CNN层，确定每帧图像中每个追踪实例的掩膜以及每个追踪实例的追踪结果。
从上述方法中可见，不同于现有技术先选取感兴趣区域，再对感兴趣区域进行处理的方法，本方法不需要确定感兴趣区域，因此在对追踪实例检测和追送上的耗时低，并且也不限制只能对两帧图像之间的追踪实例进行追踪，可以通过对一系列的图像进行处理，一次确定多帧图像中实例追踪结果，进一步提高了实例追踪的效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的实例追踪的方法流程示意图；
图2为本说明书提供的追踪模型的结构示意图；
图3为本说明书提供的追踪模型输出特征图序列的示意图；
图4为本说明书提供的确定编码器输入数据的示意图；
图5为本说明书提供的解码器输出分类预测结果的示意图；
图6为本说明书提供的确定追踪结果的示意图；
图7为本说明书提供的实例追踪的装置的示意图；
图8为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的实例追踪方法流程示意图，具体包括以下步骤：
S100：从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像。
目前，实例追踪技术可应用在多个领域中，尤其是在无人驾驶技术领域，实例追踪方法既可以用于协助确定无人车周围障碍物的运动轨迹，以根据确定出的运动轨迹确定无人车的运动策略，或者实例追踪方法也可用于创建高精地图时，用于确定图像中实例的对应关系，再结合语义模型，确定图像中可用于构建地图的物体(例如，建筑物、交通标识等固定物体)。并且，实例追踪技术由于通常应用在无人驾驶领域，因此一般可由无人车或者与无人车通信的后台服务器执行该实例追踪方法。为了方便描述，本说明书以服务器执行该实例追踪方法，以及应用该实例追踪方法来确定无人车运动策略的场景为例，进行后续说明。
在本说明书一个或多个实施例中，该实例追踪策略可以由服务器执行，或者由无人车执行。以服务器执行为例，该服务器在需要进行实例追踪时，首先可获取采集设备采集的图像。其中，采集设备可为设置在无人车上的图像传感器，用于连续采集无人车周围环境的图像。当然，采集设备采集图像的帧率具体为多少本说明书不做限制，可根据需要设置，例如24帧每秒(Frame Per Second，FPS)、60FPS等等。
具体的，该服务器可根据预设的指定数量，从该无人车上的采集设备连续采集的图像中，获取指定数量的各帧图像。当然，该服务器具体如何获取图像本说明书不做限制，可根据需要设置。例如，该无人车可以在采集设备采集图像后，实时将图像传输至该服务器，则该服务器在需要进行实例追踪时，可从已存储的图像中，确定指定数量的图像。或者，该服务器也可向该无人车发送获取请求，使无人车从采集设备连续采集的图像中，确定该指定数量的各帧图像并返回该服务器。
另外，需要说明的是，在本说明书中获取的各帧图像在时序上是连续的，并且，如果应用在确定无人车运动策略的场景中，则可根据各帧图像采集时间从近到远的顺序，确定最近采集的指定数量的图像。
进一步地，在本说明书中，该指令数量至少为2，并且可以根据需要在训练用于确定追踪结果的追踪模型时确定。也就是说，本说明书中的追踪模型并不仅限于对两帧图像中的追踪实例进行匹配，确定追踪结果，而是可根据需要确定多于2张的图像中追踪实例的追踪结果。为了方便描述，后续以该指令数量为3进行说明，则该服务器可获取采集设备最近采集的3张图像。
S102：根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列。
在本说明书提供的一个或多个实施例中，服务器可在确定各帧图像后，按照图像采集顺序，确定图像序列作为输入，将图像序列输入训练好的追踪模型的第一卷积神经网络(Convolutional Neural Networks，CNN)层，使该第一CNN层输出该图像序列对应的特征图序列，以便后续基于编码器可基于该特征图序列进行特征编码。其中，本说明书提供的追踪模型的结构如图2所示，该追踪模型至少包括了第一卷积层、编码器、解码器以及第二卷积层，具体各层的详细结构本说明书后续再进行说明。
具体的，在本说明书中，该服务器可先按照图像采集顺序，确定图像序列，然后再将图像序列输入该追踪模型的第一CNN层，通过该第一CNN层中的多个卷积层，可分别得到图像序列中各图像对应的维度(W×H)以及深度(T的特征图。之后，该服务器可按照该图像序列中各帧图像的排序，对各帧图像对应的特征图进行拼接，得到特征图序列。以RC×W×H表征一帧图像对应的特征图，则得到的特征图序列可以用RT×C×W×H表示，如图3所示，其中，C表示特征图的通道数，T表示图像序列包含图像的数量，图3中T＝3，W和H表示特征图的长宽两个维度。
S104：确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同。
在本说明书提供的一个或多个实施例中，在确定了特征图序列之后，由于特征图中包含的特征主要表征的是图像像素的特征，而在进行实例追踪时，实例在图像中的位置也是确定追踪结果的重要影响因素，因此为了提高实例追踪的准确性以及效率，该服务器还可确定图像序列中各图像中每个像素的位置特征，得到该图像序列对应的时空特征序列。
具体的，在本说明书中，该追踪模型中包含的编码器具体可以是变形编码器(transformer encoder)，即，属于循环神经网络(Recurrent Neural Networks，RNN)的transformer模型的编码解码结构中的编码器。该编码器具有位置编码功能，则服务器可通过该位置编码功能，针对该图像序列中各图像中每个像素，根据该像素在图像中的位置，以及该像素所在图像在该图像序列中的排序，进行编码得到包含位置特征以及时序特征的处理结果，并根据各像素的处理结果，确定所述图像序列对应的时空特征序列。并且，由于确定出的时空特征序列是用于补充步骤S102确定出的特征图序列中缺乏的位置和时序特征，因此该时空特征序列的维度与特征图序列的维度相同，也就是说可以针对特征图序列中的每个特征，补充包含位置特征以及时序特征的处理结果。
另外，在本说明书中，由于该编码器由于根据输入的图像序列中特征之间的相似度，进行编码，使得追踪实例的特征可以在解码器解码之后更加显著，从而让最终确定的追踪实例的掩膜和追踪结果更加准确，因此为了方便编码器根据相似度进行编码，该服务器在步骤S102得到该特征图序列之后，还可以通过预设的一维卷积核对该特征图序列进行降维处理。
具体的，该服务器可采用1×1卷积核对该特征图序列中的每个特征图进行降维处理，将特征图序列RT×C×W×H降维后得到特征图序列用RT×d×W×H表示，其中d小于C。再将上述降维后的特征图序列的时空维度展平为一维，从而生成大小为d×(T·H·W)的二维特征图。
进一步地，在确定时空特征序列时，该服务器可针对每个像素点，针对该像素点在图像中的x轴坐标以及y轴坐标，通过使用频率不同的余弦以及正弦处理确定该位置特征。
具体可通过公式
Figure BDA0002802723220000101
确定位置特征，其中，PEpos表示位置特征，
Figure BDA0002802723220000102
pos表示该像素点在相应的维度(x轴或y轴)的位置，d为特征图序列的对应的通道数量。当然，需要说明的是，由于本说明书是针对3帧图像组成的图像序列作为输入为例进行说明的，因此上述公式中d需要被3整除，而若是其他数量的图像组成的图像序列，则d应可被该其它数量整除，以保证得到的时空特征序列的维度与特征图序列的维度一致。
S106：将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征。
在本说明书提供的一个或多个实施例中，该服务器在确定出时空特征序列以及特征图序列后，便可将时空特征序列对应扩充到特征图序列中，使特征图序列中的特征既携带有像素特征也携带有像素对应在图像中的位置以及像素所在图像的时序，然后可将扩充得到的特征图序列作为输入，输入该编码器，得到编码结果。
具体的，首先，该服务器可按照该时空特征序列的维度，将该时空特征序列的包含的各时空特征，对应添加到具有维度相同的该特征图序列包含的各图像特征中，也就是为特征图序列包含的各图像特征扩充对应的时空特征。
为了避免现有技术中将识别定位追踪实例与确定图像间追踪实例的匹配关系这两个过程割裂所带来的问题，在本说明书中，该追踪模型可直接输出追踪结果以及追踪实例在每帧图像中对应的掩膜。而为了实现这一目的，本说明书中该追踪模型追踪的追踪实例数量是预先确定的，并且，在追踪模型输出的分类结果中加入了属于“背景”的分类结果，使得即使图像中的追踪实例数量小于预设的追踪实例数量时，该追踪模型也可以正常输出结果。
其次，而为了使该追踪模型可以一次性针对图像序列中的每帧图像，输出该帧图像包含的各追踪实例的掩膜，输入该编码器的特征图序列当前只是对应每帧图像的，而对应一帧图像的特征图，一般情况下只能输出一个追踪实例的特征，并基于此进行实例追踪以及掩膜的确定。于是，在本说明书中，该服务器还可根据预设的追踪实例数量，针对每帧图像对应的添加了时空特征的图像特征，进行扩充，使得每帧图像对应的图像特征的数量与该追踪实例数量一致，如图4所示。
图4为本说明书提供的确定编码器输入数据的示意图，仍以图像序列包含3帧图像为例，假设预设的追踪实例数量为4个，即，需要从每帧图像对应的特征图中，确定出4个追踪实例，因此可将该特征图进行扩充。如图4中所示的，特征图ABC组成的特征图序列，根据追踪实例数量，分别扩充为A1～4、B1～4以及C1～4，从而得到12张特征图组成的特征图序列。为了简化说明，图4中没有展示融合时空特征的内容，但是图4中的特征图ABC可视为已经执行过步骤S102中所示处理的特征图。
最后，该服务器可将对图像特征进行扩充后的特征图序列作为输入，输入该追踪模型的编码器，得到该编码器根据各图像特征之间的相似度输出的各图像特征对应的编码结果。其中，需要说明的是，该编码结果与输入的扩充后的特征图序列的维度相同，也就是说仍然可视为是12张特征图组成的特征图序列。
当然，由于相同的实例在连续的不同帧图像中，该实例的位置关系上存在联系，以相似度来说就是相似度较高，而在图像特征维度上来说也具有天然的相似关系。并且，在一系列按时序排列的图像中，上述相似度在连续的两帧图像之间更加明显。而由于输入编码起的特征中包含了时空特征，因此本说明书中的编码器在按照特征图中各特征之间的相似度进行编码时，实际上相当于激活了同一个追踪实例的特征。也就是说，使得属于同一追踪实例的，互相相似的特征更加突出。
S108：将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列。
在本说明书提供的一个或多个实施例中，该服务器在得到编码器输出的编码结果之后，便可将该编码结果输入解码器，则该解码器可根据训练时对应的分别结果的输出顺序，按照图像序列的顺序以及每帧图像包含的追踪实例预测顺序，输出分类预测序列。此时，可视为已经得到了该图像序列中各追踪实例的对应关系，但是仍没有确定每帧图像中追踪实例的位置，因此需要进一步确定每帧图像中每个追踪实例的掩膜，以确定各追踪实例的追踪结果。
另外，上述步骤S106中提及的该追踪模型对应有预设追踪实例数量，仅仅是做到了针对每帧图像，该追踪模型输出的追踪实例数量一致，而无法解决不同帧图像中哪写追踪实例是匹配的。目前技术采用的都是在识别定位出追踪实例后，在进行匹配的方法，从而规避了这一问题。而在本说明书中，为了提高该追踪模型的效率，可直接输出多帧图像中追踪实例的追踪结果，因此该追踪模型输出追踪实例的分类预测结果时，可按照预设的排序输出追踪实例的分类预测结果。
具体的，在本说明书中，由于该追踪模型是按照图像序列中包含指令数量的图像，以及预设的追踪实例数量进行训练的，因此训练该模型时，还可以按照预设的每帧图像对应的追踪实例的排序，确定作为标签的分类序列，作为对该追踪模型的一种约束条件用于确定损失，则在以损失最小为优化目标训练得到该追踪模型时，相当于训练了该解码器按照该每帧图像对应的追踪实例的排序的顺序，输出分类预测结果。
具体的，该服务器可将该编码结果输入该追踪模型的解码器，得到按照该图像序列中各帧图像的顺序，以及预设的每帧图像包含的追踪实例的预测结果的顺序，该解码器输出的各帧图像包含的追踪实例的分类预测结果，如图5所示。其中，针对一个追踪实例，该解码器输出的是分类预测结果，但从整体上看，该编码器是直接输出了一个分类预测序列，该分类预测序列是按照排序拼接的各分类预测结果。
图5为本说明书提供的解码器输出分类预测结果的示意图，其中，解码器下方的图形中，方块表征解码器针对第一帧图像的特征激活函数，圆形表征解码器针对第二帧图像的特征激活函数，菱形表征解码器针对第三帧图像的特征激活函数。而上述图形的填充图案表征针对不同的追踪实例进行特征激活，如以追踪实例数量为4个，则图5中白色填充的图案表征针对第一个追踪实例的特征激活函数，黑色填充的图案表征针对第二个追踪实例的特征激活函数，斜线填充的图案表征针对第三个追踪实例的特征激活函数，方格填充的图案表征针对第四个追踪实例的特征激活函数。
在将编码结果输入解码器之后，相应的激活函数对特征图进行激活，得到相应预测结果，也就是从不同帧图像对应的特征图中，提取出了对应不同追踪实例的特征向量。
图5中该解码器输出的结果相当于以下分类预测序列：第一帧图像中第一追踪实例的特征向量、第一帧图像中第二追踪实例的特征向量、第一帧图像中第三追踪实例的特征向量……第二帧图像中第一追踪实例的特征向量、第二帧图像中第二追踪实例的特征向量……第三帧图像中第一追踪实例的特征向量、第三帧图像中第二追踪实例的特征向量……第四帧图像中第三追踪实例的特征向量、第四帧图像中第四追踪实例的特征向量。其中，特征向量就是前述的分类预测结果。该分类预测序列如前所述，是在训练该追踪模型时，通过训练样本设置类似结构的标签，训练模型得到的。也就是说，通过训练使该模型以这样的顺序输出分类预测结果。
需要说明的是，该解码器输出的分类预测序列中包含的分类预测结果，表征的是该帧图像中，指定的追踪实例的掩膜对应的特征。也就是说，通过该分类预测结果，可以确定追踪实例在相应帧图像中的掩膜。
S110：根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
在本说明书提供的一个或多个实施例中，该服务器在确定出分类预测序列后，如在步骤S108中所述的分类预测结果相当于已经给出了确定掩膜所需的数据，而为了得到更加准确的掩膜，该服务器可根据该分类预测序列、该特征图序列以及该编码结果，输入该追踪模型的第二CNN层，进行包含时间维度的三维卷积处理，得到该图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
具体的，在本说明书中，该服务器在通过第二CNN层进行卷积处理确定掩膜之前，可以先对分类预测序列中的每个分类预测结果进行自注意力加权，以提高每个分类预测结果中对应追踪实例的特征，使得最后确定出的掩膜更准确。
首先，该服务器可将步骤S106编码器输出的该编码结果作为自注意力层的注意力加权参数，对该分类预测序列进行注意力加权。这里由于编码器输出的结果在排序上与解码器输出的结果是相同的，因此该注意力加权过程相当于一种自注意力加权过程。
其次，针对每帧图像中的每个追踪实例，也就是每个分类预测结果，该服务器可根据注意力加权后对应该追踪实例的分类预测结果、该编码结果中对应该追踪实例的编码特征以及特征图序列中对应该帧图像的特征图进行融合。由于在进行编码以及解码的过程中，为了节省算力以及方便计算，在本说明书步骤S104中对特征图进行了降维处理，因此一定程度上损失了图像特征。而通过基于第一CNN输出的特征图以及编码器输出的编码结果，对分类预测结果进行融合，可以恢复损失的分辨率，有助于提高后续确定出的掩膜精度。而掩膜精度的提高，也增加了追踪实例的准确度。
然后，在进行融合之后，该服务器可将融合结果进行三维卷积处理，该三维卷积处理的卷积核包含时间维度的卷积，使得在确定该帧图像中该追踪实例的掩膜时，参考了相关帧图像中该追踪实例的特征。
最后，根据该追踪结果序列中对应各帧图像的分类预测结果，确定各追踪实例在各帧图像之间的追踪结果。在得到每帧图像中每个追踪实例的掩膜时，相当于将该追踪实例作为实例从图像中分割出来，并且解码器输出的分类预测结果已经表征了各帧图像中相同的追踪实例的关联关系，因此在确定出追踪实例在每帧图像中的掩膜后，也就确定出了追踪实例的追踪结果，如图6所示。
图6为本说明书在提供的确定追踪结果的示意图，其中，可见各帧图像对应追踪实例的掩膜，即填充图案不同的区域，而每个掩膜都对应于分类预测序列中，则根据分类预测序列以及掩膜可以确定追踪结果。图6中只显示了2个追踪实例的掩膜，其他追踪实例省略不表示，或者也可认为其他追踪实例的分类预测结果均为“背景”，也就无需确定掩膜以及确定追踪结果。
基于图1的实例追踪的方法，可获指定数量的连续帧图像，作为图像序列，通过第一CNN层确定图像序列的特征图序列，并在确定图像序列的时空特征序列后，根据特征图序列以及时空特征序列输入编码器，得到对应预设追踪实例数量的编码结果，将编码结果输入解码器，得到按照图像序列以及追踪实例预测顺序排列的分类预测序列，最后根据分类预测序列、特征图序列以及编码结果，通过第二CNN层，确定每帧图像中每个追踪实例的掩膜以及每个追踪实例的追踪结果。从上述方法中可见，不同于现有技术先选取感兴趣区域，再对感兴趣区域进行处理的方法，本方法不需要确定感兴趣区域，因此在对追踪实例检测和追送上的耗时低，并且也不限制只能对两帧图像之间的追踪实例进行追踪，可以通过对一系列的图像进行处理，一次确定多帧图像中实例追踪结果，进一步提高了实例追踪的效率。
另外，在本说明书中，该追踪模型相对于现有技术中对追踪实例的匹配方法，需要预先人工设置约束条件的方式，本说明书中仅约束了输出顺序，因此约束条件为通过训练学习到的，相对于人工设置的约束条件更加准确，并在应用场景改变时，可以通过再次学习重新学习到准确的内容。而无需担心人工经验缺乏的场景下，无法达到预期效果的情况。
具体的，通常追踪实例场景中人工预设的约束条件，是基于实例在两帧图像中位置变化的经验设置的。例如，当采集设备的采集频率确定，追踪实例的移动速度确定的，或者有预设范围(例如，限速范围)时，可以估算出追踪实例在两帧图像中位置变化的最大值，而在进行实例追踪时，将该位置变化最大值人工设置为一种约束条件。当然，这只是一种理想情况下的示例，在实际应用过程中需要考虑如何避免约束条件太强导致难以匹配追踪实例，以及约束条件太弱导致起不到应有的约束作用等，实际约束条件要更加复杂，这就更加凸显了约束条件的维护是十分困难的事情。
而本说明书中则无需设置这种约束条件，可以大大提高该追踪模型的适用性，使得多种不同场景都可以通过训练，灵活应用该追踪模型。
进一步地，在本说明书中，可以采用下述方法训练该追踪模型。仍以该服务器为训练模型过程的执行主体为例进行说明。
首先，该服务器可根据该指定数量，从历史上连续采集的图像中，确定若干组图像序列，作为训练样本。与步骤S100类似，该服务器可以从历史上连续采集的图像中，选择连续帧组成的图像序列，作为训练样本。
之后，针对每各训练样本，该服务器需要确定该训练样本的标签，也就是有监督学习中用于计算损失的标准结果，具体的，该服务器可根据该预设的追踪实例数量，从该训练样本的每帧图像中确定需要追踪的追踪实例对应的包围框(B-Box)，并按照相同的追踪实例的排序，确定该训练样本的追踪实例的分类结果的排序。其中，包围框可以是由人工标注的，或者采用现有确定B-Box的任一方法确定的，本说明书对此不做限制。之后按照类似图5的排序，确定训练样本的追踪实例的分类结果的排序。
然后，再根据确定出的各包围框以及该分类结果的排序，确定该训练样本的标签，由于本说明书中的追踪模型不但需要输出追踪结果，还需要对追踪实例进行实例分割，即，确定追踪实例的掩膜，因此标签中需要包含可以计算掩膜损失以及追踪结果损失的内容。
最后，该服务器可将该训练样本输入该追踪模型，根据该追踪模型输出的追踪实例的掩膜与该训练样本的标签包含的包围框的位置差，以及该追踪模型输出的追踪实例的分类预测结果与该训练样本的标签包含分类结果的排序的差异，确定损失，并以损失最小为优化目标调整该追踪模型中的模型参数。
另外，为了使计算损失时更加准确，该服务器还可以将具有ReLU激活功能的多干层前馈网络(Feed-Forward Network，FFN)和线性投影层应用于解码器输出的分类预测序列。采用与变形检测方法(Detection Transformer，DETR)相同的处理过程，该FFN会输出预测得各追踪实例的包围框的归一化中心坐标，高度和宽度。则可根据预测的包围框与该训练样本的标签包含的包围框的位置差，以及该追踪模型输出的追踪实例的分类预测结果与该训练样本的标签包含分类预测序列的差异，确定损失。其中，在确定分类预测结果是
具体在计算损失时，可以先分别计算包围框与预测结果两种损失，然后通过线性组合确定损失。其中，FFN的层数可根据需要设置，例如3层，本说明书不做限制。
当训练结果的准确定满足训练结束条件，或者训练次数满足训练结束条件时，确定得到训练完成的追踪模型。
更进一步地，在步骤S100中该采集设备的帧率可根据应用场景的不同，进行相应的设置，例如应用在低速交通工具上时，由于移动速度较低，因此帧率可以相应降低，以符合实际应用的需要。反之亦然，当应用在高速行驶的交通工具上时，采集设备的帧率可相应提高。
另外，本说明书中提到的无人车可以是指无人车、机器人、自动配送设备等能够实现自动驾驶的设备。基于此，应用本说明书提供的确定无人车运动策略的方法的无人车可以用于执行配送领域的配送任务，如，使用无人驾驶设备进行快递、物流、外卖等配送的业务场景。
以上为本说明书的一个或多个实施例提供的实例追踪方法，基于同样的思路，本说明书还提供了相应的确定实例追踪的装置，如图7所示。
获取模块200，从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；
图像特征确定模块202，根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；
时空特征确定模块204，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；
编码模块206，将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；
解码模块208，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；
追踪模块210，根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
可选地，所述图像特征确定模块202，将确定出的图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述第一卷积神经网络层分别输出的所述图像序列中各图像对应的特征图，按照所述图像序列中各帧图像的排序，对各图像对应的特征图进行拼接，得到特征图序列。
可选地，所述时空特征确定模块204，通过所述编码器中的位置编码功能，针对所述图像序列中各图像中每个像素，根据该像素在图像中的位置，以及该像素所在图像在所述图像序列中的排序，进行编码得到包含位置特征以及时序特征的处理结果，根据各像素的处理结果，确定所述图像序列对应的时空特征序列。
可选地，所述编码模块206，按照所述时空特征序列的维度，将所述时空特征序列的包含的各时空特征，对应添加到具有维度相同的所述特征图序列包含的各图像特征中，根据预设的追踪实例数量，针对每帧图像对应的添加了时空特征的图像特征，进行扩充，使得每帧图像对应的图像特征的数量与所述追踪实例数量一致，将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器，得到所述编码器根据各图像特征之间的相似度输出的各图像特征对应的编码结果。
可选地，所述编码模块206，根据预设的一维卷积核对进行扩充后的特征图序列进行降维处理，使输入的数据符合作为所述编码器的输入要求。
可选地，所述解码模块208，将所述编码结果输入所述追踪模型的解码器，得到按照所述图像序列中各帧图像的顺序，以及预设的每帧图像包含的追踪实例的预测结果的顺序，所述解码器输出的各帧图像包含的追踪实例的分类预测结果，作为分类预测序列。
可选地，所述追踪模块210，将所述编码结果作为自注意力层的注意力加权参数，对所述分类预测序列进行注意力加权，针对每帧图像中的每个追踪实例，根据注意力加权后对应该追踪实例的分类预测结果、所述编码结果中对应该追踪实例的编码特征以及特征图序列中对应该帧图像的特征图进行融合，将融合结果进行三维卷积处理，得到该帧图像中该追踪实例的掩膜，根据所述追踪结果序列中对应各帧图像的分类预测结果，确定各追踪实例在各帧图像之间的追踪结果。
可选地，该实例追踪的装置还包括：训练模块212。
该训练模块212，根据所述指定数量，从历史上连续采集的图像中，确定若干组图像序列，作为训练样本；
针对每各训练样本，根据所述预设的追踪实例数量，从该训练样本的每帧图像中确定需要追踪的追踪实例对应的包围框，并按照相同的追踪实例的排序，确定该训练样本的追踪实例的分类结果的排序，根据确定出的各包围框以及所述分类预测序列，确定该训练样本的标签，将所述训练样本输入所述追踪模型，根据所述追踪模型输出的追踪实例的掩膜与所述训练样本的标签包含的包围框的位置差，以及所述追踪模型输出的追踪实例的分类预测结果与所述训练样本的标签包含分类预测序列的差异，确定损失，并以损失最小为优化目标调整所述追踪模型中的模型参数。
可选地，所述追踪模型至少包括：第一卷积层、编码器、解码器以及第二卷积层。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的实例追踪方法。
本说明书还提供了图8所示的电子设备的示意结构图。如图8所述，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的实例追踪方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
当该实例追踪的方法应用在无人车上，用于协助进行无人车控制室，该电子设备也可以是无人车。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种实例追踪的方法，其特征在于，具体包括：
从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；
根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；
确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；
将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；
将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；
根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
2.如权利要求1所述的方法，其特征在于，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列，具体包括：
将确定出的图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述第一卷积神经网络层分别输出的所述图像序列中各图像对应的特征图；
按照所述图像序列中各帧图像的排序，对各图像对应的特征图进行拼接，得到特征图序列。
3.如权利要求1所述的方法，其特征在于，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，具体包括：
通过所述编码器中的位置编码功能，针对所述图像序列中各图像中每个像素，根据该像素在图像中的位置，以及该像素所在图像在所述图像序列中的排序，进行编码得到包含位置特征以及时序特征的处理结果；
根据各像素的处理结果，确定所述图像序列对应的时空特征序列。
4.如权利要求1所述的方法，其特征在于，将所述位置特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，具体包括：
按照所述时空特征序列的维度，将所述时空特征序列的包含的各时空特征，对应添加到具有维度相同的所述特征图序列包含的各图像特征中；
根据预设的追踪实例数量，针对每帧图像对应的添加了时空特征的图像特征，进行扩充，使得每帧图像对应的图像特征的数量与所述追踪实例数量一致；
将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器，得到所述编码器根据各图像特征之间的相似度输出的各图像特征对应的编码结果。
5.如权利要求4所述的方法，其特征在于，将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器之前，所述方法还包括：
根据预设的一维卷积核对进行扩充后的特征图序列进行降维处理，使输入的数据符合作为所述编码器的输入要求。
6.如权利要求1所述的方法，其特征在于，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，具体包括：
将所述编码结果输入所述追踪模型的解码器；
得到按照所述图像序列中各帧图像的顺序，以及预设的每帧图像包含的追踪实例的预测结果的顺序，所述解码器输出的各帧图像包含的追踪实例的分类预测结果，作为分类预测序列。
7.如权利要求1所述的方法，其特征在于，根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果，具体包括：
将所述编码结果作为自注意力层的注意力加权参数，对所述分类预测序列进行注意力加权；
针对每帧图像中的每个追踪实例，根据注意力加权后对应该追踪实例的分类预测结果、所述编码结果中对应该追踪实例的编码特征以及特征图序列中对应该帧图像的特征图进行融合，将融合结果进行三维卷积处理，得到该帧图像中该追踪实例的掩膜；
根据所述追踪结果序列中对应各帧图像的分类预测结果，确定各追踪实例在各帧图像之间的追踪结果。
8.如权利要求1所述的方法，其特征在于，采用下述方法训练所述追踪模型；其中：
根据所述指定数量，从历史上连续采集的图像中，确定若干组图像序列，作为训练样本；
针对每各训练样本，根据所述预设的追踪实例数量，从该训练样本的每帧图像中确定需要追踪的追踪实例对应的包围框，并按照相同的追踪实例的排序，确定该训练样本的追踪实例的分类预测序列；
根据确定出的各包围框以及所述分类预测序列，确定该训练样本的标签；
将所述训练样本输入所述追踪模型，根据所述追踪模型输出的追踪实例的掩膜与所述训练样本的标签包含的包围框的位置差，以及所述追踪模型输出的追踪实例的分类预测结果与所述训练样本的标签包含分类预测序列的差异，确定损失，并以损失最小为优化目标调整所述追踪模型中的模型参数。
9.如权利要求1～8任一所述的方法，其特征在于，所述追踪模型至少包括：第一卷积层、编码器、解码器以及第二卷积层。
10.一种实例追踪的装置，其特征在于，所述装置包括：
获取模块，从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；
图像特征确定模块，根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；
时空特征确定模块，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；
编码模块，将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；
解码模块，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；
追踪模块，根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～9任一项所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～9任一项所述的方法。
CN202011356521.2A 2020-11-27 2020-11-27 一种实例追踪的方法及装置 Active CN112465029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011356521.2A CN112465029B (zh) 2020-11-27 2020-11-27 一种实例追踪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011356521.2A CN112465029B (zh) 2020-11-27 2020-11-27 一种实例追踪的方法及装置

Publications (2)

Publication Number Publication Date
CN112465029A true CN112465029A (zh) 2021-03-09
CN112465029B CN112465029B (zh) 2024-06-25

Family

ID=74809006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011356521.2A Active CN112465029B (zh) 2020-11-27 2020-11-27 一种实例追踪的方法及装置

Country Status (1)

Country Link
CN (1) CN112465029B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076809A (zh) * 2021-03-10 2021-07-06 青岛海纳云科技控股有限公司 一种基于视觉Transformer的高空坠物检测方法
CN113450362A (zh) * 2021-06-02 2021-09-28 北京迈格威科技有限公司 一种视频目标分割方法、装置和电子系统
CN113568416A (zh) * 2021-09-26 2021-10-29 智道网联科技(北京)有限公司 无人车轨迹规划方法、装置和计算机可读存储介质
CN114419414A (zh) * 2021-12-03 2022-04-29 中科视语(北京)科技有限公司 基于时空信息融合的判别性目标跟踪方法及装置
CN114445628A (zh) * 2021-12-30 2022-05-06 中原动力智能机器人有限公司 一种视频实例分割方法、装置、移动终端及存储介质
WO2022237865A1 (zh) * 2021-05-14 2022-11-17 华为技术有限公司 一种数据处理方法及装置
EP4239596A1 (en) * 2022-03-02 2023-09-06 Xiaomi EV Technology Co., Ltd. Method and apparatus for detecting drivable area, mobile device and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276259A (zh) * 2019-05-21 2019-09-24 平安科技（深圳）有限公司 唇语识别方法、装置、计算机设备及存储介质
CN110287874A (zh) * 2019-06-25 2019-09-27 北京市商汤科技开发有限公司 目标追踪方法及装置、电子设备和存储介质
US20190311202A1 (en) * 2018-04-10 2019-10-10 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN110956131A (zh) * 2019-11-27 2020-04-03 北京迈格威科技有限公司 单目标追踪方法、装置及系统
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311202A1 (en) * 2018-04-10 2019-10-10 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN110276259A (zh) * 2019-05-21 2019-09-24 平安科技（深圳）有限公司 唇语识别方法、装置、计算机设备及存储介质
CN110287874A (zh) * 2019-06-25 2019-09-27 北京市商汤科技开发有限公司 目标追踪方法及装置、电子设备和存储介质
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN110956131A (zh) * 2019-11-27 2020-04-03 北京迈格威科技有限公司 单目标追踪方法、装置及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIN WANG等: "Convolution Encoders for End-to-End Action Tracking With Space-Time Cubic Kernels", IEEE ACCESS, 27 July 2020 (2020-07-27), pages 139023 - 139032, XP011802795, DOI: 10.1109/ACCESS.2020.3012154 *
MINGKAI QIU等: "A Fully Convolutional Encoder-Decoder Spatial-Temporal Network fir Real-Time Background Substraction", IEEE ACCESS, 2 July 2019 (2019-07-02), pages 85949 - 85958 *
YUQING WANG等: "CenterMask: Single Shot Instance Segmentation With Point Representation", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 5 August 2020 (2020-08-05), pages 9313 - 9320 *
王珍: "基于深度学习的遥感影像车辆目标检测方法研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, 15 January 2020 (2020-01-15) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076809A (zh) * 2021-03-10 2021-07-06 青岛海纳云科技控股有限公司 一种基于视觉Transformer的高空坠物检测方法
CN113076809B (zh) * 2021-03-10 2023-07-21 海纳云物联科技有限公司 一种基于视觉Transformer的高空坠物检测方法
WO2022237865A1 (zh) * 2021-05-14 2022-11-17 华为技术有限公司 一种数据处理方法及装置
CN113450362A (zh) * 2021-06-02 2021-09-28 北京迈格威科技有限公司 一种视频目标分割方法、装置和电子系统
CN113568416A (zh) * 2021-09-26 2021-10-29 智道网联科技(北京)有限公司 无人车轨迹规划方法、装置和计算机可读存储介质
CN114419414A (zh) * 2021-12-03 2022-04-29 中科视语(北京)科技有限公司 基于时空信息融合的判别性目标跟踪方法及装置
CN114419414B (zh) * 2021-12-03 2024-10-15 中科视语(北京)科技有限公司 基于时空信息融合的判别性目标跟踪方法及装置
CN114445628A (zh) * 2021-12-30 2022-05-06 中原动力智能机器人有限公司 一种视频实例分割方法、装置、移动终端及存储介质
EP4239596A1 (en) * 2022-03-02 2023-09-06 Xiaomi EV Technology Co., Ltd. Method and apparatus for detecting drivable area, mobile device and storage medium

Also Published As

Publication number Publication date
CN112465029B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN112465029A (zh) 一种实例追踪的方法及装置
US20200250436A1 (en) Video object segmentation by reference-guided mask propagation
CN111010590B (zh) 一种视频裁剪方法及装置
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN111238450B (zh) 视觉定位方法及装置
CN110660103B (zh) 一种无人车定位方法及装置
CN111031351A (zh) 一种预测目标物轨迹的方法及装置
CN112364933A (zh) 图像分类方法、装置、电子设备和存储介质
Qu et al. Symmetric pyramid attention convolutional neural network for moving object detection
CN112883871B (zh) 一种模型训练以及确定无人车运动策略方法及装置
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN112561961A (zh) 一种实例追踪的方法及装置
CN112818968A (zh) 一种目标物分类方法及装置
CN114187355A (zh) 一种图像标定方法及装置
CN113673436A (zh) 一种行为识别、模型训练的方法及装置
CN112734851B (zh) 一种位姿确定的方法以及装置
Fleck et al. Low-Power Traffic Surveillance using Multiple RGB and Event Cameras: A Survey
CN112393723A (zh) 一种定位方法、设备、介质及无人设备
CN112163478A (zh) 一种目标检测的方法及装置
Zhao et al. Knowledge graphs meet geometry for semi-supervised monocular depth estimation
CN113205144B (zh) 一种模型训练的方法及装置
CN114257748B (zh) 视频防抖方法及装置、计算机可读介质和电子设备
CN117726907B (zh) 一种建模模型的训练方法、三维人体建模的方法以及装置
KR101460517B1 (ko) 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant