CN113450387A - 目标跟踪方法、装置、电子设备及计算机可读存储介质 - Google Patents
目标跟踪方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113450387A CN113450387A CN202010225509.1A CN202010225509A CN113450387A CN 113450387 A CN113450387 A CN 113450387A CN 202010225509 A CN202010225509 A CN 202010225509A CN 113450387 A CN113450387 A CN 113450387A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- confirmed
- matching
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 230000036544 posture Effects 0.000 claims description 106
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种目标跟踪方法、装置、电子设备及计算机可读存储介质。所述方法包括：获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；将所述基准图像和待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。本申请可以提高多目标跟踪的准确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种目标跟踪方法、装置、电子设备及计算机可读存储介质。
背景技术
在视频的监控和处理中，行人多目标跟踪是最为常见和具有实际意义的应用。近年来，卷积神经网络(Convolutional Neural Network，CNN)在计算机视觉领域中，尤其是行人重识别方面，表现出了极大的优势。
传统的基于CNN的行人重识别算法应用在多目标跟踪中，可以提升跟踪的性能。最为经典的算法是deepsort，采用CNN提取行人特征，通过判断行人reid特征来进行检测和跟踪结果的数据关联。但是，在行人之间有交叉时，仍然存在较多的跟踪目标切换问题。
发明内容
本申请提供了一种目标跟踪方法、装置、电子设备及计算机可读存储介质，以解决现有技术中的在行人之间有交叉时，存在较多的跟踪目标切换的问题。
为了解决上述问题，本申请提供了一种目标跟踪方法，包括：
获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
可选地，所述根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像，包括：
获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离；
根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
可选地，所述获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离，包括：
计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间余弦距离；或者
计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的欧式距离。
可选地，所述根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像，包括：
获取所述姿态距离中小于距离阈值的目标姿态距离；
将所述目标姿态距离对应的匹配图像作为所述基准图像。
可选地，所述将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置，包括：
采用匈牙利算法对所述基准图像和所述待确认图像之间的对象姿态匹配，确定姿态匹配评分；
根据所述对象匹配评分，确定所述待确认图像中的目标对象所处的位置。
为了解决上述问题，本申请提供了一种目标跟踪装置，包括：
目标图像获取模块，用于获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
检测框生成模块，用于对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
对象姿态确定模块，用于针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
基准图像确定模块，用于根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
对象位置确定模块，用于将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
可选地，所述基准图像确定模块包括：
姿态距离获取单元，用于获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离；
基准图像确定单元，用于根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
可选地，所述姿态距离获取单元包括：
余弦距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间余弦距离；或者
欧式距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的欧式距离。
可选地，所述基准图像确定单元包括：
姿态距离获取子单元，用于获取所述姿态距离中小于距离阈值的目标姿态距离；
基准图像获取子单元，用于将所述目标姿态距离对应的匹配图像作为所述基准图像。
可选地，所述对象位置确定模块包括：
姿态匹配评分确定单元，用于采用匈牙利算法对所述基准图像和所述待确认图像之间的对象姿态匹配，确定姿态匹配评分；
目标对象位置确定单元，用于根据所述对象匹配评分，确定所述待确认图像中的目标对象所处的位置。
为了解决上述问题，本申请提供了一种电子设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的目标跟踪方法。
为了解决上述问题，本申请提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的目标跟踪方法。
与现有技术相比，本申请包括以下优点：
本申请实施例提供了一种目标跟踪方案，通过获取包含目标对象的多帧连续的目标图像，多帧连续的目标图像包括：最后一帧的待确认图像和除待确认图像之外的匹配图像，对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框，针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态，根据匹配图像对应的对象姿态，从匹配图像中确定待确认图像对应的基准图像，将基准图像和待确认图像进行对象姿态匹配处理，确定待确认图像中的目标对象所处的位置。本申请实施例通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况，提高了目标跟踪的准确度。
附图说明
图1示出了本申请实施例提供的一种目标跟踪方法的步骤流程图；
图2示出了本申请实施例提供的另一种目标跟踪方法的步骤流程图；
图2a示出了本申请实施例提供的一种网络模型的示意图；
图2b示出了本申请实施例提供的一种Darknet-53网络模型的示意图；
图2c示出了本申请实施例提供的一种计算激活函数的示意图；
图2d示出了本申请实施例提供的一种resnet网络结构的示意图；
图2e示出了本申请实施例提供的一种残差块结构的示意图；
图2f示出了本申请实施例提供的一种reid网络的示意图；
图3示出了本申请实施例提供的一种目标跟踪装置的结构示意图；
图4示出了本申请实施例提供的另一种目标跟踪装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请实施例提供的一种目标跟踪方法的步骤流程图，该目标跟踪方法具体可以包括如下步骤：
步骤101：获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像。
本申请实施例可以应用于多目标跟踪的场景中，多目标跟踪是指给定一段连续的视频，在视频的每一帧图像中存在若干个目标，通过算法找到不同帧之间相同的目标，并关联记录目标运动轨迹。
目标图像是指在对目标对象跟踪的过程中获取的包含有目标对象的多帧连续的图像。
目标图像可以是通过监控摄像头采集的一段视频得到的图像，例如，在某小区或商场等场所内安装的监控摄像头，可以实时采集处于该场所内的行人视频，行人视频中一帧帧连续的图像即可以作为多帧连续的目标图像。
当然，不仅限于此，在具体实现中，还可以采用其它方式获取目标图像，具体地，可以根据业务需求而定，本申请实施例对此不加以限制。
目标对象是指需要进行跟踪的对象，目标对象可以为人、汽车等，具体地，可以根据业务需求而定，本申请实施例对此不加以限制。
待确认图像是指多帧连续的目标图像中最后一帧的需要对目标对象进行跟踪的图像。
匹配图像是指多帧连续的目标图像中除了最后一帧外的其它图像，匹配图像可以用于对待确认图像中的目标对象的位置进行匹配判断。
在获取包含目标对象的多帧连续的目标图像之后，执行步骤102。
步骤102：对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框。
检测框是指对多帧目标图像进行检测处理之后，每帧目标图像中包含目标对象的框，检测框是由四个点围合而成的一个方形框，通过检测框可以圈定目标对象在目标图像中所处的位置。
在获取包含目标对象的多帧连续目标图像之后，可以对多帧目标图像进行检测处理，以在每帧目标图像中生成包含目标对象的检测框，即目标检测，是指对每一帧目标图像中判断图像中存在哪些目标，比如：人、汽车、飞机等，并且找到这些目标在目标图像中的位置。对本实施例而言，目标检测模块的输入是每一个图像帧，输出为该帧图像中所有的对象坐标。在本实施例中，可以采用通用的目标检测算法，如FasterR-CNN、YOLOv3等，输出得到多个行人检测结果，得到检测框。以图2a所示的YOLOv3为例加以说明：YOLOv3的网络模型包括Darknet-53的backbone和3个多尺度分支。其中，Darknet-53的网络模型如图2b所示，其中，convolutional表示卷积层，residual表示残差模块，filters表示卷积核的数量，也即每一层卷积层的输出通道数，size为卷积核的大小，output表示卷积层输出数据的宽和高。左侧的1、2、8、8、4表示同样的卷积模块重复的次数。Avgpool层为全局池化层，connected为全连接层，softmax为多分类激活函数，这三层是训练darknet预训练模型所用。
如图2a所示，YOLOv3的卷积层是一个固定组合，包括一个卷积层，一个批量化层和LeakyReLU激活函数。LeakyReLU的公式如下：
y＝max(0,x)+leak×min(0,x) (1)
该公式(1)可以结合图2c进行描述，在输入x大于零时，输出y等于x；当输入x小于零时，输出y等于x*leak，leak为一个非常小的常量，保证在输入x小于零时也有值，本实施例中取0.1。
残差模块是输入数据连续经过两个卷积层处理，其输出数据与原输入数据经过相加，得到残差模块的输出。对于残差模块的结构可以如图2e所示。
YOLOv3网络在输入数据经过8倍、16倍和32倍下采样后，引出3个分支，进行多尺度检测。每个尺度输出大小分别为52*52、26*26、13*13。并且从最小尺度向上进行上采样与上一尺度进行融合，最终得到目标检测模块的输出，即生成每帧目标图像中包含目标对象的检测框。
在对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框之后，执行步骤103。
步骤103：针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态。
姿态识别模型是指预先训练的用于识别对象的姿态的模型，对象姿态是指每帧目标图像中的目标对象的姿态。
对象姿态是指每帧目标图像中的目标对象的姿态。在本实施例中，对象姿态(对象reid特征)可以为行人穿着，如行人正面、侧面、背面的穿着等。
姿态识别模型可以为行人重识别网络，具体地，对每帧目标图像中的检测框，可以采用行人重识别网络提取其reid特征，作为不同帧之间目标匹配的主要依据。在本实施例中，可以沿用deepsort的reid网络，但作为算法框架的一个模块，可以采用任意reid网络。Reid网络可以如图2f所示，与姿态分类网络同样的，目标检测框输入到reid网络中，输出为128维的特征向量，来表征该目标。
在针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态之后，执行步骤104。
步骤104：根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像。
基准图像是指从匹配图像中选择的用于对待确认图像中的目标对象进行匹配的图像。
目标对象以行人为例，对每一个行人目标，如果其已经确定为稳定跟踪目标，则需要对其进行reid特征的聚类和累加。每个目标采用3个特征累加器，即{正面、背面、侧面}的reid特征。根据姿态判别网络的输出结果，将当前目标的reid特征累计入对应的姿态特征累加器中。然后，对每个特征累加器里面的特征向量，求取其聚类中心，并将远离聚类中心的特征向量去除，类似k-means聚类，k＝1。具体步骤如下：
a、对第1帧目标跟踪框，reid特征作为聚类中心；
b、对第N帧，新加入的reid特征与聚类中心进行距离计算，如果距离大于阈值，舍弃；如果聚类小于阈值，则更新聚类中心，更新公式为：
其中，feature_centerN-1为当前帧之前的特征聚类中心，featureN为当前帧的reid特征，N为当前的具有同样姿态的目标帧数。
可以理解地，通过上述步骤可知，对于一个目标对象而言，基准图像可以为一帧图像，也可以为多帧图像，具体地，可以根据实际情况而定，本申请实施例对此不加以限制。
在求取聚类中心之后，可以根据求取特征距离，并根据特征距离获取到基准图像。具体地，可以在下述实施例中进行详细描述，本实施例在此不再加以赘述。
在获取到基准图像之后，执行步骤105。
步骤105：将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
在获取到基准图像之后，可以将基准图像和待确认图像中中的对象姿态进行匹配处理，以确定待确认图像中与基准图像的对象姿态匹配的对象姿态，从而确定出待确认图像中的目标对象所处的位置。对于姿态匹配处理的过程将在下述实施例中进行详细描述，本实施例在此不再加以赘述。
本申请通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况。
本申请实施例提供的目标跟踪方法，通过获取包含目标对象的多帧连续的目标图像，多帧连续的目标图像包括：最后一帧的待确认图像和除待确认图像之外的匹配图像，对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框，针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态，根据匹配图像对应的对象姿态，从匹配图像中确定待确认图像对应的基准图像，将基准图像和待确认图像进行对象姿态匹配处理，确定待确认图像中的目标对象所处的位置。本申请实施例通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况，提高了目标跟踪的准确度。
参照图2，示出了本申请实施例提供的另一种目标跟踪方法的步骤流程图，该目标跟踪方法具体可以包括如下步骤：
步骤201：获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像。
本申请实施例可以应用于多目标跟踪的场景中，多目标跟踪是指给定一段连续的视频，在视频的每一帧图像中存在若干个目标，通过算法找到不同帧之间相同的目标，并关联记录目标运动轨迹。
目标图像是指在对目标对象跟踪的过程中获取的包含有目标对象的多帧连续的图像。
目标图像可以是通过监控摄像头采集的一段视频得到的图像，例如，在某小区或商场等场所内安装的监控摄像头，可以实时采集处于该场所内的行人视频，行人视频中一帧帧连续的图像即可以作为多帧连续的目标图像。
当然，不仅限于此，在具体实现中，还可以采用其它方式获取目标图像，具体地，可以根据业务需求而定，本申请实施例对此不加以限制。
目标对象是指需要进行跟踪的对象，目标对象可以为人、汽车等，具体地，可以根据业务需求而定，本申请实施例对此不加以限制。
待确认图像是指多帧连续的目标图像中最后一帧的需要对目标对象进行跟踪的图像。
匹配图像是指多帧连续的目标图像中除了最后一帧外的其它图像，匹配图像可以用于对待确认图像中的目标对象的位置进行匹配判断。
在获取包含目标对象的多帧连续的目标图像之后，执行步骤202。
步骤202：对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框。
检测框是指对多帧目标图像进行检测处理之后，每帧目标图像中包含目标对象的框，检测框是由四个点围合而成的一个方形框，通过检测框可以圈定目标对象在目标图像中所处的位置。
在获取包含目标对象的多帧连续目标图像之后，可以对多帧目标图像进行检测处理，以在每帧目标图像中生成包含目标对象的检测框，即目标检测，是指对每一帧目标图像中判断图像中存在哪些目标，比如：人、汽车、飞机等，并且找到这些目标在目标图像中的位置。对本实施例而言，目标检测模块的输入是每一个图像帧，输出为该帧图像中所有的对象坐标。在本实施例中，可以采用通用的目标检测算法，如FasterR-CNN、YOLOv3等，输出得到多个行人检测结果，得到检测框。以图2a所示的YOLOv3为例加以说明：YOLOv3的网络模型包括Darknet-53的backbone和3个多尺度分支。其中，Darknet-53的网络模型如图2b所示，其中，convolutional表示卷积层，residual表示残差模块，filters表示卷积核的数量，也即每一层卷积层的输出通道数，size为卷积核的大小，output表示卷积层输出数据的宽和高。左侧的1、2、8、8、4表示同样的卷积模块重复的次数。Avgpool层为全局池化层，connected为全连接层，softmax为多分类激活函数，这三层是训练darknet预训练模型所用。
如图2a所示，YOLOv3的卷积层是一个固定组合，包括一个卷积层，一个批量化层和LeakyReLU激活函数。LeakyReLU的公式如下：
y＝max(0,x)+leak×min(0,x) (1)
该公式(1)可以结合图2c进行描述，在输入x大于零时，输出y等于x；当输入x小于零时，输出y等于x*leak，leak为一个非常小的常量，保证在输入x小于零时也有值，本实施例中取0.1。
残差模块是输入数据连续经过两个卷积层处理，其输出数据与原输入数据经过相加，得到残差模块的输出。对于残差模块的结构可以如图2e所示。
YOLOv3网络在输入数据经过8倍、16倍和32倍下采样后，引出3个分支，进行多尺度检测。每个尺度输出大小分别为52*52、26*26、13*13。并且从最小尺度向上进行上采样与上一尺度进行融合，最终得到目标检测模块的输出，即生成每帧目标图像中包含目标对象的检测框。
在对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框之后，执行步骤203。
步骤203：针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态。
姿态识别模型是指预先训练的用于识别对象的姿态的模型，对象姿态是指每帧目标图像中的目标对象的姿态。
对象姿态是指每帧目标图像中的目标对象的姿态。在本实施例中，对象姿态(对象reid特征)可以为行人穿着，如行人正面、侧面、背面的穿着等。
姿态识别模型可以为行人重识别网络，具体地，对每帧目标图像中的检测框，可以采用行人重识别网络提取其reid特征，作为不同帧之间目标匹配的主要依据。在本实施例中，可以沿用deepsort的reid网络，但作为算法框架的一个模块，可以采用任意reid网络。Reid网络可以如图2f所示，与姿态分类网络同样的，目标检测框输入到reid网络中，输出为128维的特征向量，来表征该目标。
在针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态之后，执行步骤204。
步骤204：获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离。
特征距离可以采用余弦距离或者欧式距离等进行特征距离的计算，本发明采用余弦距离，计算公式如下：
在本实施例中，可以采用特征聚类的方式，以聚类中心作为跟踪匹配的特征，对于聚类方式可以如下所述：
目标对象以行人为例，对每一个行人目标，如果其已经确定为稳定跟踪目标，则需要对其进行reid特征的聚类和累加。每个目标采用3个特征累加器，即{正面、背面、侧面}的reid特征。根据姿态判别网络的输出结果，将当前目标的reid特征累计入对应的姿态特征累加器中。然后，对每个特征累加器里面的特征向量，求取其聚类中心，并将远离聚类中心的特征向量去除，类似k-means聚类，k＝1。具体步骤如下：
c、对第1帧目标跟踪框，reid特征作为聚类中心；
d、对第N帧，新加入的reid特征与聚类中心进行距离计算，如果距离大于阈值，舍弃；如果聚类小于阈值，则更新聚类中心，更新公式为：
其中，feature_centerN-1为当前帧之前的特征聚类中心，featureN为当前帧的reid特征，N为当前的具有同样姿态的目标帧数。
在根据匹配图像获取到聚类特征之后，可以计算聚类特征与待确认图像中的对象姿态特征之间的特征距离。
在计算得到特征距离之后，执行步骤205。
步骤205：根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
在计算得到姿态距离之后，可以根据姿态距离，从匹配图像中确定出待确认图像对应的基准图像，具体地，可以结合下述具体实现方式进行详细描述。
在本申请的一种具体实现方式中，上述步骤205可以包括：
子步骤S1：获取所述姿态距离中小于距离阈值的目标姿态距离。
在本申请实施例中，距离阈值是指由业务人员预先设置的用于确定姿态距离是否满足条件的阈值。对于距离阈值的具体数值可以根据业务需求而定，本申请实施例对此不加以限制。如上述聚类方式终端阈值。
目标姿态距离是指姿态距离小于距离阈值的姿态距离。
在计算得到聚类中心特征与匹配特征之间的姿态距离之后，可以将小于距离阈值的姿态距离作为目标姿态距离。
在获取目标姿态距离之后，执行子步骤S2。
子步骤S2：将所述目标姿态距离对应的匹配图像作为所述基准图像。
在获取目标姿态距离之后，可以将目标姿态距离对应的匹配图像作为基准图像。
在获取基准图像之后，执行步骤206。
步骤206：采用匈牙利算法对所述基准图像和所述待确认图像之间的对象姿态匹配，确定姿态匹配评分。
姿态匹配评分是指基准图像中的对象姿态和待确认图像中的对象姿态进行匹配得到的评分值。
匈牙利算法是指由匈牙利数学家Edmonds于1965年提出的算法，是二分图匹配最常见的算法，该算法的核心就是寻找增广路径，用增广路径求二分图的最大匹配。
二分图：若图G的结点集合V可以分成两个非空子集V1和V2，并且图G的任意边x-y关联的两个结点x和y分别属于这两个子集，则G是二分图。
匈牙利算法的基本步骤：
(1)找到当前结点x可以匹配的对象X，若该对象X已被匹配，则转入第3步，否则转入第2步；
(2)将该对象X的匹配对象记为当前对象x，转入第6步；
(3)寻找该对象X已经匹配的对象y，寻求y是否可以匹配另外的对象，如果可以，转入第4步，否则，转入第5步；
(4)将匹配对象y更新为另一个对象Y，将对象X的匹配对象更新为aa，转入第6步；
(5)结点x寻求下一个可以匹配的对象，如果存在，则转入第1步，否则说明当前结点x没有可以匹配的对象，转入第6步；
(6)转入下一结点再转入第1步，直到全部完成。
在本实施例中，当前帧的检测框为集合V1，跟踪框为集合V2，采用匈牙利算法计算两个集合间的最大匹配，任意两个框之间的匹配得分由前述内容得到。
在获取到对象匹配评分之后，执行步骤207。
步骤207：根据所述对象匹配评分，确定所述待确认图像中的目标对象所处的位置。
在获取到对象匹配评分之后，就可以根据对象匹配评分，确定待确认图像中的目标对象所处的位置。即选取评分值较大的作为匹配基础，以此在待确认图像中确定出检测框的坐标，根据检测框的坐标确定出目标对象在待确认图像中的位置。
本申请实施例提供的目标跟踪方法，通过获取包含目标对象的多帧连续的目标图像，多帧连续的目标图像包括：最后一帧的待确认图像和除待确认图像之外的匹配图像，对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框，针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态，根据匹配图像对应的对象姿态，从匹配图像中确定待确认图像对应的基准图像，将基准图像和待确认图像进行对象姿态匹配处理，确定待确认图像中的目标对象所处的位置。本申请实施例通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况，提高了目标跟踪的准确度。
参照图3，示出了本申请实施例提供的一种目标跟踪装置的结构示意图，该目标跟踪装置具体可以包括如下模块：
目标图像获取模块310，用于获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
检测框生成模块320，用于对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
对象姿态确定模块330，用于针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
基准图像确定模块340，用于根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
对象位置确定模块350，用于将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
本申请实施例提供的目标跟踪装置，通过获取包含目标对象的多帧连续的目标图像，多帧连续的目标图像包括：最后一帧的待确认图像和除待确认图像之外的匹配图像，对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框，针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态，根据匹配图像对应的对象姿态，从匹配图像中确定待确认图像对应的基准图像，将基准图像和待确认图像进行对象姿态匹配处理，确定待确认图像中的目标对象所处的位置。本申请实施例通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况，提高了目标跟踪的准确度。
参照图4，示出了本申请实施例提供的另一种目标跟踪装置的结构示意图，该目标跟踪装置具体可以包括如下模块：
目标图像获取模块410，用于获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
检测框生成模块420，用于对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
对象姿态确定模块430，用于针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
基准图像确定模块440，用于根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
对象位置确定模块450，用于将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
可选地，所述基准图像确定模块440包括：
姿态距离获取单元441，用于获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离；
基准图像确定单元442，用于根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
可选地，所述姿态距离获取单元441包括：
余弦距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间余弦距离；或者
欧式距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的欧式距离。
可选地，所述基准图像确定单元442包括：
姿态距离获取子单元，用于获取所述姿态距离中小于距离阈值的目标姿态距离；
基准图像获取子单元，用于将所述目标姿态距离对应的匹配图像作为所述基准图像。
可选地，所述对象位置确定模块450包括：
姿态匹配评分确定单元451，用于采用匈牙利算法对所述基准图像和所述待确认图像之间的对象姿态匹配，确定姿态匹配评分；
目标对象位置确定单元452，用于根据所述对象匹配评分，确定所述待确认图像中的目标对象所处的位置。
本申请实施例提供的目标跟踪装置，通过获取包含目标对象的多帧连续的目标图像，多帧连续的目标图像包括：最后一帧的待确认图像和除待确认图像之外的匹配图像，对多帧目标图像进行检测处理，在每帧目标图像中生成包含目标对象的检测框，针对每帧目标图像，通过预先训练的姿态识别模型提取检测框中的图像特征，确定检测框对应的对象姿态，根据匹配图像对应的对象姿态，从匹配图像中确定待确认图像对应的基准图像，将基准图像和待确认图像进行对象姿态匹配处理，确定待确认图像中的目标对象所处的位置。本申请实施例通过结合对象姿态进行对象的跟踪，从而解决了多目标跟踪过程中出现对象交叉切换，导致跟踪出现错误的情况，提高了目标跟踪的准确度。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
另外地，本申请实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的目标跟踪方法。
本申请实施例还提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的目标跟踪方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种目标跟踪方法、一种目标跟踪装置、一种电子设备和一种计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种目标跟踪方法，其特征在于，包括：
获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像，包括：
获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离；
根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
3.根据权利要求1所述的方法，其特征在于，所述获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离，包括：
计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间余弦距离；或者
计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的欧式距离。
4.根据权利要求2所述的方法，其特征在于，所述根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像，包括：
获取所述姿态距离中小于距离阈值的目标姿态距离；
将所述目标姿态距离对应的匹配图像作为所述基准图像。
5.根据权利要求1所述的方法，其特征在于，所述将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置，包括：
采用匈牙利算法对所述基准图像和所述待确认图像之间的对象姿态匹配，确定姿态匹配评分；
根据所述对象匹配评分，确定所述待确认图像中的目标对象所处的位置。
6.一种目标跟踪装置，其特征在于，包括：
目标图像获取模块，用于获取包含目标对象的多帧连续的目标图像；其中，所述多帧连续的目标图像包括：最后一帧的待确认图像和除所述待确认图像之外的匹配图像；
检测框生成模块，用于对多帧所述目标图像进行检测处理，在每帧所述目标图像中生成包含所述目标对象的检测框；
对象姿态确定模块，用于针对每帧所述目标图像，通过预先训练的姿态识别模型提取所述检测框中的图像特征，确定所述检测框对应的对象姿态；
基准图像确定模块，用于根据所述匹配图像对应的对象姿态，从所述匹配图像中确定所述待确认图像对应的基准图像；
对象位置确定模块，用于将所述基准图像和所述待确认图像进行对象姿态匹配处理，确定所述待确认图像中的目标对象所处的位置。
7.根据权利要求6所述的装置，其特征在于，所述基准图像确定模块包括：
姿态距离获取单元，用于获取所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的姿态距离；
基准图像确定单元，用于根据所述姿态距离，从所述匹配图像中确定所述待确认图像对应的基准图像。
8.根据权利要求6所述的装置，其特征在于，所述姿态距离获取单元包括：
余弦距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间余弦距离；或者
欧式距离计算子单元，用于计算得到所述待确认图像对应的对象姿态与所述匹配图像对应的对象姿态之间的欧式距离。
9.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至5任一项所述的目标跟踪方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至5中任一项所述的目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225509.1A CN113450387B (zh) | 2020-03-26 | 2020-03-26 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010225509.1A CN113450387B (zh) | 2020-03-26 | 2020-03-26 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450387A true CN113450387A (zh) | 2021-09-28 |
| CN113450387B CN113450387B (zh) | 2024-06-28 |
Family
ID=77807331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010225509.1A Active CN113450387B (zh) | 2020-03-26 | 2020-03-26 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450387B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114642863A (zh) * | 2022-03-16 | 2022-06-21 | 温州大学 | 一种用于幼儿园的户外体育游戏系统 |
| WO2024060882A1 (zh) * | 2022-09-23 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 图像中杆状物识别方法、装置、计算机设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522843A (zh) * | 2018-11-16 | 2019-03-26 | 北京市商汤科技开发有限公司 | 一种多目标跟踪方法及装置、设备和存储介质 |
| CN109544598A (zh) * | 2018-11-21 | 2019-03-29 | 电子科技大学 | 目标跟踪方法、装置及可读存储介质 |
| CN109635657A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110414447A (zh) * | 2019-07-31 | 2019-11-05 | 京东方科技集团股份有限公司 | 行人跟踪方法、装置及设备 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN110853076A (zh) * | 2019-11-08 | 2020-02-28 | 重庆市亿飞智联科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
-
2020
- 2020-03-26 CN CN202010225509.1A patent/CN113450387B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635657A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN109522843A (zh) * | 2018-11-16 | 2019-03-26 | 北京市商汤科技开发有限公司 | 一种多目标跟踪方法及装置、设备和存储介质 |
| CN109544598A (zh) * | 2018-11-21 | 2019-03-29 | 电子科技大学 | 目标跟踪方法、装置及可读存储介质 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110414447A (zh) * | 2019-07-31 | 2019-11-05 | 京东方科技集团股份有限公司 | 行人跟踪方法、装置及设备 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN110853076A (zh) * | 2019-11-08 | 2020-02-28 | 重庆市亿飞智联科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114358144B (zh) * | 2021-12-16 | 2023-09-26 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114642863A (zh) * | 2022-03-16 | 2022-06-21 | 温州大学 | 一种用于幼儿园的户外体育游戏系统 |
| WO2024060882A1 (zh) * | 2022-09-23 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 图像中杆状物识别方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450387B (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
| CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN113450387B (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
| CN109635686B (zh) | 结合人脸与外观的两阶段行人搜索方法 | |
| CN110851641B (zh) | 跨模态检索方法、装置和可读存储介质 | |
| CN114220176A (zh) | 一种基于深度学习的人体行为的识别方法 | |
| CN109325471A (zh) | 一种结合表观特征和时空分布的双流网络行人重识别方法 | |
| CN115240130A (zh) | 一种行人多目标跟踪方法、装置和计算机可读存储介质 | |
| CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
| CN107615272B (zh) | 用于预测人群属性的系统和方法 | |
| CN111310728B (zh) | 基于监控相机和无线定位的行人重识别系统 | |
| CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN107004115B (zh) | 用于人脸识别的方法和系统 | |
| CN114299944B (zh) | 视频处理方法、系统、装置及存储介质 | |
| CN111914642A (zh) | 一种行人重识别方法、装置、设备及介质 | |
| CN111598067B (zh) | 视频中重识别训练方法、重识别方法及存储装置 | |
| CN112818790A (zh) | 一种基于注意力机制与空间几何约束的行人重识别方法 | |
| CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
| CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
| CN113963371A (zh) | 人体异常姿态检测方法 | |
| EP2998928B1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
| CN113269099B (zh) | 基于图匹配的异构无人系统下车辆重新识别方法 | |
| CN110827319B (zh) | 一种基于局部敏感直方图改进的Staple目标跟踪方法 | |
| CN113705329A (zh) | 重识别方法、目标重识别网络的训练方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |