CN111738063A - 船舶目标跟踪方法、系统、计算机设备及存储介质 - Google Patents

船舶目标跟踪方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN111738063A
CN111738063A CN202010389527.3A CN202010389527A CN111738063A CN 111738063 A CN111738063 A CN 111738063A CN 202010389527 A CN202010389527 A CN 202010389527A CN 111738063 A CN111738063 A CN 111738063A
Authority
CN
China
Prior art keywords
ship
target
linked list
tracking
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010389527.3A
Other languages
English (en)
Other versions
CN111738063B (zh
Inventor
冼允廷
陆璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010389527.3A priority Critical patent/CN111738063B/zh
Publication of CN111738063A publication Critical patent/CN111738063A/zh
Application granted granted Critical
Publication of CN111738063B publication Critical patent/CN111738063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种船舶目标跟踪方法、系统、计算机设备及存储介质，包括：利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表。本发明可以防止船舶丢失后再出现被误认为新船舶的问题，能够正确判断船舶的出现与消失。

Description

船舶目标跟踪方法、系统、计算机设备及存储介质
技术领域
本发明涉及一种船舶目标跟踪方法、系统、计算机设备及存储介质，属于目标跟踪技术领域。
背景技术
船舶多目标视频跟踪，是指在给定船舶视频下，根据船舶深度目标检测器返回的每帧画面的船舶坐标进行时间空间关系上的推导，计算出每一只船舶的航行轨迹。这项技术有助于海事部门的监管，对于安全事故具有回溯作用，能提供可靠的视频证明。在海事数据统计中，可以提供丰富的船舶航行数据，提供船舶高频出现位置，让安防工作人员有针对性的监管事故频发地。在重要水源保护地，可以有效追踪预测船舶的轨迹，及时提醒船舶驶离保护区域。
现有的船舶目标跟踪算法主要采用传统图像处理方法，如下：
(1)基于传统图像的船舶目标跟踪算法：曹辉、张均东发表的《一种船舶视频跟踪算法的研究与实现(2006)》，使用帧差得到运动目标和运动特征，对环境的依赖较大，出现阴雨天、光照变化强化的环境，该方法就完全失效。
(2)基于双目测距的船舶目标跟踪算法：李建起发表的《基于双目测距的卡尔曼滤波船舶轨迹跟踪(2019)》，使用双目视觉模型，对船舶的轨迹跟踪问题进行了研究，提出了一种利用双目视觉测距以及卡尔曼滤波。对于户外场景使用双目测距跟踪存在以下问题：A、户外工作干扰因素多，如风力、人为等因素都可能会使得摄像头的位置出现变动，使得原先标定的摄像头外参出现偏差；B、船舶一般距摄像头较远，双目测距随着距离的增大，偏差越高。
因此，上述现有的船舶目标跟踪算法尚存在很多不足之处：1)船舶目标检测采用背影帧差的方法，对环境噪声敏感，当出现阴雨天、光照多变的情况，目标检测算法就完全失效；2)采用的跟踪算法单纯利用船舶的物理信息，仅使用了船舶目标浅层次的像素信息，去计算船舶的质心实现跟踪；3)对于船舶丢失跟踪的情况处理能力不强，在重要检测到船舶时会认为是新的一只船舶。
发明内容
有鉴于此，本发明提供了一种船舶目标跟踪方法、系统、计算机设备及存储介质，其将深度特征和物理距离匹配结合，利用深度目标检测器检测出船舶目标，通过训练好的深度特征网络提取船舶深度特征，对船舶建立跟踪链表，可以防止船舶丢失后再出现被误认为新船舶的问题，并且设计链表式跟踪算法，能够正确判断船舶的出现与消失。
本发明的第一个目的在于提供一种船舶目标跟踪方法。
本发明的第二个目的在于提供一种船舶目标跟踪系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种船舶目标跟踪方法，所述方法包括：
利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
进一步的，所述针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表，具体包括：
检测跟踪链表中的每个第一船舶目标分别与第一目标链表中的所有第二船舶目标之间的特征距离，得到所述特征距离的最小值；
若所述特征距离的最小值大于特征匹配阈值，则将对应的第一船舶目标的missing字段标记为真；否则，将对应的第二船舶目标移出第一目标链表，得到第二目标链表；
计算跟踪链表中每个missing字段标记为真的第一船舶目标分别与第二目标链表的所有第二船舶目标之间的第一物理距离，得到所述第一物理距离的最小值；
若所述第一物理距离的最小值大于距离匹配阈值，则将对应的第一船舶目标的missing字段保持为真；否则，将对应的第二船舶目标移出第二目标链表，得到第三目标链表，并将对应的第一船舶目标的missing字段标记为假；
筛选掉第三目标链表中靠近边界的第二船舶目标，得到第四目标链表；
计算第四目标链表的每个第二船舶目标分别与跟踪链表中所有missing字段标记为假的第一船舶目标之间的第二物理距离，得到所述第二物理距离的最小值；
取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表；
将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中。
进一步的，所述取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表之后，还包括：
针对跟踪链表中所有missing字段标记为假的第一船舶目标，检测视频前一帧的位置和速度信息，以及视频当前帧的位置信息，更新速度和位置。
进一步的，所述速度更新公式如下：
Figure BDA0002485266890000031
其中，vt为视频当前帧的速度，vt-1为视频前一帧的速度，St为视频当前帧的位置，S0为初始位置，α为局部速度的置信度。
进一步的，所述将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中之后，还包括：
针对跟踪链表中所有missing字段标记为真的第一船舶目标，将missingTime字段的值累加1；
若跟踪链表中有missingTime字段的值大于消失时间阈值的第一船舶目标，则将该第一船舶目标移出跟踪链表。
进一步的，所述利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标之前，还包括：
获取多张船舶的图像；
对多张船舶的图像进行数据增广，增加同一艘船舶的图像；
根据数据增广后的船舶图像，以每一艘船舶作为一类，对船舶深度特征网络进行分类训练；
在训练好的船舶深度特征网络中间的某一层的输出做了K维的特征向量。
进一步的，所述根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表之后，还包括：
将跟踪链表中第一船舶目标的初始速度设为0，missing字段标记为false，missTime字段标记为0。
本发明的第二个目的可以通过采取如下技术方案达到：
一种船舶目标跟踪系统，所述系统包括：
第一目标检测模块，用于利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
第一特征提取模块，用于根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
第二目标检测模块，用于利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
第二特征提取模块，用于根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
匹配模块，用于针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
返回模块，用于将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的船舶目标跟踪方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的船舶目标跟踪方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明可以给定一段水面多船舶航行视频，利用对环境依赖较小，检测准确率高的深度目标检测器检测出船舶目标，通过训练好的深度特征网络提取船舶深度特征，对船舶建立跟踪链表，根据跟踪链表，持续对船舶进行跟踪，可以防止船舶丢失后再出现被误认为新船舶的问题，并且对前后帧依次进行特征距离、物理距离匹配，具备匹配精度高的特点，能够正确判断船舶的出现与消失。
2、本发明通过设计跟踪队列，可以处理好新出现的船舶、正常移出画面的船舶、异常消失的船舶，将这些船舶的状态存储在跟踪链表中，能够解决中间某几帧因为漏检而出现的跟踪丢失的问题，对于帧图像返来的目标检测坐标进行比对，对上面那三种船舶进行重要判断。
3、本发明根据视频当前帧的速度、视频前一帧的速度、视频当前帧的位置、初始位置以及局部速度的置信度，可以构建速度更新模型，通过速度更新模型，能够更好地模拟船舶目标的方向。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的船舶目标跟踪方法的流程图。
图2为本发明实施例1的训练船舶深度特征网络的流程图。
图3为本发明实施例1的船舶深度特征网络的结构图。
图4为本发明实施例1的特征距离和物理距离匹配的流程图。
图5为本发明实施例1的特征距离和物理距离匹配的原理图。
图6为本发明实施例1的船舶目标跟踪方法的效果图。
图7为本发明实施例2的船舶目标跟踪系统的结构框图。
图8为本发明实施例2的获取模块、数据增广模块、训练模块和特征向量设计模块连接的结构框图。
图9为本发明实施例2的匹配模块的结构框图。
图10为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种船舶目标跟踪方法，该方法包括以下步骤：
S101、利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标。
本实施例采用YOLO网络作为深度目标检测器，具体地，给定一段水面多船舶航行的视频，利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标，记为
Figure BDA0002485266890000061
如图2所示，为了设计一个船舶深度特征网络，以提取船舶目标的深度特征，本实施例在步骤S101之前，还包括：
S201、获取多张船舶的图像。
具体地，船舶的图像可以通过采集获取，例如通过摄像头拍摄船舶的图像，也可以从数据库查找获取，例如预先在数据库内存储船舶的图像，从数据库中搜索即可得到。
S202、对多张船舶的图像进行数据增广，增加同一艘船舶的图像。
S203、根据数据增广后的船舶图像，以每一艘船舶作为一类，对船舶深度特征网络进行分类训练。
S204、在训练好的船舶深度特征网络中间的某一层的输出做了K维的特征向量，记为v，用来表征船舶。
S102、根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表，记为
Figure BDA0002485266890000062
为了对跟踪链表中的第一船舶目标进行初始化，本实施例在步骤S102之后，还包括步骤S103，如下：
S103、将跟踪链表中第一船舶目标的初始速度设为0，missing(消失)字段标记为false，即missing＝False，missTime(消失时间)字段标记为0，即missingTime＝0。
S104、利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标。
具体地，以视频第t帧为视频当前帧，利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，记为
Figure BDA0002485266890000071
S105、根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表，记为
Figure BDA0002485266890000072
本实施例的船舶深度特征网络如图3所示，包括卷积层C1、卷积层C2、卷积层C3、卷积层C4、特征分割层、全连接层f1和全连接层f2，其中卷积层C1为resnet52，船舶深度特征的提取原理为：1)将图像(步骤S102为包含第一船舶目标的图像，步骤S105为包含第二船舶目标的图像)输入卷积层C1，提取特征gfeat；2)通过特征分割层将特征gfeat分别进行纵向分割和横向分割，生成vfeat和hfeat；3)特征gfeat、vfeat和hfeat经过卷积层C1、C2、C3形成特征向量；4)通过全连接层f1和全连接层f2将特征向量连接形成cfeat；5)通过分类层将所有的特征向量进行分类，提高相似性。
S106、针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表。
进一步地，该步骤S106如图4所示，具体包括：
S10601、检测跟踪链表中的每个第一船舶目标分别与第一目标链表中的所有第二船舶目标之间的特征距离，得到所述特征距离的最小值。
设跟踪链表
Figure BDA0002485266890000073
中的任意一个第一船舶目标为
Figure BDA0002485266890000074
检测
Figure BDA0002485266890000075
与第一目标链表
Figure BDA0002485266890000076
中的第二船舶目标
Figure BDA0002485266890000077
之间的特征距离，记为
Figure BDA0002485266890000078
从而得到
Figure BDA0002485266890000079
中的最小值。
S10602、若所述特征距离的最小值大于特征匹配阈值，则将对应的第一船舶目标的missing字段标记为真；否则，将对应的第二船舶目标移出第一目标链表，得到第二目标链表。
将所述特征距离
Figure BDA00024852668900000710
的最小值与特征匹配阈值
Figure BDA00024852668900000711
进行比较，若
Figure BDA00024852668900000712
的最小值大于
Figure BDA00024852668900000713
则认为跟踪链表
Figure BDA00024852668900000714
中的
Figure BDA00024852668900000715
根据特征暂时匹配不到第二船舶目标，将
Figure BDA00024852668900000716
的missing字段标记为真，即missing＝Ture；否则，即
Figure BDA00024852668900000717
的最小值小于或等于
Figure BDA00024852668900000718
则认为
Figure BDA00024852668900000719
匹配到
Figure BDA00024852668900000720
的最小值对应的第二船舶目标
Figure BDA00024852668900000721
将
Figure BDA00024852668900000722
移出第一目标链表
Figure BDA00024852668900000723
得到第二目标链表
Figure BDA00024852668900000724
通过上述步骤S10601～S10602，实现了特征距离匹配。
S10603、计算跟踪链表中每个missing字段标记为真的第一船舶目标分别与第二目标链表的所有第二船舶目标之间的第一物理距离，得到所述第一物理距离的最小值。
经过步骤S10602后，获取到通过特征匹配无法确定身份的第一船舶目标，即missing字段标记为真的第一船舶目标，以及第二目标链表
Figure BDA0002485266890000081
第二目标链表
Figure BDA0002485266890000082
中为未匹配上的第二船舶目标，计算跟踪链表
Figure BDA0002485266890000083
中每个missing字段标记为真的第一船舶目标
Figure BDA0002485266890000084
与第二目标链表
Figure BDA0002485266890000085
的所有第二船舶目标之间的第一物理距离(ε1k,ε2k……εmk)，从而得到(ε1k,ε2k……εmk)中的最小值；其中，计算第一物理距离即计算像素间的欧氏距离：设每个missing字段标记为真的第一船舶目标
Figure BDA0002485266890000086
为的中心点(x1，y1)，第二目标链表
Figure BDA0002485266890000087
中每个第二船舶目标的中心点为(x2，y2)，第一物理距离
Figure BDA0002485266890000088
S10604、若所述第一物理距离的最小值大于距离匹配阈值，则将对应的第一船舶目标的missing字段保持为真；否则，将对应的第二船舶目标移出第二目标链表，得到第三目标链表，并将对应的第一船舶目标的missing字段标记为假。
将所述第一物理距离(ε1k,ε2k……εmk)的最小值与特征匹配阈值εthresh进行比较，若(ε1k,ε2k……εmk)的最小值大于εthresh，则认为物理距离匹配也匹配不到第二船舶目标，将
Figure BDA0002485266890000089
的missing字段保持为真；否则，即(ε1k,ε2k……εmk)的最小值小于或等于εthresh，则认为
Figure BDA00024852668900000810
匹配到最小值对应的第二船舶目标
Figure BDA00024852668900000811
将
Figure BDA00024852668900000812
移出第二目标链表
Figure BDA00024852668900000813
得到第三目标链表
Figure BDA00024852668900000814
并将
Figure BDA00024852668900000815
的missing字段标记为假，即missing＝False。
通过上述步骤S10603～S10604，实现了正向物理距离匹配。
S10605、筛选掉第三目标链表中靠近边界的第二船舶目标，得到第四目标链表。
经过步骤S10604后，第三目标链表
Figure BDA00024852668900000816
中只剩下少量未匹配上的第二船舶目标，通过筛选掉第三目标链表
Figure BDA00024852668900000817
中靠近边界的第二船舶目标，得到第四目标链表
Figure BDA00024852668900000818
S10606、计算第四目标链表的每个第二船舶目标分别与跟踪链表中所有missing字段标记为假的第一船舶目标之间的第二物理距离，得到所述第二物理距离的最小值。
设第四目标链表
Figure BDA00024852668900000819
中的任意一个第二船舶目标为
Figure BDA00024852668900000820
计算
Figure BDA00024852668900000821
与跟踪链表
Figure BDA00024852668900000822
中的missing字段标记为假的第一船舶目标之间的第二物理距离(εk1,εk2……εkm)，从而得到(εk1,εk2……εkm)的最小值；其中，计算第二物理距离即计算像素间的欧氏距离，设第四目标链表
Figure BDA00024852668900000823
中每个第二船舶目标为
Figure BDA00024852668900000824
的中心点(x2’，y2’)，跟踪链表
Figure BDA00024852668900000825
中每个missing字段标记为假的第一船舶目标的中心点为(x1’，y1’)，第二物理距离
Figure BDA00024852668900000826
S10607、取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表。
设(εk1,εk2……εkm)的最小值对应的missing字段标记为真的第一船舶目标为
Figure BDA00024852668900000827
将
Figure BDA0002485266890000091
的missing字段标记为假，即missing＝False；设(εk1,εk2……εkm)的最小值对应的第二船舶目标
Figure BDA0002485266890000092
将
Figure BDA0002485266890000093
移出第四目标链表
Figure BDA0002485266890000094
得到第五目标链表
Figure BDA0002485266890000095
通过上述步骤S10605～S10607，实现了反向物理距离匹配。
为了对船舶行为提出预告信息，在步骤S10607之后，还包括：
S10608、针对跟踪链表中所有missing字段标记为假的第一船舶目标，检测视频前一帧的位置和速度信息，以及视频当前帧的位置信息，更新速度和位置。
视频前一帧为第t-1帧，视频当前帧为第t帧，跟踪链表中所有missing字段标记为假的第一船舶目标的位置更新为第t帧的位置，速度更新公式如下：
Figure BDA0002485266890000096
其中，vt为视频当前帧的速度，vt-1为视频前一帧的速度，St为视频当前帧的位置，S0为初始位置，α为局部速度的置信度，通过实验结果设为0.1。
S10609、将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中。
其中，在提取新出现的船舶目标的深度特征之后，将初始速度设为0，再放入跟踪链表
Figure BDA0002485266890000097
中，通过该步骤S10609，可以处理好新出现的船舶。
为了处理好正常移出画面的船舶和异常消失的船舶，在步骤S10609之后，还包括：
S10610、针对跟踪链表中所有missing字段标记为真的第一船舶目标，将missingTime字段的值累加1。
S10611、若跟踪链表中有missingTime字段的值大于消失时间阈值MTthresh的第一船舶目标，则将该第一船舶目标移出跟踪链表
Figure BDA0002485266890000098
，视为最终消失在画面中的船舶；否则，直接进入步骤S107。
S107、将视频下一帧作为视频当前帧，返回步骤S104。
视频下一帧即为第t+1帧，返回步骤S104，即重新执行步骤S104～S106，特征距离和物理距离匹配的原理如图5所示；可以理解，接下来的第t+2帧、第t+3帧等，也是执行相同的操作，直到视频当前帧为视频最后一帧，结束循环。
通过上述步骤S101～S103，实现初始化跟踪目标，通过上述步骤S104～S107，实现持续跟踪目标，本实施例的船舶目标跟踪方法效果如图6所示，记录下每一艘船舶经过的位置。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图7所示，本实施例提供了一种船舶目标跟踪系统，该系统包括第一目标检测模块701、第一特征提取模块702、设置模块703、第二目标检测模块704、第二特征提取模块705、匹配模块706和返回模块707，各个模块的具体功能如下：
所述第一目标检测模块701，用于利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标。
所述第一特征提取模块702，用于根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表。
所述设置模块703，用于将跟踪链表中第一船舶目标的初始速度设为0，missing字段标记为false，missTime字段标记为0。
所述第二目标检测模块704，用于利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标。
所述第二特征提取模块705，用于根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表。
所述匹配模块706，用于针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表。
所述返回模块707，用于将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
如图8所示，所述第一目标检测模块701之前，还包括：
获取模块801，用于获取多张船舶的图像。
数据增广模块802，用于对多张船舶的图像进行数据增广，增加同一艘船舶的图像。
训练模块803，用于根据数据增广后的船舶图像，以每一艘船舶作为一类，对船舶深度特征网络进行分类训练。
特征向量设计模块804，用于在训练好的船舶深度特征网络中间的某一层的输出做了K维的特征向量。
进一步地，所述匹配模块706如图9所示，具体包括：
第一检测单元70601，用于检测跟踪链表中的每个第一船舶目标分别与第一目标链表中的所有第二船舶目标之间的特征距离，得到所述特征距离的最小值。
第一判断单元70602，用于若所述特征距离的最小值大于特征匹配阈值，则将对应的第一船舶目标的missing字段标记为真；否则，将对应的第二船舶目标移出第一目标链表，得到第二目标链表。
第一计算单元70603，用于计算跟踪链表中每个missing字段标记为真的第一船舶目标分别与第二目标链表的所有第二船舶目标之间的第一物理距离，得到所述第一物理距离的最小值。
第二判断单元70604，用于若所述第一物理距离的最小值大于距离匹配阈值，则将对应的第一船舶目标的missing字段保持为真；否则，将对应的第二船舶目标移出第二目标链表，得到第三目标链表，并将对应的第一船舶目标的missing字段标记为假。
筛选单元70605，用于筛选掉第三目标链表中靠近边界的第二船舶目标，得到第四目标链表。
第二计算单元70606，用于计算第四目标链表的每个第二船舶目标分别与跟踪链表中所有missing字段标记为假的第一船舶目标之间的第二物理距离，得到所述第二物理距离的最小值。
处理单元70607，用于取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表。
第二检测单元70608，用于针对跟踪链表中所有missing字段标记为假的第一船舶目标，检测视频前一帧的位置和速度信息，以及视频当前帧的位置信息，更新速度和位置。
放入单元70609，用于将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中。
累加单元70610，用于针对跟踪链表中所有missing字段标记为真的第一船舶目标，将missingTime字段的值累加1。
移出单元70611，用于若跟踪链表中有missingTime字段的值大于消失时间阈值的第一船舶目标，则将该第一船舶目标移出跟踪链表。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，本实施例的装置所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一特征提取模块称为第二特征提取模块，且类似地，可将第一特征提取模块称为第一特征提取模块，第一特征提取模块和第二特征提取模块两者都是特征提取模块，但不是同一特征提取模块。
实施例3：
本实施例提供了一种计算机设备，该计算机设备为计算机，如图10所示，其包括通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1006和内存储器1007，该非易失性存储介质1006存储有操作系统、计算机程序和数据库，该内存储器1007为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1002执行存储器存储的计算机程序时，实现上述实施例1的船舶目标跟踪方法，如下：
利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的船舶目标跟踪方法，如下：
利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明可以给定一段水面多船舶航行视频，利用对环境依赖较小，检测准确率高的深度目标检测器检测出船舶目标，通过训练好的深度特征网络提取船舶深度特征，对船舶建立跟踪链表，根据跟踪链表，持续对船舶进行跟踪，可以防止船舶丢失后再出现被误认为新船舶的问题，并且对前后帧依次进行特征距离、物理距离匹配，具备匹配精度高的特点，能够正确判断船舶的出现与消失。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种船舶目标跟踪方法，其特征在于，所述方法包括：
利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
2.根据权利要求1所述的船舶目标跟踪方法，其特征在于，所述针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表，具体包括：
检测跟踪链表中的每个第一船舶目标分别与第一目标链表中的所有第二船舶目标之间的特征距离，得到所述特征距离的最小值；
若所述特征距离的最小值大于特征匹配阈值，则将对应的第一船舶目标的missing字段标记为真；否则，将对应的第二船舶目标移出第一目标链表，得到第二目标链表；
计算跟踪链表中每个missing字段标记为真的第一船舶目标分别与第二目标链表的所有第二船舶目标之间的第一物理距离，得到所述第一物理距离的最小值；
若所述第一物理距离的最小值大于距离匹配阈值，则将对应的第一船舶目标的missing字段保持为真；否则，将对应的第二船舶目标移出第二目标链表，得到第三目标链表，并将对应的第一船舶目标的missing字段标记为假；
筛选掉第三目标链表中靠近边界的第二船舶目标，得到第四目标链表；
计算第四目标链表的每个第二船舶目标分别与跟踪链表中所有missing字段标记为假的第一船舶目标之间的第二物理距离，得到所述第二物理距离的最小值；
取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表；
将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中。
3.根据权利要求2所述的船舶目标跟踪方法，其特征在于，所述取所述第二物理距离的最小值对应的missing字段标记为真的第一船舶目标，将该第一船舶目标的missing字段标记为假，并将所述第二物理距离的最小值对应的第二船舶目标移出第四目标链表，得到第五目标链表之后，还包括：
针对跟踪链表中所有missing字段标记为假的第一船舶目标，检测视频前一帧的位置和速度信息，以及视频当前帧的位置信息，更新速度和位置。
4.根据权利要求3所述的船舶目标跟踪方法，其特征在于，所述速度更新公式如下：
Figure FDA0002485266880000021
其中，vt为视频当前帧的速度，vt-1为视频前一帧的速度，St为视频当前帧的位置，S0为初始位置，α为局部速度的置信度。
5.根据权利要求2所述的船舶目标跟踪方法，其特征在于，所述将第五目标链表中的第二船舶目标作为新出现的船舶目标，提取新出现的船舶目标的深度特征，放入跟踪链表中之后，还包括：
针对跟踪链表中所有missing字段标记为真的第一船舶目标，将missingTime字段的值累加1；
若跟踪链表中有missingTime字段的值大于消失时间阈值的第一船舶目标，则将该第一船舶目标移出跟踪链表。
6.根据权利要求1-5任一项所述的船舶目标跟踪方法，其特征在于，所述利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标之前，还包括：
获取多张船舶的图像；
对多张船舶的图像进行数据增广，增加同一艘船舶的图像；
根据数据增广后的船舶图像，以每一艘船舶作为一类，对船舶深度特征网络进行分类训练；
在训练好的船舶深度特征网络中间的某一层的输出做了K维的特征向量。
7.根据权利要求1-5任一项所述的船舶目标跟踪方法，其特征在于，所述根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表之后，还包括：
将跟踪链表中第一船舶目标的初始速度设为0，missing字段标记为false，missTime字段标记为0。
8.一种船舶目标跟踪系统，其特征在于，所述系统包括：
第一目标检测模块，用于利用深度目标检测器对视频第一帧的船舶目标进行检测，得到n个第一船舶目标；
第一特征提取模块，用于根据第一船舶目标，通过训练好的船舶深度特征网络提取第一船舶深度特征，对第一船舶目标建立跟踪链表；
第二目标检测模块，用于利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标；
第二特征提取模块，用于根据第二船舶目标，通过训练好的船舶深度特征网络提取第二船舶深度特征，对第二船舶目标建立第一目标链表；
匹配模块，用于针对跟踪链表中的第一船舶目标和第一目标链表中的第二船舶目标，依次进行特征距离、物理距离匹配，以更新跟踪链表；
返回模块，用于将视频下一帧作为视频当前帧，返回利用深度目标检测器对视频当前帧的船舶目标进行检测，得到m个第二船舶目标，并执行后续操作。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的船舶目标跟踪方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的船舶目标跟踪方法。
CN202010389527.3A 2020-05-08 2020-05-08 船舶目标跟踪方法、系统、计算机设备及存储介质 Active CN111738063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010389527.3A CN111738063B (zh) 2020-05-08 2020-05-08 船舶目标跟踪方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010389527.3A CN111738063B (zh) 2020-05-08 2020-05-08 船舶目标跟踪方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738063A true CN111738063A (zh) 2020-10-02
CN111738063B CN111738063B (zh) 2023-04-18

Family

ID=72647009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010389527.3A Active CN111738063B (zh) 2020-05-08 2020-05-08 船舶目标跟踪方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111738063B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496009A (zh) * 2011-12-09 2012-06-13 北京汉邦高科数字技术股份有限公司 智能银行视频监控中的多人脸跟踪方法
CN102521841A (zh) * 2011-11-22 2012-06-27 四川九洲电器集团有限责任公司 多目标物体跟踪方法
CN104732187A (zh) * 2013-12-18 2015-06-24 杭州华为企业通信技术有限公司 一种图像跟踪处理的方法及设备
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN106446824A (zh) * 2016-09-21 2017-02-22 防城港市港口区思达电子科技有限公司 一种车辆检测和跟踪方法
CN106991687A (zh) * 2016-01-20 2017-07-28 深圳中兴力维技术有限公司 船舶监控方法和装置
WO2018121287A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标再识别方法和装置
CN108269269A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN108960286A (zh) * 2018-06-01 2018-12-07 深圳市茁壮网络股份有限公司 一种目标跟踪定位方法及装置
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
KR20190020502A (ko) * 2017-08-21 2019-03-04 국방과학연구소 Dds 환경에서 비행체 추적 장비의 동적 연동 장치 및 방법
CN109509214A (zh) * 2018-10-15 2019-03-22 杭州电子科技大学 一种基于深度学习的船舶目标跟踪方法
CN109977897A (zh) * 2019-04-03 2019-07-05 厦门兴康信科技股份有限公司 一种基于深度学习的船舶特征重识别方法、应用方法及系统
US20200081642A1 (en) * 2018-09-06 2020-03-12 International Business Machines Corporation Metadata track entry sorting in a data storage system
CN110889453A (zh) * 2019-11-28 2020-03-17 华南理工大学 目标检测与追踪方法、装置、系统、介质和设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521841A (zh) * 2011-11-22 2012-06-27 四川九洲电器集团有限责任公司 多目标物体跟踪方法
CN102496009A (zh) * 2011-12-09 2012-06-13 北京汉邦高科数字技术股份有限公司 智能银行视频监控中的多人脸跟踪方法
CN104732187A (zh) * 2013-12-18 2015-06-24 杭州华为企业通信技术有限公司 一种图像跟踪处理的方法及设备
CN106991687A (zh) * 2016-01-20 2017-07-28 深圳中兴力维技术有限公司 船舶监控方法和装置
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN106446824A (zh) * 2016-09-21 2017-02-22 防城港市港口区思达电子科技有限公司 一种车辆检测和跟踪方法
WO2018121287A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标再识别方法和装置
CN108269269A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标跟踪方法和装置
KR20190020502A (ko) * 2017-08-21 2019-03-04 국방과학연구소 Dds 환경에서 비행체 추적 장비의 동적 연동 장치 및 방법
CN108960286A (zh) * 2018-06-01 2018-12-07 深圳市茁壮网络股份有限公司 一种目标跟踪定位方法及装置
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
US20200081642A1 (en) * 2018-09-06 2020-03-12 International Business Machines Corporation Metadata track entry sorting in a data storage system
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109509214A (zh) * 2018-10-15 2019-03-22 杭州电子科技大学 一种基于深度学习的船舶目标跟踪方法
CN109977897A (zh) * 2019-04-03 2019-07-05 厦门兴康信科技股份有限公司 一种基于深度学习的船舶特征重识别方法、应用方法及系统
CN110889453A (zh) * 2019-11-28 2020-03-17 华南理工大学 目标检测与追踪方法、装置、系统、介质和设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIU JIAN 等: "Maritime Target Detection and Tracking" *
ØYSTEIN KAARSTAD HELGESEN 等: "Sensor Combinations in Heterogeneous Multi-sensor Fusion for Maritime Target Tracking" *
冼允廷 等: "基于深度学习的多船舶目标跟踪与流量统计" *
李星辰 等: "融合YOLO检测的多目标跟踪算法" *
王春艳 等: "结合深度学习的多目标跟踪算法" *

Also Published As

Publication number Publication date
CN111738063B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN110751674A (zh) 多目标跟踪方法及相应视频分析系统
CN109389086A (zh) 检测无人机影像目标的方法和系统
CN103729861A (zh) 一种多目标跟踪方法
CN110544269A (zh) 基于特征金字塔的孪生网络红外目标跟踪方法
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN105913459B (zh) 基于高分辨率连拍图像的运动目标检测方法
Zhang et al. Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating
Denman et al. Multi-spectral fusion for surveillance systems
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
CN111199554A (zh) 一种目标跟踪抗遮挡的方法及装置
Wang et al. Closed-loop tracking-by-detection for ROV-based multiple fish tracking
CN111833380B (zh) 一种多视角影像融合的空间目标跟踪系统及方法
Trinh et al. Efficient UAV video event summarization
Manafifard et al. Appearance-based multiple hypothesis tracking: Application to soccer broadcast videos analysis
Tsoukalas et al. Deep learning assisted visual tracking of evader-UAV
Zhan et al. Pedestrian detection and behavior recognition based on vision
Li et al. A collaborative learning tracking network for remote sensing videos
Keawboontan et al. Towards Real-Time UAV Multi-Target Tracking using Joint Detection and Tracking
CN115953434B (zh) 轨迹匹配方法、装置、电子设备和存储介质
CN111738063B (zh) 船舶目标跟踪方法、系统、计算机设备及存储介质
CN111091583A (zh) 长期目标跟踪方法
Savakis et al. Semantic background estimation in video sequences
Wang et al. Online adaptive multiple pedestrian tracking in monocular surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant