CN113610891B - 目标跟踪方法、装置、存储介质和计算机设备 - Google Patents

目标跟踪方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN113610891B
CN113610891B CN202110797269.7A CN202110797269A CN113610891B CN 113610891 B CN113610891 B CN 113610891B CN 202110797269 A CN202110797269 A CN 202110797269A CN 113610891 B CN113610891 B CN 113610891B
Authority
CN
China
Prior art keywords
target
model
tracking
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110797269.7A
Other languages
English (en)
Other versions
CN113610891A (zh
Inventor
符强
梁栩欣
纪元法
孙希延
任风华
严素清
付文涛
贾茜子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110797269.7A priority Critical patent/CN113610891B/zh
Publication of CN113610891A publication Critical patent/CN113610891A/zh
Application granted granted Critical
Publication of CN113610891B publication Critical patent/CN113610891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标跟踪方法，包括：读取视频序列第一帧图像的groundtruth数据，初始化跟踪滤波器模型；读取下一帧图像，确定下一帧图像的目标块图像；获取目标块图像的深度卷积特征和CN特征并融合构建目标外观模型；根据目标块图像确定其上下文区域块，获取上下文区域块的HOG特征和CN特征并融合构建背景上下文模型；基于目标外观模型确定目标块图像的目标中心位置；构建尺度估计模型，得到尺度因子；根据目标外观模型和背景上下文模型的模型参数更新跟踪滤波器模型且返回至读取下一帧图像的步骤并继续执行，直至视频序列的所有图像帧完成目标跟踪。该方法从特征融合、背景信息处理两方面实现在光照变化、形变、背景干扰等复杂场景下的跟踪性能显著提升。

Description

目标跟踪方法、装置、存储介质和计算机设备
技术领域
本发明涉及计算机视觉技术领域，具体而言，本发明涉及一种目标跟踪方法、装置、计算机可读存储介质和计算机设备。
背景技术
目标跟踪是计算机视觉领域一个非常重要的研究方向，在自动驾驶、无人场景下的视频监督、人机交互等领域广泛应用。然而，跟踪的目标对象通常处于背景干扰、形变、尺度变换等复杂的场景，甚至还会历经一些未知的、不可预测的突发挑战，这些复杂的挑战往往导致跟踪精度下降、跟踪漂移，最终跟踪失败。
现有技术中，KCF、CN、SAMF、DSST等最早的相关滤波类跟踪方法采用了简单的手工特征，能够实现不错的跟踪效果，在跟踪精度上仍有待提升。Ma等人提出CF2方法，以相关滤波为框架加入了深度特征，跟踪的精度获得了提升，但无法应对尺度变换的挑战。现有的相关滤波类跟踪方法，尽管其使用的手工特征或深度特征方法已经在跟踪精确性与成功性上取得了较好的效果，但在复杂场景下的跟踪仍然不理想，在背景干扰、形变、光照变换等挑战下通常走向跟踪失败的结果。
因此，亟需一种在复杂环境下能够有效应对这些挑战以提高跟踪性能、实现对目标的精确跟踪的目标跟踪方法。
发明内容
为至少能解决上述的技术缺陷之一，本发明提供了以下技术方案的目标跟踪方法及对应的装置、计算机可读存储介质和计算机设备。
本发明的实施例根据一个方面，提供了一种目标跟踪方法，包括如下步骤：
读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型；
读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像；
获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型；
基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据；
根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
优选地，所述根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型之前，还包括：
基于预设的遮挡预测机制判定未发生目标遮挡事件。
优选地，所述基于预设的遮挡预测机制判定未发生目标遮挡事件，包括：
获取APCE值和最大相关响应值；
获取历史APCE均值和历史最大相关响应值均值；
判断所述APCE值是否大于预定比例的所述历史APCE均值，且所述最大相关响应值是否大于所述历史最大相关响应值均值；
若是，则判定未发生目标遮挡事件。
优选地，所述读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型，包括：
读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据确定所述第一帧图像的初始目标块图像；
获取所述初始目标块图像的深度卷积特征和CN特征，根据所述初始目标块图像的深度卷积特征和CN特征融合构建初始目标外观模型；根据初始目标块图像确定其初始上下文区域块，获取所述初始上下文区域块的HOG特征和CN特征，根据所述初始上下文区域块的HOG特征和所述CN特征融合构建初始背景上下文模型；
融合所述初始目标外观模型和所述初始背景上下文模型，完成初始化跟踪滤波器模型。
优选地，所述跟踪滤波器模型的表达式为：
Figure BDA0003163201580000031
其中，
Figure BDA0003163201580000032
为初始目标块图像，/>
Figure BDA0003163201580000033
为其共轭变换，/>
Figure BDA0003163201580000034
为高斯标签，/>
Figure BDA0003163201580000035
为初始上下文区域块，/>
Figure BDA0003163201580000036
为其共轭变换，k为初始上下文区域块的数量，λ1和λ2为权重系数。
优选地，所述基于所述目标外观模型确定所述目标块图像的目标中心位置，包括：
基于所述目标外观模型，计算所述目标块图像的相关响应值；
根据所述相关响应值，确定最大相关响应值；
根据所述最大相关响应值，确定所述目标块图像的目标中心位置。
优选地，所述根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像，包括：
获取基于跟踪滤波器模型得到的对应上一帧图像的目标中心位置和尺度因子；
根据所述上一帧图像的目标中心位置和尺度因子确定所述下一帧图像的目标块图像。
此外，本发明的实施例根据另一个方面，提供了一种目标跟踪装置，包括：
初始化模块，用于读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型；
目标块图像确定模块，用于读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像；
模型构建模块，用于获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型；
目标跟踪数据确定模块，用于基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据；
模型更新模块，用于根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
本发明的实施例根据又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的目标跟踪方法。
本发明的实施例根据再一个方面，提供了一种计算机设备，所述计算机包括一个或多个处理器；存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于：执行上述的目标跟踪方法。
本发明与现有技术相比，具有以下有益效果：
本发明提供的目标跟踪方法、装置、计算机可读存储介质和计算机设备，从特征融合、对背景信息的处理两方面解决在光照变化、形变、背景干扰等复杂场景下的跟踪性能下降、跟踪失败问题。对于特征融合，具体为通过融合深度卷积特征与CN特征，用于构建目标外观模型，能够提高对跟踪目标对象的表征能力；通过融合HOG特征和CN特征，用于构建背景上下文模型、尺度估计模型，能够对跟踪目标对象的背景信息进行有效的利用与剔除，增强对跟踪目标对象与背景的判别性。对于对背景信息的处理，具体为构建背景上下文模型，有效利用跟踪目标对象的背景信息，再将背景上下文模型与目标外观模型融合为跟踪滤波器模型，能够提高对跟踪目标对象与背景之间的判别性，提高跟踪模型的鲁棒性与精确性；构建尺度估计模型，对跟踪目标对象的背景信息进行有效的利用与剔除，能否获取更准确尺度的目标区域，减少背景信息的干扰，增强对跟踪目标对象与背景的判别性，降低模型漂移的风险，增强目标外观模型的鲁棒性，从而显著提升跟踪性能。
此外，还引入了遮挡检测机制，具体为通过响应值的波动判断跟踪目标对象是否处于遮挡或严重受干扰的状况，以此有效避免无益的模型更新，降低模型漂移风险，提高了跟踪滤波器的鲁棒性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种目标跟踪方法的方法流程图；
图2为本发明实施例提供的初始化跟踪滤波器模型的方法流程图；
图3为本发明实施例提供的另一种目标跟踪方法的方法流程图；
图4为本发明实施例提供的目标跟踪方法与SRDCF、CF2、KCF算法的成功率测试结果；
图5为本发明实施例提供的目标跟踪方法与SRDCF、CF2、KCF算法的精确率测试结果；
图6为本发明实施例提供的一种目标跟踪装置的结构示意图；
图7为本发明实施例提供的另一种目标跟踪装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明实施例提供了一种目标跟踪方法，如图1所示，该方法包括：
步骤S110：读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型。
对于本实施例，输入待跟踪目标的视频序列，读取视频序列的第一帧图像及其groundtruth数据，所述groudtruth数据包括针对第一帧图像预先设定的目标中心位置和跟踪矩形框的大小。
在读取第一帧图像的groundtruth数据之后，可进一步提取所述第一帧图像的特征数据，并根据所述特征数据进行融合构建得到初始化状态的跟踪滤波器模型。
步骤S120：读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像。
其中，所述根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像，具体包括：获取基于跟踪滤波器模型得到的对应上一帧图像的目标中心位置和尺度因子；根据所述上一帧图像的目标中心位置和尺度因子确定所述下一帧图像的目标块图像。
对于本实施例，所述目标跟踪数据包括目标中心位置和尺度因子。
在初始化跟踪滤波器模型之后，读取第二帧图像，其上一帧图像为第一帧图像，且融合构建得到初始化状态的跟踪滤波器模型过程中计算有所述第一帧图像的目标中心位置和尺度因子，则利于第一帧图像的目标中心位置和尺度因子确定第二帧图像的目标块图像。以此类推，读取下一帧图像时，则利用其上一帧图像的目标中心位置和尺度因子确定当前帧图像，即所述下一帧图像的目标块图像。其中，所述目标块图像为帧图像中包含跟踪目标对象的区域块。
步骤S130：获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型。
对于本实施例，获取目标块图像的三层深度卷积特征和CN特征，并对所述三层深度卷积特征和CN特征进行线性加权融合，构建得目标外观模型。通过融合深度卷积特征与CN特征，用于构建目标外观模型，能够提高对跟踪目标对象的表征能力，提升跟踪性能。
在一些实施例中，所述三层深度卷积特征可具体为预训练模型imagenet-vgg-verydeep-19中的conv5-4、conv4-4、conv3-4三层深度卷积特征。
在一些实施例中，所述对三层深度卷积特征和CN特征进行线性加权融合的公式可表示为：fmodel＝α1fconv5-4+α2fconv4-4+α3fconv3-4+α4fcn，其中，fconv5-4、fconv4-4、fconv3-4为三层深度卷积特征，fcn为CN特征，α1～4为相应的特征加权系数。
对于本实施例，由所述目标块图像可以获取预置数量的上下文区域块，分别获取上下文区域块的HOG特征和CN特征，并对上下文区域块的HOG特征和CN特征进行线性加权融合，构建得背景上下文模型。作为一个优选实施例，所述预置数量可具体为4个，即由所述目标块图像获取4个上下文区域块，具体为对应目标块图像上、下、左、右4个上下文区域块。
其中，所述对上下文区域块的HOG特征和CN特征进行线性加权融合的公式可表示为：f＝fhog+fcn，式中，fhog为HOG特征，fcn为CN特征。通过融合HOG特征和CN特征，用于构建背景上下文模型，能够对跟踪目标对象的背景信息进行有效的利用与剔除，增强对跟踪目标对象与背景的判别性，提升跟踪性能。
对于本实施例，所述目标外观模型和所述背景上下文模型融合为跟踪滤波器模型，具体地，将背景上下文模型作为正则项加入到目标外观模型，得到跟踪滤波器模型。通过将目标外观模型与背景上下文模型融合为跟踪滤波器模型，能够提高对跟踪目标对象与背景之间的判别性，提高跟踪模型的鲁棒性与精确性，提升跟踪性能。
步骤S140：基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据。
对于本实施例，基于所述目标外观模型计算所述目标块图像的相关响应值，进而确定所述目标块图像的目标中心位置。
对于本实施例，对所述上下文区域块的HOG特征和CN特征进行线性加权融合，构建得尺度估计模型。其中，所述对上下文区域块的HOG特征和CN特征进行线性加权融合的公式可表示为：f＝fhog+fcn，式中，fhog为HOG特征，fcn为CN特征。通过融合HOG特征和CN特征，用于构建尺度估计模型，能够对跟踪目标对象的背景信息进行有效的利用与剔除，获取更准确尺度的目标区域，减少背景信息的干扰，增强对跟踪目标对象与背景的判别性，降低模型漂移的风险，增强目标外观模型的鲁棒性，提升跟踪性能。
对于本实施例，确定得到的所述目标块图像的目标中心位置更新至所述尺度估计模型，得到尺度因子并预存。
对于本实施例，所述目标跟踪数据包括目标中心位置和尺度因子，当前帧图像的目标块图像的目标中心位置和尺度因子可用于在下一帧图像的目标跟踪环节确定所述下一帧图像的目标块图像。
步骤S150：根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
对于本实施例，将目标外观模型和背景上下文模型的模型参数更新至所述跟踪滤波器模型，并进入下一帧图像的目标跟踪环节，重复上述步骤S120至S150直至视频序列的所有图像帧都完成目标跟踪的任务，视频序列出列处理结束。
其中，更新所述滤波器模型可表示为：
αmodeli＝(1-η)*αmodel_i+η*αi；其中，αmodel_i为当前帧图像对应的跟踪滤波器模型，αi为上一帧图像对应的跟踪滤波器模型，η为学习率因子。
本发明实施例提供的目标跟踪方法，从特征融合、对背景信息的处理两方面解决在光照变化、形变、背景干扰等复杂场景下的跟踪性能下降、跟踪失败问题。对于特征融合，具体为通过融合深度卷积特征与CN特征，用于构建目标外观模型，能够提高对跟踪目标对象的表征能力；通过融合HOG特征和CN特征，用于构建背景上下文模型、尺度估计模型，能够对跟踪目标对象的背景信息进行有效的利用与剔除，增强对跟踪目标对象与背景的判别性。对于对背景信息的处理，具体为构建背景上下文模型，有效利用跟踪目标对象的背景信息，再将背景上下文模型与目标外观模型融合为跟踪滤波器模型，能够提高对跟踪目标对象与背景之间的判别性，提高跟踪模型的鲁棒性与精确性；构建尺度估计模型，对跟踪目标对象的背景信息进行有效的利用与剔除，能否获取更准确尺度的目标区域，减少背景信息的干扰，增强对跟踪目标对象与背景的判别性，降低模型漂移的风险，增强目标外观模型的鲁棒性，从而显著提升跟踪性能。
在一些实施例中，参见图2，所述步骤S 110读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型，具体包括：
步骤S210：读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据确定所述第一帧图像的初始目标块图像。
对于本实施例，输入待跟踪目标的视频序列，读取视频序列的第一帧图像及其groundtruth数据，所述groudtruth数据包括针对第一帧图像预先设定的目标中心位置和跟踪矩形框的大小。利用所述目标中心位置和所述跟踪矩形框的大小，能够确定所述第一帧图像的初始目标块图像，所述初始目标块图像为第一帧图像中包含跟踪目标对象的区域块，所述初始目标块图像用于特指第一帧图像的目标块图像。
步骤S220a：获取所述初始目标块图像的深度卷积特征和CN特征，根据所述初始目标块图像的深度卷积特征和CN特征融合构建初始目标外观模型。
对于本实施例，在读取第一帧图像的groundtruth数据之后，可进一步提取所述第一帧图像的特征数据，所述特征数据包括所述初始目标块图像的深度卷积特征和CN特征。
具体地，获取目标块图像的三层深度卷积特征和CN特征，并对所述三层深度卷积特征和CN特征进行线性加权融合，构建得初始目标外观模型。所述初始目标外观模型用于特指在初始化状态下的目标外观模块。通过融合深度卷积特征与CN特征，用于构建初始目标外观模型，能够提高对跟踪目标对象的表征能力，提升跟踪性能。
在一些实施例中，所述三层深度卷积特征可具体为预训练模型imagenet-vgg-verydeep-19中的conv5-4、conv4-4、conv3-4三层深度卷积特征。
在一些实施例中，所述对三层深度卷积特征和CN特征进行线性加权融合的公式可表示为：fmodel＝α1fconv5-4+α2fconv4-4+α3fconv3-4+α4fcn，其中，fconv5-4、fconv4-4、fconv3-4为三层深度卷积特征，fcn为CN特征，α1～4为相应的特征加权系数。
步骤S220b：根据初始目标块图像确定其初始上下文区域块，获取所述初始上下文区域块的HOG特征和CN特征，根据所述初始上下文区域块的HOG特征和所述CN特征融合构建初始背景上下文模型。
对于本实施例，在读取第一帧图像的groundtruth数据之后，可进一步提取所述第一帧图像的特征数据，所述特征数据还包括初始上下文区域块的HOG特征和CN特征。
具体地，由所述初始目标块图像可以获取预置数量的初始上下文区域块，分别获取初始上下文区域块的HOG特征和CN特征，并对初始上下文区域块的HOG特征和CN特征进行线性加权融合，构建得初始背景上下文模型。作为一个优选实施例，所述预置数量可具体为4个，即由所述初始目标块图像获取4个初始上下文区域块，具体为对应初始目标块图像上、下、左、右4个初始上下文区域块。
其中，所述对初始上下文区域块的HOG特征和CN特征进行线性加权融合的公式可表示为：f＝fhog+fcn，式中，fhog为HOG特征，fcn为CN特征。所述初始上下文区域用于特指第一帧图像的上下文区域块。所述初始背景上下文模型用于特指初始化状态下的背景上下文模型。通过融合HOG特征和CN特征，用于构建初始背景上下文模型，能够对跟踪目标对象的背景信息进行有效的利用与剔除，增强对跟踪目标对象与背景的判别性，提升跟踪性能。
步骤S230：融合所述初始目标外观模型和所述初始背景上下文模型，完成初始化跟踪滤波器模型。
对于本实施例，将初始背景上下文模型作为正则项加入到初始目标外观模型，得到初始化状态下的跟踪滤波器模型。通过将初始目标外观模型与初始背景上下文模型融合为初始化状态下的跟踪滤波器模型，能够提高对跟踪目标对象与背景之间的判别性，提高跟踪模型的鲁棒性与精确性，提升跟踪性能。
在一些实施例中，所述初始化状态下的跟踪滤波器模型的表达式为：
Figure BDA0003163201580000111
其中，
Figure BDA0003163201580000112
为初始目标块图像，/>
Figure BDA0003163201580000113
为其共轭变换，/>
Figure BDA0003163201580000114
为高斯标签，/>
Figure BDA0003163201580000115
为初始上下文区域块，/>
Figure BDA0003163201580000116
为其共轭变换，k为初始上下文区域块的数量，λ1和λ2为权重系数。
作为一个优选实施例，所述初始上下文区域块的数量k取4，分别对应原始目标块图像上、下、左、右4个初始上下文区域块。
在一些实施例中，所述步骤S140中的所述基于所述目标外观模型确定所述目标块图像的目标中心位置，包括：基于所述目标外观模型，计算所述目标块图像的相关响应值；根据所述相关响应值，确定最大相关响应值；根据所述最大相关响应值，确定所述目标块图像的目标中心位置。
对于本实施例，基于目标外观模型找到与跟踪目标对象响应值最大的位置即为目标块图像的目标中心位置。具体地，通过目标外观模型对目标块图像的各个区域块做相关操作，计算目标块图像的多个相关响应值，并从多个相关响应值中筛选出最大相关响应值，对应该最大相关响应值的位置即为所述目标块图像的目标中心位置。
在实际应用场景中，跟踪目标对象所处于的复杂场景除了背景干扰、形变、尺度变换等挑战，常常还存在遮挡挑战，对此，本发明还进一步引入了遮挡检测机制。
在一些实施例中，如图3所示，所述步骤S150中根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型之前，还包括步骤S310：基于预设的遮挡预测机制判定未发生目标遮挡事件。
对于本实施例，在根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型之前，会先基于预设的遮挡预测机制判断跟踪目标对象是否未历经遮挡或严重的干扰，若是判定跟踪目标对象未历经遮挡或严重的干扰，才会将目标外观模型和背景上下文模型的模型参数更新至跟踪滤波器模型，更新跟踪滤波器模型，若是判定跟踪目标对象有历经遮挡或严重的干扰，则沿用上一帧图像的模型参数。
在本实施例中，从特征融合、对背景信息的处理、遮挡检测三方面解决在光照变化、形变、遮挡、背景干扰等复杂场景下的跟踪性能下降、跟踪失败问题。对于遮挡检测方面，具体为通过判断跟踪目标对象是否处于遮挡或严重受干扰的状况，以此有效避免无益的模型更新，降低模型漂移风险，提高了跟踪滤波器的鲁棒性，能够有效应对背景干扰、光照、形变、遮挡等复杂场景下的挑战。
在一些实施例中，所述基于预设的遮挡预测机制判定未发生目标遮挡事件，包括：获取APCE值和最大相关响应值；获取历史APCE均值和历史最大相关响应值均值；判断所述APCE值是否大于预定比例的所述历史APCE均值，且所述最大相关响应值是否大于所述历史最大相关响应值均值；若是，则判定未发生目标遮挡事件。
对于本实施例，预先计算有目标块图像的相关响应值，包括最大相关响应值、最小相关响应值和当前帧相关响应值。所述APCE(average peak-to correlation energy，平均峰值相关能量)值根据相关响应值计算得到，具体地，所述计算APCE值的公式为：
Figure BDA0003163201580000131
其中，Rmax为最大相关响应值，Rmin为最小相关响应值，Rw，h为当前帧相关响应值。
此外，计算历史APCE均值的公式为：
Figure BDA0003163201580000132
frame为当前图像帧数。
计算历史最大相关响应值均值的公式为：
Figure BDA0003163201580000133
frame为当前图像帧数。
对于本实施例，判定未发生目标遮挡事件的条件可表示为：
Figure BDA0003163201580000134
即同时满足所述APCE值大于预定比例的所述历史APCE均值，以及述最大相关响应值大于所述历史最大相关响应值均值。
在本实施例中，从特征融合、对背景信息的处理、遮挡检测三方面解决在光照变化、形变、遮挡、背景干扰等复杂场景下的跟踪性能下降、跟踪失败问题。其中，通过引入遮挡检测机制，具体为通过响应值的波动判断跟踪目标对象是否处于遮挡或严重受干扰的状况，以此有效避免无益的模型更新，降低模型漂移风险，提高了跟踪滤波器的鲁棒性。
参见图4和图5，为本发明提供的目标跟踪方法在标准数据集OTB-100下的测试结果，具体为与SRDCF、CF2、KCF算法的成功率曲测试结果和精确率测试结果。该数据集包含100种具有丰富挑战特性的视频序列，能够评估本方法的性能。通过在标准数据集OTB-100共100个视频序列上的测试结果评估，本发明(图4、5中的proposed曲线)的成功率得分0.63，跟踪精确率得分0.865，优于SRDCF、CF2、KCF算法，可见本发明提供的目标跟踪方法能够有效应对背景干扰、光照、形变、遮挡等复杂场景下的挑战，显著提升跟踪性能。
此外，本发明实施例提供了一种目标跟踪装置，如图6所示，所述目标跟踪装置包括：初始化模块10、目标块图像确定模块20、模型构建模块30、目标跟踪数据确定模块40和模型更新模块50；其中，
所述初始化模块10，用于读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型；
所述目标块图像确定模块20，用于读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像；
所述模型构建模块30，用于获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型；
所述目标跟踪数据确定模块40，用于基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据；
所述模型更新模块50，用于根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
在一些实施例中，如图7所示，所述目标跟踪装置包括遮挡检测模块60；所述遮挡检测模块60在所述模型更新模块50根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型之前，用于：基于预设的遮挡预测机制判定未发生目标遮挡事件。
在一些实施例中，所述遮挡检测模块60，具体用于：
获取APCE值和最大相关响应值；
获取历史APCE均值和历史最大相关响应值均值；
判断所述APCE值是否大于预定比例的所述历史APCE均值，且所述最大相关响应值是否大于所述历史最大相关响应值均值；
若是，则判定未发生目标遮挡事件。
在一些实施例中，所述初始化模块10，具体用于：
读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据确定所述第一帧图像的初始目标块图像；
获取所述初始目标块图像的深度卷积特征和CN特征，根据所述初始目标块图像的深度卷积特征和CN特征融合构建初始目标外观模型；根据初始目标块图像确定其初始上下文区域块，获取所述初始上下文区域块的HOG特征和CN特征，根据所述初始上下文区域块的HOG特征和所述CN特征融合构建初始背景上下文模型；
融合所述初始目标外观模型和所述初始背景上下文模型，完成初始化跟踪滤波器模型。
在一些实施例中，所述跟踪滤波器模型的表达式为：
Figure BDA0003163201580000151
其中，
Figure BDA0003163201580000152
为初始目标块图像，/>
Figure BDA0003163201580000153
为其共轭变换，/>
Figure BDA0003163201580000154
为高斯标签，/>
Figure BDA0003163201580000155
为初始上下文区域块，/>
Figure BDA0003163201580000156
为其共轭变换，k为初始上下文区域块的数量，λ1和λ2为权重系数。
在一些实施例中，所述目标跟踪数据确定模块40用于基于所述目标外观模型确定所述目标块图像的目标中心位置时，具体用于：
基于所述目标外观模型，计算所述目标块图像的相关响应值；
根据所述相关响应值，确定最大相关响应值；
根据所述最大相关响应值，确定所述目标块图像的目标中心位置。
在一些实施例中，所述目标块图像确定模块20，具体用于：
获取基于跟踪滤波器模型得到的对应上一帧图像的目标中心位置和尺度因子；
根据所述上一帧图像的目标中心位置和尺度因子确定所述下一帧图像的目标块图像。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同，具体请参见方法实施例中的说明，在此不再赘述。
此外，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一实施例所述的目标跟踪方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明方法实施例的内容均适用于本存储介质实施例，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同，具体请参见方法实施例中的说明，在此不再赘述。
此外，本发明实施例还提供了一种计算机设备，本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括：一个或多个处理器，存储器，一个或多个计算机程序，其中所述一个或多个计算机程序被存储在存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行以上任一实施例所述的目标跟踪方法。
本发明方法实施例的内容均适用于本计算机设备实施例，本计算机设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同，具体请参见方法实施例中的说明，在此不再赘述。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括如下步骤：
读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型；
读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像；
获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型；
基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据；
根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型之前，还包括：
基于预设的遮挡预测机制判定未发生目标遮挡事件。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述基于预设的遮挡预测机制判定未发生目标遮挡事件，包括：
获取APCE值和最大相关响应值；
获取历史APCE均值和历史最大相关响应值均值；
判断所述APCE值是否大于预定比例的所述历史APCE均值，且所述最大相关响应值是否大于所述历史最大相关响应值均值；
若是，则判定未发生目标遮挡事件。
4.根据权利要求1所述的目标跟踪方法，其特征在于，所述读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型，包括：
读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据确定所述第一帧图像的初始目标块图像；
获取所述初始目标块图像的深度卷积特征和CN特征，根据所述初始目标块图像的深度卷积特征和CN特征融合构建初始目标外观模型；根据初始目标块图像确定其初始上下文区域块，获取所述初始上下文区域块的HOG特征和CN特征，根据所述初始上下文区域块的HOG特征和所述CN特征融合构建初始背景上下文模型；
融合所述初始目标外观模型和所述初始背景上下文模型，完成初始化跟踪滤波器模型。
5.根据权利要求4所述的目标跟踪方法，其特征在于，所述跟踪滤波器模型的表达式为：
Figure FDA0003163201570000021
/>
其中，
Figure FDA0003163201570000022
为初始目标块图像，/>
Figure FDA0003163201570000023
为其共轭变换，/>
Figure FDA0003163201570000024
为高斯标签，/>
Figure FDA0003163201570000025
为初始上下文区域块，/>
Figure FDA0003163201570000026
为其共轭变换，k为初始上下文区域块的数量，λ1和λ2为权重系数。
6.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述目标外观模型确定所述目标块图像的目标中心位置，包括：
基于所述目标外观模型，计算所述目标块图像的相关响应值；
根据所述相关响应值，确定最大相关响应值；
根据所述最大相关响应值，确定所述目标块图像的目标中心位置。
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像，包括：
获取基于跟踪滤波器模型得到的对应上一帧图像的目标中心位置和尺度因子；
根据所述上一帧图像的目标中心位置和尺度因子确定所述下一帧图像的目标块图像。
8.一种目标跟踪装置，其特征在于，包括：
初始化模块，用于读取视频序列第一帧图像的groundtruth数据，根据所述groundtruth数据初始化跟踪滤波器模型；
目标块图像确定模块，用于读取下一帧图像，根据所述跟踪滤波器模型对上一帧图像的目标跟踪数据确定所述下一帧图像的目标块图像；
模型构建模块，用于获取所述目标块图像的深度卷积特征和CN特征，根据所述深度卷积特征和所述CN特征融合构建目标外观模型；根据所述目标块图像确定其上下文区域块，获取所述上下文区域块的HOG特征和CN特征，根据所述上下文区域块的HOG特征和CN特征融合构建背景上下文模型；
目标跟踪数据确定模块，用于基于所述目标外观模型确定所述目标块图像的目标中心位置；根据所述上下文区域块的HOG特征和CN特征融合构建尺度估计模型，得到尺度因子；其中，所述目标中心位置和所述尺度因子为所述目标块图像的目标跟踪数据；
模型更新模块，用于根据目标外观模型和背景上下文模型的模型参数更新所述跟踪滤波器模型，返回至所述读取下一帧图像的步骤并继续执行直至视频序列的所有图像帧完成目标跟踪。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的目标跟踪方法。
10.一种计算机设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于：执行根据权利要求1至7任一项所述的目标跟踪方法。
CN202110797269.7A 2021-07-14 2021-07-14 目标跟踪方法、装置、存储介质和计算机设备 Active CN113610891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797269.7A CN113610891B (zh) 2021-07-14 2021-07-14 目标跟踪方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797269.7A CN113610891B (zh) 2021-07-14 2021-07-14 目标跟踪方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN113610891A CN113610891A (zh) 2021-11-05
CN113610891B true CN113610891B (zh) 2023-05-23

Family

ID=78337587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797269.7A Active CN113610891B (zh) 2021-07-14 2021-07-14 目标跟踪方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN113610891B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680119A (zh) * 2017-09-05 2018-02-09 燕山大学 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN111008996A (zh) * 2019-12-09 2020-04-14 华侨大学 一种通过分层特征响应融合的目标跟踪方法
CN111612817A (zh) * 2020-05-07 2020-09-01 桂林电子科技大学 基于深浅特征自适应融合与上下文信息的目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940541B2 (en) * 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680119A (zh) * 2017-09-05 2018-02-09 燕山大学 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN111008996A (zh) * 2019-12-09 2020-04-14 华侨大学 一种通过分层特征响应融合的目标跟踪方法
CN111612817A (zh) * 2020-05-07 2020-09-01 桂林电子科技大学 基于深浅特征自适应融合与上下文信息的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自适应特征融合的多尺度相关滤波目标跟踪算法;陈智;柳培忠;骆炎民;汪鸿翔;杜永兆;;计算机辅助设计与图形学学报(11);全文 *

Also Published As

Publication number Publication date
CN113610891A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN109271958B (zh) 人脸年龄识别方法及装置
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN112668483B (zh) 一种融合行人重识别和人脸检测的单目标人物跟踪方法
CN108364305B (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
KR102093577B1 (ko) 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
CN113610891B (zh) 目标跟踪方法、装置、存储介质和计算机设备
CN110147768B (zh) 一种目标跟踪方法及装置
CN111814846B (zh) 属性识别模型的训练方法、识别方法及相关设备
CN111914878A (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN106250878B (zh) 一种结合可见光和红外图像的多模态目标跟踪方法
CN113516713B (zh) 一种基于伪孪生网络的无人机自适应目标跟踪方法
EP1028390A2 (en) Data processing method and apparatus
CN110660077A (zh) 一种融合多个特征的多尺度目标跟踪方法
Buchanan et al. Combining local and global motion models for feature point tracking
CN114170558A (zh) 用于视频处理的方法、系统、设备、介质和产品
CN117435896A (zh) 一种在不平衡分类场景下无分割的验证集合成方法
CN115690100B (zh) 半监督信号点检测模型训练方法、信号点检测方法和装置
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN111062291A (zh) 一种机器人视觉跟踪方法及系统
CN115862119A (zh) 基于注意力机制的人脸年龄估计方法及装置
CN113674230B (zh) 一种室内逆光人脸关键点的检测方法及装置
CN115471671A (zh) 一种网络模型的训练方法、目标识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant