CN112200318A - 一种目标检测方法、装置、机器可读介质及设备 - Google Patents

一种目标检测方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112200318A
CN112200318A CN202011077883.8A CN202011077883A CN112200318A CN 112200318 A CN112200318 A CN 112200318A CN 202011077883 A CN202011077883 A CN 202011077883A CN 112200318 A CN112200318 A CN 112200318A
Authority
CN
China
Prior art keywords
network
core
hidden layer
teacher
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011077883.8A
Other languages
English (en)
Other versions
CN112200318B (zh
Inventor
姚志强
周曦
李连强
梁俊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Original Assignee
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd filed Critical Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority to CN202011077883.8A priority Critical patent/CN112200318B/zh
Publication of CN112200318A publication Critical patent/CN112200318A/zh
Application granted granted Critical
Publication of CN112200318B publication Critical patent/CN112200318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明的一种目标检测方法，包括：构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；通过样本图像集训练所述教师网络；从训练后的教师网络的隐含层中提取特征图的核心，采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；通过样本图像集训练经过知识蒸馏得到的学生网络；通过训练后的学生网络对输入的图像进行目标检测。本发明利用神经网络自动提取的特征图的核心知识，具有更合理和高效的特点；同时减少的冗余信息，使学生网络能真切的模仿教师网络。

Description

一种目标检测方法、装置、机器可读介质及设备
技术领域
本发明涉及图像处理领域，具体涉及一种目标检测方法、装置、机器可读介质及设备。
背景技术
知识蒸馏作为一类常见的轻量化神经网络算法，可以将学习能力强的教师网络(一般更为复杂)学到的知识精炼出来，传递给学习能力弱的学生网络(一般相对简单)，所精炼出来的知识不仅可以是一些包含类间信息的软标签，还可以是学生网络学不到而教师网络可以学到的高度抽象的隐藏层特征。通过这些额外的知识学习，学生网络往往能够突破自身学习能力的瓶颈限制，取得了良好的轻量化性能。但现有的知识蒸馏算法还存在以下几个问题：
1)蒸馏的知识种类单一：现有的知识蒸馏算法基本上是在隐含层的抽象特征图(Feature Map,FM)上通过发现教师网络和学生网络的差异性部分，并通过最小化此误差来将教师网络的知识精炼给学生网络。但是，有时教师网络和学生网络的性能或者架构差异比较大，就很难利用定义的单一知识去优化学生网络。
2)知识蒸馏的内容冗余：如上所述，现有的知识蒸馏算法基本上都是将神经网络的隐含层的特征图定义为要传递的知识。但是因为神经网络的隐含层特征图一般维度较大、数目较多，学生网络并不能真切地模仿教师网络。其次，神经网络的隐含层的特征图一般有用信息较少，其中包含大量冗余信息。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种目标检测方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种目标检测方法，包括：
构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
通过样本图像集训练所述教师网络；
从训练后的教师网络的隐含层中提取特征图的核心；
采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
通过样本图像集训练经过知识蒸馏得到的学生网络；
通过训练后的学生网络对输入的图像进行目标检测。
可选地，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。
可选地，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure BDA0002718100010000021
Figure BDA0002718100010000022
LML为第一目标函数，
Figure BDA0002718100010000023
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000024
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA0002718100010000025
表示标准化后的教师网络隐含层的特征图的核心，
Figure BDA0002718100010000026
表示标准化后的学生网络隐含层的特征图的核心。
可选地，所述知识还包括关系知识，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
可选地，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure BDA0002718100010000027
Figure BDA0002718100010000028
Figure BDA0002718100010000029
LRL为第二目标函数，
Figure BDA00027181000100000210
表示教师网络隐含层的特征图的核心，
Figure BDA00027181000100000211
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA00027181000100000212
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure BDA00027181000100000213
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性，
Figure BDA00027181000100000214
表示标准化后的
Figure BDA00027181000100000215
Figure BDA00027181000100000216
表示标准化后的
Figure BDA00027181000100000217
可选地，通过与所述教师网络相关联的第一自编码器从所述教师网络的隐含层中提取特征图的核心；通过与所述学生网络相关联的第二自编码器从所述学生网络的隐含层中提取特征图的核心。
可选地，所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。
为实现上述目的及其他相关目的，本发明提供一种目标检测装置，包括：
网络构建模块，用于构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
第一训练模块，用于通过样本图像集训练所述教师网络；
特征图的核心提取模块，用于从训练后的教师网络的隐含层中提取特征图的核心；
知识蒸馏模块，用于采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
第二训练模块，用于通过样本图像集训练经过知识蒸馏得到的学生网络；
目标检测模块，用于通过训练后的学生网络对输入的图像进行目标检测。
可选地，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。
可选地，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure BDA0002718100010000031
Figure BDA0002718100010000032
LML为第一目标函数，
Figure BDA0002718100010000033
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000034
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA0002718100010000035
表示标准化后的教师网络隐含层的特征图的核心，
Figure BDA0002718100010000036
表示标准化后的学生网络隐含层的特征图的核心。
可选地，所述知识还包括关系知识，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
可选地，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure BDA0002718100010000041
Figure BDA0002718100010000042
Figure BDA0002718100010000043
LRL为第二目标函数，
Figure BDA0002718100010000044
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000045
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA0002718100010000046
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure BDA0002718100010000047
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性，
Figure BDA0002718100010000048
表示标准化后的
Figure BDA0002718100010000049
Figure BDA00027181000100000410
表示标准化后的
Figure BDA00027181000100000411
可选地，所述特征图的核心提取模块包括：
第一自编码器，与所述教师网络相关联，用于从所述教师网络的隐含层中提取特征图的核心；
第二自编码器，与所述学生网络相关联，用于从所述学生网络的隐含层中提取特征图的核心。
可选地，所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种目标检测方法、装置、机器可读介质及设备、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种目标检测方法，包括：构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；通过样本图像集训练所述教师网络；从训练后的教师网络的隐含层中提取特征图的核心，采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；通过样本图像集训练经过知识蒸馏得到的学生网络；通过训练后的学生网络对输入的图像进行目标检测。本发明利用神经网络自动提取的特征图的核心知识，具有更合理和高效的特点；同时减少的冗余信息，使学生网络能真切的模仿教师网络。
附图说明
图1为本发明一实施例一种目标检测方法的流程图；
图2为本发明一实施例中基于自编码器的知识提取过程示意图；
图3为本发明一实施例中对度量知识以及关系知识迁移的过程示意图；
图4为本发明一实施例一种目标检测装置的硬件结构示意图；
图5为本发明一实施例中终端设备的硬件结构示意图；
图6为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种目标检测方法，包括：
S11构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
S12通过样本图像集训练所述教师网络；
S13从训练后的教师网络的隐含层中提取特征图的核心；
S14采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
S15通过样本图像集训练经过知识蒸馏得到的学生网络；
S16通过训练后的学生网络对输入的图像进行目标检测。
本发明利用神经网络自动提取的特征图的核心(特征图中的一个或多个特征作为该核心)，具有更合理和高效的特点；同时减少的冗余信息，使学生网络能真切的模仿教师网络。
在一实施例中，样本图像集的样本图像可以是一个或多个识别对象的多帧图像，如头肩图像、人脸图像、植物图像、动物图像、建筑图像、汽车图像等。
在步骤S13中，所述的知识蒸馏是知识的提取，可以将一个神经网络学习到的知识转移到另外一个神经网络。在本实施例中，所述的一个神经网络可以是教师网络，另一个神经网络是学生网络。一般来说，教师网络具有强大的能力和表现，而学生网络则更为紧凑。那么通过知识蒸馏，希望学生网络能尽可能逼近亦或是超过教师网络，从而用更少的复杂度来获得类似的预测效果。这里的教师网络往往是一个模型尺寸较大、结构较复杂、运算量较高但性能较好的网络；这里的学生网络是一个网络尺寸较小、结构较简单、运算量较低但性能较差的网络。因此，通过知识蒸馏可以在教师网络与学生网络之间进行知识迁移，使得学生网络学习教师网络的监督信息。
在步骤S14中，采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中。其中，与教师网络的隐含层相对应的所述学生网络的隐含层由事先指定，比如，隐含层中的最后一层卷积层，即教师网络的最后一层卷积层与学生网络的最后一层卷积层构成蒸馏匹配层，将教师网络的最后一层卷积层的知识迁移到学生网络的最后一层卷积层。
在知识蒸馏的过程中，为了减少信息的冗余，在一实施例中，如图2所示，通过与所述教师网络相关联的第一自编码器从所述教师网络的隐含层中提取特征图的核心；通过与所述学生网络相关联的第二自编码器从所述学生网络的隐含层中提取特征图的核心。其中，第一自编码器与所述教师网络相关联指的是与教师网络的隐含层连接；第二自编码器与所述学生网络相关联指的是与学生网络的隐含层相连接。
在图2中，Cross-entropy error表示交叉熵误差，Reconstruction error表示重构误差，AutoEncoder表示自编码器。
将教师网络中隐含层的特征图作为第一自编码器的输入，第一自编码器是一个输入和学习目标相同的神经网络，其结构分为编码器和解码器两部分。教师网络中隐含层的特征图经过编码器(Encoder)部分，将特征图(Feature Map,FM)映射成精准并且低维的特征图的核心(Essential of Feature Map,EFM)；然后经过解码器(Decoder)部分，将EFM还原到输入特征空间的重构特征图(Reconstructed Feature Map，FMr)。自编码器的参数会通过反向传播算法以减小FM和FMr的重构误差为目标函数进行更新，最终得到教师网络。
将学生网络中隐含层的特征图作为第二自编码器的输入，第二自编码器是一个输入和学习目标相同的神经网络，其结构分为编码器和解码器两部分。学生网络中隐含层的特征图经过编码器(Encoder)部分，将特征图(Feature Map,FM)映射成精准并且低维的特征图的核心(Essential of Feature Map,EFM)；然后经过解码器(Decoder)部分，将EFM还原到输入特征空间的重构特征图(Reconstructed Feature Map，FMr)。自编码器的参数会通过反向传播算法以减小FM和FMr的重构误差为目标函数进行更新，最终得到学生网络。
在知识提取阶段，涉及到4个神经网络：教师网络及其相关联的第一自编码器和学生网络及其相关联的第二自编码器。实际操作中，本实施例是把教师网络和其相连的第一自编码器或者学生网络和其相连的第二自编码器分开训练的。这意味着图2中所示的Cross-entropy Error仅仅用来更新教师网络或者学生网络，而重构误差只用来更新它们对应的自编码器。这样的策略可以保证自编码器的梯度误差不流入教师网络或者学生网络，进而保证了教师网络或者学生网络的性能不被其它的梯度误差所干扰。
一般的知识蒸馏算法基本上都是将神经网络的隐含层的特征图定义为要传递的知识。但是因为神经网络的隐含层特征图一般维度较大、数目较多，学生网络并不能真切地模仿教师网络。其次，神经网络的隐含层的特征图一般有用信息较少，其中包含大量冗余信息。而现有的研究表明深度神经网络是逐层产生抽象特征的，高层产生的特征更有利于该深度神经网络执行的任务。且最后一层卷积层的特征图，不仅是最靠近神经网络的输出，而且因为卷积的局部不变性，还包含着一定的高阶空间信息。因此，在本实施例中，分别选取教师网络和学生网络的隐含层的最后一层卷积层作为知识蒸馏的匹配对，对所述教师网络进行知识蒸馏。在知识蒸馏过程中，通过所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；通过所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。通过自编码器对教师网络以及学生网络的最后一层卷积层的特征图的核心进行提取，比手工定义的更合理和高效。
在一实施例中，如图3所示，在将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层的这个过程中，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。在图3中，Magnitude loss为度量损失，Relationship loss为关系损失。FM ofTeacher表示教师网络隐含层的特征图，FM of Student表示学生网络隐含层的特征图，EFMof Teacher表示教师网络隐含层的特征图的核心，EFM of Student表示学生网络隐含层的特征图的核心。
具体来说，在知识蒸馏过程中，是让学生网络隐含层的特征图的核心
Figure BDA0002718100010000087
模仿教师网络隐含层的特征图的核心
Figure BDA0002718100010000088
的度量大小。实际操作中发现，教师网络的
Figure BDA0002718100010000089
和学生网络的
Figure BDA00027181000100000810
在度量大小上存在一定的差异，有时甚至会相差一个数量级。在这种情况下，学生网络会很难学到教师网络的知识。为了避免这个问题，在一实施例中，利用了标准化的思想，将教师网络的
Figure BDA00027181000100000811
和学生网络的
Figure BDA00027181000100000812
规范到同一个数量级。然后，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure BDA0002718100010000081
Figure BDA0002718100010000082
LML为第一目标函数，
Figure BDA0002718100010000083
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000084
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA0002718100010000085
表示标准化后的教师网络隐含层的特征图的核心，
Figure BDA0002718100010000086
表示标准化后的学生网络隐含层的特征图的核心。
因为隐含层特征图中的核心(Essential of Feature Map,EFM)尺寸远小于隐含层的抽象特征图(Feature Map,FM)的尺寸，所以相较于直接从教师网络传递FM给学生网络，本发明的知识蒸馏更高效。
因为EFM是利用自编码器得到的，仅仅只保留了FM的精华信息。所以，相较于直接从教师网络传递FM给学生网络，本发明的知识蒸馏去除了很多冗余乃至可能对学生网络性能不益的成分。
为了使得学生网络尽可能地模仿教师网络，提升其性能。考虑到现有大多数知识蒸馏算法仅关注学生网络对教师网络单个输入产生的特征图之间的差异性学习，较少地考虑多个输入样本产生的特征图彼此之间的结构性差异的问题。如图3所示，针对多个输入样本产生的特征图之间的相似性定义了关系知识(Relationship Knowledge)，其中，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
具体地，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure BDA0002718100010000091
Figure BDA0002718100010000092
Figure BDA0002718100010000093
LRL为第二目标函数，
Figure BDA0002718100010000094
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000095
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA0002718100010000096
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure BDA0002718100010000097
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性，
Figure BDA0002718100010000098
表示标准化后的
Figure BDA0002718100010000099
Figure BDA00027181000100000910
表示标准化后的
Figure BDA00027181000100000911
在一实施例中，所述教师网络的最后一层卷积层的特征图的核心与所述学生网络的最后一层卷积层的特征图的核心具有同样的维度。通过将教师网络最后一层卷积层的EFM和学生网络的最后一层卷积层的EFM设置在一样的维度，不仅解决了教师网络和学生网络维度不匹配的问题，也解决了教师网络和学生网络的网络架构不相似的问题，即无论教师网络和学生网络的网络架构如何，均可以实施知识蒸馏。
如图4所示，一种目标检测装置，包括：
网络构建模块41，用于构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
第一训练模块42，用于通过样本图像集训练所述教师网络；
特征图的核心提取模块43，用于从训练后的教师网络的隐含层中提取特征图的核心；
知识蒸馏模块44，用于采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
第二训练模块45，用于通过样本图像集训练经过知识蒸馏得到的学生网络；
目标检测模块46，用于通过训练后的学生网络对输入的图像进行目标检测。
在一实施例中，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。
在一实施例中，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure BDA0002718100010000101
Figure BDA0002718100010000102
LML为第一目标函数，
Figure BDA0002718100010000103
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000104
表示学生网络隐含层的特征图的核心，ψ为样本图像集。
在一实施例中，所述知识还包括关系知识，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
在一实施例中，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure BDA0002718100010000105
Figure BDA0002718100010000106
Figure BDA0002718100010000107
LRL为第二目标函数，
Figure BDA0002718100010000108
表示教师网络隐含层的特征图的核心，
Figure BDA0002718100010000109
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure BDA00027181000100001010
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure BDA00027181000100001011
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性。
在一实施例中，所述特征图的核心提取模块包括：
第一自编码器，与所述教师网络相关联，用于从所述教师网络的隐含层中提取特征图的核心；
第二自编码器，与所述学生网络相关联，用于从所述学生网络的隐含层中提取特征图的核心。
在一实施例中，所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种目标检测方法，其特征在于，包括：
构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
通过样本图像集训练所述教师网络；
从训练后的教师网络的隐含层中提取特征图的核心；
采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
通过样本图像集训练经过知识蒸馏得到的学生网络；
通过训练后的学生网络对输入的图像进行目标检测。
2.根据权利要求1所述的目标检测方法，其特征在于，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。
3.根据权利要求2所述的目标检测方法，其特征在于，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure FDA0002718098000000011
Figure FDA0002718098000000012
LML为第一目标函数，
Figure FDA0002718098000000013
表示教师网络隐含层的特征图的核心，
Figure FDA0002718098000000014
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure FDA0002718098000000015
表示标准化后的教师网络隐含层的特征图的核心，
Figure FDA0002718098000000016
表示标准化后的学生网络隐含层的特征图的核心。
4.根据权利要求2所述的目标检测方法，其特征在于，所述知识还包括关系知识，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
5.根据权利要求4所述的目标检测方法，其特征在于，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure FDA0002718098000000017
Figure FDA0002718098000000021
Figure FDA0002718098000000022
LRL为第二目标函数，
Figure FDA0002718098000000023
表示教师网络隐含层的特征图的核心，
Figure FDA0002718098000000024
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure FDA0002718098000000025
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure FDA0002718098000000026
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性，
Figure FDA0002718098000000027
表示标准化后的
Figure FDA0002718098000000028
Figure FDA0002718098000000029
表示标准化后的
Figure FDA00027180980000000210
6.根据权利要求1所述的目标检测方法，其特征在于，通过与所述教师网络相关联的第一自编码器从所述教师网络的隐含层中提取特征图的核心；通过与所述学生网络相关联的第二自编码器从所述学生网络的隐含层中提取特征图的核心。
7.根据权利要求6所述的目标检测方法，其特征在于，所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。
8.一种目标检测装置，其特征在于，包括：
网络构建模块，用于构建教师网络和学生网络；其中所述学生网络的参数量小于所述教师网络的参数量；
第一训练模块，用于通过样本图像集训练所述教师网络；
特征图的核心提取模块，用于从训练后的教师网络的隐含层中提取特征图的核心；
知识蒸馏模块，用于采用知识蒸馏提取与所述特征图的核心对应的知识，并将所述知识迁移到与教师网络的隐含层相对应的所述学生网络的隐含层中；
第二训练模块，用于通过样本图像集训练经过知识蒸馏得到的学生网络；
目标检测模块，用于通过训练后的学生网络对输入的图像进行目标检测。
9.根据权利要求8所述的目标检测装置，其特征在于，所述知识包括度量知识，所述度量知识为：所述教师网络隐含层的特征图的核心的度量大小与所述学生网络中对应的隐含层的特征图的核心的度量大小。
10.根据权利要求9所述的目标检测装置，其特征在于，通过最小化第一目标函数将教师网络的度量知识迁移至学生网络中，所述第一目标函数为：
Figure FDA0002718098000000031
Figure FDA0002718098000000032
LML为第一目标函数，
Figure FDA0002718098000000033
表示教师网络隐含层的特征图的核心，
Figure FDA0002718098000000034
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure FDA0002718098000000035
表示标准化后的教师网络隐含层的特征图的核心，
Figure FDA0002718098000000036
表示标准化后的学生网络隐含层的特征图的核心。
11.根据权利要求8所述的目标检测装置，其特征在于，所述知识还包括关系知识，所述关系知识包括：教师网络针对单个样本图像产生的特征图的核心之间的差异性，以及教师网络针对多个样本图像产生的特征图的核心之间的相似性。
12.根据权利要求11所述的目标检测装置，其特征在于，通过最小化第二目标函数将教师网络的关系知识迁移至学生网络，所述第二目标函数为：
Figure FDA0002718098000000037
Figure FDA0002718098000000038
Figure FDA0002718098000000039
LRL为第二目标函数，
Figure FDA00027180980000000310
表示教师网络隐含层的特征图的核心，
Figure FDA00027180980000000311
表示学生网络隐含层的特征图的核心，ψ为样本图像集，
Figure FDA00027180980000000312
表示针对样本图像i教师网络隐含层的特征图的核心和针对样本图像j教师网络隐含层的特征图的核心之间的相似性，
Figure FDA00027180980000000313
表示针对样本图像i学生网络隐含层的特征图的核心和针对样本图像j学生网络隐含层的特征图的核心之间的相似性，
Figure FDA00027180980000000314
表示标准化后的
Figure FDA00027180980000000315
Figure FDA00027180980000000316
表示标准化后的
Figure FDA00027180980000000317
13.根据权利要求8所述的目标检测方法，其特征在于，所述特征图的核心提取模块包括：
第一自编码器，与所述教师网络相关联，用于从所述教师网络的隐含层中提取特征图的核心；
第二自编码器，与所述学生网络相关联，用于从所述学生网络的隐含层中提取特征图的核心。
14.根据权利要求13所述的目标检测方法，其特征在于，所述第一自编码器从所述教师网络的隐含层中的最后一层卷积层提取特征图的核心；所述第二自编码器从所述学生网络的隐含层中的最后一层卷积层提取特征图的核心。
15.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。
16.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。
CN202011077883.8A 2020-10-10 2020-10-10 一种目标检测方法、装置、机器可读介质及设备 Active CN112200318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077883.8A CN112200318B (zh) 2020-10-10 2020-10-10 一种目标检测方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077883.8A CN112200318B (zh) 2020-10-10 2020-10-10 一种目标检测方法、装置、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN112200318A true CN112200318A (zh) 2021-01-08
CN112200318B CN112200318B (zh) 2021-11-09

Family

ID=74013253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077883.8A Active CN112200318B (zh) 2020-10-10 2020-10-10 一种目标检测方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112200318B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177635A (zh) * 2021-04-29 2021-07-27 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113255915A (zh) * 2021-05-20 2021-08-13 深圳思谋信息科技有限公司 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN113343979A (zh) * 2021-05-31 2021-09-03 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113536920A (zh) * 2021-06-11 2021-10-22 复旦大学 一种半监督三维点云目标检测方法
CN115019183A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 基于知识蒸馏和图像重构的遥感影像模型迁移方法
CN115019060A (zh) * 2022-07-12 2022-09-06 北京百度网讯科技有限公司 目标识别方法、目标识别模型的训练方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301246A (zh) * 2017-07-14 2017-10-27 河北工业大学 基于超深卷积神经网络结构模型的中文文本分类方法
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN110472681A (zh) * 2019-08-09 2019-11-19 北京市商汤科技开发有限公司 基于知识蒸馏的神经网络训练方案和图像处理方案
CN110929839A (zh) * 2018-09-20 2020-03-27 深圳市商汤科技有限公司 训练神经网络的方法和装置、电子设备和计算机存储介质
CN111062951A (zh) * 2019-12-11 2020-04-24 华中科技大学 一种基于语义分割类内特征差异性的知识蒸馏方法
CN111178115A (zh) * 2018-11-12 2020-05-19 北京深醒科技有限公司 对象识别网络的训练方法及系统
CN111368709A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 图片文本的识别方法、装置、设备及可读存储介质
US20200302295A1 (en) * 2019-03-22 2020-09-24 Royal Bank Of Canada System and method for knowledge distillation between neural networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301246A (zh) * 2017-07-14 2017-10-27 河北工业大学 基于超深卷积神经网络结构模型的中文文本分类方法
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN110929839A (zh) * 2018-09-20 2020-03-27 深圳市商汤科技有限公司 训练神经网络的方法和装置、电子设备和计算机存储介质
CN111178115A (zh) * 2018-11-12 2020-05-19 北京深醒科技有限公司 对象识别网络的训练方法及系统
US20200302295A1 (en) * 2019-03-22 2020-09-24 Royal Bank Of Canada System and method for knowledge distillation between neural networks
CN110472681A (zh) * 2019-08-09 2019-11-19 北京市商汤科技开发有限公司 基于知识蒸馏的神经网络训练方案和图像处理方案
CN111062951A (zh) * 2019-12-11 2020-04-24 华中科技大学 一种基于语义分割类内特征差异性的知识蒸馏方法
CN111368709A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 图片文本的识别方法、装置、设备及可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177635A (zh) * 2021-04-29 2021-07-27 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113255915A (zh) * 2021-05-20 2021-08-13 深圳思谋信息科技有限公司 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN113343979A (zh) * 2021-05-31 2021-09-03 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113536920A (zh) * 2021-06-11 2021-10-22 复旦大学 一种半监督三维点云目标检测方法
CN115019060A (zh) * 2022-07-12 2022-09-06 北京百度网讯科技有限公司 目标识别方法、目标识别模型的训练方法及装置
CN115019183A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 基于知识蒸馏和图像重构的遥感影像模型迁移方法
CN115019183B (zh) * 2022-07-28 2023-01-20 北京卫星信息工程研究所 基于知识蒸馏和图像重构的遥感影像模型迁移方法

Also Published As

Publication number Publication date
CN112200318B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN112200318B (zh) 一种目标检测方法、装置、机器可读介质及设备
CN112200062B (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN108416003A (zh) 一种图片分类方法和装置、终端、存储介质
CN109408058B (zh) 基于机器学习的前端辅助开发方法和装置
CN111985240A (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN111078940B (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN111598012B (zh) 一种图片聚类管理方法、系统、设备及介质
CN115512005A (zh) 一种数据处理方法及其装置
CN116958323A (zh) 图像生成方法、装置、电子设备、存储介质及程序产品
CN113761888A (zh) 文本翻译方法、装置、计算机设备及存储介质
CN113569052A (zh) 知识图谱的表示学习方法及装置
CN116740505A (zh) 图像分类模型的训练、图像分类方法、装置、机器可读介质及设备
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN112800758A (zh) 一种文本中近义词判别方法、系统、设备和介质
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
CN111523541A (zh) 一种基于ocr的数据生成方法、系统、设备及介质
CN111275683A (zh) 图像质量评分处理方法、系统、设备及介质
CN112257581A (zh) 一种人脸检测方法、装置、介质及设备
CN111710011B (zh) 一种漫画生成方法、系统、电子设备及介质
CN114676785A (zh) 一种生成目标检测模型的方法、系统、设备及介质
CN113722422A (zh) 模型训练方法、文本标签生成方法、装置、设备及介质
CN114610911A (zh) 多模态知识本征表示学习方法、装置、设备及存储介质
CN111818364A (zh) 视频融合方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant