CN107247989B - 一种实时的计算机视觉处理方法及装置 - Google Patents

一种实时的计算机视觉处理方法及装置 Download PDF

Info

Publication number
CN107247989B
CN107247989B CN201710454691.6A CN201710454691A CN107247989B CN 107247989 B CN107247989 B CN 107247989B CN 201710454691 A CN201710454691 A CN 201710454691A CN 107247989 B CN107247989 B CN 107247989B
Authority
CN
China
Prior art keywords
network
student
training
layer
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710454691.6A
Other languages
English (en)
Other versions
CN107247989A (zh
Inventor
王乃岩
黄泽昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201710454691.6A priority Critical patent/CN107247989B/zh
Publication of CN107247989A publication Critical patent/CN107247989A/zh
Priority to US16/004,363 priority patent/US11625594B2/en
Application granted granted Critical
Publication of CN107247989B publication Critical patent/CN107247989B/zh
Priority to US18/190,874 priority patent/US20230229920A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Abstract

本发明公开一种实时的计算机视觉处理方法及装置，以解决现有知识迁移方式训练得到的学生网络无法兼顾较大适用范围与精确性的技术问题。方法包括：选取一个与学生网络实现相同功能的教师网络；基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图。采用本发明技术方案训练得到的神经网络不仅适用范围广而且性能优良。

Description

一种实时的计算机视觉处理方法及装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种实时的计算机视觉处理方法及装置。
背景技术
近几年来，深度神经网络在计算机视觉领域的各类应用中取得了巨大的成功，如图像分类、目标检测、图像分割等。但深度神经网络的模型往往包含大量的模型参数，计算量大、处理速度慢，无法在一些低功耗、低计算能力的设备(如嵌入式设备、集成设备等)上进行实时计算。
基于前述问题，最近提出了很多深度神经网络加速算法，如网络剪枝、网络权重量化以及网络知识蒸馏等方法。
除了基于神经元的网络剪枝外，其他网络剪枝方法、网络权重量化方法虽然能够有效地减少神经网络的网络参数，但并不能利用现有的深度学习框架以及设备进行加速。而网络知识蒸馏方法由于其利用性能优良的教师网络(即teacher network，教师网络的网络参数量大、性能优良、计算速度慢)提供的额外信息直接训练计算速度快但性能较差的学生网络(即student network，学生网络计算速度快、性能较差、网络参数量小)，能够直接利用现有框架取得实际加速效果，因此知识蒸馏方法成为目前较为常用的网络加速方法。
目前网络知识蒸馏方法主要包括三种，分别是2014年Hinton等人发表的论文“Distilling the knowledge in a neural network”中提出的Knowledge Distill(简称KD)方法，2015年Romero等人发表的论文“Fitnets:Hints for thin deep nets”提出的FitNets，以及2016年Sergey发表的论文“Paying more attention to attention:Improving the performance of convolutional neural networks via attentiontransfer”提出的Attention Transfer(简称AT)方法。
将教师网络用T表示，学生网络用S表示。在KD中，学生网络的目标函数如公式(1)所示：
Figure GDA0002654840720000021
式(1)中，
Figure GDA0002654840720000022
表示cross-entropy(交叉熵)损失函数，ytrue为训练标签，pS＝softmax(lS)为学生网络S的分类概率，lT、lS分别为网络T与网络S在softmax之前的输出值(称为logits)，τ为一个设定值(称为temperature)，λ为迁移损失的权重。
由于上式(1)的第二项KD采用了教师网络输出概率的分布来指导学生网络，在分类问题上能够有效的提高学生网络的性能。
与KD不同，FitNet采用了匹配中间特征的方法来将教师网络的知识迁移到学生网络中，学生网络的目标函数如以下公式(2)所示：
Figure GDA0002654840720000023
式(2)中，
Figure GDA0002654840720000024
以及
Figure GDA0002654840720000025
分别表示教师网络以及学生网络某一层的特征图(feature map)，CT与CS分别表示FT与FS的通道数(channel)，H与W则为特征图的高和宽，FT与FS的特征图的宽高一致，若两者的特征图不一致需要通过简单的差值算法以使两者的特征图宽高一致，
Figure GDA0002654840720000026
为一个核大小为1×1的卷积，输入通道个数为S，输出通道个数为T来使得FT与
Figure GDA0002654840720000027
的通道数匹配。
FitNet通过匹配教师网络和学生网络的中间层特征，将教师网络中间层特征的特定知识迁移到学生网络，从而提升学生网络的性能。
AT与FitNet的方案原理较为相似，AT交教师网络中的注意力图(即attentionmap)的知识迁移到学生网络以提高学生网络的性能，学生网络的目标函数如以下公式(3)所示：
Figure GDA0002654840720000028
式(3)中，
Figure GDA0002654840720000029
为一个规范化的注意力图映射函数，其中一种最简单的定义如以下公式(4)所示：
Figure GDA00026548407200000210
式(4)中，
Figure GDA0002654840720000031
表示F第k个通道的向量化的特征图。
现有技术存在的技术缺陷为：KD只能应用于拥有softmax层的分类任务中而无法适用于回归任务，而且在类别数较少时其提供给学生网络的指导信息较弱。FitNet直接匹配中间层特征的约束太过严格，使得无法与KD等其他方法有效地结合来训练得到性能优良的学生网络。AT训练得到的学生网络性能较差。综上所述，采用现有的知识迁移方式训练得到的学生网络无法兼顾较大适用范围与精确性。
相关术语解释：
教师网络(Teacher Network)：知识迁移过程中用以为学生网络提供更加准确的监督信息的高性能神经网络。
学生网络(Student Network)：计算速度快但性能较差的适合部署到对实时性要求较高的实际应用场景中的单个神经网络，学生网络相比于教师网络，具有更大的运算吞吐量和更少的模型参数。
发明内容
本发明实施例提供一种实时的计算机视觉处理方法及装置，以解决现有知识迁移方式训练得到的学生网络无法兼顾较大适用范围与精确性的技术问题。
本发明实施例，一方面提供一种实时的计算机视觉处理方法，该方法包括：
选取一个与学生网络实现相同功能的教师网络；
基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图。
本发明实施例，另一方面提供一种实时的计算机视觉处理装置，该装置包括：
选取单元，用于选取一个与学生网络实现相同功能的教师网络；
训练单元，用于基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图。
本发明实施例提供的神经网络训练方案，一方面，匹配教师网络和学生网络的中间层特征，因此训练得到的学生网络的适用范围更广，不局限于分类模型还可适用于回归模型；另一方面，匹配教师网络的中间层特征与学生网络的中间层特征的分布，与现有技术直接匹配中间层所有特征的方式相比约束不严格，可以与其他方法有效结合来进一步提高学生网络的性能，从而提高学生网络的准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中实时的计算机视觉处理方法的流程图；
图2为本发明实施例中对学生网络进行迭代训练得到目标网络的流程图；
图3为本发明实施例中实时的计算机视觉处理装置的结构示意图；
图4为本发明实施例中训练单元的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参见图1，为本发明实施例中实时的计算机视觉处理方法的流程图，该方法包括：
步骤101、选取一个与学生网络实现相同功能的教师网络。
实现的功能如图像分类、目标检测、图像分割等。教师网络性能优良、准确率高，但是相对学生网络其结构复杂、参数权重较多、计算速度较慢。学生网络计算速度快、性能一般或者较差、网络结构简单。可以在预先设置的神经网络模型的集合中选取一个与学生网络实现的功能相同且性能优良的网络作为教师网络。
步骤102、基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络。
其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图。
本发明实施例中，将训练样本数据输入教师网络后，从教师网络的第一特定网络层输出的特征图统称为第一中间层特征；将训练样本数据输入学生网络后，从学生网络的第二特定网络层输出的特征图统称为第二中间层特征。
优选地，本发明实施例中第一特定网络层为所述教师网络中的一个中间网络层或者为最后一个网络层。
优选地，本发明实施例中第二特定网络层为所述学生网络中的一个中间网络层或者为最后一个网络层。
优选地，前述步骤102，具体可通过如图2所示的方法实现，该方法包括：
步骤102A、构建所述学生网络的目标函数，所述目标函数包含任务损失函数和距离损失函数，其中距离损失函数为用于衡量同一训练样本数据对应的第一中间层特征和第二中间层特征的分布距离的函数。
本发明实施例中，任务损失函数的表达式与学生网络所要实现的任务相关，例如学生网络实现的任务为分类任务时，则任务损失函数的表达式为交叉熵损失函数；还例如学生网络实现的任务为回归任务时，则任务损失函数的表达式为距离损失函数。
步骤102B、采用所述训练样本数据对所述学生网络进行迭代训练。
步骤102C、当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述目标网络。
优选地，本发明实施例中，步骤102B中，每一次迭代训练用到的训练样本数据不同，所述步骤102B具体实现可如下：
对所述学生网络进行多次以下的迭代训练(以下称为本次迭代训练，将用于本次迭代训练的训练样本数据称为当前训练样本数据，本次迭代训练包括以下步骤A、步骤B和步骤C)：
步骤A、将当前训练样本数据分别输入所述教师网络和学生网络，得到当前训练样本数据对应的第一中间层特征和第二中间层特征；
步骤B、根据所述当前训练样本数据及其对应的第一中间层特征和第二中间层特征，计算所述目标函数的取值，并根据所述目标函数的取值调整所述学生网络的权重；
步骤C、基于调整权重后的学生网络进行下一次迭代训练。
优选地，在前述步骤B中，根据所述目标函数的取值调整所述学生网络的权重，具体实现可如下：采用梯度下降优化算法根据所述目标函数的取值调整所述学生网络的权重。
优选地，在一个具体实例中，所述学生网络的目标函数可如下公式(5)：
Figure GDA0002654840720000061
式(5)中，
Figure GDA0002654840720000062
为交叉熵损失函数，
Figure GDA0002654840720000063
为距离损失函数，λ为预置的常数，FT为训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图(即第一中间层特征)，FS为训练样本数据输入学生网络后从学生网络的第二特征网络层输出的特征图(即第二中间层特征)，ytrue为训练样本数据的真实标签，pS为学生网络的分类概率。
Figure GDA0002654840720000071
其中，CT为FT的通道数，CS为FS的通道数，H与W则为FT与FS的高和宽。本发明实施例中FT与FS的尺寸一致。
优选地，在前述步骤A与步骤B之间还包括：判断FT与FS的高是否相同，若不相同则将两者之中取值较大的高作为前述H；以及判断FT与FS的宽是否相同，若不相同则将两者之中取值较大的宽作为前述W；采用预置的插值算法将FT与FS的尺寸调整为H与W。
优选地，本发明实施例中目标函数中的
Figure GDA0002654840720000072
具体可如下公式(6)：
Figure GDA0002654840720000073
式(6)中，k(·，·)为预置的核函数，CT为FT的通道数，CS为FS的通道数，
Figure GDA0002654840720000074
为FT中第i个通道的向量化特征图，
Figure GDA0002654840720000075
为FT中第i′个通道的向量化特征图，
Figure GDA0002654840720000076
为FS第j个通道的向量化特征图，
Figure GDA0002654840720000077
为FS第j′个通道的向量化特征图。
优选地，所述k(·，·)为预置的线性核函数、多项式核函数、高斯核函数或者多个高斯核函数的组合等，本申请不做严格限定，本领域技术人员可以根据实际需要进行灵活设置。
具体实例如下：k(·，·)为下式(7)所示的线性核函数；还或者k(·，·)为下式(8)所示的多项式核函数；还或者k(·，·)为下式(9)所示的高斯核函数。
k(x，y)＝xTy 式(7)
k(x，y)＝(xTy+c)d 式(8)
Figure GDA0002654840720000078
实施例二
基于前述实施例一提供的实时的计算机视觉处理方法的相同构思，本发明实施例二还提供一种实时的计算机视觉处理装置，该装置的结构如图3所述，包括选取单元31和训练单元32，其中：
选取单元31，用于选取一个与学生网络实现相同功能的教师网络。
实现的功能如图像分类、目标检测、图像分割等。教师网络性能优良、准确率高，但是相对学生网络其结构复杂、参数权重较多、计算速度较慢。学生网络计算速度快、性能一般或者较差、网络结构简单。可以在预先设置的神经网络模型的集合中选取一个与学生网络实现的功能相同且性能优良的网络作为教师网络。
本发明实施例中，将训练样本数据输入教师网络后，从教师网络的第一特定网络层输出的特征图统称为第一中间层特征；将训练样本数据输入学生网络后，从学生网络的第二特定网络层输出的特征图统称为第二中间层特征。
训练单元32，用于基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图。
优选地，第一特定网络层为所述教师网络中的一个中间网络层或最后一个网络层；和/或，所述第二特定网络层为所述学生网络中的一个中间网络层或最后一个网络层。
优选地，训练单元32的结构如图4所示，包括构建模块321、训练模块322和确定模块323，其中：
构建模块321，用于构建所述学生网络的目标函数，所述目标函数包含任务损失函数和用于衡量同一训练样本数据对应的第一中间层特征和第二中间层特征的分布距离的距离损失函数；
本发明实施例中，任务损失函数的表达式与学生网络所要实现的任务相关，例如学生网络实现的任务为分类任务时，则任务损失函数的表达式为交叉熵损失函数；还例如学生网络实现的任务为回归任务时，则任务损失函数的表达式为距离损失函数。
训练模块322，用于采用所述训练样本数据对所述学生网络进行迭代训练；
确定模块323，用于当迭代训练模块迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述目标网络。
优选地，所述训练模块322具体用于：
对所述学生网络进行多次以下的迭代训练(以下称为本次迭代训练，将用于本次迭代训练的训练样本数据称为当前训练样本数据，本次迭代训练包括以下步骤A、步骤B和步骤C)：
步骤A、将用于本次迭代训练的当前训练样本数据分别输入所述教师网络和学生网络，得到当前训练样本数据对应的第一中间层特征和第二中间层特征；
步骤B、根据所述当前训练样本数据及其对应的第一中间层特征和第二中间层特征，计算所述目标函数的取值，并根据所述目标函数的取值调整所述学生网络的权重；
步骤C、基于调整权重后的学生网络进行下一次迭代训练。
优选地，在前述步骤B中，根据所述目标函数的取值调整所述学生网络的权重，具体实现可如下：采用梯度下降优化算法根据所述目标函数的取值调整所述学生网络的权重。
优选地，所述构建模块321构建的目标函数可如前述公式(5)，距离损失函数的表达式可如前述公式(6)，在此不在赘述。
本发明实施例提供的神经网络训练方案，一方面，匹配教师网络和学生网络的中间层特征，因此训练得到的学生网络的适用范围更广，不局限于分类模型还可适用于回归模型；另一方面，匹配教师网络的中间层特征与学生网络的中间层特征的分布，与现有技术直接匹配中间层所有特征的方式相比约束不严格，可以与其他方法有效结合来进一步提高学生网络的性能，从而提高学生网络的准确性。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种实时的计算机视觉处理方法，其特征在于，包括：
在实时的计算机视觉处理过程中，低计算能力的处理设备获取图像数据；所述计算机视觉处理包括图像分类、目标检测或者图像分割；
所述处理设备使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，神经网络是通过如下处理获得的学生网络；
选取一个与学生网络实现相同功能的教师网络；
基于匹配同一训练样本图像数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图；
基于匹配同一训练样本图像数据对应的第一中间层特征和对应的第二中间层特征的分布来迭代训练所述学生网络得到目标网络，具体包括：
构建所述学生网络的目标函数，所述目标函数包含任务损失函数和用于衡量同一训练样本数据对应的第一中间层特征和第二中间层特征的分布距离的距离损失函数；
采用所述训练样本数据对所述学生网络进行迭代训练；
当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述目标网络。
2.根据权利要求1所述的方法，其特征在于，所述采用所述训练样本数据对所述学生网络进行迭代训练，具体包括：
对所述学生网络进行多次以下的迭代训练：
将用于本次迭代训练的当前训练样本数据分别输入所述教师网络和学生网络，得到当前训练样本数据对应的第一中间层特征和第二中间层特征；
根据所述当前训练样本数据及其对应的第一中间层特征和第二中间层特征，计算所述目标函数的取值，并根据所述目标函数的取值调整所述学生网络的权重；
基于调整权重后的学生网络进行下一次迭代训练。
3.根据权利要求2所述的方法，其特征在于，根据所述目标函数的取值调整所述学生网络的权重，具体包括：
采用梯度下降优化算法根据所述目标函数的取值调整所述学生网络的权重。
4.根据权利要求1所述的方法，其特征在于，所述目标函数为：
Figure FDA0002654840710000021
其中，
Figure FDA0002654840710000022
为任务损失函数，
Figure FDA0002654840710000023
为距离损失函数，λ为预置的常数，FT为训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，FS为训练样本数据输入学生网络后从学生网络的第二特征网络层输出的特征图，ytrue为训练样本数据的真实标签，pS为学生网络的分类概率。
5.根据权利要求4所述的方法，其特征在于，所述目标函数中的
Figure FDA0002654840710000024
具体如下：
Figure FDA0002654840710000025
其中，k(·，·)为预置的核函数，CT为FT的通道数，CS为FS的通道数，
Figure FDA0002654840710000026
为FT中第i个通道的向量化特征图，
Figure FDA0002654840710000027
为FT中第i'个通道的向量化特征图，
Figure FDA0002654840710000028
为FS第j个通道的向量化特征图，
Figure FDA0002654840710000029
为FS第j'个通道的向量化特征图。
6.根据权利要求5所述的方法，其特征在于，所述k(·，·)为预置的线性核函数、多项式核函数或者高斯核函数。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述第一特定网络层为所述教师网络中的一个中间网络层或最后一个网络层；和/或，
所述第二特定网络层为所述学生网络中的一个中间网络层或最后一个网络层。
8.一种实时的计算机视觉处理装置，其特征在于，所述装置在实时的计算机视觉处理过程中获取图像数据；所述装置使用预先获得的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，所述神经网络是由神经网络获得装置获得的，所述计算机视觉处理包括图像分类、目标检测或者图像分割；神经网络获得装置包括：
选取单元，用于选取一个与学生网络实现相同功能的教师网络；
训练单元，用于基于匹配同一训练样本数据对应的第一中间层特征与第二中间层特征的分布来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的中间层特征的知识迁移到所述学生网络，其中：所述第一中间层特征为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，所述第二中间层特征为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的特征图；
所述训练单元具体包括：
构建模块，用于构建所述学生网络的目标函数，所述目标函数包含任务损失函数和用于衡量同一训练样本图像数据对应的第一中间层特征和第二中间层特征的分布距离的距离损失函数；
训练模块，用于采用所述训练样本数据对所述学生网络进行迭代训练；
确定模块，用于当迭代训练模块迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述目标网络。
9.根据权利要求8所述的装置，其特征在于，所述训练模块具体用于：
对所述学生网络进行多次以下的迭代训练：
将用于本次迭代训练的当前训练样本数据分别输入所述教师网络和学生网络，得到当前训练样本数据对应的第一中间层特征和第二中间层特征；
根据所述当前训练样本数据及其对应的第一中间层特征和第二中间层特征，计算所述目标函数的取值，并根据所述目标函数的取值调整所述学生网络的权重；
基于调整权重后的学生网络进行下一次迭代训练。
10.根据权利要求9所述的装置，其特征在于，所述训练模块根据所述目标函数的取值调整所述学生网络的权重，具体包括：
采用梯度下降优化算法根据所述目标函数的取值调整所述学生网络的权重。
11.根据权利要求8所述的装置，其特征在于，所述构建模块构建的目标函数为：
Figure FDA0002654840710000041
其中，
Figure FDA0002654840710000042
为任务损失函数，
Figure FDA0002654840710000043
为距离损失函数，λ为预置的常数，FT为训练样本数据输入教师网络后从教师网络的第一特定网络层输出的特征图，FS为训练样本数据输入学生网络后从学生网络的第二特征网络层输出的特征图，ytrue为训练样本数据的真实标签，pS为学生网络的分类概率。
12.根据权利要求11所述的装置，其特征在于，所述目标函数中的
Figure FDA0002654840710000044
具体如下：
Figure FDA0002654840710000045
其中，k(·，·)为预置的核函数，CT为FT的通道数，CS为FS的通道数，
Figure FDA0002654840710000046
为FT中第i个通道的向量化特征图，
Figure FDA0002654840710000047
为FT中第i'个通道的向量化特征图，
Figure FDA0002654840710000048
为FS第j个通道的向量化特征图，
Figure FDA0002654840710000049
为FS第j'个通道的向量化特征图。
13.根据权利要求12所述的装置，其特征在于，所述k(·，·)为预置的线性核函数、多项式核函数或者高斯核函数。
14.根据权利要求8～13任一项所述的装置，其特征在于，第一特定网络层为所述教师网络中的一个中间网络层或最后一个网络层；和/或，
所述第二特定网络层为所述学生网络中的一个中间网络层或最后一个网络层。
CN201710454691.6A 2017-06-15 2017-06-15 一种实时的计算机视觉处理方法及装置 Active CN107247989B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710454691.6A CN107247989B (zh) 2017-06-15 2017-06-15 一种实时的计算机视觉处理方法及装置
US16/004,363 US11625594B2 (en) 2017-06-15 2018-06-09 Method and device for student training networks with teacher networks
US18/190,874 US20230229920A1 (en) 2017-06-15 2023-03-27 Method and device for student training networks with teacher networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710454691.6A CN107247989B (zh) 2017-06-15 2017-06-15 一种实时的计算机视觉处理方法及装置

Publications (2)

Publication Number Publication Date
CN107247989A CN107247989A (zh) 2017-10-13
CN107247989B true CN107247989B (zh) 2020-11-24

Family

ID=60019530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710454691.6A Active CN107247989B (zh) 2017-06-15 2017-06-15 一种实时的计算机视觉处理方法及装置

Country Status (2)

Country Link
US (2) US11625594B2 (zh)
CN (1) CN107247989B (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596655B1 (en) * 2017-06-05 2023-08-09 Siemens Aktiengesellschaft Method and apparatus for analysing an image
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN107832799A (zh) * 2017-11-20 2018-03-23 北京奇虎科技有限公司 基于摄像头场景的对象识别方法及装置、计算设备
CN107944376A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据实时姿态识别方法及装置、计算设备
CN107944374A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据中特定对象检测方法及装置、计算设备
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108009638A (zh) * 2017-11-23 2018-05-08 深圳市深网视界科技有限公司 一种神经网络模型的训练方法、电子设备及存储介质
CN108171716B (zh) * 2017-12-25 2021-11-26 北京奇虎科技有限公司 基于自适应跟踪框分割的视频人物装扮方法及装置
CN108280513B (zh) * 2018-01-22 2022-08-19 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN108537264B (zh) * 2018-03-30 2021-09-07 西安电子科技大学 基于深度学习的异源图像匹配方法
CN108664893B (zh) * 2018-04-03 2022-04-29 福建海景科技开发有限公司 一种人脸检测方法及存储介质
CN108830288A (zh) * 2018-04-25 2018-11-16 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置、设备及介质
CN108764462A (zh) * 2018-05-29 2018-11-06 成都视观天下科技有限公司 一种基于知识蒸馏的卷积神经网络优化方法
CN110598504B (zh) * 2018-06-12 2023-07-21 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
CN108830813B (zh) * 2018-06-12 2021-11-09 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN110598840B (zh) * 2018-06-13 2023-04-18 富士通株式会社 知识迁移方法、信息处理设备以及存储介质
CN108898168B (zh) * 2018-06-19 2021-06-01 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
CN109034198B (zh) * 2018-06-25 2020-12-11 中国科学院计算技术研究所 基于特征图恢复的场景分割方法和系统
CN109034219B (zh) * 2018-07-12 2021-08-24 上海商汤智能科技有限公司 图像的多标签类别预测方法及装置、电子设备和存储介质
CN109241988A (zh) * 2018-07-16 2019-01-18 北京市商汤科技开发有限公司 特征提取方法和装置、电子设备、存储介质、程序产品
US11610108B2 (en) * 2018-07-27 2023-03-21 International Business Machines Corporation Training of student neural network with switched teacher neural networks
US11741355B2 (en) 2018-07-27 2023-08-29 International Business Machines Corporation Training of student neural network with teacher neural networks
US11158063B2 (en) * 2018-07-30 2021-10-26 Hewlett Packard Enterprise Development Lp Objects and features neural network
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
US10963748B1 (en) 2018-08-31 2021-03-30 Snap Inc. Generative neural network distillation
CN110929839B (zh) * 2018-09-20 2024-04-16 深圳市商汤科技有限公司 训练神经网络的方法和装置、电子设备和计算机存储介质
CN110929836B (zh) * 2018-09-20 2023-10-31 北京市商汤科技开发有限公司 神经网络训练及图像处理方法和装置、电子设备、介质
CN109409500B (zh) * 2018-09-21 2024-01-12 清华大学 基于知识蒸馏与非参数卷积的模型加速方法及装置
CN111179212B (zh) * 2018-11-10 2023-05-23 杭州凝眸智能科技有限公司 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN111178115B (zh) * 2018-11-12 2024-01-12 北京深醒科技有限公司 对象识别网络的训练方法及系统
CN109614989A (zh) * 2018-11-13 2019-04-12 平安科技（深圳）有限公司 快速模型的训练方法、装置、计算机设备及存储介质
CN109657689A (zh) * 2018-12-07 2019-04-19 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN109783824B (zh) * 2018-12-17 2023-04-18 北京百度网讯科技有限公司 基于翻译模型的翻译方法、装置及存储介质
KR20200084431A (ko) * 2018-12-26 2020-07-13 삼성전자주식회사 신경망 기반의 데이터 처리 방법, 신경망 트레이닝 방법 및 그 장치들
CN109686444A (zh) 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的系统和方法
CN109816636B (zh) * 2018-12-28 2020-11-27 汕头大学 一种基于智能终端的裂缝检测方法
CN109637546B (zh) * 2018-12-29 2021-02-12 苏州思必驰信息科技有限公司 知识蒸馏方法和装置
CN111414987B (zh) * 2019-01-08 2023-08-29 南京人工智能高等研究院有限公司 神经网络的训练方法、训练装置和电子设备
CN109816001A (zh) * 2019-01-10 2019-05-28 高新兴科技集团股份有限公司 一种基于深度学习的车辆多属性识别方法、装置和设备
US20200226476A1 (en) * 2019-01-10 2020-07-16 Visa International Service Association System, Method, and Computer Program Product for Incorporating Knowledge from More Complex Models in Simpler Models
CN109948642B (zh) * 2019-01-18 2023-03-28 中山大学 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
CN109886343B (zh) * 2019-02-26 2024-01-05 深圳市商汤科技有限公司 图像分类方法及装置、设备、存储介质
CN111695375B (zh) * 2019-03-13 2021-04-20 上海云从企业发展有限公司 基于模型蒸馏的人脸识别模型压缩方法、介质及终端
CN109961442B (zh) * 2019-03-25 2022-11-18 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
US11783195B2 (en) 2019-03-27 2023-10-10 Cognizant Technology Solutions U.S. Corporation Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
CN110047076B (zh) * 2019-03-29 2021-03-23 腾讯科技（深圳）有限公司 一种图像信息的处理方法、装置及存储介质
CN110097084B (zh) * 2019-04-03 2021-08-31 浙江大学 通过投射特征训练多任务学生网络的知识融合方法
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110059804B (zh) * 2019-04-15 2021-10-08 北京迈格威科技有限公司 数据处理方法及装置
CN110163344B (zh) * 2019-04-26 2021-07-09 北京迈格威科技有限公司 神经网络训练方法、装置、设备和存储介质
CN110135562B (zh) * 2019-04-30 2020-12-01 中国科学院自动化研究所 基于特征空间变化的蒸馏学习方法、系统、装置
CN110097178A (zh) * 2019-05-15 2019-08-06 电科瑞达(成都)科技有限公司 一种基于熵注意的神经网络模型压缩与加速方法
CN112052945B (zh) * 2019-06-06 2024-04-16 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
CN110245754B (zh) * 2019-06-14 2021-04-06 西安邮电大学 一种基于位置敏感图的知识蒸馏指导方法
CN110472664A (zh) * 2019-07-17 2019-11-19 杭州有盾网络科技有限公司 一种基于深度学习的证件图片识别方法、装置及设备
CN110533184B (zh) * 2019-08-31 2023-01-06 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
CN112487182B (zh) * 2019-09-12 2024-04-12 华为技术有限公司 文本处理模型的训练方法、文本处理方法及装置
CN110674648B (zh) * 2019-09-29 2021-04-27 厦门大学 基于迭代式双向迁移的神经网络机器翻译模型
WO2021068180A1 (en) * 2019-10-11 2021-04-15 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for continual meta-learning
CN111091177B (zh) * 2019-11-12 2022-03-08 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、电子设备和存储介质
CN111027403B (zh) * 2019-11-15 2023-06-06 深圳市瑞立视多媒体科技有限公司 手势估计方法、装置、设备及计算机可读存储介质
CN111127432B (zh) * 2019-12-24 2021-01-12 推想医疗科技股份有限公司 一种医学图像检测方法、装置、设备及存储介质
CN111160474B (zh) * 2019-12-30 2023-08-29 合肥工业大学 一种基于深度课程学习的图像识别方法
CN111275183B (zh) * 2020-01-14 2023-06-16 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN111260056B (zh) * 2020-01-17 2024-03-12 北京爱笔科技有限公司 一种网络模型蒸馏方法及装置
CN111382870A (zh) * 2020-03-06 2020-07-07 商汤集团有限公司 训练神经网络的方法以及装置
CN111339302A (zh) * 2020-03-06 2020-06-26 支付宝(杭州)信息技术有限公司 训练要素分类模型的方法和装置
WO2021182748A1 (ko) * 2020-03-10 2021-09-16 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111461212B (zh) * 2020-03-31 2023-04-07 中国科学院计算技术研究所 一种用于点云目标检测模型的压缩方法
CN111598213B (zh) * 2020-04-01 2024-01-23 北京迈格威科技有限公司 网络训练方法、数据识别方法、装置、设备和介质
CN113518229B (zh) * 2020-04-09 2022-09-20 腾讯科技（深圳）有限公司 环路滤波网络的训练方法、装置、计算机设备和存储介质
CN113537483A (zh) * 2020-04-14 2021-10-22 杭州海康威视数字技术股份有限公司 一种域适配方法、装置及电子设备
CN111582101B (zh) * 2020-04-28 2021-10-01 中国科学院空天信息创新研究院 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统
CN111553821B (zh) * 2020-05-13 2021-04-27 电子科技大学 基于教师学生网络和多头解码器的应用题自动解题方法
CN111598160B (zh) * 2020-05-14 2023-04-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质
CN113673533A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种模型训练方法及相关设备
CN111640425B (zh) * 2020-05-22 2023-08-15 北京百度网讯科技有限公司 一种模型训练和意图识别方法、装置、设备及存储介质
FR3111217B1 (fr) * 2020-06-05 2024-01-12 Commissariat Energie Atomique Méthode de réduction de la taille d’un réseau de neurones artificiel
CN111695698B (zh) * 2020-06-12 2023-09-12 北京百度网讯科技有限公司 用于模型蒸馏的方法、装置、电子设备及可读存储介质
US11775841B2 (en) 2020-06-15 2023-10-03 Cognizant Technology Solutions U.S. Corporation Process and system including explainable prescriptions through surrogate-assisted evolution
CN111753092B (zh) * 2020-06-30 2024-01-26 青岛创新奇智科技集团股份有限公司 一种数据处理方法、模型训练方法、装置及电子设备
CN111882031A (zh) * 2020-06-30 2020-11-03 华为技术有限公司 一种神经网络蒸馏方法及装置
CN111814689A (zh) * 2020-07-09 2020-10-23 浙江大华技术股份有限公司 火灾识别网络模型的训练方法、火灾识别方法及相关设备
CN111898735A (zh) * 2020-07-14 2020-11-06 上海眼控科技股份有限公司 蒸馏学习方法、装置、计算机设备和存储介质
CN111950638B (zh) * 2020-08-14 2024-02-06 厦门美图之家科技有限公司 基于模型蒸馏的图像分类方法、装置和电子设备
CN111767711B (zh) * 2020-09-02 2020-12-08 之江实验室 基于知识蒸馏的预训练语言模型的压缩方法及平台
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN112200062B (zh) * 2020-09-30 2021-09-28 广州云从人工智能技术有限公司 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN112116441B (zh) * 2020-10-13 2024-03-12 腾讯科技（深圳）有限公司 金融风险分类模型的训练方法、分类方法、装置及设备
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112651500B (zh) * 2020-12-30 2021-12-28 深圳金三立视频科技股份有限公司 一种量化模型的生成方法及终端
CN112819050B (zh) * 2021-01-22 2023-10-27 北京市商汤科技开发有限公司 知识蒸馏和图像处理方法、装置、电子设备和存储介质
CN113256646B (zh) * 2021-04-13 2024-03-22 浙江工业大学 一种基于半监督学习的脑血管图像分割方法
CN113095251B (zh) * 2021-04-20 2022-05-27 清华大学深圳国际研究生院 一种人体姿态估计方法及系统
CN113159073B (zh) * 2021-04-23 2022-11-18 上海芯翌智能科技有限公司 知识蒸馏方法及装置、存储介质、终端
CN113408571B (zh) * 2021-05-08 2022-07-19 浙江智慧视频安防创新中心有限公司 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端
CN113343803B (zh) * 2021-05-26 2023-08-22 北京百度网讯科技有限公司 模型训练方法、装置、设备和存储介质
CN113269117B (zh) * 2021-06-04 2022-12-13 重庆大学 一种基于知识蒸馏的行人重识别方法
CN113361602B (zh) * 2021-06-04 2023-07-14 展讯通信（上海）有限公司 神经网络模型的训练方法、装置和电子设备
CN113408743B (zh) * 2021-06-29 2023-11-03 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN113392938A (zh) * 2021-07-30 2021-09-14 广东工业大学 一种分类模型训练方法、阿尔茨海默病分类方法及装置
CN113610146B (zh) * 2021-08-03 2023-08-04 江西鑫铂瑞科技有限公司 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN113723596A (zh) * 2021-09-03 2021-11-30 北京地平线信息技术有限公司 定点模型的训练方法和训练装置
CN113486185B (zh) * 2021-09-07 2021-11-23 中建电子商务有限责任公司 一种基于联合训练的知识蒸馏方法、处理器及存储介质
CN113888538B (zh) * 2021-12-06 2022-02-18 成都考拉悠然科技有限公司 一种基于内存分块模型的工业异常检测方法
CN114580568A (zh) * 2022-03-24 2022-06-03 华南理工大学 一种基于深度学习的鱼种类识别方法
CN115965609B (zh) * 2023-01-03 2023-08-04 江南大学 利用知识蒸馏的陶瓷基板瑕疵智能检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787513A (zh) * 2016-03-01 2016-07-20 南京邮电大学 多示例多标记框架下基于域适应迁移学习设计方法和系统
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN105787513A (zh) * 2016-03-01 2016-07-20 南京邮电大学 多示例多标记框架下基于域适应迁移学习设计方法和系统
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Distilling the Knowledge in a Neural Network;Geoffrey Hinton et al.;《arXiv》;20150309;第1-9页 *
FitNets: Hints for thin deep nets;A. Romero et al.;《ICLR》;20151231;第1-8页 *
PAYING MORE ATTENTION TO ATTENTION:IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER;Sergey Zagoruyko et al.;《Published as a conference paper at ICLR 2017》;20170212;第1-13页 *

Also Published As

Publication number Publication date
CN107247989A (zh) 2017-10-13
US11625594B2 (en) 2023-04-11
US20230229920A1 (en) 2023-07-20
US20180365564A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN107247989B (zh) 一种实时的计算机视觉处理方法及装置
CN110969250B (zh) 一种神经网络训练方法及装置
CN110880036B (zh) 神经网络压缩方法、装置、计算机设备及存储介质
CN107103754B (zh) 一种道路交通状况预测方法及系统
US10096121B2 (en) Human-shape image segmentation method
CN107194336B (zh) 基于半监督深度距离度量网络的极化sar图像分类方法
CN108288035A (zh) 基于深度学习的多通道图像特征融合的人体动作识别方法
CN109190537A (zh) 一种基于掩码感知深度强化学习的多人物姿态估计方法
US10073908B2 (en) Functional space-time trajectory clustering
CN111079780B (zh) 空间图卷积网络的训练方法、电子设备及存储介质
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
Crespo-Ramos et al. Detection of locally relevant variables using SOM–NG algorithm
US20190347277A1 (en) Clustering device, clustering method, and computer program product
CN104732545A (zh) 结合稀疏近邻传播和快速谱聚类的纹理图像分割方法
CN113610069A (zh) 基于知识蒸馏的目标检测模型训练方法
CN113283524A (zh) 一种基于对抗攻击的深度神经网络近似模型分析方法
CN109086463A (zh) 一种基于区域卷积神经网络的问答社区标签推荐方法
CN113516163B (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN109800424A (zh) 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法
CN109977797A (zh) 基于排序损失函数的一阶目标检测器的优化方法
CN114037052A (zh) 检测模型的训练方法、装置、电子设备及存储介质
CN108960406B (zh) 一种基于bfo小波神经网络的mems陀螺随机误差预测方法
AU2021101713A4 (en) Remote sensing image building recognition method based on activated representational substitution
CN110705695A (zh) 搜索模型结构的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200326

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant