CN112560881A - 对象识别方法和装置、数据处理方法 - Google Patents
对象识别方法和装置、数据处理方法 Download PDFInfo
- Publication number
- CN112560881A CN112560881A CN201910912198.3A CN201910912198A CN112560881A CN 112560881 A CN112560881 A CN 112560881A CN 201910912198 A CN201910912198 A CN 201910912198A CN 112560881 A CN112560881 A CN 112560881A
- Authority
- CN
- China
- Prior art keywords
- network model
- pruning
- target
- function
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000013138 pruning Methods 0.000 claims abstract description 208
- 238000005457 optimization Methods 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 108
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种对象识别方法和装置、数据处理方法。该方法包括：从预设数据库中提取与第一对象对应的样本数据，将样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型，根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，得到目标剪枝函数，根据目标剪枝函数和第一网络模型生成目标网络模型，接收第二对象发送的用于识别第一对象的识别请求，根据目标网络模型对第一识别对象进行识别，实现高效率、高可靠识别和高精度识别，进而得到准确且可靠的识别结果。
Description
技术领域
本公开涉及互联网技术领域，具体涉及识别处理技术领域，尤其涉及一种对象识别方法和装置、数据处理方法。
背景技术
随着互联网技术和人工智能技术的不断发展，通过网络模型对对象进行识别(如检测和分割等)被广泛应用于各个领域(如自动驾驶等)。
在现有技术中，主要通过对样本数据进行采集，基于样本数据训练一个参数冗余的大型网络模型，再基于模型剪枝(Model Pruning)对网络模型进行剪枝处理，如使用对角Hessian逼近计算每个权值的重要性，重要性低的权值被置零，然后重新训练网络；或者，使用逆Hessian矩阵计算每个权值的重要性，重要性低的权值被置零，剩下的权值使用二阶泰勒逼近的loss增量更新；又或者，将权值取绝对值，与设定的threshhold值进行比较，低于门限的权值被置零，并根据剪枝处理后的网络模型对待识别对象进行识别。
然而发明人在实现本公开的过程中，发现至少存在如下问题：由于通过上述现有技术中的剪枝方法存在很大的局限性，导致现有技术中识别速度较慢且识别精确度偏低。
发明内容
本公开提供一种对象识别方法和装置、数据处理方法，用以解决现有技术中剪枝方法存在很大的局限性，导致现有技术中识别速度较慢且识别精确度偏低的问题。
一方面，本公开实施例提供一种对象识别方法，所述方法包括：
从预设数据库中提取与第一对象对应的样本数据；
将所述样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
根据所述目标剪枝函数和所述第一网络模型生成目标网络模型；
接收第二对象发送的用于识别所述第一对象的识别请求；
根据所述目标网络模型对所述第一识别对象进行识别。
在一些实施例中，所述根据所述目标剪枝函数和所述第一网络模型生成目标网络模型包括：
根据所述目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型；
对所述第二网络模型进行正交初始化训练，得到所述目标网络模型。
在一些实施例中，所述对所述第二网络模型进行正交初始化训练，得到所述目标网络模型包括：
针对所述第二网络模型中的每一卷积层中的每一个卷积核，分别计算所述每一个卷积核与其他卷积核之间的相关性；
根据所述相关性对所述第二网络模型进行剪枝处理，得到第三网络模型；
根据对所述第二网络模型进行剪枝处理后剩下的第一参数对所述第三网络模型进行训练，得到第四网络模型；
将所述第一参数和对所述第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数；
根据所述第三参数对所述第四网络模型进行训练，得到所述目标网络模型。
在一些实施例中，根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数包括：
根据泰勒展开的分块剪枝算法计算所述第一网络模型中每一卷积层的梯度值和输出特征值；
将所述梯度值和所述输出特征值的乘积确定为所述初始剪枝优化函数。
在一些实施例中，所述根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数包括：
根据所述加权系数对所述初始剪枝优化函数进行加权处理；
响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对所述加权处理后的剪枝优化函数进行调整，得到所述目标剪枝函数，其中，所述目标剪枝函数对应的通道数量为偶数。
另一方面，本公开实施例还提供了一种对象识别装置，所述装置包括：
提取模块，用于从预设数据库中提取与第一对象对应的样本数据；
训练模块，用于将所述样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
计算模块，用于根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
优化模块，用于根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
生成模块，用于根据所述目标剪枝函数和所述第一网络模型生成目标网络模型；
接收模块，用于接收第二对象发送的用于识别所述第一对象的识别请求；
识别模块，用于根据所述目标网络模型对所述第一识别对象进行识别。
在一些实施例中，所述生成模块具体用于，根据所述目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型，对所述第二网络模型进行正交初始化训练，得到所述目标网络模型。
在一些实施例中，所述生成模块具体用于，针对所述第二网络模型中的每一卷积层中的每一个卷积核，分别计算所述每一个卷积核与其他卷积核之间的相关性，根据所述相关性对所述第二网络模型进行剪枝处理，得到第三网络模型，根据对所述第二网络模型进行剪枝处理后剩下的第一参数对所述第三网络模型进行训练，得到第四网络模型，将所述第一参数和对所述第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数，根据所述第三参数对所述第四网络模型进行训练，得到所述目标网络模型。
在一些实施例中，所述计算模块具体用于，根据泰勒展开的分块剪枝算法计算所述第一网络模型中每一卷积层的梯度值和输出特征值，将所述梯度值和所述输出特征值的乘积确定为所述初始剪枝优化函数。
在一些实施例中，所述优化模块具体用于，根据所述加权系数对所述初始剪枝优化函数进行加权处理，响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对所述加权处理后的剪枝优化函数进行调整，得到所述目标剪枝函数，其中，所述目标剪枝函数对应的通道数量为偶数。
另一个方面，本公开实施例还提供了一种数据处理方法，所述方法包括：
将获取到的样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
根据所述目标剪枝函数和所述第一网络模型生成目标网络模型。
本公开提供从预设数据库中提取与第一对象对应的样本数据，将样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型，根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，得到目标剪枝函数，根据目标剪枝函数和第一网络模型生成目标网络模型，接收第二对象发送的用于识别第一对象的识别请求，根据目标网络模型对第一识别对象进行识别，通过根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，可以减少计算的运算量，提高计算效率，且通过根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，可以去除参数的冗余性，减去更多深层的通道的参数，从而可以生成高可靠性和高准确性的目标网络模型，以便在基于目标网络模型对第一对象进行识别时，实现高效率、高可靠识别和高精度识别，进而得到准确且可靠的识别结果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例的对象识别方法的场景示意图；
图2为本公开实施例的对象识别方法的流程示意图；
图3为本公开实施例的根据目标剪枝函数和第一网络模型生成目标网络模型的方法的流程示意图；
图4为本公开实施例的网络模型的比对示意图；
图5为本公开实施例的对第二网络模型进行正交初始化训练，得到目标网络模型的方法的流程示意图；
图6为本公开实施例的根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数的方法的流程示意图；
图7为本公开实施例的对象识别装置的模块示意图；
图8为本公开实施例的数据处理方法的流程示意图；
附图标记：10、自动驾驶车辆，20、车道，30、边界线，40、标志牌，1、提取模块，2、训练模块，3、计算模块，4、优化模块，5、生成模块，6、接收模块，7、识别模块。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的对象识别方法，可以适用于如图1所示的应用场景。
在如图1所示的应用场景中，本公开实施例提供的对象识别方法可以被设置于自动驾驶车辆10的控制器中，当自动驾驶车辆10在行驶过程中，通过本公开实施例提供的识别方法对车道20的边界线30、标志牌40等中的一种或多种进行识别，以便确保行驶安全。
当然，本公开实施例提供的对象识别方法还可以应用于人脸识别、车辆识别、行人识别、语句分析(如人机交互)等领域，本公开实施例对具体的应用场景不做限定。
下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
一个方面，本公开实施例提供了一种适用于上述应用场景的对象识别方法。
请参阅图2，图2为本公开实施例的对象识别方法的流程示意图。
如图2所示，该方法包括：
S101：从预设数据库中提取与第一对象对应的样本数据。
其中，执行本公开实施例的对象识别方法的主体可以为对象识别装置，具体可以为类似于上述应用场景中的自动驾驶车辆，也可以为服务器。基于待识别的对象的不同，执行本公开实施例提供的对象识别方法的主体可能不同。
在一些实施例中，预设数据库可以为图像数据库(ImageNet)，则样本数据为图像。
基于上述应用场景可知，在该步骤中，从图像数据库中提取与边界线和/或标志牌的样本数据。
需要说明的是，在本公开实施例中，对提取的样本数据的数量不做限定，具体可基于应用场景、识别精度和经验值等进行设定。
示范性地，在对交通指示灯，即红绿灯进行识别的应用场景中，可以从图像数据库中提取红绿灯识别的样本数据量30000，并提取6000个数据对训练结果进行测试。
S102：将样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型。
在该步骤中，具体地，选定初始网络模型，初始网络模型包括但不限于卷积神经网络模型、长短时记忆网络模型、双向长短时记忆网络模型和HMM网络模型；为选定的初始网络模型随机赋予初始网络参数，将样本数据输入至被赋予了初始网络参数的初始网络模型中，对样本数据进行训练，得到第一网络模型。
S103：根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数。
在现有技术中，对第一网络模型进行剪枝的方法包括：计算对第一网络模型训练过程中损失函数，以便基于损失函数对第一网络模型进行裁剪。其中，损失函数标识训练网络模型时，输出的训练结果和真实结果之间的差异的大小，损失函数越小，网络模型的训练结果越优。然而，通过对每个通道的损失函数进行计算，导致运算量很大，如可能存在2w种通道裁剪方式。
而在该步骤中，通过泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，实质上是将剪枝处理转化为一个组合优化的处理过程。相较于上述现有技术中的剪枝处理的方案，减少了运算量，提高了训练的效率。后文将对该步骤的具体方案进行详细介绍。
S104：根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，得到目标剪枝函数。
在本公开实施例中，在得到初始剪枝优化函数后，基于每一卷积层的加权系数对剪枝优化函数进行优化处理，以对冗余性的、深沉通道的参数进行剪枝处理，进而实现剪枝的高精度性和高可靠性。
S105：根据目标剪枝函数和第一网络模型生成目标网络模型。
在一些实施例中，可以通过目标剪枝函数对第一网络模型进行剪枝处理，得到目标网络模型，由于目标剪枝函数是通过对勒展开的分块剪枝策略计算得到的初始剪枝优化函数进行加权优化处理得到的，因此，通过该目标剪枝函数对第一网络模型进行剪枝处理，可以确保对第一网络模型剪枝的可靠性和精确性，进行得到稳定性高，精确性高的目标网络模型的技术效果。
S106：接收第二对象发送的用于识别第一对象的识别请求。
基于图1所示的应用场景，第二对象可以是启动自动驾驶车辆的用户，或者是交互设备和智能机器人等。
S107：根据目标网络模型对第一识别对象进行识别。
在该步骤中，当自动驾驶车辆或者服务器接收到识别请求时，通过目标网络模型对第一识别对象进行识别。由于是基于目标网络模型对第一识别对象进行识别，而目标网络模型具有高精度和高可靠性，因此，可以实现识别的高效性和可靠性，进而实现识别结果的精确性的技术效果。
本公开实施例提供了一种对象识别方法，该方法包括：从预设数据库中提取与第一对象对应的样本数据，将样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型，根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，得到目标剪枝函数，根据目标剪枝函数和第一网络模型生成目标网络模型，接收第二对象发送的用于识别第一对象的识别请求，根据目标网络模型对第一识别对象进行识别，通过根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数，可以减少计算的运算量，提高计算效率，且通过根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，可以去除参数的冗余性，减去更多深层的通道的参数，从而可以生成高可靠性和高准确性的目标网络模型，以便在基于目标网络模型对第一对象进行识别时，实现高效率、高可靠识别和高精度识别，进而得到准确且可靠的识别结果。
结合图3(图3为本公开实施例的根据目标剪枝函数和第一网络模型生成目标网络模型的方法的流程示意图)可知，在一些实施例中，S105包括：
S31：根据目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型。
S32：对第二网络模型进行正交初始化训练，得到目标网络模型。
可以理解的是，在对网络模型进行剪枝处理后，剪枝处理后的网络模型的精度会有一定的降低，在现有技术中，为了解决剪枝处理后的网络模型精度降低的问题，主要通过微调训练(具体可以参见现有技术，此处不再赘述)，使得剪枝处理后的网络模型的精度尽量恢复至剪枝处理前的网络模型。但是，通过现有技术中的方案，剪枝处理后的网络模型直接微调训练比从头初始化训练的速度稍快，但剪枝处理后从头初始化训练的和直接微调训练的在迭代一定次数之后最终精度几乎没有差别，甚至训练足够的迭代次数之后从头初始化训练的精度会超过直接微调训练的精度。
而在本公开实施例中，在通过目标剪枝函数对第一网络模型进行剪枝处理，得到第二网络模型后，对第二网络模型进行正交初始化训练，从而可以避免现有技术中微调时精度无法提高的问题，实现生成高精度的目标网络模型的技术效果。
具体现有技术中剪枝后的网络模型与通过本公开实施例生成的目标网络模型的比对可参见图4(图4为本公开实施例的网络模型的比对示意图，其中，origin表示原来的网络模型，before表示根据泰勒展开的分块剪枝策略处理后的网络模型，after表示正交初始化训练后的网络模型)。
结合图5(图5为本公开实施例的对第二网络模型进行正交初始化训练，得到目标网络模型的方法的流程示意图)可知，在一些实施例中，S32包括：
S51：针对第二网络模型中的每一卷积层中的每一个卷积核，分别计算每一个卷积核与其他卷积核之间的相关性。
示范性地，一个卷积层中的所有卷积核，一个k×k大小的卷积核网络参数为：k×k×c，c为通道数，将一个卷积层l的L个卷积核网络参数分别展开成一个大小为k*k*c的一维向量，并组成一个矩阵Wl，则卷积核之间的相关性度量可以表示为
其中
Pl的第i行表示其他卷积核与第i个卷积核的相关性，两个向量正交性越小相关性越小，这个值就越小，Pl的第i行的值之和越小，表示该卷积核与其他卷积核相关性越低。
S52：根据相关性对第二网络模型进行剪枝处理，得到第三网络模型。
在一些实施例中，为了进一步提对冗余的参数进行剪枝处理，在确定相关性之后，还可以基于相关性和预设的相应加权系数对第二网络模型进行剪枝处理。具体可通过加权处理后，对加权处理结果对通道进行排序，基于排序对第二网络模型进行剪枝处理。如，基于相关性和加权系数的乘积的大小进行升序排列，并将排在序列前面的通道的参数进行裁剪。
在一些实施例中，剪枝处理的参数的比例为15％-25％。
S53：根据对第二网络模型进行剪枝处理后剩下的第一参数对第三网络模型进行训练，得到第四网络模型。
示范性地，若对第二网络模型剪枝处理后去除20％的参数，则第二网络模型剩下的80％的参数即为第一参数，通过第一参数对第三网络模型进行训练，得到第四网络模型。
值得说明的是，训练的过程可以是一个迭代的过程，即反复训练的过程，本公开实施例只是以一个训练过程进行示范性地描述，而不能理解为对本公开实施例的范围的限定。
S54：将第一参数和对第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数。
基于上述示例，对第二网络模型剪枝处理后去除的20％的参数即为第二参数。
在该步骤中，通过将第一参数和第二参数进行正交初始化，以便得到第三参数。
S55：根据第三参数对第四网络模型进行训练，得到目标网络模型。
结合图6(图6为本公开实施例的根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数的方法的流程示意图)可知，在一些实施例中，S103包括：
S61：根据泰勒展开的分块剪枝算法计算第一网络模型中每一卷积层的梯度值和输出特征值。
S62：将梯度值和输出特征值的乘积确定为初始剪枝优化函数。
示范性地，对于样本数据D＝{x＝{x0，x1，...,xN},y＝{y0，y1，...,yN}}，x和y分别代表输入和输出。初始网络参数表示为：
训练过程中的损失函数表示为：C(D|W)，剪枝处理后的一部分参数后的损失函数表示为：C(D|W')。
对于剪枝处理前后，当剪枝处理的裁剪比例较小时，C(D|W')≈C(D|W)。
基于上述示例可知，可将剪枝处理的过程看作是找到参数的一个子集的过程，理想是找到的子集得出的损失函数和初始函数的相同，因此，将剪枝处理转化为一个组合优化问题，即：
若网络每个通道的参数都去裁剪对比损失函数大小，有2w种通道裁剪方式，运算量巨大。因此通过分块微元的方式来裁剪初始网络模型某个通道的输出特征值(即输出的特征图)及其对应的初始网络参数。若初始网络模型的深度为N层，第n层有Mn个通道的参数进行剪枝处理，则有初始剪枝优化函数：|ΔC(hi)|＝|C(D,hi＝0)-C(D,hi)|。hi表示初始网络模型第n(0<n≤N)层的第i(0<i≤Mn)个特征图，C(D,hi＝0)表示特征图hi对应通道被剪枝处理后的损失函数，C(D,hi)表示特征图hi对应通道被裁剪前的损失函数。通过泰勒展开可以得到：
若网络模型的激活函数使用ReLU函数，则上式二阶项为0，因此带入初始剪枝优化函数得：
因此，可计算每一层梯度值以及输出特征值。在实际应用过程中，可通过钩子函数记录梯度反向传播到每一层的值，并存储每一个特征图的值。
基于上述示例可知，当目标剪枝函数确定后，基于目标剪枝函数对第一网络模型进行剪枝处理，具体剪枝处理可以包括：对目标剪枝函数进行排序，如，基于每一个通道的目标剪枝函数对所有通道的目标剪枝函数进行降序排列，并基于预设的剪枝处理的数据对序列的前相应数量的通道的参数进行裁剪。
在一些实施例中，S104包括：
S1041：根据加权系数对初始剪枝优化函数进行加权处理。
S1042：响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对加权处理后的剪枝优化函数进行调整，得到目标剪枝函数，其中，目标剪枝函数对应的通道数量为偶数。
基于上述示例可知，则对初始剪枝函数进行优化处理，得到目标剪枝函数具体包括：
其中，α为第一网络模型的层数对应的加权系数。
且，对鉴权处理后的剪枝优化函数对应的通道数量进行确定，并当为奇数时，适应性调整剪枝优化函数。
示范性地，某个通道的参数共有128个，而加权处理后的剪枝优化函数对应的通道数量为5个，即需要裁减5个参数，则对加权处理后的剪枝优化函数进行适应性调整，使得需要裁减的参数的数量为偶数个。具体地，可调整为4个。
现结合resnet18网络模型，对泰勒展开的分块剪枝策略进行详细阐述：
S1：对resnet18网络模型的通道，每次裁剪512个通道的输出特征值及其对应的网络参数进行统计。
S2：反向传播计算所有层的输出特征值与梯度值的乘积并归一化处理。
S3：对S2得到的结果排序取最小的512个，分别对应到每一层裁剪的通道及其参数，每一层裁剪的通道数如下：{15:72,13:71,7:16,16:69,14:57,6:14,9:33,10:30,12:33,1:6,0:7,2:11,11:37,3:9,5:18,8:19,4:10}，从小到大排序后对应裁剪的层数与层内通道序号如下：[(15,509),(15,507),(15,506),(15,502),(15,493),(15,487),(15,471),(15,459),(15,455),(15,453),(15,447),(15,429),(15,427),(15,410),(15,398),(15,397),(15,394),(15,366),(15,362),(15,356),(15,340),(15,339),(15,338),(15,335),(15,334),(15,325),(15,318),(15,316),(15,304),(15,301),(15,298),(15,293),(15,292),(15,288),(15,282),(15,273),(15,259),(15,258),(15,254),(15,253),(15,238),(15,234),(15,227),(15,217),(15,212),(15,211),(15,210),(15,206),(15,203),(15,202),(15,184),(15,182),(15,166),(15,165),(15,156),(15,150),(15,136),(15,130),(15,125),(15,124),(15,115),(15,110),(15,104),(15,93),(15,90),(15,87),(15,72),(15,67),(15,63),(15,28),(15,15),(15,4),(13,508),(13,493),(13,490),(13,487),(13,486),(13,485),(13,478),(13,476),(13,475),(13,466),(13,458),(13,452),(13,447),(13,445),(13,441),(13,437),(13,428),(13,422),(13,414),(13,412),(13,410),(13,405),(13,393),(13,386),(13,381),(13,373),(13,368),(13,367),(13,366),(13,355),(13,351),(13,330),(13,328),(13,324),(13,292),(13,289),(13,283),(13,277),(13,275),(13,259),(13,247),(13,242),(13,230),(13,221),(13,218),(13,216),(13,215),(13,212),(13,187),(13,183),(13,176),(13,174),(13,165),(13,155),(13,132),(13,131),(13,113),(13,104),(13,98),(13,91),(13,86),(13,79),(13,77),(13,72),(13,64),(13,62),(13,53),(13,37),(13,34),(13,18),(13,4),(7,117),(7,114),(7,101),(7,86),(7,79),(7,75),(7,72),(7,63),(7,59),(7,52),(7,45),(7,23),(7,20),(7,11),(7,10),(7,2),(16,504),(16,496),(16,485),(16,478),(16,469),(16,461),(16,453),(16,451),(16,449),(16,436),(16,416),(16,411),(16,394),(16,385),(16,379),(16,369),(16,366),(16,334),(16,329),(16,328),(16,314),(16,313),(16,304),(16,302),(16,298),(16,291),(16,279),(16,278),(16,274),(16,268),(16,267),(16,259),(16,250),(16,226),(16,214),(16,205),(16,186),(16,179),(16,161),(16,159),(16,156),(16,150),(16,149),(16,135),(16,134),(16,133),(16,129),(16,109),(16,92),(16,88),(16,82),(16,80),(16,78),(16,70),(16,69),(16,62),(16,61),(16,59),(16,45),(16,43),(16,39),(16,36),(16,33),(16,28),(16,23),(16,18),(16,16),(16,6),(16,1),(14,474),(14,472),(14,465),(14,450),(14,449),(14,445),(14,433),(14,431),(14,430),(14,395),(14,392),(14,391),(14,383),(14,365),(14,351),(14,340),(14,338),(14,336),(14,334),(14,331),(14,319),(14,318),(14,308),(14,298),(14,274),(14,270),(14,269),(14,268),(14,264),(14,237),(14,234),(14,222),(14,216),(14,215),(14,202),(14,190),(14,174),(14,173),(14,158),(14,149),(14,143),(14,129),(14,121),(14,110),(14,100),(14,81),(14,76),(14,66),(14,53),(14,49),(14,48),(14,40),(14,32),(14,16),(14,12),(14,6),(14,3),(6,101),(6,95),(6,90),(6,82),(6,81),(6,58),(6,56),(6,50),(6,34),(6,31),(6,28),(6,16),(6,14),(6,4),(9,235),(9,228),(9,219),(9,217),(9,205),(9,204),(9,189),(9,182),(9,170),(9,161),(9,157),(9,151),(9,135),(9,115),(9,112),(9,110),(9,101),(9,99),(9,95),(9,93),(9,79),(9,73),(9,70),(9,63),(9,56),(9,49),(9,43),(9,42),(9,38),(9,28),(9,11),(9,8),(9,7),(10,247),(10,225),(10,222),(10,221),(10,206),(10,183),(10,182),(10,181),(10,176),(10,164),(10,160),(10,154),(10,143),(10,123),(10,115),(10,112),(10,109),(10,81),(10,69),(10,67),(10,63),(10,58),(10,57),(10,51),(10,49),(10,33),(10,32),(10,20),(10,12),(10,1),(12,224),(12,217),(12,214),(12,200),(12,199),(12,191),(12,188),(12,179),(12,173),(12,167),(12,164),(12,161),(12,156),(12,155),(12,143),(12,138),(12,132),(12,121),(12,113),(12,109),(12,105),(12,91),(12,76),(12,68),(12,66),(12,49),(12,43),(12,42),(12,38),(12,19),(12,15),(12,11),(12,6),(1,63),(1,40),(1,39),(1,36),(1,24),(1,9),(0,58),(0,57),(0,50),(0,46),(0,21),(0,6),(0,0),(2,61),(2,54),(2,51),(2,40),(2,39),(2,33),(2,18),(2,16),(2,11),(2,4),(2,2),(11,245),(11,240),(11,239),(11,225),(11,216),(11,212),(11,204),(11,197),(11,195),(11,183),(11,182),(11,170),(11,169),(11,166),(11,161),(11,156),(11,155),(11,153),(11,150),(11,146),(11,134),(11,126),(11,103),(11,97),(11,96),(11,84),(11,77),(11,71),(11,61),(11,60),(11,44),(11,41),(11,34),(11,12),(11,10),(11,8),(11,6),(3,56),(3,48),(3,45),(3,42),(3,24),(3,20),(3,6),(3,5),(3,1),(5,123),(5,116),(5,115),(5,112),(5,106),(5,98),(5,97),(5,95),(5,72),(5,57),(5,50),(5,49),(5,38),(5,36),(5,29),(5,28),(5,21),(5,2),(8,120),(8,104),(8,102),(8,100),(8,77),(8,76),(8,71),(8,70),(8,68),(8,64),(8,59),(8,57),(8,54),(8,37),(8,36),(8,31),(8,23),(8,9),(8,2),(4,62),(4,61),(4,59),(4,49),(4,44),(4,43),(4,15),(4,7),(4,2),(4,0)]；(4)进行裁剪，修改裁剪后网络模型每一层的通道数并进行训练。
对上述参数进行示范性地说明，其中，15:72表示第15层裁剪72个通道，以此类推；15,509表示裁剪影响最小的是第15层第509个通道，因此将第15层的第509个通道的输出特征值和网络参数裁剪。
根据本公开实施例的另一个方面，本公开实施例还提供了一种对象识别装置。
请参阅图7，图7为本公开实施例的对象识别装置的模块示意图。
如图7所示，该装置包括：
提取模块1，用于从预设数据库中提取与第一对象对应的样本数据；
训练模块2，用于将所述样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
计算模块3，用于根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
优化模块4，用于根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
生成模块5，用于根据所述目标剪枝函数和所述第一网络模型生成目标网络模型；
接收模块6，用于接收第二对象发送的用于识别所述第一对象的识别请求；
识别模块7，用于根据所述目标网络模型对所述第一识别对象进行识别。
在一些实施例中，所述生成模块5具体用于，根据所述目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型，对所述第二网络模型进行正交初始化训练，得到所述目标网络模型。
在一些实施例中，所述生成模块5具体用于，针对所述第二网络模型中的每一卷积层中的每一个卷积核，分别计算所述每一个卷积核与其他卷积核之间的相关性，根据所述相关性对所述第二网络模型进行剪枝处理，得到第三网络模型，根据对所述第二网络模型进行剪枝处理后剩下的第一参数对所述第三网络模型进行训练，得到第四网络模型，将所述第一参数和对所述第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数，根据所述第三参数对所述第四网络模型进行训练，得到所述目标网络模型。
在一些实施例中，所述计算模块3具体用于，根据泰勒展开的分块剪枝算法计算所述第一网络模型中每一卷积层的梯度值和输出特征值，将所述梯度值和所述输出特征值的乘积确定为所述初始剪枝优化函数。
在一些实施例中，所述优化模块4具体用于，根据所述加权系数对所述初始剪枝优化函数进行加权处理，响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对所述加权处理后的剪枝优化函数进行调整，得到所述目标剪枝函数，其中，所述目标剪枝函数对应的通道数量为偶数。
根据本公开实施例的另一个方面，本公开实施例还提供了一种数据处理方法。
请参阅图8，图8为本公开实施例的数据处理方法的流程示意图。
如图8所示，该方法包括：
S81：将获取到的样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型。
在本公开实施例中，对样本数据的类型不做限定。如，样本数据的类型可以为如图1所示的应用场景中的边界线的样本数据，或者标志牌的样本数据，样本数据的类型还可以为对人体进行识别(如人脸识别)的样本数据，或者对车辆进行识别的样本数据，或者对语句进行分析(如人机交互时的语义分析等)的样本数据，等等。也就是说，样本数据可以基于应用场景和/或数据处理需求进行设定。
其中，样本数据可以从本地服务器中获取，也可以通过通信链路从云端服务器中获取，当然，也可以为接收人工输入的样本数据，等等。
S82：根据泰勒展开的分块剪枝策略计算第一网络模型的初始剪枝优化函数。
S83：根据预设的第一网络模型的每一卷积层的加权系数对初始剪枝优化函数进行优化处理，得到目标剪枝函数。
S84：根据目标剪枝函数和第一网络模型生成目标网络模型。
基于上述示例可知，样本数据的类型可基于应用场景和/或数据处理需求进行设定，不同类型的样本数据生成不同的目标网络模型。如，通过上述方案对边界线的样本数据进行训练，生成与边界线对应的目标网络模型，基于该目标网络模型，可以实现对边界线的识别，进而实现自动驾驶；同理，通过上述方案对语句进行分析的样本数据进行训练，生成相应的目标网络模块，基于该目标网络模型，可以实现对语句的分析(包括但限于语句切割和分析)，进而实现交互或信息反馈。
值得说明的上，上述示例只是示范性的说明，不能理解为对本公开实施例的范围的限定。
在一些实施例中，在生成目标网络模型之后，该方法还包括：
接收携带待调用网络模型的标识的待处理任务；
根据标识从目标网络模型中选取待调用网络模型；
根据待调用网络模型对待处理任务进行处理，并输出反馈结果。
基于上述示例可知，不同类型的样本数据对应不同类型的目标网络模型，可通过增加标识的方式对不同类型的目标网络模型进行区分。
在本公开实施中，待处理任务包括但不限于识别任务和分析任务。
在一些实施例中，若待处理任务为对边界线进行识别的任务(如自动驾驶的应用场景)，则基于标识从目标网络模型中确定与边界线识别对应的目标网络模型，并将该目标网络模型确定为待调用网络模型，并根据该待调用网络模型对边界线进行识别，得到识别结果，并根据识别结果生成反馈结果，以便基于该反馈结果控制自动驾驶的移动状态。
在另一些实施例中，若待处理任务为对语句进行分析任务(如人机交互的应用场景)，则基于标识从目标网络模型中确定与语句分析对应的目标网络模型，并将该目标网络模型确定为待调用网络模型，并根据该待调用网络模型对语句进行分析，得到分析结果，并根据分析结果生成反馈结果，以便基于该反馈结果输出交互信息。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解，在本公开各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种对象识别方法，其特征在于，所述方法包括：
从预设数据库中提取与第一对象对应的样本数据；
将所述样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
根据所述目标剪枝函数和所述第一网络模型生成目标网络模型；
接收第二对象发送的用于识别所述第一对象的识别请求；
根据所述目标网络模型对所述第一识别对象进行识别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标剪枝函数和所述第一网络模型生成目标网络模型包括：
根据所述目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型；
对所述第二网络模型进行正交初始化训练，得到所述目标网络模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述第二网络模型进行正交初始化训练，得到所述目标网络模型包括：
针对所述第二网络模型中的每一卷积层中的每一个卷积核，分别计算所述每一个卷积核与其他卷积核之间的相关性；
根据所述相关性对所述第二网络模型进行剪枝处理，得到第三网络模型；
根据对所述第二网络模型进行剪枝处理后剩下的第一参数对所述第三网络模型进行训练，得到第四网络模型；
将所述第一参数和对所述第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数；
根据所述第三参数对所述第四网络模型进行训练，得到所述目标网络模型。
4.根据权利要求1至3中任一项所述的方法，其特征在于，根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数包括：
根据泰勒展开的分块剪枝算法计算所述第一网络模型中每一卷积层的梯度值和输出特征值；
将所述梯度值和所述输出特征值的乘积确定为所述初始剪枝优化函数。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数包括：
根据所述加权系数对所述初始剪枝优化函数进行加权处理；
响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对所述加权处理后的剪枝优化函数进行调整，得到所述目标剪枝函数，其中，所述目标剪枝函数对应的通道数量为偶数。
6.一种对象识别装置，其特征在于，所述装置包括：
提取模块，用于从预设数据库中提取与第一对象对应的样本数据；
训练模块，用于将所述样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
计算模块，用于根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
优化模块，用于根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
生成模块，用于根据所述目标剪枝函数和所述第一网络模型生成目标网络模型；
接收模块，用于接收第二对象发送的用于识别所述第一对象的识别请求；
识别模块，用于根据所述目标网络模型对所述第一识别对象进行识别。
7.根据权利要求6所述的装置，其特征在于，所述生成模块具体用于，根据所述目标剪枝函数对所述第一网络模型进行剪枝处理，得到第二网络模型，对所述第二网络模型进行正交初始化训练，得到所述目标网络模型。
8.根据权利要求6所述的装置，其特征在于，所述生成模块具体用于，针对所述第二网络模型中的每一卷积层中的每一个卷积核，分别计算所述每一个卷积核与其他卷积核之间的相关性，根据所述相关性对所述第二网络模型进行剪枝处理，得到第三网络模型，根据对所述第二网络模型进行剪枝处理后剩下的第一参数对所述第三网络模型进行训练，得到第四网络模型，将所述第一参数和对所述第二网络模型进行剪枝处理对应的第二参数进行正交初始化，得到第三参数，根据所述第三参数对所述第四网络模型进行训练，得到所述目标网络模型。
9.根据权利要求6至8中任一项所述的装置，其特征在于，所述计算模块具体用于，根据泰勒展开的分块剪枝算法计算所述第一网络模型中每一卷积层的梯度值和输出特征值，将所述梯度值和所述输出特征值的乘积确定为所述初始剪枝优化函数。
10.根据权利要求6至8中任一项所述的装置，其特征在于，所述优化模块具体用于，根据所述加权系数对所述初始剪枝优化函数进行加权处理，响应于加权处理后的剪枝优化函数对应的通道数量为奇数，则基于预设阈值对所述加权处理后的剪枝优化函数进行调整，得到所述目标剪枝函数，其中，所述目标剪枝函数对应的通道数量为偶数。
11.一种数据处理方法，其特征在于，所述方法包括：
将获取到的样本数据输入至预设的被赋予了初始网络参数的初始网络模型进行训练，得到第一网络模型；
根据泰勒展开的分块剪枝策略计算所述第一网络模型的初始剪枝优化函数；
根据预设的所述第一网络模型的每一卷积层的加权系数对所述初始剪枝优化函数进行优化处理，得到目标剪枝函数；
根据所述目标剪枝函数和所述第一网络模型生成目标网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912198.3A CN112560881B (zh) | 2019-09-25 | 2019-09-25 | 对象识别方法和装置、数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912198.3A CN112560881B (zh) | 2019-09-25 | 2019-09-25 | 对象识别方法和装置、数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560881A true CN112560881A (zh) | 2021-03-26 |
| CN112560881B CN112560881B (zh) | 2024-04-19 |
Family
ID=75029303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910912198.3A Active CN112560881B (zh) | 2019-09-25 | 2019-09-25 | 对象识别方法和装置、数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560881B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537492A (zh) * | 2021-07-19 | 2021-10-22 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113642710A (zh) * | 2021-08-16 | 2021-11-12 | 北京百度网讯科技有限公司 | 一种网络模型的量化方法、装置、设备和存储介质 |
| CN114358254A (zh) * | 2022-01-05 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 模型处理方法以及相关产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000010953A (ja) * | 1998-06-23 | 2000-01-14 | Hitachi Ltd | 問題解決装置 |
| CN102662959A (zh) * | 2012-03-07 | 2012-09-12 | 南京邮电大学 | 利用空间混合索引机制检测钓鱼网页的方法 |
| JP2014089246A (ja) * | 2012-10-29 | 2014-05-15 | Kddi Corp | パターン認識方法および装置ならびにパターン認識プログラムおよびその記録媒体 |
| CN105868467A (zh) * | 2016-03-28 | 2016-08-17 | 南京航空航天大学 | 一种动稳态航空发动机机载模型构建方法 |
| US9613439B1 (en) * | 2015-10-16 | 2017-04-04 | The United States Of America, As Represented By The Secretary Of The Navy | System and method for a hierarchical Bayesian-map approach for solving inverse problems |
| US20180114114A1 (en) * | 2016-10-21 | 2018-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
| CN108229533A (zh) * | 2017-11-22 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法、模型剪枝方法、装置及设备 |
| CN109671020A (zh) * | 2018-12-17 | 2019-04-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| US20190130218A1 (en) * | 2017-11-01 | 2019-05-02 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
-
2019
- 2019-09-25 CN CN201910912198.3A patent/CN112560881B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000010953A (ja) * | 1998-06-23 | 2000-01-14 | Hitachi Ltd | 問題解決装置 |
| CN102662959A (zh) * | 2012-03-07 | 2012-09-12 | 南京邮电大学 | 利用空间混合索引机制检测钓鱼网页的方法 |
| JP2014089246A (ja) * | 2012-10-29 | 2014-05-15 | Kddi Corp | パターン認識方法および装置ならびにパターン認識プログラムおよびその記録媒体 |
| US9613439B1 (en) * | 2015-10-16 | 2017-04-04 | The United States Of America, As Represented By The Secretary Of The Navy | System and method for a hierarchical Bayesian-map approach for solving inverse problems |
| CN105868467A (zh) * | 2016-03-28 | 2016-08-17 | 南京航空航天大学 | 一种动稳态航空发动机机载模型构建方法 |
| US20180114114A1 (en) * | 2016-10-21 | 2018-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
| US20190130218A1 (en) * | 2017-11-01 | 2019-05-02 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
| CN108229533A (zh) * | 2017-11-22 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法、模型剪枝方法、装置及设备 |
| CN109671020A (zh) * | 2018-12-17 | 2019-04-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537492A (zh) * | 2021-07-19 | 2021-10-22 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113537492B (zh) * | 2021-07-19 | 2024-04-26 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN113642710A (zh) * | 2021-08-16 | 2021-11-12 | 北京百度网讯科技有限公司 | 一种网络模型的量化方法、装置、设备和存储介质 |
| CN113642710B (zh) * | 2021-08-16 | 2023-10-31 | 北京百度网讯科技有限公司 | 一种网络模型的量化方法、装置、设备和存储介质 |
| CN114358254A (zh) * | 2022-01-05 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 模型处理方法以及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560881B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10402627B2 (en) | Method and apparatus for determining identity identifier of face in face image, and terminal | |
| CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| CN110633745B (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN111414987B (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| CN112560881A (zh) | 对象识别方法和装置、数据处理方法 | |
| CN112149705A (zh) | 分类模型的训练方法、系统、计算机设备及存储介质 | |
| CN112101547B (zh) | 一种对网络模型的剪枝方法、装置、电子设备及存储介质 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN112149825A (zh) | 神经网络模型的训练方法及装置、电子设备、存储介质 | |
| CN112258557A (zh) | 一种基于空间注意力特征聚合的视觉跟踪方法 | |
| CN114358278A (zh) | 神经网络模型的训练方法及装置 | |
| CN111950579A (zh) | 分类模型的训练方法和训练装置 | |
| CN114091597A (zh) | 基于自适应组样本扰动约束的对抗训练方法、装置及设备 | |
| KR20220058189A (ko) | 뉴럴 네트워크를 이용한 분류 방법 및 장치 | |
| CN113837253B (zh) | 一种单步对抗训练方法、系统、设备、存储介质及产品 | |
| EP3910549A1 (en) | System and method for few-shot learning | |
| CN110263196B (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| US20110093419A1 (en) | Pattern identifying method, device, and program | |
| CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 | |
| US11080193B2 (en) | Method for improving the execution time of a computer application | |
| CN112446428A (zh) | 一种图像数据处理方法及装置 | |
| CN112200488A (zh) | 针对业务对象的风险识别模型训练方法及装置 | |
| CN113052314B (zh) | 一种认证半径引导攻击方法、优化训练方法及系统 | |
| CN113362372B (zh) | 一种单目标追踪方法及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |