CN108256646A - 模型生成方法和装置 - Google Patents

模型生成方法和装置 Download PDF

Info

Publication number
CN108256646A
CN108256646A CN201810059365.XA CN201810059365A CN108256646A CN 108256646 A CN108256646 A CN 108256646A CN 201810059365 A CN201810059365 A CN 201810059365A CN 108256646 A CN108256646 A CN 108256646A
Authority
CN
China
Prior art keywords
target nerve
network
cut
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810059365.XA
Other languages
English (en)
Inventor
张刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810059365.XA priority Critical patent/CN108256646A/zh
Publication of CN108256646A publication Critical patent/CN108256646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了模型生成方法和装置。该方法的一具体实施方式包括：创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到目标神经网络；通过训练操作对目标神经网络进行训练，得到目标模型。实现了通过对创建的与用于生成原始模型的原始神经网络结构相同的神经网络的部分层的结构进行裁剪，得到占用的存储空间较小的目标神经网络，利用原始模型的输出层的输出对目标神经网络进行训练，得到目标模型。减少了构建占用的存储空间较小的目标神经网络的开销以及减少了为使得最后得到的存储空间较小的目标模型达到精度阈值所需的训练开销。

Description

模型生成方法和装置
技术领域
本申请涉及计算机领域，具体涉及神经网络领域，尤其涉及模型生成方法和装置。
背景技术
神经网络被广泛应用在图像识别、语音识别、搜索等领域。训练后的达到一定精度的可被应用的神经网络也可以称之为模型。神经网络的结构越小，占用的存储空间越少。目前，当一个模型运行在存储空间较小的终端设备上时，通常采用的方式为构建一个结构较小的神经网络，对构建的结构较小的神经网络进行初始化后开始进行训练，最后得到结构较小的模型。神经网络占用的存储空间越少，为使最后得到的模型达到精度阈值所需的训练开销越大。
发明内容
本申请实施例提供了模型生成方法和装置。
第一方面，本申请实施例提供了模型生成方法，该方法包括：创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
第二方面，本申请实施例提供了模型生成装置，该装置包括：处理单元，配置用于创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；训练单元，配置用于通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
本申请实施例提供的模型生成方法和装置，通过创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。实现了通过对创建的与用于生成原始模型的原始神经网络结构相同的神经网络的部分层的结构进行裁剪，得到占用的存储空间较小的目标神经网络，利用原始模型的输出层的输出对目标神经网络进行训练，得到占用的存储空间较小的精度达到精度阈值的目标模型。减少了构建占用的存储空间较小的目标神经网络的开销以及减少了为使得最后得到的存储空间较小的目标模型达到精度阈值所需的训练开销。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了可以应用本申请的模型生成方法的示例性系统架构；
图2示出了根据本申请的模型生成方法的一个实施例的流程图；
图3示出了根据本申请的模型生成装置的一个实施例的结构示意图；
图4示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了可以应用本申请的方法的示例性系统架构。
如图1所示，系统架构可以包括终端设备101、网络102、服务器103。网络102可以为无线通信网络或有线通信网络。
服务器103可以运行有占用存储空间较大并且精度较高的原始模型，例如，服务器103运行的原始模型为占用存储空间较大并且精度较高的人脸识别模型，该人脸识别模型通过对一个卷积神经网络进行训练而得到。
服务器103可以对创建的与用于生成原始模型的原始神经网络结构相同的神经网络的部分层的结构进行裁剪，得到占用的存储空间较小的目标神经网络，利用原始模型的输出层的输出对该目标神经网络进行训练，得到精度达到精度阈值的占用的存储空间较小的目标模型，将精度达到精度阈值的占用的存储空间较小的目标模型发送至终端设备101。精度阈值可以设置为与原始模型的精度的差值小于差值阈值。
例如，终端设备101为运行人脸识别模型的闸机，服务器103可以对创建的与用于生成原始模型的卷积神经网络结构相同的一个卷积神经网络的部分中间层的结构进行裁剪，得到目标神经网络，对该目标神经网络进行训练，得到一个占用存储空间较小的精度达到阈值的作为目标模型的人脸识别模型，服务器103将该占用存储空间较小的作为目标模型的人脸识别模型发送至终端设备101，在终端设备101上运行该占用存储空间较小的作为目标模型的人脸识别模型。
请参考图2，其示出了根据本申请的模型生成方法的一个实施例的流程。需要说明的是，本申请实施例所提供的模型生成方法可以由服务器(例如图1中的服务器103)执行。该方法包括以下步骤：
步骤201，创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的部分层的结构分别进行裁剪。
在本实施例中，神经网络的输入层和输出层之间的每一层均可以称之为中间层。原始模型通过预先对用于生成原始模型的原始神经网络进行训练而生成。为了生成原始模型对应的目标模型，需要首先得到用于生成目标模型的目标神经网络。可以首先创建一个与原始神经网络的结构相同的神经网络，原始神经网络包含多个层，创建的与原始神经网络的结构相同的神经网络中也包含多个层。
在本实施例中，可以从创建的神经网络的所有中间层中选取出多个待裁剪的中间层，对创建的神经网络的选取出的多个待裁剪的中间层中的每一个待裁剪的中间层的结构分别进行裁剪，得到目标神经网络。
例如，在对创建的神经网络的选取出的多个待裁剪的中间层中的每一个待裁剪的中间层的结构分别进行裁剪时，可以分别去除选取出的多个待裁剪的中间层中的每一个待裁剪的中间层中的预设比例的参数。
在本实施例中，目标神经网络包括：创建的神经网络的输入层、输出层、创建的神经网络的未被裁剪的中间层、创建的神经网络的待裁剪的中间层被裁剪后得到的层。
在本实施例的一些可选的实现方式中，原始神经网络和目标神经网络的类型可以均为卷积神经网络。创建的神经网络的类型也为卷积神经网络。从创建的神经网络的所有中间层中选取出的多个待裁剪的中间层均可以为创建的卷积神经网络中的卷积层。换言之，原始神经网络为一个卷积神经网络，创建的神经网络为一个与作为原始神经网络的卷积神经网络的结构相同的卷积神经网络，从创建的卷积神经网络中选取出多个卷积层作为待裁剪的层。
在本实施例的一些可选的实现方式中，在从创建的神经网络中选取出多个待裁剪的中间层时，可以从创建的神经网络的预设中间层与创建的神经网络的输出层之间的所有中间层中选取出多个待裁剪的中间层。换言之，不对靠近创建的神经网络的输入层的预设数量的中间层的结构进行裁剪。
以原始神经网络和目标神经网络的类型均为卷积神经网络为例，创建的神经网络为一个与作为原始神经网络的卷积神经网络的结构相同的卷积神经网络，可以分别从创建的卷积神经网络中的预设中间层与输出层之间的所有中间层中选取出多个待裁剪的卷积层，分别对多个待裁剪卷积层中的每一个待裁剪的卷积层的结构进行裁剪。例如，分别去除多个待裁剪的卷积层中的每一个待裁剪的卷积层中的预设比例的参数。
在本实施例的一些可选的实现方式中，当原始神经网络和目标神经网络的类型均为卷积神经网络时，创建的神经网络为一个与作为原始神经网络的卷积神经网络的结构相同的卷积神经网络，在分别对多个待裁剪卷积层中的每一个待裁剪的卷积层的结构进行裁剪时，可以分别去除创建的卷积神经网络的多个被裁剪的卷积层中的每一个待裁剪的卷积层中的预设比例的卷积核，从而，对创建的卷积神经网络的多个被裁剪的卷积层中的每一个待裁剪的卷积层的结构进行裁剪，得到一个作为目标神经网络的卷积神经网络。
步骤202，通过训练操作对目标神经网络进行训练，得到目标模型。
在本实施例中，对于目标神经网络的每一个训练样本，分别执行一次训练操作。通过一次训练操作完成利用一个训练样本对目标神经网络的一次训练。经过多次训练后精度达到精度阈值的目标神经网络可以作为目标模型。
在本实施例中，由于目标模型的结构是通过对原始模型中的多个待裁剪的中间层的结构进行裁剪得到，因此，通过训练操作对目标神经网络进行训练，得到目标模型可以相当于对原始模型进行了压缩，得到占用的存储空间小于原始模型的占用的存储空间较小的目标模型。
在本实施例中，在一次训练操作中，可以首先将目标神经网络的一个训练样本分别输入到原始模型和目标神经网络，得到原始模型的输出向量和目标神经网络的输出向量。然后，可以利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数。损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
在本实施例中，在一次训练操作中，更新的目标神经网络的中间层中的参数可以为目标神经网络中的选取出的待更新参数值的中间层中的参数。例如，选取出的多个待更新参数值的中间层为层次序邻近目标神经网络的输出层的层次序的多个中间层。
在利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数时，可以计算出使得损失函数的函数值最小的梯度信息，梯度信息包括：目标神经网络的输出层中的每一个参数的梯度、选取出的每一个待更新中间层中的每一个参数的梯度。可以根据目标神经网络的输出层中的每一个参数的梯度，采用梯度下降算法对目标神经网络的输出层中的每一个参数的参数值分别进行更新。可以根据选取出的每一个待更新中间层中的每一个参数的梯度，采用梯度下降算法对选取出的每一个待更新中间层中的每一个参数的参数值分别进行更新。
在本实施例的一些可选的实现方式中，在一次训练操作中，更新的目标神经网络的中间层中的参数可以为目标神经网络中的每一个中间层中的参数。可以计算出使得损失函数的函数值最小的梯度信息，该梯度信息包括：目标神经网络的输出层中的每一个参数的梯度、目标神经网络的每一个中间层中的每一个参数的梯度。可以根据目标神经网络的输出层中的每一个参数的梯度，采用梯度下降算法对目标神经网络的输出层中的每一个参数的参数值分别进行更新。可以根据目标神经网络的目标神经网络的每一个中间层中的每一个参数的梯度，采用梯度下降算法对目标神经网络的目标神经网络的每一个中间层中的每一个参数的参数值进行更新。
请参考图3，作为对上述各图所示方法的实现，本申请提供了一种模型生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应。
如图3所示，本实施例的模型生成装置包括：处理单元301，训练单元302。其中，处理单元301配置用于创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；训练单元302配置用于通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
在本实施例的一些可选的实现方式中，多个待裁剪的中间层中的每一个待裁剪的中间层均为处于创建的神经网络的预设中间层与创建的神经网络的输出层之间的中间层，所述预设中间层的层次序为创建的神经网络的输入层的层次序与层数阈值之和。
在本实施例的一些可选的实现方式中，训练单元包括：更新子单元，配置用于计算出使得损失函数的函数值最小的梯度信息，所述梯度信息包括：目标神经网络的输出层中的参数的梯度、目标神经网络的每一个中间层中的参数的梯度；采用梯度下降算法基于所述梯度信息，更新目标神经网络的输出层中的参数的参数值和目标神经网络的每一个中间层中的参数的参数值。
在本实施例的一些可选的实现方式中，原始神经网络和目标神经网络的类型均为卷积神经网络。
在本实施例的一些可选的实现方式中，多个待裁剪的中间层中的每一个中间层均为卷积层。
在本实施例的一些可选的实现方式中，处理单元包括：裁剪子单元，配置用于对于创建的神经网络的多个待裁剪的中间层中的每一个待裁剪的中间层，去除待裁剪的中间层中的预设比例的卷积核。
图4示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
如图4所示，计算机系统包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有计算机系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：输入部分406；输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，本申请的实施例中描述的过程可以被实现为计算机程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包括用于执行流程图所示的方法的指令。该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。
本申请还提供了一种服务器，该服务器可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包含用以执行上述步骤201-202中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述步骤201-202中描述的操作。
本申请还提供了一种计算机可读介质，该计算机可读介质可以是服务器中所包括的；也可以是单独存在，未装配入服务器中。上述计算机可读介质承载有一个或者多个程序，当一个或者多个程序被服务器执行时，使得服务器：创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括处理单元，训练单元。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种模型生成方法，包括：
创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；
通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
2.根据权利要求1所述的方法，多个待裁剪的中间层中的每一个待裁剪的中间层均为处于创建的神经网络的预设中间层与创建的神经网络的输出层之间的中间层，所述预设中间层的层次序为创建的神经网络的输入层的层次序与层数阈值之和。
3.根据权利要求2所述的方法，利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数包括：
计算出使得损失函数的函数值最小的梯度信息，所述梯度信息包括：目标神经网络的输出层中的参数的梯度、目标神经网络的每一个中间层中的参数的梯度；
采用梯度下降算法基于所述梯度信息，更新目标神经网络的输出层中的参数的参数值和目标神经网络的每一个中间层中的参数的参数值。
4.根据权利要求1-3之一所述的方法，原始神经网络和目标神经网络的类型均为卷积神经网络。
5.根据权利要求4所述的方法，多个待裁剪的中间层中的每一个中间层均为卷积层。
6.根据权利要求5所述的方法，对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪包括：
对于创建的神经网络的多个待裁剪的中间层中的每一个待裁剪的中间层，去除待裁剪的中间层中的预设比例的卷积核。
7.一种模型生成装置，包括：
处理单元，配置用于创建与用于生成原始模型的原始神经网络的结构相同的神经网络，以及对创建的神经网络的多个待裁剪的中间层的结构分别进行裁剪，得到用于生成原始模型对应的目标模型的目标神经网络；
训练单元，配置用于通过训练操作对所述目标神经网络进行训练，得到所述目标模型，所述训练操作包括：将目标神经网络的训练样本分别输入到原始模型和目标神经网络；利用损失函数更新目标神经网络的输出层中的参数和目标神经网络的中间层中的参数，其中，所述损失函数用于计算原始模型的输出向量和目标神经网络的输出向量的差异。
8.根据权利要求7所述的装置，多个待裁剪的中间层中的每一个待裁剪的中间层均为处于创建的神经网络的预设中间层与创建的神经网络的输出层之间的中间层，所述预设中间层的层次序为创建的神经网络的输入层的层次序与层数阈值之和。
9.根据权利要求8所述的装置，训练单元包括：
更新子单元，配置用于计算出使得损失函数的函数值最小的梯度信息，所述梯度信息包括：目标神经网络的输出层中的参数的梯度、目标神经网络的每一个中间层中的参数的梯度；采用梯度下降算法基于所述梯度信息，更新目标神经网络的输出层中的参数的参数值和目标神经网络的每一个中间层中的参数的参数值。
10.根据权利要求7-9之一所述的装置，原始神经网络和目标神经网络的类型均为卷积神经网络。
11.根据权利要求10所述的装置，多个待裁剪的中间层中的每一个中间层均为卷积层。
12.根据权利要求11所述的装置，处理单元包括：
裁剪子单元，配置用于对于创建的神经网络的多个待裁剪的中间层中的每一个待裁剪的中间层，去除待裁剪的中间层中的预设比例的卷积核。
13.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810059365.XA 2018-01-22 2018-01-22 模型生成方法和装置 Pending CN108256646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810059365.XA CN108256646A (zh) 2018-01-22 2018-01-22 模型生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810059365.XA CN108256646A (zh) 2018-01-22 2018-01-22 模型生成方法和装置

Publications (1)

Publication Number Publication Date
CN108256646A true CN108256646A (zh) 2018-07-06

Family

ID=62741684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810059365.XA Pending CN108256646A (zh) 2018-01-22 2018-01-22 模型生成方法和装置

Country Status (1)

Country Link
CN (1) CN108256646A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146064A (zh) * 2018-09-05 2019-01-04 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN110322055A (zh) * 2019-06-18 2019-10-11 阿里巴巴集团控股有限公司 一种提高数据风险模型评分稳定性的方法和系统
CN110363810A (zh) * 2019-06-14 2019-10-22 北京百度网讯科技有限公司 建立图像检测模型的方法、装置、设备和计算机存储介质
CN111325311A (zh) * 2018-12-14 2020-06-23 深圳云天励飞技术有限公司 神经网络模型生成方法、装置、电子设备及存储介质
CN111523640A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111967583A (zh) * 2020-08-13 2020-11-20 北京嘀嘀无限科技发展有限公司 压缩神经网络的方法、装置、设备和介质
CN111985644A (zh) * 2020-08-28 2020-11-24 北京市商汤科技开发有限公司 神经网络生成方法及装置、电子设备及存储介质
CN113190872A (zh) * 2021-05-28 2021-07-30 脸萌有限公司 数据保护方法、网络结构训练方法、装置、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751842A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的优化方法及系统
CN106156744A (zh) * 2016-07-11 2016-11-23 西安电子科技大学 基于cfar检测与深度学习的sar目标检测方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN106846364A (zh) * 2016-12-30 2017-06-13 明见（厦门）技术有限公司 一种基于卷积神经网络的目标跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751842A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的优化方法及系统
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN106156744A (zh) * 2016-07-11 2016-11-23 西安电子科技大学 基于cfar检测与深度学习的sar目标检测方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN106846364A (zh) * 2016-12-30 2017-06-13 明见（厦门）技术有限公司 一种基于卷积神经网络的目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN-HAO LUO 等，: "An Entropy-based Pruning Method for CNN Compression", 《ARXIV》 *
NIANGE YU 等，: "Accelerating Convolutional Neural Networks by Group-wise 2D-filter Pruning", 《2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
吴娱 等，: "《数字图像处理》", 31 October 2017, 北京邮电大学出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146064A (zh) * 2018-09-05 2019-01-04 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN109146064B (zh) * 2018-09-05 2023-07-25 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN111325311A (zh) * 2018-12-14 2020-06-23 深圳云天励飞技术有限公司 神经网络模型生成方法、装置、电子设备及存储介质
CN110363810A (zh) * 2019-06-14 2019-10-22 北京百度网讯科技有限公司 建立图像检测模型的方法、装置、设备和计算机存储介质
CN110363810B (zh) * 2019-06-14 2021-07-16 北京百度网讯科技有限公司 建立图像检测模型的方法、装置、设备和计算机存储介质
CN110322055A (zh) * 2019-06-18 2019-10-11 阿里巴巴集团控股有限公司 一种提高数据风险模型评分稳定性的方法和系统
CN110322055B (zh) * 2019-06-18 2024-02-09 创新先进技术有限公司 一种提高数据风险模型评分稳定性的方法和系统
CN111523640A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111523640B (zh) * 2020-04-09 2023-10-31 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111967583A (zh) * 2020-08-13 2020-11-20 北京嘀嘀无限科技发展有限公司 压缩神经网络的方法、装置、设备和介质
CN111985644A (zh) * 2020-08-28 2020-11-24 北京市商汤科技开发有限公司 神经网络生成方法及装置、电子设备及存储介质
CN111985644B (zh) * 2020-08-28 2024-03-08 北京市商汤科技开发有限公司 神经网络生成方法及装置、电子设备及存储介质
CN113190872A (zh) * 2021-05-28 2021-07-30 脸萌有限公司 数据保护方法、网络结构训练方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
CN108256646A (zh) 模型生成方法和装置
CN108038546B (zh) 用于压缩神经网络的方法和装置
CN107273503A (zh) 用于生成同语言平行文本的方法和装置
CN108683539A (zh) 区块链网络的管理方法、装置、介质及电子设备
CN110807515A (zh) 模型生成方法和装置
CN107919129A (zh) 用于控制页面的方法和装置
CN108446387A (zh) 用于更新人脸注册库的方法和装置
CN107168952A (zh) 基于人工智能的信息生成方法和装置
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN108734293A (zh) 任务管理系统、方法和装置
CN110188235A (zh) 音乐风格分类方法、装置、计算机设备及存储介质
CN107316083A (zh) 用于更新深度学习模型的方法和装置
CN107608970A (zh) 词性标注模型生成方法和装置
CN108280513A (zh) 模型生成方法和装置
CN107770783B (zh) 一种基站扩容改造方案设计方法及相关设备
CN109993298A (zh) 用于压缩神经网络的方法和装置
CN109223002A (zh) 自闭症患病预测方法、装置、设备及存储介质
CN109685805A (zh) 一种图像分割方法及装置
CN109255814A (zh) 用于处理图像的方法和装置
CN106169961A (zh) 基于人工智能的神经网络的网络参数处理方法及装置
CN106875262A (zh) 用于订单处理的方法、装置和计算机可读存储介质
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
CN110309946A (zh) 物流路径规划方法及装置、计算机可读介质以及物流系统
CN107680587A (zh) 声学模型训练方法和装置
CN108196943A (zh) 虚拟机管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706