CN106326939A - 卷积神经网络的参数优化方法及系统 - Google Patents

卷积神经网络的参数优化方法及系统 Download PDF

Info

Publication number
CN106326939A
CN106326939A CN201610795257.XA CN201610795257A CN106326939A CN 106326939 A CN106326939 A CN 106326939A CN 201610795257 A CN201610795257 A CN 201610795257A CN 106326939 A CN106326939 A CN 106326939A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
layer
convolutional
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610795257.XA
Other languages
English (en)
Inventor
谌璟
宁迪浩
孙庆新
关艳峰
梁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neighbour Science And Technology Ltd Of Shenzhen's Promise
Original Assignee
Neighbour Science And Technology Ltd Of Shenzhen's Promise
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neighbour Science And Technology Ltd Of Shenzhen's Promise filed Critical Neighbour Science And Technology Ltd Of Shenzhen's Promise
Priority to CN201610795257.XA priority Critical patent/CN106326939A/zh
Publication of CN106326939A publication Critical patent/CN106326939A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络的参数优化方法，所述卷积神经网络的参数优化方法包括以下步骤：构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；将卷积神经网络训练为全浮点型网络以得到浮点型权值；将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。本发明还公开了一种卷积神经网络的参数优化系统。本发明的技术方案可以有效避免卷积神经网络的权值数据量巨大导致的浪费计算资源的弊端。

Description

卷积神经网络的参数优化方法及系统
技术领域
本发明涉及机器学习(Machine Learning，ML)和人工智能(ArtificialIntelligence，AI)技术领域，尤其涉及一种卷积神经网络(Convolutional NeuralNetwork，CNN)的参数优化方法及系统。
背景技术
深度学习(Deep Learning，DL)是模拟人脑的思维方式和处理问题的方法。人脑的计算神经元数量是百亿量级，即使是一个“小型”的CNN所需要的计算也非常庞大，而且几乎所有的深度学习网络均运行在CPU(或CPU集群)，或GPU(或GPU集群)硬件平台之上，所需要的硬件资源非常巨大，导致成本和功耗都非常大，运行速度缓慢，很多CNN在高性能的芯片平台上运行时也只能达到几帧/每秒的速度，无法进行实时处理。
CNN的权值为浮点型数据，随着CNN层数的增加，浮点型权值的数据会达到几百兆比特甚至超过千兆比特，这样量级的数据参与实时运算，消耗的计算资源非常巨大，例如，如果采用FPGA来作为CPU，那么需要几千万门级别的FPGA才有可能，这样的FPGA成本非常高。
上述技术方案的弊端是，卷积神经网络的权值数据量巨大，浪费计算资源。
发明内容
本发明的主要目的在于提供一种卷积神经网络的参数优化方法，旨在避免卷积神经网络的权值数据量巨大导致的浪费计算资源的弊端。
为实现上述目的，本发明提供的卷积神经网络的参数优化方法包括以下步骤：
构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
将卷积神经网络训练为全浮点型网络以得到浮点型权值；
将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
先将所述卷积层中的所述浮点型权值训练成二值型权值；再将所述全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
先将最底层的所述卷积层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述卷积层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
先将最底层的所述全连接层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
将全部的所述卷积层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
将全部的所述卷积层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
优选地，所述构建卷积神经网络进一步包括：
将所述卷积神经网络的所述图像输入层的输入为如下之一：灰度图像、彩色图像的R、G、B三通道图像、彩色图像的Y、U、V三通道图像、彩色图像的H、S、V三通道图像。
此外，为实现上述目的，本发明还提供一种卷积神经网络的参数优化系统，包括：
卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
浮点型权值处理模块，用于将卷积神经网络训练为全浮点型网络以得到浮点型权值；
二值训练模块，用于将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
优选地，所述卷积神经网络的参数优化系统还包括：
中间操作模块，用于将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
在本发明的技术方案中，先将卷积神经网络训练为全浮点型网络以得到浮点型权值，再将所述浮点型权值训练成二值型权值，包括将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值，将所述卷积层和/或所述全连接层中的所述浮点型权值训练为所述二值权值，可有效降低权值数据量和计算量，避免卷积神经网络的权值数据量巨大导致的浪费计算资源的弊端。
附图说明
图1为本发明卷积神经网络的参数优化方法一实施例的流程示意图；
图2为本发明卷积神经网络的参数优化方法另一实施例的参数优化示意图；
图3为本发明卷积神经网络的参数优化系统一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种卷积神经网络的参数优化方法，参照图1，在一实施例中，该卷积神经网络的参数优化方法包括以下步骤：
步骤S10，构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
具体的，所述卷积神经网络可以根据处理需要构建，本实施例构建的所述卷积神经网络用于人脸特征点定位，其包括：一个图像处理层，四个卷积层(其中，包括三个共享权值卷积层及一个非共享权值卷积层)，三个激活层和三个池化层，以及一个全连接输出层；相邻两所述卷积层之间设有一个激活层和一个池化层，一般图像处理的流程是先经过经过激活层，然后经过池化层。
在本实施例中，由于只有一个全连接层，因此所述全连接层即为输出层。
在本实施例中，所述激活层用于将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，并将激活后的结果作为下一所述卷积层的输入。需要说明，在有些卷积神经网络中，最顶层的卷积层之后也会加入一个激活层，即每个卷积层之后都会有一个激活层。
所述卷积神经网络还可以包括多个池化层，每个所述池化层设于两所述卷积层之间，且在两所述卷积层的激活层之后，激活操作的结果作为池化层的输入，所述池化层可以有效节约处理器的计算资源、去除图像噪声和使得卷积神经网络具有平移不变性。需要强调，最顶层的卷积层之后一般不设置池化层。
所述卷积神经网络从图像输入层至全连接输出层，经过逐级变换。
所述输入层的像素为82×82像素。
步骤S20，将卷积神经网络训练为全浮点型网络以得到浮点型权值；
在进行二值训练前，先将所述卷积神经网络统一训练成所述浮点型权值。
步骤S30，将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
步骤S30有以下三种技术方案：
1、将所述卷积层中的所述浮点型权值训练成二值型权值；此种方案用于降低所述卷积层的权值数据量和计算量，从而所述卷积神经网络的权值数据量和计算量减少一部分，从而降低计算资源的要求，提升卷及神经网络的处理速度。
2、将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值；此种方案用于降低所述全连接层的权值数据量和计算量，从而所述卷积神经网络的权值数据量和计算量减少一部分，从而降低计算资源的要求，提升卷及神经网络的处理速度。
3、将所述卷积神经网络的卷积层和全连接层中的所述浮点型权值分别训练成二值型权值；此种方案用于降低所述卷积层和所述全连接层的权值数据量和计算量，从而所述卷积神经网络的权值数据量全面降低，从而降低计算资源的要求，提升卷及神经网络的处理速度。
在本发明的技术方案中，先将卷积神经网络训练为全浮点型网络以得到浮点型权值，再将所述浮点型权值训练成二值型权值，包括将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值，将所述卷积层和/或所述全连接层中的所述浮点型权值训练为所述二值权值，可有效降低权值数据量和计算量，避免卷积神经网络的权值数据量巨大导致的浪费计算资源的弊端。
由于所述卷积神经网络的权值数量大，例如几百吉比特，因此，将所述卷积神经网络训练为二值型权值，不仅能降低权值数据的数据量，降低传输时延和对存储器的需求，所述参数优化方法还能大大避免所述卷积神经网络收敛到局部最优解(即局部最优二值型权值)，在保证性能或者性能可接受的同时，大大提升了所述卷积神经网络的处理速度，使得所述卷积神经网络能够在嵌入式终端内运行。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
步骤S31(图未示)，先将所述卷积层中的所述浮点型权值训练成二值型权值；
步骤S32(图未示)，再将所述全连接层中的所述浮点型权值训练成二值型权值。
具体的，所述卷积神经网络的激活函数为绝对值正切函数。根据所述卷积神经网络的数据流向，先训练所述卷积层，再训练所述全连接层。
所述卷积层和所述全连接层具有不同的功能，先将所述卷积层训练成二值型权值，再将所述全连接层训练成二值型权值，是按照所述卷积神经网络的各层功能进行二值训练的方法。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
步骤S33(图未示)，先将最底层的所述卷积层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述卷积层中的所述浮点型权值训练成二值型权值。
具体的，所述卷积神经网络通常包括至少一个所述卷积层，从最底层的所述卷积层开始进行二值训练，依次对更高层的所述卷积层进行二值训练，符合所述卷积神经网络的数据流向。
底层的所述卷积层用于提取图像的局部特征，以人脸特征定位的所述卷积神经网络为例，底层的所述卷积层对应人脸图像的局部特征，如、多个底层的所述卷积层分别用于提取眼部特征，唇部特征、鼻部特征，并且底层的所述卷积层也可以对应人脸图像的边缘特征、结构特征或细节特征等。
顶层的所述卷积层用于将各个局部特征图像进行组合，例如，顶层的所述卷积层用于将眼部特征，唇部特征、鼻部特征组合形成人脸图像。
每个所述卷积层的权值数量并不是完全相等的。
优选地，所述将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
步骤S34(图未示)，先将最底层的所述全连接层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述全连接层中的所述浮点型权值训练成二值型权值。
具体的，所述卷积神经网络通常包括至少一个所述全连接层，从最底层的所述全连接层开始进行二值训练，依次对更高层的所述全连接层进行二值训练，符合所述卷积神经网络的数据流向。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
步骤S35(图未示)，将全部的所述卷积层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
具体的，分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值，均是按照所述卷积神经网络的数据流向执行二值训练过程。
由于每个所述卷积层的权值数量并不是完全相等的，因此，不能保证每个训练批次的权值数量相等，所述权值数量均匀是指使每个训练批次的权值数量所占的权重接近，以降低二值型权值陷入局部最优的概率。
在本实施例中，将全部的所述卷积层按照数据流向分配为权重最接近的若干个训练批次。
例如，第一层至第四层所述卷积层的权值数量分别为400、512、576及1152时，数据流向为从第一层逐层流向第四层。将全部的所述卷积层按照数据流向分配为权重最接近的训练批次是指，将第一层至第二层(权值总数量为1488)分配为同一训练批次，将第四层(权值总数量为1152)分配为同一训练批次，此时，两个训练批次的权重占比最接近，训练批次分配为最优。
若第四层的Map数为64，则第四层的权值为576，则可以分为四个训练批次，即每个卷积层作为一个批次，也可以将第一层和第二层(权值总数量为912)分配为同一训练批次，将第三层和第四层(权值总数量为1152)分配为同一训练批次，此时，两个训练批次的权重占比最接近，训练批次分配为最优。后续仍以第四层的输出Map为128为例来说明。
令全部的所述卷积层的总的权值数量为Mc，将Mc分为Tc次进行二值训练，将全部的所述卷积层分为权值数量均匀的若干个训练批次是指每次二值训练的权值数量近似相等，以降低二值型权值陷入局部最优的概率。
同样的，令全部的所述全连接层的总的权值数量为Mf，将Mf分成Tf次进行二值训练，将全部的所述全连接层分为权值数量均匀的若干个训练批次是指每次二值训练的权值数量近似相等，以降低二值型权值陷入局部最优的概率。
在本实施例中，为了便于分析，进行如下举例：
如图2所示，用于人脸特征点定位的所述卷积神经网络包括4个所述卷积层和1个所述全连接层，除最后一个所述卷积层外，每两个所述卷积层之间还包括所述激活层(图未示)和所述池化层。
图像输入层的输入图像为82*82的灰度图像，输出为51个人脸特征点的坐标，排列顺序为x1，x2，…x51，y1，y2，…y51，共102点，其中，xn表示第n个特征点的横坐标，yn表示第n个特征点的纵坐标。所述激活函数可以为绝对值正切函数。
本实施例的卷积神经网络参数如下表所示(图2中从左至右共九层，分别对应下表中的第1层至第9层)：
按照本实施例所述的将全部的所述卷积层分为权值数量均匀的若干个训练批次的方法，进行如下处理步骤：
计算全部的所述卷积层的权值数量Mc，Mc＝400+512+576+1152；
由于每一个所述卷积层的权值数量不同，为了使所述卷积层的每次二值训练的权值数量近似相等，在本实施例中，令Tc＝2，即将Mc个权值分为2次进行二值训练，即：先将第1个所述卷积层、第2个所述卷积层和第3个所述卷积层的1488个权值训练成二值型权值，例如1和-1(也可以为0和1)，然后将第4个所述卷积层的1152个权值训练为二值型权值。
在具体的处理过程中，如果每个卷积层的权值数量相差较大，例如超出一个数量级(10倍)时，就应注意保证每次训练的权值数量占权值总数量的比重尽量均匀或相当，这种处理方法有利于降低二值型权值陷入局部最优的概率，以得到全局最优解。
对所述全连接层的处理同样参照上述对所述卷积层的处理过程。由于本实施例中的所述全连接层只有一层，因此，可以将所述全连接层的所有权值一次训练为二值。
优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
步骤S36(图未示)，将全部的所述卷积层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
具体的，由于所述卷积层和所述全连接层的功能不同，因此，将全部的所述卷积层单独进行二值训练，将全部的所述全连接层进行二值训练，体现了二值训练的外部功能划分。
对于卷积层内部而言，每一层的所述卷积层功能存在不同，例如，底层的所述卷积层用于进行局部特征、结构特征、边缘特征或细节特征等提取，顶层的所述卷积层用于进行组合图像特征，因此，可以先对功能不同的底层卷积层二值训练，再对功能不同的顶层卷积层进行二值训练。
对于全连接层内部而言，可以参照上述方法分步将全部的所述全连接层中的所述浮点型权值训练成二值型权值。
请参照图2，优选地，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
步骤S37(图未示)，将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
当所述卷积神经网络还包括多个池化层时，还可以对将除最顶层的所述卷积层之外的每个所述卷积层的激活操作输出结果进行池化操作以节约计算资源。每个所述卷积层的输出结果进行激活操作和池化操作后，处理结果继续输入至下一所述卷积层。
池化处理过程可以降低运算量，扩大感受野，保持网络的平移不变性。
在本实施例中，所述卷积神经网络的处理步骤如下(每两个所述卷积层之间还包括激活操作步骤，在此省略激活操作介绍)：
1、所述图像输入层处理为82×82像素；
2、将所述图像输入层输入至第一个卷积层(共享权值卷积层)，采用5×5像素的卷积核进行卷积操作，得到16张78×78像素的特征图；
3、将第一个卷积层输出的特征图输出到第一个池化层进行最大池化操作，所述池化块大小为2×2像素，得到16张39×39像素的特征图；
4、将第一个池化层输出的特征图输出到第二个卷积层(共享权值卷积层)，采用4×4像素的卷积核进行卷积操作，得到32张36×36像素的特征图；
5、将第二个卷积层输出的特征图输出到第二个池化层进行最大池化操作，所述池化块大小为2×2像素，得到32张18×18像素的特征图；
6、将第二个池化层输出的特征图输出到第三个卷积层(共享权值卷积层)，采用3×3像素的卷积核进行卷积操作，得到64张16×16像素的特征图；
7、将第三个卷积层输出的特征图输出到第三个池化层进行最大池化操作，所述池化块大小为2×2像素，得到64张8×8像素的特征图；
8、将第三个池化层输出的特征图输出到第四个卷积层(非共享权值卷积层)进行卷积操作，得到128张6×6像素的特征图；
9、将所述第四个卷积层输出的特征图输出至所述全连接输出层。
优选地，所述构建卷积神经网络进一步包括：
步骤S11，将所述卷积神经网络的所述图像输入层的输入为如下之一：灰度图像、彩色图像的R(红)、G(绿)、B(蓝)三通道图像、彩色图像的Y(亮度)、U(蓝色色差)、V(红色色差)三通道图像、彩色图像的H(色调)、S(饱和度)、V(明度)三通道图像。
需要说明的是，上述任何一个彩色图像的三通道图像都是与原彩色图像一一对应，三通道图像是与其对应的彩色图像在另外一种坐标系下的表示。例如，任何一个彩色图像的每一个像素的色彩都是R、G、B三种颜色组成，每一个通道的图像(例如R通道图像)尺寸与原彩色图像尺寸大小相同。
在本实施例中，所述灰度图像为82×82像素，但所述灰度图像的尺寸并不以此为限，所述灰度图像的形状也不以此为限，根据卷积核的像素大小，所述灰度图像可作出相应调整。
所述灰度图像、所述彩色图像的R、G、B三通道图像、所述彩色图像的Y、U、V三通道图像及所述彩色图像的H、S、V三通道图像均可以由单个视频源获取，由多个视频源获取，或者由单个视频源在不同时刻的获取。单个视频源是指具备单个成像单元，例如，单个CMOS或CCD的摄像头模组；多个视频源是指具备多个成像单元，例如，具备两个、三个或多个CMOS的摄像头模组，不同CMOS的摄像头模组的焦距和视场可以不同。
当采用所述单一视频源时，所述图像输入层的输入是由一个视频源获取的图像。
由于单一视频源获取的图像存在局部不清晰的情况，和不能提供同一时刻的多焦距和/或多视场的图像的情况，因此，本发明中，还提供所述多视频源获取的灰度图像或彩色图像作为所述图像输入层的输入的技术方案。所述多视频源可以采用不同视场及不同焦距的多个视频源(如相机)，视场角不同的多个视频源的焦距不同，可以避免获取的图像存在局部不清晰的情况。
例如，采用视场角分别为30°、60°、90°的三个视频源获取图像，视场角小(例如30°)的视频源适宜获取距离远的图像且获取的图像清晰度高；视场角大(例如90°)的视频源适宜获取范围宽而距离近的图像，因此，多视频源获取的图像能提高所述图像输入层的整体清晰度，便于卷积神经网络提取不同距离的目标特征的准确度，从而提升识别精度和可靠性。
所述多视频源还可以是单摄像多焦距型视频源，即采用一个焦距可变的摄像头进行拍摄，根据不同焦距可以获取多个不同图像作为所述图像输入层的输入。
此外，为实现上述目的，本发明还提供一种卷积神经网络的参数优化系统，参照图3，在一实施例中，本发明提供的卷积神经网络的参数优化系统包括：
卷积神经网络构建模块1，用于构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
具体的，所述卷积神经网络可以根据处理需要构建，本实施例构建的所述卷积神经网络用于人脸特征点定位，其包括：一个图像处理层，四个卷积层(其中，包括三个共享权值卷积层及一个非共享权值卷积层)，三个激活层和三个池化层，以及一个全连接输出层；相邻两所述卷积层之间设有一个激活层和一个池化层，一般图像处理的流程是先经过经过激活层，然后经过池化层。
在本实施例中，由于只有一个全连接层，因此所述全连接层即为输出层。
在本实施例中，所述激活层用于将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，并将激活后的结果作为下一所述卷积层的输入。需要说明，在有些卷积神经网络中，最顶层的卷积层之后也会加入一个激活层，即每个卷积层之后都会有一个激活层。
所述卷积神经网络还可以包括多个池化层，每个所述池化层设于两所述卷积层之间，且在两所述卷积层的激活层之后，激活操作的结果作为池化层的输入，所述池化层可以有效节约处理器的计算资源、去除图像噪声和使得卷积神经网络具有平移不变性。需要强调，最顶层的卷积层之后一般不设置池化层。
所述卷积神经网络从图像输入层至全连接输出层，经过逐级变换。
所述输入层的像素为82×82像素。
浮点型权值处理模块2，用于将卷积神经网络训练为全浮点型网络以得到浮点型权值；
在进行二值训练前，先将所述卷积神经网络统一训练成所述浮点型权值。
二值训练模块3，用于将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
二值训练有以下三种技术方案：
1、将所述卷积层中的所述浮点型权值训练成二值型权值；此种方案用于降低所述卷积层的权值数据量和计算量，从而所述卷积神经网络的权值数据量和计算量减少一部分，从而降低计算资源的要求，提升卷及神经网络的处理速度。
2、将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值；此种方案用于降低所述全连接层的权值数据量和计算量，从而所述卷积神经网络的权值数据量和计算量减少一部分，从而降低计算资源的要求，提升卷及神经网络的处理速度。
3、将所述卷积神经网络的卷积层和全连接层中的所述浮点型权值分别训练成二值型权值；此种方案用于降低所述卷积层和所述全连接层的权值数据量和计算量，从而所述卷积神经网络的权值数据量全面降低，从而降低计算资源的要求，提升卷及神经网络的处理速度。
在本发明的技术方案中，先将卷积神经网络训练为全浮点型网络以得到浮点型权值，再将所述浮点型权值训练成二值型权值，包括将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值，将所述卷积层和/或所述全连接层中的所述浮点型权值训练为所述二值权值，可有效降低权值数据量和计算量，避免卷积神经网络的权值数据量巨大导致的浪费计算资源的弊端。
由于所述卷积神经网络的权值数量大，例如几百吉比特，因此，将所述卷积神经网络训练为二值型权值，不仅能降低权值数据的数据量，降低传输时延和对存储器的需求，所述参数优化方法还能大大避免所述卷积神经网络收敛到局部最优解(即局部最优二值型权值)，在保证性能或者性能可接受的同时，大大提升了所述卷积神经网络的处理速度，使得所述卷积神经网络能够在嵌入式终端内运行。
优选地，所述卷积神经网络的参数优化系统还包括：
中间操作模块(图未示)，用于将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
当所述卷积神经网络还包括多个池化层时，还可以对将除最顶层的所述卷积层之外的每个所述卷积层的激活操作输出结果进行池化操作，以节约计算资源。因此，每个所述卷积层的输出结果进行激活操作和池化操作后，继续输入至下一所述卷积层。
池化处理过程可以降低运算量，扩大感受野，保持网络的平移不变性。
在本实施例中，所述卷积神经网络的处理步骤如下(每两个所述卷积层之间还包括激活操作步骤，在此省略激活操作介绍)：
1、所述图像输入层处理为82×82像素；
2、将所述图像输入层输入至第一个卷积层(共享权值卷积层)，采用5×5像素的卷积核进行卷积操作，得到16张78×78像素的特征图；
3、将第一个卷积层输出的特征图输出到第一个池化层进行最大池化操作，所述池化块大小为2×2像素，得到16张39×39像素的特征图；
4、将第一个池化层输出的特征图输出到第二个卷积层(共享权值卷积层)，采用4×4像素的卷积核进行卷积操作，得到32张36×36像素的特征图；
5、将第二个卷积层输出的特征图输出到第二个池化层进行最大池化操作，所述池化块大小为2×2像素，得到32张18×18像素的特征图；
6、将第二个池化层输出的特征图输出到第三个卷积层(共享权值卷积层)，采用3×3像素的卷积核进行卷积操作，得到64张16×16像素的特征图；
7、将第三个卷积层输出的特征图输出到第三个池化层进行最大池化操作，所述池化块大小为2×2像素，得到64张8×8像素的特征图；
8、将第三个池化层输出的特征图输出到第四个卷积层(非共享权值卷积层)进行卷积操作，得到128张6×6像素的特征图；
9、将所述第四个卷积层输出的特征图输出至所述全连接输出层。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种卷积神经网络的参数优化方法，其特征在于，所述卷积神经网络的参数优化方法包括以下步骤：
构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
将卷积神经网络训练为全浮点型网络以得到浮点型权值；
将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
2.如权利要求1所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
先将所述卷积层中的所述浮点型权值训练成二值型权值；再将所述全连接层中的所述浮点型权值训练成二值型权值。
3.如权利要求1所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
先将最底层的所述卷积层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述卷积层中的所述浮点型权值训练成二值型权值。
4.如权利要求1所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
先将最底层的所述全连接层中的所述浮点型权值训练成二值型权值，再依次将更高层的所述全连接层中的所述浮点型权值训练成二值型权值。
5.如权利要求1所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
将全部的所述卷积层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分为权值数量均匀的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
6.如权利要求1所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值包括：
将全部的所述卷积层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述卷积层中的所述浮点型权值训练成二值型权值，和/或将全部的所述全连接层分成功能特点不同的若干个训练批次，以分步将每个训练批次的所述全连接层中的所述浮点型权值训练成二值型权值。
7.如权利要求1至6中任意一项所述的卷积神经网络的参数优化方法，其特征在于，所述将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值包括：
将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
8.如权利要求1至6中任意一项所述的卷积神经网络的参数优化方法，其特征在于，所述构建卷积神经网络进一步包括：
将所述卷积神经网络的所述图像输入层的输入为如下之一：灰度图像、彩色图像的R(红)、G(绿)、B(蓝)三通道图像、彩色图像的Y(亮度)、U(蓝色色差)、V(红色色差)三通道图像、彩色图像的H(色调)、S(饱和度)、V(明度)三通道图像。
9.一种卷积神经网络的参数优化系统，其特征在于，包括：
卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络包括图像输入层、多个卷积层、至少一个全连接层，并且，每两个所述卷积层之间设置一激活层，或每两个所述卷积层之间设置一所述激活层和一池化层；
浮点型权值处理模块，用于将卷积神经网络训练为全浮点型网络以得到浮点型权值；
二值训练模块，用于将所述卷积神经网络的卷积层中的所述浮点型权值训练成二值型权值，和/或将所述卷积神经网络的全连接层中的所述浮点型权值训练成二值型权值。
10.如权利要求9所述的卷积神经网络的参数优化系统，其特征在于，所述卷积神经网络的参数优化系统还包括：
中间操作模块，用于将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作，或将除最顶层的所述卷积层之外的每个所述卷积层的输出结果进行激活操作和池化操作。
CN201610795257.XA 2016-08-31 2016-08-31 卷积神经网络的参数优化方法及系统 Pending CN106326939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610795257.XA CN106326939A (zh) 2016-08-31 2016-08-31 卷积神经网络的参数优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610795257.XA CN106326939A (zh) 2016-08-31 2016-08-31 卷积神经网络的参数优化方法及系统

Publications (1)

Publication Number Publication Date
CN106326939A true CN106326939A (zh) 2017-01-11

Family

ID=57786453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610795257.XA Pending CN106326939A (zh) 2016-08-31 2016-08-31 卷积神经网络的参数优化方法及系统

Country Status (1)

Country Link
CN (1) CN106326939A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146624A (zh) * 2017-04-01 2017-09-08 清华大学 一种说话人确认方法及装置
CN107239826A (zh) * 2017-06-06 2017-10-10 上海兆芯集成电路有限公司 在卷积神经网络中的计算方法及装置
CN107256422A (zh) * 2017-06-06 2017-10-17 上海兆芯集成电路有限公司 数据量化方法及装置
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN107480640A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于二值卷积神经网络的人脸对齐方法
CN107679618A (zh) * 2017-07-28 2018-02-09 北京深鉴科技有限公司 一种静态策略定点化训练方法及装置
CN107688849A (zh) * 2017-07-28 2018-02-13 北京深鉴科技有限公司 一种动态策略定点化训练方法及装置
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN108460454A (zh) * 2017-02-21 2018-08-28 京东方科技集团股份有限公司 卷积神经网络和用于其的处理方法、装置、系统
CN108961317A (zh) * 2018-07-27 2018-12-07 阿依瓦（北京）技术有限公司 一种视频深度分析的方法与系统
CN109308517A (zh) * 2018-09-07 2019-02-05 中国科学院计算技术研究所 面向二值神经网络的二值化装置、方法及应用
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109993300A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 一种神经网络模型的训练方法及装置
CN110245747A (zh) * 2019-06-21 2019-09-17 华中师范大学 基于全卷积神经网络的图像处理方法及装置
CN110633785A (zh) * 2018-06-21 2019-12-31 清华大学 一种卷积神经网络的计算方法及系统
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN112686384A (zh) * 2020-12-31 2021-04-20 南京大学 一种自适应比特位宽的神经网络量化方法及其装置
CN109840584B (zh) * 2017-11-24 2023-04-18 腾讯科技（深圳）有限公司 基于卷积神经网络模型的图像数据分类方法及设备

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209448A1 (en) * 2017-02-21 2021-07-08 Boe Technology Group Co., Ltd. Convolutional neural network, and processing method, processing device, processing system and medium for the same
CN108460454A (zh) * 2017-02-21 2018-08-28 京东方科技集团股份有限公司 卷积神经网络和用于其的处理方法、装置、系统
US11620496B2 (en) * 2017-02-21 2023-04-04 Boe Technology Group Co., Ltd. Convolutional neural network, and processing method, processing device, processing system and medium for the same
WO2018153128A1 (zh) * 2017-02-21 2018-08-30 京东方科技集团股份有限公司 卷积神经网络和用于其的处理方法、装置、系统、介质
CN107146624A (zh) * 2017-04-01 2017-09-08 清华大学 一种说话人确认方法及装置
WO2018176894A1 (zh) * 2017-04-01 2018-10-04 清华大学 一种说话人确认方法及装置
CN107239826A (zh) * 2017-06-06 2017-10-10 上海兆芯集成电路有限公司 在卷积神经网络中的计算方法及装置
CN107256422A (zh) * 2017-06-06 2017-10-17 上海兆芯集成电路有限公司 数据量化方法及装置
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN107437092B (zh) * 2017-06-28 2019-11-15 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类方法
CN107679618B (zh) * 2017-07-28 2021-06-11 赛灵思电子科技(北京)有限公司 一种静态策略定点化训练方法及装置
CN107688849A (zh) * 2017-07-28 2018-02-13 北京深鉴科技有限公司 一种动态策略定点化训练方法及装置
CN107679618A (zh) * 2017-07-28 2018-02-09 北京深鉴科技有限公司 一种静态策略定点化训练方法及装置
US11308392B2 (en) 2017-07-28 2022-04-19 Xilinx Technology Beijing Limited Fixed-point training method for deep neural networks based on static fixed-point conversion scheme
CN107480640A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于二值卷积神经网络的人脸对齐方法
CN109840584B (zh) * 2017-11-24 2023-04-18 腾讯科技（深圳）有限公司 基于卷积神经网络模型的图像数据分类方法及设备
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN109993300A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 一种神经网络模型的训练方法及装置
US11966844B2 (en) 2017-12-29 2024-04-23 Huawei Technologies Co., Ltd. Method for training neural network model and apparatus
CN109993300B (zh) * 2017-12-29 2021-01-29 华为技术有限公司 一种神经网络模型的训练方法及装置
US11521012B2 (en) 2017-12-29 2022-12-06 Huawei Technologies Co., Ltd. Method for training neural network model and apparatus
CN110633785A (zh) * 2018-06-21 2019-12-31 清华大学 一种卷积神经网络的计算方法及系统
CN110633785B (zh) * 2018-06-21 2021-01-05 清华大学 一种卷积神经网络的计算方法及系统
CN108961317A (zh) * 2018-07-27 2018-12-07 阿依瓦（北京）技术有限公司 一种视频深度分析的方法与系统
WO2020019397A1 (zh) * 2018-07-27 2020-01-30 阿依瓦（北京）技术有限公司 一种视频深度分析的方法与系统
CN109344855B (zh) * 2018-08-10 2021-09-24 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109308517A (zh) * 2018-09-07 2019-02-05 中国科学院计算技术研究所 面向二值神经网络的二值化装置、方法及应用
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN111695671B (zh) * 2019-03-12 2023-08-08 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN110245747B (zh) * 2019-06-21 2021-10-19 华中师范大学 基于全卷积神经网络的图像处理方法及装置
CN110245747A (zh) * 2019-06-21 2019-09-17 华中师范大学 基于全卷积神经网络的图像处理方法及装置
CN112686384A (zh) * 2020-12-31 2021-04-20 南京大学 一种自适应比特位宽的神经网络量化方法及其装置

Similar Documents

Publication Publication Date Title
CN106326939A (zh) 卷积神经网络的参数优化方法及系统
CN110929602B (zh) 一种基于卷积神经网络的地基云图云状识别方法
CN108805839A (zh) 基于卷积神经网络的联合估计图像去雾方法
CN104301636B (zh) 低复杂度高效高动态数字图像的合成方法
CN107993238A (zh) 一种基于注意力模型的头肩部分图像分割方法及装置
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN105224917A (zh) 一种利用颜色空间创建肤色概率图的方法和系统
CN109829868B (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN106296620B (zh) 一种基于直方图平移的色彩还原方法
CN106328053B (zh) 一种OLED Mura补偿的最高亮度优化方法及装置
CN107515736A (zh) 一种在嵌入式设备上加速深度卷积网络计算速度的方法
CN112102186B (zh) 一种水下视频图像实时增强方法
CN103065282A (zh) 一种基于稀疏线性系统的图像融合方法
CN108377372B (zh) 一种白平衡处理方法、装置、终端设备和存储介质
CN109740529A (zh) 一种基于神经网络绘图的虚拟试衣方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN109858609A (zh) 一种分区块池化的方法和系统
CN112070703B (zh) 一种仿生机器鱼水下视觉图像增强方法及系统
CN116309110A (zh) 一种基于轻量化深度神经网络的低光照图像去雾方法
CN110175506A (zh) 基于并行降维卷积神经网络的行人重识别方法及装置
CN105976379A (zh) 一种基于布谷鸟优化的模糊聚类彩色图像分割方法
CN105488769B (zh) 一种实时视频去雾方法
Sun et al. Multi‐vision attention networks for on‐line red jujube grading
CN116109509A (zh) 基于逐像素伽马矫正的实时低光照图像增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111