CN111666991A - 基于卷积神经网络的模式识别方法、装置和计算机设备 - Google Patents
基于卷积神经网络的模式识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111666991A CN111666991A CN202010466063.1A CN202010466063A CN111666991A CN 111666991 A CN111666991 A CN 111666991A CN 202010466063 A CN202010466063 A CN 202010466063A CN 111666991 A CN111666991 A CN 111666991A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- pattern recognition
- chromosome
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于卷积神经网络的模式识别方法、装置和计算机设备。该方法包括：确定多个初始神经单元；将多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低；当迭代结果满足预设的终止条件时，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络；以及将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果。其中，所述模式识别结果可存储于区块链中。通过本发明，能够减少构建卷积神经网络模型过程中人工的工作量，提升模式识别的效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于卷积神经网络的模式识别方法、装置和计算机设备。
背景技术
卷积神经网络作为人工智能的重要模型与算法，已经广泛的应用到多个场景。尤其是模式识别方面，包括图像理解、自然语言处理、数据分类与回归等方面，均取得了很好的效果，基于卷积神经网络进行模式识别，大量的替代了人类的工作，复杂的卷积神经网络甚至在模式识别领域中，准确率超过了人类。
但是，发明人研究发现，在基于卷积神经网络进行模式识别的过程中，首先需要构建卷积神经网络模型，然后对卷积神经网络模型进行训练，最后利用训练好的卷积神经网络进行模式识别，其中，在构建卷积神经网络模型时，需要人工设计卷积神经网络的结构，而人工设计卷积神经网络的结构需要大量耗费人类的精力与智慧，需要经过不断的试验与优化，工作量较大。
因此，提供一种基于卷积神经网络的模式识别方法、装置和计算机设备，以减少构建卷积神经网络模型过程中人工的工作量，提升模式识别的效率，成为本领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种基于卷积神经网络的模式识别方法、装置和计算机设备，用于解决现有技术中的上述技术问题。
一方面，为实现上述目的，本发明提供了一种基于卷积神经网络的模式识别方法。
该基于卷积神经网络的模式识别方法包括：确定多个初始神经单元；将多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低；当迭代结果满足预设的终止条件时，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络；以及将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果。
进一步地，确定多个初始神经单元的步骤包括确定以下卷积基本单元分别作为初始神经单元：
(1)只有中心点的值是1，邻域点的权值都是0的滤波器；
(2)1*3的卷积核，后接3*1的卷积核；
(3)1*7的卷积核，后接7*1的卷积核；
(4)3*3的膨胀卷积；
(5)3*3的卷积核；
(6)3*3的最大池化层；
(7)5*5的最大池化层；
(8)7*7的最大池化层；
(9)1*1的卷积核；
(10)3*3的卷积核；
(11)3*3的深度分离卷积核；
(12)5*5的深度分离卷积核；以及
(13)7*7的深度分离卷积核。
进一步地，在将多个初始神经单元作为遗传算法的基础基因进行迭代计算之前，方法还包括：设定遗传算法中的变异率；设定遗传算法中每一代染色体个体的数量；设定遗传算法中进化需要迭代的次数；以及设定遗传算法进化的终止条件。
进一步地，终止条件包括以下条件中的至少之一：染色体个体对应的准确率大于或等于第二预设阈值；迭代次数超过进化需要迭代的次数；以及迭代输出的染色体个体中，准确率最大的染色体个体经过预设迭代次数后准确率未增大。
进一步地，将多个初始卷积神经网络作为遗传算法的基础基因进行迭代计算的步骤包括：步骤S1：将多个初始神经单元作为遗传算法的基础基因进行第一次迭代计算，输出k个染色体个体，其中，每个染色体个体对应一个初始卷积神经网络；步骤S2：将初始卷积神经网络通过训练集进行训练，得到中间卷积神经网络；步骤S3：将中间卷积神经网络通过验证集进行验证，得到染色体个体对应的准确率；步骤S4：根据准确率对k个染色体个体进行选择、变异和交叉，生成新一代染色体个体；步骤S5：判断迭代结果是否满足预设的终止条件，其中，当迭代结果不满足预设的终止条件时，返回步骤S2。
进一步地，该方法还包括：在步骤S3之后，将准确率最高的染色体个体记录至染色体组中；根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络的步骤包括：在染色体组中，确定准确率最大且满足第一预设阈值的染色体个体，将确定的染色体个体对应的中间卷积神经网络作为目标卷积神经网络。
进一步地，模式识别为对象分类，模式识别结果为对象所属的类别；训练集包括N个训练样本，验证集包括M个验证样本，训练样本和验证样本均包括对象和对象所属的类别，训练集和验证集均包括P个类别的对象，步骤S2包括：步骤S21：将训练样本的对象输入至初始卷积神经网络，得到P个类别中每个类别对应的第一概率；步骤S22：根据训练样本的对象所属的类别和P个第一概率，计算初始卷积神经网络的权值对应的调整值；步骤S23：根据调整值对初始卷积神经网络的权值进行调整；步骤S24：判断N个训练样本是否全部被输入至初始卷积神经网络，如果N个训练样本全部被输入至初始卷积神经网络，输出当前的初始卷积神经网络作为中间卷积神经网络，如果N个训练样本未全部被输入至初始卷积神经网络，返回至步骤S21，步骤S3包括：步骤S31：将验证样本的对象输入至中间卷积神经网络，得到P个类别中每个类别对应的第二概率；步骤S32：选取P个第二概率中最大值对应的类别作为验证样本的对象所属的验证类别；步骤S33：当验证类别与验证样本的对象所属的类别一致时，验证样本被正确分类；步骤S34：计算被正确分类的验证样本的总数和M的比值，得到染色体个体对应的准确率。
进一步地，该方法还包括：将模式识别结果存储于区块链中。
另一方面，为实现上述目的，本发明提供了一种基于卷积神经网络的模式识别装置。
该基于卷积神经网络的模式识别装置包括：确定模块，用于确定多个初始神经单元；计算模块，用于将多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低；处理模块，用于当迭代结果满足预设的终止条件时，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络；以及输入模块，用于将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果。
为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的基于卷积神经网络的模式识别方法、装置和计算机设备，确定多个初始神经单元作为遗传算法的基础基因进行迭代计算，基于遗传算法生成卷积神经网络，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低，使得准确率高的染色体个体的基因被选择和保留，通过不断的迭代，完成种群的进化，进而生成出准确率高、泛化能力好的卷积神经网络个体，再基于该卷积神经网络构建目标卷积神经网络，以对待识别对象进行模式识别，因此，通过本发明，基于遗传算法生成卷积神经网络，发挥了遗传算法的物竞天择的思想，创造了一个不需要人工设计的生存环境，通过对染色体个体的不断优化，输出模式识别准确率高的卷积神经网络，进而减少构建卷积神经网络模型过程中人工的工作量，提升模式识别的效率。
附图说明
图1为本发明实施例一提供的基于卷积神经网络的模式识别方法的流程图；
图2为本发明实施例二提供的基于卷积神经网络的模式识别装置的框图；
图3为本发明实施例三提供的计算机设备的硬件结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少在模式识别过程中，例如图像分类过程中，构建卷积神经网络模型所需的人工工作量，同时提升模式识别的效率，本发明提出了一种基于卷积神经网络的模式识别方法、装置、计算机设备和计算机可读存储介质。在本发明提供的基于卷积神经网络的模式识别方法中，基于遗传算法模拟大自然物竞天择的思想，来淘汰掉弱势的卷积神经网络结构，保留下生存能力强的卷积神经网络结构，达到生成准确率高、泛化能力好的卷积神经网络个体，然后基于生成的卷积神经网络进行模式识别。具体地，首先确定多个初始神经单元，作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低，当迭代结果满足预设的终止条件时，根据准确率满足预设阈值的染色体个体构建目标卷积神经网络，然后将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果，实现了模式识别。在模式识别的过程中，基于遗传算法生成卷积神经网络，发挥了遗传算法的物竞天择的思想，创造了一个不需要人工设计的生存环境，通过对染色体个体的不断优化，输出模式识别准确率高的卷积神经网络，而传统的卷积神经网络设计过程，往往需要很长的时间，需要不断的尝试，反复的试验调参，且对于工作人员的知识水平要求极高，因此人工成本很高，工作量大，并且在大投入过后，也很难输出一种高准确率的卷积神经网络，效率很低，采用本发明提供的基于卷积神经网络的模式识别方法、装置、计算机设备和可读存储介质，对比于基于人工设计的卷积神经网络进行模式识别，可以达到更好的准确率与泛化能力。
关于本发明提供的基于卷积神经网络的模式识别方法、装置、计算机设备和计算机可读存储介质的具体实施例，将在下文中详细描述。
实施例一
本发明实施例一提供了一种基于卷积神经网络的模式识别方法，在该方法中，基于遗传算法生成卷积神经网络，通过该方法，能够减少构建卷积神经网络模型过程中人工的工作量，提升模式识别的效率，具体地，图1为本发明实施例一提供的基于卷积神经网络的模式识别方法的流程图，如图1所示，该实施例提供的基于卷积神经网络的模式识别方法包括如下的步骤S101至步骤S109。
步骤S101：确定多个初始神经单元。
其中，初始神经单元为卷积神经网络结构中的基本单元，可以选择任意结果的卷积核。
可选地，确定以下卷积基本单元分别作为初始神经单元：
(1)只有中心点的值是1，邻域点的权值都是0的滤波器；
(2)1*3的卷积核，后接3*1的卷积核；
(3)1*7的卷积核，后接7*1的卷积核；
(4)3*3的膨胀卷积；
(5)3*3的卷积核；
(6)3*3的最大池化层；
(7)5*5的最大池化层；
(8)7*7的最大池化层；
(9)1*1的卷积核；
(10)3*3的卷积核；
(11)3*3的深度分离卷积核；
(12)5*5的深度分离卷积核；以及
(13)7*7的深度分离卷积核。
步骤S102：将多个初始神经单元作为遗传算法的基础基因进行迭代计算。
其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低。
在该步骤中，基于遗传算法进行迭代计算，其中，多个初始神经单元为遗传算法的基础基因，首先基于该基础基因进行第一次迭代，迭代后，计算迭代输出的染色体个体，也即卷积神经网络进行模式识别，通过模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低，进行新一轮迭代，新一轮迭代后再次输出染色体个体，依次类推。
步骤S103：当迭代结果满足预设的终止条件时，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络。
可预设迭代的终止条件，获取上述步骤S102中，每迭代一次后的迭代结果，判断是否满足预设的终止条件，如果满足，则根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络。
在一种实施例中，可直接将准确率满足第一预设阈值的染色体个体作为目标卷积神经网络；在另一种实施例中，也可对准确率满足第一预设阈值的染色体个体再进行训练，将训练好的卷积神经网络作为目标卷积神经网络。
步骤S104：将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果。
得到目标卷积神经网络后，将待识别对象输入至该目标卷积神经网络，即可得到待识别对象对应的模式识别结果，完成了对待识别对象的模式识别。
在一中实施例中，将模式识别结果存储于区块链中。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
在该实施例提供的基于卷积神经网络的模式识别方法，确定多个初始神经单元作为遗传算法的基础基因进行迭代计算，基于遗传算法生成卷积神经网络，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低，使得准确率高的染色体个体的基因被选择和保留，通过不断的迭代，完成种群的进化，进而生成出准确率高、泛化能力好的卷积神经网络个体，再基于该卷积神经网络构建目标卷积神经网络，以对待识别对象进行模式识别，因此，采用该实施例提供的基于卷积神经网络的模式识别方法，基于遗传算法生成卷积神经网络，发挥了遗传算法的物竞天择的思想，创造了一个不需要人工设计的生存环境，通过对染色体个体的不断优化，输出模式识别准确率高的卷积神经网络，进而减少构建卷积神经网络模型过程中人工的工作量，提升模式识别的效率。
可选地，在一种实施例中，在步骤S102之前，基于卷积神经网络的模式识别方法还包括初始化参数的步骤，其中，在初始化参数时，具体包括以下步骤：设定遗传算法中的变异率；设定遗传算法中每一代染色体个体的数量；设定遗传算法中进化需要迭代的次数；以及设定遗传算法进化的终止条件。
具体地，设定变异率和每一代染色体个体的数量后，每生成一代群体，对染色体上的基础基因进行一定概率的变异，变异的基因可从基本单元中选择，对染色体有一定的概率进行个体间的交叉，染色体的选择，随着分值越高被变异与交叉的概率越低，相反随着分值越低被变异与交叉的概率越高。分值最高的个体一定遗传到下一代。继而完成初代种群到第二代种群的进化，不断的迭代，完成N代(也即需要迭代的次数)种群的进化，进而生成出超强泛化能力的卷积神经网络个体，终止条件为迭代结束的条件。进一步可选地，在设定的遗传算法进化的终止条件包括以下条件中的至少之一：染色体个体对应的准确率大于或等于第二预设阈值；迭代次数超过进化需要迭代的次数；以及迭代输出的染色体个体中，准确率最大的染色体个体经过预设迭代次数后准确率未增大。
可选地，在一种实施例中，步骤S102具体包括以下步骤：
步骤S1：将多个初始神经单元作为遗传算法的基础基因进行第一次迭代计算，输出k个染色体个体，其中，每个染色体个体对应一个初始卷积神经网络，k即为初始化参数中设定的每一代染色体个体的数量。
步骤S2：将初始卷积神经网络通过训练集进行训练，得到中间卷积神经网络。
其中，训练集包括多个训练样本，每个训练样本包括对象和对象对应的模式识别结果，其中，对象通常是指对客观对象提取出的特征值，例如图像的像素和肌电信号的电压等，对应地，模式识别的结果为图像所属的类别，肌电信号对应的动作。
将初始卷积神经网络通过训练集进行训练，也即将训练样本中的对象作为初始卷积神经网络的输入，将对象对应的模式识别结果作为初始卷积神经网络的输出，对初始神经网络进行训练，在训练过程中，不断调整初始卷积神经网络的权值，但不改变初始神经网络的结构，训练后的初始神经网络即为中间卷积神经网络。
步骤S3：将中间卷积神经网络通过验证集进行验证，得到染色体个体对应的准确率。
其中，验证集包括多个验证样本，与训练样本相同，每个验证样本也包括对象和对象对应的模式识别结果。
将中间卷积神经网络通过验证集进行验证，也即将验证样本中的对象作为中间卷积神经网络的输入，得到中间神经网络的输出，将中间神经网络的输出与验证样本中对象对应的模式识别结果进行比对，二者一致时，说明中间卷积神经网络对该验证样本中对象的模式识别结果是正确的，否则，中间卷积神经网络对该验证样本中对象的模式识别结果时错误的。统计模式识别结果正确的数量，将统计出的数量与验证集中验证样本的总数相除，即可得到染色体个体对应的准确率。
步骤S4：根据准确率对k个染色体个体进行选择、变异和交叉，生成新一代染色体个体。
在该步骤中，根据设定变异率，每生成一代群体，对染色体上的基础基因进行一定概率的变异，首次变异的基因从13种基本单元中选择，对染色体有一定的概率进行个体间的交叉，迭代过程中的变异，染色体个体的选择依据准确率，准确率越高被变异与交叉的概率越低，相反，准确率越低被变异与交叉的概率越高，准确率最高的个体一定遗传到下一代，继而完成一代种群到下一代种群的进化，不断的迭代，完成多代种群的进化。
步骤S5：判断迭代结果是否满足预设的终止条件，其中，当迭代结果不满足预设的终止条件时，返回步骤S2。
可选地，在一种实施例中，在步骤S3之后，基于卷积神经网络的模式识别方法还包括如下的步骤：将准确率最高的染色体个体记录至染色体组中。从而在步骤S103中，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络时，具体为：在染色体组中，确定准确率最大且满足第一预设阈值的染色体个体，将确定的染色体个体对应的中间卷积神经网络作为目标卷积神经网络。
可选地，在一种实施例中，模式识别为对象分类，模式识别结果为对象所属的类别，该对象可以为图像，也即，模式识别为图像分类，模式识别结果为图像所属的类别。其中，训练集包括N个训练样本，验证集包括M个验证样本，训练样本和验证样本均包括对象和对象所属的类别，训练集和验证集均包括P个类别的对象。例如，在一种应用场景中，模式识别为对5个类别的图像进行分类，该5个类别包括动物、人物、蔬果、交通工具和风景，模式识别结果为将一张图片识别为其所属的上述类别的一种。训练集包括八千个训练样本，验证集包括二千个验证样本，训练样本和验证样本均包括一张图片的像素数据和其所属的类别，训练集和验证集覆盖上述5个类别的图像，且5个类别在训练集和验证集中基本平均分布。
步骤S2包括如下的步骤：
步骤S21：将训练样本的对象输入至初始卷积神经网络，得到P个类别中每个类别对应的第一概率。
具体地，在上述场景下，将一个训练样本输入至初始卷积神经网络，得到5个类别中每个类别对应的第一概率。
步骤S22：根据训练样本的对象所属的类别和P个第一概率，计算初始卷积神经网络的权值对应的调整值。
具体地，在上述场景下，根据训练样本实际所属的类别和5个类别对应的第一概率，计算初始卷积神经网络的权值对应的调整值。
步骤S23：根据调整值对初始卷积神经网络的权值进行调整。
步骤S24：判断N个训练样本是否全部被输入至初始卷积神经网络，如果N个训练样本全部被输入至初始卷积神经网络，输出当前的初始卷积神经网络作为中间卷积神经网络，如果N个训练样本未全部被输入至初始卷积神经网络，返回至步骤S21。
具体地，在上述场景下，判断八千个训练样本是否全部被输入至初始卷积神经网络，是，则输出当前的初始卷积神经网络作为中间卷积神经网络，否则返回至步骤S21。
步骤S3包括如下的步骤：
步骤S31：将验证样本的对象输入至中间卷积神经网络，得到P个类别中每个类别对应的第二概率。
具体地，在上述场景下，将一个验证样本输入至中间卷积神经网络，得到5个类别中每个类别对应的第二概率，例如，验证样本为一张猴子图片的像素数据和其所属的类别为动物。
步骤S32：选取P个第二概率中最大值对应的类别作为验证样本的对象所属的验证类别。
具体地，在上述场景下，在5个类别对应的第二概率中，选择一个最大值，将该最大值对应的类别作为该验证类别。例如，上述猴子图片对应的5个第二概率中，最大值对应的类别为动物，也即，该验证样本的验证类别为动物。
步骤S33：当验证类别与验证样本的对象所属的类别一致时，验证样本被正确分类。
例如，上述猴子图片验证样本的验证类别为动物，猴子图片实际所属的类别也为动物，表征该验证样本被正确分类。
步骤S34：计算被正确分类的验证样本的总数和M的比值，得到染色体个体对应的准确率。
具体地，在上述场景下，计算被正确分类的验证样本的总数和两千的比值，得到染色体个体对应的准确率。
实施例二
本发明实施例二提供了一种基于卷积神经网络的模式识别方法，在该方法中，应用遗传算法生成卷积神经网络，卷积神经网络结构相当于遗传算法中的染色体个体，多个染色体个体组成一代种群。根据卷积神经网络进行图像分类的准确率，计算出每个染色体个体的分值，即每个卷积神经网络的分值。在生成初代种群以后，根据每个个体的分值，进行选择、交叉、变异，生成新的一代，不断的迭代进化，输出分值最高的染色体个体，即为卷积神经网络结构。
具体地，该实施例提供的基于卷积神经网络的模式识别方法包括如下的步骤：
①初始化参数。
参数初始化，需要设定变异率，设定每一代个体的数量k，设定进化需要迭代的次数N，设定进化的终止条件。
②基础基因的确定
③染色体编码，由于遗传算法中的染色体与卷积神经网络的结构一致，可以直接对染色体个体直接编码。
④生成初代染色体个体，数量为k，k个染色体个体，即为k个卷积神经网络。
⑤个体变异过程
设定变异率，每生成一代群体，对染色体上的基础基因进行一定概率的变异。变异的基因从13种基本单元中选择。对染色体有一定的概率进行个体间的交叉。染色体的选择，随着分值越高被变异与交叉的概率越低，相反随着分值越低被变异与交叉的概率越高。分值最高的个体一定遗传到下一代。继而完成初代种群到第二代种群的进化，不断的迭代，完成N代种群的进化，进而生成出超强泛化能力的卷积神经网络个体。
⑥价值函数的确定。
选取图像分类的准确率作为价值函数的分值。价值函数的分值越高的个体在进化过程中被保留下来，价值函数的分值越低的个体在进化过程中容易被变异掉。
⑦终止条件的确定
迭代结果满足终止条件时，遗传迭代终止
⑧解码得到最优的若干卷积神经网络，利用得到的卷积神经网络进行图像分类。
其中，可选地，针对总数据集为CIFAR-10的6万张图片，选取5万张图片作为训练集，剩余1万张作为验证集，该1万张图片的准确率既为价值函数的分值。该6万张图片是有标签的，记录着每张图片所属的类别。一共有10个类别，分别为“飞机”、“小汽车”、“鸟”、“猫”、“鹿”、“狗”、“青蛙”、“马”、“船”、“卡车”。在一种实施例中，得到的染色体个体包括X个卷积层、Y个全连接层和Softmax层。
训练过程：针对该染色体个体，先利用进行5万张图片进行训练，将一张图片依次输入X个卷积层，每经过一次卷积后，输出一张更小的特征图，特征图不断的经过卷积层，最后来到全连接层，各个全连接层的向量长度逐渐减小，最后经过一个10向量长度的全连接层，从全连接层输出后，经过Softmax层，将10个向量转化为10个分类的概率，通过该图片的真实分类，与10个分类的概率做差值，来回馈给网络中的权值，达到训练卷积神经网络的目的，经过5万张图片的训练就完成了一次迭代。
验证过程：利用上述1万张图片进行验证，同上述训练过程，得到图片在10个分类的概率，取概率最大的作为最终的分类，判断该最终的分类与图片的真实分类是否一致，一致时表示分类正确。统计1万张图片分类正确的个数，计算出分类正确的概率，即为该卷积神经网络的价值函数的值。
实施例三
对应于上述实施例一，本发明实施例三提供了一种基于卷积神经网络的模式识别装置，相关技术特征和对应的技术效果可参考上文，该实施例不再赘述。图2为本发明实施例三提供的基于卷积神经网络的模式识别装置的框图，如图2所示，该装置包括：确定模块201、计算模块202、处理模块203和输入模块204。
其中，确定模块201用于确定多个初始神经单元；计算模块202用于将多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，准确率越高的染色体个体被变异与交叉的概率越低；处理模块203用于当迭代结果满足预设的终止条件时，根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络；以及输入模块204用于将待识别对象输入至目标卷积神经网络，得到待识别对象对应的模式识别结果。
可选地，在一种实施例中，确定模块201在确定多个初始神经单元时，确定以下卷积基本单元分别作为初始神经单元：
(1)只有中心点的值是1，邻域点的权值都是0的滤波器；
(2)1*3的卷积核，后接3*1的卷积核；
(3)1*7的卷积核，后接7*1的卷积核；
(4)3*3的膨胀卷积；
(5)3*3的卷积核；
(6)3*3的最大池化层；
(7)5*5的最大池化层；
(8)7*7的最大池化层；
(9)1*1的卷积核；
(10)3*3的卷积核；
(11)3*3的深度分离卷积核；
(12)5*5的深度分离卷积核；以及
(13)7*7的深度分离卷积核。
可选地，在一种实施例中，该装置还包括：设定模块，用于在将多个初始神经单元作为遗传算法的基础基因进行迭代计算之前，设定遗传算法中的变异率，设定遗传算法中每一代染色体个体的数量，设定遗传算法中进化需要迭代的次数；以及设定遗传算法进化的终止条件。
可选地，在一种实施例中，终止条件包括以下条件中的至少之一：染色体个体对应的准确率大于或等于第二预设阈值；迭代次数超过进化需要迭代的次数；以及迭代输出的染色体个体中，准确率最大的染色体个体经过预设迭代次数后准确率未增大。
可选地，在一种实施例中，计算模块202在将多个初始卷积神经网络作为遗传算法的基础基因进行迭代计算时，具体执行的步骤包括：步骤S1：将多个初始神经单元作为遗传算法的基础基因进行第一次迭代计算，输出k个染色体个体，其中，每个染色体个体对应一个初始卷积神经网络；步骤S2：将初始卷积神经网络通过训练集进行训练，得到中间卷积神经网络；步骤S3：将中间卷积神经网络通过验证集进行验证，得到染色体个体对应的准确率；步骤S4：根据准确率对k个染色体个体进行选择、变异和交叉，生成新一代染色体个体；步骤S5：判断迭代结果是否满足预设的终止条件，其中，当迭代结果不满足预设的终止条件时，返回步骤S2。
可选地，在一种实施例中，计算模块202在执行步骤S3之后，还执行如下的步骤：将准确率最高的染色体个体记录至染色体组中；根据准确率满足第一预设阈值的染色体个体构建目标卷积神经网络的步骤包括：在染色体组中，确定准确率最大且满足第一预设阈值的染色体个体，将确定的染色体个体对应的中间卷积神经网络作为目标卷积神经网络。
可选地，在一种实施例中，模式识别为对象分类，模式识别结果为对象所属的类别；训练集包括N个训练样本，验证集包括M个验证样本，训练样本和验证样本均包括对象和对象所属的类别，训练集和验证集均包括P个类别的对象，步骤S2包括：步骤S21：将训练样本的对象输入至初始卷积神经网络，得到P个类别中每个类别对应的第一概率；步骤S22：根据训练样本的对象所属的类别和P个第一概率，计算初始卷积神经网络的权值对应的调整值；步骤S23：根据调整值对初始卷积神经网络的权值进行调整；步骤S24：判断N个训练样本是否全部被输入至初始卷积神经网络，如果N个训练样本全部被输入至初始卷积神经网络，输出当前的初始卷积神经网络作为中间卷积神经网络，如果N个训练样本未全部被输入至初始卷积神经网络，返回至步骤S21，步骤S3包括：步骤S31：将验证样本的对象输入至中间卷积神经网络，得到P个类别中每个类别对应的第二概率；步骤S32：选取P个第二概率中最大值对应的类别作为验证样本的对象所属的验证类别；步骤S33：当验证类别与验证样本的对象所属的类别一致时，验证样本被正确分类；步骤S34：计算被正确分类的验证样本的总数和M的比值，得到染色体个体对应的准确率。
实施例四
本实施例四还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备01至少包括但不限于：可通过系统总线相互通信连接的存储器011、处理器012，如图3所示。需要指出的是，图3仅示出了具有组件存储器011和处理器012的计算机设备01，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器011(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器011可以是计算机设备01的内部存储单元，例如该计算机设备01的硬盘或内存。在另一些实施例中，存储器011也可以是计算机设备01的外部存储设备，例如该计算机设备01上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器011还可以既包括计算机设备01的内部存储单元也包括其外部存储设备。本实施例中，存储器011通常用于存储安装于计算机设备01的操作系统和各类应用软件，例如实施例三的基于卷积神经网络的模式识别装置的程序代码等。此外，存储器011还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器012在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器012通常用于控制计算机设备01的总体操作。本实施例中，处理器012用于运行存储器011中存储的程序代码或者处理数据，例如基于卷积神经网络的模式识别方法等。
实施例五
本实施例五还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于卷积神经网络的模式识别装置，被处理器执行时实现实施例一的基于卷积神经网络的模式识别方法、。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于卷积神经网络的模式识别方法，其特征在于，包括：
确定多个初始神经单元；
将所述多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，所述准确率越高的染色体个体被变异与交叉的概率越低；
当迭代结果满足预设的终止条件时，根据所述准确率满足第一预设阈值的所述染色体个体构建目标卷积神经网络；以及
将待识别对象输入至所述目标卷积神经网络，得到所述待识别对象对应的模式识别结果。
2.根据权利要求1所述的基于卷积神经网络的模式识别方法，其特征在于，确定多个初始神经单元的步骤包括确定以下卷积基本单元分别作为所述初始神经单元：
(1)只有中心点的值是1，邻域点的权值都是0的滤波器；
(2)1*3的卷积核，后接3*1的卷积核；
(3)1*7的卷积核，后接7*1的卷积核；
(4)3*3的膨胀卷积；
(5)3*3的卷积核；
(6)3*3的最大池化层；
(7)5*5的最大池化层；
(8)7*7的最大池化层；
(9)1*1的卷积核；
(10)3*3的卷积核；
(11)3*3的深度分离卷积核；
(12)5*5的深度分离卷积核；以及
(13)7*7的深度分离卷积核。
3.根据权利要求1所述的基于卷积神经网络的模式识别方法，其特征在于，在将所述多个初始神经单元作为遗传算法的基础基因进行迭代计算之前，所述方法还包括：
设定所述遗传算法中的变异率；
设定所述遗传算法中每一代染色体个体的数量；
设定所述遗传算法中进化需要迭代的次数；以及
设定所述遗传算法进化的终止条件。
4.根据权利要求3所述的基于卷积神经网络的模式识别方法，其特征在于，所述终止条件包括以下条件中的至少之一：
所述染色体个体对应的所述准确率大于或等于第二预设阈值；
迭代次数超过所述进化需要迭代的次数；以及
迭代输出的所述染色体个体中，所述准确率最大的染色体个体经过预设迭代次数后所述准确率未增大。
5.根据权利要求1所述的基于卷积神经网络的模式识别方法，其特征在于，将所述多个初始卷积神经网络作为遗传算法的基础基因进行迭代计算的步骤包括：
步骤S1：将所述多个初始神经单元作为遗传算法的基础基因进行第一次迭代计算，输出k个染色体个体，其中，每个所述染色体个体对应一个初始卷积神经网络；
步骤S2：将所述初始卷积神经网络通过训练集进行训练，得到中间卷积神经网络；
步骤S3：将所述中间卷积神经网络通过验证集进行验证，得到所述染色体个体对应的所述准确率；
步骤S4：根据所述准确率对所述k个染色体个体进行选择、变异和交叉，生成新一代所述染色体个体；
步骤S5：判断迭代结果是否满足所述预设的终止条件，其中，当所述迭代结果不满足所述预设的终止条件时，返回所述步骤S2。
6.根据权利要求5所述的基于卷积神经网络的模式识别方法，其特征在于，
所述方法还包括：在所述步骤S3之后，将所述准确率最高的所述染色体个体记录至染色体组中；
根据所述准确率满足第一预设阈值的所述染色体个体构建目标卷积神经网络的步骤包括：在所述染色体组中，确定所述准确率最大且满足所述第一预设阈值的所述染色体个体，将确定的所述染色体个体对应的所述中间卷积神经网络作为所述目标卷积神经网络。
7.根据权利要求5所述的基于卷积神经网络的模式识别方法，其特征在于，
所述模式识别为对象分类，所述模式识别结果为所述对象所属的类别；
所述训练集包括N个训练样本，所述验证集包括M个验证样本，所述训练样本和所述验证样本均包括所述对象和所述对象所属的类别，所述训练集和所述验证集均包括P个所述类别的对象，
所述步骤S2包括：
步骤S21：将所述训练样本的对象输入至所述初始卷积神经网络，得到P个所述类别中每个类别对应的第一概率；
步骤S22：根据所述训练样本的对象所属的类别和P个所述第一概率，计算所述初始卷积神经网络的权值对应的调整值；
步骤S23：根据所述调整值对所述初始卷积神经网络的权值进行调整；
步骤S24：判断所述N个训练样本是否全部被输入至所述初始卷积神经网络，如果所述N个训练样本全部被输入至所述初始卷积神经网络，输出当前的所述初始卷积神经网络作为所述中间卷积神经网络，如果所述N个训练样本未全部被输入至所述初始卷积神经网络，返回至所述步骤S21，
所述步骤S3包括：
步骤S31：将所述验证样本的对象输入至所述中间卷积神经网络，得到P个所述类别中每个类别对应的第二概率；
步骤S32：选取P个所述第二概率中最大值对应的类别作为所述验证样本的对象所属的验证类别；
步骤S33：当所述验证类别与所述验证样本的对象所属的类别一致时，所述验证样本被正确分类；
步骤S34：计算被正确分类的所述验证样本的总数和M的比值，得到所述染色体个体对应的所述准确率。
8.一种基于卷积神经网络的模式识别装置，其特征在于，包括：
确定模块，用于确定多个初始神经单元；
计算模块，用于将所述多个初始神经单元作为遗传算法的基础基因进行迭代计算，其中，在迭代过程中，根据染色体个体进行模式识别的准确率进行遗传选择，所述准确率越高的染色体个体被变异与交叉的概率越低；
处理模块，用于当迭代结果满足预设的终止条件时，根据所述准确率满足第一预设阈值的所述染色体个体构建目标卷积神经网络；以及
输入模块，用于将待识别对象输入至所述目标卷积神经网络，得到所述待识别对象对应的模式识别结果。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466063.1A CN111666991A (zh) | 2020-05-28 | 2020-05-28 | 基于卷积神经网络的模式识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466063.1A CN111666991A (zh) | 2020-05-28 | 2020-05-28 | 基于卷积神经网络的模式识别方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111666991A true CN111666991A (zh) | 2020-09-15 |
Family
ID=72384889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010466063.1A Pending CN111666991A (zh) | 2020-05-28 | 2020-05-28 | 基于卷积神经网络的模式识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666991A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012814A (zh) * | 2021-03-10 | 2021-06-22 | 浙江大学医学院附属邵逸夫医院 | 一种急性肾损伤容量反应性预测方法及系统 |
| CN113821985A (zh) * | 2021-11-22 | 2021-12-21 | 中移(上海)信息通信科技有限公司 | 一种交通状态预测方法、装置及电子设备 |
-
2020
- 2020-05-28 CN CN202010466063.1A patent/CN111666991A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012814A (zh) * | 2021-03-10 | 2021-06-22 | 浙江大学医学院附属邵逸夫医院 | 一种急性肾损伤容量反应性预测方法及系统 |
| CN113821985A (zh) * | 2021-11-22 | 2021-12-21 | 中移(上海)信息通信科技有限公司 | 一种交通状态预测方法、装置及电子设备 |
| CN113821985B (zh) * | 2021-11-22 | 2022-02-22 | 中移(上海)信息通信科技有限公司 | 一种交通状态预测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Structure learning for deep neural networks based on multiobjective optimization | |
| US11636343B2 (en) | Systems and methods for neural network pruning with accuracy preservation | |
| CN109902753B (zh) | 用户推荐模型训练方法、装置、计算机设备和存储介质 | |
| CN111507419B (zh) | 图像分类模型的训练方法及装置 | |
| CN111091175A (zh) | 神经网络模型训练方法、分类方法、装置和电子设备 | |
| CN112560964A (zh) | 基于半监督学习训练中草药病虫害识别模型的方法与系统 | |
| CN107223260B (zh) | 用于动态地更新分类器复杂度的方法 | |
| CN111967971B (zh) | 银行客户数据处理方法及装置 | |
| CN112149825A (zh) | 神经网络模型的训练方法及装置、电子设备、存储介质 | |
| CN110135681A (zh) | 风险用户识别方法、装置、可读存储介质及终端设备 | |
| CN112925909B (zh) | 一种考虑局部不变性约束的图卷积文献分类方法及系统 | |
| CN111666991A (zh) | 基于卷积神经网络的模式识别方法、装置和计算机设备 | |
| CN111191814A (zh) | 一种电价预测方法、系统和计算机可读存储介质 | |
| CN111062444A (zh) | 信用风险预测方法、系统、终端及存储介质 | |
| CN111401339A (zh) | 识别人脸图像中的人的年龄的方法、装置及电子设备 | |
| CN115732034A (zh) | 一种空间转录组细胞表达模式的识别方法及系统 | |
| CN116340726A (zh) | 一种能源经济大数据清洗方法、系统、设备及存储介质 | |
| CN115019885A (zh) | 一种猪全基因组snp位点筛选方法、装置及存储介质 | |
| CN111126501B (zh) | 一种图像识别方法、终端设备及存储介质 | |
| CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
| CN115881209A (zh) | 一种rna二级结构预测的处理方法和装置 | |
| CN116150638A (zh) | 基于簇置信度的深度聚类集成方法、装置、设备和介质 | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
| CN114282657A (zh) | 一种市场数据长期预测模型训练方法、装置、设备及存储介质 | |
| CN113627513A (zh) | 一种训练数据生成方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220525 Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd. Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001 Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd. |