CN110781968A - 一种基于塑性卷积神经网络的可扩展类别的图像识别方法 - Google Patents

Abstract

本发明属于图像识别领域，公开了一种基于塑性卷积神经网络的可扩展类别的图像识别方法。本发明通过构造一个具有元学习的能力的卷积塑性神经网络，并针对应用所需，管理、建立相应的待识别类别库，结合塑性神经网络，利用待识别库作数据支撑，使用循环判定的方法，对输入图片进行识别并返回识别结果。本发明解决了传统的目标识别方法的可识别类别的扩展性的问题，其优势在于当有未知类别需要识别时，只需要将该未知类别的一张或几张图片样本存储至待识别类别库中，而无需重新训练神经网络或调整识别算法，且对于样本的需求量要小于传统方法。

Description

一种基于塑性卷积神经网络的可扩展类别的图像识别方法

技术领域

本发明属于图像识别领域，涉及目标图像识别的计算方法，尤其是卷积神经网络与塑性神经网络相结合的具有元学习能力的目标识别方法，并利用该方法实现可扩展类别的图像识别。

背景技术

图像识别技术和方法是当今时代信息化产业下的产物，同时也是计算机视觉和数字图像处理研究领域下的一个非常热门的研究方向，图像识别技术在当今世界的军事、医疗、民用领域都有着非常广泛的应用，在机器人导航系统中、无人驾驶技术、智能视频的监控、工业产品检测与生产过程监控、航空航天等诸多领域内，图像识别技术都是不可缺少的。因此，图像识别也成为当今世界理论上和应用上的研究热点，同时它也是图像处理和计算机视觉学科的重要分支。总的来说，其目的是为了让计算机代替人类去处理大量的物理信息，特别是来自图片的信息。同时，随着神经网络算法的兴起和高速发展，使用各种神经网络方法进行图片识别已经成为了一种主流而有效的研究手段。近年来，在目前的公开测试结果中几乎所有的最佳识别效果均是由各种神经网络结构实现的，该方法已经成为了图片识别的重要手段。

当前进行图片识别的神经网络架构基本都采用了基于卷积神经网络原理的计算方法，包括大量的商业化的ORC识别技术、人脸识别技术、物体识别技术等。基于卷积神经网络的各种变种架构在识别原理上与卷积神经网络学习的过程一致，即先学习后判断。基于卷积神经网络的图像识别方法在学习环节中，其本质上都是利用链式求导计算损失函数对每个权重的偏导数(梯度)，然后根据梯度下降公式更新权重，即网络中的各个参数。通常这一过程中需要输入大量的相关图片数据用于对具体的类别进行学习，即通过预定义的图片训练数据库进行训练学习，利用习得的所有类别的特征进行图像识别。因此，如果要学习分辨几种类别的图像则必须获取这几种类别的大量样本图片进行学习，在学习完成之后，可以利用学得的神经网络对这几种类别进行识别。该类方法的局限性就在于，如果需要使用该类算法来识别某一种类别的图片，需要先获取大量的该类别的样本图片进行训练，同时，训练结束之后神经网络参数便固定下来了，因此该算法只能识别参与训练了的固定的那几个类别。

因此，针对具有广泛应用背景的基于神经网络的图片识别方法，如何结合这类计算过程的特点设计新的网络结构和方法，使得网络具有可扩展类别的识别能力，并且只需要待识别类别的少量样本，已成为该领域亟需解决的关键问题。

发明内容

本发明要解决的技术问题是：针对神经网络方法进行图片识别需要先获取大量的该类别的样本图片以进行训练，且算法只能识别参与训练的固定的几个类别的问题，本发明提供一种基于塑性卷积神经网络的可扩展类别的图像识别方法，本方法采用塑性网络和卷积神经网络相结合的结构及循环判定相结合的方式，可以在只有少量样本的情况下，对多个不固定的类别进行图片识别。本发明的技术方案是：

一种基于塑性卷积神经网络的可扩展类别的图像识别方法，包括以下步骤：

第一步，基于卷积神经网络和塑性神经网络，构造一个具有元学习能力的卷积塑性神经网络，其中，卷积塑性神经网络由11层结构组成，最前和最后分别为输入层和输出层，第2-9层为卷积池化层交替结构组成，第10层为由塑性网络层构造的classification层；卷积塑性神经网络通过对图片数据的学习能够学会如何学习(由塑性网络层赋予的能力)，从而通过一个类别的1张或几张图片就能习得该类别的特征，实现从几个类别中找到与待识别图片最相似的类别；其包含以下两个步骤：

(1.1)建立一个塑性神经网络用于数据计算；

(1.2)基于Imagenet开源数据集对(1.1)中的网络进行训练,训练步骤如下：

(1.2.1)进行参数初始化，将Imagenet数据集划分为训练集数据和测试集数据；

(1.2.2)以K-way-N-shot数据结构作为训练集数据的数据结构，其中，K-way表示每次待识别类别的数目，N-shot表示每个待识别类别的样本数目，加上一张待识别图片样本，共K×N+1张图片，每个类别均有一个唯一的标签，共K个编码标签，以上图片和标签作为一组训练数据，64组训练数据为一个batch，以batch为单位使用构造的网络进行计算并更新网络参数，直到完成M个batch；

(1.2.3)对测试集数据进行测试，当测试准确率大于P(如0.95时)时，预训练结束，保存训练好的参数结果，否则返回(1.2.2)直到测试准确率大于P；

第二步，针对应用所需，管理、建立待识别类别库，当需要对可识别类别进行拓展时只需要进行待识别类别库的管理操作，而无需重新建立和训练神经网络，其具体操作包含以下2个步骤：

(2.1)建立待识别类别库，在指定存储位置建立待识别类别库；

(2.2)管理类别库，对于每一个可能的图片类别存入至少一张图片作为样本；

第三步：使用第一步中的训练结果初始化神经网络，利用待识别库作数据支撑，对输入图片进行识别，并返回最终的识别结果给终端，其中包含以下4个步骤：

(3.1)网络初始化，加载训练好的参数文件；

(3.2)从待识别类别库中选取K个类别，每个类别取N张图片与待测图片共K×N+1张图片组成初始测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回与待识别图片最相似的类别；

(3.3)从待识别类别库中选取K-1个未参与过测试的类别与上一轮返回的最相似类别组成K个类，且当未测试类别少于K-1个时不足的以空白图片填充，每个类别取N张图片与待测图片共K×N+1张组成新一轮测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回结果；

(3.4)判断待识别类别库是否有未参与过判断的，有则返回(3.3)，没有则结束该识别，以最后一轮的识别结果为最终结果，返回给终端。

附图说明

图1是本发明中构建的卷积塑性神经网络结构图；

图2是本发明进行识别计算的具体实施流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

图1是本发明第一步构建的卷积塑性神经网络结构图。该网络由11层结构组成，最前和最后分别为输入层(接收顺序输入的图片)和输出层(输出长度为5的编码结果)，第2-9层为卷积池化层交替结构组成，第10层为由塑性网络层构造的classification层。每一层涉及的相关参数如卷积核大小、步长等在图一已经标出，且可以根据实际需要进行调整。

图2是本发明进行识别计算的具体实施流程图。以5-way-1-shot为例，master会将需要计算的某轮图片数据(5个类别，每类各一张，加一张待识别图片)传递给卷积塑性神经网络，网络则返回与待测图片最相似的类别编号发送给master，master根据返回的结果和待识别类别库，组织下一轮待测数据，直至遍历全部的待识别类别库。

本发明实施流程包含以下几个步骤：

第一步，基于卷积神经网络和塑性神经网络，构造一个具有元学习能力的卷积塑性神经网络，其中，卷积塑性神经网络由11层结构组成，最前和最后分别为输入层和输出层，第2-9层为卷积池化层交替结构组成，第10层为由塑性网络层构造的classification层；卷积塑性神经网络通过对图片数据的学习能够学会如何学习(由塑性网络层赋予的能力)，从而通过一个类别的1张或几张图片就能习得该类别的特征，实现从几个类别中找到与待识别图片最相似的类别；其包含以下两个步骤:

(1.1)建立一个塑性神经网络用于数据计算；

(1.2)基于Imagenet开源数据集对(1.1)中的网络进行训练,训练步骤如下：

(1.2.1)进行参数初始化，将数据集划分为训练集数据和测试集数据；

(1.2.2)以K-way-N-shot数据结构作为训练集数据的数据结构，其中，K-way表示每次待识别类别的数目，N-shot表示每个待识别类别的样本数目，加上一张待识别图片样本，共K×N+1张图片，每个类别均有一个唯一的标签，共K个编码标签，以上图片和标签作为一组训练数据，64组训练数据为一个batch，以batch为单位使用构造的网络进行计算并更新网络参数，直到完成M个batch；

(1.2.3)对测试集数据进行测试，当测试准确率大于P(如0.95时)时，预训练结束，保存训练好的参数结果，否则返回(1.2.2)直到测试准确率大于P；

第二步，针对应用所需，管理、建立待识别类别库，当需要对可识别类别进行拓展时只需要进行待识别类别库的管理操作，而无需重新建立和训练神经网络，其具体操作包含以下2个步骤：

(2.1)建立待识别类别库，在指定存储位置建立待识别类别库；

(2.2)管理类别库，对于每一个可能的图片类别存入至少一张图片作为样本；

第三步：使用第一步中的训练结果初始化神经网络，利用待识别库作数据支撑，对输入图片进行识别，并返回最终的识别结果给终端，其中包含以下4个步骤：

(3.1)网络初始化，加载训练好的参数文件；

(3.2)从待识别类别库中选取K个类别，每个类别取N张图片与待测图片共K×N+1张图片组成初始测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回与待识别图片最相似的类别；

(3.3)从待识别类别库中选取K-1个未参与过测试的类别与上一轮返回的最相似类别组成K个类，且当未测试类别少于K-1个时不足的以空白图片填充，每个类别取N张图片与待测图片共K×N+1张组成新一轮测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回结果；

(3.4)判断待识别类别库是否有未参与过判断的，有则返回(3.3)，没有则结束该识别，以最后一轮的识别结果为最终结果，返回给终端。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于塑性卷积神经网络的可扩展类别的图像识别方法，其特征在于，包括以下步骤：

第一步，基于卷积神经网络和塑性神经网络，构造一个具有元学习能力的卷积塑性神经网络，其中，卷积塑性神经网络由11层结构组成，最前和最后分别为输入层和输出层，第2-9层为卷积池化层交替结构组成，第10层为由塑性网络层构造的classification层；卷积塑性神经网络通过对图片数据的学习能够学会如何学习，从而通过一个类别的1张或几张图片就能习得该类别的特征，实现从几个类别中找到与待识别图片最相似的类别；其包含以下两个步骤:

(1.1)建立一个塑性神经网络用于数据计算；

(1.2)基于Imagenet开源数据集对(1.1)中的网络进行训练,训练步骤如下：

(1.2.1)进行参数初始化，将数据集划分为训练集数据和测试集数据；

(1.2.2)以K-way-N-shot数据结构作为训练集数据的数据结构，其中，K-way表示每次待识别类别的数目，N-shot表示每个待识别类别的样本数目，加上一张待识别图片样本，共K×N+1张图片，每个类别均有一个唯一的标签，共K个编码标签，以上图片和标签作为一组训练数据，64组训练数据为一个batch，以batch为单位使用构造的网络进行计算并更新网络参数，直到完成M个batch；

(1.2.3)对测试集数据进行测试，当测试准确率大于P时，预训练结束，保存训练好的参数结果，否则返回(1.2.2)直到测试准确率大于P；

第二步，针对应用所需，管理、建立待识别类别库，当需要对可识别类别进行拓展时只需要进行待识别类别库的管理操作，而无需重新建立和训练神经网络，其具体操作包含以下2个步骤：

(2.1)建立待识别类别库，在指定存储位置建立待识别类别库；

(2.2)管理类别库，对于每一个可能的图片类别存入至少一张图片作为样本；

第三步：使用第一步中的训练结果初始化神经网络，利用待识别库作数据支撑，对输入图片进行识别，并返回最终的识别结果给终端，其中包含以下4个步骤：

(3.1)网络初始化，加载训练好的参数文件；

(3.2)从待识别类别库中选取K个类别，每个类别取N张图片与待测图片共K×N+1张图片组成初始测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回与待识别图片最相似的类别；

(3.3)从待识别类别库中选取K-1个未参与过测试的类别与上一轮返回的最相似类别组成K个类，且当未测试类别少于K-1个时不足的以空白图片填充，每个类别取N张图片与待测图片共K×N+1张组成新一轮测试数据传递给卷积塑性神经网络，由卷积塑性神经网络判断并返回结果；

(3.4)判断待识别类别库是否有未参与过判断的，有则返回(3.3)，没有则结束该识别，以最后一轮的识别结果为最终结果，返回给终端。

Images