CN110245625B - 一种基于孪生神经网络的野外大熊猫识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于孪生神经网络的野外大熊猫识别方法及系统，属于智能身份识别领域，本发明要解决的技术问题为如何对大熊猫头像进行自动识别，进而识别野外大熊猫的身份，并能对新发现的野生大熊猫进行持续追踪观察，技术方案为：①该方法是使用孪生神经网络模型对大熊猫头像进行特征提取和降维，计算降维后的特征向量与其他大熊猫的特征向量的距离，进而得到大熊猫头像的相似度；步骤如下：S1、建立孪生神经网络模型；S2、构建训练数据集；S3、训练孪生神经网络模型M；S4、使用训练后的孪生神经网络模型对野外大熊猫进行身份识别。②该系统包括孪生神经网络模型建立单元、训练数据集构建单元、孪生神经网络模型训练单元及身份识别单元。

Description

一种基于孪生神经网络的野外大熊猫识别方法及系统

技术领域

本发明涉及智能身份识别领域，具体地说是种一种基于孪生神经网络的野外大熊猫识别方法及系统。

背景技术

孪生神经网络是指由相同的两个神经网络组成的神经网络模型，两个神经网络拥有同样的网络结构并共享全部参数，但输入不同的数据，在模型输出层得到两个输入的低维特征向量。如果两个低维特征向量的距离较小，认为两个输入相似度较高，否则两个输入的相似度低。孪生神经网络可以应用在签名验证、身份识别等场合。为了训练孪生神经网络模型，首先需要数据集，然后设定孪生神经网络的结构，定义损失函数，最后输入样本优化模型。在训练阶段，输入为样本对和样本标注信息，预测阶段输入单个样本，输出该样本的特征向量。

大熊猫是我国国家一级保护动物，属于易濒危物种，目前全球圈养数量为数百只，野外大熊猫数量为数千只。保护大熊猫的野外生存环境，将大熊猫放归野外是保护大熊猫的重要工作。野外大熊猫和放归保护区的大熊猫都需要追踪保护，通过保护区的视频监控系统，可以发现大熊猫。如附图1所示，大熊猫头部正面特征包括耳朵、头部、眼睛和眼圈、鼻子、嘴巴、脸颊毛色变化等，这些形状和颜色变化为大熊猫的身份识别提供了视觉基础。故如何对大熊猫头像进行自动识别，进而识别野外大熊猫的身份，并能对新发现的野生大熊猫进行持续追踪观察是目前现有技术中急需解决的技术问题。

专利号为CN109243467A的专利文献公开了声纹模型构建方法、声纹识别方法及系统，该声纹模型构建方法包括：步骤S1：建立孪生神经网络，所述孪生神经网络包括两个相同的子网，每一个所述子网包括特征提取模块以及特征表达模块；步骤S2：利用第一训练样本库、第一损失函数对所述创建的孪生神经网络进行第一训练；步骤S3：利用第二训练样本库、第二损失函数对经过所述第一训练的孪生神经网络进行第二训练，得到声纹模型。该技术方案是采用孪生网络的思想对声纹模型的网络结构进行设计，并通过第一训练和第二训练实现声纹模型对不同人的音频声纹进行聚类，使训练后得到的声纹模型能够有效对音频文件进行声纹矢量化，从而有利于提高声纹识别的准确率；但是不能实现对大熊猫身份进行自动识别，尤其对新发现的野生大熊猫进行持续追踪保护及观察。

发明内容

本发明的技术任务是提供一种基于孪生神经网络的野外大熊猫识别方法及系统，来解决如何对大熊猫头像进行自动识别，进而识别野外大熊猫的身份，并能对新发现的野生大熊猫进行持续追踪观察的问题。

本发明的技术任务是按以下方式实现的，一种基于孪生神经网络的野外大熊猫识别方法，该方法是使用孪生神经网络模型对大熊猫头像进行特征提取和降维，计算降维后的特征向量与其他大熊猫的特征向量的距离，进而得到大熊猫头像的相似度；具体步骤如下：

S1、建立孪生神经网络模型：建立大熊猫身份识别的孪生神经网络模型M；

S2、构建训练数据集：收集孪生神经网络模型的训练数据集；

S3、训练孪生神经网络模型M：使用步骤S2构建的训练数据集训练孪生神经网络模型M；

S4、身份识别：使用训练后的孪生神经网络模型对野外大熊猫进行身份识别。

作为优选，所述步骤S1中建立大熊猫身份识别的孪生神经网络模型M的具体步骤如下：

S101、建立由卷积层、Batch Normalization层和全连接层构成的神经网络；

S102、步骤S101建立的神经网络对输入的图像进行特征提取与降低特征维度，并保证相同身份的大熊猫图像经过特征降维之后的向量距离不超过不同身份的大熊猫图像经过特征降维之后的向量距离；

S103、神经网络中的输入层输入图像分辨率设置为512×512大小的RGB彩色图像；

S104、设置层名称并在层配置中列出：以’conv’开头的为卷积层，以’fc’开头的为全连接层，卷积层中卷积操作的卷积核大小、卷积核个数以及移动步长s在层配置中列出，全连接层每层的神经元个数也在层配置中列出；

S105、每个卷积层除卷积运算外，使用Batch Normalization层重新分布数据并输出输入到ReLU激活层；全连接层使用sigmoid函数作为激活层。

更优地，所述向量距离采用欧式距离。

作为优选，所述步骤S2中收集孪生神经网络模型的训练数据集的具体步骤如下：

S201、拍摄人工饲养的成年大熊猫头部正面照片，即为头像；

S202、每只成年大熊猫应该拍摄不少于10张的头像，每张头像的拍摄角度不同(拍摄角度适当微调，例如偏左、偏右、偏上、偏下等角度)，并记录每张头像对应的大熊猫身份(例如编号或名字等唯一标识)；

S203、所有头像以RGB彩色图像格式保存且所有头像对应的身份以字符串或整数格式保存；

S204、拍摄成年大熊猫数量不少于200张头像形成训练数据集；

S205、使用步骤S204中的训练数据集，输入成对的头像和对应的身份信息，训练孪生神经网络模型。

作为优选，所述步骤S3中训练孪生神经网络模型M的具体步骤如下：

S301、判断输入孪生神经网络模型M的头像数据对(photo1,photo2)和头像photo1与photo2是否为同一只大熊猫的标志y：

①、若是，则y＝1；

②、若不是，则y＝0；

S302、孪生神经网络模型M的两个神经网络分别输入头像photo1与photo2，输出为特征向量v₁和v₂，设定孪生神经网络模型M的损失函数为：

loss＝y*dist(v₁,v₂)+(1-y)*max(0,dist(v₁,v₂)+α)；

其中，max()表示取最大函数；dist()表示向量距离函数；α表示不同身份的头像对应的特征向量的最小距离，α＞0；

S303、设定Batch Size为24或大于24的整数，训练孪生神经网络模型M。

更优地，所述向量距离函数为欧式距离函数。

更优地，所述步骤S303中训练孪生神经网络模型M后，将训练孪生神经网络模型M转换为预测模式，设定阀值β≥α。

更优地，所述步骤S4中使用训练后的孪生神经网络模型对野外大熊猫进行身份识别的具体步骤如下：

S401、设集合wild_pandas为野外大熊猫集合：

wild_pandas＝{(id,feature_set)}；

其中，id表示大熊猫的唯一标识；feature_set表示该id大熊猫的特征向量集合；

S402、初始化

空集；

S403、当拍摄到一只野外大熊猫时，取该野外大熊猫的头像，输入到训练后的模型，得到其低维的特征向量v，并判断wild_pandas是否为空集：

①、若wild_pandas集合为空，则跳转至步骤S407；

②、若否，则下一步执行步骤S404；

S404、遍历wild_pandas集合，计算特征向量v与wild_pandas每个id对应集合的feature_set中的特征向量的距离δ，得到与特征向量v距离最小的特征向量所对应的身份为id_j；

S405、判断特征向量的距离δ是否小于阀值β：

①、若距离δ小于阈值β，则下一步执行步骤S406；

②、若距离δ不小于阈值，则跳转至步骤S407；

S406、判定该大熊猫身份为id_j，并判断对应的集合feature_set中向量个数是否少于10：

①、若对应的集合feature_set中向量个数少于10，则将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

②、若对应的集合feature_set中向量个数不少于10，则删除feature_set中存在时间最久的特征向量，并将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

S407、生成唯一id，将(id,feature_set＝{v})加入到wild_pandas集合；

S408、返回id。

一种基于孪生神经网络的野外大熊猫识别系统，该系统包括，

孪生神经网络模型建立单元，用于建立大熊猫身份识别的孪生神经网络模型M；

训练数据集构建单元，用于收集孪生神经网络模型的训练数据集；

孪生神经网络模型训练单元，用于使用构建的数据集训练孪生神经网络模型M；

身份识别单元，用于使用训练后的孪生神经网络模型对野外大熊猫进行身份识别。

本发明的基于孪生神经网络的野外大熊猫识别方法及系统具有以下优点：

(一)、传统的大熊猫身份的识别主要依靠DNA等生物识别技术，而本发明使用孪生神经网络模型对大熊猫头像进行特征提取和降维，计算降维后的特征向量与其他大熊猫的特征向量的距离，进而得到大熊猫头像的相似度，实现大熊猫身份的自动识，可以应用到野外成年大熊猫的追踪保护工作中；

(二)、本发明建立人工饲养的大熊猫图像数据集，训练孪生神经网络使其具有辨识大熊猫身份的能力，通过图像信号确认大熊猫身份的方法可以在野外部署，自动建立野外成年大熊猫图像数据库，并可用于野外大熊猫的追踪保护工作；

(三)、本发明利用神经网络识别野外成年大熊猫的方法能够实现自动化识别大熊猫，降低野外大熊猫的保护成本，是一种人工智能技术在野生动物保护工作上的应用。

附图说明

下面结合附图对本发明进一步说明。

附图1为大熊猫头部正面特征示意图；

附图2为基于孪生神经网络的野外大熊猫识别方法的流程框图；

附图3为孪生神经网络的结构配置示意图；

附图4为基于孪生神经网络的野外大熊猫识别系统的结构框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于孪生神经网络的野外大熊猫识别方法及系统作以下详细地说明。

实施例1：

如附图1所示，本发明的基于孪生神经网络的野外大熊猫识别方法,该方法是使用孪生神经网络模型对大熊猫头像进行特征提取和降维，计算降维后的特征向量与其他大熊猫的特征向量的距离，进而得到大熊猫头像的相似度；具体步骤如下：

S1、建立孪生神经网络模型：建立大熊猫身份识别的孪生神经网络模型M；如附图3所示，具体步骤如下：

S101、建立由卷积层、Batch Normalization层和全连接层构成的神经网络；

S102、步骤S101建立的神经网络对输入的图像进行特征提取与降低特征维度，并保证相同身份的大熊猫图像经过特征降维之后的向量距离不超过不同身份的大熊猫图像经过特征降维之后的向量距离；其中，向量距离采用欧式距离。

S103、神经网络中的输入层输入图像分辨率设置为512×512大小的RGB彩色图像；

S104、设置层名称并在层配置中列出：以’conv’开头的为卷积层，以’fc’开头的为全连接层，卷积层中卷积操作的卷积核大小、卷积核个数以及移动步长s在层配置中列出，全连接层每层的神经元个数也在层配置中列出；

S105、每个卷积层除卷积运算外，使用Batch Normalization层重新分布数据并输出输入到ReLU激活层；全连接层使用sigmoid函数作为激活层。

S2、构建训练数据集：收集孪生神经网络模型的训练数据集；具体步骤如下：

S201、拍摄人工饲养的成年大熊猫头部正面照片，即为头像；

S202、每只成年大熊猫应该拍摄不少于10张的头像，每张头像的拍摄角度不同(拍摄角度适当微调，例如偏左、偏右、偏上、偏下等角度)，并记录每张头像对应的大熊猫身份(例如编号或名字等唯一标识)；

S203、所有头像以RGB彩色图像格式保存且所有头像对应的身份以字符串或整数格式保存；

S204、拍摄成年大熊猫数量不少于200张头像形成训练数据集；

S205、使用步骤S204中的训练数据集，输入成对的头像和对应的身份信息，训练孪生神经网络模型。

S3、训练孪生神经网络模型M：使用步骤S2构建的训练数据集训练孪生神经网络模型M；具体步骤如下：

S301、判断输入孪生神经网络模型M的头像数据对(photo1,photo2)和头像photo1与photo2是否为同一只大熊猫的标志y：

①、若是，则y＝1；

②、若不是，则y＝0；

S302、孪生神经网络模型M的两个神经网络分别输入头像photo1与photo2，输出为特征向量v₁和v₂，设定孪生神经网络模型M的损失函数为：

loss＝y*dist(v₁,v₂)+(1-y)*max(0,dist(v₁，v₂)+α)；

其中，max()表示取最大函数；dist()表示向量距离函数，向量距离函数为欧式距离函数；α表示不同身份的头像对应的特征向量的最小距离，α＞0；

S303、设定Batch Size为24或大于24的整数，训练孪生神经网络模型M；步骤S303中训练孪生神经网络模型M后，将训练孪生神经网络模型M转换为预测模式，设定阀值β≥α。

S4、身份识别：使用训练后的孪生神经网络模型对野外大熊猫进行身份识别，具体步骤如下：

S401、设集合wild_pandas为野外大熊猫集合：

wild_pandas＝{(id，feature_set)}；

其中，id表示大熊猫的唯一标识；feature_set表示该id大熊猫的特征向量集合；

S402、初始化

空集；

S403、当拍摄到一只野外大熊猫时，取该野外大熊猫的头像，输入到训练后的模型，得到其低维的特征向量v，并判断wild_pandas是否为空集：

①、若wild_pandas集合为空，则跳转至步骤S407；

②、若否，则下一步执行步骤S404；

S404、遍历wild_pandas集合，计算特征向量v与wild_pandas每个id对应的集合feature_set中的特征向量的距离δ，得到与特征向量v距离最小的特征向量所对应的身份为id_j；

S405、判断特征向量的距离δ是否小于阀值β：

①、若距离δ小于阈值β，则下一步执行步骤S406；

②、若距离δ不小于阈值，则跳转至步骤S407；

S406、判定该大熊猫身份为id_j，并判断对应的集合feature_set中向量个数是否少于10：

①、若对应的集合feature_set中向量个数少于10，则将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

②、若对应的集合feature_set中向量个数不少于10，则删除feature_set中存在时间最久的特征向量，并将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

S407、生成唯一id，将(id,feature_set＝{v})加入到wild_pandas集合；

S408、返回id。

实施例2：

如附图4所示，本发明的基于孪生神经网络的野外大熊猫识别系统，该系统包括，

孪生神经网络模型建立单元，用于建立大熊猫身份识别的孪生神经网络模型M；

训练数据集构建单元，用于收集孪生神经网络模型的训练数据集；

孪生神经网络模型训练单元，用于使用构建的数据集训练孪生神经网络模型M；

身份识别单元，用于使用训练后的孪生神经网络模型对野外大熊猫进行身份识别。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于孪生神经网络的野外大熊猫识别方法，其特征在于，该方法是使用孪生神经网络模型对大熊猫头像进行特征提取和降维，计算降维后的特征向量与其他大熊猫的特征向量的距离，进而得到大熊猫头像的相似度；具体步骤如下：

S1、建立孪生神经网络模型：建立大熊猫身份识别的孪生神经网络模型M；具体步骤如下：

S101、建立由卷积层、Batch Normalization层和全连接层构成的神经网络；

S102、步骤S101建立的神经网络对输入的图像进行特征提取与降低特征维度，并保证相同身份的大熊猫图像经过特征降维之后的向量距离不超过不同身份的大熊猫图像经过特征降维之后的向量距离；

S103、神经网络中的输入层输入图像分辨率设置为512×512大小的RGB彩色图像；

S104、设置层名称并在层配置中列出：以’conv’开头的为卷积层，以’fc’开头的为全连接层，卷积层中卷积操作的卷积核大小、卷积核个数以及移动步长s在层配置中列出，全连接层每层的神经元个数也在层配置中列出；

S105、每个卷积层除卷积运算外，使用Batch Normalization层重新分布数据并输出输入到ReLU激活层；全连接层使用sigmoid函数作为激活层；

S2、构建训练数据集：收集孪生神经网络模型的训练数据集；

S3、训练孪生神经网络模型M：使用步骤S2构建的训练数据集训练孪生神经网络模型M；

S4、身份识别：使用训练后的孪生神经网络模型对野外大熊猫进行身份识别；具体步骤如下：

S401、设集合wild_pandas为野外大熊猫集合：

wild_pandas＝{(id，feature_set)}；

其中，id表示大熊猫的唯一标识；feature_set表示该id大熊猫的特征向量集合；

S402、初始化

空集；

S403、当拍摄到一只野外大熊猫时，取该野外大熊猫的头像，输入到训练后的模型，得到其低维的特征向量v，并判断wild_pandas是否为空集：

①、若wild_pandas集合为空，则跳转至步骤S407；

②、若否，则下一步执行步骤S404；

S404、遍历wild_pandas集合，计算特征向量v与wild_pandas每个id对应的集合feature_set中的特征向量的距离δ，得到与特征向量v距离最小的特征向量所对应的身份为id_j；

S405、判断特征向量的距离6是否小于阀值β：

①、若距离δ小于阈值p，则下一步执行步骤S406；

②、若距离δ不小于阈值，则跳转至步骤S407；

S406、判定该大熊猫身份为id_j，并判断对应的集合feature_set中向量个数是否少于10：

①、若对应的feature_set集合中向量个数少于10，则将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

②、若对应的feature_set集合中向量个数不少于10，则删除feature_set中存在时间最久的特征向量，并将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

S407、生成唯一id，将(id，feature_set＝{v})加入到wild_pandas集合；

S408、返回id。

2.根据权利要求1所述的基于孪生神经网络的野外大熊猫识别方法，其特征在于，所述向量距离采用欧式距离。

3.根据权利要求1所述的基于孪生神经网络的野外大熊猫识别方法，其特征在于，所述步骤S2中收集孪生神经网络模型的训练数据集的具体步骤如下：

S201、拍摄人工饲养的成年大熊猫头部正面照片，即为头像；

S202、每只成年大熊猫应该拍摄不少于10张的头像，每张头像的拍摄角度不同，并记录每张头像对应的大熊猫身份；

S203、所有头像以RGB彩色图像格式保存且所有头像对应的身份以字符串或整数格式保存；

S204、拍摄成年大熊猫数量不少于200张头像形成训练数据集；

S205、使用步骤S204中的训练数据集，输入成对的头像和对应的身份信息，训练孪生神经网络模型。

4.根据权利要求1所述的基于孪生神经网络的野外大熊猫识别方法，其特征在于，所述步骤S3中训练孪生神经网络模型M的具体步骤如下：

S301、判断输入孪生神经网络模型M的头像数据对(photo1，photo2)和头像photo1与photo2是否为同一只大熊猫的标志y：

①、若是，则y＝1；

②、若不是，则y＝0；

S302、孪生神经网络模型M的两个神经网络分别输入头像photo1与photo2，输出为特征向量v₁和v₂，设定孪生神经网络模型M的损失函数为：

loss＝y*dist(v₁，v₂)+(1-y)*max(0，dist(v₁，v₂)+α)；

其中，max()表示取最大函数；dist()表示向量距离函数；α表示不同身份的头像对应的特征向量的最小距离，α＞0；

S303、设定Batch Size为24或大于24的整数，训练孪生神经网络模型M。

5.根据权利要求4所述的基于孪生神经网络的野外大熊猫识别方法，其特征在于，所述向量距离函数为欧式距离函数。

6.根据权利要求5所述的基于孪生神经网络的野外大熊猫识别方法，其特征在于，所述步骤S303中训练孪生神经网络模型M后，将训练孪生神经网络模型M转换为预测模式，设定阀值β≥α。

7.一种基于孪生神经网络的野外大熊猫识别系统，其特征在于，该系统包括，

孪生神经网络模型建立单元，用于建立大熊猫身份识别的孪生神经网络模型M；具体步骤如下：

S101、建立由卷积层、Batch Normalization层和全连接层构成的神经网络；

S102、步骤S101建立的神经网络对输入的图像进行特征提取与降低特征维度，并保证相同身份的大熊猫图像经过特征降维之后的向量距离不超过不同身份的大熊猫图像经过特征降维之后的向量距离；

S103、神经网络中的输入层输入图像分辨率设置为512×512大小的RGB彩色图像；

S104、设置层名称并在层配置中列出：以’conv’开头的为卷积层，以’fc’开头的为全连接层，卷积层中卷积操作的卷积核大小、卷积核个数以及移动步长s在层配置中列出，全连接层每层的神经元个数也在层配置中列出；

S105、每个卷积层除卷积运算外，使用Batch Normalization层重新分布数据并输出输入到ReLU激活层；全连接层使用sigmoid函数作为激活层；

训练数据集构建单元，用于收集孪生神经网络模型的训练数据集；

孪生神经网络模型训练单元，用于使用构建的数据集训练孪生神经网络模型M；

身份识别单元，用于使用训练后的孪生神经网络模型对野外大熊猫进行身份识别；具体步骤如下：

S401、设集合wild_pandas为野外大熊猫集合：

wild_pandas＝{(id，feature_set)}；

其中，id表示大熊猫的唯一标识；feature_set表示该id大熊猫的特征向量集合；

S402、初始化

空集；

S403、当拍摄到一只野外大熊猫时，取该野外大熊猫的头像，输入到训练后的模型，得到其低维的特征向量v，并判断wild_pandas是否为空集：

①、若wild_pandas集合为空，则跳转至步骤S407；

②、若否，则下一步执行步骤S404；

S404、遍历wild_pandas集合，计算特征向量v与wild_pandas每个id对应的集合feature_set中的特征向量的距离δ，得到与特征向量v距离最小的特征向量所对应的身份为id_j；

S405、判断特征向量的距离6是否小于阀值β：

①、若距离6小于阈值β，则下一步执行步骤S406；

②、若距离δ不小于阈值，则跳转至步骤S407；

S406、判定该大熊猫身份为id_j，并判断对应的集合feature_set中向量个数是否少于10：

①、若对应的feature_set集合中向量个数少于10，则将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

②、若对应的feature_set集合中向量个数不少于10，则删除feature_set中存在时间最久的特征向量，并将v加入到该id_j对应的集合feature_set中，跳转至步骤S408；

S407、生成唯一id，将(id，feature_set＝{v})加入到wild_pandas集合；

S408、返回id。

Images