CN112686293A - 一种基于gmm识别模型的鸟类智能识别方法及系统 - Google Patents

Abstract

本发明为克服直接利用鸟类鸣声进行鸟类识别存在识别效果差的缺陷，提出一种基于GMM识别模型的鸟类智能识别方法，以及一种基于GMM识别模型的鸟类智能识别系统，其中包括以下步骤：采集鸟类声音信号，同时采集声音源方向的图像信号；将采集的鸟类声音信号和图像信号进行预处理；将经过预处理的鸟类声音信号和图像信号分别输入用于识别鸟类声音的GMM识别模型，以及用于识别鸟类图像的卷积神经网络模型，分别输出鸟类声音识别结果和鸟类图像识别结果。本发明采用GMM识别模型和卷积神经网络模型对输电线路环境的鸟类声音和鸟类图像进行识别，有效提高鸟类识别准确率。

Description

一种基于GMM识别模型的鸟类智能识别方法及系统

技术领域

本发明涉及声音识别技术领域，更具体地，涉及一种基于GMM识别模型的鸟类智能识别方法及系统。

背景技术

沿海丘陵地区鸟害覆盖时间久，输电线路经常会有鸟害发生。为了减少鸟害对输电线路的影响，输电线路运维人员会在鸟害高发时间段对线路进行高频率巡检，通过清除鸟巢或布置防鸟装置等措施减少鸟类在输电杆塔周围活动。虽然电力运维部门长期以来采取了多项防鸟害措施，但防鸟工作缺乏科学有效的方法发现并识别鸟类，使输电线路运维人员工作强度大且无法高效防范鸟害事故。

目前，已有一些针对鸟类分布情况和鸟害发生概率的研究工作，相比发展较为成熟的污区分布图和正在积极发展的冰区分布图，电力系统鸟害分布的相关技术研究进展缓慢。现有的针对输电线路的涉害鸟类研究，大多采用样线法等进行调研，同时与电网鸟害故障的统计信息和各地区的生态因素相结合，得到经验性的统计结果，但缺乏对广东沿海丘陵地区典型涉害鸟类的研究。现有的针对输电线路鸟类分布与生态环境关系的研究，只停留在简单的观察统计之中，也没有智能识别方法，无法有针对性的发现鸟害。目前应用于识别鸟类的方法有如公开号为CN110797033A(公开日：2020-02-14)提出的一种基于人工智能的声音识别方法，提出采集鸟类声音信号并进行特征提取后，输入到预先训练好的目标隐马尔可夫模型中进行识别，得到鸟类识别结果。然而，传统的利用鸟类鸣声进行鸟类识别的方法，一般是将鸟类的鸣声混在一起进行训练和识别，但是忽略了鸟类鸣声分为鸣叫声和鸣唱声的特点，而鸣叫声和鸣唱声是两种完全不同的鸣声类型，于是导致训练和识别的效果很差，存在鸟类识别准确率低的问题。

发明内容

本发明为克服上述现有技术所述的直接利用鸟类鸣声进行鸟类识别存在识别准确率低的缺陷，提供一种基于GMM识别模型的鸟类智能识别方法，以及一种基于GMM识别模型的鸟类智能识别系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于GMM识别模型的鸟类智能识别方法，包括以下步骤：

S1：采集鸟类声音信号，同时采集声音源方向的图像信号；

S2：将采集的鸟类声音信号和图像信号进行预处理；

S3：将经过预处理的鸟类声音信号和图像信号分别输入用于识别鸟类声音的GMM识别模型，以及用于识别鸟类图像的卷积神经网络模型，分别输出鸟类声音识别结果和鸟类图像识别结果，并分别存储在声纹库和图像库中；

S4：将待识别的鸟类声音信号和图像信号分别与所述声纹库和图像库中的样本进行比对，输出鸟类识别结果。

作为优选方案，所述S2步骤中，对图像信号进行预处理的具体步骤包括：

S2.1：将图像信号转换为灰度图；

S2.2：对图像进行边缘提取、图像降噪和归一化处理；

S2.3：对图像进行二进制化处理。

作为优选方案，所述S2.1步骤中，将图像信号转换为灰度图采用极值法、平均值法、加权法中的一种或多种。

作为优选方案，所述S2.3步骤中，对图像信号进行二进制化处理的步骤包括：设定当前图像的像素三分量分别为R,G,B，对所述像素分量R,G,B进行转换得到转换后的像素分量值gray，其表达公式如下：

gray＝0.4×R+0.2×g+0.4×B。

作为优选方案，所述S3步骤中，将图像信号输入卷积神经网络模型中的步骤包括：

将采集的图像信号进行二进制化处理，然后对其进行目标特征识别，得到图像特征样本；

将所述图像特征样本进行颜色通道转换并获取其灰度值，然后提取其轮廓特征并滤除背景，得到所述图像特征样本的形体轮廓；

将所述图像特征样本的形体轮廓输入卷积神经网络模型中，所述卷积神经网络模型对图像特征样本中的特征进行识别，输出得到图像分类结果。

作为优选方案，所述卷积神经网络模型包括2层卷积层和池化层、2层全连接层，以及1个输入层和1个输出层；所述卷积层中包括ReLU激活函数层，所述池化层采用max_pool最大池化方式，所述全连接层的神经元采用dropout方式，所述输出层采用softmax和AdamOptimizer优化器。

作为优选方案，所述S3步骤中还包括以下步骤：

采用稀疏自编码器通过隐藏层学习一个数据的表示或对原始数据进行有效编码，学习得到输入数据的特征，得到完成训练的卷积神经网络模型；其中所使用的数据为人工或网络采集的训练数据集，将所述训练数据集进行分辨率统一后保存为鸟类图像样本库。

作为优选方案，所述GMM识别模型包括鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型。

作为优选方案，所述鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型分别通过对获取的鸟类鸣叫声、鸟类鸣唱声和环境声样本进行MFCC(梅尔频率倒谱，Mel-FrequencyCepstrum)语音特征参数提取并构建得到。

本发明还提出了一种基于GMM识别模型的鸟类智能识别系统，应用于上述任一技术方案提出的基于GMM识别模型的鸟类智能识别方法，包括图像采集器、防水拾音器、ARM处理器、通信模块、后台服务器，其中：

所述图像采集器安装在输电线路杆塔上，所述图像采集器的输出端与所述ARM处理器的输入端连接；

所述防水拾音器安装在输电线路杆塔上，所述防水拾音器的输出端与所述ARM处理器的输入端连接；

所述ARM处理器通过所述通信模块与所述后台服务器数据交互；

所述ARM处理器用于对图像采集器和防水拾音器分别采集的图像信号和声音信号进行识别，输出得到鸟类识别结果，然后通过通信模块传送到后台服务器中。

与现有技术相比，本发明技术方案的有益效果是：本发明采用GMM识别模型和卷积神经网络模型对输电线路环境的鸟类声音和鸟类图像进行识别，有效提高鸟类识别准确率，有利于针对鸟类分布情况和鸟害发生概率的研究工作的开展。

附图说明

图1为实施例1的基于GMM识别模型的鸟类智能识别方法的流程图。

图2为实施例2的基于GMM识别模型的鸟类智能识别系统的结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提出一种基于GMM识别模型的鸟类智能识别方法，如图1所示，为本实施例的基于GMM识别模型的鸟类智能识别方法的流程图。

本实施例提出的基于GMM识别模型的鸟类智能识别方法中，包括以下步骤：

S1：采集鸟类声音信号，同时采集声音源方向的图像信号。

S2：将采集的鸟类声音信号和图像信号进行预处理。

本步骤中，对图像信号进行预处理的具体步骤包括：

S2.1：将图像信号转换为灰度图；

S2.2：对图像进行边缘提取、图像降噪和归一化处理；

S2.3：对图像进行二进制化处理。

本实施例中，将图像信号转换为灰度图采用极值法、平均值法、加权法中的一种或多种。

本实施例中，对图像信号进行二进制化处理的步骤包括：设定当前图像的像素三分量分别为R,G,B，对像素分量R,G,B进行转换得到转换后的像素分量值gray，其表达公式如下：

gray＝0.4×R+0.2×g+0.4×B。

S3：将经过预处理的鸟类声音信号和图像信号分别输入用于识别鸟类声音的GMM识别模型，以及用于识别鸟类图像的卷积神经网络模型，分别输出鸟类声音识别结果和鸟类图像识别结果，并分别存储在声纹库和图像库中；

S4：将待识别的鸟类声音信号和图像信号分别与所述声纹库和图像库中的样本进行比对，输出鸟类识别结果。

本实施例中，将图像信号输入卷积神经网络模型中的步骤包括：

将采集的图像信号进行二进制化处理，然后对其进行目标特征识别，得到图像特征样本；

将图像特征样本进行颜色通道转换并获取其灰度值，然后提取其轮廓特征并滤除背景，得到图像特征样本的形体轮廓；

将图像特征样本的形体轮廓输入卷积神经网络模型中，卷积神经网络模型对图像特征样本中的特征进行识别，输出得到图像分类结果。

进一步的，本实施例中的卷积神经网络模型包括2层卷积层和池化层、2层全连接层，以及1个输入层和1个输出层；卷积层中包括ReLU激活函数层，池化层采用max_pool最大池化方式，全连接层的神经元采用dropout方式，输出层采用softmax和AdamOptimizer优化器。

进一步的，本步骤还包括以下步骤：采用稀疏自编码器通过隐藏层学习一个数据的表示或对原始数据进行有效编码，学习得到输入数据的特征，得到完成训练的卷积神经网络模型；其中所使用的数据为人工或网络采集的训练数据集，将训练数据集进行分辨率统一后保存为鸟类图像样本库。

本实施例中，用于识别鸟类声音信号的GMM识别模型包括鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型。其中，鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型分别通过对获取的鸟类鸣叫声、鸟类鸣唱声和环境声样本进行MFCC语音特征参数提取并构建得到。

在一具体实施过程中，选择100个测试样本通过软件平台，来验证以MFCC为特征参数以双重GMM为识别模型的鸟类智能识别方法的准确性和效率。

测试选取了多种鸟类，分别为：红嘴相思鸟、淡尾鹟莺、纵纹腹小鸮、松雀鹰、红隼、金翅、金腰燕、棕胸岩鹨、麻雀、赤颈鸫、白眉鸫、银喉山雀、棕背伯劳、黄臀鹎、啄木鸟、杜鹃、环颈雉、灰头麦鸡、大白鹭、岩鸽、山斑鸠、戴胜、丹顶鹤、鹌鹑、苍鹭、白天鹅、红嘴鸥、秋沙鸭、黑鹳、鹊鸭、鸳鸯、骨顶鸡、鸬鹚和白琵鹭等数百种，在Matlab中，对以上鸟类样本，分别按照每种鸟类的鸣叫声和鸣唱声、环境声提取特征参数MFCCA，训练GMM模型，得到模型库。

在收集了十余种鸟类共100个样本作为测试样本，通过本实施例提出的基于GMM识别模型的鸟类智能识别方法来验证以MFCC为特征参数以三重GMM为识别模型的鸟类智能识别方法的准确性和效率。获得的初始样本的格式为mp3格式，通过Goldwave软件将测试样本的格式转换为wav格式，测试样本的采样频率为48000Hz，比特率为320000bps，时长为几秒到45秒不等，用Goldwave软件对测试样本经过除噪等预处理后，采用本实施例提出的基于GMM识别模型的鸟类智能识别方法进行测试，其测试结果如下表1所示。

表1

由表1数据可以看出，在正确识别率方面，以MFCC为特征参数且以三支并行GMM为识别模型的鸟类智能识别方法对种鸟类的正确识别率达到95.00％以上，具有良好的识别效果。

实施例2

本实施例提出一种基于GMM识别模型的鸟类智能识别系统，应用于实施例1提出的基于GMM识别模型的鸟类智能识别方法。如图2所示，为本实施例的基于GMM识别模型的鸟类智能识别系统的结构示意图。

本实施例提出的基于GMM识别模型的鸟类智能识别系统中，包括图像采集器1、防水拾音器2、ARM处理器3、通信模块4、后台服务器5，其中：

图像采集器1安装在输电线路杆塔上，图像采集器1的输出端与ARM处理器3的输入端连接；

防水拾音器2安装在输电线路杆塔上，防水拾音器2的输出端与ARM处理器3的输入端连接；

ARM处理器3通过通信模块4与后台服务器5数据交互；

ARM处理器3用于对图像采集器1和防水拾音器2分别采集的图像信号和声音信号进行识别，输出得到鸟类识别结果，然后通过通信模块4传送到后台服务器5中。

本实施例中，ARM处理器3中搭载有用于识别鸟类声音的GMM识别模型，以及用于识别鸟类图像的卷积神经网络模型。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于GMM识别模型的鸟类智能识别方法，其特征在于，包括以下步骤：

S1：采集鸟类声音信号，同时采集声音源方向的图像信号；

S2：将采集的鸟类声音信号和图像信号进行预处理；

S3：将经过预处理的鸟类声音信号和图像信号分别输入用于识别鸟类声音的GMM识别模型，以及用于识别鸟类图像的卷积神经网络模型，分别输出鸟类声音识别结果和鸟类图像识别结果，并分别存储在声纹库和图像库中；

S4：将待识别的鸟类声音信号和图像信号分别与所述声纹库和图像库中的样本进行比对，输出鸟类识别结果。

2.根据权利要求1所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述S2步骤中，对图像信号进行预处理的具体步骤包括：

S2.1：将图像信号转换为灰度图；

S2.2：对图像进行边缘提取、图像降噪和归一化处理；

S2.3：对图像进行二进制化处理。

3.根据权利要求2所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述S2.1步骤中，将图像信号转换为灰度图采用极值法、平均值法、加权法中的一种或多种。

4.根据权利要求2所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述S2.3步骤中，对图像信号进行二进制化处理的步骤包括：设定当前图像的像素三分量分别为R,G,B，对所述像素分量R,G,B进行转换得到转换后的像素分量值gray，其表达公式如下：

gray＝0.4×R+0.2×g+0.4×B。

5.根据权利要求2所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述S3步骤中，将图像信号输入卷积神经网络模型中的步骤包括：

将采集的图像信号进行二进制化处理，然后对其进行目标特征识别，得到图像特征样本；

将所述图像特征样本进行颜色通道转换并获取其灰度值，然后提取其轮廓特征并滤除背景，得到所述图像特征样本的形体轮廓；

将所述图像特征样本的形体轮廓输入卷积神经网络模型中，所述卷积神经网络模型对图像特征样本中的特征进行识别，输出得到图像分类结果。

6.根据权利要求5所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述卷积神经网络模型包括2层卷积层和池化层、2层全连接层，以及1个输入层和1个输出层；所述卷积层中包括ReLU激活函数层，所述池化层采用max_pool最大池化方式，所述全连接层的神经元采用dropout方式，所述输出层采用softmax和AdamOptimizer优化器。

7.根据权利要求5所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述S3步骤中还包括以下步骤：

采用稀疏自编码器通过隐藏层学习一个数据的表示或对原始数据进行有效编码，学习得到输入数据的特征，得到完成训练的卷积神经网络模型；其中所使用的数据为人工或网络采集的训练数据集，将所述训练数据集进行分辨率统一后保存为图像库。

8.根据权利要求1所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述GMM识别模型包括鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型。

9.根据权利要求8所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，所述鸣叫声GMM模型、鸣唱声GMM模型和环境GMM模型分别通过对获取的鸟类鸣叫声、鸟类鸣唱声和环境声样本进行MFCC语音特征参数提取并构建得到。

10.一种基于GMM识别模型的鸟类智能识别系统，应用于权利要求1～9任一项所述的基于GMM识别模型的鸟类智能识别方法，其特征在于，包括图像采集器、防水拾音器、ARM处理器、通信模块、后台服务器，其中：

所述图像采集器安装在输电线路杆塔上，所述图像采集器的输出端与所述ARM处理器的输入端连接；

所述防水拾音器安装在输电线路杆塔上，所述防水拾音器的输出端与所述ARM处理器的输入端连接；

所述ARM处理器通过所述通信模块与所述后台服务器数据交互；所述ARM处理器用于对图像采集器和防水拾音器分别采集的图像信号和声音信号进行识别，输出得到鸟类识别结果，然后通过通信模块传送到后台服务器中。

Images