CN110837771A - 一种基于卷积神经网络的鸟类识别方法和装置 - Google Patents

一种基于卷积神经网络的鸟类识别方法和装置 Download PDF

Info

Publication number
CN110837771A
CN110837771A CN201910875685.7A CN201910875685A CN110837771A CN 110837771 A CN110837771 A CN 110837771A CN 201910875685 A CN201910875685 A CN 201910875685A CN 110837771 A CN110837771 A CN 110837771A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
bird
identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910875685.7A
Other languages
English (en)
Inventor
华斯亮
徐健
卞九辉
华强
张静亚
刘玉申
洪学鹍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN201910875685.7A priority Critical patent/CN110837771A/zh
Publication of CN110837771A publication Critical patent/CN110837771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的鸟类识别方法，应用于一个或多个电子设备，所述方法包括以下步骤(1)采集端获取原始图片；(2)识别端接收照片；(3)对步骤(2)中接收的照片进行预处理，具体为优化的卷积神经网络MobileNetv2根据原始图像的像素，将图像进行具有重叠区域的分割、特征提取、特征选择和特征分类；(4)优化的目标识别模型识别预处理后的图像，并将识别结果按照切割大小和步长，拼接成原始图像的位置，对切割图像的重叠区域的识别结果做出融合处理；(5)对比鸟类图像的数据集识别鸟类并保存、统计；对于未识别出鸟类的照片，根据识别端的存储配置，可抛弃或保留或部分保留。本发明提供的上述方法，可有效提高图片的识别精度。

Description

一种基于卷积神经网络的鸟类识别方法和装置
技术领域
本发明一种基于卷积神经网络的鸟类识别方法和装置。
背景技术
近年来，以卷积神经网络为代表的深度学习算法在很多计算机视觉领域都取得突破性的进展，尤其是图像分类、目标跟踪、图像分割、目标检测等。但是当数据集发生变化时，卷积神经网络学习到的特征和具体任务的匹配度就不高了，其模型的泛化能力就还有待提升，因此需要针对具体的任务和需求，设计出基于特征任务的卷积神经网络，以满足现实场景的需求。
目前专利号为CN201811091554.1一种基于改进的卷积神经网络的鸟类识别方法；，包括：利用鸟类识别器对待识别的鸟类图像进行识别，得到待识别的鸟类图像的鸟类类别；所述鸟类识别器的训练包括：构建样本鸟类图像的数据集；在卷积神经网络的ResNet50输入层之后增加BN层，在5层卷积层之后增加2层卷积层，在FC层之前增加Dropout层，得到改进的卷积神经网络；利用样本鸟类图像的数据集训练改进的卷积神经网络，得到鸟类识别器。本发明基于迁移学习的思想，对卷积神经网络进行改进，将其应用在鸟类属性识别上，在样本量有限的前提下，获得了比改进之前的网络更好的结果。但是该专利在ResNet50上提出改进。ResNet50将输入限制在224x224像素，对于专业鸟类摄影中，鸟的图像面积占图片至少20％以上的的图片场景，具有显著的效果。但对于野外广角的固定摄像机来说，鸟在图片中只占有1％左右的图片面积。在这种场景下，CN201811091554.1提出的方法是不适用的。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于卷积神经网络的鸟类识别方法，用于识别在野外广角的固定摄像机拍摄的鸟占图片面积较少的鸟类识别方法。
本发明提供一种基于卷积神经网络的鸟类识别装置，用于采集图片，控制器接收并将图片传送至识别端，识别端接收图片进行具有重叠区域的分割、特征提取、特征选择和特征分类；目标识别模型对分割后图片按照切割大小和步长，拼接成原始图像的位置，并对切割图像的重叠区域的识别结果做出融合处理，得到识别图片。
技术方案：一种基于卷积神经网络的鸟类识别方法，应用于一个或多个电子设备，所述方法包括以下步骤
(1)采集端获取原始图片；
(2)识别端接收照片；
(3)对步骤(2)中接收的照片进行预处理，具体为优化的卷积神经网络MobileNetv2根据原始图像的像素，将图像进行具有重叠区域的分割、特征提取、特征选择和特征分类；
(4)优化的目标识别模型识别预处理后的图像，并将识别结果按照切割大小和步长，拼接成原始图像的位置，对切割图像的重叠区域的识别结果做出融合处理；
(5)对比鸟类图像的数据集识别鸟类并保存、统计；对于未识别出鸟类的照片，根据识别端的存储配置，可抛弃或保留或部分保留。
所述图片分辨率为1920像素*1080像素以上；图片格式为BMP、PNG、GIF和JPEG2000无损模式等无损编码格式。
所述采集端通过有线或无线将图片传输至识别端；在通过无线传输的情况下，采用4G或5G移动通信传输。
采集端的由树莓Pi、香蕉Pi、Swift Board、BeagleBoneBlac或CubieBoard等控制器控制。
所述步骤(3)所述的优化的卷积神经网络具体为卷积神经网络MobileNetv2宽度因子为[0.5,1.5]，输入分辨为[160,512]。
所述卷积神经网络MobileNetv2激活函数为ReLU6，其函数形式为min(max(0,x),6)。
所述目标识别模型为SSD，SSD通过若干个卷积层和全连接层，形成特征层，所述特征层用于提取目标类型和位置。
所述目标识别模型为或YOLOv3。
一种基于卷积神经网络的鸟类识别装置，所述装置包括有线或无线连接的采集端、识别端；采集端包括摄像头、控制器，摄像头与控制器通信连接；摄像头采集图片，控制器接收并将图片传送至识别端；
所述识别端具体为包含优化的卷积神经网络MobileNetv2的服务器，服务器接收图片，并对图片进行预处理；
目标识别模型包含优化的卷积神经网络MobileNetv2，对预处理后的图片按照切割大小和步长，拼接成原始图像的位置，并对切割图像的重叠区域的识别结果做出融合处理，得到识别图片。
所述摄像头数量为一个以上，所述摄像头上设信号收发器。
有益效果：本发明的一种基于卷积神经网络的鸟类识别方法和装置，相比现有技术，具有以下有益效果：
1.本发明通过提供一种优化后的卷积神经网络MobileNetv2，使识别端接收图片后对其进行具有重叠区域的分割、特征提取、特征选择和特征分类；目标识别模型对分割后图片按照切割大小和步长，拼接成原始图像的位置，并对切割图像的重叠区域的识别结果做出融合处理，得到识别图片。本发明通过上述方法，可有效提高图片的识别精度；
2.本发明包括采集端、识别端，图像采集和识别分离，集中对鸟类识别，降低整体成本。
3.本发明提工的优化后卷积神经网络，可将已识别的图片添加至训练库，进一步提高识别率；对于未识别出鸟类的照片，根据识别端的存储配置，可抛弃或保留或部分保留，这些照片经标记，可用于识别率中漏检率的统计，也有利于增加特殊情况的训练，提高识别率。
附图说明
图1为本发明结构示意图；
图2为ReLU6函数图；
图3为目标识别模型SSD结构示意图；
图4为目标识别模型YOLOv3结构示意图；
图5为实施例采集端拍摄原图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，一种基于卷积神经网络的鸟类识别方法，应用于一个或多个电子设备，所述方法包括以下步骤
(1)采集端获取原始图片；摄像头按照拍摄计划拍摄照片，获得3840像素*2160像素的图像，图片编码使用BMP、PNG、GIF和JPEG2000无损模式等无损编码格式；从下图5的实际照片中可见，鸟的形体较小，且离摄像头较远，鸟在照片中所占的比例小于20％；
控制器定时获得和传输照片至识别端，采集端通过有线或无线，将图片传输至识别端；通常采集端在野外，可采用4G或5G移动通信传输。所述控制器为树莓Pi、香蕉Pi、Swift Board、BeagleBoneBlac或CubieBoard等中的一种或多种；
(2)识别端接收照片；
(3)对步骤(2)中接收的照片进行预处理，具体为优化的卷积神经网络MobileNetv2根据原始图像的像素，识别端接收图片进行具有重叠区域的分割、特征提取、特征选择和特征分类；所述优化的卷积神经网络具体为卷积神经网络MobileNetv2宽度因子为[0.5,1.5]，输入分辨为[160,512]，其配置如表1所示，其中t是扩展比，c是block的输出特征的channel大小，n是block的重复次数，s是步长stride；
Figure BDA0002204219790000041
激活函数采用ReLU6，如图2所示，其函数形式为min(max(0,x),6)；优化的卷积神经网络MobileNetv2将图像进行具有重叠区域的分割，具体为将3840像素*2160像素的图像，切割成224像素*224像素，步长为180像素，这样图像与图像间至少有44个像素的重叠；
(4)如图3所示，优化的目标识别模型SSD包含优化的卷积神经网络MobileNetv2，用于识别预处理后的图像，SSD通过若干个卷积层和全连接层，形成额外的特征层，提取目标类型和位置；并将识别结果按照切割大小和步长，拼接成原始图像的位置，对切割图像的重叠区域的识别结果做出融合处理，得到识别图片；
(5)对比鸟类图像的数据集识别鸟类并保存、统计；对于未识别出鸟类的照片，根据识别端的存储配置，可抛弃或保留或部分保留。
(6)步骤(4)所述的目标识别，可采用，所述具体为YOLO的目标识别模型，将其中的YOLO darknet替换成MobileNet v2。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于卷积神经网络的鸟类识别方法，应用于一个或多个电子设备，其特征在于：所述方法包括以下步骤
(1)采集端获取原始图片；
(2)识别端接收照片；
(3)对步骤(2)中接收的照片进行预处理，具体为优化的卷积神经网络MobileNetv2根据原始图像的像素，将图像进行具有重叠区域的分割、特征提取、特征选择和特征分类；
(4)优化的目标识别模型识别预处理后的图像，并将识别结果按照切割大小和步长，拼接成原始图像的位置，对切割图像的重叠区域的识别结果做出融合处理；
(5)对比鸟类图像的数据集识别鸟类并保存、统计；对于未识别出鸟类的照片，根据识别端的存储配置，可抛弃或保留或部分保留。
2.根据权利要求1所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：所述图片分辨率为1920像素*1080像素以上；图片格式为BMP、PNG、GIF和JPEG2000无损模式等无损编码格式。
3.根据权利要求1或2所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：所述采集端通过有线或无线将图片传输至识别端；在通过无线传输的情况下，采用4G或5G移动通信传输。
4.根据权利要求3所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：采集端的由树莓Pi、香蕉Pi、Swift Board、BeagleBoneBlac或CubieBoard等控制器控制。
5.根据权利要求1所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：所述步骤(3)所述的优化的卷积神经网络具体为卷积神经网络MobileNetv2宽度因子为[0.5,1.5]，输入分辨为[160,512]。
6.根据权利要求1或4或5所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：所述卷积神经网络MobileNetv2激活函数为ReLU6，其函数形式为min(max(0,x),6)。
7.根据权利要求1所述的一张基于卷积神经网络的鸟类识别方法，其特征在于：所述目标识别模型为SSD，SSD通过若干个卷积层和全连接层，形成特征层，所述特征层用于提取目标类型和位置。
8.根据权利要求1或7所述的一种基于卷积神经网络的鸟类识别方法，其特征在于：所述目标识别模型为或YOLOv3。
9.一种基于卷积神经网络的鸟类识别装置，其特征在于：所述装置包括有线或无线连接的采集端、识别端；采集端包括摄像头、控制器，摄像头与控制器通信连接；摄像头采集图片，控制器接收并将图片传送至识别端；
所述识别端具体为包含优化的卷积神经网络MobileNetv2的服务器，服务器接收图片，并对图片进行预处理；
目标识别模型包含优化的卷积神经网络MobileNetv2，对预处理后的图片按照切割大小和步长，拼接成原始图像的位置，并对切割图像的重叠区域的识别结果做出融合处理，得到识别图片。
10.根据权利要求9所述的一种基于卷积神经网络的鸟类识别装置，其特征在于：所述摄像头数量为一个以上，所述摄像头上设信号收发器。
CN201910875685.7A 2019-09-17 2019-09-17 一种基于卷积神经网络的鸟类识别方法和装置 Pending CN110837771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910875685.7A CN110837771A (zh) 2019-09-17 2019-09-17 一种基于卷积神经网络的鸟类识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910875685.7A CN110837771A (zh) 2019-09-17 2019-09-17 一种基于卷积神经网络的鸟类识别方法和装置

Publications (1)

Publication Number Publication Date
CN110837771A true CN110837771A (zh) 2020-02-25

Family

ID=69575104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910875685.7A Pending CN110837771A (zh) 2019-09-17 2019-09-17 一种基于卷积神经网络的鸟类识别方法和装置

Country Status (1)

Country Link
CN (1) CN110837771A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508129A (zh) * 2020-03-09 2020-08-07 广东环境保护工程职业学院 一种废旧电池智能回收装置及方法
CN112749760A (zh) * 2021-01-22 2021-05-04 淮阴师范学院 一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法
CN114742378A (zh) * 2022-03-25 2022-07-12 中国环境科学研究院 一种基于鸟类完整性评价湿地生态状况的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165636A (zh) * 2018-09-28 2019-01-08 南京邮电大学 一种基于部件级多特征融合的珍稀鸟类稀疏识别方法
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法
CN109934163A (zh) * 2018-12-27 2019-06-25 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法
CN109165636A (zh) * 2018-09-28 2019-01-08 南京邮电大学 一种基于部件级多特征融合的珍稀鸟类稀疏识别方法
CN109934163A (zh) * 2018-12-27 2019-06-25 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
侯帅鹏: "《基于改进SSD的行人检测模型》", 《武汉理工大学学报》 *
刘慧: "《基于改进SSD的果园行人实时检测方法》", 《农业机械学报》 *
杨振: "《一种超轻量化实时检测方法》", 《2019年全国公共安全通信学术研讨会优秀论文集》 *
郑冬: "《基于轻量化SSD的车辆及行人检测网络》", 《南京师大学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508129A (zh) * 2020-03-09 2020-08-07 广东环境保护工程职业学院 一种废旧电池智能回收装置及方法
CN112749760A (zh) * 2021-01-22 2021-05-04 淮阴师范学院 一种基于深度卷积网络的水鸟图像识别特征融合模型系统及方法
CN114742378A (zh) * 2022-03-25 2022-07-12 中国环境科学研究院 一种基于鸟类完整性评价湿地生态状况的方法

Similar Documents

Publication Publication Date Title
CN111444908B (zh) 图像识别方法、装置、终端和存储介质
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
CN112165573B (zh) 拍摄处理方法和装置、设备、存储介质
WO2020206850A1 (zh) 基于高维图像的图像标注方法和装置
CN110837771A (zh) 一种基于卷积神经网络的鸟类识别方法和装置
CN101799621B (zh) 一种拍摄方法和拍摄设备
CN106462766A (zh) 在预览模式中进行图像捕捉参数调整
WO2007127230A2 (en) Using camera metadata to classify images into scene type classes
CN109357679B (zh) 一种基于显著性特征识别的室内定位方法
CN108548539B (zh) 基于图像识别的导航方法和装置、终端、可读存储介质
US10602064B2 (en) Photographing method and photographing device of unmanned aerial vehicle, unmanned aerial vehicle, and ground control device
CN111444801A (zh) 一种无人机红外目标实时检测方法
CN107844551A (zh) 一种基于共享相机的图像获取方法和系统
CN108540707A (zh) 人脸识别执法仪
WO2024037660A1 (zh) 确定异常分拣区域的方法、装置、电子设备及存储介质
CN112887610A (zh) 拍摄方法、装置、电子设备及存储介质
CN113255685A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
Swami et al. Why my photos look sideways or upside down? Detecting canonical orientation of images using convolutional neural networks
CN112802027A (zh) 一种目标对象的分析方法、存储介质及电子装置
CN112585945A (zh) 对焦方法、装置及设备
KR20210055567A (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
Chen et al. Drone-based vehicle flow estimation and its application to traffic conflict hotspot detection at intersections
CN112884796A (zh) 一种基于多图像智能识别的背景群去除系统
CN108259840A (zh) 一种适用于标注平台的多路视频采集方法及装置
CN111144363B (zh) 一种基于场景和物体信息的第一视角下的行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225