CN115631417A - 一种基于卷积神经网络的蝴蝶图像识别方法 - Google Patents
一种基于卷积神经网络的蝴蝶图像识别方法 Download PDFInfo
- Publication number
- CN115631417A CN115631417A CN202211420809.0A CN202211420809A CN115631417A CN 115631417 A CN115631417 A CN 115631417A CN 202211420809 A CN202211420809 A CN 202211420809A CN 115631417 A CN115631417 A CN 115631417A
- Authority
- CN
- China
- Prior art keywords
- image
- butterfly
- classifier
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 241000255777 Lepidoptera Species 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 51
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 10
- 241000510032 Ellipsaria lineolata Species 0.000 description 71
- 230000008569 process Effects 0.000 description 6
- 241000238631 Hexapoda Species 0.000 description 4
- 235000013601 eggs Nutrition 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 241000382353 Pupa Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 244000241796 Christia obcordata Species 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000500891 Insecta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了一种基于卷积神经网络的蝴蝶图像识别方法，该方法包括以下步骤：S1、采集具有种类信息标注的蝴蝶原始图像及其生长状态图像；S2、将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集；S3、利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型；S4、将待检测蝴蝶图像输入所述多特征融合识别模型进行识别；S5、输出识别结果并匹配输出该种类蝴蝶对应的生长状态图像。本发明通过针对不同种类蝴蝶在颜色、斑纹与形态上多样性强且相似度高的特性，构建多特征融合识别模型，从蝴蝶鲜艳且多彩的斑纹出发，分别计算并利用其体态特征与多维度的斑纹特征，从而保证不同种类蝴蝶特征的高精确提取。
Description
技术领域
本发明涉及图像识别技术领域，具体来说，涉及一种基于卷积神经网络的蝴蝶图像识别方法。
背景技术
蝴蝶属于昆虫纲鳞翅目锤角亚目，种类繁多，一般都以科级为单位进行分类。蝴蝶一般色彩艳丽，飞行姿态优雅，具有极高的观赏价值。蝴蝶可以为植物传播花粉，使植物顺利繁殖后代；也有部分种类的蝴蝶幼虫是农林的害虫。因此，蝴蝶种类的识别与鉴定是生物多样性保护与利用、科普教育、农林害虫防治等工作中的一项重要任务。
但是目前的传统的对于蝴蝶种类的识别是采用模式识别方法即图像预处理、特征提取和筛选、分类器的训练和测试等几个步骤，针对有限种类和有限样本量的蝴蝶识别一般能获得较高的识别率。
而与传统图像识别任务相比，蝴蝶图像识别任务难点在于其图像所属类别的力度更为精细，物体的差异仅仅体现在细微之处，并且由于受姿态、光照等的影响，其类内差异非常大，类间差异比较小；其次，在生态图像中，蝴蝶尺寸较小，仅仅占据图像很小的位置；最后，蝴蝶还具有一种拟态的能力，这使得其蝴蝶目标与背景难以区分，这些均为蝴蝶图像的识别分类带来了巨大的挑战。
近几年，涌现出了许许多多图像识别效果非常好的深度神经网络模型，比如VGGNet、GoogLeNet、ResNet等，都具有超高的识别精度。卷积神经网络已广泛应用于手写汉字识别、人脸识别、语音识别等领域。目前，随着机器学习技术不断成熟与完善，深度学习技术在图像识别方面得到了很好的应用，利用深度学习技术对动植物的特征自动提取与分类已经逐步展开。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于卷积神经网络的蝴蝶图像识别方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于卷积神经网络的蝴蝶图像识别方法，该方法包括以下步骤：
S1、采集具有种类信息标注的蝴蝶原始图像及其生长状态图像；
S2、将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集；
S3、利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型；
S4、将待检测蝴蝶图像输入所述多特征融合识别模型进行识别；
S5、输出识别结果并匹配输出该种类蝴蝶对应的生长状态图像；
S6、将所述待检测蝴蝶图像及其信息数据存储至所述原始图像集。
进一步的，所述将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集，包括以下步骤：
S21、对所述蝴蝶原始图像进行旋转与镜像的扩充处理；
S22、对所述蝴蝶原始图像进行去噪滤波，并裁剪为64*64大小的图像；
S23、将图像分割为n个窗口，对n个窗口中的每一个窗口，采用中值滤波去除噪声，得到无噪声图像；
S24、将无噪声图像汇集构成原始图像数据集。
进一步的，所述得到无噪声图像包括：
将一个窗口中的所有像素点按像素值顺序排列，然后用中心像素值代替具有噪声的像素点；
计算该窗口的中值，计算中值的中间滤波器的计算公式如下：
对于给定的图像I(i,j)，(r,s)∈(-(w-1)/2,…,(w-1)/2)，(i,j)∈(1,2,…,H)×(1,2,…,L)，H和L分别表示图像的宽和高，w为窗口的奇数值，w＝(3,5,…)，W为矩形子图像窗口中的一组坐标，以点(x，y)为中心，用计算出的该中值替换该窗口中的全部中心像素值；
再将其余窗口采用中值滤波除去噪声，得到无噪声图像。
进一步的，所述利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型，包括以下步骤：
S31、将所述原始图像数据集划分为训练图像集与测试图像集；
S32、利用RGB阈值分割算法对训练图像集中训练图像进行处理，得到灰度图像；
S33、提取所述灰度图像中蝴蝶的体态特征；
S34、提取所述灰度图像中蝴蝶的斑纹特征；
S35、融合所述体态特征与所述斑纹特征作为训练集导入分类器进行训练得到强分类器；
S36、利用所述测试集进行所述强分类器的测试与输出，得到多特征融合识别模型。
进一步的，所述利用RGB阈值分割算法对训练图像集中训练图像进行处理，得到边缘分割图像，包括以下步骤：
S321、采用中值滤波法对所述灰度图像进行滤波降噪处理；
S322、采用RGB色彩空间的阈值分割算法将训练图像的R分量、G分量及B分量进行分割，形成具备不同颜色区域的彩色分割图像；
S323、将所述彩色分割图像中存在的背景颜色区域进行剔除；
S324、将所述彩色分割图像进行灰度化与归一化形成灰度图像。
进一步的，所述提取所述训练图像集中蝴蝶的体态特征，包括以下步骤：
S332、计算所述灰度图像中每个像素点的梯度大小及方向；
S333、将所述灰度图像进行单元分割得到N×N个像素单元；
S334、计算每个像素单元的梯度直方图；
S335、将相邻四个像素单元合并成为一个像素块，并计算该像素块内归一化梯度直方图；
S336、将所有像素块的直方图进行级联作为训练图像的体态特征。
进一步的，所述计算所述灰度图像中每个像素点的梯度大小及方向，包括以下步骤：
S3321、利用一阶微分模板及其专职计算所述灰度图像的水平梯度和垂直梯度，如下式：
式中，GX(x,y)表示x方向梯度值；
GY(x,y)表示y方向梯度值；
H表示像素点的灰度值；
(x,y)表示像素点坐标；
S3322、利用梯度模板直接进行卷积运算得到所述灰度图像的梯度幅值及梯度方向，如下式：
式中，M(x,y)表示灰度图像的梯度幅值；
θ(x,y)表示灰度图像的梯度方向。
进一步的，所述提取边缘检测图像中蝴蝶的斑纹特征，包括以下步骤：
S341、选取所述灰度图像的四个方向生成四种灰度共生矩阵；
S342、分别计算所述灰度共生矩阵的五个特征参数；
S343、分别计算四个所述灰度共生矩阵的五个同类特征参数的均值和方差，并作为当前所述灰度图像的斑纹特征。
进一步的，所述四个方向分别为所述灰度图像的0°、45°、90°及135°方向；所述特征参数包括对比度、能量、熵、局部均匀性及相关性。
进一步的，所述融合所述体态特征与所述斑纹特征作为训练集导入分类器进行训练得到强分类器，包括以下步骤：
S351、采用级联的融合方式将所述体态特征与所述斑纹特征构成蝴蝶特征模型并进行迭代训练；
S352、将训练完毕后的所述体态特征与所述斑纹特征作为训练集导入分类器，初始化训练集的权重值；
S353、对所述分类器进行迭代优化，得到最终的强分类器。
进一步的，所述对所述分类器进行迭代优化，得到最终的强分类器，包括以下步骤：
S353、选取当前误差率最低的弱分类器作为第t个基本分类器，并计算该弱分类器；
S3531、计算该弱分类器在最终分类器上所占的权重值，如下式：
式中，αt表示权重值；
et表示该弱分类器在分布dt上的误差；
S3532、按照各弱分类器的权重值，构成最终的强分类器，如下式：
式中，F表示最终分类器；
Ft(x)表示弱分类器；
T表示分类器数量。
本发明的有益效果为：
1、通过针对不同种类蝴蝶在颜色、斑纹与形态上多样性强且相似度高的特性，构建多特征融合识别模型，从蝴蝶鲜艳且多彩的斑纹出发，分别计算并利用其体态特征与多维度的斑纹特征，从而保证不同种类蝴蝶特征的高精确提取与种类的高精度识别。
2、通过利用RGB阈值分割算法，能够针对蝴蝶翅膀斑纹存在的多彩斑纹进行高精度的区域分割与识别，从而提取出清晰的蝴蝶斑纹形状，且形成高清晰度、高平滑度及低噪声的灰度图像，便于后续步骤中对蝴蝶形态与斑纹特征进行提取与识别。
3、通过计算灰度图像中灰度共生矩阵及其五个参数值，能够针对蝴蝶斑纹进行全面与高精度的特征提取，进而保证蝴蝶图像识别的准确率；此外，通过对特征模型及分类器进行迭代优化，进一步提高特征识别的效率与分类器分类识别的精度。
4、通过同步录入蝴蝶及生长状态数据，能够在识别成功后同步输出该种类蝴蝶成长过程中的多状态图像，从而帮助用户更全面对蝴蝶进行了解与学习；同时将录入图像与识别结果存储至原始图像数据集，可实现在应用过程中的不断自适应学习以及训练，从而保证特征识别模型的高灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于卷积神经网络的蝴蝶图像识别方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于卷积神经网络的蝴蝶图像识别方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于卷积神经网络的蝴蝶图像识别方法，该方法包括以下步骤：
S1、采集具有种类信息标注的蝴蝶原始图像及其生长状态图像；
昆虫纲的鳞翅目包括蛾、蝶两类昆虫。全世界已知的鳞翅目昆虫约有112000种，其中蝶类仅占10％左右，余下都是蛾类。作为鳞翅目的两类昆虫，其主要区别有以下几点：
第一，蝶类通常身体纤细，翅较阔大，有美丽的色泽；蛾类通常身体短粗，翅相对狭小，一般色泽不够鲜艳。
第二，蝶类触角呈棒状或锤状；蛾类触角呈栉状、丝状或羽毛状。
第三，蝶类白天活动；蛾类多在晚上活动。
第四，蝶类静止时双翅竖立于背上或不停扇动；蛾类静止时双翅平叠于背上或放置在身体两侧。
第五，蝶类前后翅一般没有特殊的联接构造，飞翔时后翅肩区直接贴在前翅下，以保持动作的一致；蛾类前后翅通常具有特殊的联接构造“翅轭”或“翅缰”，飞翔时使前后翅联系。
蝴蝶原始图像由多张蝴蝶标本图像以及在大自然中现场拍摄到的多张蝴蝶图像作为数据库的样本图像，且在预设蝴蝶数据库中将上述的蝴蝶图像已经根据科级的不同进行分类，具体科级类别例如：弄蝶科，灰蝶科，蛱蝶科，凤蝶科，粉蝶科，眼蝶科。采用的爬虫工具不仅通过互联网爬取蝴蝶图像，还会爬取到蝴蝶图像对应的蝴蝶种类及蝴蝶种类下的蝴蝶资料，蝴蝶资料包括蝴蝶种类下的蝴蝶品种及生活习性，一方面直接通过爬虫工具爬取丰富的蝴蝶图像及蝴蝶资料，另一方面为后续过程中识别到待识别图像中的蝴蝶种类后展示对应蝴蝶种类的介绍做准备。
另外，蝴蝶属完全变态(holometabola)昆虫，一生需要经历卵(ovum)、幼虫(larva)、蛹(pupa)和成虫(imago)四个发育阶段，前三个发育阶段(即卵、幼虫和蛹)常被称为幼期(early stage)。蝴蝶的卵从离开母体至成虫性成熟为止的发育过程称为生命周期或生活史(life cycle)，因此，为了提高蝴蝶识别后的科普功能，本发明还录入了蝴蝶不同发育时的生长状态数据。
S2、将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集，包括以下步骤：
S21、对所述蝴蝶原始图像进行旋转与镜像的扩充处理；
S22、对所述蝴蝶原始图像进行去噪滤波，并裁剪为64*64大小的图像；
S23、将图像分割为n个窗口，对n个窗口中的每一个窗口，采用中值滤波去除噪声，得到无噪声图像；
S24、将无噪声图像汇集构成原始图像数据集。
其中得到无噪声图像包括：
将一个窗口中的所有像素点按像素值顺序排列，然后用中心像素值代替具有噪声的像素点；
计算该窗口的中值，计算中值的中间滤波器的计算公式如下：
对于给定的图像I(i,j)，(r,s)∈(-(w-1)/2,…,(w-1)/2)，(i,j)∈(1,2,…,H)×(1,2,…,L)，H和L分别表示图像的宽和高，w为窗口的奇数值，w＝(3,5,…)，W为矩形子图像窗口中的一组坐标，以点(x，y)为中心，用计算出的该中值替换该窗口中的全部中心像素值；
再将其余窗口采用中值滤波除去噪声，得到无噪声图像。
卷积神经网络模型需要大量的数据集进行特征的自动学习，所以需要进行图像增强，扩充数据集。数据集扩充有助于增加数据的多样性，增强卷积神经网络模型的鲁棒性，避免过拟合现象的发生。
S3、利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型；
卷积神经网络已逐步用于图像检测、姿态估计、图像分类和场景分析等计算机视觉任务卷积层主要是通过卷积运算对图像进行特征提取获得局部特征模式。这步操作使得卷积神经网络具有以下两个重要的性质：(1)卷积神经网络学到的模式具有平移不变性这使得卷积神经网络在处理图像时可以高效利用数据，它只需要相对少量的训练样本就可以学到具有泛化能力的数据表示。(2)卷积神经网络可以学到模式的空间层次结构。同时在卷积网络中包含池化层池化层降低了卷积层输出的特征图数量减少冗余的同时也能很好地改善分类器过拟合问题。
利用卷积神经网络对图像进行类型识别，最大的优点就是可以自动提取特征，不需要人工手动提取。
其中，步骤S3包括以下步骤：
S31、将所述原始图像数据集划分为训练图像集与测试图像集；
S32、利用RGB阈值分割算法对训练图像集中训练图像进行处理，得到灰度图像，
RGB代表红、绿、蓝3个通道的颜色。各种彩色颜色均是通过对红(R)、绿(G)、蓝(B)3个颜色通道的组合叠加得到的。彩色阈值分割技术的原理是基于不同物质的不同亮度等级分布实现的，RGB分量的多少用亮度表示，RGB亮度的变化范围为0～255，亮度值的分布构成为f(i，j)函数。不同物体具有不同的RGB亮度等级分布，而相同的物质则具有相近的亮度等级分布。阈值即为界限值，不同物质之间的RGB亮度分布具有不连续性，选用不连续处的亮度数值作为图像分割的阈值，可以将不同的物质图形进行分割。阈值分割是数字图像处理的关键。
其中，步骤S32包括以下步骤：
S321、采用中值滤波法对所述灰度图像进行滤波降噪处理；
S322、采用RGB色彩空间的阈值分割算法将训练图像的R分量、G分量及B分量进行分割，形成具备不同颜色区域的彩色分割图像；
S323、将所述彩色分割图像中存在的背景颜色区域进行剔除；
S324、将所述彩色分割图像进行灰度化与归一化形成灰度图像，用来调节图像的对比度，降低图像的局部阴影、光照变化和噪声干扰所造成的影响。
S33、提取所述灰度图像中蝴蝶的体态特征，包括以下步骤：
S332、计算所述灰度图像中每个像素点的梯度大小及方向，包括以下步骤：
S3321、利用一阶微分模板及其专职计算所述灰度图像的水平梯度和垂直梯度，如下式：
式中，GX(x,y)表示x方向梯度值；
GY(x,y)表示y方向梯度值；
H表示像素点的灰度值；
(x,y)表示像素点坐标；
S3322、利用梯度模板直接进行卷积运算得到所述灰度图像的梯度幅值及梯度方向，如下式：
式中，M(x,y)表示灰度图像的梯度幅值；
θ(x,y)表示灰度图像的梯度方向。
S333、将所述灰度图像进行单元分割得到N×N个像素单元；
S334、计算每个像素单元的梯度直方图；
S335、将相邻四个像素单元合并成为一个像素块，并计算该像素块内归一化梯度直方图；
S336、将所有像素块的直方图进行级联作为训练图像的体态特征。
S34、提取所述灰度图像中蝴蝶的斑纹特征，包括以下步骤：
S341、选取所述灰度图像的四个方向生成四种灰度共生矩阵；
S342、分别计算所述灰度共生矩阵的五个特征参数；
S343、分别计算四个所述灰度共生矩阵的五个同类特征参数的均值和方差，并作为当前所述灰度图像的斑纹特征。
其中，所述四个方向分别为所述灰度图像的0°、45°、90°及135°方向；所述特征参数包括对比度、能量、熵、局部均匀性及相关性。
对比度(CON)，也叫惯性矩，反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差(即对比度)大的，像素对越多，这个值越大。灰度共生矩阵中远离对角线的元素值越大，对比度越大。对比度CON计算公式为
式中，G表示灰度级；
i表示像素点(x，y)的灰度值；
i表示像素点(x+a，y+b)的灰度值；
P表示频度像素点i与像素点j同时出现的频度；
能量(E)，也叫角二阶矩，是灰度共生矩阵各元素的平方和，反映了图像灰度分布均匀程度和粗细程度。E大时，纹理粗，能量大；反之，E小时纹理细，能量小。能量E计算公式为
式中，G表示灰度级；
i表示像素点(x，y)的灰度值；
i表示像素点(x+a，y+b)的灰度值；
P表示频度像素点i与像素点j同时出现的频度；
熵(G)，是图像纹理信息量的一种度量。若图像没有任何纹理，则熵的值接近于0；若图像中充满着细纹理，则熵值较大；若图像中分布着较少的纹理，则熵值较小。熵G计算公式为
式中，G表示灰度级；
i表示像素点(x，y)的灰度值；
i表示像素点(x+a，y+b)的灰度值；
P表示频度像素点i与像素点j同时出现的频度；
局部均匀性(L)，也叫逆差矩，是图像局部像素的平均水平标志。L越大，说明图像越复杂。局部均匀性L计算公式为
式中，G表示灰度级；
i表示像素点(x，y)的灰度值；
i表示像素点(x+a，y+b)的灰度值；
P表示频度像素点i与像素点j同时出现的频度；
相关性(COR)是度量空间灰度共生矩阵元素在行或列方向上的相似程度，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大，则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。
S35、融合所述体态特征与所述斑纹特征作为训练集导入分类器进行训练得到强分类器，包括以下步骤：
S351、采用级联的融合方式将所述体态特征与所述斑纹特征构成蝴蝶特征模型并进行迭代训练；
S352、将训练完毕后的所述体态特征与所述斑纹特征作为训练集导入分类器，初始化训练集的权重值；
S353、对所述分类器进行迭代优化，得到最终的强分类器，包括以下步骤：
S3531、选取当前误差率最低的弱分类器作为第t个基本分类器，并计算该弱分类器；
S3532、计算该弱分类器在最终分类器上所占的权重值，如下式：
式中，αt表示权重值；
et表示该弱分类器在分布dt上的误差；
S353、按照各弱分类器的权重值，构成最终的强分类器，如下式：
式中，F表示最终分类器；
Ft(x)表示弱分类器；
T表示分类器数量。
S36、利用所述测试集进行所述强分类器的测试与输出，得到多特征融合识别模型。
Adaboost是一种集成学习算法，通过迭代训练不同的弱分类器，联合弱分类器构成一个强大的强分类器，理论已经证明，每个弱分类器的分类能力只要比随机猜测好，当其个数趋于无穷时，强分类器的错误率将趋于零。
S4、将待检测蝴蝶图像输入所述多特征融合识别模型进行识别；
S5、输出识别结果并匹配输出该种类蝴蝶对应的生长状态图像；
S6、将所述待检测蝴蝶图像及其信息数据存储至所述原始图像集。
综上所述，借助于本发明的上述技术方案，通过针对不同种类蝴蝶在颜色、斑纹与形态上多样性强且相似度高的特性，构建多特征融合识别模型，从蝴蝶鲜艳且多彩的斑纹出发，分别计算并利用其体态特征与多维度的斑纹特征，从而保证不同种类蝴蝶特征的高精确提取与种类的高精度识别。通过利用RGB阈值分割算法，能够针对蝴蝶翅膀斑纹存在的多彩斑纹进行高精度的区域分割与识别，从而提取出清晰的蝴蝶斑纹形状，且形成高清晰度、高平滑度及低噪声的灰度图像，便于后续步骤中对蝴蝶形态与斑纹特征进行提取与识别。通过计算灰度图像中灰度共生矩阵及其五个参数值，能够针对蝴蝶斑纹进行全面与高精度的特征提取，进而保证蝴蝶图像识别的准确率；此外，通过对特征模型及分类器进行迭代优化，进一步提高特征识别的效率与分类器分类识别的精度。通过同步录入蝴蝶及生长状态数据，能够在识别成功后同步输出该种类蝴蝶成长过程中的多状态图像，从而帮助用户更全面对蝴蝶进行了解与学习；同时将录入图像与识别结果存储至原始图像数据集，可实现在应用过程中的不断自适应学习以及训练，从而保证特征识别模型的高灵活性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，该方法包括以下步骤：
S1、采集具有种类信息标注的蝴蝶原始图像及其生长状态图像；
S2、将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集；
S3、利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型；
S4、将待检测蝴蝶图像输入所述多特征融合识别模型进行识别；
S5、输出识别结果并匹配输出该种类蝴蝶对应的生长状态图像；
S6、将所述待检测蝴蝶图像及其信息数据存储至所述原始图像集；
所述将所述蝴蝶原始图像进行扩充处理汇集形成原始图像数据集，包括以下步骤：
S21、对所述蝴蝶原始图像进行旋转与镜像的扩充处理；
S22、对所述蝴蝶原始图像进行去噪滤波，并裁剪为64*64大小的图像；
S23、将图像分割为n个窗口，对n个窗口中的每一个窗口，采用中值滤波去除噪声，得到无噪声图像；
S24、将无噪声图像汇集构成原始图像数据集。
2.根据权利要求1所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述得到无噪声图像包括：
将一个窗口中的所有像素点按像素值顺序排列，然后用中心像素值代替具有噪声的像素点；
计算该窗口的中值，计算中值的中间滤波器的计算公式如下：
对于给定的图像I(i,j)，(r,s)∈(-(w-1)/2,…,(w-1)/2)，(i,j)∈(1,2,…,H)×(1,2,…,L)，H和L分别表示图像的宽和高，w为窗口的奇数值，w＝(3,5,…)，W为矩形子图像窗口中的一组坐标，以点(x，y)为中心，用计算出的该中值替换该窗口中的全部中心像素值；
再将其余窗口采用中值滤波除去噪声，得到无噪声图像。
3.根据权利要求1所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述利用所述原始图像数据集构建基于卷积神经网络的多特征融合识别模型，包括以下步骤：
S31、将所述原始图像数据集划分为训练图像集与测试图像集；
S32、利用RGB阈值分割算法对训练图像集中训练图像进行处理，得到灰度图像；
S33、提取所述灰度图像中蝴蝶的体态特征；
S34、提取所述灰度图像中蝴蝶的斑纹特征；
S35、融合所述体态特征与所述斑纹特征作为训练集导入分类器进行训练得到强分类器；
S36、利用所述测试集进行所述强分类器的测试与输出，得到多特征融合识别模型。
4.根据权利要求3所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述利用RGB阈值分割算法对训练图像集中训练图像进行处理，得到边缘分割图像，包括以下步骤：
S321、采用中值滤波法对所述灰度图像进行滤波降噪处理；
S322、采用RGB色彩空间的阈值分割算法将训练图像的R分量、G分量及B分量进行分割，形成具备不同颜色区域的彩色分割图像；
S323、将所述彩色分割图像中存在的背景颜色区域进行剔除；
S324、将所述彩色分割图像进行灰度化与归一化形成灰度图像。
5.根据权利要求4所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述提取所述训练图像集中蝴蝶的体态特征，包括以下步骤：
S332、计算所述灰度图像中每个像素点的梯度大小及方向；
S333、将所述灰度图像进行单元分割得到N×N个像素单元；
S334、计算每个像素单元的梯度直方图；
S335、将相邻四个像素单元合并成为一个像素块，并计算该像素块内归一化梯度直方图；
S336、将所有像素块的直方图进行级联作为训练图像的体态特征。
6.根据权利要求5所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述计算所述灰度图像中每个像素点的梯度大小及方向，包括以下步骤：
S3321、利用一阶微分模板及其专职计算所述灰度图像的水平梯度和垂直梯度，如下式：
式中，GX(x,y)表示x方向梯度值；
GY(x,y)表示y方向梯度值；
H表示像素点的灰度值；
(x,y)表示像素点坐标；
S3322、利用梯度模板直接进行卷积运算得到所述灰度图像的梯度幅值及梯度方向，如下式：
式中，M(x,y)表示灰度图像的梯度幅值；
θ(x,y)表示灰度图像的梯度方向。
7.根据权利要求6所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述提取边缘检测图像中蝴蝶的斑纹特征，包括以下步骤：
S341、选取所述灰度图像的四个方向生成四种灰度共生矩阵；
S342、分别计算所述灰度共生矩阵的五个特征参数；
S343、分别计算四个所述灰度共生矩阵的五个同类特征参数的均值和方差，并作为当前所述灰度图像的斑纹特征。
8.根据权利要求7所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述四个方向分别为所述灰度图像的0°、45°、90°及135°方向；所述特征参数包括对比度、能量、熵、局部均匀性及相关性。
9.根据权利要求8所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述融合所述体态特征与所述斑纹特征作为训练集导入分类器进行训练得到强分类器，包括以下步骤：
S351、采用级联的融合方式将所述体态特征与所述斑纹特征构成蝴蝶特征模型并进行迭代训练；
S352、将训练完毕后的所述体态特征与所述斑纹特征作为训练集导入分类器，初始化训练集的权重值；
S353、对所述分类器进行迭代优化，得到最终的强分类器。
10.根据权利要求9所述的一种基于卷积神经网络的蝴蝶图像识别方法，其特征在于，所述对所述分类器进行迭代优化，得到最终的强分类器，包括以下步骤：
S3531、选取当前误差率最低的弱分类器作为第t个基本分类器，并计算该弱分类器；
S3532、计算该弱分类器在最终分类器上所占的权重值，如下式：
式中，αt表示权重值；
et表示该弱分类器在分布dt上的误差；
S353、按照各弱分类器的权重值，构成最终的强分类器，如下式：
式中，F表示最终分类器；
Ft(x)表示弱分类器；
T表示分类器数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211420809.0A CN115631417A (zh) | 2022-11-11 | 2022-11-11 | 一种基于卷积神经网络的蝴蝶图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211420809.0A CN115631417A (zh) | 2022-11-11 | 2022-11-11 | 一种基于卷积神经网络的蝴蝶图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115631417A true CN115631417A (zh) | 2023-01-20 |
Family
ID=84910920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211420809.0A Pending CN115631417A (zh) | 2022-11-11 | 2022-11-11 | 一种基于卷积神经网络的蝴蝶图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631417A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108875774A (zh) * | 2018-04-27 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 蝴蝶种类识别方法、电子设备、存储介质及系统 |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN110222701A (zh) * | 2019-06-11 | 2019-09-10 | 北京新桥技术发展有限公司 | 一种桥梁病害自动识别方法 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111860330A (zh) * | 2020-07-21 | 2020-10-30 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
| CN112348770A (zh) * | 2020-09-09 | 2021-02-09 | 陕西师范大学 | 一种基于多分辨率卷积网络的桥梁裂缝检测方法 |
| CN112800927A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法 |
| CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
| CN114049535A (zh) * | 2021-11-16 | 2022-02-15 | 昆明理工大学 | 基于多尺度和非压缩激励通道注意力的野外蝴蝶识别方法 |
-
2022
- 2022-11-11 CN CN202211420809.0A patent/CN115631417A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108875774A (zh) * | 2018-04-27 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 蝴蝶种类识别方法、电子设备、存储介质及系统 |
| CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
| CN110222701A (zh) * | 2019-06-11 | 2019-09-10 | 北京新桥技术发展有限公司 | 一种桥梁病害自动识别方法 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111860330A (zh) * | 2020-07-21 | 2020-10-30 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
| CN112348770A (zh) * | 2020-09-09 | 2021-02-09 | 陕西师范大学 | 一种基于多分辨率卷积网络的桥梁裂缝检测方法 |
| CN112800927A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法 |
| CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
| CN114049535A (zh) * | 2021-11-16 | 2022-02-15 | 昆明理工大学 | 基于多尺度和非压缩激励通道注意力的野外蝴蝶识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| KASINATHAN, T等: "Machine learning ensemble with image processing for pest identification and classification in field crops", 《NEURAL COMPUTING AND APPLICATIONS》, vol. 33, no. 13, 2 January 2021 (2021-01-02), pages 7491 - 7504, XP037489345, DOI: 10.1007/s00521-020-05497-z * |
| KAYA, Y等: "Application of artificial neural network for automatic detection of butterfly species using color and texture features", 《THE VISUAL COMPUTER》, vol. 30, 22 February 2013 (2013-02-22), pages 71 - 79, XP035366304, DOI: 10.1007/s00371-013-0782-8 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108681774B (zh) | 基于生成对抗网络负样本增强的人体目标跟踪方法 | |
| CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
| CN109711366B (zh) | 一种基于群组信息损失函数的行人重识别方法 | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| WO2005066896A2 (en) | Detection of sky in digital color images | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| CN112581540B (zh) | 一种大场景下基于人体姿态估计的相机标定方法 | |
| CN113627472B (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
| CN109753864A (zh) | 一种基于caffe深度学习框架的人脸识别方法 | |
| CN114863263B (zh) | 基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法 | |
| CN110287777A (zh) | 一种自然场景下的金丝猴躯体分割算法 | |
| CN109872331A (zh) | 一种基于深度学习的遥感图像数据自动识别分类方法 | |
| CN108764159A (zh) | 小样本条件下的动物面部识别方法和系统 | |
| CN111832642A (zh) | 一种基于vgg16在昆虫分类学上的图像识别方法 | |
| CN109902662A (zh) | 一种行人重识别方法、系统、装置和存储介质 | |
| CN108229551A (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| CN111611889A (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
| CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
| CN109740539A (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |