CN112989912B - 一种基于无人机图像的油茶果品种识别方法 - Google Patents
一种基于无人机图像的油茶果品种识别方法 Download PDFInfo
- Publication number
- CN112989912B CN112989912B CN202011467599.1A CN202011467599A CN112989912B CN 112989912 B CN112989912 B CN 112989912B CN 202011467599 A CN202011467599 A CN 202011467599A CN 112989912 B CN112989912 B CN 112989912B
- Authority
- CN
- China
- Prior art keywords
- camellia oleifera
- image
- variety
- fruit
- variety identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims description 59
- 241001122767 Theaceae Species 0.000 title description 7
- 241000526900 Camellia oleifera Species 0.000 claims abstract description 178
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims abstract description 10
- 238000013519 translation Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 239000003981 vehicle Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 210000003462 vein Anatomy 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 5
- 244000068988 Glycine max Species 0.000 description 4
- 235000010469 Glycine max Nutrition 0.000 description 4
- 239000003921 oil Substances 0.000 description 3
- 235000019198 oils Nutrition 0.000 description 3
- WRIDQFICGBMAFQ-UHFFFAOYSA-N (E)-8-Octadecenoic acid Natural products CCCCCCCCCC=CCCCCCCC(O)=O WRIDQFICGBMAFQ-UHFFFAOYSA-N 0.000 description 2
- LQJBNNIYVWPHFW-UHFFFAOYSA-N 20:1omega9c fatty acid Natural products CCCCCCCCCCC=CCCCCCCCC(O)=O LQJBNNIYVWPHFW-UHFFFAOYSA-N 0.000 description 2
- QSBYPNXLFMSGKH-UHFFFAOYSA-N 9-Heptadecensaeure Natural products CCCCCCCC=CCCCCCCCC(O)=O QSBYPNXLFMSGKH-UHFFFAOYSA-N 0.000 description 2
- ZQPPMHVWECSIRJ-UHFFFAOYSA-N Oleic acid Natural products CCCCCCCCC=CCCCCCCCC(O)=O ZQPPMHVWECSIRJ-UHFFFAOYSA-N 0.000 description 2
- 239000005642 Oleic acid Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- QXJSBBXBKPUZAA-UHFFFAOYSA-N isooleic acid Natural products CCCCCCCC=CCCCCCCCCC(O)=O QXJSBBXBKPUZAA-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ZQPPMHVWECSIRJ-KTKRTIGZSA-N oleic acid Chemical compound CCCCCCCC\C=C/CCCCCCCC(O)=O ZQPPMHVWECSIRJ-KTKRTIGZSA-N 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000021122 unsaturated fatty acids Nutrition 0.000 description 2
- 150000004670 unsaturated fatty acids Chemical class 0.000 description 2
- 235000005295 Elaeagnus orientalis Nutrition 0.000 description 1
- 244000223021 Elaeagnus orientalis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000010495 camellia oil Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 239000004006 olive oil Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明首先设计了无人机油茶果图像采集飞行高度计算规则,并按该规则采集图像,采用翻转、平移、裁剪和亮度调整等方式扩充图像数据,搭建油茶果图像数据集并划分数据集为训练集和测试集。其次,以训练集图像训练所提出的基于双线性注意力网络的油茶果品种识别模型,并通过测试集寻找最佳油茶果品种识别模型。接下来,对任意输入的无人机航拍油茶果图像,采用双线性EfficientNetB0网络提取油茶果图像特征,通过注意力机制对提取到的特征进行聚焦,确定油茶果品种识别所应重点关注的图像特征及区域;最后,采用双线性池化对双线性EfficientNetB0网络提取油茶果图像特征进行融合,获得融合后的特征向量,并通过Softmax分类器处理融合后的特征向量得到油茶果品种识别结果。
Description
技术领域
本发明属于品种识别和无人机技术领域,尤其涉及一种基于无人机图像的油茶果品种识别方法。
背景技术
油茶作为我国食用木本油料的主要树种之一,对保障我国粮油安全发挥着重要作用。茶油的不饱和脂肪酸含量高达85%~97%、油酸含量达80%左右,在营养价值和食疗功用方面也具有明显优势,有“东方橄榄油”之称。不同油茶果在含油率、油酸含量和不饱和脂肪酸含量之间存在明显差异,在收购油茶果时根据品种定价已成为一种普遍趋势。然而,由于缺少专业的油茶果品种识别方法,目前油茶果品种识别仅能依靠人工根据经验判断,存在一定的主观性且极易发生误判。因此,研究一种油茶果品种识别方法已成为迫切需要解决的实际需求。
专利申请号为CN111753903A,发明名称为“一种基于叶脉拓扑特征的大豆品种识别方法”的中国专利。该发明在叶脉网络提取过程[0009]中采用自适应阈值分割对叶片图像提取叶脉网络,极易受到光照和背景的干扰导致未能有效的分割出叶脉网络,从而导致大豆的品种识别与实际结果不符。除此之外,该算法中的[0012]通过计算每个叶脉图像背景像素的最小距离获得叶脉网络结构和宽度,虽然符合客观叶脉网络结构提取的基本事实,但算法实现过程并未摆脱阈值的限制。虽然提取拓扑特征训练卷积神经网络识别大豆增强了算法的鲁棒性,但拓扑特征的提取过程复杂、运算量大且对硬件要求较高。
专利申请号为CN201811050174.3,发明名称为“基于tensorflow的茶叶品种识别系统”的中国专利。该发明在茶叶的识别过程[0010]中采用Inception_v4模型搭建茶叶品种识别模型。该发明采用粗粒度图像分类模型Inception_v4识别茶叶,虽然符合茶叶品种识别的基本事实,但对于相似度较高的茶叶品种,该算法不能有效提取不同茶叶品种间的细微差异,对该算法的稳定性产生干扰并造成隐患。
专利申请号为CN201710005012.7,发明名称为“种子品种识别方法及装置”的中国专利。该发明在种子的品种识别过程[0008]中通过高光谱图像获取特征参数。该方法采用多光谱相机在多个波段下提取种子的特征,获得种子的特征参数,虽然符合种子品种识别的基本事实。但高光谱图像数据量大、波段多且数据的冗余度大,在多个波段下提取种子特征会导致提取到的特征数量过多。由于该专利是在多个波段下提取种子特征后直接输入最小二乘支持向量机分类模型,未对数据进行处理,而冗余的数据将会极大的降低品种识别的速度和对设备的要求。
以上两种方法均采用深度学习技术研究了大豆和茶叶的品种识别问题,但对于油茶果的品种识别研究,以我们的知识暂未见到相关的研究,更未有实际应用的基于无人机图像的油茶果品种识别方法。
发明内容
本发明提供了一种基于无人机图像的油茶果品种识别方法,能够通过无人机航拍采集油茶果图像对油茶果的品种进行识别。
根据本发明计算过程,所述油茶果品种识别方法包括:
第一步,图像采集和预处理:通过采用模拟投影过程进行计算的“投影算法”,进行无人机油茶果图像采集的飞行高度计算,并在图像采集过程测量光照强度、温度、湿度和风速等环境参数,得到油茶果图像数据和环境参数数据;
第二步,搭建油茶果品种识别数据集,采用翻转、平移、裁剪以及亮度调整等方式扩充无人机航拍油茶果图像,按9:1比例划分扩充后的无人机航拍油茶果图像为训练集和测试集;
第三步,油茶果品种识别模型训练:使用油茶果品种识别数据集的训练集图像训练搭建的基于双线性注意力网络的油茶果品种识别模型,获得油茶果品种识别模型;
第四步,将测试图像输入训练好的油茶果品种识别模型,挑选获得最佳油茶果品种识别模型;
第五步,基于双线性EfficientNetB0网络的油茶果图像特征提取:将任意油茶果图像输入双线性EfficientNetB0网络进行油茶特征的提取,获得两个不同的油茶果图像的特征图;
第六步,基于注意力机制的油茶特征聚焦:对两个不同的油茶果图像的特征图进行基于注意力机制的特征聚焦,确定两个不同的油茶果品种识别重点关注的图像区域以及特征;
第七步,油茶果特征融合:采用双线性池化对双线性注意力EfficientNetB0网络提取的两个不同的特征进行融合,得到融合后的特征向量;
第八步,油茶果的品种识别:采用Softmax分类器处理融合后的特征向量,获得油茶果品种识别结果;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第一步骤中无人机油茶果图像采集飞行高度计算的“投影算法”,其计算方法为:首先,使用无人机拍摄不同品种的自然状态下的油茶果图像,每个品种20颗,记录图像中每颗油茶果肉眼可分辨时的最小像素数量,并取平均值作为油茶果直径的平均像素数;然后将这些油茶果采摘下来,使用游标卡尺实际测量油茶果的直径大小,将所有油茶果直径的平均值作为油茶果平均直径大小;接下来,将油茶果的平均直径除以油茶果直径平均像素数,获得油茶果的地面分辨率;最后,根据所提出的“投影算法”,将无人机搭载摄像头的镜头焦距乘以地面分辨率后,除以无人机搭载摄像头的像元尺寸获得无人机最大飞行高度。无人机油茶果图像采集过程测量光照强度、温度、湿度和风速等环境参数;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第二步骤中采用翻转、平移、裁剪以及亮度调整等方式处理无人机采集的自然条件下的油茶果图像,获得扩充后的油茶果图像数据,按照9:1的比例划分扩充后的油茶果图像数据为训练集和测试集;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第三步骤中,使用油茶果品种识别数据集的训练集图像训练搭建的基于双线性注意力网络的油茶果品种识别模型。模型训练过程设置学习率、动量、批处理量和丢弃比等参数,获得训练后的基于双线性注意力网络的油茶果品种识别模型;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第四步骤中,使用油茶果品种识别数据集的测试集数据测试所训练的油茶果品种识别模型,从而获得最佳油茶果品种识别模型;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第五步骤中的对任意输入油茶果图像,两条并行的EfficientNetB0网络会分别提取不同的油茶果特征,其特征提取步骤为:首先将输入图像缩放为224×224像素,分别输入两条并行的EfficientNetB0网络;其次,通过EfficientNetB0网络第一层的普通卷积运算输出一个维度为112×112×32的特征图;最后,对输出的112×112×32的特征图进行连续移动翻转瓶颈卷积操作,获得维度为7×7×320的特征图;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第六步骤中的油茶特征聚焦,采用注意力机制对两条并行的EfficientNetB0网络提取的特征分别进行聚焦,确定油茶果图像特征图中哪些位置的特征是品种识别所应重点关注的;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第七步骤中的对两条EfficientNetB0网络提取的特征采用双线性池化的方式进行融合,获得融合后的特征向量;
根据如上所述的八个步骤,一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第八步骤中采用Softmax分类器处理融合后的特征向量,获得输入油茶果图像的品种识别结果。
本发明的有益效果在于:通过无人机航拍采集油茶果图像作为品种识别的实验数据。通过双线性EfficientNetB0网络提取油茶果图像特征,获得油茶果图像特征图。通过注意力机制确定油茶果图像特征图中所应重点关注的位置。通过双线性池化融合两条EfficientNetB0网络提取并经注意力机制处理后的特征图,获得融合后的特征向量并采用Softmax分类器分类识别油茶果品种。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款范围内,本发明的实施方式包括许多改变、修改和等同。
附图说明
图1为本发明基于无人机图像的油茶果品种识别方法流程图;
图2为本发明油茶果品种识别模型的网络结构。
图3为本发明基于无人机图像的油茶果品种识别终端框图
具体实施方式
参照附图,通过下面文本说明书,本发明的前述以及其他的特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用文本发明的原则部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。
本发明实例提供一种基于无人机图像的油茶果品种识别方法,图1是本发明实施例的油茶果品种识别算法的流程示意图,如图1所示,所述油茶果品种识别算法包括:
步骤101,首先使用无人机拍摄不同品种的自然状态下的油茶果图像,每个品种20颗,记录图像中每颗油茶果肉眼可分辨时的最小像素数量,并取平均值作为油茶果直径的平均像素数;然后将这些油茶果采摘下来,使用游标卡尺实际测量油茶果的直径大小,将所有油茶果直径的平均值作为油茶果平均直径大小;接下来,将油茶果的平均直径除以油茶果直径平均像素数,获得油茶果的地面分辨率。
步骤102,无人机油茶果图像采集飞行高度计算的“投影算法”,其中无人机的飞行航线为环形,飞行高度根据镜头焦距、像元尺寸和GSD确定,如式1。
式(1)中H为无人机的飞行高度,f为摄像头的镜头焦距,a为摄像头的像元尺寸,dl为油茶果的平均直径大小,dpx为油茶果直径的平均像素数,GSD为地面分辨率。
步骤103,油茶果图像采集过程使用专业仪器测量图像采集区域的光照强度、温度、湿度和风速等环境参数,并根据环境参数规划无人机油茶果图像采集的策略。
步骤201,采用翻转、平移、裁剪以及亮度调整等方式扩充无人机航拍油茶果图像,保证油茶果品种识别模型训练有充足的图像数据支撑。
步骤202,按照9:1的比例将扩充后的油茶果图像划分为训练集和测试集,搭建油茶果品种识别数据集。
步骤301,以油茶果品种识别数据集的训练集数据训练本文搭建的基于双线性注意力网络的油茶果品种识别模型,训练过程设置学习率为0.001,批处理量为16,Dropout比例为0.5。
步骤302,以动量法优化卷积神经网络的梯度下降过程,采用梯度的移动平均来代替每次的实际梯度,提高优化速度。动量法的更新公式为:
式(2)中vt为时间步t的速度变量,gt为时间步t的小批量随机梯度,xt为时间步t的自变量,η为学习率,β为动量超参数,满足0≤β<1。
步骤303,采用迁移学习计数优化基于双线性注意力网络的油茶果品种识别模型训练过程,使用EfficientNetB0在ImageNet数据集上训练的模型参数作为模型训练的初始参数,并在此基础上进行油茶果品种识别模型的训练,获得最终的油茶品种识别模型参数文件。
步骤401,以测试集图像分别测试所训练得到的基于双线性注意力网络的油茶果品种识别模型文件,挑选最佳油茶果品种识别模型。
步骤501,将输入的油茶果测试集图像缩放为224×224像素,以减少模型的参数和计算量,降低模型训练对硬件的要求。
步骤502,将缩放后的油茶果测试集图像分别输入两条并行的EfficientNetB0网络,进行油茶果特征的提取。EfficientNetB0的油茶果特征提取过程首先使用一个普通卷积运算获得维度为112×112×32的特征图;其次,通过移动翻转瓶颈卷积对输入进行1×1的逐点卷积并根据扩展比例改变输入通道的维度;接着,进行k×k的深度卷积操作,如果引入了压缩和激发操作,则该操作会在深度卷积后进行;然后,通过1×1的逐点卷积结尾恢复原通道的维度;最后,进行连接失活和输入的跳跃连接,获得维度为7×7×320的特征图。
步骤601,引入注意力机制对两条并行的EfficientNetB0网络提取的特征图中的特征进行聚焦,从而确定在油茶品种识别过程所应重点关注的图像区域以及特征。注意力机制操作具体如下:
eij=a(si-1,hj) (3)
式中,ci为第i个目标的上下文向量,hj为每个目标的隐向量。eij为对其模型,代表位置j的输入和位置i的输出匹配程度的分数,改分数基于RNN的i-1位置隐含状态si-1和j位置的hj计算得到。
步骤701,采用双线性池化将两条并行的EfficientNetB0网络提取的特征图的特征进行融合,得到融合后的向量,进而进行分类。以两条并行的EfficientNetB0网络提取的图像I在位置l的两个特征和/>为例,双线性池化操作具体如下:
式(6)中,矩阵b(l,I,fA,fB)为将同一位置上的两个特征fA和fB融合后的矩阵;矩阵ξ(I)为对图像中所有位置的矩阵b(l,I,fA,fB)进行总和池化处理后得到的矩阵;x为将矩阵ξ转换成的双线性向量;z为融合后的特征向量,通过对双线性向量x进行矩归一化和L2归一化获得。
步骤801,对任意测试集油茶果图像,采用Softmax分类器回归计算经双线性池化融合后的特征向量,设定阈值处理Softmax分类器的回归计算结果,从而确定该油茶果的具体品种。Softmax分类器的计算过程具体如下:
式(7)中,zi为第i个节点的输出值,C为输出节点的个数,即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]和为1的概率分布。
Claims (8)
1.一种基于无人机图像的油茶果品种识别方法,其特征在于,包含以下步骤:
第一步,图像采集和预处理:通过采用模拟投影过程进行计算的“投影算法”,进行无人机油茶果图像采集的飞行高度计算,并在图像采集过程测量光照强度、温度、湿度和风速,得到油茶果图像、光照强度、温度、湿度和风速数据;
第二步,搭建油茶果品种识别数据集,采用翻转、平移、裁剪以及亮度调整扩充无人机航拍油茶果图像,按9:1比例划分油茶果图像为训练集和测试集;
第三步,油茶果品种识别模型训练:使用油茶果品种识别数据集的训练集图像训练搭建的基于双线性注意力网络的油茶果品种识别模型,获得油茶果品种识别模型;
第四步,将测试图像输入训练好的油茶果品种识别模型,挑选获得最佳油茶果品种识别模型;
第五步,基于双线性EfficientNetB0网络的油茶果图像特征提取:将任意油茶果图像输入双线性EfficientNetB0网络进行油茶果特征的提取,获得两个不同的油茶果图像的特征图;
第六步,基于注意力机制的油茶果特征聚焦:对两个不同的油茶果图像的特征图进行基于注意力机制的特征聚焦,确定两个不同的油茶果品种识别重点关注的图像区域以及特征;
第七步,油茶果特征融合:采用双线性池化对双线性注意力EfficientNetB0网络提取的两个不同的特征进行融合,得到融合后的特征向量;
第八步,油茶果的品种识别:采用Softmax分类器处理融合后的特征向量,获得油茶果品种识别结果;
第一步骤中无人机油茶果图像采集飞行高度计算的“投影算法”,其计算方法为:首先,使用无人机拍摄不同品种的自然状态下的油茶果图像,每个品种20颗,记录图像中每颗油茶果肉眼可分辨时的最小像素数量,并取平均值作为油茶果直径的平均像素数;然后将这些油茶果采摘下来,使用游标卡尺实际测量油茶果的直径大小,将所有油茶果直径的平均值作为油茶果平均直径大小;接下来,将油茶果的平均直径除以油茶果直径平均像素数,获得油茶果的地面分辨率;最后,根据所提出的“投影算法”,将无人机搭载摄像头的镜头焦距乘以地面分辨率后,除以无人机搭载摄像头的像元尺寸获得无人机最大飞行高度。
2.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第二步骤中采用翻转、平移、裁剪以及亮度调整处理无人机采集的自然条件下的油茶果图像,获得扩充后的油茶果图像数据,按照9:1的比例划分扩充后的油茶果图像数据为训练集和测试集。
3.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第三步骤中,使用油茶果品种识别数据集的训练集图像训练搭建的基于双线性注意力网络的油茶果品种识别模型,模型训练过程设置学习率、动量、批处理量和丢弃比,获得训练后的基于双线性注意力网络的油茶果品种识别模型。
4.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第四步骤中,使用油茶果品种识别数据集的测试集数据测试所训练的油茶果品种识别模型,从而获得最佳油茶果品种识别模型。
5.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第五步骤中的对任意输入油茶果图像,两条并行的EfficientNetB0网络会分别提取不同的油茶果特征,其特征提取步骤为:首先将输入图像缩放为224×224像素,分别输入两条并行的EfficientNetB0网络;其次,通过EfficientNetB0网络第一层的普通卷积运算输出一个维度为112×112×32的特征图;最后,对输出的112×112×32的特征图进行连续移动翻转瓶颈卷积操作,获得维度为7×7×320的特征图。
6.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第六步骤中的油茶特征聚焦,采用注意力机制对两条并行的EfficientNetB0网络提取的特征分别进行聚焦,确定油茶果图像特征图中哪些位置的特征是品种识别所应重点关注的。
7.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第七步骤中的对两条EfficientNetB0网络提取的特征采用双线性池化的方式进行融合,获得融合后的特征向量。
8.根据权利要求1所述的一种基于无人机图像的油茶果品种识别方法,其特征在于所描述的第八步骤中采用Softmax分类器处理融合后的特征向量,获得输入油茶果图像的品种识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011467599.1A CN112989912B (zh) | 2020-12-14 | 2020-12-14 | 一种基于无人机图像的油茶果品种识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011467599.1A CN112989912B (zh) | 2020-12-14 | 2020-12-14 | 一种基于无人机图像的油茶果品种识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112989912A CN112989912A (zh) | 2021-06-18 |
CN112989912B true CN112989912B (zh) | 2023-08-04 |
Family
ID=76344972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011467599.1A Expired - Fee Related CN112989912B (zh) | 2020-12-14 | 2020-12-14 | 一种基于无人机图像的油茶果品种识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989912B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067313A (zh) * | 2021-11-19 | 2022-02-18 | 云南农业大学 | 一种双线性残差网络模型的农作物叶部病害识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516648A (zh) * | 2019-09-02 | 2019-11-29 | 湖南农业大学 | 基于无人机遥感和模式识别的苎麻株数识别方法 |
CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
CN111260628A (zh) * | 2020-01-15 | 2020-06-09 | 北京林业大学 | 基于视频图像的大型苗圃苗木数量统计方法及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10755099B2 (en) * | 2018-11-13 | 2020-08-25 | Adobe Inc. | Object detection in images |
CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
-
2020
- 2020-12-14 CN CN202011467599.1A patent/CN112989912B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516648A (zh) * | 2019-09-02 | 2019-11-29 | 湖南农业大学 | 基于无人机遥感和模式识别的苎麻株数识别方法 |
CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
CN111260628A (zh) * | 2020-01-15 | 2020-06-09 | 北京林业大学 | 基于视频图像的大型苗圃苗木数量统计方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112989912A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837330B (zh) | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 | |
CN109993220B (zh) | 基于双路注意力融合神经网络的多源遥感图像分类方法 | |
CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
WO2020221298A1 (zh) | 文本检测模型训练方法、文本区域、内容确定方法和装置 | |
CN109871885B (zh) | 一种基于深度学习和植物分类学的植物识别方法 | |
CN111047554A (zh) | 一种基于实例分割的复合绝缘子过热缺陷检测方法 | |
CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN110766046A (zh) | 一种双通道卷积神经网络集成学习的空气质量测量方法 | |
CN102013021A (zh) | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 | |
CN109446991A (zh) | 基于全局和局部特征融合的步态识别方法 | |
CN110956212A (zh) | 一种基于视觉特征融合的打叶质量检测方法 | |
CN114170511A (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
CN106709528A (zh) | 基于多目标函数深度学习的车辆重识别方法及装置 | |
CN112364721A (zh) | 一种道面异物检测方法 | |
CN109063649A (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
CN112395953A (zh) | 一种道面异物检测系统 | |
CN115359353A (zh) | 一种花卉识别分类方法及装置 | |
CN116824246A (zh) | 一种基于注意力机制的昆中细粒度图片分类方法 | |
CN111144280A (zh) | 一种监控视频树叶遮挡检测方法 | |
CN104573701B (zh) | 一种玉米雄穗性状的自动检测方法 | |
CN112257711B (zh) | 一种铁路货车地板破损故障检测方法 | |
CN112989912B (zh) | 一种基于无人机图像的油茶果品种识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230804 |
|
CF01 | Termination of patent right due to non-payment of annual fee |