CN116129260A

CN116129260A - 基于深度学习的牧草图像识别方法

Info

Publication number: CN116129260A
Application number: CN202211646878.3A
Authority: CN
Inventors: 郜晓晶; 潘新; 张俊敏; 郜晓倩; 李伟
Original assignee: Inner Mongolia Agricultural University
Current assignee: Inner Mongolia Agricultural University
Priority date: 2022-12-21
Filing date: 2022-12-21
Publication date: 2023-05-16

Abstract

本发明提供基于深度学习的牧草图像识别方法，涉及牧草图像识别技术领域。该基于深度学习的牧草图像识别方法以牧草图像为研究对象，应用计算机视觉和深度学习，将深度学习框架TensorFlow+Inceptionv3、云模型与传统识别算法相结合的方法，提取牧草的底层特征后，将多形态特征挖掘，获取具有鲁棒性的可区性的关键特征，利用深度学习进行分类识别，实现单株牧草自动分类与群落牧草组成分析，在此基础上，建立个体植株与群落的对应关系，测定草地的盖度、密度等信息，为草地数字信息的获取开辟新途径，提高“互联网+草地”的管理水平，为实现牧草识别以及数据采集的自动化奠定基础。

Description

基于深度学习的牧草图像识别方法

技术领域

本发明涉及牧草图像识别技术领域，具体为基于深度学习的牧草图像识别方法。

背景技术

草地资源的合理利用是我国生态文明建设和发展的基础。虽然草地资源是可再生资源，我国资源相对也很丰富，但是由于管理不善引起的粗放经营和过度放牧，以及气候等其他因素，造成草产量下降，草地资源严重退化，水土流失，沙尘暴爆发的频率增高等生态问题，形势严峻。内蒙古自治区拥有约7880万公顷的草场资源，然而因过度放牧造成草场面积逐年退化。此前，草地牧草的识别和评估工作主要通过生态科技工作人员实地目测和丈量实现。人工测量工作强度大、费时费力、不可重复，而且准确度也难以保障，因此，对草地进行“互联网+草业”集约化管理势在必行。“互联网+草业”是保护与合理利用草地资源以及生态环境，实现资源可持续发展战略的重要途径。

“互联网+草业”是指草产业与互联网、云计算、大数据等技术性相结合的过程。旨在提高草产业组织化程度、提高草产品交易效率、降低交易成本。“互联网+”的本质是传统产业的信息化、数据化、在线化。该理念的提出最早见于2012年11月的第5届移动互联网博览会。2015年3月5日，国家提出制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。实现农业生产全过程的信息感知、智能决策、自动控制和精准管理，是未来发展现代化农业的基本方向。而在具体的实施层面，农业信息化将会是“互联网+农业”未来发展的3个主要方向。草地是农业行业的一个重要领域，在“互联网+农业”的基本标准和规范框架下，构建面向草地生态系统现代化管理平台，计算机技术、网络通信技术、人工智能技术、大数据、云计算与草业科学、地理学、生态学等多种基础学科，对草地生态系统的环境要素、生物要素以及经济要素进行检测、管理与控制。“互联网+草业”研究是信息技术应用于草地生态系统管理的新兴研究方向，具有重要的理论研究和实践应用价值。

草地图像是“互联网+”的一个主要来源，其包括遥感图像和数码图像等，从海量图像中提取主要的草地信息，用于的数字化平台建设，是草地数字化最重要的环节。目前，利用图像识别和模式识别技术实现“互联网+草地”的研究工作相对较少，方法也较为单一。研究人员主要利用遥感图像与地理信息技术对草地资源与生态环境的宏观调查与动态监测，实现草地作物产量的预测、草地病虫害的预警以及草地退化的监测等。基于遥感技术的草原数字化研究，具有宏观性、可重复性和客观性等特点，可以对草地资源与生态遥感监测，直接获取草地数据，利用大数据技术分析其经济效益。然而，遥感技术主要有三方面不足，第一，图像的获取方式，遥感图像主要通过卫星或航空飞机远距离拍摄，所以图像采集成本较高，普及程度较低、解读性较差，仅是草地研究海量数据库中极小一部分，难以利用云计算和大数据处理技术。第二，遥感图像不能从微观角度捕获草地信息，例如单株牧草的生长状况，群落牧草的成分分析等，不能构建完整的“互联网+草地”系统。第三，遥感图像所需存储空间极大，数据中存在大量冗余信息，在图像存储、处理、传输、显示等环节皆受限制。因此，单凭遥感技术实现“互联网+草地”具有一定的局限性和片面性。

国内外研究现状及发展动态基于牧草图像的识别技术可以从微观尺度对单株牧草识别及群落牧草分类及监测等。利用图像采集设备获取一幅或多幅目标图像，然后让计算机模拟人的视觉功能，从中提取信息，进行处理、分析和测量，并对测量结果进行定性分析，给出定量结果，做出相应决策的一门新兴技术。近年来，机器视觉发展迅速，在农业领域已有大量研究，如杂草分类、病虫害控制、农作物生长监控、农产品质量监测、植被覆盖度检测等。计算机视觉成功应用于上述研究方面，实现精准农业。这些研究的对象是利用数码相机、摄像头等日益普及的数码设备获取到的数字图像，其低成本、精度高、效率高等优点。其中较为典型的研究有：

江苏大学的毛罕平教授团队在对植物叶片病虫害识别诊断进行研究，使用数码摄像机采集棉花田间图片，经过背景分割，提取特征进行杂草识别，以此为依据给出施药信息与策略，提高了棉田自动化管理水平与生产效率。2020年8月15日，毛罕平教授围绕加速项目实施进度，强化关键核心技术攻关，着力突破“卡脖子”技术，加强成果凝练，在短期内尽快产出标志性成果，同时做好成果转化与推广；

浙江工业大学芦亚亚等人利用计算机视觉系统对自然场景下果蔬图像进行分割识别，解决果蔬在自然光照、阴影、被遮挡以及背景色相似的情况下的果实中心点定位的问题，为实现机器人自动采摘奠定基础；

韩安太等人运用压缩感知理论进行农业害虫分类，利用害虫训练样本构造训练样本矩阵，通过求解L1范数意义下的最优化问题实现害虫测试样本的稀疏分解，由于稀疏分解结果中包含了明确的分类信息，可直接用于害虫分类.利用该方法对12类储粮害虫和110类常见害虫进行分类，在4种不同试验条件下，分类准确率分别达到92.9418％、98.2877％、78.8651％和61.5938％；

Paarth等人将迁移学习应用于AlexNet卷积神经网络，对病害叶片和健康叶片共10种类别的番茄叶片进行分类研究。使用14529张番茄叶片病害图像作为验证集，对AlexNet卷积神经网络模型结构进行迁移，利用在Imagenet图像数据集上训练成熟的AlexNet模型和其参数对番茄叶片病害识别。采用迁移学习所建立的病害分类模型对10种类别的番茄叶片分类，平均准确率可达到95.62％。郭小倩等人基于卷积神经网络提出一种多尺度识别模型，结合番茄病害叶片图像特点，去除局部响应归一化层、修改全连接层、设置不同尺度卷积核提取特征，该模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到92.7％，能够满足生产实践中病害图像识别需求；

Moru等人利用机器视觉技术对针芽形绿茶外形观品质进行定量评审。提取成品茶图像的9个颜色特征和6个纹理特征，然后通过与专家感官评分进行关联分析，明确了与感官品质显著相关的特征变量。采用偏最小二乘法(PLS)、极限学习机(ELM)和强预测器集成算法(ELM-AdaBoost)3种多元校正方法，分别建立了高效的基于工艺或图像特征的针芽形绿茶外形感官的量化评价模型，进一步提升了模型的精度和泛化能力；

王雅婷等人以内蒙古乌审旗为研究区，采用水云模型去除地表稀疏植被覆盖的影响，提取全极化影像裸土后向散射系数，建立后向散射系数数据库，采用LUT法模拟地表有效粗糙度参数，构建基于支持向量回归的土壤水分反演模型，并系统地对比分析了不同极化方式的后向散射系数作为数据源的土壤水分反演结果。

以上研究都是将计算机视觉技术、模式识别与农业相结合，针对特定农作物与其相应的生长环境，提取作物植株可区分特征，提高农业生产的效率与效益。然而，对于草业科学，由于许多草种的叶面积较小且草种之间相似度较高，即使在人眼的观察下也不容易分辨，识别难度较大。针对天然草原草种的识别研究，尤其是可见光图像的研究鲜有报道，能够查到的基于草地图像的研究仅有以下几例：

韩丁等人选择羊草、鹅绒委陵菜、阿尔泰狗娃花和冷蒿四种内蒙古乌兰察布市荒漠化草原的典型牧草，对牧草图像进行颜色、形状特征提取。采用高清照相机采集尺寸、形状、大小各不相同的牧草图像，提取9种RGB颜色一、二、三阶矩特征与6种宽长比等形状特征，四种牧草平均识别率为82.5％，降低计算成本、提升识别效率；

王敬轩等人利用图像处理技术，依据植物叶片图像的形状特征对14种豆科牧草进行分类。首先提取叶片轮廓，然后计算叶片的矩形度、横纵轴比、圆形度等8个几何特征和7个不变矩特征作为全局特征，并将叶缘粗糙度作为局部特征，利用PNN和BPN进行分类，识别率分别达到85％和82.4％。系统可以实现自动的牧草分类，而无需人工干预，识别效率和自动化程度均有所提高。但是，提取的特征多数是基于形态与几何结构，它们在不同的生长阶段和生长季节均有明显变化，因此基于形态特征的识别方法正确分类率较低，不能满足实际要求；

就禾本科牧草图像而言，其含有大量的几何结构信息，同时还含有大量的纹理、颜色信息，如无芒雀麦和光穗冰草中底纹、颜色、形状等特征，可以直接通过计算机视觉和模式识别进行分析和提取，用于自动分类与识别。牧草图像主要包括近距离拍摄的牧草植株。群落景观图像，它们可从微观尺度精确地判断牧草种类、群落成分分析、计算对应的草地生物信息，与宏观尺度的遥感图像集成更为完整的草地数字信息系统。由于这类图像可以直接使用数码相机采集，具有便携、高效、成本低等优势，采集后可传输到计算机中进行存储和处理，减少了误差引入环节，适用于野外草地数据采集，提高图像处理的效率，为科研人员获取草地信息的拓展新途径；

深度学习是Hinton等人2006年提出的多隐层的神经网络，通过“逐层预训练”克服深度神经网络的训练难度，具有较好分类特性。“互联网+草业”又掀起了神经网络研究新高潮。在大数据、云计算等前提下，可以通过大量的训练样本，提高识别的准确性。近几年，ImageNet图像分类竞赛中，深度学习总是名列前茅，许多学者将深度学习与其他方法融合应用于实际场景中，取得了令人满意的效果，人们将深度学习方法成功应用于图像识别中，其在图像识别中具有巨大优势。Google在2015年年底开源了内部使用的深度学习框架TensorFlow。TensorFlow在图形分类、音频处理和自然语言处理等场景下都有丰富的应用。最近流行的Keras框架底层默认使用TensorFlow.TensorFlow的流行让深度学习门槛变得越来越低，TensorFlow支持Python和C++两种编程语言，只要学过Python和机器学习，入门和使用神经网络模型非常简单。不论多复杂的多层神经网络模型，都可以用Python来实现。即使项目使用其他语言编程也没问题，使用跨语言的gRPC或者HTTP服务就可以访问使用TensorFlow训练好的智能模型。目前研究大多是针对特定农作物与其相应的生长环境例如基于深度学习的白菜田杂草分割、基于深度学习的白菜田杂草分割等，农作物与杂草的形态、几何结构等特征均有明显变化，采用深度学习可以提高杂草的识别，定位，在不同环境下都能精确地识别出杂草，识别准确率为大大提高，但是天然牧草中既有草原牧草又有田间杂，二者之间相似度较高。而且，牧草图像采集大都在野外，草地的自然环境干扰因素较多，例如风噪、采集光强骤变等，都会降低图像质量。草牧数据量大，种类繁多，提取分类信息比较困难，以及相机的自动调焦等操作会引起明显的尺度变化，这些因素都会直接影响分类精度。因此采用深度学习方法通过多层神经网络训练，提取到的特征鲁棒性较强，图像的位移、旋转以及尺度变化具有不变性特征，有利于实现草地牧草的自动分类。将深度学习与传统的识别算法结合，如子空间算法、流形学算法、小波变换、云模型等，提升草地牧草的分类性能，实现草地牧草的自动分类。

综上所述，计算机视觉和模式识别技术在草业的研究仅处于起步阶段，研究范围受限、研究深度浅显、缺乏系统性和专业性，部分环节需要专家干预，自动化程度较低，分析效率以及精度都有很大的提升空间。虽然可借鉴计算机视觉在农作物应用方面的成功经验，但由于牧草的生长环境、形态、特性、图像采集等方面与农作物有明显不同，只可部分借鉴，不能全盘照端。因此深入研究基于深度学习的牧草分类有重要理论和应用价值。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于深度学习的牧草图像识别方法，解决了目前利用计算机视觉和模式识别技术对牧草识别还在初步研究阶段，存在自动化较低，分析效率和精度不够的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：基于深度学习的牧草图像识别方法，具体包括以下步骤：

S1.牧草图像数据库的建立

根据牧草种类的不同、生长环境以及生长季节的实际情况确定不同的采样方案，进行采集牧草图像，并在此基础上建立牧草图像数据库；

S2.多形态特征挖掘及融合

针对无芒雀麦、光辉冰草、蒙古冰草、老芒麦和豆科苜蓿这5类禾本科牧草，研究其表征各类牧草的颜色特征、形态特征和纹理特征，然后提取牧草的整体特征和局部特征，寻找特征信息变化规律及其之间的相关性，兼顾特征信息的相似性，去除冗余特征，将区分为最强的特征进行融合，建立多形态特征融合算法，并对算法的有效性进行分析；

S3.牧草分类算法

根据牧草图像自身特点采用TensorFlow+Inceptionv3框架的深度学习算法，输入融合后的特征，动态调整Loss值，创建多个Variable同时绑定CPU，Inceptionv3Modules中设置filtersize；

S4.景观图像群落分析

群落图像内含有不同种类的牧草，通过群落图像，可以分析草地的健康状态、草地的密度、盖度信息，对图像的具体操作包括去噪、分割，提取颜色、纹理特征，并结合深度学习神经网络，分析群落牧草的组成。

优选的，所述步骤S1中数据库中包括单株牧草图像数据库、实验样方牧草图像数据库、草原上牧草群落图像数据库，并且这些图像数据用于分类识别实验。

优选的，所述步骤S3中添加激活函数可以获得更多的disentangled features，通过低维嵌入完成空间聚合，不会有太多损失甚至没有损失，平衡网络的宽度和深度，同时，结合云模型以及传统分类识别算法，重点研究尺度不变、旋转不变和位移不变特征的提取方法，提高分类精度。

基于牧草图像识别方法的实施方法，具体包括以下步骤：

1).选择实验样地

选择温带荒漠草原与典型草原作为实验样地，然后在实验样地上选取大量样本，通过计算机视觉与深度学习分析牧草草地的可见光图像，提取各种特征，选择多特征融合策略，获取牧草种类、分布、密度、盖度重要数据，建立可见光图像与牧草分类和分析数据的对应关系，实现自动分析数据；

2).传统方法测定草地相关指标

草地密度、盖度、高度的测定；

3).牧草图像采集系统与图像数据库

实施基于数码相机与CCD工业相机的图像采集系统和牧草图像数据库，基于数码相机与CCD工业相机的图像采集系统中；

4).单株牧草图像分类识别

通过底层特征，研究不同空间、不同层次、不同视角的特征信息对牧草的显著的可区分性，寻找特征之间的相关性，去除冗余特征，选择合适的数据挖掘和融合策略将区分为强的特征挖掘出来并融合；

5).群落图像的分析

将经典的分割算法如阈值、区域、聚类及分水岭算法用于草地图像，再针对其特点，结合形态学、融合策略方法，对分割算法进行出改进，使其适于群落图像分割的实际需要，在此基础上，进行特征提取，分析群落组成；

6).建立图像特征与草地相关指标的对应关系

将提取到的特征值和传统方法测定的草地相关指标进行分析，建立两者之间的数学模型，通过对图像的分割计算草地盖度，并与常规测定结果对比，验证方法的有效性。

优选的，所述步骤3)中基于数码相机与CCD工业相机的图像采集系统中图像采集系统分别采用商用数码相机和工业CCD相机。

(三)有益效果

本发明提供了基于深度学习的牧草图像识别方法。具备以下有益效果：

本发明提供了基于深度学习的牧草图像识别方法，本发明针对牧草图像开展牧草分类研究，通过APP实现实时在线分析禾本科牧草种类、动态分析群落牧草的密度、盖度的指标，同时利用深度学习实现牧草分类识别算法，牧草图像采集环境复杂，图像中含有大量噪声干扰，项目拟提出基于TensorFlow+Inceptionv3框架的深度学习的牧草分类识别算法，为解决牧草分类识别提供了新思路与新方法，并且建立单株牧草图像与群落图像的对应关系，建立群落图像分析数学模型，获取群落密度、盖度草地监测指标，实现自动获取草地数据，而将“互联网+”与草业相结合，利用计算机视觉与深度学习，丰富研究领域的内容。

附图说明

图1为本发明的主要技术路线流程图；

图2为本发明的单株牧草图像识别技术路线图；

图3为本发明传统的Inception分支图；

图4为本发明非对称分解卷积核的Inception图表；

图5为本发明加入filterexpanded的Inception图表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1-5所示，本发明实施例提供基于深度学习的牧草图像识别方法，具体包括以下步骤：

S1.牧草图像数据库的建立

根据牧草种类的不同、生长环境以及生长季节的实际情况确定不同的采样方案，进行采集牧草图像，并在此基础上建立牧草图像数据库，数据库中包括单株牧草图像数据库、实验样方牧草图像数据库、草原上牧草群落图像数据库，并且这些图像数据用于分类识别实验；

S2.多形态特征挖掘及融合

针对无芒雀麦、光辉冰草、蒙古冰草、老芒麦和豆科苜蓿这5类禾本科牧草，研究其表征各类牧草的颜色特征、形态特征和纹理特征，纹理特征包括基于局部相似模型(LSP)特征，通过调节SRR更加灵活地提取图像纹理特征，灰度共生矩阵(GLCM)，然后提取牧草的整体特征和局部特征，这些特征都是底层特征，它们对牧草表征具有重叠性，因此研究不同空间、不同层次、不同视角的特征信息对牧草显著的可区分性，寻找特征信息变化规律及其之间的相关性，兼顾特征信息的相似性，去除冗余特征，将区分为最强的特征进行融合，建立多形态特征融合算法，并对算法的有效性进行分析；

S3.牧草分类算法

牧草从种子到植株这一生命周期，经历了不同生长阶段，每个阶段的外形、颜色、体态差异巨大，因此，所得的样本图像差异巨大，同时，环境对牧草的生长状况也有影响，相同品种的牧草，在不同的生长环境下，变异性很强，因此，需要根据牧草图像自身特点采用TensorFlow+Inceptionv3框架的深度学习算法，TensorFlow在图形分类、音频处理和自然语言处理场景下都有丰富的应用，输入融合后的特征，动态调整Loss值，创建多个Variable同时绑定CPU，便于修改隐层节点数和网络层数，Inceptionv3Modules中设置filtersize，开始不要设置过大，会导致图像信息的丢失，添加激活函数可以获得更多的disentangledfeatures，通过低维嵌入完成空间聚合，不会有太多损失甚至没有损失，平衡网络的宽度和深度，同时，结合云模型以及传统分类识别算法，重点研究尺度不变、旋转不变和位移不变特征的提取方法，提高分类精度；

S4.景观图像群落分析

基于牧草图像识别方法的实施方法，具体包括以下步骤：

1).选择实验样地

选择温带荒漠草原与典型草原作为实验样地，例如乌兰察布盟四子王旗与锡林郭勒盟南部太仆寺旗典型草原，两者在自然环境、气候类型、牧草种类、牧草生长情况方面均不同，因此可以充分对比气候条件、草地类型因素对牧草种类与形态的影响，然后在实验样地上选取大量样本，通过计算机视觉与深度学习分析牧草草地的可见光图像，提取各种特征，选择多特征融合策略，获取牧草种类、分布、密度、盖度重要数据，建立可见光图像与牧草分类和分析数据的对应关系，实现自动分析数据；

2).传统方法测定草地相关指标

草地密度、盖度、高度的测定：分别在四子王旗和太仆寺旗随机选取100个0.5×0.5m²的样方(根据群落均匀性和空间差异确定)，记录样方内的植物种类，测定群落盖度、各物种的盖度、密度、高度；

3).牧草图像采集系统与图像数据库

实施基于数码相机与CCD工业相机的图像采集系统和牧草图像数据库，基于数码相机与CCD工业相机的图像采集系统中数码相机具有低成本、便携、普遍使用特点，因此被广泛使用；CCD工业相机具有精度高的优点，但是需要专门的固定装置，图像采集系统分别采用商用数码相机和工业CCD相机，在不同生长阶段，牧草的物理形态差异性很大，群落图像的差异就更为明显，采集的范围可从不足1米延伸至几百米，因此实验室前期购置了与数码相机配套的100mmf/2.8L的微距镜头以及70-300R4-5.6L的长焦镜头，便于采集微小的牧草器官以及较大范围的群落图像，同时，增加了相机和被照植株的固定装置、光源设计附属装置，可以有效地降低光照、位置以及尺度变化对分类和分析结果产生噪声干扰，另外，豆科牧草花粉极其微小的牧草器官，通过显微镜对其放大后再采集样本图像；

4).单株牧草图像分类识别

通过底层特征，研究不同空间、不同层次、不同视角的特征信息对牧草的显著的可区分性，寻找特征之间的相关性，去除冗余特征，选择合适的数据挖掘和融合策略将区分为强的特征挖掘出来并融合，单株牧草图像分类识别中，特征提取是关键，第一步，图像分割采用不确定性云模型，第二步，底层特征提取，牧草的形态结构特征差异尤为明显，以牧草外形为例，图像中包括外形的长、宽、面积、叶子锯齿的形状以及倾斜方向，这些特征都可以用来识别不同种类的牧草，获取这些参数需要确定图像中的关键点，如牧草的起始点、结束点、特殊的拐点，第三步，多形态多角度多层次特征融合；

采用小波和尺度不变特性相结合的算法提取牧草图像的尺度不变、光照不变和颜色不变的特征，牧草识别主要采用深度学习TensoFlow+Inceptionv3框架。

第一步，准备训练数据。本发明项目中的所有植物图像均为自己拍摄，一共5类12种植物，每种1000张，共12000张。第二步，接受命令行参数。深度学习需要调整优化Hyperparameter，调整优化算法、模型层数和不同模型。TensorFlow底层使用python-gflags项目，接口封装成tf.app.flags，提前定义命令行参数，简化Hyperparameter调优。第三步，定义神经网络。创建多个Variable且每个都有独立的名字，同时绑定CPU，便于修改隐层节点数和网络层数。TensorFlow默认使用GPU，可能会引起参数更新慢问题。第四步，使用不同的优化算法。选择Sgd、Rmsprop、Adagrad和Ftrl，Optimizer优化模型参数，选用正确的优化算法完成对比实验。第五步，在线数据不断优化。TensorFlow通过tf.train.Saver()保存和恢复模型，使用Python加载模型文件，不断接受在线请求数据，更新模型参数用于下一次优化或者线上服务。最后，在样本数据量巨大的情况，可以采用分布式计算，通过gRPC、Protobuf实现神经网络模型的分布式计算。

InceptionModules中，首先，使用factorization，将filtersize分解成多个更小的filtersize，这样不会导致图像信息的丢失还可以减少参数。假设有一个5×5的featuremap，方法(一)直接用一个5×5的filter对其做卷积得到1个值，方法(二)通过两个3×3的filter对其做卷积得到1个值。方法(一)的参数为5×5＝25，方法(二)的参数为3×3×2＝18。可以减少的参数量比例为(25-18)/25＝28％。其次，在网络结构中的某一层增加辅助分类器，即在网络中的某一层，添加一个分支用来做辅助分类。最后，对比三种InceptionModules，第一种传统的Inception。例如Base的InputSize在网络中对应为35×35×288，有4个分支，其中pool为平均池化avg-pool，最后将4个分支串到一起，如图3所示。

第二种非对称分解卷积核的Inception，例如对于一个3×3的卷积核，可以使用一个1×3和一个3×1的组合来替代。通常情况，使用1×n和n×1替代n×n的卷积核，如图4所示。

第三种加入filterexpanded的Inception。优化方法可以采用SGD或RMSProp，如图5所示。通过TensorFlow+Inceptionv3深度学习框架以提高识别稳定性，保证分类精度和分类效率，实现实时在线分析。

5).群落图像的分析

群落图像分析的第一步就是图像分割，图像分割的方法很多，由于牧草图像在外界环境采集，情况复杂，图像中除了明显的光照变化外，不可避免混有风噪带来的图像抖动。因此拟对图像先进行去噪处理。本发明将经典的分割算法如阈值、区域、聚类及分水岭算法用于草地图像，再针对其特点，结合形态学、融合策略方法，对分割算法进行出改进，使其适于群落图像分割的实际需要，在此基础上，进行特征提取，分析群落组成。

利用图像内不同区域的纹理、颜色、形状差别，进行边缘检测后进行分割。群落图像的拍摄分别从水平方向得到群落的主视图和从垂直方向得到群落的俯视图。主视图可以提供群落的高度、形态、生长阶段信息，俯视图提供牧草的密度、种类信息。因此对群落图像进行正确分割，需要同时参照两组视图，准确定位景观图像中的各组元成分的分布位置和区域面积。

6).建立图像特征与草地相关指标的对应关系

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.基于深度学习的牧草图像识别方法，其特征在于，具体包括以下步骤：

S1.牧草图像数据库的建立

S2.多形态特征挖掘及融合

S3.牧草分类算法

S4.景观图像群落分析

2.根据权利要求1所述的基于深度学习的牧草图像识别方法，其特征在于：所述步骤S1中数据库中包括单株牧草图像数据库、实验样方牧草图像数据库、草原上牧草群落图像数据库，并且这些图像数据用于分类识别实验。

3.根据权利要求1所述的基于深度学习的牧草图像识别方法，其特征在于：所述步骤S3中添加激活函数可以获得更多的disentangledfeatures，通过低维嵌入完成空间聚合，不会有太多损失甚至没有损失，平衡网络的宽度和深度，同时，结合云模型以及传统分类识别算法，重点研究尺度不变、旋转不变和位移不变特征的提取方法，提高分类精度。

4.根据权利要求1-3任意一项所述的基于牧草图像识别方法的实施方法，其特征在于，具体包括以下步骤：

1).选择实验样地

2).传统方法测定草地相关指标

草地密度、盖度、高度的测定；

3).牧草图像采集系统与图像数据库

4).单株牧草图像分类识别

5).群落图像的分析

6).建立图像特征与草地相关指标的对应关系

5.根据权利要求4所述的基于牧草图像识别方法的实施方法，其特征在于：所述步骤3)中基于数码相机与CCD工业相机的图像采集系统中图像采集系统分别采用商用数码相机和工业CCD相机。