CN106991147A - 一种植物识别系统及识别方法 - Google Patents

Abstract

本发明公开了一种植物识别系统及识别方法，该植物识别系统包括无人机携带的机载装置和地面装置，机载装置包括摄像头、GPS模块、无人机图传模块和无人机数传模块，地面装置包括地面图传模块、地面数传模块、目标追踪模块、增强现实模块和显示模块，地面图传模块接收无人机图传模块传输的视频流，地面数传模块接收无人机数传模块传输的数据信息，目标追踪模块在视频流中检测目标物体在屏幕上的位置并给出物体种类，增强现实模块将需要展示在目标物体上的虚拟模型在叠加到视频流中，然后传输给显示屏显示。本发明采用无人机携带的机载装置进行拍摄，可以针对许多用户无法到达的场景，比如一些湖泊中心、沼泽地等等，帮助用户对这些场景中的植物进行识别。

Description

一种植物识别系统及识别方法

技术领域

本发明涉及图像处理、检索和识别技术领域，具体涉及一种基于无人机和增强现实的植物识别系统及识别方法。

背景技术

地球上植物资源非常丰富，仅为人们所知的开花植物就多达十几万种。面对种类如此繁多的植物，如果仅仅依靠人工的方法往往无法正确地完成识别的任务，并且人工识别的方式效率也比较低，因此人们就把计算机技术引入到对植物识别的研究之中。而现在人们已经可以广泛地运用图像处理、机器学习等方式对植物进行识别，由此衍生出了植物识别系统。

在众多的植物识别系统中，最基本的方法是采用图像处理算法。图像处理算法主要是对植物的器官，比如叶片进行形状特征的提取，然后通过形状特征判断植物的种类。例如普楠等提出的《基于轮廓特征的植物叶片识别系统》就是针对叶片采用canny边缘检测和EM分割算法等方法对植物进行识别，该方法很好地利用了图像处理在识别上的优势。另外陈芳等提出的《嵌入式植物自动识别系统的设计与实现》也提出了基于图像处理方式的植物识别系统，选取的特征包括叶片的圆形度、偏心率等。但是，基于图像处理方法进行植物识别需要事先人工提取植物特征，操作复杂、耗时巨大，这大大局限了植物识别系统所能识别的植物种类。另外，对于很多用户无法到达的场景，比如湖泊、岩壁等等，现有的植物识别系统还无法满足需求。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种一种植物识别系统及识别方法。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种植物识别系统，其包括无人机携带的机载装置和地面装置，所述无人机携带机载装置采集植物信息并传输给地面装置，所述地面装置对植物进行识别；所述机载装置包括摄像头、GPS模块、无人机图传模块和无人机数传模块，所述摄像头的信号输出端分别与无人机图传模块和无人机数传模块的图像信号输入端相连，所述GPS模块的信号输出端与无人机数传模块的数据信号输入端相连；所述地面装置包括地面图传模块、地面数传模块、目标追踪模块、增强现实模块和显示模块，所述地面图传模块接收无人机图传模块传输的视频流，所述地面数传模块接收与无人机数传模块双向连接、接收无人机数传模块传输的数据信息，所述目标追踪模块接收地面图传模块和地面数传模块传输的信息，在视频流中检测目标物体在屏幕上的位置，同时给出物体种类的概率分数，所述增强现实模块，在得到图像中的物体位置后，将需要展示在目标物体上的虚拟模型在叠加到视频流中，然后传输给显示屏显示。

本发明的植物识别系统采用无人机携带的机载装置进行拍摄，相比于目前常用的移动端植物识别系统，本发明可以针对许多用户无法到达的场景，比如一些湖泊中心、沼泽地等等，无人机可以很好地到达这些区域，帮助用户对这些场景中的植物进行识别。

另外，本发明的增强现实模块对植物信息进行增强现实叠加，为用户提供丰富的感官体验和操作便捷性。

现有的植物识别系统主要采用图像处理方式提取植物的具体器官，比如叶片的特征，从而识别植物种类，该类系统需要人工事先选取特征。本发明在大数据的驱动下，可以先检测定位场景中的植物，不需要提取具体的器官特征，只需要目标追踪模块确定目标物体在显示屏中的实时位置以及目标物体的预测类别，直接识别植物的种类。

在本发明的一种优选实施方式中，所述目标追踪模块包括依次连接的输入模块、特征提取模块、目标位置检测模块和输出模块；所述输入模块接收视频帧信息，将视频帧进行缩放后传输给特征提取模块；所述特征提取模块包括间隔分布的m个卷积模块和h个下采样模块，所述m、h均为正整数，所述卷积层和下采样层对视频帧进行卷积操作和下采样操作，获得详细的特征图并传输至目标位置检测模块；所述目标位置检测模块包括p个卷积模块，所述卷积模块对特征提取模块输出的特征图进行卷积得到目标物体的实时位置并输出。

通过目标追踪模块准确确定目标物体在显示屏中的实时位置以及目标物体的预测类别，直接识别植物的种类。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种植物识别系统的植物识别方法，其特征在于，包括如下步骤：

S1，开启机载装置和地面装置，连接机载装置和地面装置，操控者控制无人机进入目标场景；

S2，利用摄像头获取当前场景的视频流，通过无人机图传模块将视频流传回地面装置；

S3，地面装置的目标追踪模块接收视频流，检测视频流的当前帧中的目标物体并确定目标物体在显示屏中的实时位置以及目标物体的预测类别；

S4，判断步骤S3中每个目标物体的植物种类，从数据库中检索出每种植物的相应简介信息，利用显示屏显示目标植物信息简介；

S5，地面装置的目标追踪模块对视频流中的下一帧与当前帧进行相似度比较，如果相似度小于阈值，则返回步骤S3，否则执行步骤S6；

S6，调整目标物体实时位置。

本发明的植物识别系统的植物识别方法通过检测定位场景中的植物，不需要提取具体的器官特征，只需要目标追踪模块确定目标物体在显示屏中的实时位置以及目标物体的预测类别，直接识别植物的种类。

在本发明的一种优选实施方式中，步骤S3具体包括如下步骤：

S31，将接收的视频帧进行图片缩放并传输给特征提取模块；

S32，特征提取模块的卷积模块与下采样模块间隔设置，卷积模块和下采样模块对视频帧进行卷积操作和下采样操作，提取到详细特征图；

S33，目标位置检测模块的卷积模块对详细特征图进行卷积操作，得到目标位置和种类概率数值；

S34，输出层根据目标位置检测网络的输出，确定目标物体在显示屏中的实时位置和目标物体的预测类别。

通过以上操作确定目标物体的位置和目标物体的类别。

在本发明的一种优选实施方式中，所述步骤S32中的卷积操作为：第j个卷积层接收到的特征图为X₁,X₂,......,X_i，其中，i和j均为正整数，X_i为目标植物的第i张图像，X₁,X₂,......,X_i均为n维矩阵，n为正整数，该卷积层输出的特征图为：

其中，Θ_j为第j个卷积层的权重矩阵，b_j为预设的偏置，φ为卷积函数。

在本发明的另一种优选实施方式中，所述步骤S32中的下采样操作为：对输入下采样模块的N*M*H大小的特征图，即为H张N*M的图像，将每张图像分为S*S’个格子，其中，H、N、M、S、S’均为正整数，每个格子里面的值全部求和取平均变成一个值，得到详细特征图。从而得到详细的特征图。

在本发明的另一种优选实施方式中，所述目标物体的预测类别为：

其中，σ(Z)_j表示将目标物体Z分类为j的概率向量，e^x代表的是指数函数，^zj代表第j类的数值向量，e^zj是指每一类的数值向量求e^x。获得目标物体的预测种类。

在本发明的另一种优选实施方式中，所述步骤S5中通过帧运动量D_t度量两帧之间的相似度:

其中，I₁，I₂为两帧图像的灰度图；c×r为视频帧的大小。

在本发明的另一种优选实施方式中，所述步骤S6中调整目标物体实时位置的方法为：

S61：1)遍历所有像素确定特征点，以像素o为中心，半径为R的圆上的像素点(p₁,p₂,......,p_q)，其中，q为正偶数，R为正数；

2)定义阈值th，计算p₁、p_((q/2)+1)与中心o的像素差，若它们绝对值都小于阈值th，则o点不可能是特征点，直接删掉；否则，加入候选点集；

3)若o是候选点，则计算p₁、p_((q/2)+1)、p_((q/4)+1)、p_((q×3/4)+1)与中心o的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点；否则，直接删除；

4)若o是候选点，则计算p₁到p_q这q个点与中心o的像素差，若它们中超过半数超过阈值，则是特征点；否则，删除；

5)计算特征点得分值，判断以特征点o为中心的一个邻域内，计算若有多个特征点，则判断每个特征点的得分值，若o是邻域所有特征点中响应值最大的，则保留；否则，删除，若邻域内只有一个特征点，则保留；

得分值计算方法为：

其中，s代表的是得分值，p_c代表的是该特征点邻域中心的像素值，p代表的是16个点中第i个点的像素值，t代表的是设定的阈值，

根据候选特征点得分值选出最终的特征点，在选择的特征点的邻域内随机选取n个点对，对于每一个点对，形成一个二进制值τ，其定义如下：

其中，x、y指邻域中的某个子块，p(x)指的是x的灰度之和，p(y)指的是y的灰度之和，由N个τ值组成的一个向量，构成一个二值特征描述子：

f_n(p)＝∑_{1＜＜i＜＜n}2^i-1τ(p；x,y)，

假设S₁、S₂分别为两个特征描述子，计算汉明距离D_s1,s2表示两特征描述子的相似程度，如下：

S62，假设上一帧所检测的物体方框位置为x₁、x₂、y₁、y₂，提取该物体当前帧和上一帧的特征描述子，对比两个特征描述子，匹配该物体在上一帧与当前帧的位置，当匹配点个数超过设定的阈值th时，得到该物体在当前帧的特征子块位置为x₁'、x₂'、y₁'、y₂'，则该物体在当前帧位置调整为x₁”、x₂”、y₁”、y₂”，

x₁”＝(x₁+x₁')/2；

x₂”＝(x₂+x₂')/2；

y₁”＝(y₁+y₁')/2；

y₂”＝(y₂+y₂')/2。

通过对比两帧之间的相似度，调整目标物体的实时位置。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中植物识别系统的结构框图；

图2是本发明一种优选实施方式中植物识别方法的流程图；

图3是本发明一种优选实施方式中调整目标物体实时位置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种植物识别系统，如图1所示，其包括无人机携带的机载装置和地面装置，无人机携带机载装置采集植物信息并传输给地面装置，地面装置对植物进行识别。优选机载装置与地面装置通过无线连接。

在本实施方式中，机载装置包括摄像头、GPS模块、无人机图传模块和无人机数传模块，所述摄像头的信号输出端分别与无人机图传模块和无人机数传模块的图像信号输入端相连，所述GPS模块的信号输出端与无人机数传模块的数据信号输入端相连。其中，摄像头可以为单目摄像头或多目摄像头，优选为多目摄像头。该机载装置还可以包括多轴云台和无人机控制模块，其中，多轴云台、GPS模块、无人机图传模块、无人机数传模块和无人机控制模块安装在无人机上，多目摄像头安装在多轴云台上，多目摄像头与无人机图传模块、无人机数传模块相连，GPS模块与无人机数传模块相连，多轴云台与无人机控制模块相连，具体每一部分的作用为：多轴云台用于维持多目摄像头指向稳定，并根据遥控器回传的角度指令，进行姿态调整动作。多目摄像头用于采集无人机周围环境的视频流，视频流可以供地面装置进行目标物体(植物)检测，进而在视频流上对目标物体(植物)进行虚拟信息叠加。无人机图传模块负责将多目摄像头采集的视频流回传给地面装置。无人机数传模块用于将无人机的GPS模块定位信息和多目摄像头的姿态信息传输给地面装置，地面装置需要无人机GPS模块信号对场景进行定位，同时操作者可以根据其调整无人机位置和多目摄像头的姿态。无人机控制模块用于控制无人机的飞行状态、多轴云台和多目摄像头的姿态。

地面装置包括地面图传模块、地面数传模块、目标追踪模块、增强现实模块和显示模块，地面图传模块接收无人机图传模块传输的视频流，地面数传模块接收与无人机数传模块双向连接、接收无人机数传模块传输的数据信息，目标追踪模块接收地面图传模块和地面数传模块传输的信息，在视频流中检测目标物体在屏幕上的位置，同时给出物体种类的概率分数，增强现实模块在得到图像中的物体位置后，结合无人机的飞行高度、姿态、GPS定位信息，在视频中定位虚拟模型的位置和方向，将需要展示在目标物体上的虚拟模型在叠加到视频流中，然后传输给显示屏显示。

地面装置还可以包括显示屏、遥控器，增强现实模块分别与显示屏、目标物体检测模块、地面图传模块、地面数传模块相连。地面数传模块操纵者调整多目摄像头的姿态后，将姿态指令发送给无人机数传模块。地面图传模块用于接收多目摄像头拍摄到的视频流。目标物体检测模块根据无人机回传的视频流，在视频流中检测目标物体在屏幕上的位置，同时给出物体种类的概率分数。增强现实模块，在得到图像中的物体位置后，通过现有的增强现实技术在视频中定虚拟模型的位置，将需要展示在目标物体上的虚拟模型在叠加到视频流中，然后传输给显示屏。显示屏用于显示经过计算机叠加增强现实效果后的图像信息，以及无人机的高度、GPS和姿态信息。遥控器用于控制无人机的飞行姿态、多目摄像头的姿态。

在本实施方式中，目标追踪模块包括依次连接的输入模块、特征提取模块、目标位置检测模块和输出模块。输入模块接收视频帧信息，将视频帧进行缩放后传输给特征提取模块；特征提取模块包括间隔分布的m个卷积模块和n个下采样模块，m、n均为正整数，卷积层和下采样层对视频帧进行卷积操作和下采样操作，获得详细的特征图并传输至目标位置检测模块；目标位置检测模块包括p个卷积模块，其中，p为正整数，卷积模块对特征提取模块输出的特征图进行卷积得到目标物体的实时位置并输出。

在本实施方式中，特征提取模块包括15个卷积模块和5个下采样模块，5个下采样模块将15个卷积模块分隔为6部分，具体数量为2个卷积模块、2个卷积模块、3个卷积模块、3个卷积模块、3个卷积模块、2个卷积模块。

如图2所示，本发明还提供了一种植物识别方法，其包括如下步骤：

S1，开启本发明的机载装置和地面装置，连接机载装置和地面装置，操控者控制无人机进入目标场景。

S2，利用摄像头获取当前场景的视频流，通过无人机图传模块将视频流传回地面装置。

S3，地面装置的目标追踪模块接收视频流，检测视频流的当前帧A中的目标物体并确定目标物体在显示屏中的实时位置以及目标物体的预测类别。

在本实施方式中，步骤S3具体包括如下步骤：

S31，将接收的视频帧进行图片缩放并传输给特征提取模块。

在本实施方式中，图片缩放可以采用最近邻插值法，用最近邻的像素作为新图中对应位置的像素。假设原图长、宽依次为h、w，新图长、宽依次为H、W，其中，h，w，H,W均为像素个数，原图某一个像素点(x,y)在新图中对应的像素点坐标为(X，Y)，其中X>＝0,X<W,Y>＝0,Y<H；则对应到原图中x，y为：

x＝X/(W/w)；

y＝Y/(H/h)；

上面式子中x，y可能存在小数的情况，而在图像中，取值都是整数，所以需要转换成整数，也就是取整。这里为了方便直接采用四舍五入的方式。

根据长宽比例确定原图的像素应该放在新图的什么位置，如果新图比原图大，会出现有些地方没有，这时取最近的有值的像素值作为空白像素的像素值。

S32，特征提取模块的卷积模块与下采样模块间隔设置，卷积模块和下采样模块对视频帧进行卷积操作和下采样操作，提取到详细特征图。

具体的卷积操作为：第j个卷积层接收到的特征图为X₁,X₂,......,X_i，其中，i和j均为正整数，X_i为目标植物的第i张图像，X₁,X₂,......,X_i，均为n维矩阵，n为正整数，该卷积层输出的特征图为：

其中，Θ_j为第j个卷积层的权重矩阵，X_i×Θ_j代表卷积操作，也就是用权重矩阵对特征图进行卷积，b_j为预设的偏置，φ为卷积函数，φ代表输入里面的三个参数后，会输出一个特征图，也就是一个n维矩阵。具体卷积运算采用本领域中通用的运算方式。

下采样操作为：对输入下采样模块的N*M*H大小的特征图，即为H张N*M的图像，将每张图像分为S*S’个格子，每个格子里面的值全部求和取平均变成一个值，得到详细特征图，所述N、M、H、S、S’均为正整数。

S33，目标位置检测模块的卷积模块对详细特征图进行卷积操作，得到目标位置和种类概率数值。

在本实施方式中，目标位置采用卷积模块获取，具体目标位置检测模块包括11个卷积模块，其分为两类(包括位置信息卷积模块和植物种类信息卷积模块)，其中植物种类信息卷积模块为7个，位置信息卷积模块为4个。7个植物种类信息卷积模块依次连接并且第七个植物种类信息卷积模块的结果通过输出层输出；第一植物种类信息卷积模块与第一位置信息卷积模块连接，第三植物种类信息卷积模块与第二位置信息卷积模块连接，第五植物种类信息卷积模块与第三位置信息卷积模块连接，第七植物种类信息卷积模块与第四位置信息卷积模块连接，4个位置信息卷积模块的结果均通过输出层输出。

具体的卷及操作方法与上一步的卷积操作相同，具体种类概率数值计算公式为：

其中，σ(Z)_j表示将目标物体Z分类为j的概率向量，e^x代表的是指数函数，^zj代表第j类的数值向量，e^zj是指每一类的数值向量求e^x。

S34，输出层根据目标位置检测网络的输出，确定目标物体在显示屏中的实时位置和目标物体的预测类别。

在本实施方式中，在植物识别还具有训练步骤，具体可以采集多种植物的图片，进行网络训练，具体训练方法可采用现有技术。

在本实施方式中，目标物体的预测类别为：

通过种类概率数值计算公式计算具体种类概率数值，其中，σ(Z)_j表示将目标物体Z分类为j的概率向量，e^x代表的是指数函数，zj代表第j类的数值向量，e^zj是指每一类的数值向量求e^x。例如有一个物体Z，需要将它分为3类，每类的数值为向量(3，1，-3)，数值越高代表越可能是那一类，接下来需要转换到0到1之间，那么就是将(3，1，-3)分别求e，变成了(20，2.7，0.05)，再除以他们的和，也就是(20/(20+2.7+0.05),2.7/(20+2.7+0.05),0.05/(20+2.7+0.05))＝(0.88，0.12，0)，所以认为Z有88％的概率是第一类。

S4，判断步骤S3中每个目标物体的植物种类，从数据库中检索出每种植物的相应简介信息，利用显示屏显示目标植物信息简介。

S5，地面装置的目标追踪模块对视频流中的下一帧B与当前帧A进行相似度比较，如果相似度小于阈值，则返回步骤S3，否则执行步骤S6。

在本实施方式中，通过帧运动量D_t度量两帧之间的相似度:

其中，I₁，I₂为两帧图像的灰度图；c×r为视频帧的大小。

S6，调整目标物体实时位置。具体调整目标物体实时位置的方法为：

S61：1)遍历所有像素确定特征点，以像素o为中心，半径为R的圆上的像素点(p₁,p₂,......,p_q)，其中，q为正偶数,R为正数；如图3所示，对某一个像素p，以其为中心，半径为3的圆上，有16个像素点(p₁,p₂,......,p₁₆)。

2)定义阈值th，计算p₁、p_((q2/)+1)与中心o的像素差，若它们绝对值都小于阈值th，则o点不可能是特征点，直接删掉；否则，当做候选点，加入候选点集。计算p₁、p₉与中心o的像素差，若它们绝对值都小于阈值th，则o点不可能是特征点，直接去掉；否则，当做候选点，有待进一步考察。

3)若o是候选点，则计算p₁、p_((q/2)+1)、p_((q/4)+1)、p_((q×3/4)+1)与中心o的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点；否则，直接删除。即若o是候选点，则计算p₁、p₉、p₅、p₁₃与中心o的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；否则，直接去掉。

4)若o是候选点，则计算p₁到p_q这q个点与中心o的像素差，若它们中超过半数超过阈值，则是特征点；否则，删除。若o是候选点，则计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则是特征点；否则，直接去掉。

5)计算特征点得分值，判断以特征点o为中心的一个邻域内，计算若有多个特征点，则判断每个特征点的得分值，若o是邻域所有特征点中响应值最大的，则保留；否则，删除，若邻域内只有一个特征点，则保留；

得分值计算方法为：

其中，s代表的是得分值，p_c代表的是该特征点邻域中心的像素值，p代表的是16个点中第i个点的像素值，t代表的是设定的阈值。

根据候选特征点得分值选出最终的特征点，具体根据分数从高到低选取一定数量的特征点，具体数量可根据实际情况确定，在选择的特征点的邻域内随机选取n个点对，对于每一个点对，形成一个二进制值τ，其定义如下：

其中，x、y指邻域中的某个子块，p(x)指的是x的灰度之和，p(y)指的是y的灰度之和，由N个τ值组成的一个向量，构成一个二值特征描述子：

f_n(p)＝∑_{1＜＜i＜＜n}2^i-1τ(p；x,y)

假设S₁、S₂分别为两个特征描述子，计算汉明距离D_s1,s2表示两特征描述子的相似程度，如下：

S62，假设上一帧所检测的物体方框位置为x₁、x₂、y₁、y₂，提取该物体当前帧和上一帧的特征描述子，对比两个特征描述子，匹配该物体在上一帧与当前帧的位置，当匹配点个数(两个特征描述子中相同位置数值相同的点的个数)超过设定的阈值th时，得到该物体在当前帧的特征子块位置为x₁'、x₂'、y₁'、y₂'，则该物体在当前帧位置调整为x₁”、x₂”、y₁”、y₂”，

x₁”＝(x₁+x₁')/2；

x₂”＝(x₂+x₂')/2；

y₁”＝(y₁+y₁')/2；

y₂”＝(y₂+y₂')/2。

从而调整检测物体所在的方框位置区域。

现有的植物识别系统主要采用图像处理方式提取植物的具体器官，比如叶片的特征，从而识别植物种类，该类系统需要人工事先选取特征，而特征的选择对于植物的识别准确率影响非常大，同时也具有一定的局限性，只能识别部分种类的植物。本发明采用深度学习算法，在大数据的驱动下，可以先检测定位场景中的植物，不需要预先提取具体的器官特征，直接识别植物的种类。采用深度学习的方法还可以达到较高的准确率，可识别的种类也比较多。

本发明中采用无人机技术，无人机具有低功耗、小型化、视角独特等特点，相比于目前常用的移动端植物识别系统，本发明可以针对许多用户无法到达的场景，比如一些湖泊中心、沼泽地等等，无人机可以很好地到达这些区域，帮助用户对这些场景中的植物进行识别。

本发明采用增强现实技术，把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。原有的系统在识别到植物后，只是简单地展示是否能够识别该植物，该植物的种类是什么。在监测到植物之后，本系统会利用增强现实技术，对植物信息进行增强现实叠加，为用户提供丰富的感官体验和操作便捷性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种植物识别系统，其特征在于，包括无人机携带的机载装置和地面装置，所述无人机携带机载装置采集植物信息并传输给地面装置，所述地面装置对植物进行识别；

所述机载装置包括摄像头、GPS模块、无人机图传模块和无人机数传模块，所述摄像头的信号输出端分别与无人机图传模块和无人机数传模块的图像信号输入端相连，所述GPS模块的信号输出端与无人机数传模块的数据信号输入端相连；

所述地面装置包括地面图传模块、地面数传模块、目标追踪模块、增强现实模块和显示模块，所述地面图传模块接收无人机图传模块传输的视频流，所述地面数传模块与无人机数传模块双向连接、接收无人机数传模块传输的数据信息，所述目标追踪模块接收地面图传模块和地面数传模块传输的信息，在视频流中检测目标物体在屏幕上的位置，同时给出物体种类的概率分数，所述增强现实模块，在得到图像中的物体位置后，将需要展示在目标物体上的虚拟模型在叠加到视频流中，然后传输给显示屏显示。

2.根据权利要求1所述的植物识别系统，其特征在于，所述目标追踪模块包括依次连接的输入模块、特征提取模块、目标位置检测模块和输出模块；

所述输入模块接收视频帧信息，将视频帧进行缩放后传输给特征提取模块；

所述特征提取模块包括间隔分布的m个卷积模块和n个下采样模块，所述m、n均为正整数，所述卷积层和下采样层对视频帧进行卷积操作和下采样操作，获得详细的特征图并传输至目标位置检测模块；

所述目标位置检测模块包括p个卷积模块，所述p为正整数，所述卷积模块对特征提取模块输出的特征图进行卷积得到目标物体的实时位置并输出。

3.一种权利要求1-2之一所述植物识别系统的植物识别方法，其特征在于，包括如下步骤：

S1，开启机载装置和地面装置，连接机载装置和地面装置，操控者控制无人机进入目标场景；

S2，利用摄像头获取当前场景的视频流，通过无人机图传模块将视频流传回地面装置；

S3，地面装置的目标追踪模块接收视频流，检测视频流的当前帧中的目标物体并确定目标物体在显示屏中的实时位置以及目标物体的预测类别；

S4，判断步骤S3中每个目标物体的植物种类，从数据库中检索出每种植物的相应简介信息，利用显示屏显示目标植物信息简介；

S5，地面装置的目标追踪模块对视频流中的下一帧与当前帧进行相似度比较，如果相似度小于阈值，则返回步骤S3，否则执行步骤S6；

S6，调整目标物体实时位置。

4.根据权利要求3所述的植物识别方法，其特征在于，步骤S3具体包括如下步骤：

S31，将接收的视频帧进行图片缩放并传输给特征提取模块；

S32，特征提取模块的卷积模块与下采样模块间隔设置，卷积模块和下采样模块对视频帧进行卷积操作和下采样操作，提取到详细特征图；

S33，目标位置检测模块的卷积模块对详细特征图进行卷积操作，得到目标位置和种类概率数值；

S34，输出层根据目标位置检测网络的输出，确定目标物体在显示屏中的实时位置和目标物体的预测类别。

5.根据权利要求4所述的植物识别方法，其特征在于，所述步骤S32中的卷积操作为：第j个卷积层接收到的特征图为X₁,X₂,......,X_i，其中，i和j均为正整数，X_i为目标植物的第i张图像，X₁,X₂,......,X_i均为n维矩阵，n为正整数，该卷积层输出的特征图为：

$O_j=\mathrm{\&phi;}(\underset{i}{\mathrm{\&Sigma;}}{X}_i\&times;{\mathrm{\&Theta;}}_j+b_j),$

其中，Θ_j为第j个卷积层的权重矩阵，b_j为预设的偏置，φ为卷积函数。

6.根据权利要求4所述的植物识别方法，其特征在于，所述步骤S32中的下采样操作为：对输入下采样模块的N*M*H大小的特征图，即为H张N*M的图像，将每张图像分为S*S’个格子，每个格子里面的值全部求和取平均变成一个值，得到详细特征图，所述N、M、H、S、S’均为正整数。

7.根据权利要求4所述的植物识别方法，其特征在于，所述目标物体的预测类别为：

$\mathrm{\&sigma;}{\left(Z\right)}_j=\frac{e^{zj}}{{\mathrm{\&Sigma;}}_{k=1}^K{e}^{zk}},$

其中，σ(Z)_j表示将目标物体Z分类为j的概率向量，e^x代表的是指数函数，zj代表第j类的数值向量，e^zj是指每一类的数值向量求e^x。

8.根据权利要求2所述的植物识别方法，其特征在于，所述步骤S5中通过帧运动量D_t度量两帧之间的相似度:

$D_t=\frac{1}{c\&times;r}{\mathrm{\&Sigma;}}_{y=1}^r{\mathrm{\&Sigma;}}_{x=1}^c\frac{|I_2(x,y)-I_1(x,y)|}{255},0<<D_t<<1$

其中，I₁，I₂为两帧图像的灰度图；c×r为视频帧的大小。

9.根据权利要求2所述的植物识别方法，其特征在于，所述步骤S6中调整目标物体实时位置的方法为：

S61：

1)遍历所有像素确定特征点，以像素o为中心，半径为R的圆上的像素点(p₁,p₂,......,p_q)，其中，q为正偶数，R为正数；

2)定义阈值th，计算p₁、p_((q/2)+1)与中心o的像素差，若它们绝对值都小于阈值th，则o点不可能是特征点，直接删掉；否则，加入候选点集；

3)若o是候选点，则计算p₁、p_((q/2)+1)、p_((q/4)+1)、p_((q×3/4)+1)与中心o的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点；否则，直接删除；

4)若o是候选点，则计算p₁到p_q这q个点与中心o的像素差，若它们中超过半数超过阈值，则是特征点；否则，删除；

5)计算特征点得分值，判断以特征点o为中心的一个邻域内，计算若有多个特征点，则判断每个特征点的得分值，若o是邻域所有特征点中响应值最大的，则保留；否则，删除，若邻域内只有一个特征点，则保留；

得分值计算方法为：

$S=max\left\{\begin{array}{cc}\mathrm{\&Sigma;}(p_c-p)& (p_c-p)>t\\ \mathrm{\&Sigma;}(p-p_c)& (p-p_c)>t\end{array}\right.,$

其中，s代表的是得分值，p_c代表的是该特征点邻域中心的像素值，p代表的是16个点中第i个点的像素值，t代表的是设定的阈值，

根据候选特征点得分值选出最终的特征点，在选择的特征点的邻域内随机选取n个点对，对于每一个点对，形成一个二值τ测试，其定义如下：

$\mathrm{\&tau;}(p;x,y)=\left\{\begin{array}{cc}1& p\left(x\right)>>p\left(y\right)\\ 0& p\left(x\right)>>p\left(y\right)\end{array}\right.$

其中，x、y指邻域中的某个子块，p(x)指的是x的灰度之和，p(y)指的是y的灰度之和，由N个τ值组成的一个向量，构成一个二值特征描述子：

f_n(p)＝∑_{1＜＜i＜＜n}2^i-1τ(p；x,y)

假设S₁、S₂分别为两个特征描述子，计算汉明距离D_s1,s2表示两特征描述子的相似程度，如下：

S62，假设上一帧所检测的物体方框位置为x₁、x₂、y₁、y₂，提取该物体当前帧和上一帧的特征描述子，对比两个特征描述子，匹配该物体在上一帧与当前帧的位置，当匹配点个数超过设定的阈值th时，得到该物体在当前帧的特征子块位置为x₁'、x₂'、y₁'、y₂'，则该物体在当前帧位置调整为x₁”、x₂”、y₁”、y₂”，

x₁”＝(x₁+x₁')/2；

x₂”＝(x₂+x₂')/2；

y₁”＝(y₁+y₁')/2；

y₂”＝(y₂+y₂')/2。