CN116612192A - 一种基于数字视频的病虫害区目标定位方法 - Google Patents

一种基于数字视频的病虫害区目标定位方法 Download PDF

Info

Publication number
CN116612192A
CN116612192A CN202310882338.3A CN202310882338A CN116612192A CN 116612192 A CN116612192 A CN 116612192A CN 202310882338 A CN202310882338 A CN 202310882338A CN 116612192 A CN116612192 A CN 116612192A
Authority
CN
China
Prior art keywords
area
target
pine wood
wood nematode
forest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310882338.3A
Other languages
English (en)
Inventor
徐方彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University Of Arts
Original Assignee
Shandong University Of Arts
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University Of Arts filed Critical Shandong University Of Arts
Priority to CN202310882338.3A priority Critical patent/CN116612192A/zh
Publication of CN116612192A publication Critical patent/CN116612192A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及摄影测量技术领域,具体公开了一种基于数字视频的病虫害区目标定位方法,包括松树林区数字视频采集、分割林区数字视频、林区图像帧预处理、重合区域图像配准、松材线虫病害林区目标识别、利用目标虫害区的深度信息获取目标的三维位置信息、二次判别以及识别信息传输;通过无人机携带的双目相机联合林区预设的地面监测双目相机,在利用无人机通过由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量识别从松材线虫病害之后,利用地面双目相机确认目标区域内病害程度,为林区管理人员指示方向,解决了传统的林地目标定位方法定位信息识别度不高,且无法对松材线虫病害进行状态判断的问题。

Description

一种基于数字视频的病虫害区目标定位方法
技术领域
本发明涉及摄影测量技术领域,更具体地说,本发明涉及一种基于数字视频的病虫害区目标定位方法。
背景技术
在林业管理中,林区病虫害管理对林区的健康至关重要,林区存在多种多样的病虫害,疾病感染的数目以及虫害侵袭的林区如果不通过数字视频及时识别和发现,并采取相应防治措施进行整治,会对林区其他树木造成不可逆转的损害,松材线虫病就是其中一种严重侵害林木的病害,主要是由松材线虫侵袭松树引起的,松材线虫通过在幼虫阶段侵入松树内部,吸食松树的树液和携带松材壳孢菌侵袭松树导管组织,导致松树失去水分和养分供应,松树被松材线虫病侵害的主要表现为松树的迅速枯死,针叶由绿色变为黄色,随后迅速褪绿、枯萎,最终变为褐色,树冠逐渐枯萎,在病害发展后期,整棵树的枯萎会迅速扩散,导管组织受到破坏后,树干会出现蓝色或黑色的树脱脂区,而现在对松树林区的摄像测量多采用双目摄像机采集数字视频,针对数字视频中发生松材线虫病害的林区,传统的林地目标定位方法定位信息识别度不高,且无法对松材线虫病害进行状态判断。为了解决上述问题,现提供一种技术方案。
发明内容
为了克服现有技术的上述缺陷,本发明提供了一种基于数字视频的病虫害区目标定位方法,通过无人机携带的双目相机联合林区预设的地面监测双目相机,在利用无人机通过由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量识别从松材线虫病害之后,利用地面双目相机进一步确认目标区域内数目松材线虫病害的程度,并相对地面双目无人相机进行信息具象化,为林区管理人员指示方向,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于数字视频的病虫害区目标定位方法,包括如下步骤:
步骤S1,松树林区数字视频采集:在无人机上安装双目相机,并利用双目相机采集检测林区的左目数字视频和右目数字视频;
步骤S2,分割林区数字视频,取时序标记的左目图像帧和右目图像帧;
步骤S3,林区图像帧预处理:对图像帧进行灰度化处理、几何变换和图像噪声过滤,进行图像增强处理和亮度均衡处理;
步骤S4,重合区域图像配准:找到图像中的重合区域,计算它们之间的变换关系,经过图像变换模型将图像对齐,并进行匹配点筛选和匹配点对的深度计算;
在步骤S4中的变换关系计算、图像对齐和深度计算是基于双目相机的图像处理和计算机视觉技术来实现的,具体详细内容为:
变换关系计算:在重合区域图像配准之前,需要对左目图像和右目图像进行特征提取,使用的特征提取方法为SIFT特征描述子特征提取方法;在左目图像和右目图像中提取的特征点被匹配成对,通过基于特征描述子的匹配算法找到相应的匹配点对;
图像对齐:根据匹配点对计算出左目图像和右目图像之间的几何变换关系,使用的变换关系包括平移、旋转、缩放和透视变换;利用计算得到的变换关系,对右目图像进行变换,使其与左目图像在几何上对齐,通过仿射变换的图像变换模型来实现;
深度计算:在图像对齐后,利用基于SIFT特征点的视差计算方法双目视差计算方法来计算匹配点对的深度信息,双目视差计算方法基于视差原理,即左目图像和右目图像中的匹配点对之间的视差(即像素位移)与物体的深度之间存在一定的关系;通过计算匹配点对的视差,计算出目标虫害区的深度信息,这些深度信息用于生成目标虫害区的基于深度的描述子,进而获取目标虫害区的位置、面积大小和虫害状态信息;
步骤S5,松材线虫病害林区目标识别:利用历史图像中松材线虫病害林区树木的特征,构建由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量,识别图像中与松材线虫病害林区目标特征向量相似度高的林区,并将图像中与松材线虫病害林区目标特征向量相似度高的林区标记为目标虫害区;
步骤S6,利用目标虫害区的深度信息获取目标的三维位置信息,生成目标虫害区的基于深度的描述子,获取目标虫害区的位置、面积大小和虫害状态信息。
作为本发明进一步的方案,在步骤S5中,采集已知松材线虫病害林区的历史图像,对每张历史图像进行预处理,使用曲率计算方法获取每张历史图像中目标树木的弯曲度特征提取,对松材线虫病害的数目弯曲度特异性识别区域,基于松材线虫病害识别值进行识别,识别过程如下:
准备带有标签的训练样本:准备一组已知的松材线虫病害树木和健康树木的图像弯曲度特征,分别对训练样本中的树干区域进行等距分割,分割距离为0.8cm;
训练分类器区分松材线虫病害树木:对分类器中的初始识别函数设置为松材线虫病害识别值公式,获取松材线虫病害识别值的识别阈值区间,松材线虫病害识别值为发生病害的分割点数量与特异性病害位置曲率之和的乘积减去发生病害位置的最大外凸值,并引入修正因子,松材线虫病害识别值的公式为:
式中,为松材线虫病害识别值,/>为发生病害的分割点数量,/>为发生病害区域树干外轮廓分割点的序号,/>为发生病害区域连续出现的最大树干外轮廓分割点数目,/>为发生病害区域连续出现的第/>个分割点对应的曲率,/>为发生病害位置的最大外凸值,/>和/>均为修正因子,且满足/>和/>的取值均在[0,1]之间;
分类器的验证和优化:选择测试样本集,获取测试样本集中的松材线虫病害识别值,并将松材线虫病害识别值作为分类器的输入,并根据输出结果进行识别结果的准确度判断,不断更新和/>的数值,直至分类器的识别准确度最高。
作为本发明进一步的方案,在步骤S5中,识别松材线虫病害林区树干颜色特征的过程包括如下步骤:
采集历史图像:获取松材线虫病害树干的图像,对图像进行预处理;
树干轮廓提取:使用阈值分割法将图像中松树树干区域从背景中分离;
统计树干区域颜色矩,构建树干颜色特征向量:提取树干区域颜色的平均值、标准差、偏度和峰值,获取树干颜色矩,构建四维颜色矩特征向量;
松材线虫病害树干颜色识别:准备包括松材线虫病害树干和健康树干四维颜色矩特征向量的训练样本,利用机器学习算法进行识别,将新的树干四维颜色矩特征向量输入分类器进行识别,并利用验证样本去验证训练模型的识别精度,优化更新模型中的参数;
输出具有识别特异性的树干四维颜色矩特征向量。
作为本发明进一步的方案,在步骤S5中,识别松材线虫病害林区树冠颜色特征的具体过程为:
采集历史图像:获取松材现成病害树冠图像,对图像进行预处理;
树冠区域提取:使用区域生长方法,将图像中树冠区域从背景图像分离;
颜色直方图计算:使用颜色空间将图像中的像素映射到相应的颜色通道上,提取树冠区域颜色分布信息,计算每个颜色通道的直方图;
树冠颜色特征向量构建:将颜色直方图的统计信息组合成树冠颜色特征向量;
松材线虫病害树冠颜色识别:准备带有标签的训练样本,样本包括松材线虫病害树冠和健康树冠的树冠颜色特征,使用训练样本利用支持向量机方法训练分类器,利用测试样本测试训练好的分类器识别精度,优化分类器的参数;
输出具有识别特异性的树冠颜色特征向量。
作为本发明进一步的方案,在步骤S6中,由载有双目相机的无人机拍摄抓取符合松材线虫识别的树冠颜色特征向量的林区图像,并对病害林区进行标定,利用立体视觉进行深度估计,获取病害区域中心的三维位置信息,将深度估计得到的三维信息转换为点云数据,从点云数据中提取基于深度的形状描述子和局部表面特征描述子,将每个点的描述子组成基于深度描述子的特征向量,基于深度描述子的特征向量,获取该特征向量横坐标和纵坐标的数值范围,并在横坐标和纵坐标的数值范围内搜索预先设定在林中地面的双目相机,获取确认目标林区内的图像,进行松树弯曲度特征、树干颜色特征以及树冠颜色特征的融合特征向量的二次识别,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断。
作为本发明进一步的方案,在步骤S6的松材线虫病害的二次识别中,松树弯曲度特征、树干颜色特征以及树冠颜色特征进行特征融合的策略为加权融合,且松树弯曲度特征、树干颜色特征以及树冠颜色特征的权重分别为0.4、0.4和0.2。
作为本发明进一步的方案,在步骤S6中,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方式为:
虫害判定结果辨识:如果二次识别结果为不具备松材线虫病害特征,将地面双目相机识别区域范围对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为轻型松材线虫病害区域,如果二次识别结果为具备松材线虫病害特征,将地面双目相机识别区域对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为重型松材线虫病害区域,将无人机标定的目标区域减去地面双目相机识别区域的区域定义为疑似区域;
定位信息确认:利用地面双目相机记录的定位信息和无人机确定的目标区域相融合,获取以地面双目相机为参考点的东南西北四个方向上,目标区域轮廓距离参考点的四个外围距离,四个外围距离分别为东外围距离、南外围距离、西外围距离和北外围距离,构建目标识别定位向量。
作为本发明进一步的方案,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方法,所述基于数字视频的松材线虫病害区定位方法还包括步骤S7,步骤S7的具体内容为:
步骤S7,林区管理人员信息输送:地面双目相机通过无线通信技术获取无人机传输的松材线虫识别目标区域的定位数据,并结合二次识别结果,将虫害判定结果数据和定位信息确认结果通过物联网技术传输给与地面双目相机直线距离最近的林区管理人员的移动终端,同时为林区管理人员提供直线距离所在的行驶路径方向指示数据。
本发明一种基于数字视频的病虫害区目标定位方法的技术效果和优点:
本发明通过无人机携带的双目相机联合林区预设的地面监测双目相机,在利用无人机通过由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量识别从松材线虫病害之后,利用地面双目相机进一步确认目标区域内数目松材线虫病害的程度,并相对地面双目无人相机进行信息具象化,为林区管理人员指示方向。
附图说明
图1为本发明一种基于数字视频的病虫害区目标定位方法流程图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的技术方案仅仅是本发明一部分,而不是全部。基于本发明的内容,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他技术方案,都属于本发明保护的范围。
如图1所示,本发明提出的一种基于数字视频的病虫害区目标定位方法,通过无人机携带的双目相机联合林区预设的地面监测双目相机,在利用无人机通过由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量识别从松材线虫病害之后,利用地面双目相机进一步确认目标区域内数目松材线虫病害的程度,并相对地面双目无人相机进行信息具象化,为林区管理人员指示方向,包括如下步骤:
步骤S1,松树林区数字视频采集:在无人机上安装双目相机,并利用双目相机采集检测林区的左目数字视频和右目数字视频;
步骤S2,分割林区数字视频,取时序标记的左目图像帧和右目图像帧;
步骤S3,林区图像帧预处理:对图像帧进行灰度化处理、几何变换和图像噪声过滤,进行图像增强处理和亮度均衡处理;
步骤S4,重合区域图像配准:找到图像中的重合区域,计算它们之间的变换关系,经过图像变换模型将图像对齐,并进行匹配点筛选和匹配点对的深度计算;
在步骤S4中的变换关系计算、图像对齐和深度计算是基于双目相机的图像处理和计算机视觉技术来实现的,具体详细内容为:
变换关系计算:在重合区域图像配准之前,需要对左目图像和右目图像进行特征提取,使用的特征提取方法为SIFT特征描述子特征提取方法;在左目图像和右目图像中提取的特征点被匹配成对,通过基于特征描述子的匹配算法找到相应的匹配点对;
图像对齐:根据匹配点对计算出左目图像和右目图像之间的几何变换关系,使用的变换关系包括平移、旋转、缩放和透视变换;利用计算得到的变换关系,对右目图像进行变换,使其与左目图像在几何上对齐,通过仿射变换的图像变换模型来实现;
深度计算:在图像对齐后,利用基于SIFT特征点的视差计算方法双目视差计算方法来计算匹配点对的深度信息,双目视差计算方法基于视差原理,即左目图像和右目图像中的匹配点对之间的视差(即像素位移)与物体的深度之间存在一定的关系;通过计算匹配点对的视差,计算出目标虫害区的深度信息,这些深度信息用于生成目标虫害区的基于深度的描述子,进而获取目标虫害区的位置、面积大小和虫害状态信息;
步骤S5,松材线虫病害林区目标识别:利用历史图像中松材线虫病害林区树木的特征,构建由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量,识别图像中与松材线虫病害林区目标特征向量相似度高的林区,并将图像中与松材线虫病害林区目标特征向量相似度高的林区标记为目标虫害区;
步骤S6,利用目标虫害区的深度信息获取目标的三维位置信息,生成目标虫害区的基于深度的描述子,获取目标虫害区的位置、面积大小和虫害状态信息。
进一步地,在步骤S5中,采集已知松材线虫病害林区的历史图像,对每张历史图像进行预处理,使用曲率计算方法获取每张历史图像中目标树木的弯曲度特征提取,对松材线虫病害的数目弯曲度特异性识别区域,基于松材线虫病害识别值进行识别,识别过程如下:
准备带有标签的训练样本:准备一组已知的松材线虫病害树木和健康树木的图像弯曲度特征,分别对训练样本中的树干区域进行等距分割,分割距离为0.8cm;
训练分类器区分松材线虫病害树木:对分类器中的初始识别函数设置为松材线虫病害识别值公式,获取松材线虫病害识别值的识别阈值区间,松材线虫病害识别值为发生病害的分割点数量与特异性病害位置曲率之和的乘积减去发生病害位置的最大外凸值,并引入修正因子,松材线虫病害识别值的公式为:
式中,为松材线虫病害识别值,/>为发生病害的分割点数量,/>为发生病害区域树干外轮廓分割点的序号,/>为发生病害区域连续出现的最大树干外轮廓分割点数目,/>为发生病害区域连续出现的第/>个分割点对应的曲率,/>为发生病害位置的最大外凸值,/>和/>均为修正因子,且满足/>和/>的取值均在[0,1]之间;
分类器的验证和优化:选择测试样本集,获取测试样本集中的松材线虫病害识别值,并将松材线虫病害识别值作为分类器的输入,并根据输出结果进行识别结果的准确度判断,不断更新和/>的数值,直至分类器的识别准确度最高。
通过计算目标树木的弯曲度特征,能够针对松材线虫病害具有的弯曲度特异性进行识别,松材线虫病害树木会出现明显的弯曲现象,这种方法能够有效地捕捉到松树受到线虫侵袭后的形态变化,从而实现对松材线虫病害的特异性识别,该方法不仅考虑了松材线虫病害树木的形态特征,还结合了弯曲度特征和树干颜色特征、树冠颜色特征的融合,从多个角度综合考虑目标的特征信息,通过综合利用多个特征,能够增加识别的准确性和稳定性,提高对松材线虫病害的检测能力,通过引入修正因子和/>,能够对松材线虫病害识别值进行调节和优化,通过验证和优化分类器,根据测试样本集的识别结果,能够不断调整修正因子的数值,从而提高分类器的准确度和鲁棒性,这种可调节性使得识别方法具有较高的灵活性和适应性,能够适应不同场景和数据的变化,该方法基于图像处理和特征提取技术,能够实现对历史图像中松材线虫病害的自动化识别,通过训练分类器和设定识别阈值,实现对松材线虫病害的快速检测和识别,减少了人工干预的需要,提高了处理效率。
需要说明的是,在步骤S5中,识别松材线虫病害林区树干颜色特征的过程包括如下步骤:
采集历史图像:获取松材线虫病害树干的图像,对图像进行预处理;
树干轮廓提取:使用阈值分割法将图像中松树树干区域从背景中分离;
统计树干区域颜色矩,构建树干颜色特征向量:提取树干区域颜色的平均值、标准差、偏度和峰值,获取树干颜色矩,构建四维颜色矩特征向量;
松材线虫病害树干颜色识别:准备包括松材线虫病害树干和健康树干四维颜色矩特征向量的训练样本,利用机器学习算法进行识别,将新的树干四维颜色矩特征向量输入分类器进行识别,并利用验证样本去验证训练模型的识别精度,优化更新模型中的参数;
输出具有识别特异性的树干四维颜色矩特征向量。
进一步地,在步骤S5中,识别松材线虫病害林区树冠颜色特征的具体过程为:
采集历史图像:获取松材现成病害树冠图像,对图像进行预处理;
松材现成病害树冠图像的图像预处理过程包括:
图像获取:使用无人机进行图像采集,获取松材线虫病害树冠的图像;
去除背景:由于树冠图像包含背景,首先需要将图像中的树冠区域从背景图像分离出来,通过区域生长方法的图像分割技术实现,区域生长方法基于像素间的相似性将具有相似特征的像素聚合成为区域;
图像增强:对分割得到的树冠区域通过直方图均衡化、对比度增强和滤波进行图像增强处理,以提高图像的质量和对比度;
调整颜色空间:将图像从RGB颜色空间转换到HSV(色调、饱和度、亮度),不同颜色空间对应的通道提供更具区分度的颜色特征;
标准化和归一化:为了确保颜色特征的稳定性和一致性,使用零均值单位方差的标准化方法实现对图像进行标准化和归一化处理;
降噪处理:根据需要,使用中值滤波、高斯滤波和小波去噪的降噪方法来减少图像中的噪声;
树冠区域提取:使用区域生长方法,将图像中树冠区域从背景图像分离;
颜色直方图计算:使用颜色空间将图像中的像素映射到相应的颜色通道上,提取树冠区域颜色分布信息,计算每个颜色通道的直方图;
树冠颜色特征向量构建:将颜色直方图的统计信息组合成树冠颜色特征向量;
松材线虫病害树冠颜色识别:准备带有标签的训练样本,样本包括松材线虫病害树冠和健康树冠的树冠颜色特征,使用训练样本利用支持向量机方法训练分类器,利用测试样本测试训练好的分类器识别精度,优化分类器的参数;
输出具有识别特异性的树冠颜色特征向量。
需要说明的是,在步骤S6中,由载有双目相机的无人机拍摄抓取符合松材线虫识别的树冠颜色特征向量的林区图像,并对病害林区进行标定,利用立体视觉进行深度估计,获取病害区域中心的三维位置信息,将深度估计得到的三维信息转换为点云数据,从点云数据中提取基于深度的形状描述子和局部表面特征描述子,将每个点的描述子组成基于深度描述子的特征向量,基于深度描述子的特征向量,获取该特征向量横坐标和纵坐标的数值范围,并在横坐标和纵坐标的数值范围内搜索预先设定在林中地面的双目相机,获取确认目标林区内的图像,进行松树弯曲度特征、树干颜色特征以及树冠颜色特征的融合特征向量的二次识别,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断。
作为本发明一种优选的方案,在步骤S6的松材线虫病害的二次识别中,松树弯曲度特征、树干颜色特征以及树冠颜色特征进行特征融合的策略为加权融合,且松树弯曲度特征、树干颜色特征以及树冠颜色特征的权重分别为0.4、0.4和0.2。
通过加权融合不同特征,综合考虑了多个方面的信息,更全面地描述目标,松树弯曲度特征提供了目标形态和结构信息,树干颜色特征提供了目标表面颜色信息,树冠颜色特征提供了目标顶部的颜色信息,融合这些特征有助于更好地描述松材线虫病害目标的多个方面特征,提高识别准确性,每个单独的特征存在一定的局限性或噪声,通过加权融合能够弥补特征之间的不足,例如,松树弯曲度特征受到目标遮挡或拍摄角度的影响,树干颜色特征受到光照变化的影响,通过加权融合,平衡各个特征的贡献,减少单一特征带来的误差或偏差,加权融合也能够增加对不同特征的鲁棒性,不同特征对目标的不同方面有更强的敏感性,在位于地面的双目相机,对于树干和松树弯曲程度的考虑权重大于树冠,是因为在地面上的双目相机获取的树冠特征信息影响判断结果的程度会小于松树弯曲程度和树干颜色特征,通过赋予不同特征不同的权重,能够更好地适应不同情况下的目标变化或噪声干扰,提高松材线虫病害识别的鲁棒性,通过调整权重,灵活地控制不同特征在融合中的影响力,根据实际需求和场景特点,能够根据经验或实验结果对不同特征进行权重分配,以达到最佳的识别性能。
进一步地,在步骤S6中,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方式为:
虫害判定结果辨识:如果二次识别结果为不具备松材线虫病害特征,将地面双目相机识别区域范围对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为轻型松材线虫病害区域,如果二次识别结果为具备松材线虫病害特征,将地面双目相机识别区域对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为重型松材线虫病害区域,将无人机标定的目标区域减去地面双目相机识别区域的区域定义为疑似区域;
定位信息确认:利用地面双目相机记录的定位信息和无人机确定的目标区域相融合,获取以地面双目相机为参考点的东南西北四个方向上,目标区域轮廓距离参考点的四个外围距离,四个外围距离分别为东外围距离、南外围距离、西外围距离和北外围距离,构建目标识别定位向量。
通过二次识别结果的判定,将目标虫害林区进一步细分为轻型松材线虫病害区域和重型松材线虫病害区域,这种精细化的虫害判定能够更准确地定位和描述松材线虫病害的严重程度,有助于进行后续的虫害治理和管理决策,将无人机标定的目标区域减去地面双目相机识别区域的区域定义为疑似区域,能够对一次识别结果中未能准确判断的区域进行进一步观察和验证,避免错过可能存在的松材线虫病害,疑似区域能够提供进一步的调查和采样的目标区域,以获得更准确的病害情况,将地面双目相机记录的定位信息和无人机确定的目标区域相融合,构建目标识别定位向量,能够将两个不同来源的定位信息相结合,提高定位的准确性和可靠性,通过获取目标区域距离参考点的四个外围距离,能够更精确地确定目标区域的位置和范围。
需要进一步补充的是,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方法,所述基于数字视频的松材线虫病害区定位方法还包括步骤S7,步骤S7的具体内容为:
步骤S7,林区管理人员信息输送:地面双目相机通过无线通信技术获取无人机传输的松材线虫识别目标区域的定位数据,并结合二次识别结果,将虫害判定结果数据和定位信息确认结果通过物联网技术传输给与地面双目相机直线距离最近的林区管理人员的移动终端,同时为林区管理人员提供直线距离所在的行驶路径方向指示数据。
通过无线通信技术将识别结果和定位信息传输给林区管理人员的移动终端,能够实时传递信息和快速响应,林区管理人员能够立即收到虫害判定结果和定位信息,便于及时处理松材线虫病害,采取相应的措施进行管理和治理,将虫害判定结果和定位信息提供给林区管理人员的移动终端,使得管理人员能够准确了解目标虫害林区的位置和严重程度,为管理人员提供了有关虫害状况的直观信息,有助于进行高效的决策制定和资源调配,提高管理工作的效率,通过物联网技术将数据传输给距离最近的林区管理人员,能够避免不必要的人力物力浪费,传统的巡查方法需要大量的时间和人力资源,而这种基于数字视频的松材线虫病害区定位方法能够精确定位目标虫害林区,将信息直接传输给相关的管理人员,减少了不必要的资源消耗,提供直线距离所在的行驶路径方向指示数据,帮助林区管理人员快速到达目标虫害林区能够避免管理人员在寻找目标区域时的迷路或浪费时间,提高了处理虫害的效率。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
最后:以上所述仅为本发明的优选方案而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于数字视频的病虫害区目标定位方法,其特征在于,包括如下步骤:
步骤S1,松树林区数字视频采集:在无人机上安装双目相机,并利用双目相机采集检测林区的左目数字视频和右目数字视频;
步骤S2,分割林区数字视频,取时序标记的左目图像帧和右目图像帧;
步骤S3,林区图像帧预处理:对图像帧进行灰度化处理、几何变换和图像噪声过滤,进行图像增强处理和亮度均衡处理;
步骤S4,重合区域图像配准:找到图像中的重合区域,计算它们之间的变换关系,经过图像变换模型将图像对齐,并进行匹配点筛选和匹配点对的深度计算;
步骤S5,松材线虫病害林区目标识别:利用历史图像中松材线虫病害林区树木的特征,构建由松树弯曲度特征、树干颜色特征以及树冠颜色特征整合而成的松材线虫病害林区目标特征向量,识别图像中与松材线虫病害林区目标特征向量相似度高的林区,并将图像中与松材线虫病害林区目标特征向量相似度高的林区标记为目标虫害区;
步骤S6,利用目标虫害区的深度信息获取目标的三维位置信息,生成目标虫害区的基于深度的描述子,获取目标虫害区的位置、面积大小和虫害状态信息。
2.根据权利要求1所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S5中,采集已知松材线虫病害林区的历史图像,对每张历史图像进行预处理,使用曲率计算方法获取每张历史图像中目标树木的弯曲度特征提取,对松材线虫病害的数目弯曲度特异性识别区域,基于松材线虫病害识别值进行识别,识别过程如下:
准备带有标签的训练样本:准备一组已知的松材线虫病害树木和健康树木的图像弯曲度特征,分别对训练样本中的树干区域进行等距分割,分割距离为0.8cm;
训练分类器区分松材线虫病害树木:对分类器中的初始识别函数设置为松材线虫病害识别值公式,获取松材线虫病害识别值的识别阈值区间,松材线虫病害识别值为发生病害的分割点数量与特异性病害位置曲率之和的乘积减去发生病害位置的最大外凸值,并引入修正因子,松材线虫病害识别值的公式为:
式中,为松材线虫病害识别值,/>为发生病害的分割点数量,/>为发生病害区域树干外轮廓分割点的序号,/>为发生病害区域连续出现的最大树干外轮廓分割点数目,/>为发生病害区域连续出现的第/>个分割点对应的曲率,/>为发生病害位置的最大外凸值,/>和/>均为修正因子,且满足/>和/>的取值均在[0,1]之间;
分类器的验证和优化:选择测试样本集,获取测试样本集中的松材线虫病害识别值,并将松材线虫病害识别值作为分类器的输入,并根据输出结果进行识别结果的准确度判断,不断更新和/>的数值,直至分类器的识别准确度最高。
3.根据权利要求1所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S5中,识别松材线虫病害林区树干颜色特征的过程包括如下步骤:
采集历史图像:获取松材线虫病害树干的图像,对图像进行预处理;
树干轮廓提取:使用阈值分割法将图像中松树树干区域从背景中分离;
统计树干区域颜色矩,构建树干颜色特征向量:提取树干区域颜色的平均值、标准差、偏度和峰值,获取树干颜色矩,构建四维颜色矩特征向量;
松材线虫病害树干颜色识别:准备包括松材线虫病害树干和健康树干四维颜色矩特征向量的训练样本,利用机器学习算法进行识别,将新的树干四维颜色矩特征向量输入分类器进行识别,并利用验证样本去验证训练模型的识别精度,优化更新模型中的参数;
输出具有识别特异性的树干四维颜色矩特征向量。
4.根据权利要求1所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S5中,识别松材线虫病害林区树冠颜色特征的具体过程为:
采集历史图像:获取松材现成病害树冠图像,对图像进行预处理;
树冠区域提取:使用区域生长方法,将图像中树冠区域从背景图像分离;
颜色直方图计算:使用颜色空间将图像中的像素映射到相应的颜色通道上,提取树冠区域颜色分布信息,计算每个颜色通道的直方图;
树冠颜色特征向量构建:将颜色直方图的统计信息组合成树冠颜色特征向量;
松材线虫病害树冠颜色识别:准备带有标签的训练样本,样本包括松材线虫病害树冠和健康树冠的树冠颜色特征,使用训练样本利用支持向量机方法训练分类器,利用测试样本测试训练好的分类器识别精度,优化分类器的参数;
输出具有识别特异性的树冠颜色特征向量。
5.根据权利要求1所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S6中,由载有双目相机的无人机拍摄抓取符合松材线虫识别的树冠颜色特征向量的林区图像,并对病害林区进行标定,利用立体视觉进行深度估计,获取病害区域中心的三维位置信息,将深度估计得到的三维信息转换为点云数据,从点云数据中提取基于深度的形状描述子和局部表面特征描述子,将每个点的描述子组成基于深度描述子的特征向量,基于深度描述子的特征向量,获取该特征向量横坐标和纵坐标的数值范围,并在横坐标和纵坐标的数值范围内搜索预先设定在林中地面的双目相机,获取确认目标林区内的图像,进行松树弯曲度特征、树干颜色特征以及树冠颜色特征的融合特征向量的二次识别,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断。
6.根据权利要求5所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S6的松材线虫病害的二次识别中,松树弯曲度特征、树干颜色特征以及树冠颜色特征进行特征融合的策略为加权融合,且松树弯曲度特征、树干颜色特征以及树冠颜色特征的权重分别为0.4、0.4和0.2。
7.根据权利要求6所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,在步骤S6中,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方式为:
虫害判定结果辨识:如果二次识别结果为不具备松材线虫病害特征,将地面双目相机识别区域范围对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为轻型松材线虫病害区域,如果二次识别结果为具备松材线虫病害特征,将地面双目相机识别区域对应的林区从无人机识别定位的目标区域中圈出,并将圈出区域定义为重型松材线虫病害区域,将无人机标定的目标区域减去地面双目相机识别区域的区域定义为疑似区域;
定位信息确认:利用地面双目相机记录的定位信息和无人机确定的目标区域相融合,获取以地面双目相机为参考点的东南西北四个方向上,目标区域轮廓距离参考点的四个外围距离,四个外围距离分别为东外围距离、南外围距离、西外围距离和北外围距离,构建目标识别定位向量。
8.根据权利要求7所述的一种基于数字视频的病虫害区目标定位方法,其特征在于,根据二次识别结果和一次识别结果对目标虫害林区进行二次定位判断的方法,所述基于数字视频的松材线虫病害区定位方法还包括步骤S7,步骤S7的具体内容为:
步骤S7,林区管理人员信息输送:地面双目相机通过无线通信技术获取无人机传输的松材线虫识别目标区域的定位数据,并结合二次识别结果,将虫害判定结果数据和定位信息确认结果通过物联网技术传输给与地面双目相机直线距离最近的林区管理人员的移动终端,同时为林区管理人员提供直线距离所在的行驶路径方向指示数据。
CN202310882338.3A 2023-07-19 2023-07-19 一种基于数字视频的病虫害区目标定位方法 Pending CN116612192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310882338.3A CN116612192A (zh) 2023-07-19 2023-07-19 一种基于数字视频的病虫害区目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310882338.3A CN116612192A (zh) 2023-07-19 2023-07-19 一种基于数字视频的病虫害区目标定位方法

Publications (1)

Publication Number Publication Date
CN116612192A true CN116612192A (zh) 2023-08-18

Family

ID=87682129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310882338.3A Pending CN116612192A (zh) 2023-07-19 2023-07-19 一种基于数字视频的病虫害区目标定位方法

Country Status (1)

Country Link
CN (1) CN116612192A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116918593A (zh) * 2023-09-14 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测系统
CN117636185A (zh) * 2024-01-26 2024-03-01 安徽大学 基于图像处理的松材线虫病检测系统
CN118115903A (zh) * 2024-04-30 2024-05-31 安徽大学 基于ai技术松材线虫病智能识别处理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
WO2019133973A1 (en) * 2017-12-29 2019-07-04 Ohio State Innovation Foundation Crop health sensing system
CN111652871A (zh) * 2020-06-03 2020-09-11 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 基于ivcm图像的角膜神经弯曲度测量系统及方法
CN113011354A (zh) * 2021-03-25 2021-06-22 浙江农林大学 基于深度学习的无人机高光谱影像松材线虫病识别方法
WO2021120589A1 (zh) * 2020-06-17 2021-06-24 平安科技(深圳)有限公司 用于3d图像的异常图像筛查方法、装置、设备及存储介质
CN113325872A (zh) * 2021-06-10 2021-08-31 广州极飞科技股份有限公司 植物的巡查方法及装置、系统、飞行器
CN114138012A (zh) * 2021-11-23 2022-03-04 上海复亚智能科技有限公司 一种风机叶片巡检方法、装置、设备及存储介质
CN114140703A (zh) * 2021-11-17 2022-03-04 长江师范学院 一种森林松材线虫病害智能识别方法及系统
CN114595975A (zh) * 2022-03-11 2022-06-07 安徽大学 基于深度学习模型的无人机遥感松材线虫病害监测方法
CN115311588A (zh) * 2022-09-16 2022-11-08 航天宏图信息技术股份有限公司 基于无人机遥感图像的松材线虫病害立木检测方法及装置
CN116034969A (zh) * 2022-12-30 2023-05-02 贵州特征微生物研究院有限公司 日本松干蚧预警监测防治系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
WO2019133973A1 (en) * 2017-12-29 2019-07-04 Ohio State Innovation Foundation Crop health sensing system
CN111652871A (zh) * 2020-06-03 2020-09-11 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 基于ivcm图像的角膜神经弯曲度测量系统及方法
WO2021120589A1 (zh) * 2020-06-17 2021-06-24 平安科技(深圳)有限公司 用于3d图像的异常图像筛查方法、装置、设备及存储介质
CN113011354A (zh) * 2021-03-25 2021-06-22 浙江农林大学 基于深度学习的无人机高光谱影像松材线虫病识别方法
CN113325872A (zh) * 2021-06-10 2021-08-31 广州极飞科技股份有限公司 植物的巡查方法及装置、系统、飞行器
CN114140703A (zh) * 2021-11-17 2022-03-04 长江师范学院 一种森林松材线虫病害智能识别方法及系统
CN114138012A (zh) * 2021-11-23 2022-03-04 上海复亚智能科技有限公司 一种风机叶片巡检方法、装置、设备及存储介质
CN114595975A (zh) * 2022-03-11 2022-06-07 安徽大学 基于深度学习模型的无人机遥感松材线虫病害监测方法
CN115311588A (zh) * 2022-09-16 2022-11-08 航天宏图信息技术股份有限公司 基于无人机遥感图像的松材线虫病害立木检测方法及装置
CN116034969A (zh) * 2022-12-30 2023-05-02 贵州特征微生物研究院有限公司 日本松干蚧预警监测防治系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. LANE SCHER 等: "Drone‑based photogrammetry for the construction of high‑resolution models of individual trees", 《TREES》, vol. 2019, pages 1385 *
沈健英: "《植物检疫原理与技术》", 31 October 2011, 上海交通大学出版社, pages: 257 *
陈珠琳 等: "檀香咖啡豹蠹蛾虫害的树干区域分类研究", 《北京林业大学学报》, vol. 40, no. 1, pages 74 - 78 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116918593A (zh) * 2023-09-14 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测系统
CN116918593B (zh) * 2023-09-14 2023-12-01 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测系统
CN117636185A (zh) * 2024-01-26 2024-03-01 安徽大学 基于图像处理的松材线虫病检测系统
CN117636185B (zh) * 2024-01-26 2024-04-09 安徽大学 基于图像处理的松材线虫病检测系统
CN118115903A (zh) * 2024-04-30 2024-05-31 安徽大学 基于ai技术松材线虫病智能识别处理系统

Similar Documents

Publication Publication Date Title
CN116612192A (zh) 一种基于数字视频的病虫害区目标定位方法
CN108319973B (zh) 一种树上柑橘果实检测方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN105894503B (zh) 一种对Kinect植株彩色和深度检测图像的修复方法
CN102704215B (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN109410207A (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN103177445B (zh) 基于分段阈值图像分割及光斑识别的室外番茄识别方法
KR101822410B1 (ko) 작물 영상을 사용한 작물 생육 진단 장치
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
AU2020103260A4 (en) Rice blast grading system and method
Masood et al. Plants disease segmentation using image processing
Patki et al. Cotton leaf disease detection & classification using multi SVM
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
Malekabadi et al. A comparative evaluation of combined feature detectors and descriptors in different color spaces for stereo image matching of tree
Payne et al. Machine vision in estimation of fruit crop yield
CN103533332B (zh) 一种2d视频转3d视频的图像处理方法
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN111985436A (zh) 一种基于lsd的车间地标线识别拟合方法
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN114092418A (zh) 农田作物无人机影像的阴影检测方法
CN110956640B (zh) 一种异源图像边缘点检测与配准方法
CN116188348A (zh) 裂缝检测方法、装置及设备
CN109359583B (zh) 一种遥感影像中显著性面状特定目标提取方法
CN114625114A (zh) 一种基于机器视觉的地面喷施系统行进路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination