CN113723833B - 造林实绩质量评价方法、系统、终端设备及存储介质 - Google Patents

造林实绩质量评价方法、系统、终端设备及存储介质 Download PDF

Info

Publication number
CN113723833B
CN113723833B CN202111025639.1A CN202111025639A CN113723833B CN 113723833 B CN113723833 B CN 113723833B CN 202111025639 A CN202111025639 A CN 202111025639A CN 113723833 B CN113723833 B CN 113723833B
Authority
CN
China
Prior art keywords
forestation
image
target object
detection
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111025639.1A
Other languages
English (en)
Other versions
CN113723833A (zh
Inventor
江庆宁
黎素
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Sanqiao Forestry Co ltd
Original Assignee
Hunan Sanqiao Forestry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Sanqiao Forestry Co ltd filed Critical Hunan Sanqiao Forestry Co ltd
Priority to CN202111025639.1A priority Critical patent/CN113723833B/zh
Publication of CN113723833A publication Critical patent/CN113723833A/zh
Application granted granted Critical
Publication of CN113723833B publication Critical patent/CN113723833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/22Improving land use; Improving water use or availability; Controlling erosion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/40Afforestation or reforestation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Animal Husbandry (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Agronomy & Crop Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明公开了一种造林实绩质量评价方法、系统、终端设备及存储介质,所述方法包括:获取造林区域图像;基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草,所述深度学习耦合模型为目标检测与图像分割的耦合模型;通过分类器网络对目标物体进行分类;根据分类结果,实现造林实绩质量评价。本发明能够应用到造林实绩质量评价过程中对造林密度、造林苗木成活率、造林苗木保存率的客观评价。

Description

造林实绩质量评价方法、系统、终端设备及存储介质
技术领域
本发明涉及一种造林实绩质量评价方法、系统、终端设备及存储介质,属于造林质量评价领域。
背景技术
在造林行业层面,传统的造林实绩质量评价方法存在几点不足:1)主观性较强、从业人员劳动强度高、调查覆盖面小、调查效率低;2)前期无人机技术执行该项目稳定性较低、成本较高,且摄像头分辨率不高,影响幼树的检测和识别效果;3)缺少能够使应用落地的相关数据,相关数据需要经过长期积累、处理;4)缺少对应用场景的精细理解,没有将无人机数据采集、数据处理、模型训练与实际落地应用结合起来,没有在模型训练和应用落地中找到平衡点。
在算法层面,基于深度学习的目标检测算法有两大主流方向,分别是两阶段(two-stage)模型和一阶段(one-stage)模型。两阶段模型以RCNN系列为代表,第一阶段是搜索出候选框,第二阶段是通过深度学习对候选框进行进一步的特征提取,确定候选框的目标类别与目标位置,两阶段模型需要对候选框进行大量搜索与卷积操作,因此计算非常耗时,而且对计算硬件要求较高,不适合在移动端场景中使用。一阶段模型以SSD和YOLO系列为代表,属于端到端的模型,即只需要给定输入图像就可以获得目标物体的置信度、目标类别、以及目标位置。由于造林区域的实际场景复杂,而且对于无人机等远景拍摄照片中存在大量的小目标物体,这些对于早期的一阶段目标检测模型很难精准识别,即使YOLO-V3采用特征金字塔网络结构,对深度卷积网络提取的特征从高层特征传递到浅层进行融合,这些改善仅仅提升大目标物体的检测与识别,对小目标物体检测准确度仍然很低,达不到实用的级别。
发明内容
有鉴于此,本发明提供了一种造林实绩质量评价方法、系统、终端设备及存储介质,其能够应用到造林实绩质量评价过程中对造林密度、造林苗木成活率、造林苗木保存率的客观调查和客观评价。
本发明的第一个目的在于提供一种造林实绩质量评价方法。
本发明的第二个目的在于提供一种造林实绩质量评价系统。
本发明的第三个目的在于提供一种终端设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到:
一种造林实绩质量评价方法,所述方法包括:
获取造林区域图像;
基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草,所述深度学习耦合模型为目标检测与图像分割的耦合模型;
通过分类器网络对目标物体进行分类;
根据分类结果,实现造林实绩质量评价。
进一步的,所述基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,具体包括:
将造林区域图像输入训练好的深度学习耦合模型;
通过深度卷积神经网络对造林区域图像进行一系列的特征提取;
通过目标检测网络的检测头对提取的特征进行检测,得到检测目标;
通过特征映射网络将特征层映射成特征热力图;
将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体;
通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体。
进一步的,所述深度卷积神经网络采用基于特征金字塔网络的优化结构;
所述通过深度卷积神经网络对造林区域图像进行一系列的特征提取,具体包括:
将造林区域图像通过浅层卷积特征从下往上传递到深层卷积特征,通过特征融合层与深层卷积特征融合,完成特征提取。
进一步的,所述通过目标检测网络的检测头对提取的特征进行检测,得到检测目标,具体包括:
通过目标检测网络的检测头对提取的特征进行检测,对每个类别的前n个得分检测器计算一个大小为c×n×n的IoU矩阵X,并对每个类别的框进行降序排列,通过检查是否有任何得分较高的检测与其IoU大于某个阈值t,从而找到要删除的检测框,利用阈值t来处理矩阵X,对每个类别保留置信度最大的的检测框。
进一步的,所述获取造林区域图像之前,还包括:
对基于无人机的深度学习调查方案中的无人机采集参数进行预估,所述无人机采集参数包括飞行高度、飞行速度、摄像头角度和图像分辨率;
收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并;
获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数;
获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注,所述清洗包括图像的裁剪、相似图像去重和模糊图像删除;
根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库;
利用造林实绩质量评价图像库中的图像训练深度学习耦合模型。
进一步的,所述分析所采集图像的参数,从而确定大规模采集图像的各项采集参数,具体包括:
通过深度学习对不同无人机采集参数收集到的图像数据进行学习,根据结果分析所采集图像的参数,从而确定大规模采集图像的各项采集参数。
进一步的,所述利用造林实绩质量评价图像库对深度学习耦合模型进行训练之前,还包括:
对造林实绩质量评价图像库中图像进行数据增强,所述数据增强包括随机颜色抖动、图像亮度增广、HSV的改变,随机水平翻转和旋转、mixup、bluring、label smoothing、cutmix、mosaic、将一幅图像粘贴在另一幅图像中的随机位置中的至少一种。
本发明的第二个目的可以通过采取如下技术方案达到:
一种造林实绩质量评价系统,所述系统包括:
获取模块,用于获取造林区域图像;
检测与分割模块,用于基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草,所述深度学习耦合模型为目标检测与图像分割的耦合模型;
分类模块,用于通过分类器网络对目标物体进行分类;
评价模块,用于根据分类结果,实现造林实绩质量评价。
本发明的第三个目的可以通过采取如下技术方案达到:
一种终端设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现上述的造林实绩质量评价方法。
本发明的第四个目的可以通过采取如下技术方案达到:
一种存储介质,存储有程序,所述程序被处理器执行时,实现上述的造林实绩质量评价方法。
本发明相对于现有技术具有如下的有益效果:
1、本发明通过采用目标检测与图像分割的深度学习耦合模型,模拟达到人眼聚焦识别物体关键部位的这一重要过程,降低图像外在干扰因素(如物体干扰、背景纹理等),从而提升算法的识别准确率。
2、本发明采用基于特征金字塔网络(FPN)的优化结构,包括但不限于PANet、NAS-FPN、BiFPN等网络结构,增加浅层卷积特征从下往上传递到深层卷积特征,与深层卷积特征融合,提升小目标物体检测的准确度。
3、本发明采用基于无人机的深度学习造林实绩质量调查所呈现的结果更客观,效率更高,携带无人机进行了实地调查,对无人机各项参数进行了挑选、优化,确保能拍摄到高质量的无人机图像,携带手机进行了实地调查,拍摄了高质量的幼树(一年和三年)、空穴、伴生杂草图像,训练集中加入了手机图像,强化了目标的特征,实际操作过程中,发现伴生杂草对结果有较大影响,采集了伴生杂草图像作为反例,并对杂草进行了分类,以消除伴生杂草的干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的造林实绩质量评价方法的流程图。
图2为本发明实施例1的建立造林实绩质量评价图像库的流程图。
图3为本发明实施例1的深度学习耦合模型的结构示意图。
图4为本发明实施例2的造林实绩质量评价系统的结构框图。
图5为本发明实施例3的终端设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1所示,本实施例提供了一种造林实绩质量评价方法,该方法包括以下步骤:
S101、获取造林区域图像。
本实施例的造林区域图像可以通过无人机或手机拍摄进行获取。
进一步地,如图2所示,步骤S101之前,还包括:
S201、对基于无人机的深度学习调查方案中的无人机采集参数进行预估。
具体地,对人工造林实绩质量评价的保证项目进行梳理,该保证项目包括造林面积、造林密度、苗木成活率和苗木保存率,了解传统调查方法的具体过程和计算方法,将传统调查方案转换成基于无人机的深度学习调查方案,根据造林实绩质量评价相关标准和影响无人机图像质量的相关因素,对基于无人机的深度学习调查方案中的无人机飞行高度、飞行速度、摄像头角度、图像分辨率等无人机采集参数进行预估。
S202、收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并。
具体地,各途径国内主要造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并。
S203、获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数。
具体地,携带无人机赴各地,按照预估的无人机采集参数小规模采集主要造林树种幼树(一年和三年)、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数。
其中,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数,具体包括:通过深度学习对不同无人机采集参数(如无人机飞行高度、飞行速度、摄像头角度、图像分辨率等)收集到的图像数据进行学习,根据结果分析所采集图像的参数,从而确定大规模采集图像的各项采集参数。
S204、获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注。
具体地,携带手机、无人机赴各地,按照大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像(一年和三年),根据造林主要树种及实际情况拍摄了足够多的造林树种幼树(一年和三年)、空穴、伴生杂草图像,并对所采集图像进行仔细清洗,该清洗包括图像的裁剪、相似图像去重、模糊图像删除等,对图像进行目标物体标注,标注后严格审核。
S205、根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库。
S206、利用造林实绩质量评价图像库中的图像训练深度学习耦合模型。
深度学习图像技术因为其卓越的特征提取能力,被广泛应用在图像分类、目标检测、图像像素级分割、以及三维重建等方面。随着摄像头硬件性能的不断提升,深度学习图像技术能够被植入各种智能硬件,包括但不限于无人飞行器,智能车等,可以将其应用在造林实绩质量调查与评价方面,以提升工作效率。
在利用造林实绩质量评价图像库对深度学习耦合模型进行训练之前,会对造林实绩质量评价图像库中图像进行数据增强,使得模型的泛化能力和鲁棒性更好,该数据增强包括但不限于随机颜色抖动、图像亮度增广、HSV的改变,随机水平翻转和旋转、mixup、bluring、label smoothing、cutmix、mosaic、将一幅图像粘贴在另一幅图像中的随机位置。
其中,cutmix是对两张图像做操作,随机生成一个裁剪框Box,裁剪掉A图像的相应位置,然后用B图像相应位置的ROI(Region Of Interest,感兴趣区域)放到A图像中被裁剪的区域形成新的样本;mixup是指训练样本中随机抽取两个样本进行简单的随机加权求和,对应样本的标签也加权求和,然后预测结果与加权求和之后的标签求损失,在反向求导更新参数;mosaic将四张训练图像经过缩放后再拼接成一个新的训练样本,对应样本的标签也相应变化。
S102、基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体。
其中,目标物体包括成活幼树、死亡幼树、空穴和伴生杂草,本实施例的深度学习耦合模型为目标检测与图像分割的耦合模型,模拟达到人眼聚焦识别物体关键部位的这一重要过程,降低图像外在干扰因素(如物体干扰、背景纹理等),从而提升算法的识别准确率。
进一步的,该步骤S102,具体包括:
S1021、将造林区域图像输入训练好的深度学习耦合模型,该深度学习耦合模型的结构如图3所示,包括深度卷积神经网络、目标检测网络、特征映射网络和图像分割网络,其中深度卷积神经网络用于提取特征,目标检测网络用于检测目标,特征映射网络用于将特征层映射成特征热力图,图像分割网络用于对目标物体进行分割。
S1022、通过深度卷积神经网络对造林区域图像进行一系列的特征提取。
本实施例的深度卷积神经网络采用基于特征金字塔网络(FPN)的优化结构,包括但不限于单双向融合网络PANet和复杂双向融合网络NAS-FPN/BiFPN,改进的FPN不产生P2特征层,并且从P5特征层开始通过连续3x3步长的卷积层,获得P6和P7特征层,将造林区域图像通过浅层卷积特征从下往上传递到深层卷积特征,通过特征融合层与深层卷积特征融合,完成特征提取,采用浅层与深层特征的多特征融合方案,以确保不同层的特征信息不丢失,从而提升小目标物体检测的准确度。
S1023、通过目标检测网络的检测头对提取的特征进行检测,得到检测目标。
本实施例的目标检测网络是主干网络,其采用残差网络,包括但不限于Resnest50、Resnet50、CSPdarkne53、EfficientNet等结构,通过目标检测网络的检测头对提取的特征进行检测,然后采用的非极大值抑制(NMS),为了提升计算速度,这里采用fastNMS方法,对每个类别的前n个得分检测器计算一个大小为c×n×n的IoU矩阵X,并对每个类别的框进行降序排列,通过检查是否有任何得分较高的检测与其IoU大于某个阈值t,从而找到要删除的检测框,利用阈值t来处理矩阵X,对每个类别保留置信度最大的的检测框。
S1024、通过特征映射网络将特征层映射成特征热力图。
S1025、将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体。
S1026、通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体。
S103、通过分类器网络对目标物体进行分类。
具体地,通过一个分类器网络,以从目标物体中获得更准确的幼树位置和类别。
S104、根据分类结果,实现造林实绩质量评价。
通过分类结果,可以对造林密度、造林苗木成活率、造林苗木保存率进行客观评价,具体包括:统计空穴、死亡幼树和成活幼树株数,根据公式计算造林苗木成活率、造林苗木保存率,再根据计算结果及表1、表2对造林效果进行评价。
统计空穴、死亡幼树和成活幼树株数,根据图像采集高度和相机视场角计算每张图像实际面积,根据公式计算造林密度,再根据计算结果及造林设计的初植密度对造林效果进行评价。
表1
造林地域及森林种类 苗木成活率 评价
生态公益林 ≥85% 生长整齐
生态公益林 41%~84% 待补植
生态公益林 ≤40% 造林失败
生态公益林(干旱、半干旱地区) ≥70% 生长整齐
生态公益林(干旱、半干旱地区) 41%~69% 待补植
生态公益林(干旱、半干旱地区) ≤40% 造林失败
商品林 ≥85% 生长整齐
商品林 41%~84% 待补植
商品林 ≤40% 造林失败
表2
造林地域及森林种类 苗木保存率 评价
生态公益林 ≥80% 苗木长势良好
生态公益林 <80% 苗木长势欠佳
生态公益林(干旱、半干旱地区) ≥65% 苗木长势良好
生态公益林(干旱、半干旱地区) <65% 苗木长势欠佳
商品林 ≥85% 苗木长势良好
商品林 <85% 苗木长势欠佳
应当注意,尽管在附图中以特定顺序描述了上述实施例的方法操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
实施例2:
如图4所示,本实施例提供了一种造林实绩质量评价系统,该装置包括获取模块401、检测与分割模块402、分类模块403和评价模块404,各个模块的具体功能如下:
获取模块401,用于获取造林区域图像。
检测与分割模块402,用于基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草。
分类模块403,用于通过分类器网络对目标物体进行分类。
评价模块404,用于根据分类结果,实现造林实绩质量评价。
本实施例中各个模块的具体实现可以参见上述实施例1,在此不再一一赘述;需要说明的是,本实施例提供的系统仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
实施例3:
如图5所示,本实施例提供了一种终端设备,该终端设备包括通过系统总线501连接的处理器502、存储器、输入装置503、显示装置504和网络接口505,该处理器用于提供计算和控制能力,该存储器包括非易失性存储介质506和内存储器507,该非易失性存储介质506存储有操作系统、计算机程序和数据库,该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境,处理器502执行存储器存储的计算机程序时,实现上述实施例1的造林实绩质量评价方法,如下:
获取造林区域图像;
基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草;
通过分类器网络对目标物体进行分类;
根据分类结果,实现造林实绩质量评价。
进一步地,所述基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,具体包括:
将造林区域图像输入训练好的深度学习耦合模型;
通过深度卷积神经网络对造林区域图像进行一系列的特征提取;
通过目标检测网络的检测头对提取的特征进行检测,得到检测目标;
通过特征映射网络将特征层映射成特征热力图;
将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体;
通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体。
进一步地,所述获取造林区域图像之前,还包括:
对基于无人机的深度学习调查方案中的无人机采集参数进行预估,所述无人机采集参数包括飞行高度、飞行速度、摄像头角度和图像分辨率;
收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并;
获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数;
获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注,所述清洗包括图像的裁剪、相似图像去重和模糊图像删除;
根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库;
利用造林实绩质量评价图像库中的图像训练深度学习耦合模型。
实施例4:
本实施例提供了一种存储介质,该存储介质为计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时,实现上述实施例1的造林实绩质量评价方法,如下:
获取造林区域图像;
基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草;
通过分类器网络对目标物体进行分类;
根据分类结果,实现造林实绩质量评价。
进一步地,所述基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,具体包括:
将造林区域图像输入训练好的深度学习耦合模型;
通过深度卷积神经网络对造林区域图像进行一系列的特征提取;
通过目标检测网络的检测头对提取的特征进行检测,得到检测目标;
通过特征映射网络将特征层映射成特征热力图;
将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体;
通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体。
进一步地,所述获取造林区域图像之前,还包括:
对基于无人机的深度学习调查方案中的无人机采集参数进行预估,所述无人机采集参数包括飞行高度、飞行速度、摄像头角度和图像分辨率;
收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并;
获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数;
获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注,所述清洗包括图像的裁剪、相似图像去重和模糊图像删除;
根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库;
利用造林实绩质量评价图像库中的图像训练深度学习耦合模型。
需要说明的是,本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++,还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明通过采用目标检测与图像分割的深度学习耦合模型,模拟达到人眼聚焦识别物体关键部位的这一重要过程,降低图像外在干扰因素(如物体干扰、背景纹理等),从而提升算法的识别准确率;此外,采用基于特征金字塔网络(FPN)的优化结构,包括但不限于PANet、NAS-FPN、BiFPN等网络结构,增加浅层卷积特征从下往上传递到深层卷积特征,与深层卷积特征融合,提升小目标物体检测的准确度。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。

Claims (6)

1.一种造林实绩质量评价方法,其特征在于,所述方法包括:
对基于无人机的深度学习调查方案中的无人机采集参数进行预估,所述无人机采集参数包括飞行高度、飞行速度、摄像头角度和图像分辨率;
收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并;
获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数;
获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注,所述清洗包括图像的裁剪、相似图像去重和模糊图像删除;
根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库;
利用造林实绩质量评价图像库中的图像训练深度学习耦合模型,所述深度学习耦合模型为目标检测与图像分割的耦合模型;
获取造林区域图像;
基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草;
通过分类器网络对目标物体进行分类;
根据分类结果,实现造林实绩质量评价;
所述基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,具体包括:
将造林区域图像输入训练好的深度学习耦合模型;
通过深度卷积神经网络对造林区域图像进行一系列的特征提取,所述深度卷积神经网络采用基于特征金字塔网络的优化结构;
通过目标检测网络的检测头对提取的特征进行检测,得到检测目标;
通过特征映射网络将特征层映射成特征热力图;
将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体;
通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体;
所述通过深度卷积神经网络对造林区域图像进行一系列的特征提取,具体包括:
将造林区域图像通过浅层卷积特征从下往上传递到深层卷积特征,通过特征融合层与深层卷积特征融合,完成特征提取;
所述通过目标检测网络的检测头对提取的特征进行检测,得到检测目标,具体包括:
通过目标检测网络的检测头对提取的特征进行检测,对每个类别的前 n个得分检测器计算一个大小为 c×n×n的IoU 矩阵X,并对每个类别的检测框进行降序排列,通过检查是否有得分较高的检测框与其IoU大于阈值t,从而找到要删除的检测框,利用阈值t来处理矩阵X,对每个类别保留置信度最大的检测框。
2.根据权利要求1所述的造林实绩质量评价方法,其特征在于,所述分析所采集图像的参数,从而确定大规模采集图像的各项采集参数,具体包括:
通过深度学习对不同无人机采集参数收集到的图像数据进行学习,根据结果分析所采集图像的参数,从而确定大规模采集图像的各项采集参数。
3.根据权利要求1所述的造林实绩质量评价方法,其特征在于,所述利用造林实绩质量评价图像库中的图像训练深度学习耦合模型之前,还包括:
对造林实绩质量评价图像库中图像进行数据增强,所述数据增强包括随机颜色抖动、图像亮度增广、HSV的改变,随机水平翻转和旋转、mixup、bluring、label smoothing、cutmix、mosaic、将一幅图像粘贴在另一幅图像中的随机位置中的至少一种。
4.一种造林实绩质量评价系统,其特征在于,所述系统包括:
预估模块,用于对基于无人机的深度学习调查方案中的无人机采集参数进行预估,所述无人机采集参数包括飞行高度、飞行速度、摄像头角度和图像分辨率;
合并模块,用于收集造林树种名录,整理同一树种不同名称的情况,对同物异名情况进行合并;
第一获取模块,用于获取无人机根据预估的无人机采集参数小规模采集的造林树种幼树、空穴以及伴生杂草图像,分析所采集图像的参数,从而确定大规模采集图像的各项采集参数;
第二获取模块,用于获取手机和无人机根据大规模采集图像的各项采集参数采集的造林树种幼树、空穴以及伴生杂草图像,并对所采集图像进行清洗和标注,所述清洗包括图像的裁剪、相似图像去重和模糊图像删除;
建立模块,根据造林树种名录以及清洗标注后的图像,建立造林实绩质量评价图像库;
训练模块,用于利用造林实绩质量评价图像库中的图像训练深度学习耦合模型,所述深度学习耦合模型为目标检测与图像分割的耦合模型;
第三获取模块,用于获取造林区域图像;
检测与分割模块,用于基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,所述目标物体包括成活幼树、死亡幼树、空穴和伴生杂草;
分类模块,用于通过分类器网络对目标物体进行分类;
评价模块,用于根据分类结果,实现造林实绩质量评价;
所述基于训练好的深度学习耦合模型,检测造林区域图像中的目标物体,并对造林区域图像中的目标物体进行分割,切分出目标物体,具体包括:
将造林区域图像输入训练好的深度学习耦合模型;
通过深度卷积神经网络对造林区域图像进行一系列的特征提取,所述深度卷积神经网络采用基于特征金字塔网络的优化结构;
通过目标检测网络的检测头对提取的特征进行检测,得到检测目标;
通过特征映射网络将特征层映射成特征热力图;
将检测目标与特征热力图进行线性组合,得到造林区域图像中的目标物体;
通过图像分割网络对造林区域图像中的目标物体进行分割,切分出目标物体;
所述通过深度卷积神经网络对造林区域图像进行一系列的特征提取,具体包括:
将造林区域图像通过浅层卷积特征从下往上传递到深层卷积特征,通过特征融合层与深层卷积特征融合,完成特征提取;
所述通过目标检测网络的检测头对提取的特征进行检测,得到检测目标,具体包括:
通过目标检测网络的检测头对提取的特征进行检测,对每个类别的前 n个得分检测器计算一个大小为 c×n×n的IoU 矩阵X,并对每个类别的检测框进行降序排列,通过检查是否有得分较高的检测框与其IoU大于阈值t,从而找到要删除的检测框,利用阈值t来处理矩阵X,对每个类别保留置信度最大的检测框。
5.一种终端设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1-3任一项所述的造林实绩质量评价方法。
6.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-3任一项所述的造林实绩质量评价方法。
CN202111025639.1A 2021-09-02 2021-09-02 造林实绩质量评价方法、系统、终端设备及存储介质 Active CN113723833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111025639.1A CN113723833B (zh) 2021-09-02 2021-09-02 造林实绩质量评价方法、系统、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111025639.1A CN113723833B (zh) 2021-09-02 2021-09-02 造林实绩质量评价方法、系统、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113723833A CN113723833A (zh) 2021-11-30
CN113723833B true CN113723833B (zh) 2024-03-29

Family

ID=78680952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111025639.1A Active CN113723833B (zh) 2021-09-02 2021-09-02 造林实绩质量评价方法、系统、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113723833B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472801A (zh) * 2018-11-22 2019-03-15 廖祥 一种用于多尺度的神经形态检测和分割方法
CN110148122A (zh) * 2019-05-17 2019-08-20 南京东奇智能制造研究院有限公司 基于深度学习的苹果外观质量分级方法
WO2020012259A1 (en) * 2018-07-10 2020-01-16 Adroit Robotics Systems, devices, and methods for in-field diagnosis of growth stage and crop yield estimation in a plant area
CN111507967A (zh) * 2020-04-17 2020-08-07 华南农业大学 一种自然果园场景下的芒果高精度检测方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012259A1 (en) * 2018-07-10 2020-01-16 Adroit Robotics Systems, devices, and methods for in-field diagnosis of growth stage and crop yield estimation in a plant area
CN109472801A (zh) * 2018-11-22 2019-03-15 廖祥 一种用于多尺度的神经形态检测和分割方法
CN110148122A (zh) * 2019-05-17 2019-08-20 南京东奇智能制造研究院有限公司 基于深度学习的苹果外观质量分级方法
CN111507967A (zh) * 2020-04-17 2020-08-07 华南农业大学 一种自然果园场景下的芒果高精度检测方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Also Published As

Publication number Publication date
CN113723833A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Wang et al. LDS-YOLO: A lightweight small object detection method for dead trees from shelter forest
CN113591766B (zh) 一种无人机多源遥感的树种识别方法
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
CN110689021A (zh) 一种基于深度学习的低可见度环境下实时目标检测方法
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
Peng et al. Litchi detection in the field using an improved YOLOv3 model
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
Zheng et al. Single shot multibox detector for urban plantation single tree detection and location with high-resolution remote sensing imagery
Badeka et al. Harvest crate detection for grapes harvesting robot based on YOLOv3 model
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
Jemaa et al. Computer vision system for detecting orchard trees from UAV images
Zhao et al. Automatic sweet pepper detection based on point cloud images using subtractive clustering
CN108109125A (zh) 基于遥感图像的信息提取方法和装置
Wang et al. A transformer-based mask R-CNN for tomato detection and segmentation
Wu et al. A Dense Litchi Target Recognition Algorithm for Large Scenes
Chiu et al. Semantic segmentation of lotus leaves in UAV aerial images via U-Net and deepLab-based networks
Zhang et al. An improved target detection method based on YOLOv5 in natural orchard environments
CN115018789A (zh) 果实检测方法、装置、电子设备和存储介质
Zhang et al. Segmentation of apple point clouds based on ROI in RGB images.
Jing et al. Optimizing the YOLOv7-Tiny Model with Multiple Strategies for Citrus Fruit Yield Estimation in Complex Scenarios
CN114627339A (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN115205853B (zh) 一种基于图像的柑橘果实检测与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant