CN116071653A - 基于自然图像的树木多级枝干结构自动提取方法 - Google Patents

基于自然图像的树木多级枝干结构自动提取方法 Download PDF

Info

Publication number
CN116071653A
CN116071653A CN202310148560.0A CN202310148560A CN116071653A CN 116071653 A CN116071653 A CN 116071653A CN 202310148560 A CN202310148560 A CN 202310148560A CN 116071653 A CN116071653 A CN 116071653A
Authority
CN
China
Prior art keywords
branch
tree
neural network
data
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310148560.0A
Other languages
English (en)
Inventor
杨垠晖
赖煌
夏凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang A&F University ZAFU
Original Assignee
Zhejiang A&F University ZAFU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang A&F University ZAFU filed Critical Zhejiang A&F University ZAFU
Priority to CN202310148560.0A priority Critical patent/CN116071653A/zh
Publication of CN116071653A publication Critical patent/CN116071653A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于自然图像的树木多级枝干结构自动提取方法，属于计算机图形技术领域；本发明首先对采集的树木图像进行树木图像标注处理，生成枝干标注数据；然后，对这些枝干标注数据进行处理，生成符合神经网络模型要求的长度一致的向量数据；接着，利用树木图像数据以及处理后的枝干标注数据进行神经网络模型训练，输出训练好的神经网络模型并保存；进一步地，对加载神经网络模型文件和树木图像文件进行处理，计算并输出结果；最后读取上述输出结果，进行主干和一级侧枝枝干结构的生成，并将结果存入文件。相较于现有技术，本发明所提出的方法自动化程度高，用户操作简便，能够处理复杂背景图像能力更强，且生成的枝干结构质量更高。

Description

基于自然图像的树木多级枝干结构自动提取方法
技术领域
本发明涉及计算机图形技术领域，特别是涉及基于自然图像的树木多级枝干结构自动提取方法。
背景技术
树木枝干的自动化提取在农林业中应用广泛，如林下无人机的避障、果园智能采摘机器人的枝干定位、机械化剪枝以及树木长势的监测等。现有的相关技术主要有两大类：1)基于图像的枝干提取；2)基于三维点云的枝干提取。其中，基于图像的枝干提取方法主要有基于传统的图像处理技术的方法和基于深度学习技术的方法。基于传统的图像处理技术方法，其一般的工作流程是：首先，通过RGB相机获取树木图像，然后根据图像中不同像素的颜色信息，对树木的主杆区域进行图像分割或边缘提取。基于深度学习技术的方法，其一般采用计算机视觉领域中，通用的目标检测神经网络模型，直接对树木图像中包含枝干的区域进行检测框(矩形框)的计算。其一般的工作流程包含：数据收集和处理、神经网络模型的迁移学习以及神经网络模型的部署和应用。该类方法的输出一般是包含目标的一系列矩形检测框。而基于三维点云的枝干提取方法主要采用激光雷达获取三维点云，然后进行树干点云的识别以及树干点云的分割。这类方法对树干点云的识别主要采用聚类方法，一般步骤为：点云局部特征的计算、树干点云特征阈值选取、树干点云的聚类以及分割。树干点云特征阈值选取是该类技术的核心，主要有通过试验方式的手动选取和采用机器学习技术的阈值自动学习等方法。
现有基于图像的树木枝干提取技术，其主要存在的问题和缺点：
(1)基于传统的图像处理技术，当图像中的背景比较复杂时，其枝干区域的分割以及轮廓提取误差大。造成该缺点的原因是，这类技术主要是基于像素的颜色信息进行分割，当背景像素颜色难以区分时，会造成像素的错判。
(2)基于传统的图像处理技术，其一般只能提取树木的主干，对于树木的侧枝往往无法提取。造成该缺点的原因是，树木的树叶以及枝干之间的遮挡，无法简单通过像素的颜色等信息进行处理，从而造成对树木侧枝枝干提取的失败。
(3)现有基于图像的方法，其只能输出树木主干不被树叶遮挡的那部分可视区域，其原因是：1)遮挡区域无法通过像素的颜色信息进行识别，从而无法提取树干；2)神经网络模型依赖相应的数据集进行训练，而当前缺乏这类包含完整树干结构标记的图像数据集。
(4)现有基于图像的方法，其提取的树木主干区域要么是包含主干的一组像素集合，要么是一个包含主干的矩形框，无法得到树干整体的几何结构(如树干上的分支结点位置、结点与结点之间的连接关系等)。其原因是：1)基于像素颜色信息的树干提取方法，最终只能对像素进行分类，从而该类方法的输出是一组像素集合，而无法提取树干的几何结构；2)基于深度学习技术的方法，其采用的是计算机视觉中通用的目标检测模型，这类模型的输出是一组矩形检测框，而不是树干的具体几何结构；3)不同树木枝干几何结构差异大，现有技术没法处理这些差异性以支持深度神将网络模型的训练。
现有基于三维点云的树木枝干提取技术，其主要存在的问题：
(1)激光雷达相比RGB相机，价格昂贵，操作更为复杂；
(2)三维点云数据量大，计算开销大，很难做到实时处理；
(3)基于三维点云分割得到的树干，其是一组离散点，无法直接获取树木枝干的几何结构。
为了解决上述问题，本发明提出了一种基于自然图像的树木多级枝干结构自动提取方法。
发明内容
本发明的目的在于提出一种基于自然图像的树木多级枝干结构自动提取方法以解决现有技术中存在的如下问题：
(1)复杂背景图像中树木枝干结构的提取问题；
(2)树木多级枝干结构的提取问题；
(3)树木枝干几何结构的提取问题。
为了实现上述目的，本发明采用了如下技术方案：
基于自然图像的树木多级枝干结构自动提取方法，采用深度神经网络模型，实现从图像中提取树木多级枝干结构，具体包括以下内容：
S1、构建数据集：收集树木图像和枝干标注数据，构建用于训练深度神经网络的数据集，进一步包括如下内容：
S1.1、树木图像采集：通过网络爬取和手机拍摄获取树木图像，所述树木图像均为RGB图像，储存为JPEG格式；
S1.2、树木图像标注：利用标注软件对S1.1中所得的树木图像中的枝干结构进行标注；
S1.3、枝干标注数据处理：对S1.2中所得的枝干标注数据进行处理，构建维度统一的数据；
S2、构建深度神经网络模型：深度神经网络模型采用骨架网络和分支网络的结构，其中，所述骨架网络采用BotNet网格结构，由卷积残差模块和多头自注意力模块构成；所述分支网络由全连接模块构成；构建深度神经网络模型的损失函数，并对模型进行训练；
S3、构建基于深度神经网络模型输出结果的树木多级枝干结构：深度神经网络模型的输入为一幅树木图像，输出为一系列枝干结点坐标值构成的向量，基于输出结果，构建树木枝干结构。
优选地，所述S1.2具体包括以下内容：
S1.2.1、选取树木图像，利用标注软件可视化所选取的图片；
S1.2.2、用户选择所要标注枝干的等级：主干对应等级0，与主干直接相连的侧枝对应等级1，与上述等级1侧枝直接相连的次级侧枝对应等级2，依次类推；
S1.2.3、用户在树木图像上直接点击以标注构成枝干的结点，标注软件会自动获取并记录其二维坐标、所对应的枝干等级；当用户完成某一枝干所有结点的标注后，标注软件自动连接这些结点以构造枝干的点-线图并保存；
S1.2.4、用户重复上述S1.2.2～S1.2.3步骤直到完成m个枝干等级的标注；所述m表示用户预先指定的等级数量。
优选地，标注软件生成的标注数据统一存为xml格式，不同的枝干等级对应一组标注数据，每一组标注数据包含结点和枝干两类标签；结点标签中存储同一等级下所有枝干结点的二维坐标；每一组可以包含多个枝干标签，每一枝干标签中存储构成该枝干所有结点的坐标。
优选地，所述S1.3具体包括以下内容：
S1.3.1、将数据集中枝干等级数量m设置为2，枝干标注数据中的每一数据点包含(x,y)两个值，将该坐标值进行归一化处理：
x’＝x/W
y’＝y/H
其中，W、H分别为图像的宽和高；
S1.3.2、基于归一化后的枝干标注数据，统计如下三类分布信息：主干标注点数量分布、一级侧枝数量分布以及所有一级侧枝总标注点数量分布；
S1.3.3、基于S1.3.2中所得的统计信息，确定主干标注点数量N0和所有一级侧枝总标注点数量N1；
S1.3.4、采用自然三次样条插值方法，对主干以及所有一级侧枝，根据其标注的结点坐标拟合生成具有二阶导数连续的光滑曲线；
S1.3.5、对主干以及所有一级侧枝拟合得到的光滑曲线，分别根据N0、N1以及侧枝数量NL进行结点的重采样；
S1.3.6、将每一树木图像的枝干标注信息统一表示为长度D＝(N0+N1)*2+1的一维向量，其中，N0+N1表示总的枝干结点数量；乘以2表示每个结点包含(x,y)两个坐标值；加1表示需要额外一个值用于存储一级侧枝数量。
优选地，所述S1.3.4具体包括如下内容：
假设有N+1个标注结点，其中第i个结点的坐标记为Pi，其切向量记为Pi’，0≤i≤N，则曲线的构造步骤如下：
①求解线性方程组A*b＝c，计算每个结点处的切向量Pi’，其中
Figure BDA0004090016790000061
②每两个相邻结点(Pi，Pi’)，(Pi+1，Pi+1’)构造一条三次样条曲线，其公式如下：
Ci(u)＝H1(u)Pi+H2(u)Pi+i+H3(u)P′i+H4(u)P′i+1   (2)
其中：
H1(u)＝(2u3-3u2+1)；H2(u)＝(-2u3+3u2)；H3(u)＝(u3-2u2+u)；H4(u)＝(u3-u2)；0≤u≤1。
优选地，所述S1.3.5具体包括以下内容：
①主干重采样：假设主干上有N+1个标注结点，则其包含N段三次样条曲线，对每一段曲线Ci(u)，通过对参数u在区间[0，1]内均匀采样N0/N个值，以计算对应的结点坐标；
②一级侧枝重采样：假设共有NL个一级侧枝，则每个侧枝需要采样N1/NL个点；每个侧枝的采样方法与主干重采样方法一致(即对自然三次样条拟合曲线均匀采样)。
优选地，所述S2中提到的构建深度神经网络模型的损失函数，具体包括以下内容：
所述神经网络拥有三个分支网络，每一分支网络对应一个独立的损失函数，总的损失函数公式如下所示：
Figure BDA0004090016790000071
式中，x表示输入的树木图像；y表示长度为D的树木枝干结点坐标向量，其由三个子向量(y1，y2，y3)组合而成；y1为主干结点坐标向量；y2为侧枝结点坐标向量；y3为侧枝数量；Θ表示神经网络的模型参数；Loss是总的损失函数，其由三个子损失函数及对参数Θ的正则约束项构成，每一个损失函数对应一个分支网络的输出；参数α，β和γ为各子损失函数的权重，用于控制其对总损失函数的影响；
(3)式中，loss1对应主干结点坐标预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000072
loss2对应一级侧枝结点坐标预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000073
loss3对应一级侧枝数量预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000074
上述公式中的
Figure BDA0004090016790000075
对应三个分支网络的计算结果。
优选地，所述S2中提到的模型训练具体包括以下内容：
S2.1、将数据集的80％作为训练集，20％作为验证集；
S2.2、对于训练集里的图片，进行数据增强，主要操作包括图像随机裁切、颜色变换；
S2.3、按批加载数据增强后的数据集，采用随机梯度下降法，进行神经网络的训练；
S2.4、选取最优的模型并保存。
优选地，所述S3具体包括如下内容：
深度神经网络模型输出的枝干结点坐标值构成的向量的长度记为D＝(N0+N1)*2+1，假设，深度神经网络模型输出的枝干结点坐标向量记为y，则y[1:2N0]部分对应主干结点坐标，y[2N0+1:2N1]对应一级侧枝结点坐标，y[D]对应一级侧枝的数量；基于上述数据，构建树木枝干结构的步骤如下：
①主干构建：应用自然三次样条曲线拟合方法，根据y[1:2N0]中的坐标数据，拟合生成主干曲线；
②一级侧枝构建：首先，根据公式N1/y[D]，计算每个侧枝上的结点数量；然后，将y[2N0+1:2N1]向量，按侧枝数量进行等分，每一等分应用自然三次样条曲线拟合方法生成枝干曲线；
③将上述枝干曲线数据存入通用的OBJ格式文件。
与现有技术相比，本发明提供了基于自然图像的树木多级枝干结构自动提取方法，具备以下有益效果：
(1)针对复杂背景图像中树木枝干结构的提取问题，本发明所提出的方法可以处理自然环境中拍摄的树木图像，这类图像包含丰富的背景，如建筑物、道路、行人以及其他植物等，不需要对图像进行特定的预处理，便可以直接从中提取树木的枝干结构；
(2)针对树木多级枝干结构的提取问题，本发明所提出的方法不仅能提取树木的主干，还能提取树木的侧枝，这是现有技术所做不到的；
(3)针对树木枝干几何结构的提取问题，本发明所提出的方法所提取的枝干结构并不是一组像素集或者矩形检测框，而是包含分支结点位置、结点与结点连接边的几何结构；为此要解决树木多级枝干结构的统一数学表征问题。
综上所述，本发明所提出的一种基于自然图像的树木多级枝干结构自动提取方法自动化程度高，用户操作简便，能够处理复杂背景图像能力更强，且生成的枝干结构质量更高。
附图说明
图1为本发明提出的基于自然图像的树木多级枝干结构自动提取方法的流程图；
图2为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中神经网络整体结构示意图
图3为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中树木图像标注的流程图；
图4为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中标注数据处理流程图；
图5为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中神经网络训练流程图；
图6为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中主干采样点数直方图；
图7为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中一级侧枝采样点数直方图；
图8为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中模型损失函数训练集上收敛曲线；
图9为本发明提出的基于自然图像的树木多级枝干结构自动提取方法中模型损失函数验证集上收敛曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
本发明提出一种基于自然图像的树木多级枝干结构自动提取方法，主要包括深度神经网络模型构建和深度神经网络模型应用两部分，其中深度神经网络模型构建又包括树木图像标注、标注数据处理以及深度神经网络模型训练操作，具体流程为：首先，采集的树木图像会先进行树木图像标注处理，生成枝干标注数据；然后，对这些枝干标注数据进行处理，生成符合神经网络模型要求的长度一致的向量数据；最后，利用树木图像数据以及处理后的枝干标注数据进行神经网络模型训练，输出训练好的神经网络模型并保存。而深度神经网络模型应用包括深度神经网络模型计算和多级枝干结构构建，具体流程为：首先，对加载神经网络模型文件和树木图像文件进行处理，计算并输出结果；然后，读取上述输出结果，进行主干和一级侧枝枝干结构的生成，并将结果存入文件。
基于上述描述，本发明所提出的基于自然图像的树木多级枝干结构自动提取方法具体包括如下内容：
请参阅图1-2，基于自然图像的树木多级枝干结构自动提取方法，采用深度神经网络模型，实现从图像中提取树木多级枝干结构的目标，其工作过程为：
(1)数据集构建
数据集主要用于训练深度神经网络模型，其主要由树木图像和枝干标注数据构成。其构建过程经历如下几个步骤：
(1.1)树木图像采集
树木图像均为RGB图像，其采集主要通过两种渠道：网络爬取和手机拍摄，所有图像都存为JPEG格式。
(1.2)树木图像标注
针对树木图像及其枝干进行标注，请参阅图3，工作过程为：
A、选取树木图像，标注软件将可视化所选取的图片；
B、用户选择所要标注枝干的等级：主干对应等级0，与主干直接相连的侧枝对应等级1，与上述等级1侧枝直接相连的次级侧枝对应等级2，依次类推；
C、用户在树木图像上直接点击以标注构成枝干的结点，标注软件会自动获取并记录其二维坐标、所对应的枝干等级；当用户完成某一枝干所有结点的标注后，标注软件会自动连接这些结点以构造枝干的点-线图并保存；
D、用户重复上述B-C步骤直到完成m个枝干等级的标注；这里的m为用户预先指定的等级数量。
标注软件生成的标注数据统一存为xml格式，不同的枝干等级对应一组标注数据，每一组标注数据包含结点和枝干两类标签；结点标签中存储同一等级下所有枝干结点的二维坐标；每一组可以包含多个枝干标签，每一枝干标签中存储构成该枝干所有结点的坐标。
(1.3)枝干标注数据处理
不同树木枝干的标注数据维度大小不一，无法直接用于深度神经网络模型的训练。请参阅图4，本发明构建的数据集，首先将其枝干等级数量m设置为2，然后采用如下处理流程以构建维度统一的数据：
A、枝干标注数据中的每一数据点包含(x,y)两个值，将该坐标值进行归一化处理：
x’＝x/W y’＝y/H
上式中的W，H为图像的宽和高。
B、基于归一化后的枝干标注数据，统计如下三类分布信息：主干标注点数量分布、一级侧枝数量分布以及所有一级侧枝总标注点数量分布；
C、基于上述统计信息，确定主干标注点数量N0和所有一级侧枝总标注点数量N1；N0和N1为本发明的关键参数，在实施过程中，其主要通过对标注数据进行统计分析得到，针对本发明中的数据，对应的统计直方图见附图6和图7。从图中可以发现，当N0取值范围在[7,11]之间，N1取值范围在[30,70]之间时，将覆盖绝大部分数据样本。本发明实施中，取N0＝10，N1＝60，对应的深度神经网络模型，当α＝0.01，β＝0.01，γ＝0时，损失函数
Figure BDA0004090016790000131
在训练数据集上的收敛曲线见图8所示，在验证数据集上的损失函数收敛曲线见图9所示。从图可知，在具体实施时，当这些参数取如上值时，可以获取对应结果。
D、采用自然三次样条插值方法，对主干以及所有一级侧枝，根据其标注的结点坐标拟合生成具有二阶导数连续的光滑曲线，具体包括如下内容：
假设有N+1个标注结点，其中第i个结点的坐标记为Pi，其切向量记为Pi’，0≤i≤N。则曲线的构造步骤如下：
D1、求解线性方程组A*b＝c，计算每个结点处的切向量Pi’，其中
Figure BDA0004090016790000132
D2、每两个相邻结点(Pi，Pi’)，(Pi+1，Pi+1’)构造一条三次样条曲线，其公式如下：
Ci(u)＝H1(u)Pi+H2(u)Pi+1+H3(u)P′i+H4(u)P′i+1   (2)
其中：
H1(u)＝(2u3-3u2+1)，H2(u)＝(-2u3+3u2)，
H3(u)＝(u3-2u2+u)，H4(u)＝(u3-u2)，
0≤u≤1.
E、对主干以及所有一级侧枝拟合得到的光滑曲线，分别根据N0、N1以及侧枝数量NL进行结点的重采样：
E1、主干重采样：假设主干上有N+1个标注结点，则其包含N段三次样条曲线，对每一段曲线Ci(u)，通过对参数u在区间[0,1]内均匀采样N0/N个值，以计算对应的结点坐标；
E2、一级侧枝重采样：假设共有NL个一级侧枝，则每个侧枝需要采样N1/NL个点；对每个侧枝的采样方法与主干重采样方法保持一致，即对自然三次样条拟合曲线均匀采样。
F、最终，将每一树木图像的枝干标注信息统一表示为长度D＝(N0+N1)*2+1的一维向量。这里N0+N1表示总的枝干结点数量，乘以2表示每个结点包含(x,y)两个坐标值，加1表示需要额外一个值用于存储一级侧枝数量。
(2)深度神经网络模型的构建
本发明中的深度神经网络采用骨架网络和分支网络的结构，骨架网络采用了BotNet(Bottleneck Transformer Network)网络结构，其由卷积残差模块和多头自注意力模块构成，分支网络则由全连接模块构成。本发明中神经网络拥有三个分支网络，每一分支网络对应一个独立的损失函数，总的损失函数公式如下所示：
Figure BDA0004090016790000151
上式中的x表示输入的树木图像；y表示长度为D的树木枝干结点坐标向量，其由三个子向量(y1，y2，y3)组合而成，y1为主干结点坐标向量，y2为侧枝结点坐标向量，y3为侧枝数量；Θ表示神经网络的模型参数；Loss是总的损失函数，其由三个子损失函数及对参数Θ的正则约束项构成，每一个损失函数对应一个分支网络的输出；参数α，β和γ为各子损失函数的权重，用于控制其对总损失函数的影响。其中的loss1对应主干结点坐标预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000152
另loss2对应一级侧枝结点坐标预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000153
最后，loss3对应一级侧枝数量预测结果的损失函数，其计算公式如下：
Figure BDA0004090016790000154
上述公式中的
Figure BDA0004090016790000155
对应三个分支网络的计算结果。
请参阅图5，基于上述损失函数的深度神经网络模型的训练过程如下：
A、将数据集的80％作为训练集，20％作为验证集；
B、对于训练集里的图片，进行数据增强，主要操作包括图像随机裁切、颜色变换；
C、按批加载数据增强后的数据集，采用随机梯度下降法，进行神经网络的训练；
D、选取最优的模型并保存。
(3)基于深度神经网络模型输出结果的树木多级枝干结构构建
深度神经网络模型的输入为一幅树木图像，输出为一系列枝干结点坐标值构成的向量，其长度为D＝(N0+N1)*2+1。假设，神经网络模型输出的枝干结点坐标向量记为y，则y[1:2N0]部分对应主干结点坐标，y[2N0+1:2N1]对应一级侧枝结点坐标，y[D]对应一级侧枝的数量。基于上述数据，构建树木枝干结构的步骤如下：
A、主干构建：应用上述1.3-D中的自然三次样条曲线拟合方法，根据y[1:2N0]中的坐标数据，拟合生成主干曲线
B、一级侧枝构建：首先，根据公式N1/y[D]，计算每个侧枝上的结点数量；然后，将y[2N0+1:2N1]向量，按侧枝数量进行等分，每一等分应用上述1.3-D中的自然三次样条曲线拟合方法生成枝干曲线；
C、将上述枝干曲线数据存入通用的OBJ格式文件。
结合上述描述，本发明包括如下具体实施方式：
实施例1：
简单应用方式：
该方式主要执行图1右边的神经网络模型应用操作。首先，读入已经训练好的神经网络模型文件，构建对应的神经网络模型；然后，输入待处理的树木图像，调用神经网络模型，计算枝干结点坐标和一级侧枝数量；最后，基于上一步输出数据，完成多级枝干结构构建，生成最终的枝干曲线并保存到文件。
实施例2：
完整构建方式：
该方式将按图1中的完整流程来实施本发明涉及的所有过程。首先，执行图1中的神经网络模型构建流程，其主要步骤为：
1、采集树木图像数据，按树木图像标注操作中的流程(参见附图3)，完成枝干数据的标注；
2、对枝干标注数据，按标注数据处理操作中的流程(参见附图4)，完成标注数据的处理；
3、基于树木图像数据、处理后的枝干标注数据，按神经网络模型训练操作中的流程(参见附图5)，完成神经网络模型的构建并保存。
4、按上述实施例1中的流程，完成最终枝干结构的生成。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.基于自然图像的树木多级枝干结构自动提取方法，其特征在于，采用深度神经网络模型，实现从图像中提取树木多级枝干结构，具体包括以下内容：
S1、构建数据集：收集树木图像和枝干标注数据，构建用于训练深度神经网络的数据集，进一步包括如下内容：
S1.1、树木图像采集：通过网络爬取和手机拍摄获取树木图像，所述树木图像均为RGB图像，储存为JPEG格式；
S1.2、树木图像标注：利用标注软件对S1.1中所得的树木图像中的枝干结构进行标注；
S1.3、枝干标注数据处理：对S1.2中所得的枝干标注数据进行处理，构建维度统一的数据；
S2、构建深度神经网络模型：深度神经网络模型采用骨架网络和分支网络的结构，其中，所述骨架网络采用BotNet网格结构，由卷积残差模块和多头自注意力模块构成；所述分支网络由全连接模块构成；构建深度神经网络模型的损失函数，并对模型进行训练；
S3、构建基于深度神经网络模型输出结果的树木多级枝干结构：深度神经网络模型的输入为一幅树木图像，输出为一系列枝干结点坐标值构成的向量，基于输出结果，构建树木枝干结构。
2.根据权利要求1所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.2具体包括以下内容：
S1.2.1、选取树木图像，利用标注软件可视化所选取的图片；
S1.2.2、用户选择所要标注枝干的等级：主干对应等级0，与主干直接相连的侧枝对应等级1，与上述等级1侧枝直接相连的次级侧枝对应等级2，依次类推；
S1.2.3、用户在树木图像上直接点击以标注构成枝干的结点，标注软件会自动获取并记录其二维坐标、所对应的枝干等级；当用户完成某一枝干所有结点的标注后，标注软件自动连接这些结点以构造枝干的点-线图并保存；
S1.2.4、用户重复上述S1.2.2～S1.2.3步骤直到完成m个枝干等级的标注；所述m表示用户预先指定的等级数量。
3.根据权利要求1或2所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.3具体包括以下内容：
S1.3.1、将数据集中枝干等级数量m设置为2，枝干标注数据中的每一数据点包含(x,y)两个值，将该坐标值进行归一化处理：
x’＝x/W
y’＝y/H
其中，W、H分别为图像的宽和高；
S1.3.2、基于归一化后的枝干标注数据，统计如下三类分布信息：主干标注点数量分布、一级侧枝数量分布以及所有一级侧枝总标注点数量分布；
S1.3.3、基于S1.3.2中所得的统计信息，确定主干标注点数量N0和所有一级侧枝总标注点数量N1；
S1.3.4、采用自然三次样条插值方法，对主干以及所有一级侧枝，根据其标注的结点坐标拟合生成具有二阶导数连续的光滑曲线；
S1.3.5、对主干以及所有一级侧枝拟合得到的光滑曲线，分别根据N0、N1以及侧枝数量NL进行结点的重采样；
S1.3.6、将每一树木图像的枝干标注信息统一表示为长度D＝(N0+N1)*2+1的一维向量，其中，N0+N1表示总的枝干结点数量；乘以2表示每个结点包含(x,y)两个坐标值；加1表示需要额外一个值用于存储一级侧枝数量。
4.根据权利要求3所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.3.4具体包括如下内容：
假设有N+1个标注结点，其中第i个结点的坐标记为Pi，其切向量记为Pi’，0≤i≤N，则曲线的构造步骤如下：
①求解线性方程组A*b＝c，计算每个结点处的切向量Pi’，其中
Figure FDA0004090016780000031
②每两个相邻结点(Pi，Pi’)，(Pi+1，Pi+1’)构造一条三次样条曲线，其公式如下：
Ci(u)＝H1(u)Pi+H2(u)Pi+1+H3(u)P′i+H4(u)P′i+1    (2)
其中：
H1(u)＝(2u3-3u2+1)；H2(u)＝(-2u3+3u2)；H3(u)＝(u3-2u2+u)；
H4(u)＝(u3-u2)；0≤u≤1。
5.根据权利要求3所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.3.5具体包括以下内容：
①主干重采样：假设主干上有N+1个标注结点，则其包含N段三次样条曲线，对每一段曲线Ci(u)，通过对参数u在区间[0,1]内均匀采样N0/N个值，以计算对应的结点坐标；
②一级侧枝重采样：假设共有NL个一级侧枝，则每个侧枝需要采样N1/NL个点；每个侧枝的采样方法与主干重采样方法一致。
6.根据权利要求1所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S2中提到的构建深度神经网络模型的损失函数，具体包括以下内容：
所述神经网络拥有三个分支网络，每一分支网络对应一个独立的损失函数，总的损失函数公式如下所示：
Figure FDA0004090016780000041
式中，x表示输入的树木图像；y表示长度为D的树木枝干结点坐标向量，其由三个子向量(y1,y2,y3)组合而成；y1为主干结点坐标向量；y2为侧枝结点坐标向量；y3为侧枝数量；Θ表示神经网络的模型参数；Loss是总的损失函数，其由三个子损失函数及对参数Θ的正则约束项构成，每一个损失函数对应一个分支网络的输出；参数α，β和γ为各子损失函数的权重，用于控制其对总损失函数的影响；
(3)式中，loss1对应主干结点坐标预测结果的损失函数，其计算公式如下：
Figure FDA0004090016780000042
loss2对应一级侧枝结点坐标预测结果的损失函数，其计算公式如下：
Figure FDA0004090016780000051
loss3对应一级侧枝数量预测结果的损失函数，其计算公式如下：
Figure FDA0004090016780000052
上述公式中的
Figure FDA0004090016780000053
对应三个分支网络的计算结果。
7.根据权利要求1所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S2中提到的模型训练具体包括以下内容：
S2.1、将数据集的80％作为训练集，20％作为验证集；
S2.2、对于训练集里的图片，进行数据增强，主要操作包括图像随机裁切、颜色变换；
S2.3、按批加载数据增强后的数据集，采用随机梯度下降法，进行神经网络的训练；
S2.4、选取最优的模型并保存。
8.根据权利要求1所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S3具体包括如下内容：
深度神经网络模型输出的枝干结点坐标值构成的向量的长度记为D＝(N0+N1)*2+1，假设，深度神经网络模型输出的枝干结点坐标向量记为y，则y[1:2N0]部分对应主干结点坐标，y[2N0+1:2N1]对应一级侧枝结点坐标，y[D]对应一级侧枝的数量；基于上述数据，构建树木枝干结构的步骤如下：
①主干构建：应用自然三次样条曲线拟合方法，根据y[1:2N0]中的坐标数据，拟合生成主干曲线；
②一级侧枝构建：首先，根据公式N1/y[D]，计算每个侧枝上的结点数量；然后，将y[2N0+1:2N1]向量，按侧枝数量进行等分，每一等分应用自然三次样条曲线拟合方法生成枝干曲线；
③将上述枝干曲线数据存入通用的OBJ格式文件。
CN202310148560.0A 2023-02-16 2023-02-16 基于自然图像的树木多级枝干结构自动提取方法 Pending CN116071653A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310148560.0A CN116071653A (zh) 2023-02-16 2023-02-16 基于自然图像的树木多级枝干结构自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310148560.0A CN116071653A (zh) 2023-02-16 2023-02-16 基于自然图像的树木多级枝干结构自动提取方法

Publications (1)

Publication Number Publication Date
CN116071653A true CN116071653A (zh) 2023-05-05

Family

ID=86183592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310148560.0A Pending CN116071653A (zh) 2023-02-16 2023-02-16 基于自然图像的树木多级枝干结构自动提取方法

Country Status (1)

Country Link
CN (1) CN116071653A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522945A (zh) * 2023-09-13 2024-02-06 武汉大学 提取树木枝干结构参数的方法、系统、计算机设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522945A (zh) * 2023-09-13 2024-02-06 武汉大学 提取树木枝干结构参数的方法、系统、计算机设备及介质

Similar Documents

Publication Publication Date Title
Dias et al. Multispecies fruit flower detection using a refined semantic segmentation network
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
US7983486B2 (en) Method and apparatus for automatic image categorization using image texture
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
Ji et al. Target recognition method of green pepper harvesting robot based on manifold ranking
CN111860537B (zh) 基于深度学习的绿色柑橘识别方法、设备及装置
CN113449806A (zh) 基于层次结构的二阶段林业害虫识别与检测系统及方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN114359727A (zh) 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN114445664A (zh) 基于自适应动态卷积网络的图像分类识别方法、装置和计算机设备
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN114758132B (zh) 一种基于卷积神经网络的果树病虫害识别方法及系统
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN116071653A (zh) 基于自然图像的树木多级枝干结构自动提取方法
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及系统
Ferrer-Ferrer et al. Simultaneous fruit detection and size estimation using multitask deep neural networks
Shuai et al. An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds
CN108109125A (zh) 基于遥感图像的信息提取方法和装置
Jiang et al. Thin wire segmentation and reconstruction based on a novel image overlap-partitioning and stitching algorithm in apple fruiting wall architecture for robotic picking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination