CN112529850A - 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 - Google Patents

一种基于多视角多尺度图片测量苗木尺寸的方法及系统 Download PDF

Info

Publication number
CN112529850A
CN112529850A CN202011359476.6A CN202011359476A CN112529850A CN 112529850 A CN112529850 A CN 112529850A CN 202011359476 A CN202011359476 A CN 202011359476A CN 112529850 A CN112529850 A CN 112529850A
Authority
CN
China
Prior art keywords
nursery stock
seedling
picture
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011359476.6A
Other languages
English (en)
Inventor
刘冠
刘华
沈坚
曹恩珲
李寅霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Blu Ray Youju Technology Co ltd
Original Assignee
Sichuan Blu Ray Youju Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Blu Ray Youju Technology Co ltd filed Critical Sichuan Blu Ray Youju Technology Co ltd
Priority to CN202011359476.6A priority Critical patent/CN112529850A/zh
Publication of CN112529850A publication Critical patent/CN112529850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及苗木技术领域，具体公开了一种基于多视角多尺度图片测量苗木尺寸的方法，通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息，并通过图像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息，然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及标定板的真实尺寸信息确定了待测苗木的尺寸信息，实现了对待测苗木的苗木品种及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本，并确保了苗木品种及尺寸信息的真实性。

Description

一种基于多视角多尺度图片测量苗木尺寸的方法及系统
技术领域
本发明涉及苗木技术领域，尤其涉及一种基于多视角多尺度图片测量苗木 尺寸的方法及系统。
背景技术
传统的线下苗木盘点和采购，存在工具测量复杂、人工估算误差大、差旅 成本高等问题，而随着互联网、物联网、区块链的快速发展，对苗木栽植、盘 点、销售和追溯的智能化、信息化需求不断攀升。虽然目前已有一些线上苗木 销售平台，但是苗木数据记录，特别是尺寸信息仍然采用手工测量的方式，不 能对苗木品种及高度、冠幅和胸径等苗木关键尺寸信息进行自动化的识别和测 量，使得苗圃供应商和采购商的人工成本较高且真实性难以保证。
发明内容
本发明实施例提供一种基于多视角多尺度图片测量苗木尺寸的方法及系 统，用以解决现有技术中不能对苗木品种及苗木关键尺寸信息进行自动化的识 别和测量，使得苗圃供应商和采购商的人工成本较高且真实性难以保证的问题。
本发明第一个方面，提供一种基于多视角多尺度图片测量苗木尺寸的方法， 包括：
将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用 于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述 多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述多视角多尺度 图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片 及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；
采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木 的苗木品种信息；
对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述 苗木全局图片的图像分割信息；
通过所述图像分割信息及所述模板图像信息对每张所述苗木全局图片中的 标定板进行定位，以获得所述标定板的像素尺寸信息；
根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所 述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像 素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
本发明的有益效果为：通过带有苗木的多视角多尺度图片集的苗木图片训 练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息，并通过图 像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素 尺寸信息，然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸 信息及真实尺寸信息确定了待测苗木的尺寸信息，实现了对待测苗木的苗木品 种及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本，并 确保了苗木品种及尺寸信息的真实性。
在上述技术方案的基础上，本发明还可以做如下改进：
可选的，所述分类网络模型包括第一分类神经网络结构ResNet18；
所述采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述 苗木的苗木品种信息，包括：
将所述苗木图片训练集中的图片均分为多个苗木图片子集，且每个所述苗 木图片子集中各个尺度类型图片的数量相同，各个所述尺度类型图片包括所述 苗木全局图片、叶花局部图片及苗木分支图片；
将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木 图片子集作为训练集；采用第一分类神经网络结构ResNet18对所述苗木图片训 练集进行一次分类训练，根据所述一次分类训练统计结果，将所述验证集内各 个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权 值，各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示，所述置信度 加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部 图片及苗木分支图片；
采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次 分类训练，以获得苗木品种分类网络；
将每棵所述苗木的所述苗木全局图片、所述叶花局部图片及所述苗木分支 图片，分别输入所述苗木品种分类网络，以获得三个特征向量
Figure BDA0002803572410000031
所述特 征向量
Figure BDA0002803572410000032
的维度为n，所述n为所述苗木的品种个数；
根据所述置信度加权值αh,αp,αb将各个所述尺度类型图片进行加权融合， 获得加权融合得分
Figure BDA0002803572410000033
采用归一化指数函数softmax对所述加权融合得分
Figure BDA0002803572410000034
进行 归一化处理，以获得每棵所述苗木的所述苗木品种信息及所述苗木品种信息对 应的归一化得分。
本发明采用上述可选方案的有益效果为：通过对苗木图片训练集进行分类 训练处理后，获得了苗木品种信息及苗木品种信息对应的归一化得分，实现了 对苗木品种的自动识别，以便于后续对苗木尺寸的测量。
可选的，所述分类网络模型还包括第二分类神经网络结构ResNet18；
所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息，包括：采用开源图像标注工具Labelme对所述 苗木全局图片进行标记，标记内容包括：苗木的轮廓、标定板的四个顶点的位 置坐标；基于实例分割网络框架mask-rcnn的架构，采用作为主干网络的第二分 类神经网络结构ResNet18训练标记后的所述苗木全局图片，以获得标定板-苗木 实例分割网络；将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例 分割网络，获得每张所述苗木全局图片的所述图像分割信息，所述图像分割信 息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板 分割掩码及标定板分割得分。
本发明采用上述可选方案的有益效果为：获得了每张苗木全局图片的图像 分割信息，为测量苗木尺寸提供了图像数据支撑。
可选的，所述通过所述图像分割信息及所述模板图像信息，对每张所述苗 木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息，包括：
步骤a，确定所述标定板的候选区域，包括：将所述苗木全局图片转化为灰 度图；判断所述标定板分割得分是否大于预设得分值，若是，则将所述标定板 边界框的横纵坐标分别进行扩充处理，剪裁扩充区域的灰度图作为所述候选区 域；若否，则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上， 剪裁不存在所述标定板区域的灰度图作为所述候选区域；
步骤b，对所述标定板进行图像匹配，包括：通过在所述候选区域和所述模 板图像上分别提取尺度不变特征变换SIFT特征，基于快速最近邻匹配搜索方法 对所述标定板进行图像匹配处理，获得所述候选区域内所述标定板四个顶点的 像素坐标值，根据所述像素坐标值获取所述候选区域内所述标定板的上宽度值、 下宽度值、左高度值及右高度值，则所述像素尺寸信息包括：像素高度平均值
Figure BDA0002803572410000041
像素宽度平均值
Figure BDA0002803572410000042
所述m代表所述标定板。
本发明采用上述可选方案的有益效果为：通过对每张苗木全局图片中的标 定板进行定位处理后，获得了标定板的像素高度平均值
Figure BDA0002803572410000043
和像素宽度平均值
Figure BDA0002803572410000044
为测量苗木的尺寸信息提供了标定板的参照数据。
可选的，所述尺寸信息包括物理高度值h及物理冠幅值w；
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息 及所述真实尺寸信息确定所述待测苗木的尺寸信息，包括：
根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每 张所述苗木全局图片中所述待测苗木的所述物理高度值hi及所述物理冠幅值wi；
通过对多张所述苗木全局图片中获得的所述物理高度值hi、所述物理冠幅值 wi分别取平均值，以获得所述待测苗木的所述物理高度值h及所述物理冠幅值 w，所述物理高度值
Figure BDA0002803572410000051
所述物理冠幅值
Figure BDA0002803572410000052
所述N表示所述苗木全 局图片的个数。
本发明采用上述可选方案的有益效果为：在获得每张苗木全局图片中待测 苗木的物理高度值hi及物理冠幅值wi后，融合不同视角摄取的多张苗木全局图 片，对从多张苗木全局图片中获取的物理高度值hi及物理冠幅值wi分别取均值后 的结果即为测量出的待测苗木的物理高度值h及物理冠幅值w。
可选的，所述真实尺寸信息包括真实高度
Figure BDA0002803572410000053
及真实宽度
Figure BDA0002803572410000054
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确 定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi，包括：
根据所述苗木分割掩码获得所述待测苗木的树冠外轮廓及树干外轮廓，并 分别根据所述树冠外轮廓、所述树干外轮廓确定所述待测苗木的树冠宽度中位 数及树干宽度中位数；
通过从高到低的高度搜索原则，判断所述树冠外轮廓在不同像素高度下树 冠宽度与所述树冠宽度中位数的比值与预设阈值ε的大小；若在连续多个所述像 素高度下的比值大于所述预设阈值ε，则将首个满足所述比值大于所述预设阈值 ε时对应的所述像素高度，作为所述待测苗木的纵向最大值hmax；
通过从低到高的高度搜索原则，判断所述树干外轮廓在不同像素高度下树 干宽度与所述树干宽度中位数的比值与预设阈值β的大小；若在连续多个所述像 素高度下的比值大于所述预设阈值β，则将首个满足所述比值大于所述预设阈值 β时对应的所述像素高度，作为所述待测苗木的纵向最小值hmin；若，在所述苗 木全局图片中未检测到所述待测苗木的所述树干外轮廓，则将所述苗木全局图 片的所述苗木边界框的下边界作为所述待测苗木的所述纵向最小值hmin；
通过所述纵向最大值hmax及所述纵向最小值hmin，获得所述待测苗木的像素 高度值
Figure BDA0002803572410000061
所述像素高度值
Figure BDA0002803572410000062
为
Figure BDA0002803572410000063
所述t代表所述待测苗木；
通过所述像素高度值
Figure BDA0002803572410000064
所述真实高度
Figure BDA0002803572410000065
及所述像素高度平均值
Figure BDA0002803572410000066
获 得每张所述苗木全局图片中所述待测苗木的物理高度值hi，所述物理高度值hi为
Figure BDA0002803572410000067
本发明采用上述可选方案的有益效果为：获得了每张苗木全局图片中的待 测苗木的物理高度值hi。
可选的，所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸 信息，确定每张所述苗木全局图片中所述待测苗木的所述物理冠幅值wi，包括：
根据所述树冠外轮廓确定所述苗木全局图片中所述待测苗木的树冠高度中 位数；
通过从左到右的宽度搜索原则，判断所述树冠外轮廓在不同像素宽度下树 冠高度与所述树冠高度中位数的比值与预设阈值δ的大小；若连续多个所述像素 宽度下的比值大于所述预设阈值δ，则将首个满足所述比值大于所述预设阈值δ 时对应的所述像素宽度，作为所述待测苗木的横向最小值wmin；
及，通过从右到左的宽度搜索原则，判断所述树冠外轮廓在不同像素宽度 下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小；若连续多个所述 像素宽度下的比值大于所述预设阈值δ，则将首个满足所述比值大于所述预设阈 值δ时对应的所述像素宽度，作为所述待测苗木的横向最大值wmax；
通过所述横向最小值wmin及所述横向最大值wmax，获得所述待测苗木的像素 宽度值
Figure BDA0002803572410000068
所述像素宽度值
Figure BDA0002803572410000069
所述t表示所述待测苗木；
通过所述像素宽度值
Figure BDA00028035724100000610
所述真实宽度
Figure BDA00028035724100000611
及所述像素宽度平均值
Figure BDA00028035724100000612
获得所述待测苗木的物理冠幅值wi，所述物理冠幅值wi为
Figure BDA00028035724100000613
本发明采用上述可选方案的有益效果为：获得了每张苗木全局图片中的待 测苗木的物理冠幅值wi。
可选的，所述待测苗木的所述尺寸信息还包括米径值d1或地径值d2；
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息 及所述真实尺寸信息确定所述待测苗木的尺寸信息之后，还包括：
根据所述苗木品种信息获取苗木品种-米径/地径对应关系表；所述苗木品种 -米径/地径对应关系表用于，确定所述待测苗木待测量的所述尺寸信息为所述米 径值d1或所述地径值d2；
根据所述像素高度值
Figure BDA0002803572410000071
及所述物理高度值h，确定每张所述苗木全局图片 中所述待测苗木的所述米径值d1i或所述地径值d2i；
通过对多张所述苗木全局图片中获得的所述米径值或所述地径值di取平均 值，以获得所述待测苗木的所述米径值d1或所述地径值d2，所述
Figure BDA0002803572410000072
所述
Figure BDA0002803572410000073
所述N表示所述苗木全局图片的个数。
本发明采用上述可选方案的有益效果为：在获得每张苗木全局图片中待测 苗木的米径值d1i或地径值d2i后，融合不同视角摄取的多张苗木全局图片，对从 多张苗木全局图片中获取的米径值d1或地径值d2取均值后的结果即为测量出的 待测苗木的米径值d1或地径值d2。
可选的，所述根据所述像素高度值
Figure BDA0002803572410000074
及所述物理高度值h，确定每张所述 苗木全局图片中所述待测苗木的所述米径值d1i或所述地径值d2i，包括：
获取所述待测苗木的米径真实高度或地径真实高度；所述米径真实高度为 所述待测苗木在土壤以上的1米高度，用
Figure BDA0002803572410000075
表示；所述地径真实高度为所 述待测苗木在土壤以上的0.3米高度，用
Figure BDA0002803572410000076
表示；
根据所述待测苗木的所述像素高度值
Figure BDA0002803572410000077
所述物理高度值h及所述米径真 实高度
Figure BDA0002803572410000081
或所述地径真实高度
Figure BDA0002803572410000082
获取每张所述苗木全局图片中所 述待测苗木的米径像素高度
Figure BDA0002803572410000083
或地径像素高度
Figure BDA0002803572410000084
所述米径像素高度
Figure BDA0002803572410000085
所述地径像素高度
Figure BDA0002803572410000086
根据多个像素范围内的所述米径像素高度
Figure BDA0002803572410000087
获得所述待测苗木的胸径像 素宽度平均值
Figure BDA0002803572410000088
或根据多个像素范围内的所述地径像素高度
Figure BDA0002803572410000089
获得所述待 测苗木的胸径像素宽度平均值
Figure BDA00028035724100000810
根据所述胸径像素宽度平均值
Figure BDA00028035724100000811
或
Figure BDA00028035724100000812
所述标定板的像素宽度平均值
Figure BDA00028035724100000813
及真实宽度
Figure BDA00028035724100000814
获得每张所述苗木全局图片中所述待测苗木的所述米径值 d1i或所述地径值d2i，所述
Figure BDA00028035724100000815
所述
Figure BDA00028035724100000816
本发明采用上述可选方案的有益效果为：获得了每张苗木全局图片中的待 测苗木的米径值d1i或地径值d2i。
本发明第二个方面，提供一种基于多视角多尺度图片测量苗木尺寸的系统， 包括：
数据采集模块，用于将采集的多棵苗木的多视角多尺度图片集创建苗木图 片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的 物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支， 所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、 若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息 及真实尺寸信息；
分类训练模块，用于采用分类网络模型对所述苗木图片训练集进行分类训 练，以确定所述苗木的苗木品种信息；
分割模块，用于对所述苗木图片训练集中的所述苗木全局图片进行分割处 理，以获得所述苗木全局图片的图像分割信息；
标定板定位模块，用于通过所述图像分割信息及所述模板图像信息，对每 张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；
测量模块，用于根据所述苗木品种信息确定待测量的待测苗木，及所述待 测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分 割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
本发明的有益效果为：实现了对待测苗木的苗木品种及尺寸信息的自动识 别和测量，降低了苗圃供应商和采购商的人工成本，并确保了苗木品种及尺寸 信息的真实性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、 特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并 不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的 部件。在附图中：
图1为本发明一实施例提供的一种基于多视角多尺度图片测量苗木尺寸的 方法的流程图；
图2为一具体实施例中确定待测苗木的尺寸信息的流程图；
图3为一具体实施例中确定待测苗木的米径值或地径值的流程图；
图4为一具体实施例中获得每张苗木全局图片中待测苗木的米径值或地径 值的流程图；
图5为一具体实施例中提供的一种基于多视角多尺度图片测量苗木尺寸的 系统的结构示意图；
图6为一具体实施例中标定板的模板图像。
图中：1-数据采集模块，2-分类训练模块，21-图片分组单元，22-一次分类 训练单元，23-二次分类训练单元，24-图片融合单元，25-归一化单元，3-分割 模块，4-标定板定位模块，5-测量模块。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本 公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明第一实施例提供一种基于多视角多尺度图片测量苗木尺寸的方法， 请参见图1，包括：
步骤S11：将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集， 并获取用于采集多视角多尺度图片集时作为参照物的标定板的物理特征信息； 多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，多视角多尺度图片 集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若 干苗木分支图片；物理特征信息包括模板图像信息及真实尺寸信息。
步骤S12：采用分类网络模型对苗木图片训练集进行分类训练，以确定苗木 的苗木品种信息。
步骤S13：对苗木图片训练集中苗木全局图片进行分割处理，以获得苗木全 局图片的图像分割信息。
步骤S14：通过图像分割信息及模板图像信息对每张苗木全局图片中的标定 板进行定位，以获得标定板的像素尺寸信息。
步骤S15：根据苗木品种信息确定待测量的待测苗木，及待测苗木的多张苗 木全局图片；并根据多张苗木全局图片的图像分割信息、像素尺寸信息及真实 尺寸信息确定待测苗木的尺寸信息。
本发明通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木 的苗木品种信息、各苗木全局图片的图像分割信息，并通过图像分割信息及标 定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息，然后 根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及真实尺寸 信息确定了待测苗木的尺寸信息，实现了对待测苗木的苗木品种及尺寸信息的 自动识别和测量，降低了苗圃供应商和采购商的人工成本，并确保了苗木品种 及尺寸信息的真实性。
可选的，分类网络模型包括第一分类神经网络结构ResNet18，步骤S12中， 采用分类网络模型对苗木图片训练集进行分类训练，以确定苗木的苗木品种信 息，包括：将苗木图片训练集中的图片均分为多个苗木图片子集，且每个苗木 图片子集中各个尺度类型图片的数量相同，各个尺度类型图片包括苗木全局图 片、叶花局部图片及苗木分支图片；将多个苗木图片子集中的一个苗木图片子 集作为验证集其他苗木图片子集作为训练集；采用第一分类神经网络结构 ResNet18对苗木图片训练集进行一次分类训练，根据一次分类训练统计结果， 将验证集内各个尺度类型图片的平均分类精度作为各个尺度类型图片的置信度 加权值，各个尺度类型图片的置信度加权值分别用αh,αp,αb表示，置信度加权 值中的h、p、b代表的尺度类型图片分别为苗木全局图片、叶花局部图片及苗 木分支图片；采用第一分类神经网络结构ResNet18对苗木图片训练集进行二次 分类训练，以获得苗木品种分类网络；将每棵苗木的苗木全局图片、叶花局部 图片及苗木分支图片，分别输入苗木品种分类网络，以获得三个特征向量
Figure BDA0002803572410000111
特征向量
Figure BDA0002803572410000112
的维度为n，n为苗木的品种个数；根据置信度加权 值αh,αp,αb将各个尺度类型图片进行加权融合，获得加权融合得分
Figure BDA0002803572410000113
采用归一化指数函数softmax对加权融合得分
Figure BDA0002803572410000114
进行归一化处理，以获得每棵苗木的所述苗木品种信息及苗 木品种信息对应的归一化得分。
本发明通过对苗木图片训练集进行分类训练处理后，获得了苗木品种信息 及苗木品种信息对应的归一化得分，实现了对苗木品种的自动识别，以便于后 续对苗木尺寸的测量。
可选的，分类网络模型还包括第二分类神经网络结构ResNet18；步骤S13 中，对苗木图片训练集中苗木全局图片进行分割处理，以获得苗木全局图片的 图像分割信息，包括：采用开源图像标注工具Labelme对苗木全局图片进行标 记，标记内容包括：苗木的轮廓、标定板的四个顶点的位置坐标；基于实例分 割网络框架mask-rcnn的架构，采用作为主干网络的第二分类神经网络结构 ResNet18训练标记后的苗木全局图片，以获得标定板-苗木实例分割网络；将苗 木的多张苗木全局图片输入标定板-苗木实例分割网络，获得每张苗木全局图片 的图像分割信息，图像分割信息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。由此获得了每张苗 木全局图片的图像分割信息，为测量苗木尺寸提供了图像数据支撑。
可选的，步骤S14中，通过图像分割信息及模板图像信息，对每张苗木全 局图片中的标定板进行定位，以获得标定板的像素尺寸信息，包括：
步骤a，确定标定板的候选区域，包括：
将苗木全局图片转化为灰度图；
判断所述标定板分割得分是否大于预设得分值，若是，则将标定板边界框 的横纵坐标分别进行扩充处理，剪裁扩充区域的灰度图作为候选区域；若否， 则将苗木分割掩码叠加到转化为灰度图的苗木全局图片上，剪裁不存在标定板 区域的灰度图作为候选区域。
步骤b，对标定板进行图像匹配，包括：
通过在候选区域和模板图像上分别提取尺度不变特征变换SIFT特征，基于 快速最近邻匹配搜索方法对标定板进行图像匹配处理，以获得候选区域内标定 板四个顶点的像素坐标值，根据像素坐标值获取候选区域内标定板的上宽度值、 下宽度值、左高度值及右高度值，则像素尺寸信息包括：像素高度平均值
Figure BDA0002803572410000121
Figure BDA0002803572410000131
像素宽度平均值
Figure BDA0002803572410000132
m代 表标定板。本发明实施例通过对每张苗木全局图片中的标定板进行定位处理后， 获得了标定板的像素高度平均值
Figure BDA0002803572410000133
和像素宽度平均值
Figure BDA0002803572410000134
为测量苗木的尺寸 信息提供了标定板的参照数据。
可选的，尺寸信息包括物理高度值h及物理冠幅值w，请参见1-2，步骤S15 中，根据多张苗木全局图片的图像分割信息、像素尺寸信息及真实尺寸信息确 定待测苗木的尺寸信息，包括：
步骤S151，根据图像分割信息、像素尺寸信息及真实尺寸信息，确定每张 苗木全局图片中待测苗木的物理高度值hi及物理冠幅值wi；
步骤S152，通过对从多张苗木全局图片中获得的物理高度值hi、物理冠幅 值wi分别取平均值，以获得待测苗木的物理高度值h及物理冠幅值w，物理高度 值
Figure BDA0002803572410000135
物理冠幅值
Figure BDA0002803572410000136
N表示苗木全局图片的个数。
本发明实施例在获得每张苗木全局图片中待测苗木的物理高度值hi及物理 冠幅值wi后，融合不同视角摄取的多张苗木全局图片，对从多张苗木全局图片 中获取的物理高度值hi及物理冠幅值wi分别取均值后的结果，即为测量出的待测 苗木的物理高度值h及物理冠幅值w。
可选的，标定板的真实尺寸信息包括真实高度
Figure BDA0002803572410000137
及真实宽度
Figure BDA0002803572410000138
步骤S151 中，根据图像分割信息、像素尺寸信息及真实尺寸信息，确定每张苗木全局图 片中待测苗木的物理高度值hi，包括如下步骤：
11)，根据每张苗木全局图片的苗木分割掩码获得待测苗木的树冠外轮廓及 树干外轮廓，并分别根据树冠外轮廓、树干外轮廓确定苗木全局图片中待测苗 木的树冠宽度中位数及树干宽度中位数。
12)，通过从高到低的高度搜索原则，判断树冠外轮廓在不同像素高度下树 冠宽度与树冠宽度中位数的比值与预设阈值ε的大小；若在连续多个像素高度下 的比值大于预设阈值ε，则将首个满足树冠宽度与树冠宽度中位数的比值大于预 设阈值ε时对应的像素高度，作为待测苗木的纵向最大值hmax；
13)，通过从低到高的高度搜索原则，判断树干外轮廓在不同像素高度下树 干宽度与树干宽度中位数的比值与预设阈值β的大小；若在连续多个像素高度下 的比值大于预设阈值β，则将首个满足树干宽度与树干宽度中位数的比值大于预 设阈值β时对应的像素高度，作为待测苗木的纵向最小值hmin；若，在苗木全局 图片中未检测到待测苗木的树干外轮廓，则将苗木全局图片的苗木边界框的下 边界作为待测苗木的纵向最小值hmin；
14)，通过纵向最大值hmax及纵向最小值hmin，获得待测苗木的像素高度值
Figure BDA0002803572410000141
像素高度值
Figure BDA0002803572410000142
为
Figure BDA0002803572410000143
t代表待测苗木；
15)，通过像素高度值
Figure BDA0002803572410000144
真实高度
Figure BDA0002803572410000145
及像素高度平均值
Figure BDA0002803572410000146
获得每张 苗木全局图片中待测苗木的物理高度值hi，物理高度值hi为
Figure BDA0002803572410000147
即 获得了每张苗木全局图片中的待测苗木的物理高度值hi。
其次，步骤S151中，根据图像分割信息、像素尺寸信息及真实尺寸信息， 确定每张苗木全局图片中待测苗木的物理冠幅值wi，包括：
21)，根据树冠外轮廓确定苗木全局图片中待测苗木的树冠高度中位数。
22)，通过从左到右的宽度搜索原则，判断树冠外轮廓在不同像素宽度下树 冠高度与树冠高度中位数的比值与预设阈值δ的大小；若连续多个像素宽度下树 冠高度与树冠高度中位数的比值大于预设阈值δ，则将首个满足树冠高度与树冠 高度中位数的比值大于预设阈值δ时对应的像素宽度，作为待测苗木的横向最小 值wmin。
23)，及，通过从右到左的宽度搜索原则，判断树冠外轮廓在不同像素宽度 下树冠高度与树冠高度中位数的比值与预设阈值δ的大小；若连续多个像素宽度 下的树冠高度与树冠高度中位数的比值大于预设阈值δ，则将首个满足树冠高度 与树冠高度中位数的比值大于预设阈值δ时对应的像素宽度，作为待测苗木的横 向最大值wmax。
24)，通过横向最小值wmin及横向最大值wmax，获得待测苗木的像素宽度值
Figure BDA0002803572410000151
像素宽度值
Figure BDA0002803572410000152
t表示待测苗木。
25)，通过像素宽度值
Figure BDA0002803572410000153
真实宽度
Figure BDA0002803572410000154
及像素宽度平均值
Figure BDA0002803572410000155
获得待测 苗木的物理冠幅值wi，物理冠幅值wi为
Figure BDA0002803572410000156
即获得了每张苗木全 局图片中的待测苗木的物理冠幅值wi。
可选的，待测苗木的尺寸信息还包括米径值d1或地径值d2，请参见图3，在 步骤S15之后，还包括如下步骤：
步骤S211，根据苗木品种信息获取苗木品种-米径/地径对应关系表；苗木 品种-米径/地径对应关系表用于确定待测苗木待测量的尺寸信息为米径值d1或 地径值d2；
步骤S212，根据像素高度值
Figure BDA0002803572410000159
及物理高度值h，确定每张苗木全局图片中 待测苗木的米径值d1i或地径值d2i；
步骤S213，通过对多张苗木全局图片中获得的米径值或地径值di取平均值， 以获得待测苗木的米径值d1或地径值d2，
Figure BDA0002803572410000157
N表示苗木全局 图片的个数。
可见，本发明在获得每张苗木全局图片中待测苗木的米径值d1i或地径值d2i后，融合不同视角摄取的多张苗木全局图片，对从多张苗木全局图片中获取的 米径值d1或地径值d2取均值后的结果即为测量出的待测苗木的米径值d1或地径 值d2。
可选的，请参见图4，步骤S212具体包括：
步骤S31，获取待测苗木的米径真实高度或地径真实高度；米径真实高度为 待测苗木在土壤以上的1米高度，用
Figure BDA0002803572410000158
表示，地径真实高度为待测苗木在 土壤以上的0.3米高度，用
Figure BDA0002803572410000161
表示；
步骤S32，根据待测苗木的像素高度值
Figure BDA0002803572410000162
物理高度值hi及米径真实高度
Figure BDA0002803572410000163
或地径真实高度
Figure BDA0002803572410000164
获取每张苗木全局图片中待测苗木的米径像 素高度
Figure BDA0002803572410000165
或地径像素高度
Figure BDA0002803572410000166
米径像素高度
Figure BDA0002803572410000167
地径像素高度
Figure BDA0002803572410000168
步骤S33，根据多个像素范围内的米径像素高度
Figure BDA0002803572410000169
获得所待测苗木的胸径 像素宽度平均值
Figure BDA00028035724100001610
或根据多个像素范围内的地径像素高度
Figure BDA00028035724100001611
获得待测苗木 的胸径像素宽度平均值
Figure BDA00028035724100001612
步骤S34，根据胸径像素宽度平均值
Figure BDA00028035724100001613
或
Figure BDA00028035724100001614
标定板的像素宽度平均值
Figure BDA00028035724100001615
及真实宽度
Figure BDA00028035724100001616
获得每张苗木全局图片中待测苗木的米径值d1i或地径值 d2i，
Figure BDA00028035724100001617
可见，本发明实施例通过对采集的苗木的多视角多尺度图片集进行分类训 练、图像分割、标定板定位、进行尺寸测量等步骤后，实现了对待测苗木的苗 木品种及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本， 并确保了苗木品种及尺寸信息的真实性。
本发明第二实施例，提供一种基于多视角多尺度图片测量苗木尺寸的系统， 请参见图5，包括：
数据采集模块1，用于将采集的多棵苗木的多视角多尺度图片集创建苗木图 片训练集，并获取用于采集多视角多尺度图片集时作为参照物的标定板的物理 特征信息；多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，多视角 多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局 部图片及若干苗木分支图片；物理特征信息包括模板图像信息及真实尺寸信息。
分类训练模块2，用于采用分类网络模型对苗木图片训练集进行分类训练， 以确定苗木的苗木品种信息。
分割模块3，用于对苗木图片训练集中苗木全局图片进行分割处理，以获得 苗木全局图片的图像分割信息。
标定板定位模块4，用于通过图像分割信息及模板图像信息，对每张苗木全 局图片中的标定板进行定位，以获得标定板的像素尺寸信息。
测量模块5，用于根据苗木品种信息确定待测量的待测苗木，及待测苗木的 多张苗木全局图片；并根据多张苗木全局图片的图像分割信息、像素尺寸信息 及真实尺寸信息确定待测苗木的尺寸信息，从而实现了对待测苗木的苗木品种 及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本，并确 保了苗木品种及尺寸信息的真实性。
可选的，分类网络模型包括第一分类神经网络结构ResNet18，分类训练模 块包括：
图片分组单元21，用于将苗木图片训练集中的图片均分为多个苗木图片子 集，且每个苗木图片子集中各个尺度类型图片的数量相同，各个尺度类型图片 包括苗木全局图片、叶花局部图片及苗木分支图片；
一次分类训练单元22，用于将多个苗木图片子集中的一个苗木图片子集作 为验证集其他苗木图片子集作为训练集；采用第一分类神经网络结构ResNet18 对苗木图片训练集进行一次分类训练，根据一次分类训练统计结果，将验证集 内各个尺度类型图片的平均分类精度作为各个尺度类型图片的置信度加权值， 各个尺度类型图片的置信度加权值分别用αh,αp,αb表示，置信度加权值中的h、 p、b代表的尺度类型图片分别为苗木全局图片、叶花局部图片及苗木分支图片；
二次分类训练单元23，用于采用第一分类神经网络结构ResNet18对苗木图 片训练集进行二次分类训练以获得苗木品种分类网络；将每棵苗木的苗木全局 图片、叶花局部图片及苗木分支图片，分别输入苗木品种分类网络，以获得三 个特征向量
Figure BDA0002803572410000171
特征向量
Figure BDA0002803572410000172
的维度为n，n为苗木的品种个数；
图片融合单元24，用于根据置信度加权值αh,αp,αb将各个尺度类型图片进 行加权融合，获得加权融合得分
Figure BDA0002803572410000181
归一化单元25，用于采用归一化指数函数softmax对加权融合得分
Figure BDA0002803572410000182
进行归一化处理，以获得每棵苗木的所述苗木品种信息及苗 木品种信息对应的归一化得分。可见，分类训练模块通过对苗木图片训练集进 行分类训练处理后，获得了苗木品种信息及苗木品种信息对应的归一化得分， 实现了对苗木品种的自动识别，以便于后续对苗木尺寸的测量。
可选的，分类网络模型还包括第二分类神经网络结构ResNet18；分割模块3 具体用于：采用开源图像标注工具Labelme对苗木全局图片进行标记，标记内 容包括：苗木的轮廓、标定板的四个顶点的位置坐标；基于实例分割网络框架 mask-rcnn的架构，采用作为主干网络的第二分类神经网络结构ResNet18训练标 记后的苗木全局图片，以获得标定板-苗木实例分割网络；将苗木的多张苗木全 局图片输入标定板-苗木实例分割网络，获得每张苗木全局图片的图像分割信息， 图像分割信息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界 框、标定板分割掩码及标定板分割得分。由此获得了每张苗木全局图片的图像 分割信息，为测量苗木尺寸提供了图像数据支撑。
其中，标定板定位模块4具体用于执行如下方法的步骤：步骤a，确定标定 板的候选区域，包括：将苗木全局图片转化为灰度图；判断所述标定板分割得 分是否大于预设得分值，若是，则将标定板边界框的横纵坐标分别进行扩充处 理，剪裁扩充区域的灰度图作为候选区域；若否，则将苗木分割掩码叠加到转 化为灰度图的苗木全局图片上，剪裁不存在标定板区域的灰度图作为候选区域。 步骤b，对标定板进行图像匹配，包括：通过在候选区域和模板图像上分别提取 尺度不变特征变换SIFT特征，并基于快速最近邻匹配搜索方法对标定板进行图 像匹配处理，获得候选区域内标定板四个顶点的像素坐标值，根据像素坐标值 获取候选区域内标定板的上宽度值、下宽度值、左高度值及右高度值，则像素 尺寸信息包括：像素高度平均值
Figure BDA0002803572410000183
像素宽度平均 值
Figure BDA0002803572410000191
m代表标定板。本发明实施例通过对每张苗 木全局图片中的标定板进行定位处理后，获得了标定板的像素高度平均值
Figure BDA0002803572410000192
和 像素宽度平均值
Figure BDA0002803572410000193
为测量苗木的尺寸信息提供了标定板的参照数据。
可选的，尺寸信息包括物理高度值h及物理冠幅值w，请参见图2，测量模 块5具体用于执行步骤S151-步骤S152所述方法的步骤，步骤S151-步骤S152 的内容在此不再赘述。本发明实施例通过测量模块5在获得每张苗木全局图片 中待测苗木的物理高度值hi及物理冠幅值wi后，融合不同视角摄取的多张苗木全 局图片，对从多张苗木全局图片中获取的物理高度值hi及物理冠幅值wi分别取均 值后的结果即为测量出的待测苗木的物理高度值h及物理冠幅值w。
可选的，标定板的真实尺寸信息包括真实高度
Figure BDA0002803572410000194
及真实宽度
Figure BDA0002803572410000195
测量模块 5执行步骤S151中的根据图像分割信息、像素尺寸信息及真实尺寸信息，确定 每张苗木全局图片中待测苗木的物理高度值hi时，还具体执行了步骤11)-15) 所述方法的步骤，步骤11)-15)的内容在此不再赘述。其次，测量模块5执行 步骤S151中的根据图像分割信息、像素尺寸信息及真实尺寸信息，确定每张苗 木全局图片中待测苗木的物理冠幅值wi时，具体执行了步骤21)-25)所述方法 的步骤，步骤21)-25)的内容在此不再赘述。
可选的，待测苗木的尺寸信息还包括米径值d1或地径值d2，请参见图3-4， 测量模块5还用于执行步骤S211-步骤S213所述方法的步骤，可选的，测量模 块5在执行步骤S212时，具体执行了步骤S31-步骤S34所述方法的步骤，步骤 S211-步骤S213及步骤S31-步骤S34的内容在此不再赘述，由此，本发明通过测 量模块5在获得每张苗木全局图片中待测苗木的米径值d1i或地径值d2i后，融合 不同视角摄取的多张苗木全局图片，对从多张苗木全局图片中获取的米径值d1或地径值d2取均值后的结果即为测量出的待测苗木的米径值d1或地径值d2。
本发明第三实施例，本发明实施例是在上述两个实施例的基础上，结合附 图1-6介绍的一个本发明的应用实例。
本应用实例主要包括如下步骤：
步骤1：标定板设计。设计手持字符标定板(标定板的模板图像如图6所示) 以服务于苗木尺寸测量，作为苗木尺寸测量的参照物。步骤2：图片采集，采集 苗木的多视角、多尺度图片，多尺度的尺度类型包括：苗木全局、叶花局部及 苗木分支，多视角图片包括多张不同视角摄取的苗木全局图片，一棵苗木的多 视角多尺度图片包括3张从3个不同视角摄取的带字符标定板的苗木全局图片、 2张叶花局部图片及1张苗木分支图片。步骤3：苗木分类，设计深度神经网络， 实现基于多尺度图片的苗木分类。步骤4：对采集的苗木全局图中的标定板、苗 木整体-部件进行分割，以获取标定板-苗木实例分割网络。设计深度神经网络， 对多视角图片中的苗木整体、部件及标定板进行分割。步骤5:标定板定位。 基于步骤4的粗定位结果，基于SIFT特征匹配实现快速标定板定位。步骤6： 苗木尺寸测量。基于苗木分类、分割、标定板定位结果，提出苗木尺寸测量算 法。
具体的，步骤1：标定板设计，标定板用于提供苗木尺寸测量时所需的参照 尺寸，为此，基于纹理丰富、边界清晰、尺寸易调节等标定板设计思路，设计 字符标定板如图6所示。针对中小乔4-5米的拍摄距离，设计标定板真实高度
Figure BDA0002803572410000201
50cm,标定板真实宽度
Figure BDA0002803572410000202
58cm，标定板的字符形式除满足设计思路外，还能 起到一定企业宣传和数据水印保护的作用。
步骤2：图片采集，针对每一颗苗木，采集3张带字符标定板的苗木全局图 片、2张叶花局部图片和1张苗木分支图片。为了满足多视角多尺度算法识别需 要，具体采集方式如下：苗木全局图片：人手持标定板站立于苗木的某一中心 刨平面内，同时摄像机成像平面与该平面平行，最大程度减少俯仰角；使标定 板未有明显遮挡，待识别的苗木居中拍摄，图片占比要大于60％；然后环绕苗 木360度，在具备拍摄条件的情况(遮挡较少、拍摄距离可完整拍摄)下，拍 摄3张苗木全局图片。叶花局部图片：采集苗木的局部枝叶、花朵图片；苗木 分支图片：采集苗木树干的分支点图片；苗木全局图片、叶花局部图片及苗木 分支图片等所有图片收集均采用竖屏拍摄。将采集到的多棵苗木的多视角多尺 度图片集创建苗木图片训练集。
步骤3：多尺度融合的苗木分类，包括：
训练阶段：通过图片分组单元21对苗木图片训练集拆分子集：将苗木图片 训练集中所有苗木的多视角多尺度图片，均分为5个子集，每个子集中各个尺 度类型，即苗木全局图片、叶花局部图片、苗木分支图片等类型的图片个数相 同。
通过一次分类训练单元计算各尺度置信度加权：依次从苗木图片训练集中 挑选4个子集作为训练集，1个子集作为验证集，使用第一分类神经网络结构 (ResNet18)进行训练，并将训练结果统计在5种子集组合情况下，验证集上三 种尺度类型图片的平均分类精度αh,αp,αb作为各个尺度类型图片的置信度加权 值。通过二次分类训练单元训练最终分类网络：基于所有苗木图片训练集重新 训练该第一分类神经网络(ResNet18)，得到最终的分类网络参数，即获得了苗 木品种分类网络。
测试阶段：采用二次分类训练单元23采样和读取苗木的图片：针对一颗苗 木的所有图片地址，分别判断每张图片是否录入，然后采样1张苗木全局图片、 1张叶花局部图片和1张苗木分支图片，并读取各张图片。并行特征学习：二次 分类训练单元23将读取的三张图片分别送入到训练阶段得到的苗木品种分类网 络中，得到三个得分特征向量
Figure BDA0002803572410000211
特征向量的维度为n，是苗木的品种个 数。
多尺度得分融合：图片融合单元24计算多个尺度的加权融合得分
Figure BDA0002803572410000212
并通归一化单元25基于归一化指数函数softmax进行归一 化处理；输出：将归一化指数函数softmax归一化后获得的每棵苗木的苗木品种 信息及苗木品种信息对应的归一化得分根据得分结果进行得分排序，输出排名 前三的苗木品种及其对应的得分。
步骤4:标定板-苗木实例分割网络的获取，苗木整体-部件、标定 板分割网络这一流程的具体内容，包括：
训练阶段：(1)分割标签标记：针对苗木图片训练集中每张苗木全局图片， 使用开源图像标注工具Labelme标记中心待识别苗木的整体轮廓、树干轮廓(从 下到上，标记分支点以下区域，及无叶片的较大分支)，标记标定板的四个顶点 的位置坐标，其他区域苗木作为背景，不再另行标记。(2)分割网络训练：基 于mask-rcnn实例分割网络框架，将剪裁后的第二分类神经网络结构ResNet18 (第二分类神经网络结构ResNet18是独立训练后用于分类、分割的网络)作为 主干网络训练标记后的苗木全局图片后，获得了标定板-苗木实例分割网络。
测试阶段：多视角图片分割：将一棵苗木的三张不同视角摄取的苗木全局 图片输入标定板-苗木实例分割网络，得到每张苗木全局图片中的图像分割信息， 如苗木、树干、标定板的类别、边界框、分割掩码、苗木分割得分、标定板分 割得分等。
步骤5：标定板定位，针对一颗苗木的三张苗木全局图片，首先，确定标定 板的候选区域：标定板匹配需要基于尺度不变特征变换SIFT特征，但是由于苗 木的图片场景角点较多，在全图内提取SIFT特征用于模板匹配计算量大、实时 性低。因此，基于步骤4结果，提出两个标定板候选区域选择方法：首先，将 当前苗木全局图片转化为灰度图；方法1：如果步骤4监测到标定板分割得分的 得分值大于预设得分值0.6，则将标定板边界框的横纵坐标各扩充50％，剪裁该 扩充区域的灰度图作为优先候选区域；方法2：如方法1未得到优先候选区域， 将步骤4检测到的苗木分割掩码(灰度值设为0)叠加到灰度图片上，并剪裁掉标定板不可能出现的位置区域，如苗木根部以下区域作为候选区域。
标定板匹配：在候选区域和标定板的模板图像(图6)上分别提取SIFT特征， 然后基于快速最近邻匹配搜索方法对标定板进行图像匹配，得到候选区域内标 定板四个顶点的像素坐标值，计算标定板像素高度平均值
Figure BDA0002803572410000221
和像素宽度平均值
Figure BDA0002803572410000231
根据像素坐标值得到候选区域内标定板的上宽度值、下宽度值、左高度值 及右高度值，则像素高度平均值
Figure BDA0002803572410000232
像素宽度平均 值
Figure BDA0002803572410000233
m代表所述标定板。相比于步骤4对标定板 的粗糙定位，本步可实现对标定板的更加准确的顶点坐标定位。
步骤6：苗木尺寸测量，本实施例针对一颗待测苗木，提出了基于多视角融 合的尺寸测量方法，即融合了三个不同视角的苗木全局图片的尺寸信息得到了 待测苗木最终的尺寸信息的测量值。
首先对步骤3中对苗木品种信息的分类结果进行去噪处理：针对苗木图片 训练集中的每张苗木全局图片，读取步骤3中得分最高的苗木品种，滤除步骤4 中标定板-苗木实例分割网络检测出的非此品种苗木的图像信息；b)对保留的标 定板-苗木实例分割网络的检测-分割结果，计算每张苗木全局图片的分割和位置 综合得分st＝βdsd+βpsp，其中βd是检测权重，βp是位置权重，sd是步骤4输出的苗 木分割得分，sp是候选苗木中心与图片中心的归一化得分，sp＝1-2*(bx-ix)/iw，bx,ix分别是候选苗木和图片的中心横坐标(x坐标)，iw是图片宽度。最终保留得分 最高的苗木整体、树干作为当前待测量的待测苗木；基于当前待测苗木整体-树 干检测、分割标签，将待测苗木的结构分为树冠和树干两部分。
(2)单张图片苗木高度计算，包括如下内容：a1)基于苗木分 割掩码分别得到树冠外轮廓和树干外轮廓，并分别根据树冠外轮廓、 树干外轮廓确定苗木全局图片中待测苗木的树冠宽度中位数及树干 宽度中位数；b1)从高到底高度搜索，判断树冠外轮廓在不同像素高 度下树冠宽度与树冠宽度中位数的比值与预设阈值ε的大小；如比值 小于阈值ε，则认为此处为杂枝或琐碎分支，不做考虑，若在连续多 个所述像素高度下树冠宽度与树冠宽度中位数的比值大于预设阈值ε， 则将首个满足树冠宽度与树冠宽度中位数的比值大于预设阈值ε时对 应的像素高度，作为待测苗木的纵向最大值hmax，停止计算；c1)从 低到高高度搜索，判断树干外轮廓在不同像素高度下树干宽度与树干 宽度中位数的比值与预设阈值β的大小；如比值小于阈值ε，则认为 此处为噪音，不做考虑，若在连续多个像素高度下树干宽度与树干宽 度中位数的比值大于预设阈值β，则将首个满足树干宽度与树干宽度 中位数的比值大于预设阈值β时对应的像素高度，作为待测苗木的纵 向最小值hmin，停止计算；若，在苗木全局图片中未检测到待测苗木 的树干外轮廓，则将苗木整体检测边界框(苗木边界框)的下边界作 为苗木纵向最小值hmin；d1)计算苗木像素高度值为
Figure RE-GDA0002933679920000271
则 单张苗木全局图片获得的苗木物理高度hi为
Figure RE-GDA0002933679920000281
其中
Figure RE-GDA0002933679920000282
是标定板的真实高度。
(3)单张图片苗木冠幅计算：a2)基于苗木分割掩码得到树冠外轮廓，根 据树冠外轮廓确定苗木全局图片中待测苗木的树冠高度中位数。b2)从左到右宽 度搜索，判断树冠外轮廓在不同像素宽度下树冠高度与树冠高度中位数的比值 与预设阈值δ的大小；如比值小于阈值δ，则认为此处为杂枝或琐碎分支，不做 考虑，若连续多个像素宽度下树冠高度与树冠高度中位数的比值大于预设阈值 δ，则将首个满足所述树冠高度与所述树冠高度中位数的比值大于所述预设阈值 δ时对应的像素宽度，作为待测苗木的横向最小值wmin，停止计算。c2)以及， 从右到左宽度搜索，判断树冠外轮廓在不同像素宽度下树冠高度与树冠高度中 位数的比值与预设阈值δ的大小；如比值小于阈值δ，则认为此处为杂枝或琐碎 分支，不做考虑，若连续多个像素宽度下的树冠高度与树冠高度中位数的比值 大于预设阈值δ，则将首个满足树冠高度与树冠高度中位数的比值大于预设阈值 δ时对应的像素宽度，作为待测苗木的横向最大值wmax，停止计算。d2)计算苗 木像素宽度值为
Figure BDA0002803572410000244
则单张苗木全局图片中的苗木物理冠幅为
Figure BDA0002803572410000245
其中
Figure BDA0002803572410000246
是标定板的真实宽度。
(4)计算单张苗木全局图片中待测苗木的米径值d1或地径值d2：a3)基于 林业界标准，建立苗木品种与米径、地径对应关系的查找表-即苗木品种-米径/ 地径对应关系表。b3)基于步骤3得到的待测苗木的苗木品种信息，从苗木品种-米径/地径对应关系表中查找确定该待测苗木待测量的尺寸为米径还是地径。c3) 基于上述已测量和计算的苗木像素高度
Figure BDA0002803572410000251
和物理高度h，以及苗木界公认的米 径真实高度(离地1m处，即
Figure BDA0002803572410000252
)和地径真实高度(离地0.3m处，即
Figure BDA0002803572410000253
) 的离地距离定义；计算当前待测苗木的米径真实高度或地径真实高度对应的米 径像素高度
Figure BDA0002803572410000254
或地径像素高度
Figure BDA0002803572410000255
即，当前待测苗木的米径像素高度为
Figure BDA0002803572410000256
当前待测苗木的地径像素高度为
Figure BDA0002803572410000257
d3)计算米 径像素高度下，10个像素高度范围内，胸径像素宽度平均值
Figure BDA0002803572410000258
或计算地径像 素高度下，10个像素高度范围内，胸径像素宽度平均值
Figure BDA0002803572410000259
e3)计算单张苗木 全局图片中待测苗木的米径值d1i或地径值d2i，分别为
Figure BDA00028035724100002510
Figure BDA00028035724100002511
(5)多视角苗木全局图片的苗木尺寸计算融合：取三个不同视角的苗木全 局图片的尺寸平均值作为最终尺寸测量结果，具体地，通过对多张苗木全局图 片中获得的物理高度值hi、物理冠幅值wi分别取平均值后，获得待测苗木的物理 高度值h及物理冠幅值w的最终尺寸测量结果，物理高度值
Figure BDA00028035724100002512
物理冠幅值
Figure BDA00028035724100002513
N表示苗木全局图片的个数，通过对多张苗木全局图片中获得的米径 值或地径值di取平均值后获得待测苗木的米径值d1或地径值d2的最终尺寸测量 结果，
Figure BDA00028035724100002514
N表示苗木全局图片的个数。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为 这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由 语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方 案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括 若干指控制用以使得一台终端(可以是手机，计算机，服务器，空调器，或者 网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，包括：
将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；
采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息；
对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息；
通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；
根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
2.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述分类网络模型包括第一分类神经网络结构ResNet18；
所述采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息，包括：
将所述苗木图片训练集中的图片均分为多个苗木图片子集，且每个所述苗木图片子集中各个尺度类型图片的数量相同，各个所述尺度类型图片包括所述苗木全局图片、叶花局部图片及苗木分支图片；
将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木图片子集作为训练集；
采用第一分类神经网络结构ResNet18对所述苗木图片训练集进行一次分类训练，根据所述一次分类训练统计结果，将所述验证集内各个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权值，各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示，所述置信度加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部图片及苗木分支图片；
采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次分类训练，以获得苗木品种分类网络；
将每棵所述苗木的所述苗木全局图片、所述叶花局部图片及所述苗木分支图片，分别输入所述苗木品种分类网络，以获得三个特征向量
Figure FDA0002803572400000021
所述特征向量
Figure FDA0002803572400000022
的维度为n，所述n为所述苗木的品种个数；
根据所述置信度加权值αh,αp,αb将各个所述尺度类型图片进行加权融合，获得加权融合得分
Figure FDA0002803572400000023
采用归一化指数函数softmax对所述加权融合得分
Figure FDA0002803572400000024
进行归一化处理，以获得每棵所述苗木的所述苗木品种信息及所述苗木品种信息对应的归一化得分。
3.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述分类网络模型还包括第二分类神经网络结构ResNet18；
所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息，包括：
采用开源图像标注工具Labelme对所述苗木全局图片进行标记，标记内容包括：苗木的轮廓、标定板的四个顶点的位置坐标；
基于实例分割网络框架mask-rcnn的架构，采用作为主干网络的第二分类神经网络结构ResNet18训练标记后的所述苗木全局图片，以获得标定板-苗木实例分割网络；
将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例分割网络，获得每张所述苗木全局图片的所述图像分割信息，所述图像分割信息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。
4.如权利要求3所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息，包括：
步骤a，确定所述标定板的候选区域，包括：
将所述苗木全局图片转化为灰度图；
判断所述标定板分割得分是否大于预设得分值，若是，则将所述标定板边界框的横纵坐标分别进行扩充处理，剪裁扩充区域的灰度图作为所述候选区域；若否，则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上，剪裁不存在所述标定板区域的灰度图作为所述候选区域；
步骤b，对所述标定板进行图像匹配，包括：
通过在所述候选区域和所述模板图像上分别提取尺度不变特征变换SIFT特征，基于快速最近邻匹配搜索方法对所述标定板进行图像匹配处理，获得所述候选区域内所述标定板四个顶点的像素坐标值，根据所述像素坐标值获取所述候选区域内所述标定板的上宽度值、下宽度值、左高度值及右高度值，则所述像素尺寸信息包括：像素高度平均值
Figure FDA0002803572400000031
Figure FDA0002803572400000032
像素宽度平均值
Figure FDA0002803572400000033
Figure FDA0002803572400000034
所述m代表所述标定板。
5.如权利要求4所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述尺寸信息包括物理高度值h及物理冠幅值w；
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息，包括：
根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi及所述物理冠幅值wi；
通过对从多张所述苗木全局图片中获得的所述物理高度值hi、所述物理冠幅值wi分别取平均值，以获得所述待测苗木的所述物理高度值h及所述物理冠幅值w，所述物理高度值
Figure FDA0002803572400000041
所述物理冠幅值
Figure FDA0002803572400000042
所述N表示所述苗木全局图片的个数。
6.如权利要求5所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述真实尺寸信息包括真实高度
Figure FDA0002803572400000043
及真实宽度
Figure FDA0002803572400000044
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi，包括：
根据所述苗木分割掩码获得所述待测苗木的树冠外轮廓及树干外轮廓，并分别根据所述树冠外轮廓、所述树干外轮廓确定所述待测苗木的树冠宽度中位数及树干宽度中位数；
通过从高到低的高度搜索原则，判断所述树冠外轮廓在不同像素高度下树冠宽度与所述树冠宽度中位数的比值与预设阈值ε的大小，若在连续多个所述像素高度下的比值大于所述预设阈值ε，则将首个满足所述比值大于所述预设阈值ε时对应的所述像素高度作为所述待测苗木的纵向最大值hmax；
通过从低到高的高度搜索原则，判断所述树干外轮廓在不同像素高度下树干宽度与所述树干宽度中位数的比值与预设阈值β的大小，若在连续多个所述像素高度下的比值大于所述预设阈值β，则将首个满足所述比值大于所述预设阈值β时对应的所述像素高度作为所述待测苗木的纵向最小值hmin；若，在所述苗木全局图片中未检测到所述待测苗木的所述树干外轮廓，则将所述苗木全局图片的所述苗木边界框的下边界作为所述待测苗木的所述纵向最小值hmin；
通过所述纵向最大值hmax及所述纵向最小值hmin，获得所述待测苗木的像素高度值
Figure FDA0002803572400000051
所述像素高度值
Figure FDA0002803572400000052
为
Figure FDA0002803572400000053
所述t代表所述待测苗木；
通过所述像素高度值
Figure FDA0002803572400000054
所述真实高度
Figure FDA0002803572400000055
及所述像素高度平均值
Figure FDA0002803572400000056
获得每张所述苗木全局图片中所述待测苗木的物理高度值hi，所述物理高度值hi为
Figure FDA0002803572400000057
7.如权利要求6所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每张所述苗木全局图片中所述待测苗木的所述物理冠幅值wi，包括：
根据所述树冠外轮廓确定所述苗木全局图片中所述待测苗木的树冠高度中位数；
通过从左到右的宽度搜索原则，判断所述树冠外轮廓在不同像素宽度下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小；若连续多个所述像素宽度下的比值大于所述预设阈值δ，则将首个满足所述比值大于所述预设阈值δ时对应的所述像素宽度，作为所述待测苗木的横向最小值wmin；
及，通过从右到左的宽度搜索原则，判断所述树冠外轮廓在不同像素宽度下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小；若连续多个所述像素宽度下的比值大于所述预设阈值δ，则将首个满足所述比值大于所述预设阈值δ时对应的所述像素宽度，作为所述待测苗木的横向最大值wmax；
通过所述横向最小值wmin及所述横向最大值wmax，获得所述待测苗木的像素宽度值
Figure FDA0002803572400000058
所述像素宽度值
Figure FDA0002803572400000059
所述t表示所述待测苗木；
通过所述像素宽度值
Figure FDA00028035724000000510
所述真实宽度
Figure FDA00028035724000000511
及所述像素宽度平均值
Figure FDA00028035724000000512
获得所述待测苗木的物理冠幅值wi，所述物理冠幅值wi为
Figure FDA00028035724000000513
8.如权利要求6所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述待测苗木的所述尺寸信息还包括米径值d1或地径值d2；
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息之后，还包括：
根据所述苗木品种信息获取苗木品种-米径/地径对应关系表；所述苗木品种-米径/地径对应关系表用于，确定所述待测苗木待测量的所述尺寸信息为所述米径值d1或所述地径值d2；
根据所述像素高度值
Figure FDA0002803572400000061
及所述物理高度值h，确定每张所述苗木全局图片中所述待测苗木的所述米径值d1i或所述地径值d2i；
通过对多张所述苗木全局图片中获得的所述米径值或所述地径值di取平均值，以获得所述待测苗木的所述米径值d1或所述地径值d2，所述
Figure FDA0002803572400000062
所述
Figure FDA0002803572400000063
所述N表示所述苗木全局图片的个数。
9.如权利要求8所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述根据所述像素高度值
Figure FDA0002803572400000064
及所述物理高度值h，确定每张所述苗木全局图片中所述待测苗木的所述米径值d1i或所述地径值d2i，包括：
获取所述待测苗木的米径真实高度或地径真实高度；所述米径真实高度为所述待测苗木在土壤以上的1米高度，用
Figure FDA0002803572400000065
表示；所述地径真实高度为所述待测苗木在土壤以上的0.3米高度，用
Figure FDA0002803572400000066
表示；
根据所述待测苗木的所述像素高度值
Figure FDA0002803572400000067
所述物理高度值h及所述米径真实高度
Figure FDA0002803572400000068
或所述地径真实高度
Figure FDA0002803572400000069
获取每张所述苗木全局图片中所述待测苗木的米径像素高度
Figure FDA00028035724000000610
或地径像素高度
Figure FDA00028035724000000611
所述米径像素高度
Figure FDA0002803572400000071
所述地径像素高度
Figure FDA0002803572400000072
根据多个像素范围内的所述米径像素高度
Figure FDA0002803572400000073
获得所述待测苗木的胸径像素宽度平均值
Figure FDA0002803572400000074
或根据多个像素范围内的所述地径像素高度
Figure FDA0002803572400000075
获得所述待测苗木的胸径像素宽度平均值
Figure FDA0002803572400000076
根据所述胸径像素宽度平均值
Figure FDA0002803572400000077
或
Figure FDA0002803572400000078
所述标定板的像素宽度平均值
Figure FDA0002803572400000079
及真实宽度
Figure FDA00028035724000000710
获得每张所述苗木全局图片中所述待测苗木的所述米径值d1i或所述地径值d2i，所述
Figure FDA00028035724000000711
所述
Figure FDA00028035724000000712
10.一种基于多视角多尺度图片测量苗木尺寸的系统，包括：
数据采集模块，用于将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述待测苗木的所述多视角多尺度图片集包括多张不同视角摄取的苗木全局图片、若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；
分类训练模块，用于采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息；
分割模块，用于对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息；
标定板定位模块，用于通过所述图像分割信息及所述模板图像信息对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；
测量模块，用于根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
CN202011359476.6A 2020-11-27 2020-11-27 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 Pending CN112529850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359476.6A CN112529850A (zh) 2020-11-27 2020-11-27 一种基于多视角多尺度图片测量苗木尺寸的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359476.6A CN112529850A (zh) 2020-11-27 2020-11-27 一种基于多视角多尺度图片测量苗木尺寸的方法及系统

Publications (1)

Publication Number Publication Date
CN112529850A true CN112529850A (zh) 2021-03-19

Family

ID=74994582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359476.6A Pending CN112529850A (zh) 2020-11-27 2020-11-27 一种基于多视角多尺度图片测量苗木尺寸的方法及系统

Country Status (1)

Country Link
CN (1) CN112529850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114322793A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 基于全局分割网络的工件尺寸测量方法、装置及存储介质
CN115170165A (zh) * 2022-09-01 2022-10-11 山东孟子居生态农业股份有限公司 苗木信息溯源系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114322793A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 基于全局分割网络的工件尺寸测量方法、装置及存储介质
CN114322793B (zh) * 2022-03-16 2022-07-15 科大天工智能装备技术（天津）有限公司 基于全局分割网络的工件尺寸测量方法、装置及存储介质
CN115170165A (zh) * 2022-09-01 2022-10-11 山东孟子居生态农业股份有限公司 苗木信息溯源系统及方法
CN115170165B (zh) * 2022-09-01 2022-12-27 山东孟子居生态农业股份有限公司 苗木信息溯源系统及方法

Similar Documents

Publication Publication Date Title
CN113128405B (zh) 一种结合语义分割与点云处理的植物识别与模型构建方法
He et al. A novel 3D imaging system for strawberry phenotyping
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN105139023B (zh) 一种基于多尺度特征融合和极限学习机的种子识别方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN108171127A (zh) 一种基于深度学习的发票自动识别方法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
WO2023000160A1 (zh) 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN112529850A (zh) 一种基于多视角多尺度图片测量苗木尺寸的方法及系统
CN111553858A (zh) 基于生成对抗网络的图像修复方法、系统及其应用
CN111429490A (zh) 一种基于标定球的农林作物三维点云配准方法
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN111666900A (zh) 基于多源遥感影像的土地覆盖分类图的获取方法和装置
CN110728269A (zh) 一种高铁接触网支柱杆号牌识别方法
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN112287787B (zh) 一种基于梯度直方图特征的作物倒伏分级方法
CN115239947A (zh) 基于无监督学习的小麦条锈病严重度评估方法及装置
CN114863125A (zh) 一种书法/美术作品智能评分方法及系统
Yao et al. An adaptive and quantitative rubber nutrient status analyzing system by digital foliar images
CN112116598A (zh) 一种花卉种类识别方法及系统
Chhabra et al. Morphology based feature extraction and recognition for enhanced wheat quality evaluation
Fawzy et al. Selecting Training Samples Automatically from VHR Satellite Images for Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination