CN112529850A - 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 - Google Patents
一种基于多视角多尺度图片测量苗木尺寸的方法及系统 Download PDFInfo
- Publication number
- CN112529850A CN112529850A CN202011359476.6A CN202011359476A CN112529850A CN 112529850 A CN112529850 A CN 112529850A CN 202011359476 A CN202011359476 A CN 202011359476A CN 112529850 A CN112529850 A CN 112529850A
- Authority
- CN
- China
- Prior art keywords
- nursery stock
- seedling
- picture
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims description 105
- 238000003709 image segmentation Methods 0.000 claims description 58
- 230000011218 segmentation Effects 0.000 claims description 47
- 241000209094 Oryza Species 0.000 claims description 26
- 235000007164 Oryza sativa Nutrition 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 26
- 235000009566 rice Nutrition 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 15
- 210000000481 breast Anatomy 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 239000002689 soil Substances 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及苗木技术领域,具体公开了一种基于多视角多尺度图片测量苗木尺寸的方法,通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息,并通过图像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息,然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及标定板的真实尺寸信息确定了待测苗木的尺寸信息,实现了对待测苗木的苗木品种及尺寸信息的自动识别和测量,降低了苗圃供应商和采购商的人工成本,并确保了苗木品种及尺寸信息的真实性。
Description
技术领域
本发明涉及苗木技术领域,尤其涉及一种基于多视角多尺度图片测量苗木 尺寸的方法及系统。
背景技术
传统的线下苗木盘点和采购,存在工具测量复杂、人工估算误差大、差旅 成本高等问题,而随着互联网、物联网、区块链的快速发展,对苗木栽植、盘 点、销售和追溯的智能化、信息化需求不断攀升。虽然目前已有一些线上苗木 销售平台,但是苗木数据记录,特别是尺寸信息仍然采用手工测量的方式,不 能对苗木品种及高度、冠幅和胸径等苗木关键尺寸信息进行自动化的识别和测 量,使得苗圃供应商和采购商的人工成本较高且真实性难以保证。
发明内容
本发明实施例提供一种基于多视角多尺度图片测量苗木尺寸的方法及系 统,用以解决现有技术中不能对苗木品种及苗木关键尺寸信息进行自动化的识 别和测量,使得苗圃供应商和采购商的人工成本较高且真实性难以保证的问题。
本发明第一个方面,提供一种基于多视角多尺度图片测量苗木尺寸的方法, 包括:
将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集,并获取用 于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息;所述 多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支,所述多视角多尺度 图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片 及若干苗木分支图片;所述物理特征信息包括模板图像信息及真实尺寸信息;
采用分类网络模型对所述苗木图片训练集进行分类训练,以确定所述苗木 的苗木品种信息;
对所述苗木图片训练集中的所述苗木全局图片进行分割处理,以获得所述 苗木全局图片的图像分割信息;
通过所述图像分割信息及所述模板图像信息对每张所述苗木全局图片中的 标定板进行定位,以获得所述标定板的像素尺寸信息;
根据所述苗木品种信息确定待测量的待测苗木,及所述待测苗木的多张所 述苗木全局图片;并根据多张所述苗木全局图片的所述图像分割信息、所述像 素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
本发明的有益效果为:通过带有苗木的多视角多尺度图片集的苗木图片训 练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息,并通过图 像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素 尺寸信息,然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸 信息及真实尺寸信息确定了待测苗木的尺寸信息,实现了对待测苗木的苗木品 种及尺寸信息的自动识别和测量,降低了苗圃供应商和采购商的人工成本,并 确保了苗木品种及尺寸信息的真实性。
在上述技术方案的基础上,本发明还可以做如下改进:
可选的,所述分类网络模型包括第一分类神经网络结构ResNet18;
所述采用分类网络模型对所述苗木图片训练集进行分类训练,以确定所述 苗木的苗木品种信息,包括:
将所述苗木图片训练集中的图片均分为多个苗木图片子集,且每个所述苗 木图片子集中各个尺度类型图片的数量相同,各个所述尺度类型图片包括所述 苗木全局图片、叶花局部图片及苗木分支图片;
将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木 图片子集作为训练集;采用第一分类神经网络结构ResNet18对所述苗木图片训 练集进行一次分类训练,根据所述一次分类训练统计结果,将所述验证集内各 个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权 值,各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示,所述置信度 加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部 图片及苗木分支图片;
采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次 分类训练,以获得苗木品种分类网络;
本发明采用上述可选方案的有益效果为:通过对苗木图片训练集进行分类 训练处理后,获得了苗木品种信息及苗木品种信息对应的归一化得分,实现了 对苗木品种的自动识别,以便于后续对苗木尺寸的测量。
可选的,所述分类网络模型还包括第二分类神经网络结构ResNet18;
所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理,以获得所述苗木全局图片的图像分割信息,包括:采用开源图像标注工具Labelme对所述 苗木全局图片进行标记,标记内容包括:苗木的轮廓、标定板的四个顶点的位 置坐标;基于实例分割网络框架mask-rcnn的架构,采用作为主干网络的第二分 类神经网络结构ResNet18训练标记后的所述苗木全局图片,以获得标定板-苗木 实例分割网络;将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例 分割网络,获得每张所述苗木全局图片的所述图像分割信息,所述图像分割信 息包括:苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板 分割掩码及标定板分割得分。
本发明采用上述可选方案的有益效果为:获得了每张苗木全局图片的图像 分割信息,为测量苗木尺寸提供了图像数据支撑。
可选的,所述通过所述图像分割信息及所述模板图像信息,对每张所述苗 木全局图片中的标定板进行定位,以获得所述标定板的像素尺寸信息,包括:
步骤a,确定所述标定板的候选区域,包括:将所述苗木全局图片转化为灰 度图;判断所述标定板分割得分是否大于预设得分值,若是,则将所述标定板 边界框的横纵坐标分别进行扩充处理,剪裁扩充区域的灰度图作为所述候选区 域;若否,则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上, 剪裁不存在所述标定板区域的灰度图作为所述候选区域;
步骤b,对所述标定板进行图像匹配,包括:通过在所述候选区域和所述模 板图像上分别提取尺度不变特征变换SIFT特征,基于快速最近邻匹配搜索方法 对所述标定板进行图像匹配处理,获得所述候选区域内所述标定板四个顶点的 像素坐标值,根据所述像素坐标值获取所述候选区域内所述标定板的上宽度值、 下宽度值、左高度值及右高度值,则所述像素尺寸信息包括:像素高度平均值 像素宽度平均值所述m代表所述标定板。
可选的,所述尺寸信息包括物理高度值h及物理冠幅值w;
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息 及所述真实尺寸信息确定所述待测苗木的尺寸信息,包括:
根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息,确定每 张所述苗木全局图片中所述待测苗木的所述物理高度值hi及所述物理冠幅值wi;
通过对多张所述苗木全局图片中获得的所述物理高度值hi、所述物理冠幅值 wi分别取平均值,以获得所述待测苗木的所述物理高度值h及所述物理冠幅值 w,所述物理高度值所述物理冠幅值所述N表示所述苗木全 局图片的个数。
本发明采用上述可选方案的有益效果为:在获得每张苗木全局图片中待测 苗木的物理高度值hi及物理冠幅值wi后,融合不同视角摄取的多张苗木全局图 片,对从多张苗木全局图片中获取的物理高度值hi及物理冠幅值wi分别取均值后 的结果即为测量出的待测苗木的物理高度值h及物理冠幅值w。
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息,确 定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi,包括:
根据所述苗木分割掩码获得所述待测苗木的树冠外轮廓及树干外轮廓,并 分别根据所述树冠外轮廓、所述树干外轮廓确定所述待测苗木的树冠宽度中位 数及树干宽度中位数;
通过从高到低的高度搜索原则,判断所述树冠外轮廓在不同像素高度下树 冠宽度与所述树冠宽度中位数的比值与预设阈值ε的大小;若在连续多个所述像 素高度下的比值大于所述预设阈值ε,则将首个满足所述比值大于所述预设阈值 ε时对应的所述像素高度,作为所述待测苗木的纵向最大值hmax;
通过从低到高的高度搜索原则,判断所述树干外轮廓在不同像素高度下树 干宽度与所述树干宽度中位数的比值与预设阈值β的大小;若在连续多个所述像 素高度下的比值大于所述预设阈值β,则将首个满足所述比值大于所述预设阈值 β时对应的所述像素高度,作为所述待测苗木的纵向最小值hmin;若,在所述苗 木全局图片中未检测到所述待测苗木的所述树干外轮廓,则将所述苗木全局图 片的所述苗木边界框的下边界作为所述待测苗木的所述纵向最小值hmin;
本发明采用上述可选方案的有益效果为:获得了每张苗木全局图片中的待 测苗木的物理高度值hi。
可选的,所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸 信息,确定每张所述苗木全局图片中所述待测苗木的所述物理冠幅值wi,包括:
根据所述树冠外轮廓确定所述苗木全局图片中所述待测苗木的树冠高度中 位数;
通过从左到右的宽度搜索原则,判断所述树冠外轮廓在不同像素宽度下树 冠高度与所述树冠高度中位数的比值与预设阈值δ的大小;若连续多个所述像素 宽度下的比值大于所述预设阈值δ,则将首个满足所述比值大于所述预设阈值δ 时对应的所述像素宽度,作为所述待测苗木的横向最小值wmin;
及,通过从右到左的宽度搜索原则,判断所述树冠外轮廓在不同像素宽度 下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小;若连续多个所述 像素宽度下的比值大于所述预设阈值δ,则将首个满足所述比值大于所述预设阈 值δ时对应的所述像素宽度,作为所述待测苗木的横向最大值wmax;
本发明采用上述可选方案的有益效果为:获得了每张苗木全局图片中的待 测苗木的物理冠幅值wi。
可选的,所述待测苗木的所述尺寸信息还包括米径值d1或地径值d2;
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息 及所述真实尺寸信息确定所述待测苗木的尺寸信息之后,还包括:
根据所述苗木品种信息获取苗木品种-米径/地径对应关系表;所述苗木品种 -米径/地径对应关系表用于,确定所述待测苗木待测量的所述尺寸信息为所述米 径值d1或所述地径值d2;
本发明采用上述可选方案的有益效果为:在获得每张苗木全局图片中待测 苗木的米径值d1i或地径值d2i后,融合不同视角摄取的多张苗木全局图片,对从 多张苗木全局图片中获取的米径值d1或地径值d2取均值后的结果即为测量出的 待测苗木的米径值d1或地径值d2。
本发明采用上述可选方案的有益效果为:获得了每张苗木全局图片中的待 测苗木的米径值d1i或地径值d2i。
本发明第二个方面,提供一种基于多视角多尺度图片测量苗木尺寸的系统, 包括:
数据采集模块,用于将采集的多棵苗木的多视角多尺度图片集创建苗木图 片训练集,并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的 物理特征信息;所述多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支, 所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、 若干叶花局部图片及若干苗木分支图片;所述物理特征信息包括模板图像信息 及真实尺寸信息;
分类训练模块,用于采用分类网络模型对所述苗木图片训练集进行分类训 练,以确定所述苗木的苗木品种信息;
分割模块,用于对所述苗木图片训练集中的所述苗木全局图片进行分割处 理,以获得所述苗木全局图片的图像分割信息;
标定板定位模块,用于通过所述图像分割信息及所述模板图像信息,对每 张所述苗木全局图片中的标定板进行定位,以获得所述标定板的像素尺寸信息;
测量模块,用于根据所述苗木品种信息确定待测量的待测苗木,及所述待 测苗木的多张所述苗木全局图片;并根据多张所述苗木全局图片的所述图像分 割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
本发明的有益效果为:实现了对待测苗木的苗木品种及尺寸信息的自动识 别和测量,降低了苗圃供应商和采购商的人工成本,并确保了苗木品种及尺寸 信息的真实性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术 手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、 特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并 不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的 部件。在附图中:
图1为本发明一实施例提供的一种基于多视角多尺度图片测量苗木尺寸的 方法的流程图;
图2为一具体实施例中确定待测苗木的尺寸信息的流程图;
图3为一具体实施例中确定待测苗木的米径值或地径值的流程图;
图4为一具体实施例中获得每张苗木全局图片中待测苗木的米径值或地径 值的流程图;
图5为一具体实施例中提供的一种基于多视角多尺度图片测量苗木尺寸的 系统的结构示意图;
图6为一具体实施例中标定板的模板图像。
图中:1-数据采集模块,2-分类训练模块,21-图片分组单元,22-一次分类 训练单元,23-二次分类训练单元,24-图片融合单元,25-归一化单元,3-分割 模块,4-标定板定位模块,5-测量模块。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本 公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明第一实施例提供一种基于多视角多尺度图片测量苗木尺寸的方法, 请参见图1,包括:
步骤S11:将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集, 并获取用于采集多视角多尺度图片集时作为参照物的标定板的物理特征信息; 多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支,多视角多尺度图片 集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若 干苗木分支图片;物理特征信息包括模板图像信息及真实尺寸信息。
步骤S12:采用分类网络模型对苗木图片训练集进行分类训练,以确定苗木 的苗木品种信息。
步骤S13:对苗木图片训练集中苗木全局图片进行分割处理,以获得苗木全 局图片的图像分割信息。
步骤S14:通过图像分割信息及模板图像信息对每张苗木全局图片中的标定 板进行定位,以获得标定板的像素尺寸信息。
步骤S15:根据苗木品种信息确定待测量的待测苗木,及待测苗木的多张苗 木全局图片;并根据多张苗木全局图片的图像分割信息、像素尺寸信息及真实 尺寸信息确定待测苗木的尺寸信息。
本发明通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木 的苗木品种信息、各苗木全局图片的图像分割信息,并通过图像分割信息及标 定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息,然后 根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及真实尺寸 信息确定了待测苗木的尺寸信息,实现了对待测苗木的苗木品种及尺寸信息的 自动识别和测量,降低了苗圃供应商和采购商的人工成本,并确保了苗木品种 及尺寸信息的真实性。
可选的,分类网络模型包括第一分类神经网络结构ResNet18,步骤S12中, 采用分类网络模型对苗木图片训练集进行分类训练,以确定苗木的苗木品种信 息,包括:将苗木图片训练集中的图片均分为多个苗木图片子集,且每个苗木 图片子集中各个尺度类型图片的数量相同,各个尺度类型图片包括苗木全局图 片、叶花局部图片及苗木分支图片;将多个苗木图片子集中的一个苗木图片子 集作为验证集其他苗木图片子集作为训练集;采用第一分类神经网络结构 ResNet18对苗木图片训练集进行一次分类训练,根据一次分类训练统计结果, 将验证集内各个尺度类型图片的平均分类精度作为各个尺度类型图片的置信度 加权值,各个尺度类型图片的置信度加权值分别用αh,αp,αb表示,置信度加权 值中的h、p、b代表的尺度类型图片分别为苗木全局图片、叶花局部图片及苗 木分支图片;采用第一分类神经网络结构ResNet18对苗木图片训练集进行二次 分类训练,以获得苗木品种分类网络;将每棵苗木的苗木全局图片、叶花局部 图片及苗木分支图片,分别输入苗木品种分类网络,以获得三个特征向量 特征向量的维度为n,n为苗木的品种个数;根据置信度加权 值αh,αp,αb将各个尺度类型图片进行加权融合,获得加权融合得分 采用归一化指数函数softmax对加权融合得分进行归一化处理,以获得每棵苗木的所述苗木品种信息及苗 木品种信息对应的归一化得分。
本发明通过对苗木图片训练集进行分类训练处理后,获得了苗木品种信息 及苗木品种信息对应的归一化得分,实现了对苗木品种的自动识别,以便于后 续对苗木尺寸的测量。
可选的,分类网络模型还包括第二分类神经网络结构ResNet18;步骤S13 中,对苗木图片训练集中苗木全局图片进行分割处理,以获得苗木全局图片的 图像分割信息,包括:采用开源图像标注工具Labelme对苗木全局图片进行标 记,标记内容包括:苗木的轮廓、标定板的四个顶点的位置坐标;基于实例分 割网络框架mask-rcnn的架构,采用作为主干网络的第二分类神经网络结构 ResNet18训练标记后的苗木全局图片,以获得标定板-苗木实例分割网络;将苗 木的多张苗木全局图片输入标定板-苗木实例分割网络,获得每张苗木全局图片 的图像分割信息,图像分割信息包括:苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。由此获得了每张苗 木全局图片的图像分割信息,为测量苗木尺寸提供了图像数据支撑。
可选的,步骤S14中,通过图像分割信息及模板图像信息,对每张苗木全 局图片中的标定板进行定位,以获得标定板的像素尺寸信息,包括:
步骤a,确定标定板的候选区域,包括:
将苗木全局图片转化为灰度图;
判断所述标定板分割得分是否大于预设得分值,若是,则将标定板边界框 的横纵坐标分别进行扩充处理,剪裁扩充区域的灰度图作为候选区域;若否, 则将苗木分割掩码叠加到转化为灰度图的苗木全局图片上,剪裁不存在标定板 区域的灰度图作为候选区域。
步骤b,对标定板进行图像匹配,包括:
通过在候选区域和模板图像上分别提取尺度不变特征变换SIFT特征,基于 快速最近邻匹配搜索方法对标定板进行图像匹配处理,以获得候选区域内标定 板四个顶点的像素坐标值,根据像素坐标值获取候选区域内标定板的上宽度值、 下宽度值、左高度值及右高度值,则像素尺寸信息包括:像素高度平均值 像素宽度平均值m代 表标定板。本发明实施例通过对每张苗木全局图片中的标定板进行定位处理后, 获得了标定板的像素高度平均值和像素宽度平均值为测量苗木的尺寸 信息提供了标定板的参照数据。
可选的,尺寸信息包括物理高度值h及物理冠幅值w,请参见1-2,步骤S15 中,根据多张苗木全局图片的图像分割信息、像素尺寸信息及真实尺寸信息确 定待测苗木的尺寸信息,包括:
步骤S151,根据图像分割信息、像素尺寸信息及真实尺寸信息,确定每张 苗木全局图片中待测苗木的物理高度值hi及物理冠幅值wi;
本发明实施例在获得每张苗木全局图片中待测苗木的物理高度值hi及物理 冠幅值wi后,融合不同视角摄取的多张苗木全局图片,对从多张苗木全局图片 中获取的物理高度值hi及物理冠幅值wi分别取均值后的结果,即为测量出的待测 苗木的物理高度值h及物理冠幅值w。
11),根据每张苗木全局图片的苗木分割掩码获得待测苗木的树冠外轮廓及 树干外轮廓,并分别根据树冠外轮廓、树干外轮廓确定苗木全局图片中待测苗 木的树冠宽度中位数及树干宽度中位数。
12),通过从高到低的高度搜索原则,判断树冠外轮廓在不同像素高度下树 冠宽度与树冠宽度中位数的比值与预设阈值ε的大小;若在连续多个像素高度下 的比值大于预设阈值ε,则将首个满足树冠宽度与树冠宽度中位数的比值大于预 设阈值ε时对应的像素高度,作为待测苗木的纵向最大值hmax;
13),通过从低到高的高度搜索原则,判断树干外轮廓在不同像素高度下树 干宽度与树干宽度中位数的比值与预设阈值β的大小;若在连续多个像素高度下 的比值大于预设阈值β,则将首个满足树干宽度与树干宽度中位数的比值大于预 设阈值β时对应的像素高度,作为待测苗木的纵向最小值hmin;若,在苗木全局 图片中未检测到待测苗木的树干外轮廓,则将苗木全局图片的苗木边界框的下 边界作为待测苗木的纵向最小值hmin;
其次,步骤S151中,根据图像分割信息、像素尺寸信息及真实尺寸信息, 确定每张苗木全局图片中待测苗木的物理冠幅值wi,包括:
21),根据树冠外轮廓确定苗木全局图片中待测苗木的树冠高度中位数。
22),通过从左到右的宽度搜索原则,判断树冠外轮廓在不同像素宽度下树 冠高度与树冠高度中位数的比值与预设阈值δ的大小;若连续多个像素宽度下树 冠高度与树冠高度中位数的比值大于预设阈值δ,则将首个满足树冠高度与树冠 高度中位数的比值大于预设阈值δ时对应的像素宽度,作为待测苗木的横向最小 值wmin。
23),及,通过从右到左的宽度搜索原则,判断树冠外轮廓在不同像素宽度 下树冠高度与树冠高度中位数的比值与预设阈值δ的大小;若连续多个像素宽度 下的树冠高度与树冠高度中位数的比值大于预设阈值δ,则将首个满足树冠高度 与树冠高度中位数的比值大于预设阈值δ时对应的像素宽度,作为待测苗木的横 向最大值wmax。
可选的,待测苗木的尺寸信息还包括米径值d1或地径值d2,请参见图3,在 步骤S15之后,还包括如下步骤:
步骤S211,根据苗木品种信息获取苗木品种-米径/地径对应关系表;苗木 品种-米径/地径对应关系表用于确定待测苗木待测量的尺寸信息为米径值d1或 地径值d2;
可见,本发明在获得每张苗木全局图片中待测苗木的米径值d1i或地径值d2i后,融合不同视角摄取的多张苗木全局图片,对从多张苗木全局图片中获取的 米径值d1或地径值d2取均值后的结果即为测量出的待测苗木的米径值d1或地径 值d2。
可选的,请参见图4,步骤S212具体包括:
可见,本发明实施例通过对采集的苗木的多视角多尺度图片集进行分类训 练、图像分割、标定板定位、进行尺寸测量等步骤后,实现了对待测苗木的苗 木品种及尺寸信息的自动识别和测量,降低了苗圃供应商和采购商的人工成本, 并确保了苗木品种及尺寸信息的真实性。
本发明第二实施例,提供一种基于多视角多尺度图片测量苗木尺寸的系统, 请参见图5,包括:
数据采集模块1,用于将采集的多棵苗木的多视角多尺度图片集创建苗木图 片训练集,并获取用于采集多视角多尺度图片集时作为参照物的标定板的物理 特征信息;多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支,多视角 多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局 部图片及若干苗木分支图片;物理特征信息包括模板图像信息及真实尺寸信息。
分类训练模块2,用于采用分类网络模型对苗木图片训练集进行分类训练, 以确定苗木的苗木品种信息。
分割模块3,用于对苗木图片训练集中苗木全局图片进行分割处理,以获得 苗木全局图片的图像分割信息。
标定板定位模块4,用于通过图像分割信息及模板图像信息,对每张苗木全 局图片中的标定板进行定位,以获得标定板的像素尺寸信息。
测量模块5,用于根据苗木品种信息确定待测量的待测苗木,及待测苗木的 多张苗木全局图片;并根据多张苗木全局图片的图像分割信息、像素尺寸信息 及真实尺寸信息确定待测苗木的尺寸信息,从而实现了对待测苗木的苗木品种 及尺寸信息的自动识别和测量,降低了苗圃供应商和采购商的人工成本,并确 保了苗木品种及尺寸信息的真实性。
可选的,分类网络模型包括第一分类神经网络结构ResNet18,分类训练模 块包括:
图片分组单元21,用于将苗木图片训练集中的图片均分为多个苗木图片子 集,且每个苗木图片子集中各个尺度类型图片的数量相同,各个尺度类型图片 包括苗木全局图片、叶花局部图片及苗木分支图片;
一次分类训练单元22,用于将多个苗木图片子集中的一个苗木图片子集作 为验证集其他苗木图片子集作为训练集;采用第一分类神经网络结构ResNet18 对苗木图片训练集进行一次分类训练,根据一次分类训练统计结果,将验证集 内各个尺度类型图片的平均分类精度作为各个尺度类型图片的置信度加权值, 各个尺度类型图片的置信度加权值分别用αh,αp,αb表示,置信度加权值中的h、 p、b代表的尺度类型图片分别为苗木全局图片、叶花局部图片及苗木分支图片;
二次分类训练单元23,用于采用第一分类神经网络结构ResNet18对苗木图 片训练集进行二次分类训练以获得苗木品种分类网络;将每棵苗木的苗木全局 图片、叶花局部图片及苗木分支图片,分别输入苗木品种分类网络,以获得三 个特征向量特征向量的维度为n,n为苗木的品种个数;
归一化单元25,用于采用归一化指数函数softmax对加权融合得分进行归一化处理,以获得每棵苗木的所述苗木品种信息及苗 木品种信息对应的归一化得分。可见,分类训练模块通过对苗木图片训练集进 行分类训练处理后,获得了苗木品种信息及苗木品种信息对应的归一化得分, 实现了对苗木品种的自动识别,以便于后续对苗木尺寸的测量。
可选的,分类网络模型还包括第二分类神经网络结构ResNet18;分割模块3 具体用于:采用开源图像标注工具Labelme对苗木全局图片进行标记,标记内 容包括:苗木的轮廓、标定板的四个顶点的位置坐标;基于实例分割网络框架 mask-rcnn的架构,采用作为主干网络的第二分类神经网络结构ResNet18训练标 记后的苗木全局图片,以获得标定板-苗木实例分割网络;将苗木的多张苗木全 局图片输入标定板-苗木实例分割网络,获得每张苗木全局图片的图像分割信息, 图像分割信息包括:苗木边界框、苗木分割掩码、苗木分割得分、标定板边界 框、标定板分割掩码及标定板分割得分。由此获得了每张苗木全局图片的图像 分割信息,为测量苗木尺寸提供了图像数据支撑。
其中,标定板定位模块4具体用于执行如下方法的步骤:步骤a,确定标定 板的候选区域,包括:将苗木全局图片转化为灰度图;判断所述标定板分割得 分是否大于预设得分值,若是,则将标定板边界框的横纵坐标分别进行扩充处 理,剪裁扩充区域的灰度图作为候选区域;若否,则将苗木分割掩码叠加到转 化为灰度图的苗木全局图片上,剪裁不存在标定板区域的灰度图作为候选区域。 步骤b,对标定板进行图像匹配,包括:通过在候选区域和模板图像上分别提取 尺度不变特征变换SIFT特征,并基于快速最近邻匹配搜索方法对标定板进行图 像匹配处理,获得候选区域内标定板四个顶点的像素坐标值,根据像素坐标值 获取候选区域内标定板的上宽度值、下宽度值、左高度值及右高度值,则像素 尺寸信息包括:像素高度平均值像素宽度平均 值m代表标定板。本发明实施例通过对每张苗 木全局图片中的标定板进行定位处理后,获得了标定板的像素高度平均值和 像素宽度平均值为测量苗木的尺寸信息提供了标定板的参照数据。
可选的,尺寸信息包括物理高度值h及物理冠幅值w,请参见图2,测量模 块5具体用于执行步骤S151-步骤S152所述方法的步骤,步骤S151-步骤S152 的内容在此不再赘述。本发明实施例通过测量模块5在获得每张苗木全局图片 中待测苗木的物理高度值hi及物理冠幅值wi后,融合不同视角摄取的多张苗木全 局图片,对从多张苗木全局图片中获取的物理高度值hi及物理冠幅值wi分别取均 值后的结果即为测量出的待测苗木的物理高度值h及物理冠幅值w。
可选的,标定板的真实尺寸信息包括真实高度及真实宽度测量模块 5执行步骤S151中的根据图像分割信息、像素尺寸信息及真实尺寸信息,确定 每张苗木全局图片中待测苗木的物理高度值hi时,还具体执行了步骤11)-15) 所述方法的步骤,步骤11)-15)的内容在此不再赘述。其次,测量模块5执行 步骤S151中的根据图像分割信息、像素尺寸信息及真实尺寸信息,确定每张苗 木全局图片中待测苗木的物理冠幅值wi时,具体执行了步骤21)-25)所述方法 的步骤,步骤21)-25)的内容在此不再赘述。
可选的,待测苗木的尺寸信息还包括米径值d1或地径值d2,请参见图3-4, 测量模块5还用于执行步骤S211-步骤S213所述方法的步骤,可选的,测量模 块5在执行步骤S212时,具体执行了步骤S31-步骤S34所述方法的步骤,步骤 S211-步骤S213及步骤S31-步骤S34的内容在此不再赘述,由此,本发明通过测 量模块5在获得每张苗木全局图片中待测苗木的米径值d1i或地径值d2i后,融合 不同视角摄取的多张苗木全局图片,对从多张苗木全局图片中获取的米径值d1或地径值d2取均值后的结果即为测量出的待测苗木的米径值d1或地径值d2。
本发明第三实施例,本发明实施例是在上述两个实施例的基础上,结合附 图1-6介绍的一个本发明的应用实例。
本应用实例主要包括如下步骤:
步骤1:标定板设计。设计手持字符标定板(标定板的模板图像如图6所示) 以服务于苗木尺寸测量,作为苗木尺寸测量的参照物。步骤2:图片采集,采集 苗木的多视角、多尺度图片,多尺度的尺度类型包括:苗木全局、叶花局部及 苗木分支,多视角图片包括多张不同视角摄取的苗木全局图片,一棵苗木的多 视角多尺度图片包括3张从3个不同视角摄取的带字符标定板的苗木全局图片、 2张叶花局部图片及1张苗木分支图片。步骤3:苗木分类,设计深度神经网络, 实现基于多尺度图片的苗木分类。步骤4:对采集的苗木全局图中的标定板、苗 木整体-部件进行分割,以获取标定板-苗木实例分割网络。设计深度神经网络, 对多视角图片中的苗木整体、部件及标定板进行分割。步骤5:标定板定位。 基于步骤4的粗定位结果,基于SIFT特征匹配实现快速标定板定位。步骤6: 苗木尺寸测量。基于苗木分类、分割、标定板定位结果,提出苗木尺寸测量算 法。
具体的,步骤1:标定板设计,标定板用于提供苗木尺寸测量时所需的参照 尺寸,为此,基于纹理丰富、边界清晰、尺寸易调节等标定板设计思路,设计 字符标定板如图6所示。针对中小乔4-5米的拍摄距离,设计标定板真实高度 50cm,标定板真实宽度58cm,标定板的字符形式除满足设计思路外,还能 起到一定企业宣传和数据水印保护的作用。
步骤2:图片采集,针对每一颗苗木,采集3张带字符标定板的苗木全局图 片、2张叶花局部图片和1张苗木分支图片。为了满足多视角多尺度算法识别需 要,具体采集方式如下:苗木全局图片:人手持标定板站立于苗木的某一中心 刨平面内,同时摄像机成像平面与该平面平行,最大程度减少俯仰角;使标定 板未有明显遮挡,待识别的苗木居中拍摄,图片占比要大于60%;然后环绕苗 木360度,在具备拍摄条件的情况(遮挡较少、拍摄距离可完整拍摄)下,拍 摄3张苗木全局图片。叶花局部图片:采集苗木的局部枝叶、花朵图片;苗木 分支图片:采集苗木树干的分支点图片;苗木全局图片、叶花局部图片及苗木 分支图片等所有图片收集均采用竖屏拍摄。将采集到的多棵苗木的多视角多尺 度图片集创建苗木图片训练集。
步骤3:多尺度融合的苗木分类,包括:
训练阶段:通过图片分组单元21对苗木图片训练集拆分子集:将苗木图片 训练集中所有苗木的多视角多尺度图片,均分为5个子集,每个子集中各个尺 度类型,即苗木全局图片、叶花局部图片、苗木分支图片等类型的图片个数相 同。
通过一次分类训练单元计算各尺度置信度加权:依次从苗木图片训练集中 挑选4个子集作为训练集,1个子集作为验证集,使用第一分类神经网络结构 (ResNet18)进行训练,并将训练结果统计在5种子集组合情况下,验证集上三 种尺度类型图片的平均分类精度αh,αp,αb作为各个尺度类型图片的置信度加权 值。通过二次分类训练单元训练最终分类网络:基于所有苗木图片训练集重新 训练该第一分类神经网络(ResNet18),得到最终的分类网络参数,即获得了苗 木品种分类网络。
测试阶段:采用二次分类训练单元23采样和读取苗木的图片:针对一颗苗 木的所有图片地址,分别判断每张图片是否录入,然后采样1张苗木全局图片、 1张叶花局部图片和1张苗木分支图片,并读取各张图片。并行特征学习:二次 分类训练单元23将读取的三张图片分别送入到训练阶段得到的苗木品种分类网 络中,得到三个得分特征向量特征向量的维度为n,是苗木的品种个 数。
多尺度得分融合:图片融合单元24计算多个尺度的加权融合得分并通归一化单元25基于归一化指数函数softmax进行归一 化处理;输出:将归一化指数函数softmax归一化后获得的每棵苗木的苗木品种 信息及苗木品种信息对应的归一化得分根据得分结果进行得分排序,输出排名 前三的苗木品种及其对应的得分。
步骤4:标定板-苗木实例分割网络的获取,苗木整体-部件、标定 板分割网络这一流程的具体内容,包括:
训练阶段:(1)分割标签标记:针对苗木图片训练集中每张苗木全局图片, 使用开源图像标注工具Labelme标记中心待识别苗木的整体轮廓、树干轮廓(从 下到上,标记分支点以下区域,及无叶片的较大分支),标记标定板的四个顶点 的位置坐标,其他区域苗木作为背景,不再另行标记。(2)分割网络训练:基 于mask-rcnn实例分割网络框架,将剪裁后的第二分类神经网络结构ResNet18 (第二分类神经网络结构ResNet18是独立训练后用于分类、分割的网络)作为 主干网络训练标记后的苗木全局图片后,获得了标定板-苗木实例分割网络。
测试阶段:多视角图片分割:将一棵苗木的三张不同视角摄取的苗木全局 图片输入标定板-苗木实例分割网络,得到每张苗木全局图片中的图像分割信息, 如苗木、树干、标定板的类别、边界框、分割掩码、苗木分割得分、标定板分 割得分等。
步骤5:标定板定位,针对一颗苗木的三张苗木全局图片,首先,确定标定 板的候选区域:标定板匹配需要基于尺度不变特征变换SIFT特征,但是由于苗 木的图片场景角点较多,在全图内提取SIFT特征用于模板匹配计算量大、实时 性低。因此,基于步骤4结果,提出两个标定板候选区域选择方法:首先,将 当前苗木全局图片转化为灰度图;方法1:如果步骤4监测到标定板分割得分的 得分值大于预设得分值0.6,则将标定板边界框的横纵坐标各扩充50%,剪裁该 扩充区域的灰度图作为优先候选区域;方法2:如方法1未得到优先候选区域, 将步骤4检测到的苗木分割掩码(灰度值设为0)叠加到灰度图片上,并剪裁掉标定板不可能出现的位置区域,如苗木根部以下区域作为候选区域。
标定板匹配:在候选区域和标定板的模板图像(图6)上分别提取SIFT特征, 然后基于快速最近邻匹配搜索方法对标定板进行图像匹配,得到候选区域内标 定板四个顶点的像素坐标值,计算标定板像素高度平均值和像素宽度平均值 根据像素坐标值得到候选区域内标定板的上宽度值、下宽度值、左高度值 及右高度值,则像素高度平均值像素宽度平均 值m代表所述标定板。相比于步骤4对标定板 的粗糙定位,本步可实现对标定板的更加准确的顶点坐标定位。
步骤6:苗木尺寸测量,本实施例针对一颗待测苗木,提出了基于多视角融 合的尺寸测量方法,即融合了三个不同视角的苗木全局图片的尺寸信息得到了 待测苗木最终的尺寸信息的测量值。
首先对步骤3中对苗木品种信息的分类结果进行去噪处理:针对苗木图片 训练集中的每张苗木全局图片,读取步骤3中得分最高的苗木品种,滤除步骤4 中标定板-苗木实例分割网络检测出的非此品种苗木的图像信息;b)对保留的标 定板-苗木实例分割网络的检测-分割结果,计算每张苗木全局图片的分割和位置 综合得分st=βdsd+βpsp,其中βd是检测权重,βp是位置权重,sd是步骤4输出的苗 木分割得分,sp是候选苗木中心与图片中心的归一化得分,sp=1-2*(bx-ix)/iw,bx,ix分别是候选苗木和图片的中心横坐标(x坐标),iw是图片宽度。最终保留得分 最高的苗木整体、树干作为当前待测量的待测苗木;基于当前待测苗木整体-树 干检测、分割标签,将待测苗木的结构分为树冠和树干两部分。
(2)单张图片苗木高度计算,包括如下内容:a1)基于苗木分 割掩码分别得到树冠外轮廓和树干外轮廓,并分别根据树冠外轮廓、 树干外轮廓确定苗木全局图片中待测苗木的树冠宽度中位数及树干 宽度中位数;b1)从高到底高度搜索,判断树冠外轮廓在不同像素高 度下树冠宽度与树冠宽度中位数的比值与预设阈值ε的大小;如比值 小于阈值ε,则认为此处为杂枝或琐碎分支,不做考虑,若在连续多 个所述像素高度下树冠宽度与树冠宽度中位数的比值大于预设阈值ε, 则将首个满足树冠宽度与树冠宽度中位数的比值大于预设阈值ε时对 应的像素高度,作为待测苗木的纵向最大值hmax,停止计算;c1)从 低到高高度搜索,判断树干外轮廓在不同像素高度下树干宽度与树干 宽度中位数的比值与预设阈值β的大小;如比值小于阈值ε,则认为 此处为噪音,不做考虑,若在连续多个像素高度下树干宽度与树干宽 度中位数的比值大于预设阈值β,则将首个满足树干宽度与树干宽度 中位数的比值大于预设阈值β时对应的像素高度,作为待测苗木的纵 向最小值hmin,停止计算;若,在苗木全局图片中未检测到待测苗木 的树干外轮廓,则将苗木整体检测边界框(苗木边界框)的下边界作 为苗木纵向最小值hmin;d1)计算苗木像素高度值为则 单张苗木全局图片获得的苗木物理高度hi为其中是标定板的真实高度。
(3)单张图片苗木冠幅计算:a2)基于苗木分割掩码得到树冠外轮廓,根 据树冠外轮廓确定苗木全局图片中待测苗木的树冠高度中位数。b2)从左到右宽 度搜索,判断树冠外轮廓在不同像素宽度下树冠高度与树冠高度中位数的比值 与预设阈值δ的大小;如比值小于阈值δ,则认为此处为杂枝或琐碎分支,不做 考虑,若连续多个像素宽度下树冠高度与树冠高度中位数的比值大于预设阈值 δ,则将首个满足所述树冠高度与所述树冠高度中位数的比值大于所述预设阈值 δ时对应的像素宽度,作为待测苗木的横向最小值wmin,停止计算。c2)以及, 从右到左宽度搜索,判断树冠外轮廓在不同像素宽度下树冠高度与树冠高度中 位数的比值与预设阈值δ的大小;如比值小于阈值δ,则认为此处为杂枝或琐碎 分支,不做考虑,若连续多个像素宽度下的树冠高度与树冠高度中位数的比值 大于预设阈值δ,则将首个满足树冠高度与树冠高度中位数的比值大于预设阈值 δ时对应的像素宽度,作为待测苗木的横向最大值wmax,停止计算。d2)计算苗 木像素宽度值为则单张苗木全局图片中的苗木物理冠幅为 其中是标定板的真实宽度。
(4)计算单张苗木全局图片中待测苗木的米径值d1或地径值d2:a3)基于 林业界标准,建立苗木品种与米径、地径对应关系的查找表-即苗木品种-米径/ 地径对应关系表。b3)基于步骤3得到的待测苗木的苗木品种信息,从苗木品种-米径/地径对应关系表中查找确定该待测苗木待测量的尺寸为米径还是地径。c3) 基于上述已测量和计算的苗木像素高度和物理高度h,以及苗木界公认的米 径真实高度(离地1m处,即)和地径真实高度(离地0.3m处,即) 的离地距离定义;计算当前待测苗木的米径真实高度或地径真实高度对应的米 径像素高度或地径像素高度即,当前待测苗木的米径像素高度为 当前待测苗木的地径像素高度为d3)计算米 径像素高度下,10个像素高度范围内,胸径像素宽度平均值或计算地径像 素高度下,10个像素高度范围内,胸径像素宽度平均值e3)计算单张苗木 全局图片中待测苗木的米径值d1i或地径值d2i,分别为
(5)多视角苗木全局图片的苗木尺寸计算融合:取三个不同视角的苗木全 局图片的尺寸平均值作为最终尺寸测量结果,具体地,通过对多张苗木全局图 片中获得的物理高度值hi、物理冠幅值wi分别取平均值后,获得待测苗木的物理 高度值h及物理冠幅值w的最终尺寸测量结果,物理高度值物理冠幅值 N表示苗木全局图片的个数,通过对多张苗木全局图片中获得的米径 值或地径值di取平均值后获得待测苗木的米径值d1或地径值d2的最终尺寸测量 结果,N表示苗木全局图片的个数。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为 这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由 语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬 件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方 案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来, 该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括 若干指控制用以使得一台终端(可以是手机,计算机,服务器,空调器,或者 网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述 的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本 领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保 护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,包括:
将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集,并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息;所述多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支,所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若干苗木分支图片;所述物理特征信息包括模板图像信息及真实尺寸信息;
采用分类网络模型对所述苗木图片训练集进行分类训练,以确定所述苗木的苗木品种信息;
对所述苗木图片训练集中的所述苗木全局图片进行分割处理,以获得所述苗木全局图片的图像分割信息;
通过所述图像分割信息及所述模板图像信息,对每张所述苗木全局图片中的标定板进行定位,以获得所述标定板的像素尺寸信息;
根据所述苗木品种信息确定待测量的待测苗木,及所述待测苗木的多张所述苗木全局图片;并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
2.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述分类网络模型包括第一分类神经网络结构ResNet18;
所述采用分类网络模型对所述苗木图片训练集进行分类训练,以确定所述苗木的苗木品种信息,包括:
将所述苗木图片训练集中的图片均分为多个苗木图片子集,且每个所述苗木图片子集中各个尺度类型图片的数量相同,各个所述尺度类型图片包括所述苗木全局图片、叶花局部图片及苗木分支图片;
将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木图片子集作为训练集;
采用第一分类神经网络结构ResNet18对所述苗木图片训练集进行一次分类训练,根据所述一次分类训练统计结果,将所述验证集内各个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权值,各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示,所述置信度加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部图片及苗木分支图片;
采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次分类训练,以获得苗木品种分类网络;
3.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述分类网络模型还包括第二分类神经网络结构ResNet18;
所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理,以获得所述苗木全局图片的图像分割信息,包括:
采用开源图像标注工具Labelme对所述苗木全局图片进行标记,标记内容包括:苗木的轮廓、标定板的四个顶点的位置坐标;
基于实例分割网络框架mask-rcnn的架构,采用作为主干网络的第二分类神经网络结构ResNet18训练标记后的所述苗木全局图片,以获得标定板-苗木实例分割网络;
将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例分割网络,获得每张所述苗木全局图片的所述图像分割信息,所述图像分割信息包括:苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。
4.如权利要求3所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述通过所述图像分割信息及所述模板图像信息,对每张所述苗木全局图片中的标定板进行定位,以获得所述标定板的像素尺寸信息,包括:
步骤a,确定所述标定板的候选区域,包括:
将所述苗木全局图片转化为灰度图;
判断所述标定板分割得分是否大于预设得分值,若是,则将所述标定板边界框的横纵坐标分别进行扩充处理,剪裁扩充区域的灰度图作为所述候选区域;若否,则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上,剪裁不存在所述标定板区域的灰度图作为所述候选区域;
步骤b,对所述标定板进行图像匹配,包括:
6.如权利要求5所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息,确定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi,包括:
根据所述苗木分割掩码获得所述待测苗木的树冠外轮廓及树干外轮廓,并分别根据所述树冠外轮廓、所述树干外轮廓确定所述待测苗木的树冠宽度中位数及树干宽度中位数;
通过从高到低的高度搜索原则,判断所述树冠外轮廓在不同像素高度下树冠宽度与所述树冠宽度中位数的比值与预设阈值ε的大小,若在连续多个所述像素高度下的比值大于所述预设阈值ε,则将首个满足所述比值大于所述预设阈值ε时对应的所述像素高度作为所述待测苗木的纵向最大值hmax;
通过从低到高的高度搜索原则,判断所述树干外轮廓在不同像素高度下树干宽度与所述树干宽度中位数的比值与预设阈值β的大小,若在连续多个所述像素高度下的比值大于所述预设阈值β,则将首个满足所述比值大于所述预设阈值β时对应的所述像素高度作为所述待测苗木的纵向最小值hmin;若,在所述苗木全局图片中未检测到所述待测苗木的所述树干外轮廓,则将所述苗木全局图片的所述苗木边界框的下边界作为所述待测苗木的所述纵向最小值hmin;
7.如权利要求6所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息,确定每张所述苗木全局图片中所述待测苗木的所述物理冠幅值wi,包括:
根据所述树冠外轮廓确定所述苗木全局图片中所述待测苗木的树冠高度中位数;
通过从左到右的宽度搜索原则,判断所述树冠外轮廓在不同像素宽度下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小;若连续多个所述像素宽度下的比值大于所述预设阈值δ,则将首个满足所述比值大于所述预设阈值δ时对应的所述像素宽度,作为所述待测苗木的横向最小值wmin;
及,通过从右到左的宽度搜索原则,判断所述树冠外轮廓在不同像素宽度下树冠高度与所述树冠高度中位数的比值与预设阈值δ的大小;若连续多个所述像素宽度下的比值大于所述预设阈值δ,则将首个满足所述比值大于所述预设阈值δ时对应的所述像素宽度,作为所述待测苗木的横向最大值wmax;
8.如权利要求6所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
所述待测苗木的所述尺寸信息还包括米径值d1或地径值d2;
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息之后,还包括:
根据所述苗木品种信息获取苗木品种-米径/地径对应关系表;所述苗木品种-米径/地径对应关系表用于,确定所述待测苗木待测量的所述尺寸信息为所述米径值d1或所述地径值d2;
9.如权利要求8所述的基于多视角多尺度图片测量苗木尺寸的方法,其特征在于,
10.一种基于多视角多尺度图片测量苗木尺寸的系统,包括:
数据采集模块,用于将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集,并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息;所述多尺度的尺度类型包括:苗木全局、叶花局部及苗木分支,所述待测苗木的所述多视角多尺度图片集包括多张不同视角摄取的苗木全局图片、若干叶花局部图片及若干苗木分支图片;所述物理特征信息包括模板图像信息及真实尺寸信息;
分类训练模块,用于采用分类网络模型对所述苗木图片训练集进行分类训练,以确定所述苗木的苗木品种信息;
分割模块,用于对所述苗木图片训练集中的所述苗木全局图片进行分割处理,以获得所述苗木全局图片的图像分割信息;
标定板定位模块,用于通过所述图像分割信息及所述模板图像信息对每张所述苗木全局图片中的标定板进行定位,以获得所述标定板的像素尺寸信息;
测量模块,用于根据所述苗木品种信息确定待测量的待测苗木,及所述待测苗木的多张所述苗木全局图片;并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359476.6A CN112529850A (zh) | 2020-11-27 | 2020-11-27 | 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359476.6A CN112529850A (zh) | 2020-11-27 | 2020-11-27 | 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112529850A true CN112529850A (zh) | 2021-03-19 |
Family
ID=74994582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011359476.6A Pending CN112529850A (zh) | 2020-11-27 | 2020-11-27 | 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112529850A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114322793A (zh) * | 2022-03-16 | 2022-04-12 | 科大天工智能装备技术(天津)有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
CN115170165A (zh) * | 2022-09-01 | 2022-10-11 | 山东孟子居生态农业股份有限公司 | 苗木信息溯源系统及方法 |
-
2020
- 2020-11-27 CN CN202011359476.6A patent/CN112529850A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114322793A (zh) * | 2022-03-16 | 2022-04-12 | 科大天工智能装备技术(天津)有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
CN114322793B (zh) * | 2022-03-16 | 2022-07-15 | 科大天工智能装备技术(天津)有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
CN115170165A (zh) * | 2022-09-01 | 2022-10-11 | 山东孟子居生态农业股份有限公司 | 苗木信息溯源系统及方法 |
CN115170165B (zh) * | 2022-09-01 | 2022-12-27 | 山东孟子居生态农业股份有限公司 | 苗木信息溯源系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113128405B (zh) | 一种结合语义分割与点云处理的植物识别与模型构建方法 | |
He et al. | A novel 3D imaging system for strawberry phenotyping | |
CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
CN109146889B (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
CN105139023B (zh) | 一种基于多尺度特征融合和极限学习机的种子识别方法 | |
CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
CN110569878A (zh) | 一种基于卷积神经网络的照片背景相似度聚类方法及计算机 | |
CN108171127A (zh) | 一种基于深度学习的发票自动识别方法 | |
CN108732172A (zh) | 中药材质量评定方法、设备及介质 | |
CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
CN112529850A (zh) | 一种基于多视角多尺度图片测量苗木尺寸的方法及系统 | |
CN111553858A (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
CN111429490A (zh) | 一种基于标定球的农林作物三维点云配准方法 | |
CN109344845A (zh) | 一种基于Triplet深度神经网络结构的特征匹配方法 | |
CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
CN111666900A (zh) | 基于多源遥感影像的土地覆盖分类图的获取方法和装置 | |
CN110728269A (zh) | 一种高铁接触网支柱杆号牌识别方法 | |
CN108629771B (zh) | 一种具有尺度鲁棒性的图像质量盲评价方法 | |
CN110097530A (zh) | 基于超像素聚类与联合低秩表示的多聚焦图像融合方法 | |
Korpela et al. | The performance of a local maxima method for detecting individual tree tops in aerial photographs | |
CN116597029B (zh) | 一种针对色盲的图像重着色方法 | |
CN108960285B (zh) | 一种分类模型生成方法、舌体图像分类方法及装置 | |
CN115205155A (zh) | 一种畸变图像的矫正方法、装置及终端设备 | |
CN115471494A (zh) | 基于图像处理的沃柑质检方法、装置、装备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |