CN116129096A - 一种马铃薯根系长度的数字化测量系统及其测量方法 - Google Patents

一种马铃薯根系长度的数字化测量系统及其测量方法 Download PDF

Info

Publication number
CN116129096A
CN116129096A CN202211642166.4A CN202211642166A CN116129096A CN 116129096 A CN116129096 A CN 116129096A CN 202211642166 A CN202211642166 A CN 202211642166A CN 116129096 A CN116129096 A CN 116129096A
Authority
CN
China
Prior art keywords
image
sample
module
root
root system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211642166.4A
Other languages
English (en)
Inventor
乌兰
苏力德
贾立国
秦永林
刘坤
樊明寿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Agricultural University
Original Assignee
Inner Mongolia Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Agricultural University filed Critical Inner Mongolia Agricultural University
Priority to CN202211642166.4A priority Critical patent/CN116129096A/zh
Publication of CN116129096A publication Critical patent/CN116129096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于仪器领域，具体涉及一种马铃薯根系长度的数字化测量系统及其测量方法。测量系统包括图像采集装置和数据处理装置。图像采集装置获取待测的马铃薯根系的样本图像；数据处理装置与图像采集装置通讯连接，并用于操纵图像采集装置。数据处理装置包括数据采集模块、图像分割模块、系数查询模块，以及长度计算模块。图像分割模块中包含基于DeepLabV3+语义分割的图像分割网络，系数查询模块中预设有像素转换系数表。长度计算模块先对图像分割结果进行细化处理，再根据马铃薯根系对应的像素表示的根系长度和像素转换系数计算出真实的根系长度。本发明解决了马铃薯等浅根系作物的根系长度人工测量难度大，任务耗时长、工作量、繁琐、效率低等问题。

Description

一种马铃薯根系长度的数字化测量系统及其测量方法
技术领域
本发明属于仪器领域，具体涉及一种马铃薯根系长度的数字化测量系统及其测量方法。
背景技术
根系是联系植物与土壤环境之间的主要媒介，是植物与根际环境建立相互关系的纽带。根系从土壤中吸收水分及各种矿质养分后将其输送到植株地上部分供其利用，同时将植物固定在土壤中。根系构型是作物根系在生长介质中的空间结构与分布，不仅决定了固定植株能力的强弱，还与植株吸收利用土壤中水分及养分的能力密切相关。根系不仅能够感受环境因子的变化，还能通过其形态特征(如根长、根重和根体积等)、空间分布(如根系夹角、扎根深度等)、解剖结构(如通气组织)以及代谢活性(如对水肥的吸收速率及呼吸速率等)的变化提高植株对贫乏资源(如水分、养分)的吸收利用，避免或减少植株受到逆境胁迫的伤害，尽可能维持相对较高的经济产量与生物产量。
在土壤剖面中，根系构型是由根系系统的遗传结构和土壤环境因素共同决定的。根系构型的研究对于农业生产非常重要，由于土壤成分及其复杂，养分资源的分布往往是不均匀的，其有效性在时间以及空间上均存在极大的变异性，植株根系始终面临着土壤养分资源供应的异质性，因此，研究根系在土壤中的生长与分布特征，分析植物对水分和养分的吸收能力，是评估农作物品种特性，以及农药、化肥等产品性能的其中一个重要指标。对于提高种质和农资的科技研发水平，实现农业现代化至关重要。
根系研究的其中一个任务是对根系的长度进行测量。不同类型的作物的根系类型不一样，以马铃薯为例，根系中包括主根、侧根以及丰富的须根。在进行根系长度测量时通常需要将所有的根系统计在内，常规的作物根系长度测量任务大多由人工完成，技术人员需要将整个根系分割呈一条条的离散根系，然后依次对每条根系进行测量和统计。
在本案发明人完成的一项马铃薯节水丰产项目的课题研究中，就需要获得大量的马铃薯根系长度的相关数据。不同作物根系数量不同，测量难度差异较大。对于马铃薯一类的浅根系作物而言，因为主根数量较少，而侧根和须根数量非常丰富，因此马铃薯根系长度测量起来极为繁琐。
发明内容
为了解决马铃薯等浅根系作物的根系长度人工测量难度大，任务耗时长、工作量大、繁琐、效率低等问题，本发明提供一种马铃薯根系长度的数字化测量系统及其测量方法
本发明采用以下技术方案实现：
一种马铃薯根系长度的数字化测量系统，其包括图像采集装置和数据处理装置。图像采集装置用于获取待测的马铃薯根系样本的样本图像；数据处理装置用于根据样本图像测量出马铃薯根系样本的长度。
图像采集装置包括样品台、支架、相机和补光灯。样品台其包括一个呈水平状态的操作平台。操作平台中央包含一个可拆卸的透明的样本安置板，样本安置板上表面为样品区，用于放置待测量的马铃薯根系样本。样本安置板内部包含一个可用于放置纯色背景板的夹层空间。相机和补光灯通过支架固定连接在样品台的正上方。相机用于沿正投影方向采集背景板上的待测目标的样本图像，补光灯用于在相机拍摄过程中提供均匀的环境光线。
数据处理装置与图像采集装置通讯连接，并用于操纵图像采集装置。数据处理装置包括数据采集模块、图像分割模块、系数查询模块，以及长度计算模块。数据采集模块用于获取相机拍摄的样本图像，并提取样本图像拍摄时对应的拍摄信息。图像分割模块中包含一个用于识别根系样本并对识别出的根系样本进行分割的图像分割网络。图像分割网络基于改进的DeepLabV3+网络模型训练得到。图像分割模块用于对输入的样本图像进行特征识别和图像分割，进而输出一个分割后的仅包含根系部分的目标图像。系数查询模块中预设有用于表征相机在不同拍摄状态下得到的样本图像中像素与真实尺度间的映射关系的像素转换系数表。并用于根据数据采集模块提取到的样本图像的拍摄信息查询得到对应的像素转换系数B。长度计算模块用于先通过Hilditch细化算法对目标图像进行像素优化，并计算出样本图像中马铃薯根系对应的像素表示的根系长度PL；然后结合系数查询模型得到的像素转换系数B，利用公式RL＝B·PL计算出真实的根系长度RL。
作为本发明进一步的改进，图像分割网络选择引入编码器-解码器结构的DeepLabV3+网络模型作为基础模型，并将基础模型中的主干网络Xception替换为MobileNetV2网络。网络模型中采用CARAFE上采样模块替换基础网络中的Upsample by 4上采样模块，对编码器输出的高层次特征和解码器非输出结果进行上采样。并在DCNN输出的低层次特征和编码器的特征连接层后分别增加一个CBAM注意力机制模块。
作为本发明进一步的改进，图像分割网络的工作流程如下：首先，输入的样本图像在编码器部分通过MobileNetV2主干网络提取图像特征。其次，进入空洞空间金字塔池化模块获取图像空间特征信息，并将其传送至CBAM模块。然后，CBAM模块的输入特征层经过通道注意力模块进行池化操作，得到输入特征层每一个通道的权值，并将其施加到空间注意力模块。而空间注意力模块在每一个特征点的通道上取最大值和平均值，之后通过与通道注意力相同的操作，得到输入特征层每一个特征点的权值。再将该权值与原输入特征层进行乘积，并经过卷积处理后获得包含多尺度上下文信息的深层特征。接着，在解码器部分将提取的原始特征送入CBAM模块，经过相同处理后得到包含多尺度上下文信息的浅层特征。最后，通过CARAFE上采样、卷积等操作对融合后的图像进行特征提取，实现对输入的样本图像中马铃薯根系部分进行准确分割。
作为本发明进一步的改进，在图像分割模块中，图像分割网络的训练方法如下：
S1：选择待测马铃薯植株的真实根系样本，对根系样本进行预处理后均匀平铺在图像采集装置的样本安置板上。
S2：分别更换不同的根系样本，并调整根系样本的形态、位置、以及图像采集装置中相机的拍摄参数，获取大量不同的根系样本图像，构成所需的样本数据集。
S3：采用数据集扩增方法对样本数据集中的样本图像的数量进行扩充，然后样本数据集分为训练集和验证集。
S4：通过Labelme图像标记工具对训练集中的马铃薯根系特征部位进行标注；标注后的训练集包括2个语义分类，分别为前景类别和背景类别。
S5：采用预标注的训练集中的样本图像对设计出的所述图像分割网络进行训练：训练过程如下：
S51：将如下的均交并比作为评估分割模型性能的指标，计算公式如下：
Figure BDA0004007978880000031
上式中，k为语义类别总数；TP表示模型预测为根系像素值的准确率，TN表示模型预测为不是根系像素值的准确率；FP表示模型的误报率；FN表示模型预测的漏报率；
S52：预设训练过程中的训练参数设置如下：采用动态学习率，将初始学习率值设为0.1，批次大小设置为16，训练60个轮次。
S53：采用添加标注后的训练集中的样本图像对图像分割网络进行训练；其中，在每轮训练前充数据集中的样本图像顺序重新进行随机排列。
S54：达到预设轮次后结束网络模型的训练过程，并通过验证集对训练后的网络模型进行验证；保留训练完成后的图像分割网络的模型参数。
作为本发明进一步的改进，步骤S3中采用的数据集扩增方法包括图像旋转处理、图像镜像处理和图像增强处理；图像增强处理的方式包括亮度变化、锐度变化和图像模糊。
作为本发明进一步的改进，在系数查询模块中，像素转换系数表的生成方法如下：
(1)通过图像采集装置获取放置在操作平台上的真实的带刻度直尺的图像。
(2)对直尺的图像进行中值滤波处理，并使用迭代式分割方法分割感兴趣区域，寻找直尺上的厘米标记，并利用形态学变换去除毫米标记。
(3)通过拉东变换获得厘米标记在直尺上的水平投影，最后在此投影上确定连相邻厘米标记之间的中间间隔值Di。
(4)根据相邻厘米标记之间的中间间隔值Di与图像中像素之间的对应关系，计算得到“像素—毫米”之间的转换因子，即像素转换系数B，计算公式如下：
Figure BDA0004007978880000041
上式中，Pd为相邻厘米标记间的像素值；Di为相邻厘米标记间的中间间隔值；像素转换系数B的单位为：像素/mm。
(5)调整图像采集设备的拍摄状态，并重复步骤(1)～(4)的步骤，确定不同拍摄状态对应的像素转换系数，并记录拍摄信息与像素转换系数间的映射关系，得到所需的像素转换系数表。
作为本发明进一步的改进，图像采集装置中的支架采用电动的升降支架；补光灯采用多光源的无影灯系统。补光灯位于样本安置板的正上方，各个光源呈环形分布，图像采集装置中的相机位于光源的中央。补光灯的照明区域为下方样品台中的样品区，以使样品区的不同位置在相机中成像时亮度保持均匀。补光灯中的光源采用色温接近自然光的冷光灯。
作为本发明进一步的改进，图像采集装置中还包括一个可折叠的遮光罩，遮光罩在展开状态下呈套筒状，罩合在样本安置板的样品区外周；遮光罩与操作平台间可拆卸连接，遮光罩的内壁上设置有柔光膜。
作为本发明进一步的改进，图像处理装置中包括显示屏以及输入设备；图像处理装置还运行有一个人机交互系统，数字化测量系统通过人机交互系统与操作人员进行交互，以实现由技术人员操纵数字化测量系统的运行过程。
本发明还包括一种马铃薯根系长度的数字化测量方法，前述的马铃薯根系的数字化测量系统基于该马铃薯根系长度的数字化测量方法设计，并用于对马铃薯根系样本的总长度进行数字化测量。本发明提供的马铃薯根系长度的数字化测量方法包括如下步骤：
S01A：搭建一套用于获取待测目标在正投影方向上的样本图像的图像采集设备。
S02A：基于深度学习技术设计一个用于从采集到的样本图像中提取出待测目标物的图像分割网络。
S03A：通过图像采集设备以不同拍摄参数拍摄真实的直尺得到测试图像，并根据测试图像中的物像比计算出图像采集设备在不同拍摄状态下的像素转换系数。
像素转换系数为图像采集设备采用不同拍摄参数条件下拍摄到的样本图像中，像素表征长度与真实长度间的转换因子。
S04A：将待测马铃薯根系样本分割、展平后放置在所述图像采集设备上，调整图像采集设备的拍摄参数以获取具有最佳图像质量的样本图像，并确定当前拍摄参数对应的像素转换系数。
S05A：将样本图像输入到图像分割网络中，由图像分割网络对样本图像进行特征提取的和图像分割，得到图像分割后的根系局部图像。
S06A：采用Hilditch细化算法对获取的根系局部图像进行细化，去除根系局部图像中孤立的干扰像素，并输出根系局部图像对应的像素值。
S07A：获取优化后的根系局部图像中所有根须对应的像素表示的根系长度PL，并通过下式计算真实的根系长度RL：
RL＝B·PL
上式中，B为已知的样本图像中目标的像素长度与真实长度间的像素转换系数。
本发明提供的技术方案，具有如下有益效果：
本发明针对人工测量马铃薯根系长度存在的诸多弊端，利用计算机视觉技术设计了一整套马铃薯根系长度的数字化测量方案，包括对应的数字化测量方法和数字化测量系统。在该数字化测量方法中，主要是设计了一种新的专用于马铃薯根系特征识别与提取的图像分割网络。该网络模型具有鲁棒性强、模型训练时间短、参数少等特点，并在马铃薯这种须根较多作物的样本图像分割中表现出精度高、分割速率快等优势。同时，本发明还通过对图像采集设备的设计和测试，准确生成了不同样本图像的拍摄模式下，待测目标在样本图像中的像素长度和真实尺度间的映射关系。在本发明的方案中，可以根据图像分割网络分割出来的马铃薯根系局部图像以及对应额样本图像的像素转换系数，快速、准确地计算出样本图像中包含的所有根系样本的总长度。
本发明提供的数字化测量方法，能够通过一次测量任务，同时测量出多条根系的总长度。并且测量过程中无需操作人员进行操作或运算处理；非常便捷、高效。此外，本发明设备的马铃薯根系长度的数字化测量系统在经过重新训练和简单的模型参数调整后，可以用于不同类型马铃薯根系的测量，测量精度高、适应性好，可以广泛应用于农业研究领域中各位作物样本长度的测量中，实用性较强。
本发明提供的数字化测量系统中，还对采集待测目标样本图像的图像采集装置进行了优化设计，新设计的图像采集装置可以准确获取待测目标在正投影方向上的图像。并通过巧妙的结构设计和优化的光线控制，使得拍摄出的样本图像质量得到明显提升，样本图像的亮度均匀，待测目标与背景对比度强，图像边缘无畸变；因而可显著提升数字化测量方案的测量精度，达到媲美甚至超越手动测量精度的程度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中提供的一种马铃薯根系长度的数字化测量方法的步骤流程图。
图2为本发明实施例2中提供的一种马铃薯根系长度的数字化测量系统的结构示意图。
图3为本发明实施例2中数据处理中各功能模型的原理框架图。
图4为经典的DeepLabV3+网络模型的网络架构图。
图5为DeepLabV3+网络中空洞空间卷积池化金字塔模块的功能原理图。
图6为本发明实施例2中基于DeepLabV3+网络改进的图像分割网络的网络架构图。
图7为本发明实施例2中改进后的图像分割网络中采用的CBAM注意力机制功能模块的功能原理图。
图8为本发明实施例2中图像分割网络的网络训练过程的步骤示意图。
图9为对样本数据集中的原始图像进行镜像和旋转处理的案例图。
图10为对样本数据集中的原始图像进行图像增强处理的案例图。
图11为像素转换系数表生成方法的流程图。
图12为性能测试阶段搭建的图像采集装置的简易设备图片。
图13为性能测试阶段搭建的数据处理装置中计算机系统的登录界面。
图14为性能测试阶段搭建的数据处理装置中计算机系统的计算界面。
图15为性能测试阶段利用Labelme图像标记工具对样本图像进行标记的示意图。
图16为性能测试阶段图像分割网络在训练阶段的损失值曲线。
图17为性能测试阶段仅包含主根系的样本图像经图像分割网络处理后的案例图。
图18为性能测试阶段包含主根和侧根的复杂根系的样本图像经图像分割网络处理后的案例图。
图19性能测试阶段利用Hilditch细化算法对分割出的根系局部图像进行喜欢处理的案例图。
图20为本发明实施例2中的数字化测量方案与手动测量方案的测量精度拟合曲线。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种马铃薯根系长度的数字化测量方法，其用于对马铃薯根系样本的总长度进行数字化测量。该测量方法不同与常规的人工测量方案，技术人员在测量时只需要将待测量的样本进行清洗、干燥再进行分割处理，然后以平铺的状态采集得到根系样本的样本图像，再按照预设的处理流程，对样本图像进行数据处理，就可以得到根系样本的长度测量结果。
该测量方案的一个最突出的优势在于：该方法可以同时对大量的根系样本进行同步测量，在处理具有丰富根系的作物样本时只需要拍一张照片就可以测量出作物样本的长度测量结果。因而可以大大提高马铃薯根系样本的测量效率。降低技术人员的工作负荷和劳动强度。该方案是一种快速、高效的自动化测量方案。
具体地，如图1所示，本实施例提供的马铃薯根系长度的数字化测量方法包括如下步骤：
S01A：搭建一套用于获取待测目标在正投影方向上的样本图像的图像采集设备。
S02A：基于深度学习技术设计一个用于从采集到的样本图像中提取出待测目标物的图像分割网络。
S03A：通过图像采集设备以不同拍摄参数拍摄真实的直尺得到测试图像，并根据测试图像中的物像比计算出图像采集设备在不同拍摄状态下的像素转换系数。
像素转换系数为图像采集设备采用不同拍摄参数条件下拍摄到的样本图像中，像素表征长度与真实长度间的转换因子。
S04A：将待测马铃薯根系样本分割、展平后放置在所述图像采集设备上，调整图像采集设备的拍摄参数以获取具有最佳图像质量的样本图像，并确定当前拍摄参数对应的像素转换系数。
S05A：将样本图像输入到图像分割网络中，由图像分割网络对样本图像进行特征提取的和图像分割，得到图像分割后的根系局部图像。
S06A：采用Hilditch细化算法对获取的根系局部图像进行细化，去除根系局部图像中孤立的干扰像素，并输出根系局部图像对应的像素值。
S07A：获取优化后的根系局部图像中所有根须对应的像素表示的根系长度PL，并通过下式计算真实的根系长度RL：
RL＝B·PL
上式中，B为已知的样本图像中目标的像素长度与真实长度间的像素转换系数。
实施例2
本实施例提供一种马铃薯根系长度的数字化测量系统，该型数字化测量系统即为基于实施例1中的数字化测量方法而设计出的对应的测量设备。如图2所示，该数字化测量系统包括图像采集装置和数据处理装置。图像采集装置用于获取待测的马铃薯根系样本的样本图像；数据处理装置用于根据样本图像测量出马铃薯根系样本的长度。
图像采集装置包括样品台、支架、相机和补光灯。样品台其包括一个呈水平状态的操作平台。操作平台中央包含一个可拆卸的透明的样本安置板，样本安置板上表面为样品区，用于放置待测量的马铃薯根系样本。样本安置板内部包含一个可用于放置纯色背景板的夹层空间。相机和补光灯通过支架固定连接在样品台的正上方。相机用于沿正投影方向采集背景板上的待测目标的样本图像，补光灯用于在相机拍摄过程中提供均匀的环境光线。
数据处理装置与图像采集装置通讯连接，并用于操纵图像采集装置。在实际的产品方案中，数据处理装置可以作为图像采集装置的一个上位机，上位机接收图像采集装置采集到的样本数据，并通过运行特定的计算程序以实现对样本数据进行处理，输出对应的测量结果的目的。按照功能模块划分，数据处理装置的功能模型架构大致如图3所示，数据处理装置包括数据采集模块、图像分割模块、系数查询模块，以及长度计算模块。
在本实施例设计的数据处理装置中，数据采集模块用于获取相机拍摄的样本图像，并提取样本图像拍摄时对应的拍摄信息。图像分割模块中包含一个用于识别根系样本并对识别出的根系样本进行分割的图像分割网络。图像分割网络基于改进的DeepLabV3+网络模型训练得到。图像分割模块用于对输入的样本图像进行特征识别和图像分割，进而输出一个分割后的仅包含根系部分的目标图像。系数查询模块中预设有用于表征相机在不同拍摄状态下得到的样本图像中像素与真实尺度间的映射关系的像素转换系数表。并用于根据数据采集模块提取到的样本图像的拍摄信息查询得到对应的像素转换系数B。长度计算模块用于先通过Hilditch细化算法对目标图像进行像素优化，并计算出样本图像中马铃薯根系对应的像素表示的根系长度PL；然后结合系数查询模型得到的像素转换系数B，利用公式RL＝B·PL计算出真实的根系长度RL。
在本实施例提供的技术方案中，DeepLabV3+是一种基于深度卷积神经网络的语义分割模型，该网络能实现对图像的像素级分割。传统的DeepLabV3+网络模型的网络架构大致如图4所示，与其它的语义分割网络相比，DeepLabV3+网络模型中引入了编码器-解码器(Encoder-Decoder)结构，同时将空洞空间金字塔池化(Atrous Spatial PyramidPooling，ASPP)方法与编解码结构进行融合，充分挖掘上下文多尺度特征信息，提取更多的像素信息，以便更好的捕捉物体边界。
DeepLabv3+语义分割网络整体架构分为编码器(Encoder)和解码器(Decoder)两部分。该网络先经过编码器部分，在该部分，输入的样本图像首先经过主干网络进行特征提取，获得深层特征和浅层特征。在经过空洞空间卷积池化金字塔(ASPP)模块，以不同膨胀率的空洞卷积对深层的特征图进行语义信息提取，在通过一个1×1卷积层进行通道数的调整，得到样本图像的深层语义特征信息，并传输至解码器模块处理。
解码器部分首先从主干网络提取浅层特征，通过1×1卷积对浅层次特征图进行卷积，减少其通道数，在对编码器输出的深层特征进行上采样以提高图像分辨率，然后将所处理的浅层特征与深层特征进行融合，经过3×3卷积提取特征，实现样本图像的分割。
空洞空间金字塔池化模块是DeepLabv3+语义分割网络的一个重要分支，它以不同膨胀率的空洞卷积提高网络的感受野，实现多尺度特征提取。ASPP模块由4个卷积并行和池化层组成，其中4个并行卷积分别是一个1×1的标准卷积和膨胀率分别为6、12、18的3个3×3的空洞卷积。ASPP模块将空洞卷积得到的结果进行融合，减小信息丢失率，以多种比例提取上下文语义特征信息。ASPP模块结构如图5所示。
以Hh n(x)表示卷积操作，h表示卷积核大小，n表示空洞大小，用Q(x)表示池化，ASPP的输出表示为：
Y＝H1 1(x)+H3 6(x)+H3 12(x)+H3 18(x)+Q(x)
本实施例利用DeepLabV3+在图像分割中优异性能，对其进行进一步改进，以提高网络模型在马铃薯根系分割中图像分割精度和数据处理速率。改进后的网络模型则如图6所示。具体地，改进后的图像分割网络选择引入编码器-解码器结构的DeepLabV3+网络模型作为基础模型，并将基础模型中的主干网络Xception替换为MobileNetV2网络。网络模型中采用CARAFE上采样模块替换基础网络中的Upsample by 4上采样模块，对编码器输出的高层次特征和解码器非输出结果进行上采样。并在DCNN输出的低层次特征和编码器的特征连接层后分别增加一个CBAM注意力机制模块。
CARAFE上采样方法是一种通用、轻量级、高效的算子，能够在较大的感知领域内聚合上下文信息，可以对特定的内容进行感知，从而动态生成自适应内核，且计算速度快，易集成到现代网络架构，主要由上采用核预测模块和特征重组模块组成。在每个位置，CARAFE可以利用底层内容信息来预测重组核并在预定义的附近区域内重组特征。
上采样核预测模块负责以内容感知的方式生成重组核。假设上采样倍率为σ，对于尺寸为C×H×W的输入特征图，使用1×1卷积层对通道进行压缩，将其压缩至Cm，得到Cm×H×W特征图，该过程可以减少后续计算量；然后通过大小为kencoder×kencoder的卷积核对上述内容进行编码以生成重组核，得到尺寸为
Figure BDA0004007978880000101
的特征图；将上述得到的特征图重组为
Figure BDA0004007978880000104
并使用softmax函数进行归一化，使得卷积核的权重之和为1。其中，C为输入特征图的长、H和W分别为输入特征图的高和宽；Cm为输入通道数；
Figure BDA0004007978880000102
为输出通道数。
对于每个重组核WL′，特征重组模块通过加权求和算子重组局部区域内的特征。对于位置L′和以L＝(i,j)为中心的正方形区域N＝(XL,kup)，使用下式计算重组的L′处的特征：
Figure BDA0004007978880000103
上式中，WL′为特征重组核；r为kup2；X为原输入特征图。
通过输入特征图与预测的上采样核进行点积运算，获取上采样结果。重组后的特征图比原输入特征图具有更强的语义，可以更好地关注局部区域内相关点信息。与传统的上采样方法相比，CARAFE可以在不同位置使用自适应优化的重组核，且带来很小的参数量和计算量，有助于提高上采样算子的性能。
针对标准Deeplabv3+模型对图像分割的拟合速度慢、目标边缘分割精度不高的问题，本实施例引入如图7所示的CBAM注意力机制对高级特征层和低级特征层进行处理，使模型对输入图像的不同部分给予不同的权重及注意力，提升语义分割网络对特征提取的敏感性和精度。
CBAM注意力机制由通道注意力模块和空间注意力模块组成，其中，通道注意力模块关注图像的哪些特征更有意义，而空间注意力模块重点关注哪个区域的特征更有意义。该模块不仅关注每个通道的比重，而且还关注每个像素点的比重，可以根据输入图像的特征进行自适应优化。此外，CBAM模块的一大优点是轻量级，可以无缝集成到任何神经网络中，实现即插即用。
CBAM模块输入特征层经过通道注意力模块进行池化操作，得到输入特征层每一个通道的权值，并将其施加到空间注意力模块。而空间注意力模块在每一个特征点的通道上取最大值和平均值，之后通过与通道注意力相同的操作，得到输入特征层每一个特征点的权值，最后将该权值与原输入特征层进行乘积，并经过卷积处理后获得包含多尺度上下文信息的深层特征。在解码器部分，将提取的原始特征送入CBAM模块，经过相同处理后得到包含多尺度上下文信息的浅层特征。最后通过上采样、卷积等操作对融合后的图像进行特征提取，实现马铃薯根系图像的准确分割。
同时，为减少模型参数量、提高训练速度，本实施例以轻量级MobileNetV2网络作为模型的主干网络，替换原网络模型中的主干网络Xception。
MobileNetV2网络模型在使用深度可分离卷积的基础上引入了倒置残差模块和线性瓶颈层，大大减少了模型参数量，从而使网络收敛变得更快。该特征提取网络首先通过3×3深度卷积和ReLU6激活函数得到相同维度的特征，以防止非线性层破坏过多的特征信息。在通过1×1卷积和ReLU6处理得到降维后的特征，最后利用1×1卷积进行升维处理。倒置残差模块主要用于改善多层特征信息的有效传输，提高网络的特征提取能力。对于该模块，输入首先经过1×1卷积进行升维，在通过3×3深度卷积提取特征，最后使用1×1卷积对特征进行降维处理，获得特征信息。
本实施例改进后的图像分割网络的工作流程包括如下过程：首先，输入的样本图像在编码器部分通过MobileNetV2主干网络提取图像特征。其次，进入空洞空间金字塔池化模块获取图像空间特征信息，并将其传送至CBAM模块。然后，CBAM模块的输入特征层经过通道注意力模块进行池化操作，得到输入特征层每一个通道的权值，并将其施加到空间注意力模块。而空间注意力模块在每一个特征点的通道上取最大值和平均值，之后通过与通道注意力相同的操作，得到输入特征层每一个特征点的权值。再将该权值与原输入特征层进行乘积，并经过卷积处理后获得包含多尺度上下文信息的深层特征。接着，在解码器部分将提取的原始特征送入CBAM模块，经过相同处理后得到包含多尺度上下文信息的浅层特征。最后，通过CARAFE上采样、卷积等操作对融合后的图像进行特征提取，实现对输入的样本图像中马铃薯根系部分进行准确分割。
在本实施提出的图像分割模块中，如图8所示，图像分割网络的训练方法如下：
S1：选择待测马铃薯植株的真实根系样本，对根系样本进行预处理后均匀平铺在图像采集装置的样本安置板上。
S2：分别更换不同的根系样本，并调整根系样本的形态、位置、以及图像采集装置中相机的拍摄参数，获取大量不同的根系样本图像，构成所需的样本数据集。
S3：采用数据集扩增方法对样本数据集中的样本图像的数量进行扩充，然后样本数据集分为训练集和验证集。
S4：通过Labelme图像标记工具对训练集中的马铃薯根系特征部位进行标注；标注后的训练集包括2个语义分类，分别为前景类别和背景类别。
S5：采用预标注的训练集中的样本图像对设计出的图像分割网络进行训练：训练过程如下：
S51：将如下的均交并比作为评估分割模型性能的指标，计算公式如下：
Figure BDA0004007978880000121
上式中，k为语义类别总数；TP表示模型预测为根系像素值的准确率，TN表示模型预测为不是根系像素值的准确率；FP表示模型的误报率；FN表示模型预测的漏报率；
S52：预设训练过程中的训练参数设置如下：采用动态学习率，将初始学习率值设为0.1，批次大小设置为16，训练60个轮次。
S53：采用添加标注后的训练集中的样本图像对图像分割网络进行训练；其中，在每轮训练前充数据集中的样本图像顺序重新进行随机排列。
S54：达到预设轮次后结束网络模型的训练过程，并通过验证集对训练后的网络模型进行验证；保留训练完成后的图像分割网络的模型参数。
在图像分割网络的训练阶段，步骤S3中采用的数据集扩增方法包括图像旋转处理、图像镜像处理和图像增强处理；图像增强处理的方式包括亮度变化、锐度变化和图像模糊。
图9为对原始图像进行一系列的镜像和旋转处理的案例图像。图7中a部分是原始图像，b部分是对原始图像进行水平镜像处理得到的图像。c部分是对原始图像进行垂直镜像数据得到的图像。d是对原始图像逆时针旋转90°得到的图像，e部分是对原始图像逆时针旋转180°得到的图像，f部分是对原始图像逆时针旋转270°得到的图像。
图10是对原始图像进行一系列的图像增强处理的案例图像。图8中a部分是原始图像，b部分是对原始图像的亮度进行提升后得到的高亮度图像。c部分是对原始图像的亮度进行降低后得到的低亮度图像。d部分是提高原始图像锐度得到的图像。e部分是降低原始图像锐度得到的图像。f部分是对原始图像进行高斯模糊处理后得到的图像。
在图像处理装置的系数查询模块中，如图11所示，像素转换系数表的生成方法如下：
(1)通过图像采集装置获取放置在操作平台上的真实的带刻度直尺的图像。
(2)对直尺的图像进行中值滤波处理，并使用迭代式分割方法分割感兴趣区域，寻找直尺上的厘米标记，并利用形态学变换去除毫米标记。
(3)通过拉东变换(Radon)获得厘米标记在直尺上的水平投影，最后在此投影上确定连相邻厘米标记之间的中间间隔值Di。
(4)根据相邻厘米标记之间的中间间隔值Di与图像中像素之间的对应关系，计算得到“像素—毫米”之间的转换因子，即像素转换系数B，计算公式如下：
Figure BDA0004007978880000131
上式中，Pd为相邻厘米标记间的像素值；Di为相邻厘米标记间的中间间隔值；像素转换系数B的单位为：像素/mm。
(5)调整图像采集设备的拍摄状态，并重复步骤(1)～(4)的步骤，确定不同拍摄状态对应的像素转换系数，并记录拍摄信息与像素转换系数间的映射关系，得到所需的像素转换系数表。
在本实施例中，图2给出的是仅仅是图像采集系统的最简化方案，在进一步的改进中，图像采集装置中的支架采用电动的升降支架；补光灯采用多光源的无影灯系统。补光灯位于样本安置板的正上方，各个光源呈环形分布，图像采集装置中的相机位于光源的中央。补光灯的照明区域为下方样品台中的样品区，以使样品区的不同位置在相机中成像时亮度保持均匀。补光灯中的光源采用色温接近自然光的冷光灯。
此外，图像采集装置中还包括一个可折叠的遮光罩，遮光罩在展开状态下呈套筒状，罩合在样本安置板的样品区外周；遮光罩与操作平台间可拆卸连接，遮光罩的内壁上设置有柔光膜。
在本实施例提供的数字化测量系统的产品方案中，图像处理装置还包括显示屏以及输入设备，如鼠标和键盘。图像处理装置还运行有一个人机交互系统，数字化测量系统通过人机交互系统与操作人员进行交互，以实现由技术人员操纵数字化测量系统的运行过程。
性能测试
为了验证本发明方案的有效性，并测试设计出的数字化测量系统的测量精度等性能，本实施例制定了如下的性能测试方案。
在性能测试方案中，技术人员搭建了相应的相应的数字化测量系统，并以内蒙古察右中旗和四子王旗采集的大马铃薯的根系作为样本，采集样本图像进行网络模型的训练，以及以采集的部分样本为测量目标，对数字化测量系统的性能进行测试。
1、数字化测量系统的搭建
(1)图像采集装置
本实验中搭建的简易的马铃薯根系图像采集装置主要由高清摄像机、笔记本电脑、测量平板，以及固定各设备间相对位置的支架组成。该图像采集装置如图12所示，具体地，将型号为MV-CH050-10UC的相机固定在采集平台顶部，相机最大帧率为74帧/s，分辨率为2448×2048像素。每次取样之后对根系进行冲洗并将其放置在测量平板上，将相机按照预先设定的机位固定于采集平台正上方，并采集根系图像。为确保根系图像与背景形成较好的对比，本实施例将黑色布覆盖在测量平板上作为背景以增强图像对比度。该图像采集装置中未使用补光灯，而是在图像采集期间确保室内光线充足。考虑到室内灯光的影响，在平台顶部用遮光板进行遮光，消除室内灯光对图像采集过程的影响。
(2)数据处理装置
本实验中搭建的数据处理装置以图像采集装置中的笔记本电脑为数据处理的硬件平台。并利用Matlab的GUI界面建立了用于进行马铃薯根系长度测量的计算机系统，该计算机系统中包含可以实施数据采集模块、图像分割模块、系数查询模块，以及长度计算模块等多个不同功能模块对应的完整数据处理过程的计算机程序。本实施例建立的计算机系统的人机交互界面如图13和图14所示，图13为马铃薯根系长度测量的登录界面，图13为马铃薯根系长度测量的计算界面。
2、样本图像及数据集的制作
(1)根系图像的采集
为采集马铃薯的根系样本，技术人员在实验田中随机挖取若干个面积为180cm×90cm土方，土方深为120cm。每个土方包含6株长势均匀的马铃薯植株，其中选取中间的4株完整植株，以每10cm为一层从土表向下依次分层取样。将各土层内的根系同该层土壤一并挖出后过20目网筛，将搜集到的根系装入网袋，使用镊子剔除杂质，用水冲洗，再用滤纸吸干根系样品表面水分，用于测定根系长度。
在本实验中，通过对不同根系样本进行不同角度，不同参数的拍摄，供得到976张不同的样本图像。以上数据作为对数据处理装置中的图像分割网络进行训练的原始数据集。
(2)原始数据集的扩增
对马铃薯根系的图像分割网络进行训练时，需要根系图像作为模型训练集，为避免训练样本不充足而导致模型出现过拟合问题，通常采用图像扩增的方式来增加样本数据量。在此基础上，再利用图像标记工具对根系特征部位进行标注，以制作模型训练用数据集。
在本实验中，依次对原始数据集中的每张图像进行水平镜像、垂直镜像、逆时针旋转90°、逆时针旋转180°、逆时针旋转270°、亮度提升、亮度降低、高锐度处理、低锐度处理，以及高斯模糊处理。同时上述方法将原始数据的样本数扩充10倍。数据集中的图像数量从原始的976张增加到9760张。本实验将9760张样本图像划分为：训练集5856张图片(60％)、验证集1952张图片(20％)、测试集1952张图片(20％)。
(3)训练集制作
本实验利用Labelme图像标记工具对马铃薯根系特征部位进行标注，以便图像分割网络模型可以准确学习各类别根系特征。根据语义分割模型的要求，数据集包括2个语义分类，分别为1个前景类别和1个背景类别。以马铃薯根系结构框架作为学习特征进行标注，将标注获得的json文件数据转换成VOC2007格式，该格式的数据集包括三个部分：ImageSets，JPEGImages，SegmentationClass。
ImageSets文件中的Segmentation下存放三个子文件，分别为表示训练集的train.txt文件、验证集的val.txt文件和训练验证集汇总的trainval.txt文件。JPEGImages文件夹下存放的是所有根系RGB原始图片，以jpg格式存放，并将图片以6位数字编号命名。SegmentationClass文件夹存放的是标签文件，即通过Labelme图像标记工具处理后的马铃薯根系标签图像。采用Labelme图像标记工具对马铃薯根系特征部位进行标注。如图15中，左侧为图像标注界面，中间的图像中浅色系部分表示的是根系标签的部分，其余深色系部分为背景标签，即2个语义分类。右侧的图像是以灰度表示的标签图像。
3、图像分割网络的训练
(1)模型评价指标
利用均交并比(mean intersection over union，mIoU)来评估分割模型性能。mIoU表示每个类别真实像素值与预测像素值的交集于并集之比，计算公式如下：
Figure BDA0004007978880000151
上式中，k为语义类别总数；TP表示模型预测为根系像素值的准确率，即预测为根系，实际也为根系；TN表示模型预测为不是根系像素值的准确率，即预测为不是根系，实际也为不是根系；FP表示模型预测错误，即预测为根系，实际为不是根系，也可表示为误报率；FN表示模型预测错误，即预测不是根系，实际为根系，也可以表示为漏报率。
(2)模型训练环境配置
本实验中选用处理器为24核Intel Xeon Platinum 8168、128G内存、主频2.7GHz、NVIDIA Quadro P6000显卡、24GB显存的深度学习工作站对分割模型进行训练。采用pytorch1.2.0框架对本文分割模型进行搭建和参数调整，模型训练环境配置如表1所示：
表1：模型训练环境配置表
Figure BDA0004007978880000152
Figure BDA0004007978880000161
对本实验改进后的图像分割网络进行训练，根据训练结果调整模型参数。在模型训练中学习率的选取极为重要，较大的学习率使权重参数跨过最优值，而较小的学习率又会使训练的收敛变慢，为选取较合适的学习率，往往在训练过程中实验不同值的学习率，该过程计算量大且耗时。因此，本实验使用学习率随时间动态调整的方法来训练网络。
将初始学习率值设为0.1，批次大小(batch size)设置为16，训练60个世代(epoch)。为保证同一批次在不同轮模型中看到的数据是不同的，每次训练前对数据集进行随机打乱，这不仅可以提高模型的收敛速度，而且可以改善模型在测试集上的预测结果。模型训练结束后打开模型训练日志log，log中包含训练集和验证集的损失函数的变化值。
(3)网络模型训练结果的评价
本实验中，图像分割网络在训练阶段的损失值曲线如图16所示。分析图16中数据可知：网络模型在训练开始后损失值(loss)随着世代(epoch)的增加逐渐下降，训练集和验证集的损失函数值到第50个世代时分别下降至0.103和0.111；之后逐渐趋于稳定，在第60次世代损失函数值最终收敛于0.097和0.103。因此，随着训练次数的增加，训练集和验证集损失值均趋于0.1左右，说明模型得到了较好的损失函数收敛性，这将有利于提高根系图像分割精度。
4、本例采用的图像分割模型与其它方案的对比
(1)主干网络对比
为了验证本实验中设计的基于DeepLabV3+改进的图像分割网络中特征提取网络的有效性，在保证其它参数相同的情况下分别设置对照实验，将本例与基于ResNet50特征提取主干网络构建的模型进行对比实验，结果如表2所示。
表2：不同特征提取主干网络的模型性能对比
Figure BDA0004007978880000162
分析图中数据可知：不同特征提取主干网络均可以对马铃薯根系图像进行有效分割。不过MobileNetV2的训练时间仅为10.2h，较ResNet50减少了3.3h。在分割性能方面，本例采用的MobileNetV2的MIoU可达到92.17％，较ResNet50提高了2.79个百分点。从模型分割效果和训练效率等方面的结果表明，基于MobileNetV2的特征提取网络效果最佳，可以作为本实验中马铃薯根系图像分割模型的主干网络。
(2)目标分割效果对比
为了验证本例基于DeepLabv3+改进后的语义分割模型性能，本实验特别设计对照实验，分别采用简单的主根系的样本图像和包含复杂侧根的样本图像进行根系图像分割处理，将本例的网络模型的分割结果与标准DeeplabV3+分割模型进行了比较。结果如图17和图18所示。
在图17的简单根系样本中，虽然标准DeepLabv3+语义分割模型能够准确地从图像中分割出马铃薯根系，但与本例相比，标准DeepLabv3+语义分割模型在图像的某些部分仍出现了错误分割，图中黄色方框表示一些缺失的根像素，而蓝色方框则表示实验过程中伴随的土壤颗粒。
在图18的复杂根系样本中，原始图像包含了较多的侧根和根毛，而侧根和根毛附近的像素点较稀疏，对比图中黄色方框的分割结果发现，标准的DeepLabv3+语义分割模型丢失了一些根部像素点及细节特征，而本例改进后的网络模型很好地解决了这些问题，改进的DeepLabv3+在无需训练的情况下，对根系图像具有更好的综合分析能力。
此外，在其他条件均保持一致的前提下，本实验还计算了本例模型与标准的DeepLabv3+模型在验证集根图像上的MIOU值。统计结果如表3所示。
表3：不同分割方法在验证集上的性能比较
Figure BDA0004007978880000171
分析上表数据可知：本实验提供的改进后的网络模型的分割效果最佳，MIoU达到93.52％，较标准DeepLabv3+模型提高了2.77个百分点。本实验提供的改进的DeepLabv3+模型可以作为马铃薯根系的图像分割网络模型。
5、图像分割结果的细化
本实施例提供的马铃薯根系长度的数字化测量系统中，长度计算模型在获取分割后的根系局部图像后，首先采用Hilditch细化算法对目标图像进行像素优化，即对识别出的根系部分进行进一步地细化，保证识别出的根系部分更加细致，避免背景像素的干扰。本实验中，Hilditch细化算法对图17中分割的根系局部图像的像素优化结果如图19所示。分析图19的结果可知：细化处理后根系图像保留了几乎所有长度的有效信息，这为根系长度的计算提供了保障。
6、数字化测量方案与人工方案的对比
为验证本实验中数字化方案的测量精度，在性能测量过程中从根系数据集中随机选择50张图像，计算其根系总长度，并与手动测量的根系长度结果进行比较。根据不同方案的测量结果生成如图20所示的拟合曲线。分析图20中数据可知：两种不同测量方案的测量结果对应的曲线拟合的pearson相关系数达到0.967，这说明本例提出的数字化测量方案的可信度较高，测量精度完全能够和人工测量方案相媲美，可以进行实际应用。

Claims (10)

1.一种马铃薯根系长度的数字化测量系统，其特征在于，其包括：
图像采集装置，其包括样品台、支架、相机和补光灯；所述样品台其包括一个呈水平状态的操作平台；所述操作平台中央包含一个可拆卸的透明的样本安置板，所述样本安置板上表面为样品区，用于放置待测量的马铃薯根系样本；所述样本安置板内部包含一个可用于放置纯色背景板的夹层空间；所述相机和补光灯通过支架固定连接在所述样品台的正上方；所述相机用于沿正投影方向采集背景板上的待测目标的样本图像，所述补光灯用于在相机拍摄过程中提供均匀的环境光线；以及
数据处理装置，其与所述图像采集装置通讯连接，并用于操纵所述图像采集装置；所述数据处理装置包括数据采集模块、图像分割模块、系数查询模块，以及长度计算模块；所述数据采集模块用于获取相机拍摄的样本图像，并提取样本图像拍摄时对应的拍摄信息；所述图像分割模块中包含一个用于识别根系样本并对识别出的根系样本进行分割的图像分割网络；所述图像分割网络基于改进的DeepLabV3+网络模型训练得到；所述图像分割模块用于对输入的样本图像进行特征识别和图像分割，进而输出一个分割后的仅包含根系部分的目标图像；所述系数查询模块中预设有用于表征相机在不同拍摄状态下确定的样本图像中像素与真实尺度间的映射关系的像素转换系数表；并用于根据数据采集模块提取到的样本图像的拍摄信息查询得到对应的像素转换系数B；所述长度计算模块用于先通过Hilditch细化算法对所述目标图像进行像素优化，并计算出样本图像中马铃薯根系对应的像素表示的根系长度PL；然后结合系数查询模型得到的像素转换系数B，利用公式RL＝B·PL计算出真实的根系长度RL。
2.如权利要求1所述的马铃薯根系长度的数字化测量系统，其特征在于：所述图像分割网络选择引入编码器-解码器结构的DeepLabV3+网络模型作为基础模型，并将基础模型中的主干网络Xception替换为MobileNetV2网络；网络模型中，采用CARAFE上采样模块替换基础网络中的Upsample by 4上采样模块，对编码器输出的高层次特征和解码器非输出结果进行上采样；并在DCNN输出的低层次特征和编码器的特征连接层后分别增加一个CBAM注意力机制模块。
3.如权利要求2所述的马铃薯根系长度的数字化测量系统，其特征在于：所述图像分割网络的工作流程如下：首先，输入的样本图像在编码器部分通过MobileNetV2主干网络提取图像特征；其次，进入空洞空间金字塔池化模块获取图像空间特征信息，并将其传送至CBAM模块；然后，CBAM模块的输入特征层经过通道注意力模块进行池化操作，得到输入特征层每一个通道的权值，并将其施加到空间注意力模块；而空间注意力模块在每一个特征点的通道上取最大值和平均值，之后通过与通道注意力相同的操作，得到输入特征层每一个特征点的权值；再将该权值与原输入特征层进行乘积，并经过卷积处理后获得包含多尺度上下文信息的深层特征；接着，在解码器部分将提取的原始特征送入CBAM模块，经过相同处理后得到包含多尺度上下文信息的浅层特征；最后，通过CARAFE上采样、卷积等操作对融合后的图像进行特征提取，实现对输入的样本图像中马铃薯根系部分进行准确分割。
4.如权利要求2所述的马铃薯根系长度的数字化测量系统，其特征在于：在所述图像分割模块中，图像分割网络的训练方法如下：
S1：选择待测马铃薯植株的真实根系样本，对根系样本进行预处理后均匀平铺在所述图像采集装置的样本安置板上；
S2：分别更换不同的根系样本，并调整根系样本的形态、位置、以及图像采集装置中相机的拍摄参数，获取大量不同的根系样本图像，构成所需的样本数据集；
S3：采用数据集扩增方法对样本数据集中的样本图像的数量进行扩充，然后样本数据集分为训练集和验证集；
S4：通过Labelme图像标记工具对训练集中的马铃薯根系特征部位进行标注；标注后的训练集包括2个语义分类，分别为前景类别和背景类别；
S5：采用预标注的训练集中的样本图像对设计出的所述图像分割网络进行训练：训练过程如下：
S51：将如下的均交并比作为评估分割模型性能的指标，计算公式如下：
Figure FDA0004007978870000021
上式中，k为语义类别总数；TP表示模型预测为根系像素值的准确率，TN表示模型预测为不是根系像素值的准确率；FP表示模型的误报率；FN表示模型预测的漏报率；
S52：预设训练过程中的训练参数设置如下：采用动态学习率，将初始学习率值设为0.1，批次大小设置为16，训练60个轮次；
S53：采用添加标注后的训练集中的样本图像对所述图像分割网络进行训练；其中，
在每轮训练前充数据集中的样本图像顺序重新进行随机排列；
S54：达到预设轮次后结束网络模型的训练过程，并通过验证集对训练后的网络模型进行验证；保留训练完成后的图像分割网络的模型参数。
5.如权利要求4所述的马铃薯根系长度的数字化测量系统，其特征在于：步骤S3中，采用的数据集扩增方法包括图像旋转处理、图像镜像处理和图像增强处理；图像增强处理的方式包括亮度变化、锐度变化和图像模糊。
6.如权利要求1所述的马铃薯根系长度的数字化测量系统，其特征在于：在所述系数查询模块中，像素转换系数表的生成方法如下：
(1)通过图像采集装置获取放置在操作平台上的真实的带刻度直尺的图像；
(2)对直尺的图像进行中值滤波处理，并使用迭代式分割方法分割感兴趣区域，寻找直尺上的厘米标记，并利用形态学变换去除毫米标记；
(3)通过拉东变换获得厘米标记在直尺上的水平投影，最后在此投影上确定连相邻厘米标记之间的中间间隔值Di；
(4)根据相邻厘米标记之间的中间间隔值Di与图像中像素之间的对应关系，计算得到“像素—毫米”之间的转换因子，即像素转换系数B，计算公式如下：
Figure FDA0004007978870000031
上式中，Pd为相邻厘米标记间的像素值；Di为相邻厘米标记间的中间间隔值；像素转换系数B的单位为：像素/mm；
(5)调整图像采集设备的拍摄状态，并重复步骤(1)～(4)的步骤，确定不同拍摄状态对应的像素转换系数，并记录拍摄信息与像素转换系数间的映射关系，得到所需的像素转换系数表。
7.如权利要求1所述的马铃薯根系长度的数字化测量系统，其特征在于：所述图像采集装置中的支架采用电动的升降支架；补光灯采用多光源的无影灯系统；所述补光灯位于样本安置板的正上方，各个光源呈环形分布，图像采集装置中的相机位于光源的中央；所述补光灯的照明区域为下方样品台中的样品区，以使样品区的不同位置在相机中成像时亮度保持均匀；所述补光灯中的光源采用色温接近自然光的冷光灯。
8.如权利要求1所述的马铃薯根系长度的数字化测量系统，其特征在于：所述图像采集装置中还包括一个可折叠的遮光罩，所述遮光罩在展开状态下呈套筒状，罩合在样本安置板的样品区外周；所述遮光罩与操作平台间可拆卸连接，遮光罩的内壁上设置有柔光膜。
9.如权利要求1所述的马铃薯根系长度的数字化测量系统，其特征在于：所述图像处理装置中包括显示屏以及输入设备；图像处理装置还运行有一个人机交互系统，所述数字化测量系统通过人机交互系统与操作人员进行交互，以实现由技术人员操纵数字化测量系统的运行过程。
10.一种马铃薯根系长度的数字化测量方法，其特征在于：权利要求1-9中任意一项所述的马铃薯根系的数字化测量系统即为采用所述马铃薯根系长度的数字化测量方法的思路设计的产品；所述马铃薯根系长度的数字化测量方法包括如下步骤：
S01A：搭建一套用于获取待测目标在正投影方向上的样本图像的图像采集设备；
S02A：基于深度学习技术设计一个用于从采集到的样本图像中提取出待测目标物的图像分割网络；
S03A：通过图像采集设备以不同拍摄参数拍摄真实的直尺得到测试图像，并根据测试图像中的物像比计算出图像采集设备在不同拍摄状态下的像素转换系数；
所述像素转换系数为图像采集设备采用不同拍摄参数条件下拍摄到的样本图像中，像素表征长度与真实长度间的转换因子；
S04A：将待测马铃薯根系样本分割、展平后放置在所述图像采集设备上，调整图像采集设备的拍摄参数以获取具有最佳图像质量的样本图像，并确定当前拍摄参数对应的像素转换系数；
S05A：将样本图像输入到所述图像分割网络中，由图像分割网络对样本图像进行特征提取的和图像分割，得到图像分割后的根系局部图像；
S06A：采用Hilditch细化算法对获取的根系局部图像进行细化，去除根系局部图像中孤立的干扰像素，并输出根系局部图像对应的像素值；
S07A：获取优化后的根系局部图像中所有根须对应的像素表示的根系长度PL，并通过下式计算真实的根系长度RL：
RL＝B·PL
上式中，B为已知的样本图像中目标的像素长度与真实长度间的像素转换系数。
CN202211642166.4A 2022-12-20 2022-12-20 一种马铃薯根系长度的数字化测量系统及其测量方法 Pending CN116129096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211642166.4A CN116129096A (zh) 2022-12-20 2022-12-20 一种马铃薯根系长度的数字化测量系统及其测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211642166.4A CN116129096A (zh) 2022-12-20 2022-12-20 一种马铃薯根系长度的数字化测量系统及其测量方法

Publications (1)

Publication Number Publication Date
CN116129096A true CN116129096A (zh) 2023-05-16

Family

ID=86303682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211642166.4A Pending CN116129096A (zh) 2022-12-20 2022-12-20 一种马铃薯根系长度的数字化测量系统及其测量方法

Country Status (1)

Country Link
CN (1) CN116129096A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661530A (zh) * 2023-07-31 2023-08-29 山西聚源生物科技有限公司 食用菌工厂化栽培中的智能控制系统及方法
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661530A (zh) * 2023-07-31 2023-08-29 山西聚源生物科技有限公司 食用菌工厂化栽培中的智能控制系统及方法
CN116661530B (zh) * 2023-07-31 2023-09-29 山西聚源生物科技有限公司 食用菌工厂化栽培中的智能控制系统及方法
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Similar Documents

Publication Publication Date Title
CN116129096A (zh) 一种马铃薯根系长度的数字化测量系统及其测量方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN110472575B (zh) 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN110569747A (zh) 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN106709917A (zh) 神经网络模型训练方法、装置及系统
CN110414738B (zh) 一种农作物产量预测方法及系统
CN102308306A (zh) 用于图像分离的约束生成器
CN113919442B (zh) 一种基于卷积神经网络烟叶成熟度状态识别方法
CN108229576A (zh) 一种跨倍率病理图像特征学习方法
CN111814545A (zh) 作物识别方法、装置、电子设备及存储介质
Wang et al. Underwater image quality optimization: Researches, challenges, and future trends
CN113643297A (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN114299379A (zh) 一种基于高动态影像的阴影区植被覆盖度提取方法
CN117522862A (zh) 一种基于ct影像肺炎识别的图像处理方法及处理系统
CN117079197A (zh) 一种智慧工地管理方法及系统
US11334963B2 (en) Devices, systems and methods for digital image analysis
CN111899214A (zh) 一种病理切片扫描分析装置及病理切片扫描方法
CN111046901A (zh) 一种骨龄图像数字化处理后自动识别方法
Yu et al. Application of improved UNet and EnglightenGAN for segmentation and reconstruction of in situ roots
CN110348404B (zh) 一种农村道路景观视觉评价分析方法
CN114582017A (zh) 手势数据集合的生成方法及生成系统、存储介质
Chen et al. Improving fractional vegetation cover estimation with shadow effects using high dynamic range images
Yerra A SCENE STATISTICAL APPROACH TO ENHANCE THE LOW-LIGHT IMAGES
CN115205853B (zh) 一种基于图像的柑橘果实检测与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination