CN117433449A - 一种基于根盒的植物地上部与地下部表型联合鉴定方法 - Google Patents

一种基于根盒的植物地上部与地下部表型联合鉴定方法 Download PDF

Info

Publication number
CN117433449A
CN117433449A CN202311751637.XA CN202311751637A CN117433449A CN 117433449 A CN117433449 A CN 117433449A CN 202311751637 A CN202311751637 A CN 202311751637A CN 117433449 A CN117433449 A CN 117433449A
Authority
CN
China
Prior art keywords
root
image
plant
crop
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311751637.XA
Other languages
English (en)
Other versions
CN117433449B (zh
Inventor
刘守阳
张如雷
韩瑞玺
傅秀清
王松寒
丁艳锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanya Research Institute Of Nanjing Agricultural University
Nanjing Agricultural University
Original Assignee
Sanya Research Institute Of Nanjing Agricultural University
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanya Research Institute Of Nanjing Agricultural University, Nanjing Agricultural University filed Critical Sanya Research Institute Of Nanjing Agricultural University
Priority to CN202311751637.XA priority Critical patent/CN117433449B/zh
Publication of CN117433449A publication Critical patent/CN117433449A/zh
Application granted granted Critical
Publication of CN117433449B publication Critical patent/CN117433449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • A01G7/04Electric or magnetic or acoustic treatment of plants for promoting growth
    • A01G7/045Electric or magnetic or acoustic treatment of plants for promoting growth with electric lighting
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/02Receptacles, e.g. flower-pots or boxes; Glasses for cultivating flowers
    • A01G9/029Receptacles for seedlings
    • A01G9/0293Seed or shoot receptacles
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/14Greenhouses
    • A01G9/16Dismountable or portable greenhouses ; Greenhouses with sliding roofs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/08Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Botany (AREA)
  • Computing Systems (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Forests & Forestry (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于根盒的植物地上部与地下部表型联合鉴定方法,该方法基于作物表型信息监测装置,方法包括如下步骤:将营养土装入根盒中,将根盒放在根盒支架上;将作物种子放置在根盒中,种子长到一定程度,对作物进行表型数据的获取;将相机连接到电脑端,将作物的实时图像显示在屏幕上;将获取到的地上部和地下部图像进行标注;利用Segformer神经网络训练模型对地下部进行训练;利用U‑Net方法对地上部进行分割;对模型训练后图像进行预测,得到作物地下部的分割图;对U‑Net方法分割后图像进行预测,得到作物地上部的分割图;对地下部和地上部的分割图进行性状提取;对上述步骤得到的结果,采用关联分析方法找到各性状之间的关系。

Description

一种基于根盒的植物地上部与地下部表型联合鉴定方法
技术领域
本发明涉及一种基于根盒的植物地上部与地下部表型联合鉴定方法,属于作物表型技术领域。
背景技术
作物主要包括地上部和地下部两部分,地上部主要包括茎、叶、花、果实、种子,地下部主要包括根系,也包括块茎、鳞茎等。作物的地上部生长与地下部生长的关系非常密切,根系如果生长不好,则地上部的生长会受到很大影响;相反,地上部的生长对根系的生长也有重要作用。同时获取作物的地上部和地下部表型信息可以帮助我们更好地理解作物的整体生长状态、资源分配、生理生化特征等。
目前,同时获取作物地上部和地下部的表型信息,需要在不同的环境条件下进行操作,如野外、田间等,因此操作难度较大,需要有经验的技术人员进行操作;同时获取作物地上部和地下部的表型信息需要考虑到不同的因素,如光线、天气、土壤质量等,这些因素可能会对数据的质量和准确性造成影响;当前对作物地上部和地下部表型信息的获取,需要采用多种技术和设备,如无人机、电子计算机断层扫描(CT)和磁共振成像(MRI)技术,但其价格高昂、效率低。
因此,开发一种能够同时获取作物地上部和地下部表型信息的装置以及方法,可以帮助我们更全面、精细地了解作物的生长发育和适应性,为作物的管理和优化提供指导,同时也可以为基于植物表型数据的研究提供更全面的数据支持。
发明内容
针对上述技术问题,本发明提供一种用于基于根盒的植物地上部与地下部表型联合鉴定方法,该方法基于监测装置来实现,监测装置通过设计一种暗室环境以及一种半自动化系统,将每次拍照的光照条件设为一致,同时使用两个照相机分别获取作物的根系与地上部数据,并将数据实时显示在屏幕上,从而选择合适的照片进行存储。
为实现上述目的,本发明采取以下技术方案:
一种基于根盒的植物地上部与地下部表型联合鉴定方法,包括如下步骤:
步骤一:设置一作物表型信息监测装置,该装置包括:机架,机架为框架结构,机架的一个侧面装配有遮光推拉门,顶面和其余三个侧面均装配有遮光布,以形成监测室;根盒,通过根盒支架倾斜设置在监测室内,用于放置作物;机架分为上下两层,上下层分别滑动设置有一RGB相机,用于拍摄作物的地下部和地上部;光源模块,设置于监测室内,包括若干视觉灯,用于在采集作物表型数据时进行补光;传感器模块,设置于监测室内,用于实时观察作物在生长过程中的环境条件;PC端,与RGB相机连接,实时显示通过RGB相机获得的作物表型信息数据;
步骤二:将营养土装入根盒中,通过根盒顶端向营养土中输送水分,将根盒放在根盒支架上;
步骤三:将作物种子放置在根盒中,保证水分和养分的供应,种子萌发后使用日光灯提供适宜时间的光照,待作物地上部和根长生长到一定程度时进行表型数据的获取;
步骤四:将根盒放置在监测室内,打开光源,调节到合适的亮度,关闭推拉门,减少外部光源的影响,保证获取数据时环境的一致性;
步骤五:将RGB相机连接到PC端,通过已下载的MVS软件,将作物的实时图像显示在屏幕上,选择显示作物的地上部图像、地下部图像或者两者同时显示;
步骤六:选择合适的图像进行获取,储存在PC端;
步骤七:将获取到的地上部和地下部图像进行标注,为方便模型训练,将图像裁剪成一定尺寸,获得对应的标注;
步骤八:利用Segformer神经网络训练模型对作物地下部的图像进行训练;利用U-Net方法对作物地上部的图像进行分割;
步骤九:对Segformer神经网络训练模型训练后图像进行预测,得到作物地下部的分割图;对U-Net方法分割后图像进行预测,得到作物地上部的分割图;
步骤十:利用python对地下部的分割图进行性状提取,得到包括根系长度、根系直径、根系凸包、根系表面积在内的多种性状;利用python对地上部的分割图进行性状提取,得到包括株宽、株高、估计生物量B、投影系数A、叶片面积在内的多种性状;
步骤十一:对上述步骤十得到的结果,采用关联分析方法找到各性状之间的关系;或者对植株采用不同的处理方法,观察植株性状与实验处理之间的相关性。
本发明由于采取以上技术方案,其具有以下优点:
1、本发明通过将种子萌发后的根盒放置在成像舱,同时利用相机,显示屏,视觉灯等采集作物图像,可以实时,无损的获取地上部和地下部在内的作物表型信息。
2、本发明的监测过程在检测室(暗室)内完成,不受外界风力的影响,且自带光源系统,监测不受外界光源影响,确保监测环境的一致性,监测的稳定性高;
3、本发明装置满足半自动化要求,可以采集作物表型的实时图像。
附图说明
图1为本发明一实施例提供的用于获取作物表型信息的成像装置示意图;
图2为本发明该实施例提供的作物地上部分割图;
图3为本发明该实施例提供的作物地下部的根系分割图;
图4为本发明第二实施例提供的番茄根系分割图;
图5为本发明第二实施例提供的番茄根系分割图骨架化的特征效果图;
图6为本发明第二实施例提供的番茄根系密度热力绘制图;
图7为本发明第三实施例提供的使用2龄南方根结线虫对番茄进行侵染,诱导番茄根系产生根结,通过成像装置对番茄植株地上部和地下部的成像图;
图8为本发明第三实施例提供的使用2龄南方根结线虫对番茄进行侵染,诱导番茄根系产生根结,对根结进行不同处理的示意图,其中a为原图,b为实例分割效果图,c为语义分割效果图,d为目标检测效果图;
图中各标记如下:
1-机架;2-根盒;3-RGB相机;4-幕布;5-番茄生长方向。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”、“第三”、“第四”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
为了便于描述,可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系,这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
目前,同时获取作物地上部和地下部的表型信息,需要在不同的环境条件下进行操作,如野外、田间等,因此操作难度较大,需要有经验的技术人员进行操作;同时获取作物地上部和地下部的表型信息需要考虑到不同的因素,如光线、天气、土壤质量等,这些因素可能会对数据的质量和准确性造成影响;当前对作物地上部和地下部表型信息的获取,需要采用多种技术和设备,如无人机、电子计算机断层扫描(CT)和磁共振成像(MRI)技术,但其价格高昂、效率低。
针对上述问题,本发明提供一种基于根盒的植物地上部与地下部表型联合鉴定方法,本发明通过将种子萌发后的根盒放置在成像舱,同时利用相机、显示屏、视觉灯等采集作物图像,可以实时,无损的获取地上部和地下部在内的作物表型信息。
下面结合附图对本发明进行详细阐释。
如图1所示,本发明所提供的用于获取作物表型信息的监测装置,包括:
机架1,机架1为长方形框架结构,尺寸为210cm×190cm×90cm,主要可分为四个部分,上下层分别为140cm和70cm,上下层分别放置一个RGB相机3,上层相机用于待检测样品地上部的成像;下层相机用于待检测样品地下部(根)的检测;左右两侧分别为70cm和120cm,左侧用于根盒2的放置,右侧用于相机的放置及成像;整个机架1除正面和底面外其余四侧均被黑色遮光布覆盖,正面一侧由蓝色推拉门遮挡(蓝色推拉门在成像时关闭,减少装置外部光源的影响),内部铝材表面均覆盖有防反光材料。机架1是由铝合金材料制成,铝合金材料均被具有吸光能力的黑色胶布遮挡,减少光的反射。
根盒2和根盒培养架,根盒2设置于监测室左下侧,用于放置待检测样品,放置根盒2的铝型材支撑架为45º倾斜,以便同时检测地上部和地下部。根盒2的尺寸为90cm×50cm×1.5cm,两层均使用亚克力板,亚克力板厚度为0.5cm,两侧及底部用螺丝进行固定,上层亚克力板固定有遮光板,底部用海绵遮挡,下层亚克力板为透明状态,方便地下部分的成像,通过夹子固定有遮光板,保证在作物在生长过程中不受光照的影响,使用过程中,夹子可进行拆卸。根盒培养架,用于支撑根盒2,其由多根立柱以及连接各立柱的地板构成,立柱斜30º进行倾斜,方便根系在生长过程中沿下侧亚克力板进行生长;根盒培养架放在一个可移动的水槽中,根盒培养架的上层有一排日光灯提供光照,可以通过定时控制植物受光时间的长短;将日光灯设置为滑轨模式,可以保证作物在生长过程中与灯光的距离;在靠近根盒2的位置有一排浇水泵,可以控制每次浇水的时间和流量以及每次浇水间隔的时间;根盒培养架的四周装有白色窗纱,可以保证作物在生长过程中免受粉虱等害虫的侵害;根盒2放置处上下两侧各有两个直角固定器,底部有两个铝合金制的45º根盒支架,用于支撑根盒2。
监测模块和拍摄模块,共设置两个RGB成像相机,设置于监测室右侧的上下两层,相机分辨率大小为5496x3672,在使用过程中,下层相机固定在距根盒支撑处85cm的位置,可以通过相机的位置移动和角度变换更改成像的视角与大小;相机可以随着作物的生长向后移动,保证每次拍照时成像的清晰度,同时在上层相机与根盒支撑处标好刻度,记录每一次拍照时相机与目标的距离,同时相机成像时,在目标右侧设置了刻度,可以记录目标的具体高度,在后续进行分析时可以利用实际刻度与像素值获取每一个像素值的实验具体数值。本发明装置可以保证地上部长70cm,宽50cm的成像,若作物尺寸超过,可以考虑适当增加本装置的体积。拍摄模块在进行地上部的成像时,将一块黑色幕布作为背景板,控制成像时的背景一致,同时减少成像过程中的反光现象。
光源模块,共设置五个视觉灯,两个设置根盒2的两侧,两个设置在上层中间铝合金材料的两侧,一个放置在根盒2的底部下侧,上侧视觉灯为45º倾斜,用于保证成像时光照条件的均一性。设置一个数字光源控制器,放置在监测室的右侧,上述装置用于调节成像时的光照条件。
显示模块,监测室外侧悬挂一个显示屏,通过与电脑连接用于捕捉显示待检测样品的图像。显示模块在连接电脑时,使用具有千兆网卡的电脑,保证数据传输的稳定;所述显示屏幕连接在检测室外侧一根铝合金柱上,可以旋转90º。
传感器模块,在室内环境中添加温度传感器,湿度传感器,照度传感器,在根盒中添加温度传感器,可以实时观察作物在生长过程中的环境条件,以便及时做出调整,同时可以将上述条件记录在手机上,并可以直接导出,方便后续数据分析。
下面结合具体实例对本发明的技术方案进行详细阐明。
在使用本监测装置时,具体的使用步骤如下;
步骤一:将营养土装入根盒中,通过根盒顶端向营养土中输送水分,将根盒放在根盒支架上;
步骤二:将作物种子放置在根盒中,保证水分和养分的供应,种子萌发后使用日光灯提供适宜时间的光照,待作物地上部和根长生长到一定程度时进行表型数据的获取;
步骤三:将根盒放置在监测室内,打开光源,调节到合适的亮度,关闭推拉门,减少外部光源的影响,保证获取数据时环境的一致性;
步骤四:将RGB相机连接到PC端,通过已下载的MVS软件,将作物的实时图像显示在屏幕上,选择显示作物的地上部图像、地下部图像或者两者同时显示;
步骤五:选择合适的图像进行获取,储存在PC端;
步骤六:将获取到的地上部和地下部图像进行标注,为方便模型训练,将图像裁剪成一定尺寸,获得对应的标注;
步骤七:利用Segformer神经网络训练模型,按照模型的要求,将标注好的图像与原图放在对应的文件中,训练集与测试集在一个文件夹中,验证集在另外一个文件夹中,按照一定的比例进行划分,同时在模型训练过程中,训练集与测试集按照一定的比例随机划分,尽可能减少模型训练的误差;利用U-Net方法对作物进行分割;
步骤八:对Segformer神经网络训练模型训练后图像进行预测,得到作物地下部的分割图;对U-Net方法分割后图像进行预测,得到植株地上部的分割图;
步骤九:利用python对地下部的分割图进行性状提取,得到包括根系长度、根系直径、根系凸包、根系表面积在内的多种性状;利用python对地上部的分割图进行性状提取,得到包括株宽、株高、估计生物量B、投影系数A、叶片面积在内的多种性状;
步骤十:对上述步骤十得到的结果,采用关联分析方法找到各性状之间的关系;或者对植株采用不同的处理方法,观察植株性状与实验处理之间的相关性。
本发明使用两种不同的深度学习方法,对由根盒2所得到的两种图像进行分割。
针对地上部植株,使用U-Net方法(已知方法),这种方法具有强大的图像分割能力、对样本需求少、可扩展性和训练效率高等优点,只需要进行少量的标注既可以获取较为满意的结果。本发明只使用了248张512*512的地上部图像,所得到的loss值为0.081,F1分数为0.91。通过进一步增加数据集的大小,分割的精度可以进一步提升。
相比较而言,在根系图像的分割上,Segformer神经网络训练模型(已知模型)所得到的结果更好。利用这种方法可以直接进行完整图像的预测,不需要进行图像的裁剪与拼接。本发明使用864张512*512的图像进行输入,所得到的F1分数为0.6486,但是准确率可以达到0.9413。
1、地上部性状
1.1对株高和株宽进行提取
针对分割后的地上部图像,利用python读取图像的像素值,获取行列像素点的最大值和最小值,只需要获得最大值和最小值的差值即可以获得株高与株宽:
式中,K为图像上像素面积与实际面积的对应关系,株高为Hs,株宽为Ws,Vwmax,Vwmin分别指灰度图像像素点行坐标的最大值与最小值,Vhmax,Vhmin分别指灰度图像像素点列坐标的最大值与最小值。
1.2估计生物量B
利用已经提取的株高与株宽进行相乘即可得到估计生物量,这种方法可以跟踪同一位置的植物生物量的变化。通过比较不同时期的估计值,可以分析植物的生长趋势和发展状态,提供对植物生态和生命史的初步理解。
1.3估植被碳储量
植物的生物量对于评估和监测植被的碳储量具有重要意义。通过将株高乘以株宽来估计生物量,可以粗略但快速对植被碳储量进行估算。这种估算方法在大规模的碳存储研究、生态系统碳平衡分析和气候变化相关研究中有应用价值:
1.4对叶片面积性状进行提取
像素点的个数近似于表示像素面积,即将所求区域的所有像素点统计出来,求得该区域的像素数,也就求得了该植株的投影面积。具体实现方法是将边缘提取后的图像转化成二值图像,从上到下从左到右遍历图像,当检测到像素值为1的像素点时,计数器加一,依次累加,遍历结束即得到像素个数和:
式中,Ss表示植株的投影面积,Ps表示地上部总像素个数。
1.5投影系数A
本发明中投影系数A是指由投影面积除以估计生物量得到的值,这个值的意义在于衡量生物量在空间上的分布密度,单位投影面积越大,则表示生物量分布较为分散,植物的生长可能更加分散在空间中。单位投影面积越小,则表示生物量分布较为聚集,植物的生长可能更加密集:
2、地下部性状
2.1骨架化
基于距离变换法的骨架提取属于形态学范畴,骨架图算法通过目标物体的轮廓信息和内部信息来实现,通过遍历图像通过其领域的像素值将每一个迭代后的点进行分类,根据不同类的点之间的距离不断二值化图像得出单像素的中轴骨架图。
该算法的核心步骤如下:
(1)将分割图二值化、去噪,得到其二值图像;
(2)设定3×3的窗口的快速距离变化依次遍历分割图;
快速欧式距离变换模板
(3)将快速欧式距离变换模板按从左到右、从上到下的顺序遍历分割图内,把像素点分为内部像素、边缘像素、孤立像素;内部像素就是中心像素及其四领域像素(q1,q3,q5,q7部分)的值为255;孤立像素是指中心像素的值为255,而其四领域为背景像素0;其余情况则为边缘像素;
(4)计算每一个内部像素与其他像素点之间的距离并保存;
(5)二值化,将距离大于1的设定为目标像素,其他的设定为背景像素;
(6)重复以上步骤,直到进行到以上步骤的图像的二值化结果全部为0;
(7)使用图像修复算法,例如连通区域算法或基于边缘的填充算法,对骨架进行修复,这些算法可以填充骨架中的空洞或缺失部分,从而使其更完整;
(8)最后为了使得单像素骨架看起来更加清晰,需要对提取后的骨架进行直方图均衡和膨胀操作,这样可以提升骨架的视觉效果,而在系统内部骨架的端点信息和拓扑结构均被保留作为其表型特征的重要判定指标。
2.2对根系长度进行提取
通过骨架提取的方法在不破坏分割图像素之间的连通的情况下不断剥夺目标根系外部像素点从而得到了目标根系的轮廓,并对其进行了细化的处理,使得目标像素从多像素转换为单像素。此骨架提取是基于八连通模式下来实现的,通过这一操作,实际上是保留了根系的长度信息,在定义好标定物的各项指数后,通过数学方法统计骨架中轴线的像素并找到像素和像素之间的距离就可以得出根系的长度参数。通过骨架来判别像素之间的距离方向,其中垂直方向距离为1,斜面方向距离为,其真实距离要根据图像像素与实际尺寸存在的线性关系进行换算。最后,通过统计细化后单像素根系的方向码和单像素图像保留过程减少的长度,按照下述公式计算根系长度:
l表示根系的长度,N 1 表示对角方向连接的像素个数,N 2 表示水平和竖直方向连接的像素个数,r1r2表示补偿的长度。
2.3分叉数计算
先从细化图像中找到目标区域,即确定白色像素值的位置,将目标像素值的位置按照行递增的顺序存入矩阵中。遍历矩阵中的元素,当某像素的右边、下边或右下位置的像素至少有一个在矩阵中时,说明该像素为一个分叉点,当搜索到行数大于该像素行数加一时,停止搜索。对矩阵中每一个像素点都依次进行上述操作,即可获得分叉点的个数即分叉数:
其中,C表示交叉数,Σ表示求和,ci表示第i个像素点为交叉点。
2.4根系表面积计算
可以用像素点的个数近似于表示像素面积,即将所求区域的所有像素点统计出来,求得根系区域的像素数,也就求得了该根的面积。具体实现方法是将边缘提取后的图像转化成二值图像,从上到下从左到右遍历图像,当检测到像素值为1的像素点时,计数器加一,依次累加,遍历结束即得到根部的像素个数:
式中,Sr表示根系表面积,Pr表示根系总像素个数。
2.5根系凸包计算
凸包被定义为一个实数向量空间中,对于给定集合所有包含该集合的凸集的交集被称为给定集合的凸包,对于二维平面上的点集,凸包就是将最外层的点连接起来构成的凸多边形,其可包含点集中所有的点,凸多边形形状用来衡量根系图像的整体形状。
凸包计算时,先将所求区域的所有像素点统计为一个集合,点集合中选择一个起点,通常选择具有最小或最大x坐标作为起点,将其他点按照相对于起点的极角大小进行排序。可以使用向量的叉积、极坐标或反正切函数等方法来计算极角,依次遍历排好序的点集合,将每个点加入凸包边界。在添加新点之前,需要检查目前凸包最后两个点和新点形成的转折角是否是凸角。如果不是凸角,则需要移除最后一个点,并重复此过程直至形成凸角,当所有的点都被遍历并加入凸包时,即可得到最终的凸包。
2.6根系直径
对骨架化后的根系,计算出每个根系像素的方向,沿着与根系方向垂直的方向检测,计算出每个像素点的直径。取其平均值,最终得到根系的平均直径;取其最大值,最终得到根系的最大直径;取其最小值,最终得到根系的最小直径;取其中位数,最终得到根系的中位数直径。公式如下:
2.6.1计算每个像素点的方向
式中,Gx,ij和Gy,ij分别表示根系图像在像素(i,j)处的水平和垂直梯度。
2.6.2计算每个像素点的直径
式中,lij表示根系图像在像素(i,j)处的灰度值,θij表示该像素点的方向,f是一个函数,用于计算在给定方向上的直径。
2.6.3计算根系的平均直径、最大直径、最小直径
其中,N表示根系图像中的像素总数,Dave表示根系的平均直径,Dmax表示根系的最大直径,Dmin表示根系的最小直径,dij表示像素点(i,j)处的直径。
2.7根系密度热力图的绘制
针对分割后的地下部图像,将图像的行列各分为若干部分,即将图像分为若干小块,分别统计小块内的根系面与根系长度,然后将结果除以小块面积,即可以分别得到根系表面积密度和表面根长密度:
其中,RSDi表示第i个小块的根系表面积密度,Ai表示第i个小块的像素面积,Si表示第i个小块的面积;SRLDi表示第i个小块的表面根长密度,Li表示第i个小块的总根长。利用matplotlib库的imshow函数进行根系密度热力图的显示。
除上述算法部分外,进行了根结线虫的接种,即在番茄植株种在根盒7天后,使用2龄南方根结线虫对植株进行侵染,诱导番茄根系产生根结,通过成像装置对番茄植株地上部和地下部的成像,获取植株的生长动态,通过人工对根系和根结同时进行标注,利用maskrcnn实例分割模型(已知模型)对地下部的根系以及根结进行同步预测,预测结果不仅可以获取根系与根结的分割结果,还可以对根结进行目标检测,用于确定根结所产生的位置,同时便于统计根结的数量。
过去在衡量根结线虫的危害时,往往需要认为对根数进行计数,需要耗费大量的人力与时间,同时所形成根结的大小有所不同,形成同样的根结数的根结线虫数量有时区别会很大;本发明利用深度学习的方法对根结的相关性状进行提取,可以大大减少人为统计根结数的时间,同时根结面积与根结线虫数以及虫卵数的关联度可能比根结数要更大,通过根结分布情况更容易帮助理解根结线虫的危害程度。
本发明所提取的根结相关性状主要包括根结数量,根结面积,根结密度,根结形状,根结分布等;根结数Nk即是通过对根结的识别,统计各图片上的根结数量;具体实现方法是将提取后的图像转化成二值图像,从上到下从左到右遍历图像,当检测到根结的目标检测框,计数器加一,依次累加,遍历结束即得到根结数量和。
根结面积是即将分割根结得到的所有像素点统计出来,求得该区域的像素数,也就求得了该植株的投影面积;具体实现方法是将提取后的图像转化成二值图像,从上到下从左到右遍历图像,当检测到根结的目标像素点,计数器加一,依次累加,遍历结束即得到根结面积。
其中,Sk表示根结表面积,K为图像上像素面积与实际面积的对应关系,Pk表示根结总像素个数。
根结分布是指在单位面积内存在的根结数;
其中,Ek是在单位面积内存在的根结数,Nk是所处理图像所得到的根结数量和,S是所处理图像的实际面积。
根结密度Pk指在单位面积内存在的根结面积:
其中,Sk所处理图像所得到的根系表面积,S是所处理图像的实际面积。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,包括如下步骤:
步骤一:设置一作物表型信息监测装置,该装置包括:机架,机架为框架结构,机架的一个侧面装配有遮光推拉门,顶面和其余三个侧面均装配有遮光布,以形成监测室;根盒,通过根盒支架倾斜设置在监测室内,用于放置作物;机架分为上下两层,上下层分别滑动设置有一RGB相机,用于拍摄作物的地下部和地上部;光源模块,设置于监测室内,包括若干视觉灯,用于在采集作物表型数据时进行补光;传感器模块,设置于监测室内,用于实时观察作物在生长过程中的环境条件;PC端,与RGB相机连接,实时显示通过RGB相机获得的作物表型信息数据;
步骤二:将营养土装入根盒中,通过根盒顶端向营养土中输送水分,将根盒放在根盒支架上;
步骤三:将作物种子放置在根盒中,保证水分和养分的供应,种子萌发后使用日光灯提供光照,待作物地上部和根长生长后进行表型数据的获取;
步骤四:将根盒放置在监测室内,打开光源,调节亮度,关闭推拉门,减少外部光源的影响,保证获取数据时环境的一致性;
步骤五:将RGB相机连接到PC端,通过已下载的MVS软件,将作物的实时图像显示在屏幕上,选择显示作物的地上部图像、地下部图像或者两者同时显示;
步骤六:选择图像进行获取,储存在PC端;
步骤七:将获取到的地上部和地下部图像进行标注,为方便模型训练,将图像裁剪,获得对应的标注;
步骤八:利用Segformer神经网络训练模型对作物地下部的图像进行训练,利用U-Net方法对作物地上部的图像进行分割;
步骤九:对Segformer神经网络训练模型训练后图像进行预测,得到作物地下部的分割图;对U-Net方法分割后图像进行预测,得到作物地上部的分割图;
步骤十:利用python对地下部的分割图进行性状提取,得到包括根系长度、根系直径、根系凸包、根系表面积在内的多种性状;利用python对地上部的分割图进行性状提取,得到包括株宽、株高、估计生物量B、投影系数A、叶片面积在内的多种性状;
步骤十一:对上述步骤十得到的结果,采用关联分析方法找到各性状之间的关系;或者对植株采用不同的处理方法,观察植株性状与实验处理之间的相关性。
2.根据权利要求1所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对株高和株宽的性状进行提取的方法如下:
针对分割后的地上部图像,利用python读取图像的像素值,获取行列像素点的最大值和最小值,只需要获得最大值和最小值的差值即可以获得株高与株宽:
式中,K为图像上像素面积与实际面积的对应关系,株高为Hs,株宽为Ws,Vwmax,Vwmin分别指灰度图像像素点行坐标的最大值与最小值,Vhmax,Vhmin分别指灰度图像像素点列坐标的最大值与最小值。
3.根据权利要求2所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对估计生物量B性状进行提取的方法如下:
4.根据权利要求3所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对叶片面积性状进行提取的方法如下:
将边缘提取后的图像转化成二值图像,从上到下从左到右遍历图像,当检测到像素值为1的像素点时,计数器加一,依次累加,遍历结束即得到像素个数和:
式中,Ss表示植株的投影面积,Ps表示地上部总像素个数。
5.根据权利要求4所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对投影系数A的性状进行提取的方法如下:
6.根据权利要求1所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对地下部的分割图进行性状提取前,先对分割图进行骨架化,具体步骤如下:
将分割图二值化、去噪,得到其二值图像;
设定窗口的快速距离变化依次遍历分割图;
将快速欧式距离变换模板按从左到右、从上到下的顺序遍历分割图内,把像素点分为内部像素、边缘像素、孤立像素;
计算每一个内部像素与其他像素点之间的距离并保存;
二值化,将距离大于1的设定为目标像素,其他的设定为背景像素;
重复以上步骤,直到进行到以上步骤的图像的二值化结果全部为0;
利用图像修复算法,对骨架进行修复,对提取后的骨架进行直方图均衡和膨胀操作,以保留骨架的端点信息和拓扑结构。
7.根据权利要求6所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对根系长度的性状进行提取的方法如下:
式中,l表示根系的长度,N 1 表示对角方向连接的像素个数,N 2 表示水平和竖直方向连接的像素个数,r1r2表示补偿的长度。
8.根据权利要求7所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中对根系表面积的计算方法如下:
式中,Sr表示根系表面积,Pr表示根系总像素个数。
9.根据权利要求8所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中根系凸包的计算过程如下:
先将所求区域的所有像素点统计为一个集合,点集合中选择一个起点,将其他点按照相对于起点的极角大小进行排序,计算极角,依次遍历排好序的点集合,将每个点加入凸包边界,在添加新点之前,需要检查目前凸包最后两个点和新点形成的转折角是否是凸角,若不是凸角,则需要移除最后一个点,并重复此过程直至形成凸角,当所有的点都被遍历并加入凸包时,即可得到最终的凸包。
10.根据权利要求9所述的基于根盒的植物地上部与地下部表型联合鉴定方法,其特征在于,步骤十中根系直径的计算方法如下:
其中,N表示根系图像中的像素总数,Dave表示根系的平均直径,Dmax表示根系的最大直径,Dmin表示根系的最小直径,dij表示像素点(i,j)处的直径。
CN202311751637.XA 2023-12-19 2023-12-19 一种基于根盒的植物地上部与地下部表型联合鉴定方法 Active CN117433449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311751637.XA CN117433449B (zh) 2023-12-19 2023-12-19 一种基于根盒的植物地上部与地下部表型联合鉴定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311751637.XA CN117433449B (zh) 2023-12-19 2023-12-19 一种基于根盒的植物地上部与地下部表型联合鉴定方法

Publications (2)

Publication Number Publication Date
CN117433449A true CN117433449A (zh) 2024-01-23
CN117433449B CN117433449B (zh) 2024-03-19

Family

ID=89558567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311751637.XA Active CN117433449B (zh) 2023-12-19 2023-12-19 一种基于根盒的植物地上部与地下部表型联合鉴定方法

Country Status (1)

Country Link
CN (1) CN117433449B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211510015U (zh) * 2019-10-28 2020-09-18 南京农业大学 一种作物表型高通量获取装置与气候舱
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
WO2021082656A1 (zh) * 2019-10-28 2021-05-06 南京慧瞳作物表型组学研究院有限公司 一种用于获取作物表型的高通量拍照系统
CN116188317A (zh) * 2023-03-07 2023-05-30 华南农业大学 一种基于斜拍图像获取植物工厂内生菜生长信息的方法
CN116229265A (zh) * 2023-03-08 2023-06-06 长江大学 一种自动无损提取大豆植株表型的方法
US20230230373A1 (en) * 2020-05-22 2023-07-20 Basf Se System and method for estimating vegetation coverage in a real-world environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211510015U (zh) * 2019-10-28 2020-09-18 南京农业大学 一种作物表型高通量获取装置与气候舱
WO2021082656A1 (zh) * 2019-10-28 2021-05-06 南京慧瞳作物表型组学研究院有限公司 一种用于获取作物表型的高通量拍照系统
US20230230373A1 (en) * 2020-05-22 2023-07-20 Basf Se System and method for estimating vegetation coverage in a real-world environment
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN116188317A (zh) * 2023-03-07 2023-05-30 华南农业大学 一种基于斜拍图像获取植物工厂内生菜生长信息的方法
CN116229265A (zh) * 2023-03-08 2023-06-06 长江大学 一种自动无损提取大豆植株表型的方法

Also Published As

Publication number Publication date
CN117433449B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
Li et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning
CN106971167B (zh) 基于无人机平台的作物生长分析方法及其分析系统
van der Heijden et al. SPICY: towards automated phenotyping of large pepper plants in the greenhouse
Klodt et al. Field phenotyping of grapevine growth using dense stereo reconstruction
CN113221765B (zh) 一种基于数字相机影像有效像元的植被物候期提取方法
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN107704878A (zh) 一种基于深度学习的高光谱数据库半自动化建立方法
Solvin et al. Use of UAV photogrammetric data in forest genetic trials: measuring tree height, growth, and phenology in Norway spruce (Picea abies L. Karst.)
CN109816680A (zh) 一种农作物株高的高通量计算方法
CN114241031A (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN110070571A (zh) 一种基于深度相机的毛竹形态参数检测方法
CN112595367A (zh) 一种基于智能机器人的水稻根系性状无损测量装置
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
CN116129260A (zh) 基于深度学习的牧草图像识别方法
Murray et al. The novel use of proximal photogrammetry and terrestrial LiDAR to quantify the structural complexity of orchard trees
CN113313692B (zh) 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法
CN108122224A (zh) 一种测算树冠郁闭度的系统
Pforte et al. Comparison of two different measurement techniques for automated determination of plum tree canopy cover
CN109684953A (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN117433449B (zh) 一种基于根盒的植物地上部与地下部表型联合鉴定方法
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
CN116721344A (zh) 基于航拍设备的植被检测方法、装置和设备
CN110910403A (zh) 一种基于图像处理的工业大麻种子计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant