CN116258844A - 一种棉花叶片表型性状快速精准鉴定方法 - Google Patents

一种棉花叶片表型性状快速精准鉴定方法 Download PDF

Info

Publication number
CN116258844A
CN116258844A CN202211642943.5A CN202211642943A CN116258844A CN 116258844 A CN116258844 A CN 116258844A CN 202211642943 A CN202211642943 A CN 202211642943A CN 116258844 A CN116258844 A CN 116258844A
Authority
CN
China
Prior art keywords
leaf
cotton
image
blade
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211642943.5A
Other languages
English (en)
Inventor
师维军
马君
杨延龙
李春平
刘忠山
徐海江
张大伟
吾买尔江·库尔班
汪鹏龙
邓梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INSTITUTE OF CASH CROPS XINJIANG ACADEMY OF AGRICULTURAL SCIENCES
Original Assignee
INSTITUTE OF CASH CROPS XINJIANG ACADEMY OF AGRICULTURAL SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INSTITUTE OF CASH CROPS XINJIANG ACADEMY OF AGRICULTURAL SCIENCES filed Critical INSTITUTE OF CASH CROPS XINJIANG ACADEMY OF AGRICULTURAL SCIENCES
Priority to CN202211642943.5A priority Critical patent/CN116258844A/zh
Publication of CN116258844A publication Critical patent/CN116258844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种棉花叶片表型性状快速精准鉴定方法，涉及棉花叶片表型性状鉴定技术领域，其技术方案要点是：基于图像识别技术，对俯视拍摄的放入了标准形状、大小的比色卡的棉花田间试验小区群体冠层叶面图像，通过叶片图像分析系统的自动分析判断，快速精准确定该试验小区群体的叶片形状、叶片大小、叶片颜色，对试验材料叶片表型性状进行测量鉴定，具体包括以下步骤：S1、图像采集；S2、图像校正；S3、图形分割；S4、图形分析计算。本发明采用图像识别技术，利用叶片图像分析系统对拍摄的叶面图像进行自动分析智能判断，能够快速精准确定该试验小区群体的棉花叶片形状、叶片大小、叶片颜色，对试验材料叶片的表型性状进行快速精准的测量鉴定。

Description

一种棉花叶片表型性状快速精准鉴定方法
技术领域
本发明涉及棉花叶片表型性状鉴定技术领域，更具体地说，它涉及一种棉花叶片表型性状快速精准鉴定方法。
背景技术
棉花生产的发展离不开棉花科技的支撑。在棉花科学研究工作中，棉花叶片表型性状的观察鉴定是棉花种质资源和品种选育科研工作中非常重要的基础性的工作。在棉花种质资源研究和品种选育研究工作中，对参加试验的种质资源和品种品系等棉花试验材料的叶片表型性状的观察鉴定，研究不同试验材料之间性状表现差异，找出最有利于产量形成和优异纤维品质形成的对应关系以及不同生育时期所起到的作用，是十分重要的基础性的研究工作。
作为最主要的光合作用器官，棉花叶片的叶片大小(叶面积)、叶片形状、叶片颜色、叶基斑、叶蜜腺等表型性状表现直接或间接影响到棉花的生长发育和生理特性表现，其中叶片大小(叶面积)、叶片形状直接影响着棉花的光合作用、呼吸作用、蒸腾作用等，和棉花的产量、纤维品质都有着直接紧密的关系。叶面积的大小不仅直观地影响了作物在进行光合作用过程中有机物的累积，同时农业工作者可通过对植株叶面积的观察，对作物的生长状况进行一个大致的判定。因此，棉花叶片性状研究对于棉花生产实际也有重要意义。
随着现代大数据信息技术的发展，对棉花表型性状的精准研究，需要大量的田间试验观测鉴定数据支撑。现代棉花种质资源研究进入基因组学和分子生物学时代，利用棉花全基因组重测序技术分析种质资源，可以明确其基因型特点，从而在全基因组水平阐明其遗传多样性变异。同时，棉花种质资源表型性状的系统规范的精准鉴定评价直接影响到重要性状相关标记或基因位点的分析。因此，对大量的棉花种质资源的表型进行高通量精准鉴定评价，这是现代棉花种质资源研究的基础研究。面对这种要求，传统的表型性状鉴定方法手段已不堪重任。
对于棉花叶片来说，传统测量植物叶面积的方法，主要由以下几种。方格法(将叶片的轮廓描在标准计算纸上，统计叶轮廓占的小方格数即得到用方格法定的叶面积)、纸重法(又称剪纸称重法将方格去测叶面积时描绘在标准计算纸上的叶形沿轮廊线剪下，得到纸模，在电子分析天平上称得纸模重量，将此重量除以单位面积标准纸重即得到用纸重法估测的叶面积)、系数法(又称直尺法，该法将量出各片叶的长度、宽度，再求出一定系数下的乘积即得到估测的叶面积)以及打孔称重法和干重法等。这些方法繁琐、低效，大多需要离体叶片在室内进行，在精准性方面也难尽人意。
其中，系数法(又称直尺法)可田间非离体进行人工测量，是棉花种质资源和品种选育科研实践中常用的方法(当面对大量参试材料，也有直接通过肉眼观察依靠经验与对照试验材料进行对比判断，定性确定的做法)。而对于棉花叶片形状、叶片颜色、叶基斑、叶蜜腺的鉴定，长期以来的传统做法，主要是由试验人员在田间依据一定的标准，依靠经验通过肉眼观察，与对照试验材料(对照)进行对比判断确定。测量鉴定结果用铅笔记录在记载本上。
这种传统纯人工操作的做法，是在一定范围内兼顾效率和精准性要求妥协的结果。必然存在着人为误差大、效率低下、田间工作强度高等问题，试验结果的准确性和精确性强差人意。同时，棉花某一性状的表现在某一生育阶段是最佳表现期，具有较强的时效性(棉花同一个性状随着时间的变化在不断生长发育而变化，性状的鉴定比较评价需要在相同的时间段内完成，以保证不同试验材料性状的可比性。大多数性状一般有7天左右的成熟稳定期)，也就是说相应的鉴定工作也具有较强的时间性要求。传统方法低下的工作效率难以应对大量试验材料进行快速精准的鉴定，阻碍着棉花科研工作的有效高效开展。科研人员通过增加田间试验规模、重复数、试验次数和试验地点来消除包括人为误差在内的试验误差，提高试验效率，但无形中又增大了试验工作量、提高了试验成本，试验出现误差的可能性从另一个角度又增大了，最终还是难以有效实现精准和高效的协调统一。这些问题长期以来一直困扰着棉花科研人员，使得这一部分的田间试验研究工作难以持续、大量、高效开展，制约着相关科研工作的发展。
随着现代工业科技和信息技术的不断发展，光电感应转换技术、计算机图像识别技术等在农业科研中逐渐得到应用，在作物叶片性状鉴定研究的精准性方面取得了良好的效果。
具体来说，目前在作物叶片表型性状鉴定研究中主要有以下两种较新的方法。
1、叶面积仪。光电叶面积仪是通过光电感应扫描原理，使光源发出的光信号照射到待测叶片上，然后判断叶片反射或透射到光敏传感器上的光信号，最后通过比较光源光信号经过被测叶片的衰减量利用矩形逼近的电子学方法来确定叶片的大小进行叶面积测量。测量过程是将采摘的离体叶片放置于仪器的感应板上，然后盖上仪器盖对叶面积进行测量；也可以进行非破坏性(直接在植株上对叶片进行)叶面积测量；可同时简单、快速、准确地测定各种植物叶片的面积、长度和宽度(平均宽度和最大宽度)。而激光叶面积仪通过激光扫描器进行叶面扫描，不仅可以测量叶片面积、长度和宽度同时也可以测量叶周长和叶形状。
可以看出，利用叶面积仪可一次对一片叶片进行叶面积快速简便准确的测量。见图1。
2、智能叶面积仪(智能拍照式叶面积测量系统)。智能拍照式叶面积测量系统由图像采集仪(平面背光板+数码相机或高拍仪)和装入相应图像分析软件的电脑(或安卓系统平板电脑)或智能手机+APP组成。对图像采集仪拍摄的单个离体叶片或多叶图像通过电脑图像分析软件依据一定的面积测量算法，根据叶片轮廓特征提取、图形实物转换、边缘检测等技术自动分析处理，快速精确得到所测叶片面积、周长、长宽、叶孔洞、形状系数等参数。即对在平面背光条件(背光是为了更清晰地拍摄反映叶片的边缘轮廓，方便下一步的图像分析软件对图像进行准确判断分析)下拍摄的叶片图像通过计算机软件进行分析获得相关的叶片性状数据。见图2。
智能叶面积仪(智能拍照式叶面积测量系统)能智能实现对单叶以及多叶的测量，具有自动标定和自动图像校正能力，可统计总叶面积、平均叶长、平均叶宽、平均长宽比、平均叶周长等参数；可分析小至1mm2的叶片，分析误差＜0.5％、测量分析时间＜5秒/次，面积测量时间小于1秒。可实现拍照与分析一键化操作。此外，还能快速地分级测定病斑叶面积、虫损叶面积、以及分析叶片叶色(具有按英国皇家园林协会RHS比色卡的比色特性)和叶色的分档分析、测量植物的叶绿素相对含量或“绿色程度”。相比传统的叶面积仪，具有测量更智能、分析更准确、数据更多样、结果更形象客观以及快速简便多用途等优点。显著减少了人为带来的误差，使得精准性大大提高。
可以看出，目前的利用计算机图像识别技术对作物叶片表型性状进行识别判断分析鉴定，较之以往的方法，在精准性方面有了根本性的提高，效率也有了明显的提升，大大地促进了相关科研工作的全面深入开展。
但目前的智能叶面积仪(智能拍照式叶面积测量系统)方法也存在着明显的不足之处。一是工作效率相比以前的方法虽有提升，但难以进一步提升。由于其主要是通过对离体单个叶片进行拍照，对获得的单个叶片图像进行叶片性状的分析判断，即使是多叶一般也是离体且局限在A4纸大小的摆放拍摄测量面积范围内(目前最大摆放测量面积为A4幅面)。而对于棉花叶片大小来说，一般达到了成年男性手掌的大小，A4幅面一次摆放不了几片叶(对更大叶片的作物来说更不适用了)。同时，手工操作的叶片采摘摆放以及一次摆放的叶片数量极其有限等，都限制了这种模式的效率提升空间。即使是野外田间多叶非离体状态下的测量，其工作效率也没有本质上的提升。二是对使用条件有一定的限制和要求。为了保证测量结果的精确性，需要背光平台(背光背景板)等辅助条件，野外田间环境下，需要移动电源为背光平台(背光背景板)提供电力，实用性受到明显影响。
可以看出，智能叶面积仪(智能拍照式叶面积测量系统)更加适用于对单个叶片的室内精确测量鉴定。
而对于棉花科研工作尤其是种质资源研究和品种选育研究来说，田间试验地一般种植有数千份试验材料、有三个重复，试验小区数更多，每个试验小区种植株数≥100个，需要调查测量的样本数≥10个、测试样本要求非离体以及性状7天左右的表现时效性(棉花同一个性状随着时间的变化在不断生长发育而变化，性状的鉴定比较评价需要在相同的时间段内完成，以保证不同试验材料性状的可比性)，在这样的情况下，其观测测量的目的是通过一定的样本数归纳鉴定出该试验材料的某一性状的特征特性，通过测量、鉴定、评价研究，区别大量试验材料同一性状的差异，以便为后续的优良材料的筛选和利用提供依据，为更深入的基因组学研究提供数据和材料基础，对准确性的要求远高于精确性。面对棉花叶片表型性状观察鉴定研究方面这些现实需求，上述目前最新的智能拍照式叶面积测量模式方法显然还是不能满足棉花叶片快速大量高效测量鉴定研究的需要,其不能满足棉花种质资源研究对叶片大小、叶片形状、叶片颜色这三个最主要叶片表型性状田间非离体状态下快速大量高效精准测量鉴定的需求。
因此，本发明旨在提供一种棉花叶片表型性状快速精准鉴定方法，以解决上述问题。
发明内容
本发明的目的是为了解决上述问题，提供一种棉花叶片表型性状快速精准鉴定方法，本发明采用图像识别技术，利用叶片图像分析系统对拍摄的叶面图像进行自动分析智能判断，能够快速精准确定该试验小区群体的棉花叶片形状、叶片大小、叶片颜色，对试验材料叶片的表型性状进行快速精准的测量鉴定，能满足棉花种质资源研究对叶片大小、叶片形状、叶片颜色这三个最主要叶片表型性状田间非离体状态下快速大量高效精准测量鉴定的需求。
本发明的上述技术目的是通过以下技术方案得以实现的：一种棉花叶片表型性状快速精准鉴定方法，基于图像识别，对俯视拍摄的放入了标准形状、大小的比色卡的棉花田间试验小区群体冠层叶面图像，通过叶片图像分析系统的自动分析智能判断，快速精准确定该试验小区群体的叶片形状、叶片大小、叶片颜色，对试验材料叶片表型性状进行测量鉴定，具体包括以下步骤：
S1、图像采集，采用安装有叶片图像分析系统和高清摄像头的智能移动终端，对试验小区棉花冠层顶部群体叶片图像进行俯视拍摄，得俯视拍摄的图像；
S2、图像校正，根据步骤S1中采集的俯视拍摄的图像，通过与标准形状、大小的比色卡比较，对俯视拍摄的图像的形变和色差进行校正；
S3、图形分割，对俯视拍摄的图像中的大小相近的叶片进行分隔；
S4、图形分析计算，通过与叶片图像分析系统中预设的标准叶片的形状、大小、颜色进行比较，对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断，计算该图像群体叶片所趋向的形状、大小、颜色或多数叶片所表现的形状、大小、颜色，即为该试验小区群体叶片的形状、大小、颜色的表现数据，并通过叶片图像分析系统显示出试验小区群体的棉花叶片表型性状的分析鉴定结果。
进一步地，步骤S1中所述的智能移动终端采用智能移动手机或智能平板电脑。
进一步地，步骤S4中对分割的叶片图形进行形状、大小、颜色的分析判断的叶片数量为1-100片。
进一步地，步骤S4中对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断包括对分割提取的对应数量的叶片图形进行面积的计算和轮廓形状分析的确定。
进一步地，所述叶片图像分析系统包括拍照识图单元、数据输入单元、图形分隔及分析计算单元、导入导出单元和编辑浏览单元；
所述拍照识图单元用于对俯视拍摄采集的棉花试验小区的棉花叶片的照片进行识别并给出判别结果；
所述数据输入单元用于输入棉花叶片照片；
所述图形分隔及分析计算单元用于将照片中的各个叶片与非叶片物体分割开来，并提取每个叶片的特征；
所述导入导出单元用于全部数据的导出备份及导入恢复；
所述编辑浏览单元用于对已拍摄识别的鉴定结果数据表每一条数据记录进行查询浏览、编辑修改和删除。
进一步地，所述叶片图像分析系统为软件APP，且所述叶片图像分析系统的运行系统采用Android操作系统。
进一步地，所述图形分隔及分析计算单元中采用语义分割模型对照片中的叶片与非叶片物体进行分割，并提取每个叶片的特征；所述语义分割模型采用自编码器模型，且所述自编码器模型的基本计算单元为卷积神经网络。
综上所述，本发明具有以下有益效果：
1、本发明采用图像识别技术，利用叶片图像分析系统对拍摄的叶面图像进行自动分析智能判断，能够快速精准确定该试验小区群体的棉花叶片形状、叶片大小、叶片颜色，对试验材料叶片的表型性状进行快速精准的测量鉴定；
2、本发明非离体对群体叶片的拍摄分析，一次分析叶片数量远远大于现有的系统，一次即有足够的叶片样本数完成一个试验材料的测量分析，工作效率高；
3、本发明的方法可满足棉花种质资源研究对叶片大小、叶片形状、叶片颜色这三个最主要叶片表型性状田间非离体状态下快速大量高效精准测量鉴定的需求。
附图说明
图1是本发明实施例中的工作示意图；
图2至图7是本发明实施例中不同试验小区群体中一株棉花冠层顶部倒1-倒4片叶情况；
图8是本发明实施例中图像校正过程；
图9是本发明实施例中图像校正进行透视变换的结果；
图10是本发明实施例中图像分割过程中对部分图像数据进行标注的示意图；
图11是本发明实施例中Yolo5模型结构图；
图12是本发明实施例中EfficientNet模型结构图；
图13是本发明实施例中模型输入图片实例。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明的实施例及附图，对本发明的技术方案进行进一步详细地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将结合实施例来详细说明本发明。
实施例：
一种棉花叶片表型性状快速精准鉴定方法，基于图像识别，对俯视拍摄的放入了标准形状、大小的比色卡的棉花田间试验小区群体冠层叶面图像，通过叶片图像分析系统的自动分析智能判断，快速精准确定该试验小区群体的叶片形状、叶片大小、叶片颜色，对试验材料叶片表型性状进行测量鉴定，本发明中，棉花叶片主要性状描述及鉴定评价方法参照《农作物种质资源评价技术规范棉花》NY/T2323-2013)。
具体包括以下步骤：
步骤一：图像采集，采用安装有叶片图像分析系统和高清摄像头的智能移动终端，对试验小区棉花冠层顶部群体叶片图像进行俯视拍摄，得俯视拍摄的图像；
步骤二：图像校正，根据步骤S1中采集的俯视拍摄的图像，通过与标准形状、大小的比色卡比较，对俯视拍摄的图像的形变和色差进行校正；
步骤三：图形分割，对俯视拍摄的图像中的大小相近的叶片进行分隔；
步骤四：图形分析计算，通过与叶片图像分析系统中预设的标准叶片的形状、大小、颜色进行比较，对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断，计算该图像群体叶片所趋向的形状、大小、颜色或多数叶片所表现的形状、大小、颜色，即为该试验小区群体叶片的形状、大小、颜色的表现数据，并通过叶片图像分析系统显示出试验小区群体的棉花叶片表型性状的分析鉴定结果，如图1所示。
在本实施例中，智能移动终端采用智能移动手机或智能平板电脑等。
在本实施例中，步骤四中对分割的叶片图形进行形状、大小、颜色的分析判断的叶片数量为1-100片(根据不同田间试验设计对调查测量样本数的不同要求而定)。
在本实施例中，步骤四中对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断包括对分割提取的对应数量的叶片图形进行面积的计算和轮廓形状分析的确定。
在本实施例中，叶片图像分析系统包括拍照识图单元、数据输入单元、图形分隔及分析计算单元、导入导出单元和编辑浏览单元；
拍照识图单元用于对拍摄采集的试验小区的棉花叶片的照片进行识别并给出判别结果；
数据输入单元用于输入棉花叶片照片；
图形分隔及分析计算单元用于将照片中的各个叶片与非叶片物体分割开来，并提取每个叶片的特征；
导入导出单元用于全部数据的导出备份及导入恢复；
编辑浏览单元用于对已拍摄识别的鉴定结果数据表每一条数据记录进行查询浏览、编辑修改和删除。
在本实施例中，叶片图像分析系统为软件APP，且叶片图像分析系统的运行系统采用Android操作系统(Android7以上)，叶片图像分析系统的数据库为本地数据库保存。
在本实施例中，图形分隔及分析计算单元中采用语义分割模型对照片中的叶片与非叶片物体进行分割，并提取每个叶片的特征；语义分割模型采用自编码器模型，且自编码器模型的基本计算单元为卷积神经网络。
关于本实施例中，关于“试验小区棉花群体冠层各叶片”的说明，如图2至图7所示，图2和图3为某一试验小区棉花群体中一株棉花冠层顶部倒1-倒4片阔叶、浅绿的情况；图4为某一试验小区棉花群体中一株棉花冠层顶部倒1-倒4片掌状叶、绿的情况；图5为某一试验小区棉花群体中一株棉花冠层顶部倒1-倒4片掌状叶、深绿的情况；图6为某一试验小区棉花群体中一株棉花冠层顶部鸡脚叶、绿的情况；图7为某一试验小区棉花群体中一株棉花冠层顶部倒1-倒4片鸡脚叶、深绿的情况。
在本发明方案中，关于叶片图像分析系统：
1、图像处理与校正方式
由于在平面图象处理中，因为镜头角度问题，容易导致图像出现倾斜、变形、透视等情况，为了方便后续处理，需要进行图像校正。通过对图像数据的分析，主要存在透视，导致原理镜头的棉花叶较小。通过分析，采用透视变换来进行透视校正，即将图片投影到一个新的视平面。同时因需要计算叶片面积，为了减少误差，选取参照物周围的部分叶子进行分类和计算。其校正过程：即目标图像与结果图像之间点的映射(如图8所示)。
首先进行图像预处理，通过算法找出图像中参考物的位置，再以参考物为中心，左右相距100，上下相距150的范围，绘制矩阵；利用OpenCV将图像进行灰度、滤波、二值化，目的是为了提取出轮廓。接下来使用findContours、RETR_EXTERNAL就可以提取出矩形的最外轮廓；接着使用approxPolyDP进行多边形轮廓拟合，目的是为了找到矩形的四个角点。由于之前使用的approxPolyDP获取的角点是无序的，所以我们得确定各角点所在的位置。在这里使用的算法是根据其角点所在图像位置特征确定左上、左下、右下、右上四个点。最后确定图像变换后的长、宽。并将SrcAffinePts、DstAffinePts一一对应之后进行透视变换(如图9所示)。
2、图像分割
在本系统的工作中，图像分割目的是将图像中的各棉花叶片、参照物及其他对象尽可能地识别出来(如图10所示)。
主要流程：1)数据标注，利用LabelMe工具对部分图像数据进行标注，作为微调Yolo的训练数据。
2)选取Yolov5作为识别叶子的主体模型(Yolov5模型如图11所示)，输入利用LabelMe打好标签的数据，微调yolo模型，使其对叶片图像进行人工labeling操作。
3)通过KNN算法，计算出距离参照物中心最近的5片叶子，然后进行标记；将标注后的叶子和通过第一步做好的Json文件作为真实标签训练，微调YoLo语义分割模型，实现对未标注图像中的参照物、棉花叶片分割操作。
YOLOv5在图像输入时也对图像进行了Mosaic数据增强操作并且在进行推理时采用了自适应缩放操作，该方法可根据输入图像尺寸大小的不同进行自适应填充，提升了37％的推理速度。其次，还设计了位于网络最前端的Focus结构，该结构最主要的内容是对输入数据进行切片操作，可有效提升图片特征提取的质量。YOLOv5设计了两种与YOLOv4结构中使用的相同的CSP网络结构，并且将其用于Backbone层和Neck层。Neck层采用了FPN+PAN(Perceptual Adversarial Network)结合的方式，不同的是YOLOv4中使用的都是普通卷积操作而YOLOv5使用了新设计的CSP结构，这也增强了网络对特征的融合能力。在输出端，YOLOv5使用的是GIOU_Loss做为Bounding box的损失函数并且在进行非最大值抑制时使用了加权非最大值抑制，这在不增加计算资源的情况下对检测图像中一些有重叠的目标检测效果较好。
3、图形分析计算
在形状、颜色判断任务中，对语义分割后的结果进行特征训练操作，具体使用EfficientNet模型，EfficientNet模型结构如图12所示。
EfficientNet相比于一般的深度学习模型，可以综合宽度、深度和分辨率对网络进行符合扩展。
在尺寸计算任务中，对语义分割后的参照物、棉花叶片进行对比计算。首先以像素点作为基本单位，统计图像中参照物的尺寸Sro，和分割出的五片叶片尺寸S1，S2，…，S5。随后将这些叶片的平均值Saver＝1/10*(S1+S2+…+S5)作为该图像中叶片的尺寸。则叶片的真实尺寸为：
Figure SMS_1
其中，
Figure SMS_2
表示为参照物的真实尺寸。/>
4、算法模型及输入到输出过程
模型扩展Model Scaling是提升卷积神经网络模型效果的重要方法。EfficientNet在此基础上提出了更加泛化的方法，Compound Model Scaling方法。该方法通过综合优化网络宽度、深度和分辨率达到性能提升的目的。EfficientNet能够在达到准确率指标和现有分类网络相似的情形下，大大减少模型参数量和计算量。
使用Compound Model Scaling方法首先需要进行网格搜索,探索在固定的计算机内存资源条件下EfficientNet的网络深度、宽度、输入图像分辨率缩放之间的联系.发现常规卷积运算的每秒浮点计算次数与网络深度、宽度的平方、输入图像分辨率的平方成正比,即网络深度翻倍会使每秒浮点计算次数翻倍,而网络宽度或输入图像分辨率翻倍则会使每秒浮点计算次数增加4倍。如下式所示：
Figure SMS_3
其中，d、w、r分别表示网络深度、宽度、输入图像分辨率,φ是一个用户指定的系数,它规定了有多少资源可以用于模型缩放,α、β、γ是常数,由网格搜索来确定,分别指定了如何将这些额外的资源分配给网络宽度、深度和输入图像分辨率。
在形状以及颜色分类任务中，EfficientNet主要架构相同，包含1个卷积模块，移动翻转瓶颈卷积模块(Mobile in-verted Bottleneck Convolution,MBCon)16个。接着，根据实际任务设计不同维度的分类器，分类器由卷积核为1*1的卷积层和1*1的池化层，以及全连接层构成。
在本实施例中，上述分类器的形状任务中一共包含“阔叶”、“掌状叶”、“鸡爪叶”、“超鸡脚叶”、“皱缩叶”、“杯状叶”、“圆叶”七类形状标签。该分类器的颜色任务中包含“红”、“浅绿”、“绿”、“深绿”、“黄红”、“红”、“斑驳”七类颜色标签。因此，本实施例中的该分类器的最终的输出维度分别为7和7，从而分别对应能够识别出上述任务中描述的7种叶片形状以及7中叶片颜色。
两类任务的模型优化函数皆为交叉损失函数，其中Pn,k表示数据n属于类别k的概率，yn,k表示数据v的类别，如果n属于类别k，则该值为1反之为0。
Figure SMS_4
为了防止模型过拟合，通常会增加考虑引入矩阵的F范数，模型的损失函数最终如下所示：
Figure SMS_5
/>
其中，W表示为EfficientNet网络中需要训练学习的参数。
模型输入：经过上述预处理之后的图片，像素值统一为224*224，图片具体内容为覆盖小白片周围的5片叶子，如图13所示。
模型输出：形状任务中输出形状向量，颜色任务中输出颜色向量，分别为3维向量和4维向量。每一维向量表示输入图片属于每个类别的概率，具有最大概率的类别将被视为最终标签。
以下为本发明实施例中的系统中模型进行识别的运行代码块：
Model Prediction
pred＝model.predict(X_test_img)
pred＝np.argmax(pred,axis＝1)
pred_df＝X_test.copy()
labels＝{}
for l,v in X_test_img.class_indices.items():
labels.update({v:l})
pred_df['pred']＝predpred_df['pred']＝pred_df['pred'].apply(lambdax:labels[x])
from sklearn.metrics import confusion_matrix,classification_report,accuracy_score
print(f"Accuracy Score:{accuracy_score(pred_df['label'],pred_df['pred'])}")
sns.heatmap(confusion_matrix(pred_df['label'],pred_df['pred']),annot＝True,fmt＝'2d')
print(pred_df[pred_df['label']＝＝pred_df['pred']].head(6))
fig,ax＝plt.subplots(nrows＝2,ncols＝3,figsize＝(15,8))
ax＝ax.flatten()
imlist＝pred_df[pred_df['label']＝＝pred_df['pred']].head(6).reset_index()
for i inrange(0,6):
ax[i].imshow(plt.imread(imlist['path'][i]))
ax[i].set_title(imlist['label'][i]).
通过上述代码块，能够确保本发明系统中的模型的运行及任务识别功能。
通过本发明的上述实施例，本发明不同于现有的智能拍照式叶面积测量系统的地方在于：
一是分析角度(分析数量)不同。本发明分析田间自然状态下试验小区冠层顶部群体叶片图像，利用预设的棉花标准对照品种的叶片大小、形状、颜色特征参数(预先对不同栽培种、不同类型品种的标准对照品种叶片进行大小、形状、颜色特征分析和提取)，对图像中同一试验小区群体(同一品种)不同植株的冠层顶部叶片通过大小、形状、颜色是否相近进行分析判断归类后(同一个试验小区种植的是同一个品种，理论上同一品种不同植株同一部位的叶片大小、形状、颜色无限接近一致)，对这些叶片进行分割提取一定数量(预设1-100片)的完整图形，若完整叶片图形数不够预设的样本数，则对叶片被遮挡的部分(被遮挡的部分在一定面积比例内的，超出则放弃)依据分析判断归类的特征参数进行智能轮廓补全提取。对这些分割提取的一定数量(1-100片)的叶片图形进行大小(面积)计算、轮廓形状分析确定。同时，利用标准形状、大小的比色卡对图像中的叶片大小、形状、颜色进行校正(田间自然状态下，叶片并不完全水平铺展，同时拍摄时也不能完全做到视平面与焦平面完全平行，造成的视差需要校正)，对叶大小、叶形状、叶色进行比较分析测量，得出具体的数值。从而最终得到该小区试验材料(品种)的叶片大小(面积)、叶片形状、叶片颜色等鉴定数据。
二是分析思路不同。虽然是对叶片的分析，但本发明与现有的系统分析对象思路不同。现有的系统是对离体一叶至多叶(小叶植物)的分析，侧重于对单个叶片特征的精确分析提取；本发明则侧重于对群体叶片的准确分析判断归纳，总结出同一试验小区群体叶片总的性状趋势、共同的表现特点，并且与标准对照叶片进行比较归类，不纠结于单个叶片的表现，注重从群体的表现中发现、判断、归纳其性状特征，尤其是与标准对照叶片的比较，更有利于参试材料本质特征特性的判断归纳，从而精准区别出大量试验材料(不同试验小区)之间的性状差异。棉花种质资源表型鉴定研究，其基本原则是在一定条件和标准下，研究不同试验材料之间同一性状的差异，筛选出需要的材料。注重的是准确描述不同试验材料同一性状的差异之处，对同一试验材料(同一小区)群体内各个个体的性状鉴定的精确性要求相对不高。而以往的智能叶面积仪则正好相反，注重的是群体内各个个体的性状鉴定的精确性，鉴定的结果是精确测量出群体内单个个体的性状表现，并不能直接准确地描述分析判断出不同试验材料同一性状的差异之处。
三是分析效率远高于现有系统。相较于现有的智能拍照式叶面积测量系统，本发明非离体对群体叶片的拍摄分析，一次分析叶片数量远远大于现有的系统，一次即有足够的叶片样本数完成一个试验材料(品种)的测量分析。在野外田间试验地条件下对一个图像中所包含的非离体1至100个叶片的一次性提取分析，即可实现对一份棉花试验材料(一个试验小区)叶片表型性状的测量分析鉴定，而现有系统要获得同样的结果，需要对一份棉花试验材料(一个试验小区)内1至100个叶片均进行一次拍照测量。本发明工作效率有本质上的提高。
工作原理：利用图像识别技术，对俯视拍摄的放入了标准形状、大小(一定面积等边三角形或正方形)的比色卡的棉花田间试验小区群体冠层叶面图像，通过电脑叶片图像分析软件系统进行分析，根据叶片轮廓特征提取、图形实物转换、边缘检测等技术，选取图像中大小、形状、颜色相近的一定数量的叶片图形(1-100片，根据不同田间试验设计对调查测量样本数的不同要求而定)，与系统预设的标准对照叶片特征参数(叶片形状、大小、颜色)进行比较，通过标准形状、大小(一定面积等边三角形或正方形)的比色卡对形状、大小、颜色进行校正，自动分析智能判断，快速精准确定该试验小区群体的叶片形状、叶片大小、叶片颜色，从而对试验材料叶片表型性状进行测量鉴定。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种棉花叶片表型性状快速精准鉴定方法，其特征是：基于图像识别，对俯视拍摄的放入了标准形状、大小的比色卡的棉花田间试验小区群体冠层叶面图像，通过叶片图像分析系统的自动分析智能判断，快速精准确定该试验小区群体的叶片形状、叶片大小、叶片颜色，对试验材料叶片表型性状进行测量鉴定，具体包括以下步骤：
S1、图像采集，采用安装有叶片图像分析系统和高清摄像头的智能移动终端，对试验小区棉花冠层顶部群体叶片图像进行俯视拍摄，得俯视拍摄的图像；
S2、图像校正，根据步骤S1中采集的俯视拍摄的图像，通过与标准形状、大小的比色卡比较，对俯视拍摄的图像的形变和色差进行校正；
S3、图形分割，对俯视拍摄的图像中的大小相近的叶片进行分隔；
S4、图形分析计算，通过与叶片图像分析系统中预设的标准叶片的形状、大小、颜色进行比较，对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断，计算该图像群体叶片所趋向的形状、大小、颜色或多数叶片所表现的形状、大小、颜色，即为该试验小区群体叶片的形状、大小、颜色的表现数据，并通过叶片图像分析系统显示出试验小区群体的棉花叶片表型性状的分析鉴定结果。
2.根据权利要求1所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：步骤S1中所述的智能移动终端采用智能移动手机、或智能平板电脑。
3.根据权利要求1所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：步骤S4中对分割的叶片图形进行形状、大小、颜色的分析判断的数量为叶片1-100片。
4.根据权利要求1所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：步骤S4中对分割的对应数量的叶片图形进行形状、大小、颜色的分析判断包括对分割提取的对应数量的叶片图形进行面积的计算和轮廓形状分析的确定。
5.根据权利要求1所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：所述叶片图像分析系统包括拍照识图单元、数据输入单元、图形分隔及分析计算单元、导入导出单元和编辑浏览单元；
所述拍照识图单元用于对俯视拍摄采集的棉花试验小区的棉花叶片的照片进行识别并给出判别结果；
所述数据输入单元用于输入棉花叶片照片；
所述图形分隔及分析计算单元用于将照片中的各个叶片与非叶片物体分割开来，并提取每个叶片的特征；
所述导入导出单元用于全部数据的导出备份及导入恢复；
所述编辑浏览单元用于对已拍摄识别的鉴定结果数据表每一条数据记录进行查询浏览、编辑修改和删除。
6.根据权利要求5所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：所述叶片图像分析系统为智能手机软件APP，且所述叶片图像分析系统的运行系统采用Android操作系统。
7.根据权利要求5所述的一种棉花叶片表型性状快速精准鉴定方法，其特征是：所述图形分隔及分析计算单元中采用语义分割模型对照片中的叶片与非叶片物体进行分割，并提取每个叶片的特征；所述语义分割模型采用自编码器模型，且所述自编码器模型的基本计算单元为卷积神经网络。
CN202211642943.5A 2022-12-20 2022-12-20 一种棉花叶片表型性状快速精准鉴定方法 Pending CN116258844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211642943.5A CN116258844A (zh) 2022-12-20 2022-12-20 一种棉花叶片表型性状快速精准鉴定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211642943.5A CN116258844A (zh) 2022-12-20 2022-12-20 一种棉花叶片表型性状快速精准鉴定方法

Publications (1)

Publication Number Publication Date
CN116258844A true CN116258844A (zh) 2023-06-13

Family

ID=86685349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211642943.5A Pending CN116258844A (zh) 2022-12-20 2022-12-20 一种棉花叶片表型性状快速精准鉴定方法

Country Status (1)

Country Link
CN (1) CN116258844A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593652A (zh) * 2024-01-18 2024-02-23 之江实验室 一种智能识别大豆叶片叶形的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593652A (zh) * 2024-01-18 2024-02-23 之江实验室 一种智能识别大豆叶片叶形的方法和系统
CN117593652B (zh) * 2024-01-18 2024-05-14 之江实验室 一种智能识别大豆叶片叶形的方法和系统

Similar Documents

Publication Publication Date Title
Liu et al. A vision-based robust grape berry counting algorithm for fast calibration-free bunch weight estimation in the field
CN103808263B (zh) 谷粒粒形参数的高通量检测方法
CN103518224B (zh) 用于分析微生物生长的方法
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
Miao et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud
CN110569747A (zh) 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN111918547B (zh) 树冠识别装置、识别方法、程序和记录介质
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及系统
Richner et al. Root image analysis and interpretation
CN110188657A (zh) 基于卷曲叶片检测的玉米干旱识别方法
CN116258844A (zh) 一种棉花叶片表型性状快速精准鉴定方法
CN117576195A (zh) 一种植物叶片形态识别方法
Guo et al. Panicle Ratio Network: streamlining rice panicle measurement by deep learning with ultra-high-definition aerial images in the field
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
CN116308435A (zh) 一种基于智能溯源秤的农产品精准化识别方法及系统
CN111191543A (zh) 油菜产量估测方法
CN116883309A (zh) 一种大豆表型获取方法
CN110580495A (zh) 一种梨树叶面积与叶面炭疽病病斑数自动化分析方法
CN115830318A (zh) 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置
CN115424006A (zh) 应用于作物表型参数反演的多源多层次数据融合方法
CN116977648A (zh) 一种基于目标检测的菜用大豆表型信息的识别方法和系统
CN114913523A (zh) 基于yolox的植物气孔多功能实时智能识别系统
Zhu et al. Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud
CN110674453B (zh) 一种获取棉花叶片丛聚指数的数字图像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination