CN112464763A - 基于图像处理的水培作物根系形态测定系统及其方法 - Google Patents
基于图像处理的水培作物根系形态测定系统及其方法 Download PDFInfo
- Publication number
- CN112464763A CN112464763A CN202011282030.8A CN202011282030A CN112464763A CN 112464763 A CN112464763 A CN 112464763A CN 202011282030 A CN202011282030 A CN 202011282030A CN 112464763 A CN112464763 A CN 112464763A
- Authority
- CN
- China
- Prior art keywords
- image
- hydroponic
- root
- root system
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 27
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004040 coloring Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 239000012780 transparent material Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 230000002786 root growth Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000004458 analytical method Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 24
- 241000196324 Embryophyta Species 0.000 description 11
- 230000012010 growth Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 240000000851 Vaccinium corymbosum Species 0.000 description 3
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 3
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 235000021014 blueberries Nutrition 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009313 farming Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像处理的水培作物根系形态测定系统，包括水培装置、图像采集装置、上位机监控平台、智能终端、数据通信单元，图像采集装置、智能终端通过数据通信单元与上位机监控平台连接；所述上位机监控平台用于控制所述图像采集装置拍摄水培作物根系图像并进行处理，建立CNN算法检测模型自动测定根系形态，显示各系统模块及作物根系形态参数。还公开了一种基于图像处理的水培作物根系形态测定方法。本发明通过采用数码相机拍摄水培作物根系图像，利用计算机视觉图像处理技术，测定水培作物根系形态信息，不仅克服了现有技术中的水培作物根系形态测量费时费力、效率低和误差大的缺点，并且实现了水培作物根系分析的快速无损测量。
Description
技术领域
本发明涉及农作物监测领域，特别是涉及一种基于图像处理的水培作物根系形态测定系统及其方法。
背景技术
植物根系是植物的重要组成部分，具有非常重要的功能，如水培作物依靠根系从营养液里进行水分和养分的吸收与转运、有机物贮藏及植株锚定等。及时掌握根系的生长状态对于植物生长发育以及植物研究工作至关重要，它关系着植物最佳处理时间的选择、处理前植物生长发育状态的一致性、处理过程中植物根系响应的及时反馈等一系列过程。传统根系形态检测工作往往依赖于人工手动检测植物根系的个别性状，数据量有限，效率低，难以开展植物根系多种性状的综合分析，且引入人为因素容易导致测量数据的误差，其可分析规模小、成本高、费时费力，缺乏规范性且测量精度较低。随着深度学习在图像处理领域的成熟应用，已经出现了一种新的检测技术——基于计算机视觉的图像检测技术，与传统的检测技术相比，其具有效率高、精度高、成本低等优点。
因此亟需提供一种新型的基于图像处理的水培作物根系形态测定系统及方法来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种基于图像处理的水培作物根系形态测定系统及方法，不仅克服了现有技术中的水培作物根系形态测量费时费力、效率低和误差大的缺点，并且实现了水培作物根系分析的快速无损测量。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于图像处理的水培作物根系形态测定系统，包括水培装置、图像采集装置、上位机监控平台、智能终端、数据通信单元，图像采集装置、智能终端通过数据通信单元与上位机监控平台连接；
所述水培装置用于水培作物的水培；
所述图像采集装置用于对水培作物根系进行全方位多层次拍摄，获取水培作物根系的图像；
所述上位机监控平台用于控制所述图像采集装置拍摄水培作物根系图像并进行处理，建立CNN算法检测模型自动测定根系形态，显示各系统模块及作物根系形态参数；
所述数据通信单元用于所述上位机监控平台与智能终端之间的数据传输；
所述智能终端用于接收所述上位机监控平台下发的信息，支持本地查看当前目标作物根系生长状况，并可远程访问所述上位机监控平台进行操作。
在本发明一个较佳实施例中，所述水培装置采用平行式透明种植架，所述种植架包括由透明材料构成的多层水培管、均匀分布的水培槽及位于两端的立柱，所述水培槽或水培管内装有透明或半透明的水培液。
在本发明一个较佳实施例中，所述图像采集装置包括摄像头、LED灯、滑动轨道、安装在滑动轨道上的导轨式升降机、搭载在导轨式升降机上的转动装置，所述摄像头与LED灯安装在转动装置上，实现摄像头水平及竖直方向的任意位置移动和观测角度调节。
进一步的，所述摄像头的观测位置和角度参数通过人工根据拍摄效果进行微调及更新，或由所述上位机监控平台自动调取相应参数控制所述摄像头调整到相应观测位置和角度进行拍摄。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于图像处理的水培作物根系形态测定方法，包括以下步骤：
S1：所述上位机监控平台控制图像采集装置获取待测定水培作物根系图像，通过数据通信单元传输到上位机监控平台；
S2：所述上位机监控平台对获取的待测定水培作物根系图像进行预处理，得到新的待测定水培作物根系图像；
S3：所述上位机监控平台基于构建的CNN算法检测模型，对步骤S2得到的根系图像进行根部识别，得到包含根部部位位置坐标信息和类别信息的N张分割图像，其中N为主根和侧根类别数；
S4：根据所述根部部位位置坐标信息提取目标轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，即目标的二维像素尺寸；
S5：计算根系图像中每一个像素点的实际尺寸，结合步骤S4中所述目标的二维像素尺寸，计算目标的实际二维尺寸，给出所述待测定水培作物根系形态测定数据，保存到上位机监控平台；
S6：所述上位机监控平台根据所述目标检测和尺寸测量结果，在所述待测定水培作物根系图像上标出目标的最小外接矩形，并在目标的最小外接矩形处标注目标的类别信息和尺寸信息，将结果图像传输到智能终端上进行显示。
在本发明一个较佳实施例中，在步骤S2中，预处理的过程包括对获取的待测定水培作物根系图像进行滤波去噪、将去噪后的根系图像缩放至统一大小、按256×256像素进行归一化处理。
在本发明一个较佳实施例中，在步骤S3中，所述CNN算法检测模型的构建方法包括以下步骤：
S3.1：收集若干幅待检测水培作物根系图像作为训练图像，并进行预处理；
S3.2：对所述训练图像进行手工分割得到分割图像，对所述分割图像的各分割区域进行着色，建立各分割区域与相应颜色RGB值的对应关系，获得着色后的分割图像；将所述着色后的分割图像转换为分割标签，实现训练图像和分割标签的一一对应；
S3.3：将所述训练图像和分割标签输入到基于改进的Mask R-CNN目标检测网络中进行训练，得到CNN算法检测模型。
进一步的，在步骤S4中，提取目标轮廓的方法为：
首先增强分割图像的边缘及灰度跳变的部分；
其次，通过采用f(i，j)表示二值图像中坐标为(i，j)点的像素值，从上到下、从左向右扫描目标所在分割图像中每一个像素点，将像素值与相应颜色RGB值进行比较给出目标轮廓点；
最后，通过获取图像上目标的所有轮廓点，并进行标记，则获得目标轮廓。
在本发明一个较佳实施例中，在步骤S4中，计算目标轮廓的最小外接矩形的方法，包括以下步骤：
首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为A点坐标，以水平方向和垂直方向上坐标的最大值为B点坐标，绘制以A点和B点为对角线两个顶点的矩形，得到目标轮廓的外接矩形S，并计算所述外接矩形S的面积；
其次，在90度范围内将目标轮廓以所述外接矩形S的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为1-5度；
最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β，将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度，获得目标轮廓的最小外接矩形。
在本发明一个较佳实施例中，在步骤S5中，所述待测定水培作物根系形态测定数据包括主根长度、主根面积、主根半径、侧根长度、侧根面积、侧根半径、根系分支数量。
本发明的有益效果是：
(1)本发明通过采用数码相机拍摄水培作物根系图像，利用计算机视觉图像处理技术，测定水培作物根系形态信息，不仅克服了现有技术中的水培作物根系形态测量费时费力、效率低和误差大的缺点，并且实现了水培作物根系分析的快速无损测量；
(2)本发明基于计算机视觉的图像检测技术，通过大量的水培作物根系图像进行训练和学习，形成CNN算法检测模型，利用所述CNN算法检测模型便可实现对待分割图像中的每个像素进行分类，从而实现待分割图像中的部件分割，在分割的同时，也完成了对该区域的识别；通过目标轮廓提取及最小外接矩形实际二维尺寸计算，给出所述待测定水培作物根系形态测定数据，用户根据作物根系形态测定数据可以进行相应的农事行为，保证作物能够健康生长；
(3)本发明采用改进的Mask R-CNN目标检测网络训练得到CNN算法检测模型，相对于其它的神经网络结构，特征提取为Inception v3结构，损失函数为Arcface，加入了卷积分解和正则化，增加了归一化层BN，更加适用于水培作物根系这种平整图像分割，其准确率高、不受先验条件的限制；
(4)本发明数据由上位机监控平台统一管理、集中管控，可以通过智能终端实现远程访问和操作，不需要专业技术人员进行维护，提高工作效率，可以减少人员投入成本。
附图说明
图1是本发明基于图像处理的水培作物根系形态测定系统一较佳实施例的结构示意图；
图2是基于图像处理的水培作物根系形态测定方法的流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种基于图像处理的水培作物根系形态测定系统，包括水培装置、图像采集装置、上位机监控平台、智能终端、数据通信单元，图像采集装置、智能终端通过数据通信单元与上位机监控平台连接。所述水培装置用于水培作物的水培；所述图像采集装置用于对水培作物根系进行全方位多层次拍摄，获取水培作物根系的图像；所述上位机监控平台用于控制所述图像采集装置拍摄水培作物根系图像并进行处理，建立CNN算法检测模型自动测定根系形态，显示各系统模块及作物根系形态参数；所述数据通信单元用于所述上位机监控平台与智能终端之间的数据传输，可通过公网或专线进行数据的传输，传输方式包括4G、5G、Wi-Fi以及物联网网关；所述智能终端包括手机、平板、可穿戴设备(例如智能手环、智能手表)，用于接收所述上位机监控平台下发的信息，支持本地查看当前目标作物根系生长状况，并可远程访问所述上位机监控平台进行操作。
所述水培装置采用平行式透明种植架，所述种植架包括由透明材料构成的多层水培管、均匀分布的水培槽及位于两端的立柱，所述水培槽或水培管内装有透明或半透明的水培液。进一步地，所述透明材料可以采用聚苯乙烯、聚甲基丙烯酸甲酯、聚碳酸酯中的一种或多种，所述立柱可以采用铝合金、不锈钢中的一种或多种作为支撑柱，具有强度高、防锈蚀的特点。
所述图像采集装置包括摄像头、LED灯、滑动轨道、安装在滑动轨道上的导轨式升降机、搭载在导轨式升降机上的转动装置，滑动轨道安装在所述立柱上方，呈口字型。所述摄像头与LED灯安装在转动装置上，实现摄像头水平及竖直方向的任意位置移动和观测角度调节，通过LED灯进一步提高补光和成像效果，获取水培作物根系高质量图像。
优选的，所述摄像头支持自动识别和追踪监测目标，支持智能变焦使监测目标始终处于拍摄画面中心。例如，所述摄像头可采用睿魔智能科技(深圳)有限公司的OBSBOT寻影。
为获取水培作物根系高质量图像，保证图像中只包含一棵作物根系信息，所述摄像头观测位置和角度参数根据实际环境先进行调试，确定相关参数并保存到上位机监控平台中，参数支持人工根据拍摄效果进行微调及更新。当需要获取待检测水培作物根系图像时，所述上位机监控平台自动调取相应参数控制所述摄像头调整到相应观测位置和角度进行拍摄。
本发明数据由上位机监控平台统一管理、集中管控，可以通过智能终端实现远程访问和操作，不需要专业技术人员进行维护，提高工作效率，可以减少人员投入成本。
本发明实施例还提供一种基于图像处理的水培作物根系形态测定方法，包括以下步骤：
S1：所述上位机监控平台将摄像头调整到待测定水培作物根系对应的观测位置和角度进行拍摄，获取待测定水培作物根系图像，通过数据通信单元传输到上位机监控平台；
S2：所述上位机监控平台对获取的待测定水培作物根系图像进行预处理，得到新的待测定水培作物根系图像；
S3：所述上位机监控平台基于构建的CNN算法检测模型，对步骤S2得到的根系图像进行根部识别，得到包含根部部位位置坐标信息和类别信息的N张分割图像，其中N为主根和侧根类别数；
S4：根据所述根部部位位置坐标信息提取目标轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；
其中，所述目标为根系实际的像素点范围，每张图片里分割出来的着色区域里含有根系像素点，由于分割时采用矩形，所以着色区域会比根系实际像素点范围大，最小外接矩形是为了缩小这个范围，使得范围与根系实际像素点所占用的像素点区域吻合度更好。
S5：计算根系图像中每一个像素点的实际尺寸，结合步骤S4中所述目标的二维像素尺寸，计算目标的实际二维尺寸，给出所述待测定水培作物根系形态测定数据，保存到上位机监控平台并在搭配的屏幕上显示；
S6：所述上位机监控平台根据所述目标检测和尺寸测量结果，在所述待测定水培作物根系图像上标出目标的最小外接矩形，并在目标的最小外接矩形处标注目标的类别信息和尺寸信息，将结果图像传输到智能终端上进行显示。
在步骤S2中，预处理的过程包括对获取的待测定水培作物根系图像采用中值滤波、高斯滤波或小波阈值滤波进行滤波去噪、将去噪后的根系图像缩放至统一大小、按256×256像素进行归一化处理。
在步骤S3中，所述CNN算法检测模型的构建方法包括以下步骤：
S3.1：对待检测水培作物根系图像进行收集和预处理，收集若干幅图像作为训练图像，所有训练图像均进行大小归一化处理，默认将其处理为256×256像素；
S3.2：首先对训练图像进行手工分割得到分割图像，根据根系分类经验进行判定，手动绘制不同大小的矩形框(矩形框之间可能会有重叠区域)，主要原则是保证每个分割图像里只有一个易于识别的根系图像，重叠区域不影响到根系的识别；
然后对所述分割图像的各分割区域进行着色，建立各分割区域与相应颜色RGB值的对应关系，获得着色后的分割图像，使用LabelMe图形标注工具对不同分割区域的像素值标注得到对应的不同标签值，实现训练图像和分割标签的一一对应；
比如对蓝莓主根所在的分割图像，设定蓝莓主根所在的像素区域像素值为RGB(255，255，255)，标签值为11。根据不同颜色像素值对应的所述标签值，将所述着色后的分割图像转换为分割标签，制作针对待测量目标的数据集，并进行训练集与验证集的划分，其中，训练集用于对CNN算法检测模型进行训练，验证集用于验证训练得到的CNN算法检测模型是否合适。
S3.3：将所述训练图像和分割标签输入到基于改进的Mask R-CNN目标检测网络的CNN算法检测模型中进行训练，所述改进的Mask R-CNN目标检测网络将原Mask R-CNN网络特征提取部分的ResNet替换为Inception v3结构，Softmax的交叉熵损失函数替换为Arcface损失函数，加入了卷积分解和正则化，增加了归一化层BN，对输出的特征进行归一化处理，并用两个级联的3×3卷积取代了5×5卷积，利用反向传播法，反复迭代优化所述改进的Mask R-CNN目标检测网络的内部参数，直到train loss(训练误差)与test loss(测试误差)都呈下降趋势并趋于稳定时，初始化训练完成，得到CNN算法检测模型。
采用改进的Mask R-CNN目标检测网络训练得到CNN算法检测模型，相对于其它的神经网络结构，特征提取为Inceptionv3结构，损失函数为Arcface，加入了卷积分解和正则化，增加了归一化层BN，更加适用于水培作物根系这种平整图像分割，其准确率高、不受先验条件的限制。
在步骤S4中，提取目标轮廓的方法为：首先利用图像增强、二值化处理、形态学轮廓处理的算法，增强分割图像的边缘及灰度跳变的部分；然后通过采用f(i，j)表示二值图像中坐标为(i，j)点的像素值，从上到下、从左向右扫描目标所在分割图像中每一个像素点，将像素值与相应颜色RGB值进行比较给出目标轮廓点。通过查找像素值与对应的RGB值，相等即为轮廓点，比如设定蓝莓主根对应的RGB值为(255，255，255)，如果f(i，j)≠255且f(i，j+1)＝255，或f(i，j-1)＝255且f(i，j)≠255，或f(i，j)≠255且f(i+1，j)＝255，或f(i-1，j)＝255且f(i，j)≠255，则f(i，j)是目标的轮廓点；最后通过获取图像上目标的所有轮廓点，并进行标记，则获得了目标轮廓。
在步骤4中，计算目标轮廓最小外接矩形的方法如下：
首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为A点坐标，以水平方向和垂直方向上坐标的最大值为B点坐标，绘制以A点和B点为对角线两个顶点的矩形，得到目标轮廓的外接矩形S，并计算所述外接矩形S的面积；
其次，在90度范围内将目标轮廓以所述外接矩形S的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为1-5度；
最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β(通过计算得到)，将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度，获得目标轮廓的最小外接矩形。
在步骤5中，根据照相机成像原理和相似三角形理论可知，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比。已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距，可以计算出图像的实际尺寸；已知摄像头分辨率和图像缩放比例，进而可以计算出图像中每一个像素点的实际尺寸。
具体的，在步骤5中，所述待测定水培作物根系形态测定数据包括主根长度、主根面积、主根半径、侧根长度、侧根面积、侧根半径、根系分支数量。其中，根系分支数量由分割图像数目给出，主根面积和侧根面积由其对应的实际二维尺寸计算给出，主根半径和侧根半径由其对应的每一个像素点到最小外接矩形短边轴线的实际距离均值计算给出，主根长度和侧根长度由其对应的每一个像素点实际尺寸数据通过构建三次B样条曲线方程，根据最小二乘法多次迭代拟合计算给出，在迭代拟合计算中，采用3σ准则进行异常值剔除。
进一步的，在步骤6中，所述目标检测和尺寸测量结果还可结合配置有作物苗木分级模型的专家系统，给出根系所满足的苗木级别。若判断为合格苗木II级，则在上位机监控平台屏幕上进行颜色标识预警，若判断为不合格苗木则进行弹窗告警，并将告警信息下发给智能终端。
进一步的，在步骤6中，所述目标检测和尺寸测量结果还可结合专家系统给出的作物根系形态特征与作物生长周期之间的对应关系，给出作物生长周期，通常包括发芽期、幼苗期、甩条发棵期和结果期。若判断作物生长周期异常，则在上位机监控平台屏幕上进行弹窗告警，并将告警信息下发给智能终端。
本发明基于计算机视觉的图像检测技术，通过大量的水培作物根系图像进行训练和学习，形成CNN算法检测模型，利用所述CNN算法检测模型便可实现对待分割图像中的每个像素进行分类，从而实现待分割图像中的部件分割，在分割的同时，也完成了对该区域的识别；通过目标轮廓提取及最小外接矩形实际二维尺寸计算，给出所述待测定水培作物根系形态测定数据，用户根据作物根系形态测定数据可以进行相应的农事行为，保证作物能够健康生长。
本发明通过采用数码相机拍摄水培作物根系图像，利用计算机视觉图像处理技术，测定水培作物根系形态信息，不仅克服了现有技术中的水培作物根系形态测量费时费力、效率低和误差大的缺点，并且实现了水培作物根系分析的快速无损测量；同时，还可以搭配配置有作物苗木分级模型的专家系统，给出根系所满足的苗木级别；搭配配置有作物根系形态特征与作物生长周期对应关系的专家系统，给出作物生长周期，及时发现水培作物生长异常，即使没有农事经验的人也可以利用本发明提供的系统培育水培作物，能为用户节省很多开销。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于图像处理的水培作物根系形态测定系统，其特征在于，包括水培装置、图像采集装置、上位机监控平台、智能终端、数据通信单元，图像采集装置、智能终端通过数据通信单元与上位机监控平台连接；
所述水培装置用于水培作物的水培；
所述图像采集装置用于对水培作物根系进行全方位多层次拍摄，获取水培作物根系的图像；
所述上位机监控平台用于控制所述图像采集装置拍摄水培作物根系图像并进行处理，建立CNN算法检测模型自动测定根系形态，显示各系统模块及作物根系形态参数；
所述数据通信单元用于所述上位机监控平台与智能终端之间的数据传输；
所述智能终端用于接收所述上位机监控平台下发的信息，支持本地查看当前目标作物根系生长状况，并可远程访问所述上位机监控平台进行操作。
2.根据权利要求1所述的基于图像处理的水培作物根系形态测定系统，其特征在于，所述水培装置采用平行式透明种植架，所述种植架包括由透明材料构成的多层水培管、均匀分布的水培槽及位于两端的立柱，所述水培槽或水培管内装有透明或半透明的水培液。
3.根据权利要求1所述的基于图像处理的水培作物根系形态测定系统，其特征在于，所述图像采集装置包括摄像头、LED灯、滑动轨道、安装在滑动轨道上的导轨式升降机、搭载在导轨式升降机上的转动装置，所述摄像头与LED灯安装在转动装置上，实现摄像头水平及竖直方向的任意位置移动和观测角度调节。
4.根据权利要求3所述的基于图像处理的水培作物根系形态测定系统，其特征在于，所述摄像头的观测位置和角度参数通过人工根据拍摄效果进行微调及更新，或由所述上位机监控平台自动调取相应参数控制所述摄像头调整到相应观测位置和角度进行拍摄。
5.一种基于图像处理的水培作物根系形态测定方法，其特征在于，包括以下步骤：
S1：所述上位机监控平台控制图像采集装置获取待测定水培作物根系图像，通过数据通信单元传输到上位机监控平台；
S2：所述上位机监控平台对获取的待测定水培作物根系图像进行预处理，得到新的待测定水培作物根系图像；
S3：所述上位机监控平台基于构建的CNN算法检测模型，对步骤S2得到的根系图像进行根部识别，得到包含根部部位位置坐标信息和类别信息的N张分割图像，其中N为主根和侧根类别数；
S4：根据所述根部部位位置坐标信息提取目标轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，即目标的二维像素尺寸；
S5：计算根系图像中每一个像素点的实际尺寸，结合步骤S4中所述目标的二维像素尺寸，计算目标的实际二维尺寸，给出所述待测定水培作物根系形态测定数据，保存到上位机监控平台；
S6：所述上位机监控平台根据所述目标检测和尺寸测量结果，在所述待测定水培作物根系图像上标出目标的最小外接矩形，并在目标的最小外接矩形处标注目标的类别信息和尺寸信息，将结果图像传输到智能终端上进行显示。
6.根据权利要求5所述的基于图像处理的水培作物根系形态测定方法，其特征在于，在步骤S2中，预处理的过程包括对获取的待测定水培作物根系图像进行滤波去噪、将去噪后的根系图像缩放至统一大小、按256×256像素进行归一化处理。
7.根据权利要求5所述的基于图像处理的水培作物根系形态测定方法，其特征在于，在步骤S3中，所述CNN算法检测模型的构建方法包括以下步骤：
S3.1：收集若干幅待检测水培作物根系图像作为训练图像，并进行预处理；
S3.2：对所述训练图像进行手工分割得到分割图像，对所述分割图像的各分割区域进行着色，建立各分割区域与相应颜色RGB值的对应关系，获得着色后的分割图像；将所述着色后的分割图像转换为分割标签，实现训练图像和分割标签的一一对应；
S3.3：将所述训练图像和分割标签输入到基于改进的Mask R-CNN目标检测网络中进行训练，得到CNN算法检测模型。
8.根据权利要求7所述的基于图像处理的水培作物根系形态测定方法，其特征在于，在步骤S4中，提取目标轮廓的方法为：
首先增强分割图像的边缘及灰度跳变的部分；
其次，通过采用f(i,j)表示二值图像中坐标为(i,j)点的像素值，从上到下、从左向右扫描目标所在分割图像中每一个像素点，将像素值与相应颜色RGB值进行比较给出目标轮廓点；
最后，通过获取图像上目标的所有轮廓点，并进行标记，则获得目标轮廓。
9.根据权利要求5所述的基于图像处理的水培作物根系形态测定方法，其特征在于，在步骤S4中，计算目标轮廓的最小外接矩形的方法，包括以下步骤：
首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为A点坐标，以水平方向和垂直方向上坐标的最大值为B点坐标，绘制以A点和B点为对角线两个顶点的矩形，得到目标轮廓的外接矩形S，并计算所述外接矩形S的面积；
其次，在90度范围内将目标轮廓以所述外接矩形S的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为1—5度；
最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β，将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度，获得目标轮廓的最小外接矩形。
10.根据权利要求5所述的基于图像处理的水培作物根系形态测定方法，其特征在于，在步骤S5中，所述待测定水培作物根系形态测定数据包括主根长度、主根面积、主根半径、侧根长度、侧根面积、侧根半径、根系分支数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011282030.8A CN112464763A (zh) | 2020-11-16 | 2020-11-16 | 基于图像处理的水培作物根系形态测定系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011282030.8A CN112464763A (zh) | 2020-11-16 | 2020-11-16 | 基于图像处理的水培作物根系形态测定系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112464763A true CN112464763A (zh) | 2021-03-09 |
Family
ID=74836943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011282030.8A Pending CN112464763A (zh) | 2020-11-16 | 2020-11-16 | 基于图像处理的水培作物根系形态测定系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464763A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102564593A (zh) * | 2011-12-30 | 2012-07-11 | 河海大学常州校区 | 基于计算机视觉及物联网的植物生长状况监测系统 |
| CN105139243A (zh) * | 2015-07-30 | 2015-12-09 | 甘霖 | 室内栽培蔬果的质量监控、销售系统及其实现方法 |
| CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及系统 |
-
2020
- 2020-11-16 CN CN202011282030.8A patent/CN112464763A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102564593A (zh) * | 2011-12-30 | 2012-07-11 | 河海大学常州校区 | 基于计算机视觉及物联网的植物生长状况监测系统 |
| CN105139243A (zh) * | 2015-07-30 | 2015-12-09 | 甘霖 | 室内栽培蔬果的质量监控、销售系统及其实现方法 |
| CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments | |
| CN106971167B (zh) | 基于无人机平台的作物生长分析方法及其分析系统 | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| CN110378909B (zh) | 基于Faster R-CNN的面向激光点云的单木分割方法 | |
| US20210056685A1 (en) | Method and device for monitoring comprehensive growth of potted lettuce | |
| CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
| Li et al. | Prediction of plant transpiration from environmental parameters and relative leaf area index using the random forest regression algorithm | |
| CN111462058B (zh) | 一种水稻有效穗快速检测方法 | |
| CN114818909B (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| CN109284771A (zh) | 一种番茄生长模型判定方法及装置 | |
| CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
| CN111339902A (zh) | 一种数显仪表的液晶屏示数识别方法及装置 | |
| CN113610101A (zh) | 一种谷粒萌发率测定方法 | |
| CN111724354B (zh) | 一种基于图像处理的多株小麦穗长与小穗数的测量方法 | |
| CN115050020A (zh) | 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统 | |
| CN116129260A (zh) | 基于深度学习的牧草图像识别方法 | |
| Lin et al. | Estimating litchi flower number using a multicolumn convolutional neural network based on a density map | |
| CN116129096A (zh) | 一种马铃薯根系长度的数字化测量系统及其测量方法 | |
| CN117789037A (zh) | 作物生长期预测方法及装置 | |
| CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
| CN113312999A (zh) | 一种自然果园场景下的柑橘木虱高精度检测方法及装置 | |
| Nomura et al. | Leaf area index estimation of a row-planted eggplant canopy using wide-angle time-lapse photography divided according to view-zenith-angle contours | |
| CN112464763A (zh) | 基于图像处理的水培作物根系形态测定系统及其方法 | |
| CN116206210A (zh) | 一种基于NAS-Swin的遥感影像农业大棚提取方法 | |
| CN114049390A (zh) | 一种基于机器视觉的小麦麦苗种植密度测量装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210309 |
|
| RJ01 | Rejection of invention patent application after publication |