CN111291686A - 农作物根果表型参数的提取与根果表型判别方法及系统 - Google Patents
农作物根果表型参数的提取与根果表型判别方法及系统 Download PDFInfo
- Publication number
- CN111291686A CN111291686A CN202010084914.6A CN202010084914A CN111291686A CN 111291686 A CN111291686 A CN 111291686A CN 202010084914 A CN202010084914 A CN 202010084914A CN 111291686 A CN111291686 A CN 111291686A
- Authority
- CN
- China
- Prior art keywords
- root
- point cloud
- phenotype
- crop
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 94
- 235000021537 Beetroot Nutrition 0.000 claims abstract description 82
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000003066 decision tree Methods 0.000 claims description 16
- 230000000877 morphologic effect Effects 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 238000002790 cross-validation Methods 0.000 claims description 13
- 238000007637 random forest analysis Methods 0.000 claims description 13
- 238000007619 statistical method Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000540 analysis of variance Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 12
- 235000016068 Berberis vulgaris Nutrition 0.000 description 9
- 241000335053 Beta vulgaris Species 0.000 description 9
- 241000196324 Embryophyta Species 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 229920001610 polycaprolactone Polymers 0.000 description 9
- 239000004632 polycaprolactone Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000219310 Beta vulgaris subsp. vulgaris Species 0.000 description 4
- 244000061456 Solanum tuberosum Species 0.000 description 4
- 235000002595 Solanum tuberosum Nutrition 0.000 description 4
- 235000021536 Sugar beet Nutrition 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 2
- 244000070406 Malus silvestris Species 0.000 description 2
- 241000220324 Pyrus Species 0.000 description 2
- 240000003768 Solanum lycopersicum Species 0.000 description 2
- 244000061458 Solanum melongena Species 0.000 description 2
- 235000002597 Solanum melongena Nutrition 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 244000017020 Ipomoea batatas Species 0.000 description 1
- 235000002678 Ipomoea batatas Nutrition 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 240000000111 Saccharum officinarum Species 0.000 description 1
- 235000007201 Saccharum officinarum Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 241000482268 Zea mays subsp. mays Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- WCZVZNOTHYJIEI-UHFFFAOYSA-N cinnoline Chemical compound N1=NC=CC2=CC=CC=C21 WCZVZNOTHYJIEI-UHFFFAOYSA-N 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000018927 edible plant Nutrition 0.000 description 1
- 244000037666 field crops Species 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供的农作物根果表型参数的提取与根果表型判别方法及系统，包括：获取农作物根果的多视角图像序列；根据多视角图像序列，获取农作物根果的三维点云；对三维点云进行图像预处理，提取根果表型参数；将根果表型参数输入至预先训练完成的根果型判别模型，获取农作物根果的表型判别结果。本发明实施例提供的农作物根果表型参数的提取与根果表型判别方法及系统，一方面，通过获取的多视角图像序列，构建不同基因型甜菜根的三维点云模型，并自动获取根果表型参数；另一方面，通过构建根果型判别模型，实现了对甜菜根型的精准分类，为快速筛选适合机械化种植的甜菜根型提供了基础。
Description
技术领域
本发明实施例涉及农业信息化技术领域，尤其涉及一种农作物根果表型参数的提取与根果表型判别方法及系统。
背景技术
近年来，随着机械化程度及配套种植技术的逐步提高，农作物种植和收获从人工种植步入机械化时代，如何筛选适合当前规模化种植条件下大型机械起收的农作物根(甜菜、马铃薯等)果(柑橘、苹果、梨等)构型及对其进行产量、品质进行高通量智能化的自动分类成为了新阶段的首要任务。随着各种高通量传感器和多源图像处理技术的相继推出，极大地提高了表型数据的获取效率，保证了数据的客观准确性。
基于图像分析技术可以快速准确地确定果实、叶子和根系形状参数。例如，Brewer通过构建番茄果实表型性状对应的数学模型，开发了可以半自动精确测量番茄果实表型性状的分析系统；孔彦龙基于图像提取马铃薯面积和周长，采用矩形度、圆形度、偏心率和不变矩等方法进行形状分类，可以对马铃薯质量进行初步筛选；吴正敏提出基于图像自动提取茶叶形态特征参数的方法，进一步提高了茶叶分选精度；Tsialtas基于图像分析了不同地点和年型间6个甜菜品种根型的差异，初步建立了根形参数与产量和品质之间的关系。
基于作物三维结构的植物表型分析进一步扩大了表型数据的维度，可以直接进行植物表型参数的精准提取，是建立植物表型-基因型研究最直接的桥梁。
其中，研究人员已经基于多视角图像序列对温室内黄瓜、茄子、青椒等进行了三维重建，提取的表型参数精度较高；朱冰琳等将该方法用于对大田玉米、大豆等植株个体及群体生长动态的监测，尽管大田作物间遮挡严重，通过去除待测植物周边的遮挡，三维重建效果较好；Mortensen等人基于田间莴苣植株三维点云进行植株分割及预测鲜重，提取的植株表面积与实测鲜重显著相关。
应用机器视觉技术，采用三维重建的方法对农作物根果进行表型数字化处理与自动分类是重新定义农作物根果型并进行精准筛选的需要，也是从机械化农业步入精准农业阶段的需要。但是，现有技术中，对于农作物根果表型参数的提取和精准分类预测大多基于一维、二维空间上的粗略分析，并且均存在提取的参数过于片面、分类精度低的缺陷。
发明内容
本发明实施例提供一种农作物根果表型参数的提取与根果表型判别方法及系统，用以克服现有技术在不同农作物根果的表型研究和精准分类预测方面存在的缺陷。第一方面，本发明实施例提供一种农作物根果表型参数的提取与根果表型判别方法，包括：
获取农作物根果的多视角图像序列；根据多视角图像序列，获取农作物根果的三维点云；对三维点云进行图像预处理，提取根果表型参数；将根果表型参数输入至预先训练完成的根果型判别模型，获取农作物根果的根果表型判别结果。
优选地，上述根据多视角图像序列，获取所述农作物根果所在拍摄现场的三维点云，具体包括：利用C++跨平台开发环境code block读取多视角图像序列，并基于多视角立体成像技术基于三维点云库PCL提取的包含农作物根果的三维点云初图像；对三维点云初图像进行点云片面化处理以及去除噪点处理后，获取农作物根果的三维点云。
优选地，上述对三维点云进行点云预处理，具体包括：
采用自适应密度聚类对所述三维点云进行自动去噪；基于采样点的k邻域，构造采样点平面法向以对三维点云进行平滑；利用C++跨平台开发环境code block，结合三维点云库PCL读入三维点云；对三维点云进行三维坐标位置变换，使农作物根果平行于xyz坐标系中的x-y平面；分离三维点云，获取桌面三维点云和农作物根果三维点云；基于桌面三维点云并结合桌面的固定长宽值进行比例换算，获得农作物根果三维点云的实际坐标值。
优选地，上述对三维点云进行三维坐标位置变换，使农作物根果平行于xyz坐标系中的x-y平面，具体包括：
采用平面拟合提取农作物根果所在的桌面并计算桌面的法线；根据桌面的法线，获取x-z平面的旋转变换矩阵Ty和y-z平面的旋转变换矩阵Tx；将三维点云栅格化为所述x-y平面的深度图像；对深度图像进行二值化，并结合霍夫变换检测桌面的桌边缘直线，并计算桌边缘直线与x轴正方向的夹角θz；根据夹角θz，获取x-y平面的旋转变换矩阵Tz；将基于PCL库读入的与深度图像对应的三维点云乘以旋转变换矩阵Tx、Ty和Tz，获取变换转正后的三维点云。
优选地，上述y-z平面的旋转变换矩阵Tx、x-z平面的旋转变换矩阵Ty和x-y平面的旋转变换矩阵Tz，具体为：
优选地，上述农作物根果具体为甜菜根。
优选地，上述甜菜根的表型参数包括：基本形态特征参数以及根据所述基本形态特征参数提取的复杂根表型特征参数；上述基本形态特征参数包括：根长、最大直径、凸包体积和/或顶投影面积；复杂根表型特征参数包括：紧凑度、凸起率、凸起角、根头比、根尾比和/或根体渐细指数。
优选地，在将根果表型参数输入至预先训练完成的根果型判别模型之前，还包括：根据待处理的农作物的实际情况，综合线性判别、随机森林、支持向量机、决策树和贝叶斯判别中的至少一个模型，构建根果型判别模型。
优选地，在构建根果型判别模型之后，还包括对根果型判别模型进行预训练，具体为：
构建农作物根果训练集，并获取农作物根果训练集中每个农作物根果样本的表型参数；基于R语言对任一根果样本的表型参数进行统计分析，统计分析的方法包括方差分析、线性回归或聚类分析；基于K-medoids算法对根果样本的统计分析结果进行聚类；根据聚类结果获取农作物根果样本的根果表型判别真值；将根果表型判别真值作为样本标签，将任一所述根果样本的表型参数作为模型输入，采用十折交叉验证方法对根果型判别模型进行判别精度评估。
第二方面，本发明实施例提供一种农作物根果表型参数的提取与根果表型判别系统，包括图像获取单元、三维点云生成单元、根果表型参数提取单元和根果表型判别单元，其中：
图像获取单元用于获取农作物根果的多视角图像序列；三维点云生成单元，用于根据多视角图像序列，获取农作物根果的三维点云；根果表型参数提取单元用于对三维点云进行图像预处理，提取根果表型参数；根果表型判别单元用于将根果表型参数输入至预先训练完成的根果型判别模型获取农作物根果的根果表型判别结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如第一方面任一所述的农作物根果表型参数的提取与根果表型判别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一所述的农作物根果表型参数的提取与根果表型判别方法的步骤。
本发明实施例提供的农作物根果表型参数的提取与根果表型判别方法及系统，一方面，通过获取的多视角图像序列，构建不同类型农作物根果的三维点云模型，并自动获取根果表型参数；另一方面，通过构建根果型判别模型，实现了对农作物根果型的精准分类，为快速筛选适合机械化种植的农作物根果型提供了基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种农作物根果表型参数的提取与根果表型判别方法流程示意图；
图2为基于多视角图像序列量化构建三维点云的流程图，其中图2(a)为甜菜根多视角图像序列，图2(b)为包含噪点的甜菜根三维点云重建图，图2(c)为去除噪点后获得甜菜根三维点云；
图3为甜菜根表型参数提取前的三维点云预处理流程图，其中图3(a)为倾斜状态的去噪前的三维点云，图3(b)为基于桌面法向量旋转点云示意图，图3(c)为基于二值化桌面图像的霍夫变换图，图3(d)为经过霍夫变换以及转正变换后获取的桌面三维点云，图3(e)为经过过转正变换后的甜菜根与桌面三维点云，图3(f)为分割后获取的桌面三维点云和甜菜根三维点云；
图4为甜菜根表型参数计算示意图，其中图4(a)根长和最大直径的计算示意图，图4(b)为凸包体积的计算示意图，图4(c)为顶投影面积的计算示意图，图4(d)为紧凑度的计算示意图，图4(e)为凸起率的计算示意图，图4(f)为根头比的计算示意图，图4(g)为根尾比的计算示意图，图4(h)为根体渐细指数的计算示意图；
图5为分别选用线性判别、随机森林、支持向量机、决策树或贝叶斯判别所构建的五种根果型判别模型对甜菜根的学习曲线示意图；
图6为本发明实施例提供的五个不同基因型甜菜根的三维点云；
图7为对图6中各三维点云进行根长和最大直径的计算值和实测值的比较，其中，图7(a)为实测值示意图，图7(b)为计算值示意图；
图8为本发明实施例提供的对207个基因型甜菜根的聚类示意图；
图9为本发明实施例中在聚类获取的四组分类中，分别挑选两个有代表性的甜菜根构建的展示图；
图10为本发明实施例提供的采用十折交叉法验证的五种根果型判别模型对甜菜根型的判别精度比较图；
图11为本发明实施例提供的一种农作物根果表型参数的提取与根果表型判别系统的结构示意图；
图12为本发明实施例提供的一种电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种农作物根果表型参数的提取与根果表型判别方法，如图1所示，包括但不限于以下步骤：
S1：获取农作物根果的多视角图像序列；
S2：根据多视角图像序列，获取所述农作物根果的三维点云；
S3：对三维点云进行图像预处理，提取根果表型参数；
S4：将根果表型参数输入至预先训练完成的根果型判别模型，获取农作物根果的根果表型判别结果。
其中，在本发明实施了中所述的农作物根果，可以包括各种水果(例如苹果、梨子等)、果实类蔬菜(例如茄子、辣椒等)、可食用植物块茎(例如马铃薯、红薯等)。在本发明以下实施例中，均以甜菜根为例进行说明，但其不视为对本发明保护范围的限定。
具体地，作为一种实施例，步骤S1中所述的获取农作物根果的多视角图像序列的方式可以是采取田间试验的方式进行提取。其中，提取设备可以是数码相机、可拍照手机等电子设备。其中，拍照的方式可以是采取仰视、俯视、正视或者与待测农作物根果呈多个预设角度等方式进行，对此本实施例均不作限定。
例如：本发明实施例提供的多视角图像序列获取的田间试验在内蒙古生物院凉城实验基地(N40°29’，E112°28’)进行，该地属于中温带半干旱大陆性季风气候。年均气温为2-5℃，年日照时数3026h，有效积温2600℃。甜菜栽培土层为0-30cm，土壤有机质含量1.80％，全氮量1.03g/kg，有效磷23.09mg/kg。试验材料为207个不同基因型的甜菜根。其中73份材料是国内品种，来源于新疆农业科学院、内蒙古自治区生物技术研究院、内蒙古农业大学和中国农业科学院甜菜研究所，82份材料来源于荷兰、20份材料来源于英国、30份来源于德国、2份材料源于俄罗斯。种植方式为机械覆膜打孔人工点播，行距40cm，株距25cm。甜菜根在出苗后140天采用人工挖掘起收，且每个品种随机选5个甜菜根测生物量和含糖率。采用iPhone 8 plus手机围绕甜菜根两圈拍照获取多视角图像序列。手机像素为4032*3024，焦距为3.99mm，快门速度为0.01s，光圈数为f/1.8，ISO感光度为32。每个甜菜根获取的图像数量在100至120之间，即可以将每个多视角图形序列的数量设置为100至120之间。
进一步地，在本发明实施例的步骤S2中，当获取到待测农作物根果的多视角图像后，进行三维点云的重建。
由于，传统甜菜根根型依靠人为观察根茎、根体上端和根体下端的宽窄来对根型进行分类。这种分类方法要求研究人员具有一定的甜菜专业知识，且分类标准不明确。在本发明实施例中，通过对获取的多视角图像序列进行三维点云图像的提取，为进一步的进行图像处理及分析提供基础。
其中，三维点云中的所有点的集合用于表征待测农作物根果的外观表面的点数据集合，能够精确的重现农作物根果的外观特征。
作为一种可选实施例，也可以直接采用三维激光扫描仪等密集点云扫描装置，在现场对待测农作物根果进行扫描，获取对应的三维点云图像。但由于三维点云扫描装置不便于随身携带，在实际的根果表型参数分析、判别过程中，一般是采取上述实施例中所记载的通过先获取多视角图像序列；再利用计算机处理软件，通过对获取的多视角图像序列进行图像处理后，获取到对应的三维点云。
基于上述实施例的内容，如图2所示，本发明实施例提供一种基于多视角图像获取所述农作物根果所在拍摄现场的三维点云，包括单不限于以下两个步骤：
S21：利用C++跨平台开发环境code block读取所述多视角图像序列，并基于多视角立体成像技术结合三维点云库PCL提取的包含所述农作物根果的三维点云初图像；
S22：对三维点云初图像进行点云片面化处理以及去除噪点处理后，获取农作物根果的三维点云。
图2(a)为获取的任意一组多视角图像序列，图2(b)为采用本实施例提供的三维点云图像提取方法对图2(a)进行重建后所获取的三维点云。具体的，在本发明实施例中，基于获取的甜菜根多视角图像序列，如图2(a)所示；采用C++跨平台开发环境code block软件，读入上述多视角图像序列，重建拍摄场景的三维点云如图2(b)所示，主要包括以下步骤：
软件自动将获取的每组多视角图像序列恢复其位置和方向；基于多视角立体成像技术提取密集且精确的三维点云，进而生成具有纹理映射的三角形网格(即进行点云面片化)；去除噪点后获得甜菜根三维点云，如图2(c)所示。
进一步地，可以对去噪后的三维点云进行旋转、分离除目标甜菜根三维点云图像外的其他干扰点云等系列处理后，量化甜菜根各表型参数值，并可以将获取的参数值用于进一步的根果表型判别、分类。
进一步地，在进行表型参数提取前，需要先对三维点云进行预处理，即步骤S3中所述的对上一步中所获取的三维点云进行图像预处理，以提取根果表型参数，如图3所示，包括但不限于：在code block中，采用自适应密度聚类对所述三维点云进行自动去噪；基于采样点的k邻域，构造采样点平面法向以对三维点云进行平滑；利用三维点云库PCL读入自动去噪和平滑后的三维点云；对三维点云进行三维坐标位置变换，使农作物根果平行于xyz坐标系中的x-y平面；分离三维点云，获取桌面三维点云和农作物根果三维点云；基于桌面三维点云并结合桌面的固定长宽值进行比例换算，获得农作物根果三维点云的实际坐标值。
具体的，一方面，如图2(b)所示的重建后的三维点云中，由于拍照时的复杂背景及拍照时手的抖动均会给点云数据带来噪点，故先在code block中采用自适应密度聚类自动去除噪点，获取去噪后的包含有放置该待测甜菜根桌面的三维点云，如图2(c)所示。本发明实施例提供的农作物根果表型参数的提取方法，通过对获取的三维点云图像进行去噪，可以有效的提高提取的精度。
另一方面，拍摄时，由于拍摄角度的不固定(例如手机位置的不固定)，利用三维点云库PCL所读入的去噪后的三维点云处于倾斜状态，如图3(a)所示。因此在进行表型参数的提取时，需要对其进行三维坐标位置的变换，以使甜菜根平行于x-y平面，便于后期数据处理。需要说明的是，在本实施例中，采用的使甜菜根平行于x-y平面是符合图像处理习惯的，也可以采用将甜菜根平行于任一平面(例如y-z平面或x-z平面等)，对此本发明实施例不作具体的限定。
作为一种可选实施例，如图3(b)所示，本发明实施例提供一种农作物根果表型参数的提取与根果表型判别方法，其中对所三维点云进行三维坐标位置变换，使农作物根果平行于xyz坐标系中的x-y平面，具体包括但不限于以下步骤：
采用平面拟合提取农作物根果所在的桌面并计算桌面的法线；根据桌面的法线，获取x-z平面的旋转变换矩阵Ty和y-z平面的旋转变换矩阵Tx；将三维点云栅格化为x-y平面的深度图像；对深度图像进行二值化，并结合霍夫变换检测桌面的桌边缘直线，并计算桌边缘直线与x轴正方向的夹角θz；根据夹角θz，获取x-y平面的旋转变换矩阵Tz；将PCL库读入的三维点云乘以旋转变换矩阵Tx、Ty和Tz，获取变换转正后的三维点云。
在本发明实施例中，利用已获知到固定长宽值(作为参考值)的桌面放置待测农作物根果，即在xyz坐标系中，桌面可视为一个光滑平面。进一步地，采用平面拟合提取桌面并计算桌面法线，进而推导出x-z平面和y-z平面的旋转变换矩阵Ty和Tx。并根据旋转变换矩阵将三维点云栅格化为x-y平面的深度图像。其中，每个图像像素代表点云中网格的最大深度(即z值)。
进一步地，如图3(c)所示，对上一步处理后的获取的深度图像(即图3(c)中的上左图)进行二值化处理后，利用霍夫变换方法获取到该桌面的边缘直线，如图3(c)中的上右图所示，并由此可以获取到桌边缘直线与x轴正方向的夹角θz，如图3(c)所示的图像中，获取到的θz＝48°；由此可以推导出并x-y平面的旋转变换矩阵Tz，并获取到变换后的桌面三维点云，如图3(d)所示。
进一步地，将所述PCL库读入的与深度图像对应的三维点云乘以所述旋转变换矩阵Tx、Ty和Tz，获取变换转正后的三维点云，即图3(e)所示的三维点云图像。
进一步地，对图3(e)所示的三维点云图像进行分割，获取如图3(f)所示的桌面三维点云和农作物根果三维点云。
最后，根据已知的桌面的固定长宽值作为基准值，即以图3(e)中所示的桌面三维点云作为基准获取到待测甜菜根三维点云的实际坐标值。
基于上述实施例的内容，作为一种可选实施例，上述y-z平面的旋转变换矩阵Tx、x-z平面的旋转变换矩阵Ty和x-y平面的旋转变换矩阵Tz，可以具体为：
进一步地，作为一种可选实施例所提供的农作物根果表型参数的提取与根果表型判别方法，其中农作物根果具体为甜菜根。
甜菜是我国制糖工业的重要原料之一，其产糖量约占全国食糖总产量的10％。近年来，随着机械化程度及配套种植技术的逐步提高，甜菜在内蒙古、新疆和黑龙江的种植面积不断扩大。甜菜是以收获块根并从中榨取糖分的经济作物。随着甜菜种植业从人工种植步入机械化时代，如何筛选适合当前规模化种植条件下大型机械起收的甜菜根型成为新阶段的首要任务。随着各种高通量传感器和多源图像处理技术的相继推出，极大地提高了表型数据的获取效率，保证了数据的客观准确性。但基于三维模型对不同基因型甜菜根型表型的研究和精准分类预测目前还未见报道。
应用机器视觉技术，采用三维重建的方法对甜菜根型进行表型数字化处理与自动分类是重新定义甜菜根型并进行精准筛选的需要，也是甜菜从机械化农业步入精准农业阶段的需要。因此，本发明实施例提供的甜菜根表型参数的提取，是基于多视角图像序列，构建不同基因型甜菜根的三维点云模型，以提取出根果表型参数。并进一步的通过构建根果型判别模型，利用根果表型参数作为输入，获取到农作物根果的根果表型判别结果，即获取到相应的分类结果，以快速筛选适合机械化种植的甜菜根型。
基于上述实施例的内容，作为一种可选实施例，其中甜菜根的表型参数包括：基本形态特征参数以及根据基本形态特征参数提取的复杂根表型特征参数。具体的，基本形态特征参数可以包括但不限于：根长、最大直径、凸包体积和/或顶投影面积；复杂根表型特征参数可以包括但不限于：紧凑度、凸起率、凸起角、根头比、根尾比和/或根体渐细指数。
例如，对图3(e)中所示的甜菜根三维点云进行根表型参数的提取，其提取结果如表1所示，包括：基本形态特征中的根长H、最大直径MD、凸包体积V、顶投影面积S以及各层段对应的直径D等。
其中，如图4(a)或图4(d)所示，根长H为根尾至根头之间的距离，即三维坐标系中z最大值与z最小值之差，最大直径MD为能包裹甜菜根最小圆柱体的直径；如图4(b)所示，凸包体积V为能包裹甜菜根最小多边体的体积；如图4(c)所示，顶投影面积S为根体在x-y平面投影不规则形状的面积。
进一步地，为量化甜菜根从根头至根尾的各层段直径，如图4(f)至图4(h)所示，选择预设步长(例如0.1cm)对根体进行层切，并计算各层点的最大距离，记为这一层的甜菜根直径W，以此找到最大直径在甜菜根体上的位置。如图4(e)所示，将距离根头的高度记为凸起高h，为细化对甜菜根形态的数字描述，基于基本形态特征参数建立复杂根表型紧凑度Cp、凸起率Cin、凸起角Ca、根头比Rta5、根尾比Rta4-5、根体渐细指数taper，其具体的计算方式记载于表1。
表1甜菜根表型参数集
基于上述实施例的内容，作为一种可选实施例，其中在将根果表型参数输入至预先训练完成的根果型判别模型之前，还包括：
根据待处理的农作物的实际情况，综合选用线性判别(LDA)、随机森林(RF)、支持向量机(SVM)、决策树(DT)和贝叶斯判别(NB)中的至少一个判别模型，采用十折交叉验证方法计算所述根果型判别模型的预测精度。
其中，线性判别分析模型是通过将高维空间的样本投影到一维空间实现分类判断，其优势在于对训练样本分布、方差等均没有限制，分类能力强大。
决策树判别模型中的决策树是一个树结构，其中，每个非叶节点表示一个特征属性上的测试，每个分支代表特征属性的输出值，每个叶节点代表一个类别，其优势在于模型的可见性，能够清晰地看到它每一步是如何判定和执行的。
随机森林判别模型是一种基于分类回归树的机器学习算法，能够将多种决策树算法结合起来，对同一现象进行重复预测，其基本思想是通过bootstrap重采样的方法在原始训练集中抽取多个样本，对每个抽取出的样本均进行决策树建模，最后通过多数投票法得到最终的预测结果。相较于传统决策树方法，其优势在于同等运算率下具有更高的预测精度。
支持向量机作为传统机器学习的一个非常重要的分类算法，它是一种通用的前馈网络类型。根据核函数的不同可分为线性支持向量机和非线性支持向量机，支持向量机算法的主要影响因素是核函数的选择和相应参数的设置。
朴素贝叶斯是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器。基于对研究对象一定程度的认识，用先验概率来描述样本特征，再用训练样本来修正先验概率得到后验概率从而进行统计推算。
在本发明实施例提供的农作物根果表型判别方法中，可以根据预测对象的不同外形特征选择适当的判别模型。
进一步地，在构建所述根果型判别模型之后，还包括对所述根果型判别模型进行预训练，包括但不限于以下步骤：
构建农作物根果训练集，并获取所述农作物根果训练集中每个农作物根果样本的表型参数；基于R语言对任一所述根果样本的表型参数进行统计分析，统计分析的方法包括方差分析、线性回归或聚类分析；基于K-medoids算法对根果样本的统计分析结果进行聚类；根据聚类结果获取农作物根果样本的根果表型判别真值；将根果表型判别真值作为样本标签，将任一所述根果样本的表型参数作为模型输入，采用十折交叉验证方法计算所述根果型判别模型的预测精度。其中，十折交叉验证方法(10-fold cross-validation)，是用于测试算法准确性的方法。具体地，将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，每次试验都会得出相应的正确率(或差错率)。将10次的结果的正确率(或差错率)的平均值作为对算法精度的估计。进一步地，还可以进行多次10折交叉验证(例如10次10折交叉验证)，再求其均值，作为对算法准确性的估计。
其中，采用R语言进行统计分析、作图和根型分类，包括方差分析(ANOVA)、线性回归、聚类分析。模型计算值和测量值的吻合程度采用均方根误差(RMSE)和决定系数(R2)进行描述：
其中，yi和xi分别为第i个计算值和测量值，n为样本个数。
进一步地，在本实施例中，根型分类可以采用K-medoids算法，将所有表型参数的数据集标准化，确定聚类个数k，在所有数据集中选择k个聚族中心点，计算其余点到这k个中心点的距离，并把每个点到k个中心点最短的聚簇作为自己所属的聚簇。通过反复迭代计算，最后确定各个点到其中心点的距离和最小，给出最优聚类结果。其中，K-medoids算法比常用K-means算法更抗离异值的干扰。
进一步地，基于分类结果对表型参数采用LSD-t多重比较法检验两两组间存在的显著性差异，采用下列公式计算LSD-t值，并用字母标记法表示差异显著水平。
其中，Xi、
是参与两两比较的两个组中观测值的均值差值，
是参与两两比较的两个组别的标准误差；V是LSD-t检验的自由度，其值等于组内自由度V组内；MS组内是组内均方；ni、nj是参与两两比较的两组别中的观测值数量，i、j为组别的序列。
进一步地，针对目前对农作物根果分类不明确的现状，例如对于甜菜根的分类不明确，因此，本发明实施例提供的农作物根果表型判别方法，可以由专家依据根型聚类结果结合建立的三维根型模型对各组离异值和临近值进行进一步的调整，并将调整后的分组作为根型表型判别真值(即分类真值)。
进一步地，利用预先建立的根果型判别模型对甜菜根型进行分类建模与预测，以获取到模型输出的分类预测值。
最后，利用十折交叉验证方法，结合根型表型判别真值以及与对应的分类预测值，对模型的预测准确性的估计，并根据估计结果，对模型参数进行调整，以完成对所建立的根果型判别模型的预训练。
为便于说明并确定5种模型的最优训练样本数量，实验分别选取50、100、150、200个训练样本进行预测精度和学习曲线的获取。如图5所示，可以明确的获知：
线性判别分析、随机森林、支持向量机、决策树4种模型随着训练样本数增加，模型判别精度在提高，而朴素贝叶斯在样本数为150时，判别精度已达到最大78％。因此，线性判别分析、随机森林、支持向量机、决策树4种模型选用80％数据作为训练集，20％数据作为测试集，而朴素贝叶斯模型选用70％数据作为训练集，30％数据作为测试集，5种模型均采用十折交叉验证。具体的，将数据集分成10份，轮流将其中9份用于训练，1份用于验证，每次实验都会得到这些独立数据子集的模型预测精度，计算其平均值作为模型的性能评价参数，可以降低数据的敏感性，提高模型的普适性。
图6为对应于不同基因型的甜菜根多视角图像序列重建的三维点云图，每个所述三维点云图包含有甜菜根的颜色和纹理信息，所重建的三维模型具有较强的真实感，能够满足提取甜菜根的各种表型参数的需求。如图7所示，是对图6中各三维点云模型进行根长和最大直径的计算值和实测值的比较，其中，图7(a)为实测值，图7(b)为计算值。通过比较可以明确获知：根长和最大直径的计算值和实测值的R2均大于0.95，RMSE分别为1.78mm和2.68mm。对比结果表明本发明实施了提供的农作物根果表型参数的提取能够精确再现甜菜根的表型特征。
进一步地，传统甜菜根根型依靠人为观察根茎、根体上端和根体下端的宽窄来对根型进行分类。这种分类方法要求研究人员具有一定的甜菜专业知识，且分类标准不明确。在本发明实施例中，采用K-medoids算法，基于计算的甜菜根表型参数对甜菜根型进行识别与客观分类。
如图8所示，是对207个基因型甜菜根的聚类结果，其中不同形状分别划分的4个多边形代表4个不同的分类组。多边形包围的数字是207个基因型甜菜根材料序号，可以将这4组分别记为组1、组2、组3、组4，各组的成份数目依次为66、21、75、45，且由于部分甜菜根的表型特征差异较细微，故组与组之间存在少量重叠。
在本发明实施例中，可以对各表型参数采用等权重法进行分类，或者通过统计各表型参数对分类结果的贡献率来进一步调整各参数的权重值进行进一步的精确分类。此外，还可以引入更多的表型参数，如颜色、纹理和更多的形状等特征进一步进行更精准的分类，以期为甜菜根型筛选和育种提供依据。
基于上述聚类结果，对各组间在表型参数上的差异性显著进行检验，结果如表2所示。
表2甜菜根组间表型差异的统计分析
作为说明，根据聚类分析和统计分析结果，在4组中分别挑选2个有代表性的甜菜根作为展示如图9。8个甜菜根所在坐标系的刻度均为甜菜根的实际大小。a1、a2为组1典型根型，b1、b2为组2典型根型，c1、c2为组3典型根型，d1、d2为组4典型根型。由此可以获知，采用基于K-medoids算法对根果样本的统计分析结果进行聚类，并根据聚类结果所获取的甜菜根样本的根果表型判别结果作为真值具有一定的准确性。因此，可以将每个根果表型判别真值作为样本标签，将与之对应的根果样本的表型参数作为模型输入，采用十折交叉验证方法对根果型判别模型进行预训练。
如图10所示，记载了采用十折交叉法验证的5种判别方法对甜菜根型的判别精度，可以获知：线性判别、随机森林、支持向量机、朴素贝叶斯4种模型判别精度均在75％以上，能够较好的用于甜菜根型判别预测。其中随机森林判别效果最佳，判别精度为82％；决策树模型判别效果最差，判别精度为70％。在试验中发现，模型的参数选择对判别结果影响较大，采用十折交叉验证方法选取每次循环的训练样本集，能够显著提高模型的准确率和普适性。
综上所述，本发明实施例提供的农作物根果表型参数的提取与根果表型判别方法，首先，以基因型甜菜根为研究对象，采用低成本、易操作的手机获取甜菜根多视角图像序列并重建三维点云，所获取的三维点云包含详细的形状、颜色和纹理等特征，能真实的再现甜菜根的根型特征。
进一步地，基于重建的三维点云提取了甜菜根根型的基本表型参数，包括根最大直径、根长、凸包体积、顶投影面积和各层段直径。在基本形态参数的基础上提出复杂表型参数，包含紧凑度、凸起率、凸起角、根头比、根尾比和根体渐细指数。最大直径与根长的计算值与测量值的R2均大于0.95(P<0.05)。表明基于多角度图像序列构建的甜菜根三维模型精度较高，能准确描述甜菜根的形态特征和用于提取其他的表型参数。
进一步地，采用K-medoids算法基于10个表型参数对207个甜菜根进行聚类分析，将其划分为4组。差异性检验结果表明，不同的表型参数值在组间具有显著性差异。经各组表型差异比较并结合客观分析得出根型中等长度、较肥大、肥大位置在根体中部为理想根型，可以利用基于专家调整后的分类结果进行甜菜根型建模判别。
进一步地，采用线性判别分析、随机森林、支持向量机、决策树和朴素贝叶斯5种模型的最适训练样本量进行建模精度比较，随机森林分类效果最佳，判别精度为82％；决策树分类效果最低，判别精度为70％；其他判别方法判别精度介于两者之间。该研究结果可用于基因型与表型的关联分析，为培育高品质和适应机械化生产的甜菜品种提供依据。
如图11所示，本发明实施例提供一种农作物根果表型参数的提取与根果表型判别系统，包括但不限于，图像获取单元1、三维点云生成单元2、根果表型参数提取单元3和根果表型判别单元4，其中：
图像获取单元1用于获取农作物根果的多视角图像序列；三维点云生成单元2用于根据多视角图像序列，获取农作物根果的三维点云；根果表型参数提取单元3用于对三维点云进行图像预处理，提取根果表型参数；根果表型判别单元4用于将根果表型参数输入至预先训练完成的根果型判别模型，获取农作物根果的根果表型判别结果。
具体的，本发明实施例提供的农作物根果表型参数的提取与根果表型判别系统，首先通过图像获取单元1获取到待测农作物根果的多视角图像序列，然后将该多视角图像序列传输至三维点云生成单元2。其中三维点云生成单元2上可以预储存有图像处理软件，例如C++开发平台code block和三维点云库PCL，开源统计软件R等，以根据多视角立体成像技术提取的包含所述农作物根果的三维点云初图像，并经过对该三维点云初图像进行去噪、旋转校正以及点云片面处理等手段，获取待测农作物根果的三维点云，以通过该三维点云充分重现该待测农作物根果的外部结构特征。进一步地，三维点云生成单元2将获取的三维点云传输至根果表型参数提取单元3中，以提取待测农作物根果的各项表型参数，例如：根长、最大直径、凸包体积、顶投影面积、紧凑度、凸起率、凸起角、根头比、根尾比和根体渐细指数等。
最后，通过存储于根果表型判别单元4中的根果型判别模型，以根果表型参数提取单元3所获取的各项表型参数作为输入，获取由该模型输出的根果表型判别结果。
其中，本实施例还提供通过K-medoids算法聚类并利用专家库完善后的根果表型判别类型建立模型标签，通过十折交叉验证方法对模型精度进行评估。
其中，本发明实施例提供的根果型判别模型的建立可以是根据待处理的农作物的实际情况，选用线性判别、随机森林、支持向量机、决策树和贝叶斯判别中的任一判别模型，构建的所述根果型判别模型。
本发明实施例提供的农作物根果表型参数的提取与根果表型判别系统，一方面，通过获取的多视角图像序列，构建不同基因型甜菜根的三维点云模型，并自动获取根果表型参数；另一方面，通过构建根果型判别模型，实现了对甜菜根型的精准分类，为快速筛选适合机械化种植的甜菜根型提供了基础。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器430中的逻辑指令，以执行如下方法：获取农作物根果的多视角图像序列；根据所述多视角图像序列，获取所述农作物根果的三维点云；对所述三维点云进行图像预处理，提取根果表型参数；将所述根果表型参数输入至预先训练完成的根果型判别模型，获取所述农作物根果的根果表型判别结果。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取农作物根果的多视角图像序列；根据所述多视角图像序列，获取所述农作物根果的三维点云；对所述三维点云进行图像预处理，提取根果表型参数；将所述根果表型参数输入至预先训练完成的根果型判别模型，获取所述农作物根果的根果表型判别结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种农作物根果表型参数的提取与根果表型判别方法，其特征在于，包括：
获取农作物根果的多视角图像序列；
根据所述多视角图像序列，获取所述农作物根果的三维点云；
对所述三维点云进行点云预处理，提取根果表型参数；
将所述根果表型参数输入至预先训练完成的根果型判别模型，获取所述农作物根果的根果表型判别结果。
2.根据权利要求1所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述根据所述多视角图像序列，获取所述农作物根果所在拍摄现场的三维点云，具体包括：
利用C++跨平台开发环境code block读取所述多视角图像序列，基于超绿算法分离前景与背景，并基于多视角立体成像技术采用C++结合三维点云库PCL提取包含所述农作物根果的三维点云初图像；
对所述三维点云初图像进行点云片面化处理以及去除噪点处理后，获取所述农作物根果的三维点云。
3.根据权利要求2所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述对所述三维点云进行点云预处理，具体包括：
采用自适应密度聚类对所述三维点云进行自动去噪，基于采样点的k邻域，构造采样点平面法向以对三维点云进行平滑；
利用C++跨平台开发环境code block结合三维点云库PCL读入所述三维点云；
对所述三维点云进行三维坐标位置变换，使所述农作物根果平行于xyz坐标系中的x-y平面；
分离所述三维点云，获取桌面三维点云和农作物根果三维点云；
基于所述桌面三维点云并结合所述桌面的固定长宽值进行比例换算，获得所述农作物根果三维点云的实际坐标值。
4.根据权利要求3所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述对所述三维点云进行三维坐标位置变换，使所述农作物根果平行于xyz坐标系中的x-y平面，具体包括：
采用平面拟合提取所述农作物根果所在的桌面并计算所述桌面的法线；
根据所述桌面的法线，获取x-z平面的旋转变换矩阵Ty和y-z平面的旋转变换矩阵Tx；
将所述三维点云栅格化为所述x-y平面的深度图像；
对所述深度图像进行二值化，并结合霍夫变换检测所述桌面的桌边缘直线，并计算所述桌边缘直线与x轴正方向的夹角θz；
根据所述夹角θz，获取x-y平面的旋转变换矩阵Tz；
将所述C++跨平台开发环境code block结合三维点云库PCL读入的与深度图像对应的三维点云乘以所述旋转变换矩阵Tx、Ty和Tz，获取变换转正后的三维点云。
5.权利要求4所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述y-z平面的旋转变换矩阵Tx、所述x-z平面的旋转变换矩阵Ty和所述x-y平面的旋转变换矩阵Tz，具体为：
6.根据权利要求1所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述农作物根果具体为甜菜根。
7.根据权利要求6所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，所述甜菜根的表型参数包括：基本形态特征参数以及根据所述基本形态特征参数提取的复杂根表型特征参数；
所述基本形态特征参数包括：根长、最大直径、凸包体积和/或顶投影面积；
所述复杂根表型特征参数包括：紧凑度、凸起率、凸起角、根头比、根尾比和/或根体渐细指数。
8.根据权利要求1所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，在将所述根果表型参数输入至预先训练完成的根果型判别模型之前，还包括：
根据待处理的农作物的实际情况，综合选用线性判别、随机森林、支持向量机、决策树和贝叶斯判别中的至少一个模型，构建所述根果型判别模型。
9.根据权利要求8所述的农作物根果表型参数的提取与根果表型判别方法，其特征在于，在构建所述根果型判别模型之后，还包括对所述根果型判别模型进行预训练，具体为：
构建农作物根果训练集，并获取所述农作物根果训练集中每个农作物根果样本的表型参数；
基于R语言对任一所述根果样本的表型参数进行统计分析，所述统计分析的方法包括方差分析、线性回归或聚类分析；
基于K-medoids算法对所述根果样本的统计分析结果进行聚类；
根据聚类结果获取所述农作物根果样本的根果表型判别真值；
将所述根果表型判别真值作为样本标签，将所述任一所述根果样本的表型参数作为模型输入，采用十折交叉验证方法对所述根果型判别模型进行精度评估。
10.一种农作物根果表型参数的提取与根果表型判别系统，其特征在于，包括：
图像获取单元，用于获取农作物根果的多视角图像序列；
三维点云生成单元，用于根据所述多视角图像序列，获取所述农作物根果的三维点云；
根果表型参数提取单元，用于对所述三维点云进行图像预处理，提取根果表型参数；
根果表型判别单元，用于将所述根果表型参数输入至预先训练完成的根果型判别模型，获取所述农作物根果的根果表型判别结果。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述农作物根果表型参数的提取与根果表型判别方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9任一项所述农作物根果表型参数的提取与根果表型判别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084914.6A CN111291686B (zh) | 2020-02-10 | 2020-02-10 | 农作物根果表型参数的提取与根果表型判别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084914.6A CN111291686B (zh) | 2020-02-10 | 2020-02-10 | 农作物根果表型参数的提取与根果表型判别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291686A true CN111291686A (zh) | 2020-06-16 |
| CN111291686B CN111291686B (zh) | 2024-05-28 |
Family
ID=71023537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010084914.6A Active CN111291686B (zh) | 2020-02-10 | 2020-02-10 | 农作物根果表型参数的提取与根果表型判别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291686B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561985A (zh) * | 2020-10-27 | 2021-03-26 | 广西大学 | 一种基于双目视觉的绿篱苗木修剪对中方法 |
| CN112580540A (zh) * | 2020-12-23 | 2021-03-30 | 安徽高哲信息技术有限公司 | 一种人工智能农作物处理系统和方法 |
| CN114283882A (zh) * | 2021-12-31 | 2022-04-05 | 华智生物技术有限公司 | 一种非破坏性禽蛋品质性状预测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
| CN109556511A (zh) * | 2018-11-14 | 2019-04-02 | 南京农业大学 | 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统 |
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| US20190138786A1 (en) * | 2017-06-06 | 2019-05-09 | Sightline Innovation Inc. | System and method for identification and classification of objects |
| CN110246214A (zh) * | 2019-05-21 | 2019-09-17 | 北京农业信息技术研究中心 | 农作物植株表型解析方法及装置 |
-
2020
- 2020-02-10 CN CN202010084914.6A patent/CN111291686B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190138786A1 (en) * | 2017-06-06 | 2019-05-09 | Sightline Innovation Inc. | System and method for identification and classification of objects |
| CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
| CN109556511A (zh) * | 2018-11-14 | 2019-04-02 | 南京农业大学 | 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统 |
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| CN110246214A (zh) * | 2019-05-21 | 2019-09-17 | 北京农业信息技术研究中心 | 农作物植株表型解析方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561985A (zh) * | 2020-10-27 | 2021-03-26 | 广西大学 | 一种基于双目视觉的绿篱苗木修剪对中方法 |
| CN112561985B (zh) * | 2020-10-27 | 2021-07-20 | 广西大学 | 一种基于双目视觉的绿篱苗木修剪对中方法 |
| CN112580540A (zh) * | 2020-12-23 | 2021-03-30 | 安徽高哲信息技术有限公司 | 一种人工智能农作物处理系统和方法 |
| CN114283882A (zh) * | 2021-12-31 | 2022-04-05 | 华智生物技术有限公司 | 一种非破坏性禽蛋品质性状预测方法及系统 |
| CN114283882B (zh) * | 2021-12-31 | 2022-08-19 | 华智生物技术有限公司 | 一种非破坏性禽蛋品质性状预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291686B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning | |
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| Zhang et al. | Growth monitoring of greenhouse lettuce based on a convolutional neural network | |
| Yin et al. | Computer vision and machine learning applied in the mushroom industry: A critical review | |
| Aich et al. | Deepwheat: Estimating phenotypic traits from crop images with deep learning | |
| CN111291686B (zh) | 农作物根果表型参数的提取与根果表型判别方法及系统 | |
| CN109784204B (zh) | 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 | |
| Zhou et al. | A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique | |
| CN106845497B (zh) | 基于多特征融合的玉米前期图像旱情识别方法 | |
| CN107480706A (zh) | 一种制种玉米田遥感识别方法及装置 | |
| Samanta et al. | Scab diseases detection of potato using image processing | |
| Sun et al. | High resolution 3D terrestrial LiDAR for cotton plant main stalk and node detection | |
| CN115099297B (zh) | 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法 | |
| CN115512123A (zh) | 一种海鲜菇多时期关键生长特征提取及时期分类方法 | |
| Ferrer-Ferrer et al. | Simultaneous fruit detection and size estimation using multitask deep neural networks | |
| Zhao et al. | Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model | |
| CN114419367A (zh) | 一种农作物高精度制图方法及系统 | |
| Valente et al. | Fast classification of large germinated fields via high-resolution UAV imagery | |
| CN116524279A (zh) | 一种数字农业的人工智能图像识别作物长势分析方法 | |
| Mudgil et al. | Identification of Tomato Plant Diseases Using CNN-A Comparative Review | |
| Mangla et al. | Statistical growth prediction analysis of rice crop with pixel-based mapping technique | |
| Zhu et al. | Exploring soybean flower and pod variation patterns during reproductive period based on fusion deep learning | |
| Raghavendra | Multivariant disease detection from different plant leaves and classification using multiclass support vector machine | |
| CN113344008A (zh) | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 | |
| Zhu et al. | Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |