CN110046613A - 一种作物冠层原位生长表型监测装置及三维重建方法 - Google Patents

Abstract

本发明实施例提供了一种作物冠层原位生长表型监测装置及三维重建方法，通过分别设置在冠层顶部数据获取和采集模块、冠层内部图像获取模块和冠层底部鱼眼镜头，可以获取待检测作物冠层顶部、内部和底部的形态结构数据，且冠层内部图像获取模块高度和角度可调，使得冠层内部形态结构数据更丰富，最终对待监测作物冠层的生长监测更准确，全局性更强，且具有很好的普适性。通过使用冠层生长监测装置获取冠层顶部、内部和底部的形态结构数据，经过一定的预处理后用于表型解析和三维重建，工作量小，效率高，且得到的三维重建模型精度高。

Description

一种作物冠层原位生长表型监测装置及三维重建方法

技术领域

本发明涉及农业技术领域，尤其涉及一种作物冠层原位生长表型监测装置及三维重建方法。

背景技术

作物冠层是作物履行光合作用和物质生产职能的组织体系，其形态结构对光截获能力、冠层光合效率以及作物产量均具有重要影响。同时，作物冠层结构也体现了作物品种的遗传特性及其对环境的适应程度，在遗传和环境因素的影响下，作物冠层形态结构具有时空变异性。玉米是我国最重要的粮食作物之一，增产潜力巨大。连续监测玉米冠层长相长势并快速构建玉米冠层三维模型对于玉米的结构功能分析、玉米品种评价和提高生产力具有重要意义。作物冠层内部存在大量的器官遮挡，随着作物生长和环境的变化，冠层形态结构也在不断改变，这些都为作物冠层生长监测和三维重建带来了极大的挑战。

在作物冠层形态结构的生长监测方面，主要依靠无人机挂载激光雷达或可见光图像传感器获取作物冠层三维点云或可见光图像，通过数据的配准和表型解析实现冠层结构的生长监测；也有通过搭建轨道式或车载式表型平台实现作物群体生长的连续监测。这些手段主要获取作物冠层外表面形态或颜色纹理数据，由于作物冠层遮挡严重，这些手段难以获取冠层内部的作物形态结构信息；在冠层内部设置鱼眼镜头获取半球图像，可以获取冠层指定位置的冠隙分数或生长监测，但这种方法测量位置有限，所监测信息全局性较差；田间行走式机器人可以实现冠层内形态结构的采集，但对田间土壤环境、行间距等有特定要求，不具有普适性。

发明内容

本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的作物冠层原位生长表型监测装置及三维重建方法。

一方面本发明实施例提供了一种作物冠层原位生长表型监测装置，包括：底座、可伸缩支架、冠层顶部数据获取和采集模块、冠层内部图像获取模块、冠层底部鱼眼镜头；其中，所述可伸缩支架的底端与所述底座固定连接，所述冠层顶部数据获取和采集模块设置在所述可伸缩支架的顶端，所述冠层内部图像获取模块设置在所述可伸缩支架的中部；

所述冠层顶部数据获取和采集模块包括模块箱体、多个图像传感器、多光谱传感器、激光雷达、光合有效辐射传感器、数据采集器以及冠层内部图像获取模块控制器；所述模块箱体与所述可伸缩支架的顶端固定连接；所述多个冠层顶部图像传感器均匀设置在所述模块箱体的下部，用于获取作物冠层顶部的多幅第一图像；所述多光谱传感器设置在所述模块箱体内部，用于获取待监测作物冠层顶部的多光谱图像；所述激光雷达设置在所述模块箱体的内部，用于获取所述待监测作物冠层顶部的三维点云数据；所述光合有效辐射传感器水平设置在所述模块箱体的顶部，用于获取所述待监测作物冠层顶部的光合有效辐射数据；

所述冠层内部图像获取模块包括滑动与旋转控制子模块和水平摄像头，所述水平摄像头通过所述滑动与旋转控制子模块与所述可伸缩支架的中部连接，用于获取所述待监测作物冠层内部不同高度和不同角度的多幅第二图像；所述冠层内部图像获取模块控制器与所述冠层内部图像获取模块连接；

所述数据采集器分别与所述多个图像传感器、所述多光谱传感器、所述激光雷达、所述光合有效辐射传感器、所述水平摄像头以及所述冠层底部鱼眼镜头连接。

进一步地，所述底座为圆盘形，所述底座上异于所述可伸缩支架的一侧设置有探针。

进一步地，所述冠层内部图像获取模块还包括防雨罩，所述防雨罩固定于所述滑动与旋转控制子模块上且位于所述水平摄像头的正上方。

进一步地，还包括无线模块，所述无线模块设置在所述模块箱体顶部，用于与远程控制端之间建立无线通信通道。

进一步地，还包括根系监测模块，所述根系监测模块包括微根管和根系扫描传感器，所述根系扫描传感器设置在所述微根管中，所述微根管固定设置在所述底座上异于所述可伸缩支架的一侧，用于获取所述待监测作物的根系图像。

进一步地，还包括土壤墒情监测模块，所述土壤墒情监测模块包括多个土壤温湿度传感器，用于获取待监测作物根系附近不同深度土壤的温湿度。

另一方面本发明实施例提供了一种利用上述作物冠层原位生长表型监测装置进行作物冠层三维重建的方法，包括：

利用所述冠层顶部数据获取和采集模块采集所述待监测作物冠层顶部带有时间标识的多幅第一图像、三维点云数据、多光谱图像、光合有效辐射数据、土壤墒情数据以及根系图像；利用所述冠层内部图像获取模块获取所述待监测作物冠层内部带有时间标识、高度标识和角度标识的不同高度和不同角度的多幅第二图像；利用所述冠层底部鱼眼镜头获取所述待监测作物冠层底部半球图像；

根据所述多幅第一图像获取所述待监测作物的冠层覆盖度；根据所述多幅第二图像获取所述待监测作物的节单位尺度表型参数；根据所述半球图像获取所述待监测作物的冠隙分数；其中，所述节单位尺度表型参数至少包括植株株高、叶片数、叶倾角、方位角、叶片生长高度信息；

根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，再利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到第二三维重建模型。

进一步地，所述根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，具体包括：

利用所述节单位尺度表型参数，结合所述待监测作物的三维模板资源库，通过节单位尺度表型参数的相似性匹配和参数化建模方法，获取所述第一三维重建模型。

进一步地，所述利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到所述第二三维重建模型，具体包括：

根据所述冠层覆盖度、所述冠隙分数及所述三维点云数据，对所述第一三维重建模型中的所述节单位尺度表型参数进行迭代直至迭代停止，得到所述第二三维重建模型。

本发明实施例提供的一种作物冠层原位生长表型监测装置及三维重建方法，通过分别在设置冠层顶部数据获取和采集模块、冠层内部图像获取模块和冠层底部鱼眼镜头，可以获取待检测作物冠层顶部、内部和底部的形态结构数据，且冠层内部图像获取模块高度和角度可调，使得冠层内部形态结构数据更丰富，最终对待监测作物冠层的生长监测更准确，全局性更强，且具有很好的普适性。通过使用冠层生长监测装置获取冠层顶部、内部和底部的形态结构数据，经过一定的预处理后用于三维重建，工作量小，效率高，且得到的三维重建模型精度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种作物冠层原位生长表型监测装置的结构示意图；

图2为本发明实施例提供的一种作物冠层三维重建方法的流程图；

图3为本发明实施例中使用图1所示生长监测装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种作物冠层原位生长表型监测装置的结构示意图，如图1所示，该生长监测装置包括：底座1、可伸缩支架2、冠层顶部数据获取和采集模块3、冠层内部图像获取模块4、冠层底部鱼眼镜头5；其中，所述可伸缩支架2的底端与所述底座1固定连接，所述冠层顶部数据获取和采集模块3设置在所述可伸缩支架2的顶端，所述冠层内部图像获取模块4设置在所述可伸缩支架2的中部。

其中，底座1和可伸缩支架2固定连接后，作为冠层顶部数据获取和采集模块3和冠层内部图像获取模块4的承载结构，且保证冠层顶部数据获取和采集模块3位于待监测作物的冠层上方，冠层内部图像获取模块4位于待监测作物的冠层内部，同时冠层底部鱼眼镜头5在监测时根据实际情况设置的底面合适位置。可以理解的是，由于可伸缩支架2的长度可以根据需要调整，所以冠层内部图像获取模块4相对于作物冠层的位置也可以根据需求调整。另外，可伸缩支架2分为多段小支架，也可以再每段小支架上设置一个冠层内部图像获取模块4。

所述冠层顶部数据获取和采集模块3包括模块箱体、多个图像传感器、多光谱传感器、激光雷达、光合有效辐射传感器、数据采集器以及冠层内部图像获取模块控制器；所述模块箱体与所述可伸缩支架的顶端固定连接；所述多个冠层顶部图像传感器均匀设置在所述模块箱体的下部，用于获取作物冠层顶部的多幅第一图像；所述多光谱传感器设置在所述模块箱体内部，用于获取待监测作物冠层顶部的多光谱图像；所述激光雷达设置在所述模块箱体的内部，用于获取所述待监测作物冠层顶部的三维点云数据；所述光合有效辐射传感器水平设置在所述模块箱体的顶部，用于获取所述待监测作物冠层顶部的光合有效辐射数据。

其中，模块箱体一般为飞碟形状，且模块箱体顶部有黑白格纹理，可以为无人机影像获取提供标记物。

所述冠层内部图像获取模4块包括滑动与旋转控制子模块41和水平摄像头42，所述水平摄像头42通过所述滑动与旋转控制子模块41与所述可伸缩支架2的中部连接，用于获取所述待监测作物冠层内部不同高度和不同角度的多幅第二图像；所述冠层内部图像获取模块控制器与所述冠层内部图像获取模块连接。

其中，滑动与旋转控制子模块41可以带着水平摄像头42沿可伸缩支架2上下滑动以调节可伸缩支架2相对冠层的高度，也可带着水平摄像头42以可伸缩支架2为圆心做360度旋转以调节可伸缩支架2相对冠层的角度。冠层内部图像获取模块控制器具有定时自动控制指令，也可以接收远程指令，对冠层内部图像获取模块进行高度和水平旋转角度的控制。

所述数据采集器分别与所述多个图像传感器、所述多光谱传感器、所述激光雷达、所述光合有效辐射传感器、所述水平摄像头以及所述冠层底部鱼眼镜头连接。

具体地，在使用该生长监控装置时，将其设置在待监测作物附近，首先调整可伸缩支架2至合适高度，使得冠层顶部数据获取和采集模块3中各传感器都位于冠层上方，获取冠层顶部的多幅第一图像、多光谱图像、三维点云数据以及光合有效辐射数据，并将上述数据发送至数据采集器存储。再通过冠层内部图像获取模块控制器控制冠层内部图像获取模4调整其高度和角度，冠层内部图像获取模4获取冠层内部的不同高度和不同角度的多幅第二图像，并将多幅第二图像发送至数据采集器存储。将冠层底部鱼眼镜头5设置在地面合适位置，获取冠层底部的半球图像，并将半球图像发送至数据采集器存储。数据采集器中的数据可供后续处理，得出冠层相应的参数，以实现对待监测作物冠层的监测。

本发明实施例提供的一种作物冠层原位生长表型监测装置，通过分别在设置冠层顶部数据获取和采集模块、冠层内部图像获取模块和冠层底部鱼眼镜头，可以获取待检测作物冠层顶部、内部和底部的形态结构数据，且冠层内部图像获取模块高度和角度可调，使得冠层内部形态结构数据更丰富，最终对待监测作物冠层的生长监测更准确，全局性更强，且具有很好的普适性。

在上述实施例中，所述底座为圆盘形，所述底座上异于所述可伸缩支架的一侧设置有探针。

具体地，在设置该装置时，将探针插入土壤中对整个装置其固定作用。底座圆盘上有水平气泡，用于保证底座安装水平。

在上述实施例中，所述冠层内部图像获取模块还包括防雨罩43，所述防雨罩43固定于所述滑动与旋转控制子模块41上且位于所述水平摄像头42的正上方。

具体地，防雨罩43用于为摄像头遮光防水。

在上述实施例中，该装置还包括无线模块6，所述无线模块6设置在所述模块箱体顶部，用于与远程控制端7之间建立无线通信通道。

具体地，通过无线模块6将数据采集器中存储的各种数据发送至远程控制端7进行进一步分析处理。同时也通过无线模块6接受远程控制指令。

在上述实施例中，该装置还包括根系监测模块8，所述根系监测模块包括微根管81和根系扫描传感器82，所述根系扫描传感器82设置在所述微根管81中，所述微根管81固定设置在所述底座1上异于所述可伸缩支架2的一侧，用于获取所述待监测作物的根系图像。

具体地，在使用该装置时，微根管81插入土壤中。

在上述实施例中，该还包括土壤墒情监测模块9，所述土壤墒情监测模块9包括多个土壤温湿度传感器，用于获取待监测作物根系附近不同深度土壤的温湿度。

具体地，土壤温湿度传感器埋设于不同深度的土壤中。

图2为本发明实施例提供的一种作物冠层三维重建方法的流程图，如图2所示，包括：

S201，利用所述冠层顶部数据获取和采集模块采集所述待监测作物冠层顶部带有时间标识的多幅第一图像、三维点云数据、多光谱图像、光合有效辐射数据、土壤墒情数据以及根系图像；利用所述冠层内部图像获取模块获取所述待监测作物冠层内部带有时间标识、高度标识和角度标识的不同高度和不同角度的多幅第二图像；利用所述冠层底部鱼眼镜头获取所述待监测作物冠层底部半球图像；

S202，根据所述多幅第一图像获取所述待监测作物的冠层覆盖度；根据所述多幅第二图像获取所述待监测作物的节单位尺度表型参数；根据所述半球图像获取所述待监测作物的冠隙分数；其中，所述节单位尺度表型参数至少包括植株株高、叶片数、叶倾角、方位角、叶片生长高度信息；

S203，根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，再利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到第二三维重建模型。

其中，步骤S201为数据获取过程，采用上述实施例中所述的生长监测装置来获取作物冠层的各种数据。步骤S202为数据处理过程，将处理得到的数据用于后续的三维重建。步骤S203为三维重建过程。

具体地，如图3所示，以4株玉米为待监测作物为例来对本发明实施例进行说明，可以理解的是，本发明实施例并不以此为限。

步骤S201具体包括以下步骤：

(1)作物冠层生长监测装置埋设于4株作物的正中间，如图3所示。

(2)设置传感器时间获取间隔为t，则每隔时间t，获取一次冠层底部半球图像、冠层顶部可见光图像、冠层顶部三维点云、冠层顶部多光谱图像、冠层外部光合有效辐射、土壤墒情数据、根系图像数据，以上数据均具有获取时间标识；在冠层内部，获取各高度和不同角度的可见光图像，所获取图像除具有时间标识外，还具有高度和角度标识。

步骤S202中，各数据处理过程具体为：

(1)冠层底部半球图像数据处理：利用连续监测的冠层底部半球图像，通过图像分割和二值化等操作，提取当前位置的冠隙分数；

(2)冠层顶部图像数据处理：对同一时刻4个冠层顶部可见光相机所获取的4张图像，通过图像拼接得到冠层顶部全景图，通过图像分割等操作提取冠层的覆盖度；

(3)冠层顶部三维点云数据处理：利用所获取的冠层顶部三维点云，通过计算当前位置与地面的高度差，得到冠层内各监测植株的株高动态生长变化；

(4)冠层顶部多光谱图像处理：利用所获取的冠层顶部多光谱图像，提取冠层的NDVI、氮含量、水分含量等表型参数；

(5)冠层内部可见光图像数据处理：利用冠层内部不同高度和不同角度的可见光图像，通过图像拼接得到冠层内部的全景图，在此基础上提取装置周围4株玉米的节单位尺度表型参数，包括叶片数量、各叶片生长高度、叶倾角、方位角、叶长、叶宽、茎秆直径、穗位高度等。

步骤S203再利用上述数据处理后得到的数据进行三维重建得到4株玉米的冠层三维模型。

本发明实施例提供的一种作物冠层三维重建方法，通过使用冠层生长监测装置获取冠层顶部、内部和底部的形态结构数据，经过一定的预处理后用于三维重建，工作量小，效率高，且得到的三维重建模型精度高。

在上述实施例中，所述根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，具体包括：

利用所述节单位尺度表型参数，结合所述待监测作物的三维模板资源库，通过节单位尺度表型参数的相似性匹配和参数化建模方法，获取所述第一三维重建模型。

具体地，利用所提取的各植株株高、叶片数、叶倾角、方位角、叶片生长高度信息，结合玉米器官三维模板资源库，通过节单位参数的相似性匹配和参数化建模方法，实现4株玉米的三维建模，得到第一三维重建模型。该模型还需要后续校准。

在上述实施例中，所述利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到所述第二三维重建模型，具体包括：

根据所述冠层覆盖度、所述冠隙分数及所述三维点云数据，对所述第一三维重建模型中的所述节单位尺度表型参数进行迭代直至迭代停止，得到所述第二三维重建模型。

具体地，在上述4株玉米第一三维重建模型的基础上，通过所提取的冠层覆盖度、冠隙分数和冠层顶部三维点云分布，通过迭代叶方位角、叶长等参数，对上述4株玉米三维模型从冠层角度进行校准，迭代停止后即得到玉米群体第二三维重建模型，即为最终的玉米群体三维重建模型。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种作物冠层原位生长表型监测装置，其特征在于，包括：底座、可伸缩支架、冠层顶部数据获取和采集模块、冠层内部图像获取模块、冠层底部鱼眼镜头；其中，所述可伸缩支架的底端与所述底座固定连接，所述冠层顶部数据获取和采集模块设置在所述可伸缩支架的顶端，所述冠层内部图像获取模块设置在所述可伸缩支架的中部；

所述冠层顶部数据获取和采集模块包括模块箱体、多个图像传感器、多光谱传感器、激光雷达、光合有效辐射传感器、数据采集器以及冠层内部图像获取模块控制器；所述模块箱体与所述可伸缩支架的顶端固定连接；所述多个冠层顶部图像传感器均匀设置在所述模块箱体的下部，用于获取作物冠层顶部的多幅第一图像；所述多光谱传感器设置在所述模块箱体内部，用于获取待监测作物冠层顶部的多光谱图像；所述激光雷达设置在所述模块箱体的内部，用于获取所述待监测作物冠层顶部的三维点云数据；所述光合有效辐射传感器水平设置在所述模块箱体的顶部，用于获取所述待监测作物冠层顶部的光合有效辐射数据；

所述冠层内部图像获取模块包括滑动与旋转控制子模块和水平摄像头，所述水平摄像头通过所述滑动与旋转控制子模块与所述可伸缩支架的中部连接，用于获取所述待监测作物冠层内部不同高度和不同角度的多幅第二图像；所述冠层内部图像获取模块控制器与所述冠层内部图像获取模块连接；

所述数据采集器分别与所述多个图像传感器、所述多光谱传感器、所述激光雷达、所述光合有效辐射传感器、所述水平摄像头以及所述冠层底部鱼眼镜头连接。

2.根据权利要求1所述的作物冠层原位生长表型监测装置，其特征在于，所述底座为圆盘形，所述底座上异于所述可伸缩支架的一侧设置有探针。

3.根据权利要求1所述的作物冠层原位生长表型监测装置，其特征在于，所述冠层内部图像获取模块还包括防雨罩，所述防雨罩固定于所述滑动与旋转控制子模块上且位于所述水平摄像头的正上方。

4.根据权利要求3所述的作物冠层原位生长表型监测装置，其特征在于，还包括无线模块，所述无线模块设置在所述模块箱体顶部，用于与远程控制端之间建立无线通信通道。

5.根据权利要求1所述的作物冠层原位生长表型监测装置，其特征在于，还包括根系监测模块，所述根系监测模块包括微根管和根系扫描传感器，所述根系扫描传感器设置在所述微根管中，所述微根管固定设置在所述底座上异于所述可伸缩支架的一侧，用于获取所述待监测作物的根系图像。

6.根据权利要求1所述的作物冠层原位生长表型监测装置，其特征在于，还包括土壤墒情监测模块，所述土壤墒情监测模块包括多个土壤温湿度传感器，用于获取待监测作物根系附近不同深度土壤的温湿度。

7.一种利用权利要求1-6任一项所述作物冠层原位生长表型监测装置进行作物冠层三维重建的方法，其特征在于，包括：

利用所述冠层顶部数据获取和采集模块采集所述待监测作物冠层顶部带有时间标识的多幅第一图像、三维点云数据、多光谱图像、光合有效辐射数据、土壤墒情数据以及根系图像；利用所述冠层内部图像获取模块获取所述待监测作物冠层内部带有时间标识、高度标识和角度标识的不同高度和不同角度的多幅第二图像；利用所述冠层底部鱼眼镜头获取所述待监测作物冠层底部半球图像；

根据所述多幅第一图像获取所述待监测作物的冠层覆盖度；根据所述多幅第二图像获取所述待监测作物的节单位尺度表型参数；根据所述半球图像获取所述待监测作物的冠隙分数；其中，所述节单位尺度表型参数至少包括植株株高、叶片数、叶倾角、方位角、叶片生长高度信息；

根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，再利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到第二三维重建模型。

8.根据权利要求7所述方法，其特征在于，所述根据所述节单位尺度表型参数对所述待监测作物的冠层进行三维重建，得到第一三维重建模型，具体包括：

利用所述节单位尺度表型参数，结合所述待监测作物的三维模板资源库，通过节单位尺度表型参数的相似性匹配和参数化建模方法，获取所述第一三维重建模型。

9.根据权利要求7所述方法，其特征在于，所述利用所述冠层覆盖度、所述冠隙分数及所述三维点云数据多所述第一三维重建模型进行校准，得到所述第二三维重建模型，具体包括：

根据所述冠层覆盖度、所述冠隙分数及所述三维点云数据，对所述第一三维重建模型中的所述节单位尺度表型参数进行迭代直至迭代停止，得到所述第二三维重建模型。