CN117274512A - 植物多视角图像的处理方法及系统 - Google Patents

Abstract

本发明公开了一种植物多视角图像的处理方法及系统，方法包括采集目标植物的多视角图像；确定相机位置矩阵并构建多视角图像的点位矩阵；进行局部稀疏点云重建，得到稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；计算所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云，并进一步确定矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。本发明能够提高数据采集质量。

Description

植物多视角图像的处理方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及植物多视角图像的处理方法及系统。

背景技术

植物表型数据的精准、快速获取，是构建植物表型大数据的主要数据来源，为作物数字育种、数字栽培和农业生产智能化管理研究与应用提供基础数据支撑服务。当前，植物表型的监测和分析手段逐渐向综合化、规模化、多尺度和高通量的方向发展。基于多视角重建方法是一种高精度表型获取方案，基于植物多视角图像，能重建得到植物三维点云，重建得到的三维点云数据不但包含植物三维株型表型信息，还包括植物分支器官颜色纹理信息，近年来，该项技术被广泛应用研究。在该领域涉及的关键技术包括：高通量/便携式采集平台的设计、光源环境及数据标定技术、数据采集、处理接解析方法。

现有技术中构建了多视角图像采集装置，但缺少对采集环境的控制，单一技术单一保证采集图像数据的一致性；有的现有技术设计了补光装置，但是难以低成本达到多视角立体补光；现有技术的缺陷是在进行多视角图像重建被测物体三维点云的一般技术方案，通常耗时，以SFM+MVS重建技术为例，需要进行全局图像配准、特征提取等计算。

基于此，有必有提供一种植物多视角图像的处理方法及系统，用于克服当前植物多视角图像采集受到外界光源、风力等其它干扰问题，并提供光源标定、植物三维点云重建方法改进的解决方案，提高数据采集质量、数据处理效率。

发明内容

为了解决上述提出的至少一个技术问题，本发明提供一种植物多视角图像的处理方法，包括如下步骤：

采集目标植物的多视角图像；

基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；

基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；

通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；

基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；

以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。

在一种可能实现的方式中，所述采集目标植物的多视角图像，包括：

通过设定固定间隔时间，驱动所有相机同步采集图像，同时启动转台，以固定速度和设定角度旋转；其中，所述相机采集的图像存储到指定文件夹内，进行存储管理，完成一个目标植物的多视角图像采集和存储管理。

在一种可能实现的方式中，在所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵之前，还包括：

确定所述相机的相机阵列，C为相机，通过棋盘格标定每个相机的内参和外参参数，记为：/>，其中，k为相机对应的内参，r、t为相机对应的外参。

在一种可能实现的方式中，所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵，包括：

通过以设备旋转单元中的支撑中点为坐标系原点O，以垂直方向为Z轴，以其中一个转臂为X轴，其垂直转臂为Y轴，构建坐标系；在该坐标系下，确定每个相机的位置坐标和方向向量，形成相机位置矩阵

，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，p为相机位置和方向向量，记为/>，其中/>代表位置（x,y,z）,/>代表方向向量/>；

对于被测植物，获得一组多视角图像阵列，按照相机点位，构建多视角图像的点位矩阵，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，t为图像，形成围绕被测植物，以转轴半径为r1的多层包围图像阵列。

在一种可能实现的方式中，所述基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵，包括：

从所述多层包围图像阵列中，选取上下、前后相邻的4幅图像进行基于SfM（Structure from motion）算法进行局部稀疏点云重建，其中列和/>列首尾链接，得到重建点云序列/>，合并为稀疏点云体/>；并在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵/>，其中/>为位置信息。

在一种可能实现的方式中，在所述采集目标植物的多视角图像之前，还包括：

进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

在一种可能实现的方式中，所述进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内，包括：

调整相机拍摄角度，垂直于正三角锥型标定体的侧片，分别在三个侧面上采集若干张图像；其中，所述正三角锥型标定体被配置于多视角图像采集系统的采集装置的中央，所述正三角锥型标定体的三个侧面绘制系列黑色圆点，黑色圆点排列从上向下四排排布；

通过灰度图二值化算法，定位并检测到四个黑色园图像区域，并计算得到每个黑色园对应的平均灰度值，进而得到三个侧面，每个侧面对应的点位的灰度值；

设定光源立体均匀度度量函数f=max{p1,p2,p3,p4}，其中，p1为三个侧面第一层园点灰度值的标准差，p2为三个侧面第二层园点灰度值的标准差，p3为三个侧面第三层园点灰度值的标准差，p4为三个侧面第四层园点灰度值的标准差；

设定光源均匀度阈值，如果/>，表明当前被测立体空间范围内光源不够均匀，报警提示，并通过控制调节当前条带补光灯的亮度，直到目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

在该实施方式中，通过对立体空间光源一致性测定，有效保证采集的植物图像，在不同视角方向下，具有相近的光源环境；

在一种可能实现的方式中，所述多视角图像采集系统，包括补光挡风装置、采集装置和中控室；

所述补光挡风装置包括：

中心支撑杆，固定在墙体顶棚上；

第一伞状支撑杆，由多个支撑架组成，成圆形均匀分布在所述中心支撑杆的四周，并通过角度调节阀调节与所述中心支撑杆的夹角；

第二伞状支撑杆，每个分支结构通过套管拼接在所述第一伞状支撑杆上，用于延长顶棚伞状装置的覆盖面积；

第三伞状支撑杆，用于支撑顶棚底部为 类圆弧结构；

可伸缩围挡支撑杆，上端和所述第二伞状支撑杆或所述第三伞状支撑杆相连接，下端和落地固定块连接；

所述落地固定块，设置有钢丝收放单元，以重金属材质制作，用于固定拉直所述可伸缩围挡支撑杆，并根据高度收放所述可伸缩围挡支撑杆的长度；

条带补光灯，分别安装在所述第二伞状支撑杆和所述可伸缩围挡支撑杆的上部，用于为装置内部均匀补光；所述条带补光灯由多个颗粒LED组成，并与所述中控室相连，并由控制器控制明暗程度；

柔性棋盘格围挡，通过扎带固定环绕在所述可伸缩围挡支撑杆上，采用半透明材质，上部喷塑棋盘格，相邻棋盘格上下颠倒；

所述采集装置，安装在所述中心支撑杆的下部，通过直线导轨控制，以设定角度旋转；所述采集装置包括：

转轴，通过电机驱动器驱动的步进电机固定到所述中心支撑杆上；

转环，安装在所述转轴和所述中心支撑杆连接处，所述转环内置滑束线，所述滑束线包括供电滑束线和网络通信滑束线，为阵列相机供电和通信；

横向转臂，水平固定在所述转环外侧，由对称组组成；

竖向转臂，安装在所述横向转臂的一端；

相机，安装在所述竖向转臂上，形成相机阵列；所述相机的电源接口和所述供电滑束线相连接；所述相机的通信网口和所述网络通信滑束线相连接，并连接到所述中控室。

在该实施方式中，通过设计一个可有效满足植物多视角图像采集所需的可控环境装置，其结构特点是在遮光、挡风、补光的前提下，具有便携、易于部署、可扩展的优势。

在一种可能实现的方式中，所述中控室部署有控制板卡、交换机、工控机和显示器，作为控制系统；

多个所述相机阵列通过所述交换机与所述工控机连接；多个所述条带补光灯通过所述控制板卡与所述工控机连接；

所述电机驱动器通过所述控制板卡与所述工控机连接，驱动步进电机转动转臂；

所述工控机与所述显示器连接，用于数据采集工况显示；

在所述工控机内部署数据采集及处理的相应软件，用于操作设备运行。

本发明还提供一种植物多视角图像的处理系统，包括：

采集模块，用于采集所述目标植物的多视角图像；

第一处理模块，用于基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；

第二处理模块，用于基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；

第三处理模块，用于通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；

第四处理模块，用于基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；

优化模块，用于以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。

与现有技术相比，本申请具有以下有益效果：

本发明提供一种植物多视角图像的处理方法，通过：采集目标植物的多视角图像；基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。本申请通过设计一种新的高效率的多视角重建方法，能够克服现有的SFM+MVS重建技术需要进行全局图像配准、特征提取等计算过程导致的计算效率低下的缺陷，提高了数据采集质量、数据处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本申请实施例提供的植物多视角图像的处理方法的流程示意图；

图2为本申请实施例提供的多视角图像采集系统的结构示意图；

图3为本申请实施例提供的多视角图像采集系统的局部相关连接件的结构示意图；

图4为本申请实施例提供的柔性棋盘格围挡的示意图；

图5为本申请实施例提供的多视角转臂及相机阵列的示意图；

图6为本申请实施例提供的光源标定系统的示意图；

图7为本申请实施例提供的数据采集系统的结构示意图；

图8为本申请实施例提供的数据采集及处理方法的流程示意图；

图9为本申请实施例提供的植物多视角图像的处理系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

另外，为了更好地说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样能够实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

请参阅图1。

一种植物多视角图像的处理方法，包括如下步骤。

S100、采集目标植物的多视角图像。

在一种可能实现的方式中，通过设定固定间隔时间，驱动所有相机同步采集图像，同时启动转台，以固定速度和设定角度旋转，例如以90度单位旋转；其中，所述相机采集的图像存储到指定文件夹内，进行存储管理，完成一个目标植物的多视角图像采集和存储管理。

在一种可能实现的方式中，确定所述相机的相机阵列，C为相机，通过棋盘格标定每个相机的内参和外参参数，记为：，其中，k为相机对应的内参，r、t为相机对应的外参。

具体的，在4个转臂上挂载q排相机，共计4*q个，组成相机阵列。

S200、基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵。

在一种可能实现的方式中，通过以设备旋转单元中的支撑中点为坐标系原点O，以垂直方向为Z轴，以其中一个转臂为X轴，其垂直转臂为Y轴，构建坐标系；在该坐标系下，确定每个相机的位置坐标和方向向量，形成相机位置矩阵

，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，p为相机位置和方向向量，记为/>，其中/>代表位置（x,y,z）,/>代表方向向量/>；

对于被测植物，获得一组多视角图像阵列，按照相机点位，构建多视角图像的点位矩阵，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，t为图像，形成围绕被测植物，以转轴半径为r1的多层包围图像阵列。

S300、基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵。

在一种可能实现的方式中，从所述多层包围图像阵列中，选取上下、前后相邻的4幅图像进行基于SfM（Structure from motion）算法进行局部稀疏点云重建，其中列和/>列首尾链接，得到重建点云序列/>，合并为稀疏点云体/>；并在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵/>，其中/>为位置信息。

S400、通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云。

具体的，通过矩阵和/>矩阵，计算得到重建点云/>到实际还原点云的旋转、平移、缩放矩阵/>，计算得到矫正后的被测物体稀疏点云/>。

S500、基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像。

具体的，基于多视角立体视觉（MVS，multiple view stereo）算法，同样按照向邻近4幅图像图像，依序生成得到稠密点云序列，合并为稠密点云体；

通过旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，/>即为通过设备采集多视角图像重建得到的被测场景图像。

S600、以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。

具体的，以相机位置矩阵为包围体，对重建点云/>进行切割，去除包围体以外的点云，剩余点云即为被测植物点云，即为/>。

通过以上步骤完成了基于多视角图像结合相机物理信息的多视角点云快速重建。

在一种可能实现的方式中，在步骤S100、采集目标植物的多视角图像之前，还包括：

进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

在一种可能实现的方式中，所述进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内，包括：

调整相机拍摄角度，垂直于正三角锥型标定体的侧片，分别在三个侧面上采集若干张图像；其中，所述正三角锥型标定体被配置于多视角图像采集系统的采集装置的中央，所述正三角锥型标定体的三个侧面绘制系列黑色圆点，黑色圆点排列从上向下四排排布；

通过灰度图二值化算法，定位并检测到四个黑色园图像区域，并计算得到每个黑色园对应的平均灰度值，进而得到三个侧面，每个侧面对应的点位的灰度值；

设定光源立体均匀度度量函数f=max{p1,p2,p3,p4}，其中，p1为三个侧面第一层园点灰度值的标准差，p2为三个侧面第二层园点灰度值的标准差，p3为三个侧面第三层园点灰度值的标准差，p4为三个侧面第四层园点灰度值的标准差；

设定光源均匀度阈值，如果/>，表明当前被测立体空间范围内光源不够均匀，报警提示，并通过控制调节当前条带补光灯的亮度，直到目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

请参阅图2-5。

在一种可能实现的方式中，所述多视角图像采集系统，为便携式植物多视角图像采集系统，包括：补光挡风装置（便携式植物多视角图像采集补光挡风装置）、采集装置（多视角图像阵列采集装置）和中控室。

便携式植物多视角图像采集补光挡风装置

便携式植物多视角图像采集补光挡风装置由中心支撑杆11、第一伞状支撑杆12、第二伞状支撑杆13、第三伞状支撑杆14、可伸缩围挡支撑杆15、落地固定块16、条带补光灯17以及柔性棋盘格围挡18组成。

其中，中心支撑杆11起到刚性支撑作用，固定在墙体顶棚或支撑杆上；第一伞状支撑杆12，由6个支撑架组成，成圆形平均分布在中心支撑杆11的四周，并通过角度调节阀调节和中心支撑杆的夹角；第二伞状支撑杆13的每个分支结构通过套管拼接在第一伞状支撑杆12上，用于延长顶棚伞状装置的覆盖面积；第三伞状支撑杆14用于支撑顶棚底部为类圆弧结构；可伸缩围挡支撑杆15，上端和第二伞状支撑杆13或第三伞状支撑杆14相连接，下端和落地固定块16链接，可伸缩围挡支撑杆15由钢丝组成，在落地固定块16上由收放单元，根据高度收放可伸缩围挡支撑杆15的长度；落地固定块16上置钢丝收放单元，以重金属材质制作，用于固定拉直可伸缩围挡支撑杆15；分别在支撑顶棚第二伞状支撑杆13和可伸缩围挡支撑杆15的上部，安装条带补光灯17，用于为装置内部均匀补光，条带补光灯由多个颗粒LED等组成，和中控室3相连，并由控制器控制明暗程度；柔性棋盘格围挡18通过扎带固定环绕在可伸缩围挡支撑杆15上，采用半透明材质，上部喷塑棋盘格，相邻棋盘格上下颠倒。

在一种可能的实现方式中，首先制作并搭建多视角图像采集补光挡风装置，把中心支撑单元采取中心固定或顶部固定方案进行固定，采用方案中的设计模块，进行加工设计。按照水稻最大株高1.2米，最大冠幅0.5米为计算，第一伞状支撑杆为0.3米；第二伞状支撑杆0.3米；第三伞状支撑杆0.1米；伞状支撑角度为60度。可伸缩围挡支撑杆高度为1.5米，圆周等角度设置20个围挡支撑杆。分别在支撑顶棚第二伞状支撑杆13和可伸缩围挡支撑杆15的上部，安装条带补光灯17，条带补光灯的长度为0.1米，宽度为0.05米，选用颗粒状LED等灯珠。围挡采用塑料材质，并在上部，按照棋盘格图案喷塑。

多视角图像阵列采集装置

在中心支撑杆11的下部安装多角度图像阵列采集装置2，装置通过直线导轨控制，以90度单位驱动多角度图像整列旋转。多角度图像整列采集装置2由转轴21、转环22、横向转臂23、竖向转臂24、相机阵列单元25组成。

其中，转轴21通过步进电机固定到中心支撑杆11上，在转轴21和中心支撑杆11连接处安装转环22，转环22内置滑束线，滑束线包括供电滑束线和网络通信滑束线，为阵列相机供电和通信；横向转臂23水平固定在转环22外侧，由由4组横向转臂组成对称结构；在每个横向转臂23一段安装竖向转臂24；在竖向转臂24上安装多个相机，形成相机阵列；相机电源接口和供电滑束线相连接，为相机供电；相机通信网口和网络通信滑束线相连接，并连接到中控室3。

立体光源标定及植物多视角图像采集系统

在一种可能实现的方式中，所述中控室部署有控制板卡、交换机、工控机和显示器，作为控制系统；

多个所述相机阵列通过所述交换机与所述工控机连接；多个所述条带补光灯通过所述控制板卡与所述工控机连接；

所述电机驱动器通过所述控制板卡与所述工控机连接，驱动步进电机转动转臂；

所述工控机与所述显示器连接，用于数据采集工况显示；

在所述工控机内部署数据采集及处理的相应软件，用于操作设备运行。

请参阅图6-8。

在一种可能实现的方式中，所述的便携式植物多视角图像采集系统，还包括光源标定系统，用于标定当前条带补光灯在空间结构上的亮度；

所述光源标定系统，硬件部分有正三角锥型标定体组成，所述正三角锥型标定体的三个侧面绘制系列黑色圆点，黑色圆点排列从上向下，分别为1个、3个、5个、7个，四排排布，分别为F11-F47。

在一种可能实现的方式中，所述光源标定系统，在进行标定时：

所述正三角锥型标定体被配置于所述采集装置的中央，调整所述相机拍摄角度，垂直于所述正三角锥型标定体的侧片，分别在三个侧面上采集三幅图像fig1，fig2，fig3；

通过灰度图二值化算法，定位并检测到F11-F47四个黑色园图像区域，并计算得到每个黑色园对应的平均灰度值G11-G47，进而得到三个侧面，每个侧面16个点位的灰度值，分别为S1{G11-G47}，S2{G11-G47}，S3{G11-G47}；

设定光源立体均匀度度量函数f=max{p1,p2,p3,p4}，其中，p1为三个侧面第一层园点灰度值的标准差，p2为三个侧面第二层园点灰度值的标准差，p3为三个侧面第三层园点灰度值的标准差，p4为三个侧面第四层园点灰度值的标准差；

设定光源均匀度阈值，如果/>，表明当前被测立体空间范围内光源不够均匀，报警提示，并通过所述控制系统控制调节各所述条带补光灯的亮度，直到光源立体均匀度达到阈值范围内。

通过上述实施例，本申请具有以下有益效果：

本发明提供一种植物多视角图像的处理方法，通过：采集目标植物的多视角图像；基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。本申请通过设计一种新的高效率的多视角重建方法，能够克服现有的SFM+MVS重建技术需要进行全局图像配准、特征提取等计算过程导致的计算效率低下的缺陷，提高了数据采集质量、数据处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

请参阅图9。

本发明还提供一种植物多视角图像的处理系统，包括：

采集模块100，用于采集所述目标植物的多视角图像；

第一处理模块200，用于基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；

第二处理模块300，用于基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；

第三处理模块400，用于通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；

第四处理模块500，用于基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；

优化模块600，用于以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施方式和说明书中的描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入本发明要求保护的范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种植物多视角图像的处理方法，其特征在于，包括如下步骤：

采集目标植物的多视角图像；

基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；

基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；

通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；

基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；

以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。

2.根据权利要求1所述的植物多视角图像的处理方法，其特征在于，所述采集目标植物的多视角图像，包括：

通过设定固定间隔时间，驱动所有相机同步采集图像，同时启动转台，以固定速度和设定角度旋转；其中，所述相机采集的图像存储到指定文件夹内，进行存储管理，完成一个目标植物的多视角图像采集和存储管理。

3.根据权利要求2所述的植物多视角图像的处理方法，其特征在于，在所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵之前，还包括：

确定所述相机的相机阵列，C为相机，通过棋盘格标定每个相机的内参和外参参数，记为：/>，其中，k为相机对应的内参，r、t为相机对应的外参。

4.根据权利要求1所述的植物多视角图像的处理方法，其特征在于，所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵，包括：

通过以设备旋转单元中的支撑中点为坐标系原点O，以垂直方向为Z轴，以其中一个转臂为X轴，其垂直转臂为Y轴，构建坐标系；在该坐标系下，确定每个相机的位置坐标和方向向量，形成相机位置矩阵

，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，p为相机位置和方向向量，记为/>，其中/>代表位置（x,y,z）,/>代表方向向量；

对于被测植物，获得一组多视角图像阵列，按照相机点位，构建多视角图像的点位矩阵，其中，m为相机点位层数，n为相机采集一圈多视角图像的数目，t为图像，形成围绕被测植物，以转轴半径为r1的多层包围图像阵列。

5.根据权利要求4所述的植物多视角图像的处理方法，其特征在于，所述基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵，包括：

从所述多层包围图像阵列中，选取上下、前后相邻的4幅图像进行基于SfM（Structurefrom motion）算法进行局部稀疏点云重建，其中列和/>列首尾链接，得到重建点云序列，合并为稀疏点云体/>；并在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵/>，其中/>为位置信息。

6.根据权利要求1所述的植物多视角图像的处理方法，其特征在于，在所述采集目标植物的多视角图像之前，还包括：

进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

7.根据权利要求6所述的植物多视角图像的处理方法，其特征在于，所述进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内，包括：

调整相机拍摄角度，垂直于正三角锥型标定体的侧片，分别在三个侧面上采集若干张图像；其中，所述正三角锥型标定体被配置于多视角图像采集系统的采集装置的中央，所述正三角锥型标定体的三个侧面绘制系列黑色圆点，黑色圆点排列从上向下四排排布；

通过灰度图二值化算法，定位并检测到四个黑色园图像区域，并计算得到每个黑色园对应的平均灰度值，进而得到三个侧面，每个侧面对应的点位的灰度值；

设定光源立体均匀度度量函数f=max{p1,p2,p3,p4}，其中，p1为三个侧面第一层园点灰度值的标准差，p2为三个侧面第二层园点灰度值的标准差，p3为三个侧面第三层园点灰度值的标准差，p4为三个侧面第四层园点灰度值的标准差；

设定光源均匀度阈值，如果/>，表明当前被测立体空间范围内光源不够均匀，报警提示，并通过控制调节当前条带补光灯的亮度，直到目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内。

8.根据权利要求7所述的植物多视角图像的处理方法，其特征在于，所述多视角图像采集系统，包括补光挡风装置、采集装置和中控室；

所述补光挡风装置包括：

中心支撑杆，固定在墙体顶棚上；

第一伞状支撑杆，由多个支撑架组成，成圆形均匀分布在所述中心支撑杆的四周，并通过角度调节阀调节与所述中心支撑杆的夹角；

第二伞状支撑杆，每个分支结构通过套管拼接在所述第一伞状支撑杆上，用于延长顶棚伞状装置的覆盖面积；

第三伞状支撑杆，用于支撑顶棚底部为 类圆弧结构；

可伸缩围挡支撑杆，上端和所述第二伞状支撑杆或所述第三伞状支撑杆相连接，下端和落地固定块连接；

所述落地固定块，设置有钢丝收放单元，以重金属材质制作，用于固定拉直所述可伸缩围挡支撑杆，并根据高度收放所述可伸缩围挡支撑杆的长度；

条带补光灯，分别安装在所述第二伞状支撑杆和所述可伸缩围挡支撑杆的上部，用于为装置内部均匀补光；所述条带补光灯由多个颗粒LED组成，并与所述中控室相连，并由控制器控制明暗程度；

柔性棋盘格围挡，通过扎带固定环绕在所述可伸缩围挡支撑杆上，采用半透明材质，上部喷塑棋盘格，相邻棋盘格上下颠倒；

所述采集装置，安装在所述中心支撑杆的下部，通过直线导轨控制，以设定角度旋转；所述采集装置包括：

转轴，通过电机驱动器驱动的步进电机固定到所述中心支撑杆上；

转环，安装在所述转轴和所述中心支撑杆连接处，所述转环内置滑束线，所述滑束线包括供电滑束线和网络通信滑束线，为阵列相机供电和通信；

横向转臂，水平固定在所述转环外侧，由对称组组成；

竖向转臂，安装在所述横向转臂的一端；

相机，安装在所述竖向转臂上，形成相机阵列；所述相机的电源接口和所述供电滑束线相连接；所述相机的通信网口和所述网络通信滑束线相连接，并连接到所述中控室。

9.根据权利要求8所述的植物多视角图像的处理方法，其特征在于，所述中控室部署有控制板卡、交换机、工控机和显示器，作为控制系统；

多个所述相机阵列通过所述交换机与所述工控机连接；多个所述条带补光灯通过所述控制板卡与所述工控机连接；

所述电机驱动器通过所述控制板卡与所述工控机连接，驱动步进电机转动转臂；

所述工控机与所述显示器连接，用于数据采集工况显示；

在所述工控机内部署数据采集及处理的相应软件，用于操作设备运行。

10.一种植物多视角图像的处理系统，其特征在于，包括：

采集模块，用于采集目标植物的多视角图像；

第一处理模块，用于基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；

第二处理模块，用于基于SfM算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；

第三处理模块，用于通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转、平移、缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；

第四处理模块，用于基于多视角立体视觉MVS算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转、平移、缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；

优化模块，用于以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云。