CN105340413A - 一种玉米果穗三维信息检测方法及系统 - Google Patents

Abstract

本发明涉及一种玉米果穗三维信息检测方法及系统。该方法包括：标定三台摄像机之间的空间位置关系；获取玉米果穗轮廓；利用所述三台摄像机采集玉米果穗三幅不同角度的图像，利用所述三台摄像机之间的空间位置关系构建正三角测量模型；根据所述正三角测量模型获得所述玉米果穗中心轴的中心点及任意四分点的深度信息，根据所述玉米果穗轮廓及所述玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；获取所述玉米果穗三幅不同角度的图像的重叠区域，去除所述重叠区域，获得玉米果穗的三维表型信息。本发明可以快速获取果穗三维表型信息，实现高通量考种要求。

Description

一种玉米果穗三维信息检测方法及系统

技术领域

本发明涉及计算机视觉领域，尤其涉及一种玉米果穗三维信息检测方法与系统。

背景技术

玉米果穗考种是玉米作物遗传育种过程中一个重要的环节，对于玉米生产、科研中有着重要的意义。玉米果穗几何形态为空间旋转体类，一幅图像不能记录全部信息。果穗的部分表型参数，如：穗行数、行粒数、秃尖等需要采集360度图像才能准确计算出来，因此需要在三维模式下进行表型参数测量。

从不同的两个视角采集的两幅图像，由于视角不同，空间中同一个点在两幅图像中会有视差。根据这个视差，利用相似三角形的原理，便可以唯一确定空间中点的坐标，从而得出更多信息，还原三维场景。现有的双目视觉测量解决的是两个平视拓扑结构摄像机的问题，并不适用于检测玉米果穗的三维信息。

一种玉米果穗性状检测装置(CN103004322B)利用辊筒获取果穗的全角度信息，然而采集全角度信息所耗时间较长。基于立体视觉的玉米果穗外在形态记录与测量装置(CN202160400U)设计成本较高，采集速度较慢，无法满足高通量测量的实际需求。使用图像序列生成玉米果穗全景图的方法(CN101853524A)，使用固定位置的数码相机对玉米果穗间隔一定角度拍摄图像序列，对图像序列操作生成全景图，但采集及处理时间较长。

发明内容

本发明所要解决的技术问题是：现有的玉米果穗三维信息的检测方法采集及处理速度慢。

为解决上述技术问题，本发明一方面提出了一种玉米果穗三维表型检测方法，该玉米果穗三维表型检测方法包括：

S1：标定三台摄像机之间的空间位置关系；

S2：获取玉米果穗轮廓；

S3：利用所述三台摄像机采集玉米果穗三幅不同角度的图像，利用所述三台摄像机之间的空间位置关系构建正三角测量模型；

S4：根据所述正三角测量模型获得所述玉米果穗中心轴的中心点及任意四分点的深度信息，根据所述玉米果穗轮廓及所述玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

S5：根据所述玉米果穗在三台摄像机坐标系中的位置信息获取所述玉米果穗三幅不同角度的图像的重叠区域，去除所述重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的空间位置关系为两两摄像机之间的平移矩阵和旋转矩阵；

所述三台摄像机处于相同水平面，且互成120度角。

可选地，所述标定三台摄像机之间的空间位置关系，包括：

S11：对三台摄像机利用张正友标定法获取所述三台摄像机各自的内参矩阵和外参矩阵；

S12：根据所述三台摄像机各自的内参矩阵和外参矩阵获取两两摄像机之间的平移矩阵和旋转矩阵，得到三台摄像机之间的空间位置关系。

可选地，所述得到三台摄像机之间的空间位置关系，包括：

S121：根据所述三台摄像机各自的内部参数矩阵和外部参数矩阵，将指定点的物理坐标映射到任意两台摄像机坐标系中；

S122：获取指定点在所述两台摄像机坐标系下的变换公式；

S123：根据所述变换公式获取所述两台摄像机之间的平移矩阵和旋转矩阵；

S124：根据任意两台摄像机之间的平移矩阵和转换矩阵获取三台摄像机之间的空间位置关系。

可选地，所述获取玉米果穗轮廓之后，还包括：

去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞。

可选地，所述构建正三角测量模型包括：

S31：从三台摄像机中任意选取两台摄像机，联立指定点在第一摄像机坐标系的投影点与所述第一摄像机坐标系的原点的连线方程和指定点在第二摄像机坐标系投影点与所述第二摄像机坐标系的原点的连线的方程

$\{\begin{array}{c}P=t_l{P}_l\\ P=T+t_r(P_r^{\′}-T)\end{array},$

其中，所述第一摄像机坐标系为世界坐标系，P为空间中指定点的坐标，P_l为P点在第一摄像机投影平面的对应点，P_r为P点在第二摄像机投影平面的对应点，T为第一摄像机和第二摄像机之间的平移矩阵，P_r′为P_r点在世界坐标系的坐标，t_l和t_r为系数；

S32：解出系数t_l和t_r；

S33：将指定点的图像坐标系坐标转换为摄像机坐标系坐标，利用S32中的系数t_l和t_r求解指定点的深度信息。

可选地，所述获取玉米果穗轮廓，包括：

S21：利用所述三台摄像机采集玉米果穗掉落前及玉米果穗掉落时的图像，获取玉米果穗掉落前的图像和玉米果穗掉落时的图像中每个像素的欧式距离之差；

S22：比较两幅图像中每个像素的欧式距离之差与预定阈值的大小，若所述欧式距离之差大于所述预定阈值，则该像素为玉米果穗区域；

S23：将所述玉米果穗区域设为白色，将背景设为黑色。

可选地，所述获取所述玉米果穗三幅不同角度的图像的重叠区域，包括：

分别获取所述三台摄像机与所述玉米果穗的横截面的切线，切点所形成的弧形为所述玉米果穗三幅不同角度的图像的重叠区域。

可选地，所述去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞，包括：

将所述玉米轮廓图像中的背景设为黑色；

利用漫水填充算法将所述背景设为任意非黑非白的灰度；

将所述玉米轮廓图像中的黑色像素点换为白色；

利用漫水填充算法将所述背景换为黑色。

另一方面，本发明还提出了一种三维表型检测系统，该系统包括：

图像采集单元，用于采集玉米果穗掉落前以及玉米果穗掉落时的图像，还用于采集玉米果穗三幅不同角度的图像；

所述图像采集单元包括三台摄像机，所述三台摄像机处于相同水平面，且互成120度角；

摄像机标定单元，用于标定所述三台摄像机之间的空间位置关系；

正三角测量模型构建单元，用于利用所述摄像机之间的空间位置关系构建正三角测量模型，构建正三角测量模型，获取玉米果穗中心轴的中心点及任意四分点的深度信息；

轮廓获取单元，用于获取玉米果穗轮廓；

位置信息获取单元，根据所述玉米果穗轮廓及通过正三角测量模型获得的玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

三维信息获取单元，用于去除玉米果穗三幅不同角度的图像的重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的位置关系为两两摄像机之间的平移矩阵和旋转矩阵。

本发明通过互成120度角同一水平面的三个摄像机获取竖直掉落玉米果穗全方位的三视图像，建立以此为基础的正三角测量模型。本发明可以根据正三角测量模型计算深度信息并进行空间定位，去除拍摄的重叠区域，从而快速获取果穗三维表型信息，可以满足高通量考种要求，为实现无损测量玉米果穗的穗行数、行粒数、穗粒数等常见性状参数提供了基础。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一个实施例的玉米果穗三维表型检测方法示意图；

图2示出了本发明一个实施例的标定三台摄像机的位置关系的示意图；

图3示出了本发明一个实施例的构建正三角测量模型的示意图；

图4示出了本发明一个实施例的获取玉米果穗轮廓的示意图；

图5示出了本发明一个实施例的获取玉米果穗轮廓的结果示意图；

图6示出了本发明一个实施例的获取玉米果穗三幅不同角度的图像的重叠区域的原理图；

图7示出了本发明一个实施例的玉米果穗三维表型检测系统的结构示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。

图1示出了本发明一个实施例的玉米果穗三维表型检测方法示意图。如图1所示，该玉米果穗三维表型检测方法包括：

S1：标定三台摄像机之间的空间位置关系；

S2：获取玉米果穗轮廓；

S3：利用所述三台摄像机采集玉米果穗三幅不同角度的图像，利用所述三台摄像机之间的空间位置关系构建正三角测量模型；

S4：根据所述正三角测量模型获得所述玉米果穗中心轴的中心点及任意四分点的深度信息，根据所述玉米果穗轮廓及所述玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

S5：根据所述玉米果穗在三台摄像机坐标系中的位置信息获取所述玉米果穗三幅不同角度的图像的重叠区域，去除所述重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的空间位置关系为两两摄像机之间的平移矩阵和旋转矩阵；

所述三台摄像机处于相同水平面，且互成120度角。

本实施例的玉米果穗三维表型检测方法，通过互成120度角同一水平面的三个摄像机获取竖直掉落玉米果穗全方位的三视图像，建立以此为基础的正三角测量模型。本发明可以根据正三角测量模型计算深度信息并进行空间定位，去除拍摄的重叠区域，从而快速获取果穗三维表型信息，可以满足高通量考种要求，为实现无损测量玉米果穗的穗行数、行粒数、穗粒数等常见性状参数提供了基础。

图2示出了本发明一个实施例的标定三台摄像机的位置关系的示意图。如图2所示，标定三台摄像机的空间位置关系，包括：

S11：对三台摄像机利用张正友标定法获取所述三台摄像机各自的内参矩阵和外参矩阵；

S12：根据所述三台摄像机各自的内参矩阵和外参矩阵获取两两摄像机之间的平移矩阵和旋转矩阵，得到三台摄像机之间的空间位置关系。

具体地，所述得到三台摄像机之间的空间位置关系，包括：

S121：根据所述三台摄像机各自的内部参数矩阵和外部参数矩阵，将指定点的物理坐标映射到任意两台摄像机坐标系中；

指定点的物理坐标与任意两台摄像机坐标系存在如下映射关系：

其中P为指定点在世界坐标系的物理坐标，P_l，P_r分别为指定点在两个摄像机坐标系坐标，R_l，R_r分别为两摄像机旋转矩阵，T_l，

T_r分别为两摄像机平移矩阵；

S122：获取指定点在所述两台摄像机坐标系下的变换公式；

同一个点在两摄像机坐标系中的位置遵循以下公式：

P_l＝R^T(P_r-T)，

其中，R为两摄像机之间的旋转矩阵，T为两摄像机之间的平移矩阵；

S123：根据所述变换公式获取所述两台摄像机之间的平移矩阵和旋转矩阵，

$\left\{\begin{array}{c}R=R_r\left(R_l\right)T\\ T=T_r-{\mathrm{RT}}_l\end{array}\right.;$

S124：根据任意两台摄像机之间的平移矩阵和转换矩阵获取三台摄像机之间的空间位置关系。

图3示出了本发明一个实施例的构建正三角测量模型的示意图。构建正三角测量模型包括：

S31：从三台摄像机中任意选取两台摄像机，联立指定点在第一摄像机坐标系的投影点与所述第一摄像机坐标系的原点的连线方程和指定点在第二摄像机坐标系投影点与所述第二摄像机坐标系的原点的连线的方程

$\left\{\begin{array}{c}P=t_l{P}_l\\ P=T+t_r(P_r^{\′}-T)\end{array}\right.,$

其中，所述第一摄像机坐标系为世界坐标系，P为空间中指定点的坐标，P_l为P点在第一摄像机投影平面的对应点，P_r为P点在第二摄像机投影平面的对应点，T为第一摄像机和第二摄像机之间的平移矩阵，P_r′为P_r点在世界坐标系的坐标，t_l和t_r为系数；

S32：根据第一摄像机与第二摄像机之间的旋转矩阵，得到指定点在第一摄像机坐标系的投影点与所述第一摄像机坐标系的原点的连线方程和指定点在第二摄像机坐标系投影点与所述第二摄像机坐标系的原点的连线的方程

$\left\{\begin{array}{c}P=t_{l}P\\ P=t_r{R}^T{P}_r+T\end{array}\right.,$

解出系数t_l和t_r；

其中，R为第一摄像机和第二摄像机之间的旋转矩阵；

S33：将指定点的图像坐标系坐标转换为摄像机坐标系坐标，利用S32中的系数t_l和t_r求解指定点的深度信息。

图4示出了本发明一个实施例的获取玉米果穗轮廓的示意图。如图4所示，所述获取玉米果穗轮廓，包括：

S21：利用所述三台摄像机采集玉米果穗掉落前及玉米果穗掉落时的图像，获取玉米果穗掉落前的图像和玉米果穗掉落时的图像中每个像素的欧式距离之差；

S22：比较两幅图像中每个像素的欧式距离之差与预定阈值的大小，若所述欧式距离之差大于所述预定阈值，则该像素为玉米果穗区域；

S23：将所述玉米果穗区域设为白色，将背景设为黑色。

在一种可选的实时方式中，所述获取玉米果穗轮廓之后，还包括：

去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞。

图5示出了本发明一个实施例的获取玉米果穗轮廓的结果示意图。进一步地，所述去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞，包括：

将所述玉米轮廓图像中的背景设为黑色；

利用漫水填充算法将所述背景设为任意非黑非白的灰度；

将所述玉米轮廓图像中的黑色像素点换为白色；

利用漫水填充算法将所述背景换为黑色。

图6示出了本发明一个实施例的获取玉米果穗三幅不同角度的图像的重叠区域的原理图。

获取所述玉米果穗三幅不同角度的图像的重叠区域，包括：

分别获取所述三台摄像机与所述玉米果穗的横截面的切线，切点所形成的弧形为所述玉米果穗三幅不同角度的图像的重叠区域。

玉米果穗是竖直下落的，三个摄像机的位置为近正三角形构造，由于果穗横截面可以近似为圆面，取俯视图。圆心为C，三个相机分别设为O_top，O_left，O_right。分别做它们与圆的切线，顺时针标记切点分别记为T₁，T₂，L₁，L₂，R₁，R₂，在圆周上，切点按顺时针顺序为T₁，L₂，R₁，T₂，L₂，R₂，而T₁L₂，R₁T₂，L₁R₂三段弧就是重叠区域。

只要计算出切点坐标，就可以得到重叠区域进行后续运算。

进一步地，以顶侧相机O_top为例，求解切点坐标步骤如下：

S1：设C点坐标为(x_c，y_c，z_c)，两条切线的长度为l，圆的半径为r，列出圆C的平面方程

(x-x_o)²+(z-z_o)²＝r²

S2：根据欧式距离公式，T₁与T₂满足下列公式：x²+z²＝l²

S3：联立S1,S2方程，求解得T1，T2坐标值

利用旋转坐标系的公式P′＝R^TP+T将这两个点转换至对应摄像机坐标系中。

分别对三个摄像机进行切点计算，坐标系转换，可以得到在摄像机坐标系下关于计算重叠区域四个点的坐标。

约定每个相机计算重叠区域时，保留左手边，去除右手边，每个摄像机只计算一半重叠区域。

图7示出了本发明一个实施例的玉米果穗三维表型检测系统的结构示意图。

该玉米果穗三维表型检测系统包括：

图像采集单元71，用于采集玉米果穗掉落前以及玉米果穗掉落时的图像，还用于采集玉米果穗三幅不同角度的图像；

所述图像采集单元包括三台摄像机，所述三台摄像机处于相同水平面，且互成120度角；

摄像机标定单元72，用于标定所述三台摄像机之间的空间位置关系；

正三角测量模型构建单元73，用于利用所述摄像机之间的空间位置关系构建正三角测量模型，构建正三角测量模型，获取玉米果穗中心轴的中心点及任意四分点的深度信息；

轮廓获取单元74，用于获取玉米果穗轮廓；

位置信息获取单元75，根据所述玉米果穗轮廓及通过正三角测量模型获得的玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

三维信息获取单元76，用于去除玉米果穗三幅不同角度的图像的重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的位置关系为两两摄像机之间的平移矩阵和旋转矩阵。

本发明通过互成120度角同一水平面的三个摄像机获取竖直掉落玉米果穗全方位的三视图像，建立以此为基础的正三角测量模型。本发明可以根据正三角测量模型计算深度信息并进行空间定位，去除拍摄的重叠区域，从而快速获取果穗三维表型信息，可以满足高通量考种要求，为实现无损测量玉米果穗的穗行数、行粒数、穗粒数等常见性状参数提供了基础。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种玉米果穗三维表型检测方法，其特征在于，包括：

S1：标定三台摄像机之间的空间位置关系；

S2：获取玉米果穗轮廓；

S3：利用所述三台摄像机采集玉米果穗三幅不同角度的图像，利用所述三台摄像机之间的空间位置关系构建正三角测量模型；

S4：根据所述正三角测量模型获得所述玉米果穗中心轴的中心点及任意四分点的深度信息，根据所述玉米果穗轮廓及所述玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

S5：根据所述玉米果穗在三台摄像机坐标系中的位置信息获取所述玉米果穗三幅不同角度的图像的重叠区域，去除所述重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的空间位置关系为两两摄像机之间的平移矩阵和旋转矩阵；

所述三台摄像机处于相同水平面，且互成120度角。

2.根据权利要求1所述的玉米果穗三维表型检测方法，其特征在于，所述标定三台摄像机之间的空间位置关系，包括：

S11：对三台摄像机利用张正友标定法获取所述三台摄像机各自的内参矩阵和外参矩阵；

S12：根据所述三台摄像机各自的内参矩阵和外参矩阵获取两两摄像机之间的平移矩阵和旋转矩阵，得到三台摄像机之间的空间位置关系。

3.根据权利要求2所述的玉米果穗三维表型检测方法，其特征在于，所述得到三台摄像机之间的空间位置关系，包括：

S121：根据所述三台摄像机各自的内部参数矩阵和外部参数矩阵，将指定点的物理坐标映射到任意两台摄像机坐标系中；

S122：获取指定点在所述两台摄像机坐标系下的变换公式；

S123：根据所述变换公式获取所述两台摄像机之间的平移矩阵和旋转矩阵；

S124：根据任意两台摄像机之间的平移矩阵和转换矩阵获取三台摄像机之间的空间位置关系。

4.根据权利要求1所述的玉米果穗三维表型检测方法，其特征在于，所述获取玉米果穗轮廓之后，还包括：

去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞。

5.根据权利要求1所述的玉米果穗三维表型检测方法，其特征在于，所述构建正三角测量模型包括：

S31：从三台摄像机中任意选取两台摄像机，联立指定点在第一摄像机坐标系的投影点与所述第一摄像机坐标系的原点的连线方程和指定点在第二摄像机坐标系投影点与所述第二摄像机坐标系的原点的连线的方程

$\left\{\begin{array}{c}P=t_l{P}_l\\ P=T+t_r(P_r^{\′}-T)\end{array}\right.,$

其中，所述第一摄像机坐标系为世界坐标系，P为空间中指定点的坐标，P_l为P点在第一摄像机投影平面的对应点，P_r为P点在第二摄像机投影平面的对应点，T为第一摄像机和第二摄像机之间的平移矩阵，为P_r点在世界坐标系的坐标，t_l和t_r为系数；

S32：解出系数t_l和t_r；

S33：将指定点的图像坐标系坐标转换为摄像机坐标系坐标，利用S32中的系数t_l和t_r求解指定点的深度信息。

6.根据权利要求1所述玉米果穗三维表型检测方法，其特征在于，所述获取玉米果穗轮廓，包括：

S21：利用所述三台摄像机采集玉米果穗掉落前及玉米果穗掉落时的图像，获取玉米果穗掉落前的图像和玉米果穗掉落时的图像中每个像素的欧式距离之差；

S22：比较两幅图像中每个像素的欧式距离之差与预定阈值的大小，若所述欧式距离之差大于所述预定阈值，则该像素为玉米果穗区域；

S23：将所述玉米果穗区域设为白色，将背景设为黑色。

7.根据权利要求1所述的玉米果穗三维表型检测方法，其特征在于，所述获取所述玉米果穗三幅不同角度的图像的重叠区域，包括：

分别获取所述三台摄像机与所述玉米果穗的横截面的切线，切点所形成的弧形为所述玉米果穗三幅不同角度的图像的重叠区域。

8.根据权利要求4所述的玉米果穗三维表型检测方法，其特征在于，所述去除所述玉米果穗轮廓图像的背景噪点，填充所述玉米果穗轮廓内的孔洞，包括：

将所述玉米轮廓图像中的背景设为黑色；

利用漫水填充算法将所述背景设为任意非黑非白的灰度；

将所述玉米轮廓图像中的黑色像素点换为白色；

利用漫水填充算法将所述背景换为黑色。

9.一种玉米果穗三维表型检测系统，其特征在于，包括：

图像采集单元，用于采集玉米果穗掉落前以及玉米果穗掉落时的图像，还用于采集玉米果穗三幅不同角度的图像；

所述图像采集单元包括三台摄像机，所述三台摄像机处于相同水平面，且互成120度角；

摄像机标定单元，用于标定所述三台摄像机之间的空间位置关系；

正三角测量模型构建单元，用于利用所述摄像机之间的空间位置关系构建正三角测量模型，构建正三角测量模型，获取玉米果穗中心轴的中心点及任意四分点的深度信息；

轮廓获取单元，用于获取玉米果穗轮廓；

位置信息获取单元，根据所述玉米果穗轮廓及通过正三角测量模型获得的玉米果穗中心轴的中心点及任意四分点的深度信息获取玉米果穗在三台摄像机坐标系中的位置信息；

三维信息获取单元，用于去除玉米果穗三幅不同角度的图像的重叠区域，获得三个不同角度的玉米果穗的三维表型信息；

其中，所述三台摄像机之间的位置关系为两两摄像机之间的平移矩阵和旋转矩阵。