CN109087241A - 一种农业作物图像数据无损采集方法 - Google Patents

Abstract

本发明公开一种农业作物图像数据无损采集方法，利用相机直接对田间的植物叶片进行拍摄，对拍摄的植物叶片图像进行预处理后通过后期对图像的自动校正。与现有技术相比，本发明采集农业作物图像数据时，不需要再将作物进行采摘，避免了对作物生长连续性的破坏。以往使用透视变换对图像进行失真校正时，需要手动输入顶点坐标，本发明采用四边形轮廓逼近后实现了对顶点坐标的自动检测。从而实现不需手动输入顶点坐标即可利用透视变换完成对自然环境下采集的植物叶片图像的失真校正。

Description

一种农业作物图像数据无损采集方法

技术领域

本发明涉图像数据信息采集与处理技术领域，具体说是一种农业作物图像数据无损采集方法。

背景技术

目前，在利用相机在自然环境中采集植物图像数据时，由于摄像系统不能完全地垂直于叶片拍摄，导致采集到的叶片图像发生非线性失真等问题，失真现象不消除，势必影响叶片区域特征的准确性。针对这个问题，人们往往采用的是将植物叶片进行采摘，然后放到暗箱中，进行集中拍摄采集。但大量的对植物叶片进行采摘，会破坏植物的生长连续性。现有技术通常使用透视变换对采集的图像进行失真校正，但是使用透视变换对图像进行失真校正时，需要手动输入顶点坐标，不能批量的处理失真图像数据，耗费人力和时间。

发明内容

本发明的目的是要解决现有技术中存在的不足，提出一种农业作物图像数据无损采集方法，利用相机直接对田间的植物叶片进行拍摄，对拍摄的植物叶片图像进行预处理后通过后期对图像的自动校正，达到无损采集的目的。

为了实现上述目的，本发明采用的技术方案是：

一种农业作物图像数据无损采集方法，利用相机直接对田间的植物叶片进行拍摄，对拍摄的植物叶片图像进行预处理后通过后期对图像的自动校正，具体步骤如下：

步骤一、将叶片摆放在模板上，所述模板为底板且其上画有矩形框，叶片摆放在矩形框内，然后用相机进行拍摄采集模板和植物叶片图像记为植物叶片模板图像，然后对植物叶片模板图像预处理，所述预处理是对植物叶片模板图像依次经过灰度化、高斯滤波、二值化处理，得到呈现出明显的黑白效果的图像；

步骤二、对预处理后的植物叶片模板图像进行轮廓查找，找出预处理后的植物叶片模板图像上的拟合成的四边形的的四个顶点坐标；

步骤三、将步骤二找到的四个顶点坐标与植物叶片模板图像上的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片图像进行处理和几何校正，得到校正好的植物叶片图像。

进一步，所述步骤一中的灰度化处理的公式为：

f(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3，即在RGB模型中，令R＝G＝B，则彩色表示一种灰度颜色，将彩色图像中的三分量亮度求平均得到灰度值。

进一步，所述步骤一中的高斯滤波的具体操作是：使用5×5的高斯滤波器模板，以模板的中心位置为坐标原点进行取样，对高斯函数进行离散化，将模板在各个位置的坐标带入到高斯函数中，其中x轴水平向右，y轴竖直向下，以离散点上的高斯函数值为权值，对灰度化的图像的每个像素点做邻域内的加权平均，从而消除高斯噪声。

进一步，所述步骤一中二值化的具体操作是：将所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

进一步，所述步骤二中的轮廓查找的具体步骤为：

1)首先对与处理好的二值图像按从上到下，从左到右的顺序搜索，找到的第一个前景点一定是最左上方的边界点，标记为A；右，右下，下，左下四个邻点中至少有一个是边界点，标记为B；从B开始搜索，按右，右下，下，左下，左，左上，上，右上的顺序找相邻点中的边界点C；如果C和A点重合，则表明已经转了一个圆周，程序结束；否则从C点继续搜索，直到找到A为止；然后筛选出最大轮廓，检测找到的每个点的上下左右四个邻居都是不是前景点，若都是前景点则不是边界点，否则是边界点；

2)然后利用四边形轮廓逼近对筛选出来的最大轮廓的最外层进行逼近，拟合成四边形，对筛选出的最大轮廓中各线段的首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；比较该距离与预先给定的阈值的大小，如果小于阈值，则该直线段作为曲线的近似，该段曲线处理完毕；如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段曲线进行上述处理；通过不断寻找四边形最远的点加入，然后对其进行直线拟合，当所有曲线都处理完毕时，依次连接各个分割点形成的折线，接着循环遍历连接好的多边形，检测多边形点数是否为4，若点数为4则完成拟合，否则则阈值+1，对新形成的多边形继续进行上述操作，直到最短距离小于指定的精度，拟合成新的四边形为止；

3)将拟合成的四边形的所有坐标进行循环遍历，从而找到拟合成的四边形的四个顶点坐标。

进一步，所述步骤三中的透视变换的具体步骤如下：

将步骤三中找到的四个顶点坐标与植物叶片模板图像中的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片模板图像进行处理和几何校正：

令u,v是原始植物叶片模板图像坐标，x,y是对应透视变换后的图片坐标；将检测到的四对顶点分别带入到u,v和x,y中；根据透视变换公式：

其中x＝x′/w′，y＝y′/w′，为代表线性变换中的旋转矩阵，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T用于产生透视变换；将四对(u，v)(x，y)分别带入透视变换公式，得到联立方程组：

根据方程组求出该图像的变换矩阵，再利用该变换矩阵对原始图像上所有的点进行透视变换，即得到校正好的植物叶片图像。

与现有技术相比，本发明具有以下有益效果：

1.采集农业作物图像数据时，不需要再将作物进行采摘，避免了对作物生长连续性的破坏。

2.以往使用透视变换对图像进行失真校正时，需要手动输入顶点坐标，本发明采用四边形轮廓逼近后实现了对顶点坐标的自动检测。从而实现不需手动输入顶点坐标即可利用透视变换完成对自然环境下采集的植物叶片图像的失真校正。

附图说明

图1为发明的灰度化图。

图2为发明的二值化图。

图3为发明的轮廓检测图。

图4为发明的最外层轮廓图。

图5为发明的四边形轮廓逼近图。

图6为发明的实现变换后的效果图。

图7为本实施例一片植物叶片的自动校正前后对比图；(a)为原始植物叶片的图像，(b)为自动校正后的植物叶片的图像。

图8为本实施例另一片植物叶片的自动校正前后对比图；(a)为原始植物叶片的图像，(b)为自动校正后的植物叶片的图像。

图9为本实施例第三片植物叶片的自动校正前后对比图；(a)为原始植物叶片的图像，(b)为自动校正后的植物叶片的图像。

具体实施方案

下面结合附图及实施例对本发明进一步详细说明。

参照图1-图6，本实施例的一种农业作物图像数据无损采集方法，利用相机直接对田间的植物叶片进行拍摄，对拍摄的植物叶片图像进行预处理后通过后期对图像的自动校正，具体步骤如下：

步骤一、将叶片摆放在模板上，所述模板为底板且其上画有矩形框，叶片摆放在矩形框内，然后用相机进行拍摄采集模板和植物叶片图像记为植物叶片模板图像如图1所示，然后对植物叶片模板图像预处理，所述预处理是对植物叶片模板图像依次经过灰度化、高斯滤波、二值化处理，得到呈现出明显的黑白效果的图像如图2所示；

本实施例中，所述步骤一中的灰度化处理的公式为：

f(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3，即在RGB模型中，令R＝G＝B，则彩色表示一种灰度颜色，将彩色图像中的三分量亮度求平均得到灰度值。

本实施例中，所述步骤一中的高斯滤波的具体操作是：使用5×5的高斯滤波器模板，以模板的中心位置为坐标原点进行取样，对高斯函数进行离散化，将模板在各个位置的坐标带入到高斯函数中，其中x轴水平向右，y轴竖直向下，以离散点上的高斯函数值为权值，对灰度化的图像的每个像素点做邻域内的加权平均，从而消除高斯噪声。

本实施例中，所述步骤一中二值化的具体操作是：将所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

步骤二、对预处理后的植物叶片模板图像进行轮廓查找，找出预处理后的植物叶片模板图像上的拟合成的四边形的的四个顶点坐标；

轮廓查找的具体步骤为：

1)首先对与处理好的二值图像按从上到下，从左到右的顺序搜索，找到的第一个前景点一定是最左上方的边界点，标记为A；右，右下，下，左下四个邻点中至少有一个是边界点，标记为B；从B开始搜索，按右，右下，下，左下，左，左上，上，右上的顺序找相邻点中的边界点C；如果C和A点重合，则表明已经转了一个圆周，程序结束；否则从C点继续搜索，直到找到A为止，如图3所示；然后筛选出最大轮廓，检测找到的每个点的上下左右四个邻居都是不是前景点，若都是前景点则不是边界点，否则是边界点，如图4所示；

2)然后利用四边形轮廓逼近对筛选出来的最大轮廓的最外层进行逼近，拟合成四边形，对筛选出的最大轮廓中各线段的首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；比较该距离与预先给定的阈值的大小，如果小于阈值，则该直线段作为曲线的近似，该段曲线处理完毕；如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段曲线进行上述处理；通过不断寻找四边形最远的点加入，然后对其进行直线拟合，当所有曲线都处理完毕时，依次连接各个分割点形成的折线，接着循环遍历连接好的多边形，检测多边形点数是否为4，若点数为4则完成拟合，否则则阈值+1，对新形成的多边形继续进行上述操作，直到最短距离小于指定的精度，拟合成新的四边形为止；

3)如图5所示，将拟合成的四边形的所有坐标进行循环遍历，从而找到拟合成的四边形的四个顶点坐标。

步骤三、将步骤二找到的四个顶点坐标与植物叶片模板图像上的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片图像进行处理和几何校正，得到校正好的植物叶片图像。

其中，透视变换的具体步骤如下：

将步骤三中找到的四个顶点坐标与植物叶片模板图像中的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片模板图像进行处理和几何校正：

令u,v是原始植物叶片模板图像坐标，x,y是对应透视变换后的图片坐标；将检测到的四对顶点分别带入到u,v和x,y中；根据透视变换公式：

其中x＝x′/w′，y＝y′/w′，为代表线性变换中的旋转矩阵，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T用于产生透视变换；将四对(u，v)(x，y)分别带入透视变换公式，得到联立方程组：

根据方程组求出该图像的变换矩阵，再利用该变换矩阵对原始图像上所有的点进行透视变换，即得到校正好的植物叶片图像如图6所示。解决植物叶片进行图像采集时出现的非线性失真问题，对自然环境中采集到的植物叶片图像进行矫正，实现无损采集。

对植物叶片进行拍摄后，利用上述实施例的矫正方法直接进行自动矫正，如图7、图8、图9为使用本发明对不同植物叶片图像自动矫正后的效果图，从图7-9中可以看出，自动矫正率非常之高，也说明了本发明的可行性。

Claims (6)

1.一种农业作物图像数据无损采集方法，其特征在于：利用相机直接对田间的植物叶片进行拍摄，对拍摄的植物叶片图像进行预处理后通过后期对图像的自动校正，具体步骤如下：

步骤一、将叶片摆放在模板上，所述模板为底板且其上画有矩形框，叶片摆放在矩形框内，然后用相机进行拍摄采集模板和植物叶片图像记为植物叶片模板图像，然后对植物叶片模板图像预处理，所述预处理是对植物叶片模板图像依次经过灰度化、高斯滤波、二值化处理，得到呈现出明显的黑白效果的图像；

步骤二、对预处理后的植物叶片模板图像进行轮廓查找，找出预处理后的植物叶片模板图像上的拟合成的四边形的的四个顶点坐标；

步骤三、将步骤二找到的四个顶点坐标与植物叶片模板图像上的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片图像进行处理和几何校正，得到校正好的植物叶片图像。

2.根据权利要求1所述的农业作物图像数据无损采集方法，其特征在于：所述步骤一中的灰度化处理的公式为：f(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3，即在RGB模型中，令R＝G＝B，则彩色表示一种灰度颜色，将彩色图像中的三分量亮度求平均得到灰度值。

3.根据权利要求1所述的农业作物图像数据无损采集方法，其特征在于：所述步骤一中的高斯滤波的具体操作是：使用5×5的高斯滤波器模板，以模板的中心位置为坐标原点进行取样，对高斯函数进行离散化，将模板在各个位置的坐标带入到高斯函数中，其中x轴水平向右，y轴竖直向下，以离散点上的高斯函数值为权值，对灰度化的图像的每个像素点做邻域内的加权平均，从而消除高斯噪声。

4.根据权利要求1所述的农业作物图像数据无损采集方法，其特征在于：所述步骤一中二值化的具体操作是：将所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

5.根据权利要求1所述的农业作物图像数据无损采集方法，其特征在于：所述步骤二中的轮廓查找的具体步骤为：

1)首先对与处理好的二值图像按从上到下，从左到右的顺序搜索，找到的第一个前景点一定是最左上方的边界点，标记为A；右，右下，下，左下四个邻点中至少有一个是边界点，标记为B；从B开始搜索，按右，右下，下，左下，左，左上，上，右上的顺序找相邻点中的边界点C；如果C和A点重合，则表明已经转了一个圆周，程序结束；否则从C点继续搜索，直到找到A为止；然后筛选出最大轮廓，检测找到的每个点的上下左右四个邻居都是不是前景点，若都是前景点则不是边界点，否则是边界点；

2)然后利用四边形轮廓逼近对筛选出来的最大轮廓的最外层进行逼近，拟合成四边形，对筛选出的最大轮廓中各线段的首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；比较该距离与预先给定的阈值的大小，如果小于阈值，则该直线段作为曲线的近似，该段曲线处理完毕；如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段曲线进行上述处理；通过不断寻找四边形最远的点加入，然后对其进行直线拟合，当所有曲线都处理完毕时，依次连接各个分割点形成的折线，接着循环遍历连接好的多边形，检测多边形点数是否为4，若点数为4则完成拟合，否则则阈值+1，对新形成的多边形继续进行上述操作，直到最短距离小于指定的精度，拟合成新的四边形为止；

3)将拟合成的四边形的所有坐标进行循环遍历，从而找到拟合成的四边形的四个顶点坐标。

6.根据权利要求1所述的农业作物图像数据无损采集方法，其特征在于：所述步骤三中的透视变换的具体步骤如下：

将步骤三中找到的四个顶点坐标与植物叶片模板图像中的四个顶点坐标进行匹配，根据四对顶点坐标，利用透视变换算法对采集到的植物叶片模板图像进行处理和几何校正：

令u,v是原始植物叶片模板图像坐标，x,y是对应透视变换后的图片坐标；将检测到的四对顶点分别带入到u,v和x,y中；根据透视变换公式：

其中x＝x′/w′，y＝y′/w′，为代表线性变换中的旋转矩阵，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T用于产生透视变换；将四对(u，v)(x，y)分别带入透视变换公式，得到联立方程组：

根据方程组求出该图像的变换矩阵，再利用该变换矩阵对原始图像上所有的点进行透视变换，即得到校正好的植物叶片图像。