CN112700488A - 基于图像拼接的活体长叶片叶面积分析方法、系统及装置 - Google Patents

Abstract

本发明公开一种基于图像拼接的活体长叶片叶面积分析方法，包括以下步骤：响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。测量精度高、方法简单、不损害叶片，便于携带，可以在室内外使用，抗干扰能力强。该发明得到的叶片结果为彩色图片，既保留了叶片特征，也方便后续对叶片虫损、病斑等特征的后续分析。

Description

基于图像拼接的活体长叶片叶面积分析方法、系统及装置

技术领域

本发明涉及叶片面积技术领域，尤其涉及一种基于图像拼接的活体长叶片叶面积分析方法、系统及装置。

背景技术

叶片是植物光合作用，进行营养吸收与转化的部位，其面积大小对作物生长发育、抗逆性及产量的影响很大，是遗传育种、作物栽培等方面研究经常考虑的内容，也是评价环境因子效应的重要生长指标。因此掌握植物叶片的生长规律，对于指导生产、指定高产优质高效栽培技术措施具有积极的意义。植物叶片几何参数主要包括面积、周长、叶长和叶宽等。目前，对于叶片面积测量方法的研究较多，传统方法主要有包括网格法、打孔称重法、相关系数测定法和回归方程法、剪纸称重法、图像像素法以及新型科技包括叶面积扫描仪等。传统的叶面积测量方法费工、耗时，测量步骤繁杂，对叶片有破坏性，对不规则的叶片测量误差较大。较先进的方法包括市场上现有的几款叶面积仪，它们测量精确度高、误差小、简单、方便。但是大部分叶面积仪主要是针对单叶片和较小的叶片，不适用玉米、水稻等较长的叶片；有些叶面积仪虽然可以测量长叶片，但是需要使用大型扫描仪，设备复杂，不便于操作，还要将叶片采摘下来，破坏叶片的生长；有些虽然方便携带，但是只是处理出黑白颜色的叶片，不能对叶片的虫损，病斑进行后续分析。

发明内容

本发明针对现有技术中的缺点，提供了一种基于图像拼接的活体长叶片叶面积分析方法、系统及装置。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种基于图像拼接的活体长叶片叶面积分析方法，包括以下步骤：

响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；

将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

作为一种可实施方式，所述对待分析的叶片图片进行分割，得到叶片的彩色分割图片，具体步骤包括：

对待分析的叶片照片进行白平衡处理并映射成灰度图；

基于灰度图做自适应阈值得到二值图，填充空洞并过滤较小的区域，得到第一图片；

基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片；

对两端前景色以及孔洞进行填充，得到除干扰后的二值图；

基于去除干扰的二值图及原始图片得到叶片的彩色分割图片。

作为一种可实施方式，所述基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片，具体步骤为：

通过种子填充算法计算第一图片中连通域的位置以及特征，根据连通域特征，去掉上下边缘的区域以及较小的区域，得到的二值图、连通域标记图以及连通域的特征数组。

根据所述二值图、连通域标记图以及连通域特征的数组去除阴影干扰区域，根据连通域内前景色和背景色灰度值的差距，去掉灰度值差别较大的阴影干扰区域，得到第二图片。

作为一种可实施方式，对所述二值图、标记图以及连通域特征的数组去除阴影干扰区域，具体步骤为：

采用OTSU方法得到所述二值图的背景灰度均值；

通过标记图以及连通域特征的数组获取每个连通域的灰度均值；

在获取每个连通域外接矩形内上下两侧背景的灰度均值；

进而计算临界灰度值limitV：limitV＝(mGlobal-mGMin)*0.5+mGMin,其中，mGMin＝min{mG[i]，i＝0，1，2，...}，其中，mGlobal为背景灰度均值，mG表示为各连通域灰度均值数组

作为一种可实施方式，所述根据前景色和背景色灰度值的差距，去掉灰度值差别较大的部分，得到去除干扰的二值图，具体步骤为：

去除不横跨前后边界的干扰背景区域，其中，前景灰度值大于临界灰度值，并且连通域没有横跨图像前后边缘；

去除叶片内部区域，其中，前景灰度值、上侧背景灰度值和下侧背景灰度值均小于临界灰度值，并且上侧灰度值和下侧灰度值与前景灰度值的差值均小于40；

去除有阴影时，造成的背景干扰，其中，上侧背景灰度值与下侧灰度值和前景灰度值的差值方向不一致，并且连通域的宽度小于图像的宽度；

去除横跨图像前后边界的阴影干扰，具体为：若横跨前后边界的连通域只有1个，并且背景上边界灰度值和背景下边界灰度值与前景灰度值的差值均小于50时，则去除前景和背景灰度均值差异较小的部分；

若横跨前后边界的连通域等于2个，则去掉连通域上下边界在图像边界的区域，根据连通域的背景灰度均值，判定是否是阴影干扰：若连通域的背景灰度均值大于临界灰度值，则两个连通域是独立的两个个体；当满足若连通域的上侧灰度值和下侧灰度值均大于临界灰度值，或者当前连通域的前景灰度值小于另一个前景灰度值，且当前前景灰度值小于临界灰度值中任意一条时，则当前连通域是叶片，否则当前连通域是阴影干扰，得到去除干扰的二值图。

作为一种可实施方式，所述将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片，具体步骤为：

分别对第一彩色分割图和第二彩色分割图进行预处理，将倾斜叶片图片纠正为水平放置的叶片图片，对纠正后的叶子图片分别进行二值化处理得到第一水平二值化图片和第二水平二值化图片；

基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点；

通过重复宽度以及边缘数组，计算第一彩色分割图和第二彩色分割图的旋转角度以及旋转中心；

基于旋转角度以及旋转中心计算仿射矩阵，基于仿射矩阵将第一彩色分割图和第一水平二值图做旋转处理得到新第一彩色分割图和新第一水平二值图；

分别对新第一水平二值图及第二水平二值化图片进行统计，得到每一张图片中每一列前景像素的个数并分别形成数组；

获取新第一彩色分割图与第二水平二值化图片对应的一维投影的差值和方差，基于差值数组和方差数组获取匹配宽度，基于匹配宽度得到第一水平二值化图片和第二水平二值化图片重复部分两端的中点，作为对应点；

基于对应点将第一彩色分割图和第二彩色分割图进行拼接，得到第一拼接彩色图片；

将水平放置的叶片图片重复部分做线性组合进行图像融合，并替换基于第一拼接彩色图片，得到拼接完整叶片图片。

作为一种可实施方式，所述基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点，具体步骤为：

分别提取第一水平二值化图片和第二水平二值化图片的外轮廓，以轮廓两端跨度范围为基准，分别获取第一水平二值化图片和第二水平二值化图片外轮廓的上下边缘数值；

将第一水平二值化图片从左向右平移，第二水平二值化图片从右向左平移，两图重复长度从0增加到图片宽度的过程中，获取第一水平二值化图片和第二水平二值化图片最可能的重复宽度，即对应于第二水平二值化图片的列匹配点。

作为一种可实施方式，还包括以下方法：

基于特定的背景板和标定板，获取标定板图片，其中，标定板为白色并且四个角分别设有黑色圆点，标定板放置在背景板的正中间；

对标定板图片进行预处理，得到预处理标定板图片；主要包括灰度化和滤波去噪处理。

对预处理标定板图片进行二值化处理，筛选出圆点并且记录位置；

基于圆点位置获取图像的像素尺寸，表示为:

其中，dP_i，i＝1，2，3，4表示为圆点组成四边形的像素距离，dA_i，i＝1，2，3，4表示为圆点围成的四条边的实际距离，pPMM表示为图像的像素尺寸。

作为一种可实施方式，所述通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，具体步骤包括：

获取拼接图，按照叶片轮廓上距离最远的两个点连成的直线方向调整叶片的方向；

对拼接图进行二值化处理并计算二值图的上边界序列与下边界序列，基于上下边界序列计算中心线并将中心线调整为叶片长度，将与叶片长度垂直的最大距离为叶片宽度；

统计二值图中前景色像素的个数作为叶片的像素面积，提取二值图的外轮廓，将外轮廓的长度作为叶片周长；

基于像素尺寸和叶片面积，则实际面积为：leafAreaActual＝pPMM*pPMM*leafAreaPixel，其中，leafAreaActual表示为实际面积，pPMM表示像素尺寸，leafAreaPixel表示为叶片像素面积，实际叶片周长、叶片长度和叶片宽度为：leafParamActual＝pPMM*leafParamPixel，进而得到形状因子和形状系数，其中，leafParamActual表示为叶片周长、长度、宽度实际参数，leafParamPixel表示为叶片周长、长度、宽度像素参数。

一种基于图像拼接的活体长叶片叶面积分析系统，包括响应分割模块、处理拼接模块和结果获得模块；

所述响应分割模块，响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；

所述处理拼接模块，用于将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

所述结果获得模块，用于通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

本发明由于采用了以上技术方案，具有显著的技术效果：

为了解决上述现有技术的不足，本文提出了一种基于图像拼接的长叶片活体叶面积测量方法，可以测量普通叶片和长叶片的叶片参数。它测量精度高、方法简单、不损害叶片，便于携带，可以在室内外使用，抗干扰能力强。该发明得到的叶片结果为彩色图片，既保留了叶片特征，也方便后续对叶片虫损、病斑等特征的后续分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程示意图；

图2是本发明方法的算法处理流程图；

图3是本发明标定图片的示意图；

图4是本发明中采集的待分析的图片；

图5是本发明多个叶片拼接结果示意图；

图6是本发明应用在安卓系统所显示的叶片分析结果；

图7是本发明的系统结构示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1：

一种基于图像拼接的活体长叶片叶面积分析方法，如图1所示，包括以下步骤：

S100、响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；S200、将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

S300、通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

在步骤S100中，所述对待分析的叶片图片进行分割，得到叶片的彩色分割图片，具体步骤包括：

对待分析的叶片照片进行白平衡处理并映射成灰度图；

基于灰度图做自适应阈值得到二值图，填充空洞并过滤较小的区域，得到第一图片；

基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片；

对两端前景色以及孔洞进行填充，得到除干扰后的二值图；

基于去除干扰的二值图及原始图片得到叶片的彩色分割图片。

在步骤所述基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片，具体步骤为：

通过种子填充算法计算第一图片中连通域的位置以及特征，根据连通域特征，去掉上下边缘的区域以及较小的区域，得到的二值图、连通域标记图以及连通域的特征数组。

根据所述二值图、连通域标记图以及连通域特征数组去除阴影干扰区域，主要根据连通域内前景色和背景色灰度值的差距，去掉灰度值差别较大的阴影干扰部分，得到第二图片。

而对所述根据二值图、连通域标记图以及连通域特征数组去除阴影干扰区域，具体步骤为：

采用OTSU方法得到所述二值图的背景灰度均值；

通过标记图以及连通域特征的数组获取每个连通域的灰度均值；

在获取每个连通域外接矩形内上下两侧背景的灰度均值；

进而计算临界灰度值limitV：limitV＝(mGlobal-mGMin)*0.5+mGMin,其中，mGMin＝min{mG[i]，i＝0，1，2，...}，其中，mGlobal为背景灰度均值，mG表示为各连通域灰度均值数组。

在一个实施例中，所述根据前景色和背景色灰度值的差距，去掉灰度值差别较大的部分，得到去除干扰的二值图，具体步骤为：

去除不横跨前后边界的干扰背景区域，其中，前景灰度值大于临界灰度值，并且连通域没有横跨图像前后边缘；

去除叶片内部区域，其中，前景灰度值、上侧背景灰度值和下侧背景灰度值均小于临界灰度值，并且上侧灰度值和下侧灰度值与前景灰度值的差值均小于40；

去除有阴影时，造成的背景干扰，其中，上侧背景灰度值与下侧灰度值和前景灰度值的差值方向不一致，并且连通域的宽度小于图像的宽度；

去除横跨图像前后边界的阴影干扰，具体为：若横跨前后边界的连通域只有1个，并且背景上边界灰度值和背景下边界灰度值与前景灰度值的差值均小于50时，则去除前景和背景灰度均值差异较小的部分；

若横跨前后边界的连通域等于2个，则去掉连通域上下边界在图像边界的区域，根据连通域的背景灰度均值，判定是否是阴影干扰：若连通域的背景灰度均值大于临界灰度值，则两个连通域是独立的两个个体；当满足若连通域的上侧灰度值和下侧灰度值均大于临界灰度值，或者当前连通域的前景灰度值小于另一个前景灰度值，且当前前景灰度值小于临界灰度值中任意一条时，则当前连通域是叶片，否则当前连通域是阴影干扰，得到去除干扰的二值图。

在一个实施例中，所述将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片，具体步骤为：

分别对第一彩色分割图和第二彩色分割图进行预处理，将倾斜叶片图片纠正为水平放置的叶片图片，对纠正后的叶子图片分别进行二值化处理得到第一水平二值化图片和第二水平二值化图片；

基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点；

通过重复宽度以及边缘数组，计算第一彩色分割图和第二彩色分割图的旋转角度以及旋转中心；

基于旋转角度以及旋转中心计算仿射矩阵，基于仿射矩阵将第一彩色分割图和第一水平二值图做旋转处理得到新第一彩色分割图和新第一水平二值图；

分别对新第一水平二值图及第二水平二值化图片进行统计，得到每一张图片中每一列前景像素的个数并分别形成数组；

获取新第一彩色分割图与第二水平二值化图片对应的一维投影的差值和方差，基于差值数组和方差数组获取匹配宽度，基于匹配宽度得到第一水平二值化图片和第二水平二值化图片重复部分两端的中点，作为对应点；

基于对应点将第一彩色分割图和第二彩色分割图进行拼接，得到第一拼接彩色图片；

将水平放置的叶片图片重复部分做线性组合进行图像融合，并替换基于第一拼接彩色图片，得到拼接完整叶片图片。

更进一步地，所述基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点，具体步骤为：

分别提取第一水平二值化图片和第二水平二值化图片的外轮廓，以轮廓两端跨度范围为基准，分别获取第一水平二值化图片和第二水平二值化图片外轮廓的上下边缘数值；

将第一水平二值化图片从左向右平移，第二水平二值化图片从右向左平移，两图重复长度从0增加到图片宽度的过程中，获取第一水平二值化图片和第二水平二值化图片最可能的重复宽度，即对应于第二水平二值化图片的列匹配点。

作为一种可实施方式，所述通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，具体步骤包括：

获取拼接图，按照叶片轮廓上距离最远的两个点连成的直线方向调整叶片的方向；

对拼接图进行二值化处理并计算二值图的上边界序列与下边界序列，基于上下边界序列计算中心线并将中心线调整为叶片长度，将与叶片长度垂直的最大距离为叶片宽度；

统计二值图中前景色像素的个数作为叶片的像素面积，提取二值图的外轮廓，将外轮廓的长度作为叶片周长；

基于像素尺寸和叶片像素面积，则实际面积为：leafAreaActual＝pPMM*pPMM*leafAreaPixel，其中，leafAreaActual表示为实际面积，pPMM表示像素尺寸，leafAreaPixel表示为叶片像素面积。实际叶片周长、叶片长度和叶片宽度为：leafParamActual＝pPMM*leafParamPixel，其中，leafParamActual表示为叶片周长、长度和宽度等实际参数，leafParamPixel表示为叶片周长、长度和宽度等像素参数。通过以上叶片参数，进而得到形状因子和形状系数。

在实际操作中，应用准备工作和本发明的方法，能够得到详细的处理过程，通过详细的处理过程可以得到最佳结果，详细的过程如下：

准备工作：首先，标定出背景板：

对背景板进行标定，计算出的像素比例参数需要保存后面使用，参见附图3所示。

选择特定背景板以及标定板并进行拍照取图，图像记录为img11，其中，背景板底色为白色，外部有一层透明磨砂塑料板可以覆盖；标定板底色为白色，四个角是直径为1cm的黑色圆点，标定板放置在背景板的正中间；图像获取装置通过支架固定在离背景板高度为12cm左右，拍摄有效范围大致在16x12cm，比如可以是手机，可以是照相机等；

对图img11进行预处理，主要包括灰度化和滤波去噪处理，其结果图记为img12；

获取处理后的图img12,对图img12进行自适应二值化，根据像素大小以及圆半径与面积的关系，筛选出圆点，记录下圆点的位置；

获取圆点位置，计算圆点围成的四条边的像素距离，记为dP_i，i＝1，2，3，4，记圆点围成的四条边的实际距离为dA_i，i＝1，2，3，4，图像的像素尺寸记为pPMM，则有：

另外，在获取图像时，需要满足：拍照时不能超出白色背景范围，光线较差或对结果精确度要求很高时需打开手机背光灯，照片要清晰，图像均为彩图。

其次，按照要求获取叶片图像：

在背景板上获得连续拍照的叶片图像，叶片摆放需要满足一定要求，以方便拼接，下面对获取叶片图像的过程进行详细说明：

将叶片放置到背景板上，使叶片上下边缘不超出背景板，将磨砂透明塑料板压在叶片上，拍照获取图像，记为图img21；

拉动叶片或图像获取装置，使前后图像至少有1/5重复，拍照获取图像，依次类推，直至将叶片全部采集到，这样就能得到待分析的叶片图片了。

以下是本发明方法的具体步骤：

基于获取到的叶片图片，对待分析的叶片图片进行分割，得到叶片的彩色分割图片：

获取图img21，对img21进行白平衡处理，将拍摄出的偏冷色调的背景进行调整。调整白平衡主要使用灰度世界法计算，先分别计算图像红、绿、蓝三通道的平均值，然后计算出各通道的增益系数，根据增益系数重新计算各个通道的像素值，构成新的图片img31。

获取结果图img31，结合RGB与HSV通道，按照自定义方式映射到灰度图img32。

(1)首先选择R、G、B通道中灰度均值最小的通道图像，记为imgMin。记imgMin，S第i个像素的灰度值为imgMin[i]、S[i]，记img321和img322是按照两种方式映射后的图像，img321和img322第i个像素的灰度值记为img321[i]和img322[i]，映射方式如下：

img321[i]＝imgMin[i]*0.5+S[i]*0.5

img322[i]＝imgMin[i]*0.5-S[i]*0.5

(2)分别求灰度图img321的最小值minV1和最大值maxV1，以及img322的最小值minV2和maxV2，则最终映射后的灰度图为：

img32[i]＝img321，若(maxV2-minV2)＜(maxV1-minV1)

img32[i]＝img322，若(maxV2-minV2)＞(maxV1-minV1)

获取结果图img32，对img32做自适应阈值求二值图，填充空洞，过滤较小的区域，记处理后的结果图为img33；

获取结果图img33，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域；

(1)通过种子填充算法计算图像img33中连通域的位置以及特征。根据连通域特征，去掉上下边缘的区域以及较小的区域，记得到的二值图为img341，连通域标记图为labellmg，以及连通域的特征数组为vecFeather。

(2)获取(1)中的二值图img341，连通域标记图labellmg以及连通域特征的数组vecFeaher，去除阴影干扰区域。具体做法为：

a)先通过OTSU方法计算img341背景的灰度均值，记为mGlobal；

b)通过标记图以及连通域特征的数组，计算每个连通域的灰度均值，保存在数组mG中；

c)计算每个连通域外接矩形内上下两侧背景的灰度均值。

d)计算临界灰度值limitV：limitV＝(mGlobal-mGMin)*0.5+mGMin，其中mGMin＝min{mG[i]，i＝0，1，2，...}；

(3)根据前景色和背景色灰度值的差距，去掉灰度值差别较大的部分，具体方法如下：

a)去除不横跨前后边界的干扰背景区域，相应的条件为：前景灰度值大于临界灰度值，并且连通域没有横跨图像前后边缘；

b)去除叶片内部区域，相应条件为：前景灰度值、上侧背景灰度值和下侧背景灰度值均小于临界灰度值，并且上侧灰度值和下侧灰度值与前景灰度值的差值均小于40；

c)去除有阴影时，造成的背景干扰，相应条件为：上侧背景灰度值与下侧灰度值和前景灰度值的差值方向不一致，并且连通域的宽度小于图像的宽度；

d)去除横跨图像前后边界的阴影干扰，相应条件为：

如果横跨前后边界的连通域只有1个：去除前景和背景灰度均值差异较小的部分，当背景上边界灰度值和背景下边界灰度值与前景灰度值的差值均小于50时；

如果横跨前后边界的连通域等于2个：首先去掉连通域上下边界在图像边界的区域，然后根据连通域的背景灰度均值，判定是否是阴影干扰。若连通域的背景灰度均值大于临界灰度值，说明两个连通域是独立的两个个体，其中一个是背景干扰。对于当前连通域，当满足下面其中一条时，则说明当前连通域是叶片，否则说明当前连通域是阴影干扰。即1)若连通域的上侧灰度值和下侧灰度值均大于临界灰度值，或者2)当前连通域的前景灰度值小于另一个前景灰度值，且当前前景灰度值小于临界灰度值；

如果横跨前后边界的连通域不少于3个，类似前面去干扰即可；

记去除干扰后的二值图结果为img34；

获取结果图img34，将图img34中两端前景色进行填充，孔洞进行填充，得到结果图img35；

获取二值图img35以及原始图img21，将图像img21与图像img35进行掩膜运算，得到彩色分割图img36。

将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片：

获取结果图img36，记前后两张图片分别为imgFront410和imgBack410，对前后两张图分别进行预处理，将倾斜叶片纠正为水平放置的叶片图片，记纠正后的叶子图片为imgeFront411和imageBack411，对imgFront411和imgBack411分别进行二值化得到imgFront41，imgBack41；

1)纠正倾斜叶片的方法为：计算叶片轮廓上距离最远的两个点连成的直线方向，按照直线方向对叶片进行方向调整；

获取二值图imgFront41，imgBack41，计算初始拼接宽度；

1)提取imgFront41和imgBack41二值图的外轮廓，以轮廓两端跨度范围为基准，计算外轮廓的上下边缘，保存在数组contour1Up、contour1Down、contour2Up以及contour2Down中；

2)考虑将imgFront41从左向右平移，imgBack41从右向左平移，两图重复长度从0增加到图片宽度的过程中，对外轮廓的上下边缘数组contour1Up和contour2Up以及contour1Down和contour2Down使用形状匹配，根据形状匹配得分之和最大的原则，计算imgFront41与imgBack41最可能的重复宽度，即对应于后图的列匹配点，记为matchCol；

获取重复宽度matchCol以及contour2Up、contour1Up、contour1Down和contour2Down，计算图imgFront41到imgBack41的旋转角度以及旋转中心：

1)计算数组contour2Up中横坐标为matchCol的点，作为旋转中心，记为ptRef；

2)计算重复部分contour1Up到contour2Up的旋转角度rotatedAngle1，以及contour1Down到contour2Down的旋转角度rotatedAngle2，根据两个旋转角计算新的旋转角度rotatedAngle，当两个角度方向相同，并且其中一个角度不大于另一个角度的两倍时，rotatedAngle＝(rotatedAngle1+rotatedAngle2)*0.5，否则rotatedAngle＝0；

获取旋转角度rotatedAngle以及旋转中心ptRef,根据旋转角度以及旋转中心，计算仿射矩阵Matrix。将彩色图imgFront40以及二值图imgFront41旋转得到新彩图imgFront42和新二值图imgFront43；

获取二值图imgFront43以及二值图imgBack41，统计二值图imgFront43、imgBack41每一列前景像素的个数，保存在数组vecNum1、vecNum2中；

获取数组vecNum1和vecNum2，考虑将图片imgFront42从左向右，imgBack41从右向左平移，两图片重叠宽度从零开始不断增大过程中，对应的一维投影的差值vecMMean和方差vecVari，记前图imgFront42的宽度为W1，后图imgBack41的宽度为W2，则

其中i∈[0，W2]。

获得差值数组vecMMean和方差数组vecVari，先通过一维数组筛选可能的重复宽度，统计满足vecMMean[i]以及vecVari[i]的极小值的重复宽度i，保存在数组vecMergeWidth中，然后对vecMergeWidth中每个值，截取二值图imgFront42与imgBack41对应的重复部分图像，分别记作imgFront48和imgBack48，将它们进行相减，得到imgFront48和imgBack48去除重叠之后的图像，记作img48，统计img48每一列前景像素的个数并计算它们的均值，记为meanLocal，作为评判匹配程度的依据；

记matchNuml＝vecMergeWidth[k]，numl＝W1-matchNuml-1，对于每个numl，拼接剩余宽度meanLocal占imgFront48对应前景宽度的比值记为ratio1，占imgBack48的比值记为ratio2，即有

ratio1＝meanLocal/vecNum1[ma tchNumI]

ratio2＝meanLocal/vecNum2[numI]

通过限制拼接宽度大于图像宽度的1/5，以及通过调参设置一维投影差值、方差、拼接剩余宽度、以及比值ratio1、ratio2的范围，选取满足条件的matchNuml，保存在数组vecMatchNum中，从数组vecMatchNum中选择满足vecMMean最小的值，记为matchNum2，将matchCol2作为适合的匹配宽度；

获得匹配宽度matchCol2，计算相应的vecPixelMean[i]，若大于20个像素，则说明拼接失败。否则，将它替代S4.2的matchCol，进行S4.3到S4.8，迭代两次得到matchCol4；

获得匹配宽度matchCol4以及imgFront40、imgBack40、imgFront41和imgBack41，计算二值图imgFront41和imgBack41重复部分两端的中点，作为对应点，此时前后两图像对应的列平移量和行平移量都可以计算出来。将图像imgFront40和imgBack40根据对应点进行平移拼接，使得重复宽度为matchCol4，记拼接结果图为imgMerge49；

获得拼接图imgMerge49，以及图imgFront411和imgBack411，将imgFront411和imgBack411的重复部分做线性组合进行图像融合，使得拼接效果更自然，替换拼接图imgMerge49的相应部分，得到结果图为imgMerge410。

通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种，具体步骤为：

获取拼接图imgMerge410，计算叶片轮廓上距离最远的两个点连成的直线方向，按照直线方向对叶片进行方向调整，记处理后的图像为imgMerge51；

对imgMerge51进行二值化得到imgMerge52，计算二值图的上边界序列、下边界序列，根据上下边界序列计算中心线，对中心线进行调整作为叶片长度，与叶片长度垂直的最大距离为叶片宽度，统计imgMerge52前景色像素的个数作为叶片的像素面积，提取imgMerge52的外轮廓，轮廓的长度作为叶片周长；

获取像素尺寸pPMM以及叶片面积leafArea，则实际面积可按照如下像素尺寸换算得到：leafAreaActual＝pPMM*pPMM*leafAreaPixel，其中，leafAreaActual表示为实际面积，pPMM表示像素尺寸，leafAreaPixel表示为叶片像素面积。实际叶片周长、叶片长度和叶片宽度可以根据下列换算得到：leafParamActual＝pPMM*leafParamPixel，其中，leafParamActual表示为叶片周长、长度和宽度等实际参数，leafParamPixel表示为叶片周长、长度和宽度等像素参数。最后可以根据相关公式计算相关系数、相关因子等参数。

实施例2：

一种基于图像拼接的活体长叶片叶面积分析系统，如图7所示，包括响应分割模块100、处理拼接模块200和结果获得模块300；

所述响应分割模块100，响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；

所述处理拼接模块200，用于将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

所述结果获得模块300，用于通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于图像拼接的活体长叶片叶面积分析方法，其特征在于，包括以下步骤：

响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；

将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

2.根据权利要求1所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述对待分析的叶片图片进行分割，得到叶片的彩色分割图片，具体步骤包括：

对待分析的叶片照片进行白平衡处理并映射成灰度图；

基于灰度图做自适应阈值得到二值图，填充空洞并过滤较小的区域，得到第一图片；

基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片；

对两端前景色以及孔洞进行填充，得到除干扰后的二值图；

基于去除干扰的二值图及原始图片得到叶片的彩色分割图片。

3.根据权利要求2所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述基于第一图片，通过种子填充算法计算连通域的位置以及特征，根据连通域外接矩形内前景色和背景色灰度值的差距，排除阴影干扰区域，得到第二图片，具体步骤为：

通过种子填充算法计算第一图片中连通域的位置以及特征，根据连通域特征，去掉上下边缘的区域以及较小的区域，得到的二值图、连通域标记图以及连通域的特征数组。

根据所述二值图、连通域标记图以及连通域特征的数组去除阴影干扰区域，根据连通域内前景色和背景色灰度值的差距，去掉灰度值差别较大的阴影干扰区域，得到第二图片。

4.根据权利要求3所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，对所述二值图、连通域标记图以及连通域特征的数组去除阴影干扰区域，具体步骤为：

采用OTSU方法得到所述二值图的背景灰度均值；

通过标记图以及连通域特征的数组获取每个连通域的灰度均值；

在获取每个连通域外接矩形内上下两侧背景的灰度均值；

进而计算临界灰度值limitV：limitV＝(mGlobal-mGMin)*0.5+mGMin,其中，mGMin＝min{mG[i]，i＝0，1，2，...}，其中，mGlobal为背景灰度均值，mG表示为各连通域灰度均值数组。

5.根据权利要求3所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述根据前景色和背景色灰度值的差距，去掉灰度值差别较大的部分，得到去除干扰的二值图，具体步骤为：

去除不横跨前后边界的干扰背景区域，其中，前景灰度值大于临界灰度值，并且连通域没有横跨图像前后边缘；

去除叶片内部区域，其中，前景灰度值、上侧背景灰度值和下侧背景灰度值均小于临界灰度值，并且上侧灰度值和下侧灰度值与前景灰度值的差值均小于40；

去除有阴影时，造成的背景干扰，其中，上侧背景灰度值与下侧灰度值和前景灰度值的差值方向不一致，并且连通域的宽度小于图像的宽度；

去除横跨图像前后边界的阴影干扰，具体为：若横跨前后边界的连通域只有1个，并且背景上边界灰度值和背景下边界灰度值与前景灰度值的差值均小于50时，则去除前景和背景灰度均值差异较小的部分；

若横跨前后边界的连通域等于2个，则去掉连通域上下边界在图像边界的区域，根据连通域的背景灰度均值，判定是否是阴影干扰：若连通域的背景灰度均值大于临界灰度值，则两个连通域是独立的两个个体；当满足若连通域的上侧灰度值和下侧灰度值均大于临界灰度值，或者当前连通域的前景灰度值小于另一个前景灰度值，且当前前景灰度值小于临界灰度值中任意一条时，则当前连通域是叶片，否则当前连通域是阴影干扰，得到去除干扰的二值图。

6.根据权利要求1所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片，具体步骤为：

分别对第一彩色分割图和第二彩色分割图进行预处理，将倾斜叶片图片纠正为水平放置的叶片图片，对纠正后的叶子图片分别进行二值化处理得到第一水平二值化图片和第二水平二值化图片；

基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点；

通过重复宽度以及边缘数组，计算第一彩色分割图和第二彩色分割图的旋转角度以及旋转中心；

基于旋转角度以及旋转中心计算仿射矩阵，基于仿射矩阵将第一彩色分割图和第一水平二值图做旋转处理得到新第一彩色分割图和新第一水平二值图；

分别对新第一水平二值图及第二水平二值化图片进行统计，得到每一张图片中每一列前景像素的个数并分别形成数组；

获取新第一彩色分割图与第二水平二值化图片对应的一维投影的差值和方差，基于差值数组和方差数组获取匹配宽度，基于匹配宽度得到第一水平二值化图片和第二水平二值化图片重复部分两端的中点，作为对应点；

基于对应点将第一彩色分割图和第二彩色分割图进行拼接，得到第一拼接彩色图片；

将水平放置的叶片图片重复部分做线性组合进行图像融合，并替换基于第一拼接彩色图片，得到拼接完整叶片图片。

7.根据权利要求6所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述基于第一水平二值化图片和第二水平二值化图片计算初始拼接宽度，得到对应于彩色分割图的列匹配点，具体步骤为：

分别提取第一水平二值化图片和第二水平二值化图片的外轮廓，以轮廓两端跨度范围为基准，分别获取第一水平二值化图片和第二水平二值化图片外轮廓的上下边缘数值；

将第一水平二值化图片从左向右平移，第二水平二值化图片从右向左平移，两图重复长度从0增加到图片宽度的过程中，获取第一水平二值化图片和第二水平二值化图片最可能的重复宽度，即对应于第二水平二值化图片的列匹配点。

8.根据权利要求1所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，还包括以下方法：

基于特定的背景板和标定板，获取标定板图片，其中，标定板为白色并且四个角分别设有黑色圆点，标定板放置在背景板的正中间；

对标定板图片进行预处理，得到预处理标定板图片；主要包括灰度化和滤波去噪处理。

对预处理标定板图片进行二值化处理，筛选出圆点并且记录位置；

基于圆点位置获取图像的像素尺寸，表示为:

其中，dP_i，i＝1，2，3，4表示为圆点组成四边形的像素距离，dA_i，i＝1，2，3，4表示为圆点围成的四条边的实际距离，pPMM表示为图像的像素尺寸。

9.根据权利要求1所述的基于图像拼接的活体长叶片叶面积分析方法，其特征在于，所述通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，具体步骤包括：

获取拼接图，按照叶片轮廓上距离最远的两个点连成的直线方向调整叶片放置的方向；

对拼接图进行二值化处理并计算二值图的上边界序列与下边界序列，基于上下边界序列计算中心线并将中心线调整为叶片长度，将与叶片长度垂直的最大距离为叶片宽度；

统计二值图中前景色像素的个数作为叶片的像素面积，提取二值图的外轮廓，将外轮廓的长度作为叶片周长；

基于像素尺寸和叶片面积，则实际面积为：leafAreaActual＝pPMM*pPMM*leafAreaPixel，其中，leafAreaActual表示为叶片实际面积，pPMM表示像素尺寸，leafAreaPixel表示为叶片像素面积，实际叶片周长、叶片长度和叶片宽度为：leafParamActual＝pPMM*leafParamPixel，其中leafParamActual表示为叶片周长、长度、宽度实际参数，leafParamPixel表示为叶片周长、长度、宽度像素参数，进而得到形状因子和形状系数。

10.一种基于图像拼接的活体长叶片叶面积分析系统，其特征在于，包括响应分割模块、处理拼接模块和结果获得模块；

所述响应分割模块，响应于接收到计算叶片面积的请求，对待分析的叶片图片进行分割，得到叶片的彩色分割图片，其中，待分析的叶片图片为相邻图像至少有不少于五分之一重复的叶片图片；

所述处理拼接模块，用于将叶片的所有彩色分割图片进行两两拼接处理，获得完整叶片图片；

所述结果获得模块，用于通过完整叶片图片得到叶子外轮廓，得到叶片的相关参数，其中，相关参数为叶片面积、叶片周长、叶片的长度和宽度、形状因子和形状系数中的一种或几种。

Images