CN110689022A - 基于叶片匹配的各株作物图像提取方法 - Google Patents

Abstract

本发明公开的基于叶片匹配的各株作物图像提取方法，包括以下顺序的步骤：S1、对采集的图像去除背景中的土壤和杂草背景，获得作物叶片图像；在此基础上，采用叶片距离将各图中各株作物叶片图像分离；对于单株作物可能会在不同图幅中重复出现的问题，采用基于图像拼接的方法实现图片匹配，获得各株作物在不同图幅中的列表；S2、对每株作物，通过匹配关系提取各株作物图像，统计作物株数。本发明以按行连续移动相机采集的图像为研究对象，提出了基于叶片匹配从近地面高清作物图像中提取各株作物图像方法。

Description

基于叶片匹配的各株作物图像提取方法

技术领域

本发明涉及作物生长状态的分析领域，特别涉及基于叶片匹配的各株作物 图像提取方法。

背景技术

随着图像获取技术发展，当前人们已经能够采用车载摄像头、无人机影像、 卫星影像等方法大范围地采集作物图像信息。作物图像中各株图像的提取对作 物生长状态的分析有着重要意义。通过各株作物图像提取人们可以逐一分析各 株作物图像，获得株高、植株数量、出苗率、种植密度、行距与株距分布等信 息，为后续的基于作物图像的长势与病虫害评估、作物机械播种效果评估、单 株产量计算、作物选种、育种评估、产量评估分析提供依据。

目前，关于各株图像的提取研究较为罕见，与之相关的基于图像的植株数 量的识别方面已经有了一定进展，并在某些条件下获得了较好的效果。赵必权 等(Zhao,et al.,2017)采用无人机采集油菜遥感影像，并用回归分析方法建 立油菜株数与其外接矩形长宽比、像素分布密度以及周长栅格数的线性关系。 刘帅兵等(Liu,et al.,2018)先采用彩色分割去除背景，然后在提取骨架的基 础上检测图像角点，以角点个数作为田间玉米株数。Friederike

和 Urs Schmidhalter(Friederike,&Urs Schmidhalter,2017)用无人机采集玉 米视频图像，通过对图像彩色空间的阈值分割的方法获得玉米苗数量，与人工 计数的相关系数达到0.89。Xiuliang Jin等(Xiuliang,et al.,2017)用无人 机采集小麦图像，采用颜色分割法去除小麦背景图像，并用支持向量机识别前 景目标估计作物密度状况。贾洪雷等(Jia,et al.,2017)将图像采集装置安装 在玉米收获机上采集玉米收割后的留高茬地块视频，采用玉米秸秆断面的近圆 形识别方法识别玉米秸秆断面，从而得到玉米植株总数。

目前的研究成果大多用安装在无人机或农机摄像头采集作物图像，并用作 物图像特征建立与植株数量之间关系估计作物株数。主要的研究目的还是基于 较为宏观的信息分析，如出苗率、叶面积指数等。近年来，对作物图像分析的 研究有大量的研究成果。当前对于作物图像模型(Ping,et al.,2007；Long,et al.,2006)，各叶片识别与分割(Long,et al.,2006；Chin-Hung,Yi-Ting,& Yung-Sheng,2011；2017；Chunlei,et al.,2015a；Wang,et al.,2013； Cerutti,et al.,2013；Chunlei,et al.,2013b；Liankuan,et al.,2016b), 基于作物表型的叶片分析(Gautier,Olivier,&Paul-Hunry,2017； Jean-Michel,&Christian,2015),作物病虫害识别(Ming-Ming,2013；Bruno, el al.,2016；Jaime,et al.,2011；Chunlei,et al.,2015c)等研究成果 大多基于近距离高清的作物图像。由于远距离采集的图像难以获得高清的纹理、 叶片中病害的病斑、虫害等精细信息。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供基于叶片匹配的各株 作物图像提取方法，该方法以按行连续移动相机采集的图像为研究对象，提出 了基于叶片匹配从近地面高清作物图像中提取各株作物图像方法。

本发明的目的通过以下的技术方案实现：

基于叶片匹配的各株作物图像提取方法，包括以下顺序的步骤：

S1、对采集的图像去除背景中的土壤和杂草背景，获得作物叶片图像；在 此基础上，采用叶片距离将各图中各株作物叶片图像分离；

对于单株作物可能会在不同图幅中重复出现的问题，采用基于图像拼接的 方法实现图片匹配，获得各株作物在不同图幅中的列表；

S2、对每株作物，通过匹配关系提取各株作物图像，统计作物株数。

步骤S1中，所述对采集的图像去除背景中的土壤和杂草背景，具体为：

首先通过颜色分割去除非绿色部分，再通过光滑度去除杂草和噪声，光滑 度的公式如下：

式中，D是一个9×9区域，p为图像某个像素，作为D的中心；ψ()为取彩 色图像灰度值函数；去除小区域噪声对象获得作物叶片图像。

步骤S1中，所述采用叶片距离将各图中各株作物叶片图像分离，具体为：

设置距离门限，若叶片距离小于门限的叶片被认为属于同一株作物，否则 被认为属于不同株作物；由于希望后续分析整株作物状况，若图像中采集到某 株作物的部分图像，这部分图像将会被删除；通过叶片距离的分类处理与边界 图像消除，将图像中的各株叶片图像进行分离，代表作物图像的分离。

步骤S1中，所述采用基于图像拼接的方法实现图片匹配，获得各株作物在 不同图幅中的列表，具体为：

首先，随机地移动摄像头沿作物行采集作物图像，在检测同株作物时，只 需要进行相邻图幅中是否有同株作物，而不必将所有作物图像都进行匹配；

然后，通过以下步骤实现各作物的识别与株数的计数：

步骤1：统计第一幅图像的株数为Nplant；

步骤2：从第二副图开始，对图中每一株作物，与前一幅图中各株作物匹配 检测是否是同一株作物；若有一株作物匹配成功，则Nplant不变；若前一幅图 没有一株作物与其匹配，则说明这株作物是新作物图像，将Nplant加1；

步骤3：重复步骤2，直到最后一副作物图像；

由此可知，对每副作物图像，只需要与前一幅图像进行作物匹配，而不需 要对所有图像进行匹配；通过连续的前后图像中各株作物匹配的方法现实株图 像的个体识别与计数；

同株作物在两个不同图像中的匹配采用图像拼接技术实现；图像拼接就是 将数张有重叠部分的图像拼成一幅无缝的大型图像；将连续两张作物图像拼接 成一个图像，由于同株作物的图像属于重叠区域，所以拼接后，同株作物在前 后图幅的图像会拼接成一株图像；

图像拼接步骤如下：

(1)用SIFT特征描述符从两幅图像中筛选出配对特征点；

(2)对配对点采用RANSAC算法获得两幅图的单应性变换；

(3)建立一个全景空白画布；两幅图像朝画布进行投影变换；对两幅图像 的交叉区域，按照交叉融合的方法获得全景图像；

从拼接的过程看，同株作物在前后图幅的图像会朝着同一个地方映射，交 叉融合拼接成一个株作物图像；

采用如下算法进行单株图像匹配：

(1)将前后两幅图像采用Matthew Brown图像拼接方法进行拼接，同时根据 两个彩色图像充分多的匹配点获得两幅图像的两幅图的单应性变换；

(2)将前一副图像的各株图像按单应性变换朝空的全景空白画布投影，将后 一副图像的各株图像按单应性变换朝空的全景空白画布投影；

(3)计算前一副图像的各株投影变换结果图像的质心与后副图像的各株投影 结果图像的质心的欧式距离，若欧式距离小于阈值，则认为同一株匹配图像， 否则认为不同株图像。

所述步骤S1具体为：

通过作物叶片图像匹配，获得连续两幅作物图像中的匹配关系；图像的匹 配关系满足等价性质：

(1)自反性：a与a匹配；

(2)对称性：a与b匹配，则b与a也匹配；

(3)传递性：a与b匹配，b与c匹配，则a与c匹配；

将满足等价关系的集合进行划分获得各株图像划分，采用图的传递闭包工具 实现：

首先将各株作物叶片图像映射为从1开始的数字，建立一个图，每一株图 像用一个数字表示图的结点，以表1的匹配关系建立图的连接关系；计算传递 闭包图，通过图的查询获得各株图像的序列图；

在获得各株图像序列图的基础上，在每个序列集合中选择最靠近图像中心的 图像；计算各子图中作物图像的质心与图幅的中心距离，取距离最小的株图像， 并从对应的原始图像中将其区域分割出来；最终完成各株作物图像的提取。

本发明与现有技术相比，具有如下优点和有益效果：

本发明能够提取近距离采集的各株作物图像，就能够获得各株作物的高度、 叶片数量、叶片空间分布、分析叶片中的病虫害类型与程度等精细的信息，对 分析作物的生长状态具有重要价值。在大田中按行连续采集图像，一株作物可 能会出现在不同的图像中。

本发明首先分割图像中的叶面图像并使用叶片距离将图像中的各株叶面图 像分离出各株图像。将连续相邻的两幅图像进行图像拼接得到拼接变换，并将 各株图像按照得到的拼接变换与空图像做相应拼接变换获得株拼接变换图。求 出各株拼接变换图的叶片图像质心，并对相邻图像的前一幅图像的所有拼接变 换图的质心与后一副图像中的所有拼接变换图的质心进行距离比较。采用距离 门限的方法判断两株图像是否为同株作物在两副图像的影像。在此基础上，采 用传递闭包获得各株作物在多幅连续不同图像中的株图像集合，并用距离中心 最小的方法从各株集合中选择出最佳图像。用5种作物对所提出的方法进行了 实验。对作物株数与各株作物图像提取进行了验证。株数准确率达到了100％，提出的方法也成功地将各株图像精确地提取出来。同时，所提的方案也还显示 出具高效的计算效率。

附图说明

图1为本发明所述基于叶片匹配的各株作物图像提取方法的流程图。

图2为作物图像背景去除的对比图，包含(a)至(e)五组。

图3为各株作物叶片图像分离结果图，包含(a)至(e)五组。

图4(a)、(b)、(c)共同构成前后图像拼图及各株叶片图像相应变换图， 其中，图4(a)为前后图像彩色图像拼接图，图4(b)为前副图像各株作物投 影变换图，图4(c)为后副图像各株作物投影变换图。

图5为叶片匹配的传递闭包图。

图6为各株图像的分割结果图。

图7为株与株之间叶片图像距离较大的分割结果图。

图8为株与株之间叶片图像重叠的分割结果图。

图9为角度的变化的拼接图。

图10为角度的变化获得的各株作物图像图。

图11为摄像头一次覆盖多行作物示意图，包含(a)、(b)两个图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。

如图1，基于叶片匹配的各株作物图像提取方法，包括以下顺序的步骤：

S1、对采集的图像去除背景中的土壤和杂草背景，获得作物叶片图像；在 此基础上，采用叶片距离将各图中各株作物叶片图像分离；

对于单株作物可能会在不同图幅中重复出现的问题，采用基于图像拼接的 方法实现图片匹配，获得各株作物在不同图幅中的列表；

S2、对每株作物，通过匹配关系提取各株作物图像，统计作物株数。

本发明的图像采集于华南农业大学教学与实验基地于广东省良种推广总站 基地。试验采集了辣椒、菜心、番薯叶、玉米苗期或生长期的图像。由于用株 与株之间的叶片距离分离各株图像，因此株与株之间的叶片不能重叠，通常要 求连续两株作物叶片距离在10厘米以上。图像采集采用单反相机Cannon EOS 700D(分辨率为5184×3456)和Apple 7智能手机(分辨率为4032×3024)。拍摄 选择无风的天气进行，每次沿着作物行采集图像。对目标行，手持相机在其上 部让镜头朝下连续沿行移动拍摄。为了保证图像的清晰度，采集的高度距离作 物约20厘米到60厘米之间。动态采集图像采集时相机不需要小心地设置位置， 表现在以下几个方面：

(1)我们手持相机沿着行行走拍摄时，我们仅大体让相机沿着行作物拍摄， 相机的角度不必刻意保持一致，相邻两张照片采集时相机角度可以在一定角度 的变化(通常小于30度)。

(2)相机与作物距离约20-60厘米，在沿着行移动相机时相对于地面的距离 也不刻意保持一致，前后照片相较于地面可以相差数厘米。

(3)相机也不需要严格沿着作物行中心线移动，可以偏移中心线，只要目 标作物包含在采集照片的上下边界内。

(4)由于方案采用了拼接技术，为了保证拼接图像的进行，连续两张照片 需要有15％重叠部分。除此之外，沿着行采集图像时，采集图像的距离也不需 严格保持一致。

具体步骤如下：

1、去除背景

在图像分析中，通常首先去除背景，以消除背景的干扰，提高计算效率。 本专利希望通过背景去除删掉除叶片图像外的其它部分，在将叶片分类于不同 的植株。首先通过颜色分割去除非绿色部分(RGB的绿色通道值大于红色通道 与蓝色通道值)，再通过光滑度去除杂草和噪声。光滑度的公式如下：

D是一个9×9区域，p为图像某个像素，作为D的中心。ψ()为取彩色图像 灰度值函数。不同作物的光滑度不同，通常杂草的光滑度高于作物叶片的光滑 度。在此基础上，去除小区域噪声对象获得作物叶片图像。图2是连续采集的5 副图像，去除背景结果如图2所示。

2、各株作物图像分离

如图2所示，作物的枝茎光滑度差，经过背景去除后，作物图像不仅除图 像的土壤等背景，也会将枝茎删除掉，仅剩下叶片图像，且一些叶片处于分离 状态。株内作物的叶片之间虽然分离，但距离叫小，株间作物的叶片距离较远， 根据这一特点，设置距离门限(按作物不同株叶片的图像距离设置)。若叶片距 离小于门限的叶片被认为属于同一株作物，否则被认为属于不同株作物。由于 希望后续分析整株作物状况，若图像中采集到某株作物的部分图像(边界部分 含有的作物叶片图像)，这部分图像将会被删除。因为这株作物会呈现在其它图 像中，可以用其它图像分析此株作物。通过叶片距离的分类处理与边界图像消除，将图像中的各株叶片图像进行分离，代表作物图像的分离，结果如图3所 示。

3、作物叶片图像匹配与植株数量计数

连续采集的图像中，一株图像可能会在不同图像中出现。为了准确获得株 数、出苗率、叶面积指数等精细生长状态的信息，需要识别出重复的株图像。 图3是连续拍摄的5张图片。里面共有8株番茄图像。但实际上，只是3株番 茄呈现不同图像中，如表1所示。

表1同株作物在不同图像中的显示

株号	显示的图中编号
		1	a(1),b(1)
2	b(2),c(1),d(1),e(1)
		3	d(2),e(2)

从图3可以看出，因为通过相同的背景去除算法，虽然拍摄的角度不同， 但同株作物在不同图幅中的图像是相似的。为了反应实际采集状况，我们随机 地移动摄像头沿作物行采集作物图像，同株作物的图像存在如下特征：

(1)同株作物在不同图幅中的位置不同。摄像头拍摄虽然是沿着作物行移 动的，由于摄像头可能存在晃动、拍摄角度变化，同株作物在不同图幅中的位 置不同，变化规律也不同。

(2)同株作物可能出现在连续图号的不同图像中，不会出现在跳号的不同 图像中。如1号番茄出现在图a和图b两幅图中，图c没有出现，说明从图c 开始摄像头已经离开了1号番茄的采集范围，后面的图像也不会出现1号番茄。

根据如上两个特征，我们在检测同株作物时，只需要进行相邻图幅中是否 有同株作物，而不必将所有作物图像都进行匹配。我们设计了如下算法1实现 各作物的识别与株数的计数：

步骤1：统计第一幅图像的株数为Nplant；

步骤2：从第二副图开始，对图中每一株作物，与前一幅图中各株作物匹配 检测是否是同一株作物。若有一株作物匹配成功，则Nplant不变。若前一幅图 没有一株作物与其匹配，则说明这株作物是新作物图像，将Nplant加1；

步骤3：重复步骤2，直到最后一副作物图像。

从算法1可以看出，对每副作物图像，只需要与前一幅图像进行作物匹配， 而不需要对所有图像进行匹配。作物b(2)第一次出现在第二副图中，由于与第 一幅图没有匹配，看作新株作物，Nplant加1。在检测第三副图c图时，由于c(1) 与其匹配，所以Nplant不变。在检测第四副图d图时，由于d(1)与c(1)匹配， 对这株作物株数也不增加。同样e(1)与d(1)匹配，对这株作物株数也不增加。这 样同一株作物虽然出现在不同的图像中，但识别与计数只进行一次。

算法1中通过连续的前后图像中各株作物匹配的方法现实株图像的个体识 别与计数。同株作物在两个不同图像中的匹配采用图像拼接技术实现。图像拼 接就是将数张有重叠部分的图像拼成一幅无缝的大型图像。将连续两张作物图 像拼接成一个图像，由于同株作物的图像属于重叠区域，所以拼接后，同株作 物在前后图幅的图像会拼接成一株图像。图像拼接步骤简述如下：

(1)用SIFT特征描述符从两幅图像中筛选出配对特征点；

(2)对配对点采用RANSAC(Random Sample Consensus)算法获得两幅图 的单应性变换；

(3)建立一个全景空白画布。两幅图像朝画布进行投影变换。对两幅图像 的交叉区域，按照交叉融合的方法获得全景图像。

从拼接的过程看，同株作物在前后图幅的图像会朝着同一个地方映射，交 叉融合拼接成一个株作物图像。以图4为例，我们采用如下算法进行单株图像 匹配：

(1)将前后两幅图像采用Matthew Brown图像拼接方法进行拼接，如图4(a) 所示，同时根据两个彩色图像充分多的匹配点获得两幅图像的两幅图的单应性 变换；

(2)将前一副图像的各株图像按单应性变换朝空的全景空白画布投影，如图 (b)所示。将后一副图像的各株图像按单应性变换朝空的全景空白画布投影， 如图(c)所示。

(3)计算前一副图像的各株投影变换结果图像的质心与后副图像的各株投影 结果图像的质心的欧式距离，若欧式距离小于阈值，则认为同一株匹配图像， 否则认为不同株图像。

如图4(b)中的2号作物图像与图4(c)的1号作物是同一株作物。由于只对含 有一株作物图像做单应性变换，没有使用两幅图像做交叉融合变换，图像的亮 度有差异，但变换后的图像的形状与位置变化不大。图4(b)中的1号作物图像 与图4(c)的1号作物不是同一株作物，单应性变换后的图像形状与位置差异大。 本专利为了简化计算，仅采用质心中心欧式距离的方法判定是否为同株作物图 像。将行内连续两株作物正常距离的一半作为阈值。当变换后两个图像的质心 距离小于阈值时，认为是同一株作物图像，反之被认为是不同株作图的图像。

通过算法1获得作物图像的匹配关系如表2所示

表2作物叶片图像的匹配表

图3中5幅图像植株数量为8，现匹配5对，所以植株数量为3(8-5)，与 实际相符。

4、各株图像的提取

通过作物叶片图像匹配，可以获得连续两幅作物图像中的匹配关系。图像的 匹配关系满足等价性质：

(1)自反性：a与a匹配；

(2)对称性：a与b匹配，则b与a也匹配；

(3)传递性：a与b匹配，b与c匹配，则a与c匹配。

我们需要将满足等价关系的集合进行划分获得各株图像划分。本专利采用图 的传递闭包工具实现。首先将各株作物叶片图像映射为从1开始的数字，如表3 所示，

表3作物叶片图像的映射

建立一个图，每一株图像用一个数字表示图的结点，以表1的匹配关系建立 图的连接关系(双向图)。计算传递闭包图(采用matlab的transclosure函数)， 结果如图5所示，通过图的查询(采用matlab的successors函数)获得各株图 像的序列图。

在自动对焦采集图像时，居于图像中心的植物信息全面，且图像质量也较 好，因此在获得各株图像序列图的基础上，在每个序列集合中选择最靠近图像 中心的图像。计算各子图中作物图像的质心与图幅的中心距离，取距离最小的 株图像，并从对应的原始图像中将其区域分割出来(四周加上窄的边界)。如2 号作物，其显现在b(2),c(1),d(1),e(1)中，通过计算在c(1)中距离中心最近，所以 以c(1)为原始，在原始c中将其分割出来作为这株图像。最后各株图像的分割结 果如图6。

4、实验结果与分析

大田环境下采集作物图像较为复杂，一方面，作物在机械或与人工种植作 业时受到各种因素的影响、不同成长期叶片的成长、各种原因造成的某些植株 缺失(锄草误苗、病虫害等因素)等造成植株的相对位置、株间距离存在变化。 另一方面，无论用农机携带摄像头、推车携带摄像头还是人工手持摄像头，在 复杂田间行走采集作物图象时，不平的地形、机械震动与人的抖动都造成图像 采集前后相对位置的变化。因此在试验时，如第二部分所描述，手持相机沿着 作物行进行图像采集时不刻意保持相机恒定的高度、采集图像间隔距离等，以 反应实际的大田采集状况。

作为提取一个区域的各株图像的基础是将各图像中的各株图像分离开来。 本专利是以叶片作为媒体分离各株图像。以颜色分割与光滑度分割后，由于茎、 枝光滑度低，分割算法将删除这些部分使得有些叶片会处于分离状态。主要采 取叶片距离门限的方法将叶片归为不同株作物中。因此株叶片距离较大、株内 叶片距离较小时较容易将各株图像的分离。如图7所示，图像中株与株之间有 明显的距离，算法能够成功地将各株图像分割开来。而图8中，株与株之间有 叶片图像重叠的被看作一株作物，产生错误分离结果。

除了株与株之间粘连或距离过小不适宜本专利方法外，只要株与株之间有 明显距离得情况，我们提出得算法具有将强的鲁棒性。如图9所示，虽然有较 大的角度差，本专利的算法仍然可以成功分割出四副图像中的5株作物。

在株与株叶片满足存在间距的基础上，又对五种作物进行了10行的测试。 统计了各行作物采集的图像数、图像中总的作物株数，并对各行作物人工统计 株数与所提方案的检测株数进行比较，结果如表4所示，株数检测的正确率100％， 而且所有行的作物图像正确提取率也达到100％。

表4

需要指出的是，虽然所提方案主要针对单行进行的，但对于多行能够同时 覆盖在摄像头内的，只要叶片之间不粘连，所提方案也能够顺利进行。例如表4 的第10行(图11(a))与第10行(图11(b))，摄像头一次分别覆盖2行与3行， 株数检测与各株图像提出都达到100％。

由于所提出的方法的拼接只对相邻图像做拼接计算，并不需要将所有图像 拼接到一起，因此所以的方法所需的计算资源要求低，运算效率高。以表1第5 行为例，其是用相机Cannon采集的一行40幅图像。为了提高效率，先将图像 都缩放到原来的20％(分辨率为1037×692)。在处理器为Intel Core(TM)i5-6500 CPU内存为8G的计算机上，40副图像进行去背景、各株图像分离用时112.57 秒，39对相邻图像拼接用时83.6632秒。采用叶片距离进行相邻匹配计算用时 3.7482秒。生成闭包图并在闭包图中搜索各株作物在图像中的图号与株号用时 67.0965秒。分割处各株图像用时1.3056秒，整个过程约需4分28秒。

随着图像采集技术的发展，人们可以以较低成本按作物行顺序采集大范围 的作物图像。从近距离大范围采集的高清作物图像中提取各株作物图像对作物 的育种评估、机械种植效果评估、长势与病虫害分析、产量评估都有着重要价 值。为此本专利提出了以作物叶片图像匹配的方法提取按行顺序采集的作物图 像序列中的各株作物图像。首先以绿色分割与光滑度分割提取作物图像的叶片 图像，再以门限距离将图像中各株作物图像分离开来。前后图像中的各株图像 匹配采用了图像拼接，并以叶片图像质心距离门限作为匹配参数。本专利分析 了连续图像中各株图像之间的匹配特征，提出了采用传递闭包的方法解析各株 作物在各图幅中的标号。最终通过距中心最近原则提取出各株作物图像。本专利还通过一系列的试验验证提出方法的有效性。通过对辣椒、茄子、包菜等作 物的试验发现，本专利的算法具有以下特点：

(1)高正确性。若株与株之间的叶片距离小于株内叶片的空隙距离时，所 有试验图像的识别正确率都达到了100％，本专利算法具有较高的正确率。

(2)低复杂性。本专利提出的算法要求的计算资源要求较低。株图像匹配 采用的拼接算法仅基于前后图像的拼接，不必借助高运算能力的服务器进行整 个区域多图长时间拼接计算，仅用普通计算机即可实现。借助于株图像的匹配 闭包关系，可以便捷地获得各株图像。

由于本专利将各图像中各株图像的分离是采用叶片门限距离的方法，所以 若株与株叶片含有重贴区域，会被错误认为是一株作物，所以本专利方法仅适 合苗期与生长期株与株叶片距离较大情况。下一步，将研究依据如株头检测、 依据枝、茎空间分布识别定位各株作物方法，解决粘连作物的提取问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于叶片匹配的各株作物图像提取方法，其特征在于，包括以下顺序的步骤：

S1、对采集的图像去除背景中的土壤和杂草背景，获得作物叶片图像；在此基础上，采用叶片距离将各图中各株作物叶片图像分离；

对于单株作物可能会在不同图幅中重复出现的问题，采用基于图像拼接的方法实现图片匹配，获得各株作物在不同图幅中的列表；

S2、对每株作物，通过匹配关系提取各株作物图像，统计作物株数。

2.根据权利要求1所述基于叶片匹配的各株作物图像提取方法，其特征在于，步骤S1中，所述对采集的图像去除背景中的土壤和杂草背景，具体为：

首先通过颜色分割去除非绿色部分，再通过光滑度去除杂草和噪声，光滑度的公式如下：

式中，D是一个9×9区域，p为图像某个像素，作为D的中心；ψ()为取彩色图像灰度值函数；去除小区域噪声对象获得作物叶片图像。

3.根据权利要求1所述基于叶片匹配的各株作物图像提取方法，其特征在于，步骤S1中，所述采用叶片距离将各图中各株作物叶片图像分离，具体为：

设置距离门限，若叶片距离小于门限的叶片被认为属于同一株作物，否则被认为属于不同株作物；由于希望后续分析整株作物状况，若图像中采集到某株作物的部分图像，这部分图像将会被删除；通过叶片距离的分类处理与边界图像消除，将图像中的各株叶片图像进行分离，代表作物图像的分离。

4.根据权利要求1所述基于叶片匹配的各株作物图像提取方法，其特征在于，步骤S1中，所述采用基于图像拼接的方法实现图片匹配，获得各株作物在不同图幅中的列表，具体为：

首先，随机地移动摄像头沿作物行采集作物图像，在检测同株作物时，只需要进行相邻图幅中是否有同株作物，而不必将所有作物图像都进行匹配；

然后，通过以下步骤实现各作物的识别与株数的计数：

步骤1：统计第一幅图像的株数为Nplant；

步骤2：从第二副图开始，对图中每一株作物，与前一幅图中各株作物匹配检测是否是同一株作物；若有一株作物匹配成功，则Nplant不变；若前一幅图没有一株作物与其匹配，则说明这株作物是新作物图像，将Nplant加1；

步骤3：重复步骤2，直到最后一副作物图像；

由此可知，对每副作物图像，只需要与前一幅图像进行作物匹配，而不需要对所有图像进行匹配；通过连续的前后图像中各株作物匹配的方法现实株图像的个体识别与计数；

同株作物在两个不同图像中的匹配采用图像拼接技术实现；图像拼接就是将数张有重叠部分的图像拼成一幅无缝的大型图像；将连续两张作物图像拼接成一个图像，由于同株作物的图像属于重叠区域，所以拼接后，同株作物在前后图幅的图像会拼接成一株图像；

图像拼接步骤如下：

(1)用SIFT特征描述符从两幅图像中筛选出配对特征点；

(2)对配对点采用RANSAC算法获得两幅图的单应性变换；

(3)建立一个全景空白画布；两幅图像朝画布进行投影变换；对两幅图像的交叉区域，按照交叉融合的方法获得全景图像；

从拼接的过程看，同株作物在前后图幅的图像会朝着同一个地方映射，交叉融合拼接成一个株作物图像；

采用如下算法进行单株图像匹配：

(1)将前后两幅图像采用Matthew Brown图像拼接方法进行拼接，同时根据两个彩色图像充分多的匹配点获得两幅图像的两幅图的单应性变换；

(2)将前一副图像的各株图像按单应性变换朝空的全景空白画布投影，将后一副图像的各株图像按单应性变换朝空的全景空白画布投影；

(3)计算前一副图像的各株投影变换结果图像的质心与后副图像的各株投影结果图像的质心的欧式距离，若欧式距离小于阈值，则认为同一株匹配图像，否则认为不同株图像。

5.根据权利要求1所述基于叶片匹配的各株作物图像提取方法，其特征在于，所述步骤S1具体为：

通过作物叶片图像匹配，获得连续两幅作物图像中的匹配关系；图像的匹配关系满足等价性质：

(1)自反性：a与a匹配；

(2)对称性：a与b匹配，则b与a也匹配；

(3)传递性：a与b匹配，b与c匹配，则a与c匹配；

将满足等价关系的集合进行划分获得各株图像划分，采用图的传递闭包工具实现：

首先将各株作物叶片图像映射为从1开始的数字，建立一个图，每一株图像用一个数字表示图的结点，以表1的匹配关系建立图的连接关系；计算传递闭包图，通过图的查询获得各株图像的序列图；

在获得各株图像序列图的基础上，在每个序列集合中选择最靠近图像中心的图像；计算各子图中作物图像的质心与图幅的中心距离，取距离最小的株图像，并从对应的原始图像中将其区域分割出来；最终完成各株作物图像的提取。

Images