CN103778427A - 绿色作物特征提取方法以及农业机械视觉导航系统 - Google Patents

Abstract

本发明实施例公开了一种绿色作物特征提取方法以及一种农业机械视觉导航系统。该方法包括：获取包含有绿色作物像素的待识别图像；利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而提取绿色作物特征。通过本发明实施例提供的方案，采用了将GVFE和形态学开运算组合，实现了从彩色图像复杂土壤背景中实时提取绿色作物特征，从而可应用于农业机械视觉导航系统等对实时性要求较高的场合。

Description

绿色作物特征提取方法以及农业机械视觉导航系统

技术领域

本发明涉及图像处理与模式识别领域，尤其是涉及一种绿色作物特征提取方法以及农业机械视觉导航系统。

背景技术

目前在现代农业工程研究中，图像处理与模式识别方法得到了越来越广泛的应用。例如对于精细农业中的自动导航和作业、作物生态检测等，都需要对于所获取的相应彩色图像进行绿色作物识别，并相应地提取绿色作物特征，也即将绿色作物从非绿色的背景中分割出来，以便依据所提取出的绿色作物及其位姿信息进行进一步的精细农业自动化作业和管理、农业生态信息监测等应用处理。尤其对于农业机械自动视觉导航方面，在自然条件下作物生态环境的复杂性和土壤背景的复杂性都会影响绿色作物特征的实时图像提取。

采用彩色图像提取绿色作物特征的影响因素主要包括：土壤背景中的作物残留物（如干枯的根和茎等）、不同作物质材与土壤颜色的差异、交叠叶片的阴影、太阳光的入射角度、摄像头相对于作物叶片和太阳的角度，以及背景土壤的干湿等。目前虽然已经提出了一些绿色农作物的识别方法，然而对于复杂土壤背景中的绿色作物特征实时提取方法并没有令人满意的解决方案。

发明内容

为了解决上述问题，依据本发明的一个实施例，提供了一种绿色作物特征实时提取方法，包括：获取包含有绿色作物像素的待识别图像；利用绿色植物特征提取和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而提取绿色作物特征。

依据本发明的另一个实施例，提供了一种农业机械视觉导航系统，包括：获取装置，用于获取包含有绿色作物的待识别图像；提取装置，用于利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而实时地分割绿色作物图像。

通过本发明实施例提供的方案，采用了将GVFE和形态学开运算组合，实现了从彩色图像复杂土壤背景中实时提取绿色作物特征，从而可应用于农业机械视觉导航系统等对实时性要求较高的场合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以依据这些附图获得其他的附图。

图1示出了依据本发明实施例的绿色作物特征实时提取方法的示意性流程图；

图2分别示出了在复杂土壤环境下使用GVFE方法和使用本发明实施例的方法的效果对比图；以及

图3示出了依据本发明实施例的农业机械视觉导航系统的示意结构图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于彩色图像中的绿色作物特征的提取应用于农业机械视觉导航方面，已公开了一些依赖于阈值的算法，如归一化植物指数（normalized difference vegetation index，NDVI）、超绿（excess green index,ExG）、超绿减超红（excess green minus excess red,ExG-ExR）等，将图像灰度化后，采用自动阈值法将作物从非绿色的背景中分离，但是这些算法依赖于需要优化的阈值；若采用k均值聚类，则实时性较差，不能满足农业机械自动导航和作业的要求。另外，还有如采用mean shift和BP神经网络、mean shift和Fisher判别规则进行绿色作物的分割，但这些算法均比较复杂，不利于实时性要求较高的系统。尤其是由于实际应用中有较多的影响因素，且关系复杂，诸如照明变化、具有残留物的复杂的土壤背景、杂草和石头、阴影，以及干或湿的土壤背景等，在实际应用中使用现有的算法来进行绿色作物特征实时提取仍需进一步改进。

另外还公开了一种绿色植物特征提取（green vegetation feature extraction,GVFE）方法。该方法证明对于绿色作物特征提取具有一定效果，且耗时较低，这是基于以下事实：在绿色作物区域中，大多数图像像素分量中的绿色值比蓝色值和红色值更大。但是，在实际应用中，由于光照条件变化、复杂土壤背景等，非绿色作物像素中仍有一些与绿色作物具有相同特征的像素。光照条件变化例如来自于太阳照射角度变化、照相机相对于作物叶面和太阳的角度变化；复杂土壤背景包括作物根和茎的残留物、石头、阴影，以及土壤的干或湿等。这些情况导致进一步应用中的一些困难，例如机器视觉导航系统实时农作物行的识别、采用无线传感器网络进行农情信息实时检测、在线作物生长状态信息估计等。

为此，发明人注意到，形态学开运算（Morphological Opening,MO）是一种有效的工具，其可以在土壤背景中去除由于分散的杂草、光照变化或复杂土壤环境造成的噪声点或小的噪声区域，保留农作物的绿色像素信息，以克服自然田间中遇到的上述随机影响因素。

因此，依据本发明的实施例，提出了一种将GVFE和形态学开运算融合来提取绿色作物特征的方法（也可以称为GVFE-MO方法）。图1示出了所述方法的示意性流程图。可见，该方法包括：

步骤110、获取包含有绿色作物像素的待识别图像。该待识别图像可以是事先已经准备好的图像，或者可以是实时获取的图像。

作为例子，发明人在内蒙古大学计算机学院的实验场地中，在2011年6月7日，晴天，每秒均手动获取一组户外早期生长的玉米彩色数字图像作为试验图像A组。使用Aiguo照相机，包括10组，每组10幅图像，共100幅图像，分辨率为3648*2736，格式为jpg。数码相机的高度为1.2米，背景为典型的中国北方的干棕色红土壤，其中存在一些杂草，残留的枯干植物根和茎、石头以及阴影，且每组拍摄时，数码相机的位姿信息不同（对应于不同的光照条件）。在2011年6月4日下午从16:40至17:00，每秒手动获取另一组玉米地的彩色数字图像B组，使用Micro Vision摄像头（MV-VD030SC）。图像组B包括5组bmp格式的图像，每组10幅，共50幅图像，分辨率为480*640。摄像头的高度为1.3米，在棕色土壤中存在一些杂草，残留的枯干植物根和茎、石头以及阴影。两组图像中早期生长的玉米高度均不超过30cm，且每组拍摄时，数码相机的位姿信息不同（对应于不同的光照条件）。

步骤120、利用GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而提取绿色作物特征。

利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素具体包括：利用以下等式来提取所述待识别图像中的绿色作物像素：

$P_{\mathrm{pixel}}=\left\{p_i\right|g_{\mathrm{pi}}>r_{\mathrm{pi}}{\∩g}_{\mathrm{pi}}>b_{\mathrm{pi}},i=1...n,p_i\∈C_{\mathrm{RGB}}^3\}$

其中X_feature表示提取的绿色作物像素的集合，x_pi是待识别图像像素p_i的坐标，符号ο表示形态学开运算，b是形态学开运算的结构元素成分，P_pixel是RGB颜色空间C_RGB中的绿色作物图像像素集合，Z_image是像素坐标系，B_element是形态学开运算的结构元素，m为满足P_pixel集合所要求条件的绿色作物图像像素个数，n表示满足X_feature集合所要求条件的绿色作物图像像素的个数，它们的值不超过处理图像总像素个数。g_pi为处理像素p_i的绿色分量值，r_pi为处理像素p_i红色分量值，b_pi为处理像素p_i蓝色分量值，p_i为RGB颜色空间C_RGB中的处理图像像素。该公式的含义为满足P_pixel集合所要求的处理图像像素，再进一步要满足X_feature集合所要求条件的图像像素即为该处理图像所要提取的作物特征像素。

在上述GVFE-MO方法中，可以依据待识别图像中的噪声区域来确定形态学开运算的结构元素B_element的大小及其形状形式，并且可依据田间杂草的大小以及疏密程度来确定形态学开运算的结构元素的大小及其形状形式。例如在下面要描述的例子中，依据田间早期生长农作物杂草比较小，且稀疏，一般将结构元素大小选择为4或5，形状形式为盘形disk。在本发明的实施例中，可以使用Matlab 7.6中的函数strel来创建结构元素。当然本领域技术人员在本发明的教导下也可以采用其他合适的创建方法，如采用C语言或C++等，这里不再详细描述。

通过上述将GVFE和形态学开运算组合的方法（GVFE-MO方法），可融合绿色作物形态学信息和其像素的统计特征以提取绿色作物特征，实现了从彩色图像复杂土壤背景中提取绿色作物特征，从而可应用于农业机械视觉导航、农情信息检测中对实时性要求较高的场合。

为了进一步说明本发明实施例所提出的技术方案的技术效果，在图2中分别示出了在复杂土壤环境下使用GVFE方法和使用本发明提出的方法的效果对比图。其中需要识别的绿色作物使用方格阴影来标记。

其中第一行，即图2a）、2b）、2c）分别示出了在干土壤背景下的玉米作物图像、湿土壤背景下的玉米作物图像，以及在干土壤背景下的玉米作物垄行的图像。在图2a）中，土壤背景是干的，并且带有杂草或植物茎和根的残留物，在图2b）中，土壤背景是湿的，带有小石子或植物茎和根的残留物，而在图2c）中，是没有杂草的玉米垄行。

在图2a1）、图2b1）以及图2c1）中分别示出了使用本发明实施例的方案所获得的效果，在这里对于三种背景情况，结构元素的大小被分别选择为5、5、4，形状形式均为盘状disk。图2a2）、图2b2）以及图2c2）分别出示了采用已知的GVFE方法所获得的效果。

由对比可见，使用GVFE方法，绿色作物特征提取效果不是很好，在执行GVFE之后，在土壤背景中仍然存在一些分散的噪声，因为小部分的背景像素与绿色作物具有相同的统计特性，从而没有被完全去除，这是由于光照变化或自然田间条件下复杂的土壤背景造成的。而相比之下，使用本发明实施例所提出的方案，可以彻底去除背景噪声，除了一些可忽略的微小的边界以外，均可保留绿色作物可用的信息。

相应地，依据本发明的实施例还提出一种农业机械视觉导航系统300。图3示出了该农业机械实际导航系统的示意结构图。可见，该系统包括：获取装置310，用于获取包含有绿色作物像素的待识别图像；提取装置320，用于利用绿色作物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而提取绿色作物特征。

依据一个实施形式，所述提取装置具体配置为基于以下等式来提取所述待识别图像中的绿色作物像素：

$P_{\mathrm{pixel}}=\left\{p_i\right|g_{\mathrm{pi}}>r_{\mathrm{pi}}{\∩g}_{\mathrm{pi}}>b_{\mathrm{pi}},i=1...n,p_i\∈C_{\mathrm{RGB}}^3\}$

其中X_feature表示提取的绿色作物像素的集合，x_pi是待识别图像像素p_i的坐标，符号ο表示形态学开运算，b是形态学开运算的结构元素成分，P_pixel是RGB颜色空间C_RGB中的绿色作物图像像素集合，Z_image是像素坐标系，B_element是形态学开运算的结构元素，m为满足P_pixel集合所要求条件的绿色作物图像像素个数，n表示满足X_feature集合所要求条件的绿色作物图像像素的个数，它们的值不超过处理图像总像素个数。g_pi为处理像素p_i的绿色分量值，r_pi为处理像素p_i红色分量值，b_pi为处理像素p_i蓝色分量值，p_i为RGB颜色空间C_RGB中的处理图像像素。该公式的含义为满足P_pixel集合所要求的处理图像像素，再进一步要满足X_feature集合所要求条件的图像像素即为该处理图像所要提取的作物特征像素。

依据一个实施形式，所述提取装置320进一步包括结构元素确定装置3201，用于依据待识别图像中的噪声区域形状及其大小来确定形态学开运算结构元素的形状形式及其大小。

依据一个实施形式，依据田间杂草的大小、形状以及疏密程度来确定形态学开运算的结构元素的大小及其形状形式。

依据一个实施形式，在田间早期生长的农作物情况下，一般将结构元素大小选择为4或5，形状为盘形disk。

关于上述装置实施例的具体细节，可以参见前面方法实施例的相关部分，这里不再赘述。

本领域技术人员应该理解，本发明实施例中装置模块的划分为功能划分，实际具体结构可以为上述功能模块的拆分或合并。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

权利要求的内容记载的方案也是本发明实施例的保护范围。

本领域普通技术人员可以理解上述实施例方法中的全部或部分处理，可以通过程序指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种绿色作物特征提取方法，其特征在于，包括：

获取包含有绿色作物像素的待识别图像；

利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而提取绿色作物特征。

2.依据权利要求1所述的方法，其特征在于，

利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素具体包括：

基于以下等式来提取所述待识别图像中的绿色作物像素：

$P_{\mathrm{pixel}}=\left\{p_i\right|g_{\mathrm{pi}}>r_{\mathrm{pi}}{\∩g}_{\mathrm{pi}}>b_{\mathrm{pi}},i=1...n,p_i\∈C_{\mathrm{RGB}}^3\}$

其中X_feature表示提取的绿色作物像素的集合，x_pi是待识别图像像素p_i的坐标，符号ο表示形态学开运算，b是形态学开运算的结构元素成分，P_pixel是RGB颜色空间C_RGB中的绿色作物图像像素集合，Z_image是像素坐标系，B_element是形态学开运算的结构元素，m为满足P_pixel集合所要求条件的绿色作物图像像素个数，n表示满足X_feature集合所要求条件的绿色作物图像像素的个数，m和n的值不超过处理图像总像素个数，g_pi为处理像素p_i的绿色分量值，r_pi为处理像素p_i红色分量值，b_pi为处理像素p_i蓝色分量值，p_i为RGB颜色空间C_RGB中的处理图像像素，

其中当图像像素是满足P_pixel集合所要求的处理图像像素，并且满足X_feature集合所要求的条件时，该图像像素为所述待识别图像中所要提取的绿色作物像素。

3.依据权利要求2所述的方法，其特征在于，在所述方法中，依据待识别图像中的噪声区域大小及其形状来确定形态学开运算的结构元素B_element的大小及其形状形式。

4.依据权利要求3所述的方法，其特征在于，依据田间杂草的大小以及疏密程度来确定形态学开运算的结构元素的大小及其形状形式。

5.依据权利要求4所述的方法，其特征在于，对于田间早期生长的农作物，一般将结构元素大小选择为4或5，形状形式选择为盘状disk。

6.一种农业机械视觉导航系统，其特征在于，包括：

获取装置，用于获取包含有绿色作物的待识别图像；

提取装置，用于利用绿色植物特征提取GVFE和形态学开运算的组合来提取所述待识别图像中的绿色作物像素，从而实时地分割绿色作物图像。

7.依据权利要求6所述的系统，其特征在于，

所述提取装置具体配置为基于以下等式来提取所述待识别图像中的绿色作物像素：

$P_{\mathrm{pixel}}=\left\{p_i\right|g_{\mathrm{pi}}>r_{\mathrm{pi}}{\∩g}_{\mathrm{pi}}>b_{\mathrm{pi}},i=1...n,p_i\∈C_{\mathrm{RGB}}^3\}$

其中X_feature表示提取的绿色作物像素的集合，x_pi是待识别图像像素p_i的坐标，符号ο表示形态学开运算，b是形态学开运算的结构元素成分，P_pixel是RGB颜色空间C_RGB中的绿色作物图像像素集合，Z_image是像素坐标系，B_element是形态学开运算的结构元素，m为满足P_pixel集合所要求条件的绿色作物图像像素个数，n表示满足X_feature集合所要求条件的绿色作物图像像素的个数，m和n的值不超过处理图像总像素个数，g_pi为处理像素p_i的绿色分量值，r_pi为处理像素p_i红色分量值，b_pi为处理像素p_i蓝色分量值，p_i为RGB颜色空间C_RGB中的处理图像像素，

其中当图像像素是满足P_pixel集合所要求的处理图像像素，并且满足X_feature集合所要求的条件时，该图像像素为所述待识别图像中所要提取的绿色作物像素。

8.依据权利要求7所述的系统，其特征在于，所述提取装置进一步包括结构元素确定装置，用于依据待识别图像中的噪声区域大小及其形状来确定形态学开运算的结构元素的大小及其形状形式。

9.依据权利要求8所述的系统，其特征在于，依据田间杂草的大小以及疏密程度来确定形态学开运算的结构元素的大小及其形状形式。

10.依据权利要求9所述的系统，其特征在于，对于田间早期生长的农作物，一般将结构元素大小选择为4或5，形状形式选择为盘状disk。

Images