CN111767943A - 地膜识别方法、装置、电子设备及存储介质 - Google Patents
地膜识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111767943A CN111767943A CN202010429508.9A CN202010429508A CN111767943A CN 111767943 A CN111767943 A CN 111767943A CN 202010429508 A CN202010429508 A CN 202010429508A CN 111767943 A CN111767943 A CN 111767943A
- Authority
- CN
- China
- Prior art keywords
- color image
- mulching film
- color
- pixel point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000003860 storage Methods 0.000 title claims description 14
- 239000002362 mulch Substances 0.000 claims abstract description 88
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 73
- 230000009467 reduction Effects 0.000 claims description 38
- 238000005315 distribution function Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000012549 training Methods 0.000 description 16
- 238000001914 filtration Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 9
- 239000002689 soil Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000002985 plastic film Substances 0.000 description 2
- 229920006255 plastic film Polymers 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002147 killing effect Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000003900 soil pollution Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本说明书一个或多个实施例提供了一种地膜识别方法,包括:获取包含地膜的彩色图像;提取上述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征;基于上述地膜识别模型,根据上述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于输入特征识别出彩色图像中地膜的卷积神经网络模型。对应上述地膜识别方法,本说明书还提供了地膜识别装置、电子设备以及计算机可读介质。
Description
技术领域
本说明书一个或多个实施例涉及图像识别技术领域,尤其涉及一种地膜识别方法、地膜识别装置、电子设备及计算机可读存储介质。
背景技术
地膜即地面覆盖薄膜,用于地面覆盖,以提高土壤温度,保持土壤水分,维持土壤结构,防止害虫侵袭作物和某些微生物引起的病害,促进植物生长等。地膜的作用非常大,不仅能够提高地温、保水、保土、保肥提高肥效,而且还有灭草、防病虫、防旱抗涝、抑盐保苗、改进近地面光热条件,使产品卫生清洁等多项功能,因此,深受广大农民的欢迎,在农业中得到广泛的使用。
另一方面,在地膜广泛使用的同时,如不对地膜的残留片进行清理和回收则不可避免地会对土壤造成污染。因此,对于农业中地膜的使用及残留情况进行检测、分析,并根据分析结果进行地膜使用的管理等是当前农业环保中一个非常重要的课题。
发明内容
有鉴于此,本说明书一个或多个实施例提出一种地膜识别方法,可以从包含地膜的图像中快速并精确地识别出其中由地膜覆盖的区域,从而确定地膜的残留情况。
本说明书实施例所述的地膜识别方法可以包括:获取包含地膜的彩色图像;提取上述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征;以及基于上述地膜识别模型,根据上述所述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,上述地膜识别模型是用于基于上述输入特征识别出所述彩色图像中地膜的卷积神经网络模型。
其中,提取所述彩色图像的色彩特征包括:分别提取所述彩色图像上每个像素点在R、G、B三个基色波段上的分量;并将上述每个像素点在R、G、B三个基色波段上的分量作为上述彩色图像的色彩特征。
其中,提取所述彩色图像的色彩特征包括:通过色彩空间转换,将所述彩色图像转换至HSV色彩空间;提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量;以及将所述每个像素点在H、S、V三个通道上的分量作为上述彩色图像的色彩特征。
其中,提取所述彩色图像的色彩特征包括:分别提取所述彩色图像上每个像素点在R、G、B三个基色波段上的分量;通过色彩空间转换,将所述彩色图像转换至HSV色彩空间;提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量;以及将所述每个像素点在R、G、B三个基色波段上的分量以及在H、S、V三个通道上的分量作为上述彩色图像的色彩特征。
其中,提取所述彩色图像的纹理特征包括:将所述彩色图像转换为灰度图像;确定所述灰度图像的灰度共生矩阵;根据所述灰度共生矩阵以及所述灰度图像中每个像素点的灰度值与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值;以及根据每个像素点对应的纹理特征值确定所述彩色图像的纹理特征矩阵,其中,所述彩色图像的纹理特征矩阵中每个值分别对应彩色图像的一个像素点的纹理特征值。
其中,根据所述灰度共生矩阵以及所述灰度图像中每个像素点的灰度值与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值包括:对于所述灰度图像中的每个像素点,确定所述像素点的灰度值与其相邻像素点灰度值组成的灰度值对;求所述像素点的灰度值与其相邻像素点的灰度值之差值;将所述差值的平方与所述灰度共生矩阵中由所述灰度值对所确定位置的值的求乘积;以及将所述乘积作为所述像素点对应的纹理特征值。
其中,提取所述彩色图像的纹理特征包括:将所述彩色图像转换成灰度图像;通过局部二值模式(LBP)算子计算得到所述灰度图像上每个像素点对应的LBP值;根据每个像素点对应的LBP特征值确定所述彩色图像的LBP特征矩阵,其中,所述彩色图像的LBP特征矩阵中每个值分别对应彩色图像的一个像素点的LBP值。
其中,提取所述彩色图像的纹理特征包括:将所述彩色图像转换为灰度图像;确定所述灰度图像的灰度共生矩阵,根据所述灰度共生矩阵以及所述灰度图像中每个像素点的灰度值与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值,根据每个像素点对应的纹理特征值确定所述彩色图像的纹理特征矩阵,其中,所述彩色图像的纹理特征矩阵中每个值分别对应彩色图像的一个像素点的纹理特征值;以及通过LBP算子计算得到所述灰度图像上每个像素点对应的LBP值,根据每个像素点对应的LBP特征值确定所述彩色图像的LBP特征矩阵,其中,所述彩色图像的LBP特征矩阵中每个值分别对应彩色图像的一个像素点的LBP值。
上述方法可以进一步包括:获取一定数量的地膜图像作为正样本;获取一定数量的非地膜图像作为负样本;将所述正样本和负样本的顺序打乱;提取所述正样本和负样本的色彩特征和纹理特征作为上述地膜识别模型的输入特征;基于上述地膜识别模型,根据上述输入特征,得到对于所述正样本和负样本的分类结果;根据所述分类结果确定所述地膜识别模型的分类误差;以及根据所述分类误差通过反向传播的方式调整所述地膜识别模型的参数。
上述方法可以进一步包括:选取多个地膜灰度图像样本,统计各地膜灰度图像样本中各像素点灰度值的均值和均方差,并根据上述均值和均方差构建地膜的高斯滤波分布函数;将上述彩色图像转换为灰度图像;基于构建的地膜的高斯滤波分布函数,将所述灰度图像上各像素点的灰度值作为上述高斯滤波分布函数的输入变量,并用上述高斯滤波分布函数的输出值替换上述灰度图像上该像素点的灰度值;以及将所述灰度图像的灰度值作为所述地膜识别模型的输入特征之一。
上述方法可以进一步包括:
A,根据所述地膜识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表;
B,初始化约简集为空集;
C,对所述条件属性集中的每一个条件属性,根据所述特征决策表,分别计算其属性重要度增量;
D,挑选所述属性重要度增量最大的条件属性加入约简集,并将之从条件属性集合中删除;以及
E,当所述属性重要度增量的最大值不为0时,返回D;
F,当所述属性重要度增量的最大值为0时,输出约简集作为所述地膜识别模型的输入特征。
上述方法可以进一步包括:对于所述约简集的每个条件属性,分别确定删除所述条件属性后的属性重要度变化量;如果删除所条件属性后,属性重要度变化量为0,则将所述条件属性从所述约简集中删除;输出上述约简集作为所述地膜识别模型的输入特征。
上述方法可以进一步包括:对所述地膜识别模型的输入特征执行主成分分析变换,将主成分分析变换输出的前N个特征作为所述地膜识别模型更新后的输入特征;其中,N为预先确定的地膜识别模型的输入特征的数量。
对应上述地膜识别方法,本说明书的实施例还提出了一种地膜识别装置,可以包括:
彩色图像获取模块,用于获取包含地膜的彩色图像;
特征提取模块,用于提取所述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征;以及
识别模块,用于基于所述地膜识别模型,根据所述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于所述输入特征识别出所述彩色图像中地膜的卷积神经网络模型。
本说明书的一个或多个实施例还提供了一种电子设备,可以包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述地膜识别方法。
本说明书的一个或多个实施例还提供了一种非暂态计算机可读存储介质,其中,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述地膜识别方法。
可以看出,上述地膜识别方法采用了通过有监督训练方式得到的卷积神经网络模型作为地膜识别模型可以充分利用卷积神经网络在图像处理方面精度高和速度快的优势,进一步保障了地膜识别的精确度,同时也提高了地膜识别的效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例所述的地膜识别方法的流程示意图;
图2为本说明书一些实施例所述的从彩色图像中提取色彩特征的流程示意图;
图3为本说明书另一些实施例所述的从彩色图像中提取色彩特征的流程示意图;
图4显示了本说明书一个或多个实施例所述的通过拍摄得到的包含地膜的RGB色彩空间的彩色图像的一个示例;
图5显示了将图4所示的彩色图像转换到HSV色彩空间后得到的图像的示例;
图6为本说明书一些实施例所述的从彩色图像中提取纹理特征的流程示意图;
图7a显示了一个3×3的窗口区域内各像素点的灰度值的示例;
图7b显示了图7a所示窗口区域中心像素点对应的LBP值的确定方法示例;
图8为本说明书一个或多个实施例所述的高斯滤波过程示意图;
图9为本说明书一个或多个实施例所述的粗糙集属性约简的具体实现方法流程示意图;
图10为本说明书一个实施例所述的地膜识别方法流程示意图;
图11为本说明书的一个或多个实施例所述的地膜识别装置内部结构示意图;
图12为本说明书一个或多个实施例所提供的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如前所述,地膜在当代农业中应用非常广泛,同时在地膜的使用过程中,如果不对地膜的残留片进行清理则会不可避免地对环境造成一定的污染。因此,为了保护地球的生态环境,目前通常会首先对地膜的使用和残留情况进行检测,并根据检测结果指导地膜残留片的回收甚至再利用,从而避免地膜残留片对土壤造成污染。
本说明书的一个或多个实施例提出一种地膜识别方法,可以从包含地膜的图像中快速并精确地识别出其中由地膜覆盖的区域,从而确定地膜的残留情况。
图1显示了本说明书一个或多个实施例所述的地膜识别方法的实现流程。如图1所示,该方法可以包括:
在步骤102,获取包含地膜的彩色图像。
在本说明书的一个或多个实施例中,上述彩色图像可以是由检测人员拍摄的包含地膜的彩色图像。具体地,检测人员可以通过照相机或者移动终端中的图像拍摄装置拍摄得到包含地膜的彩色图像。
目前,随着无人机技术和软硬件技术的发展,无人机技术已经成为现代农业数字化管理与决策的重要支柱,在农业数字化管理和决策中得到了广泛的应用。如此,在本说明书的另一些实施例中,上述彩色图像还可以是由无人机拍摄的彩色图像。
在本说明书的实施例中,上述彩色图像通常是指RGB模式的彩色图像。可以理解,在彩色图像处理中,最常用的色彩空间是RGB色彩空间,常用于颜色显示和图像处理。RGB色彩空间通常采用三维坐标的模型形式,非常容易被理解。
在步骤104,提取上述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征。
在本说明书的一些实施例中,上述色彩特征可以包括:上述彩色图像上每个像素点在R、G、B三个基色波段上的分量。
基于以上信息,在本说明书的一些实施例中,上述步骤104所述的提取上述彩色图像的色彩特征可以通过下面图2所示的方法提取。如图2所示,该方法可以包括:
在步骤202,分别提取上述彩色图像上每个像素点在R、G、B三个基色波段上的分量;以及
在步骤204,将上述每个像素点在R、G、B三个基色波段上的分量作为上述彩色图像的色彩特征。
在本说明书的另一些实施例中,上述色彩特征可以包括:上述彩色图像上每个像素点在H、S、V三个波段上的分量。
可以理解,除了RGB色彩空间之外,HSV色彩空间也是常用的一种色彩空间模型。HSV是针对用户观感的一种颜色模型,侧重于色彩表示,用于表示色彩是什么颜色、深浅如何、以及明暗如何。HSV色彩空间中的H代表色相。色相是指色彩的相貌,是色彩最显著的特征,是不同波长的色彩被感觉的结果。光谱上的红、橙、黄、绿、青、蓝、紫就是七种不同的基本色相。S代表纯度,也称彩度、艳度、浓度、饱和度,是指色彩的纯净程度。V代表明度,明度是指色彩的明暗、深浅程度的差别,它取决于反射光的强弱,包括两个含义:一是指一种颜色本身的明与暗,二是指不同色相之间存在着明与暗的差别。
基于以上信息,在本说明书的一些实施例中,上述步骤104所述的提取上述彩色图像中的色彩特征可以通过下面图3所示的方法提取。如图3所示,该方法可以包括:
在步骤302,通过色彩空间转换,将上述彩色图像转换至HSV色彩空间;
在步骤304,提取上述HSV色彩空间中彩色图像上每个像素点在H、S、V三个通道上的分量;以及
在步骤306,将上述每个像素点在H、S、V三个通道上的分量作为上述彩色图像的色彩特征。
在本说明书的实施例中,可以基于色彩空间转换算法,根据彩色图像每个像素点在R、G、B三个基色波段上的分量换算得到每个像素点在H、S、V三个通道上的分量。例如,对于上述彩色图像上的每个像素点,可以基于如下算式,根据该像素点在R、G、B三个基色波段上的分量[r,g,b]换算得到该像素点在H、S、V三个通道上的分量[h,s,v]。在换算过程中,为了表达方便,可以假设如下两个参量:max=max(r,g,b),也即三个基色波段上的分量的最大值;以及,min=min(r,g,b),也即三个基色波段上的分量的最小值。此时,
需要说明的是,通常,对于上述H通道上的分量,通过上述算式得到的是一个角度,因此,在本说明书的实施例中,作为上述色彩特征的H通道上的分量可以具体为上述角度的数值或者是根据上述角度换算得到的弧度值。
可以看出,通过上述算式即可以根据该像素点在R、G、B三个基色波段上的分量[r,g,b]换算得到该像素点在H、S、V三个通道上的分量[h,s,v]。
图4显示了本说明书一个或多个实施例所述的通过拍摄得到的包含地膜的RGB色彩空间的彩色图像的一个示例(以灰度图像显示)。图5显示了将图4所示的彩色图像转换到HSV色彩空间后得到的图像的示例(以灰度图像显示)。对比图4和图5可以看出,经过HSV转换,图像中的地膜、和非地膜之间差距被拉大,使得地膜部分更容易与其他部分分离,因此,将上述H、S、V三个通道的分量作为上述彩色图像的色彩特征会得到更加精确的地膜识别效果。
在本说明书的又一些实施例中,上述色彩特征可以包括:上述彩色图像上每个像素点在R、G、B三个基色波段上的分量以及上述彩色图像上每个像素点在H、S、V三个波段上的分量。此时,可以通过上述图2和图3所示方法分别得到的每个像素点在R、G、B三个波段的分量以及H、S、V三个通道的分量,并将得到的六个分量一起作为上述彩色图像的色彩特征。可以看出,通过上述方法得到的上述彩色图像的色彩特征更为丰富全面,依次作为依据进行地膜识别可以提高地膜识别的精确度。
此外,可以理解,图像的纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。在本说明书的实施例中,由于地膜与其周围作物、土壤的纹理完全不相同,因此,图像中的纹理特征对于图像中地膜的识别也将存在着较大影响。因此,在本说明书的实施例中,除了彩色图像的色彩特征之外,还可以考虑将彩色图像的纹理特征提取出来,用于地膜的识别,从而达到更精确的识别效果。
在本说明书的一些实施例中,上述纹理特征可以包括:上述彩色图像的纹理特征矩阵。上述彩色图像的纹理特征矩阵的维度与上述彩色图像所包含像素点的数量相等,其中包含的每个元素值分别对应彩色图像的一个像素点的纹理特征值,上述纹理特征值具体可以根据彩色图像的灰度共生矩阵得到。
可以理解,上述灰度共生矩阵指的是一种通过研究灰度的空间相关特性来描述图像纹理的方法。由于图像纹理是由灰度分布在空间位置上反复出现而形成的,因而在图像空间中相隔某段距离一定会存在一定的灰度关系,即图像中灰度的空间相关特性。灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。例如,取图像(N×N)中任意一个像素点(x,y)及偏离它的另一像素点(x+a,y+b)组成一个像素点对。设该像素点对的灰度值为(g1,g2)。此后,令点(x,y)在整个图像上移动,则会得到若干个像素点对的灰度值(g1,g2)。设灰度值的级数为k(也即共有k个灰度值),则上述若干个点对的灰度值(g1,g2)的组合共有k2种可能性。接下来,再针对整个图像,统计出每一种可能性(g1,g2)出现的次数,然后排列成一个k×k方阵。接下来,还可以用各种可能性(g1,g2)出现的总次数将上述k×k方阵归一化为每一种可能性(g1,g2)出现的概率P(g1,g2)。通过上述方法得到的的方阵可以被称为灰度共生矩阵。其中,上述距离差分值(a,b)取不同的数值组合,可以得到不同情况下的联合概率矩阵。通常,(a,b)取值要根据纹理周期分布的特性来选择,对于较细的纹理,可以选取(1,0)、(1,1)、(0,1)等小的差分值;而对于较粗的纹理则可以选择较大的差分值。具体地,当b=0时,像素点对是水平的,亦称0度扫描;当a=0时,像素点对是垂直的,亦称90度扫描;当a=b时,像素点对是右对角线的,亦称45度扫描;而当a=-b时,像素点对是左对角线,亦称135度扫描。
基于以上信息,在本说明书的一些实施例中,上述步骤106所述的从上述彩色图像中提取纹理特征可以利用灰度共生矩阵通过图6所示的方法提取。如图6所示,该方法可以包括:
在步骤602,将上述彩色图像转换为灰度图像。
上述将彩色图像转换成灰度图像的具体过程可以包括:针对彩色图像上的每个像素点,分别根据该像素点在R、G、B三个基色波段上的分量计算得到一个代表颜色深度的灰度值,从而将彩色图像转换为灰度图像。
在本说明书的一个或多个实施例中,可以通过多种方法根据各个像素点在R、G、B三个基色波段上的分量确定该像素点的灰度值。例如,可以采用平均法(也即将每个像素点上R、G、B三个基色波段上的分量求平均值),最大最小平均法(也即将每个像素点上R、G、B三个基色波段上的最大分量和最小分类求平均值)、加权平均法(也即将每个像素点上R、G、B三个基色波段上的分量求加权平均值)等方法实现。
在本说明书的一些实施例中,为了降低灰度共生矩阵的维度,从而简化计算,可以在上述步骤602之后,进一步将上述灰度图像的灰度值进行量化。具体地,可以将取值区间为[0,255]的灰度值量化为[0,K-1],例如[0,7],这样计算得到的灰度共生矩阵的维度将从256×256降低为K×K,从而大大简化后续的灰度共生矩阵的计算量。其中,K可以为2的整数次方,且其数值小于或等于128。
在步骤604,确定上述灰度图像的灰度共生矩阵。
在本说明书的一些实施例中,可以基于预先确定的距离差分值,例如基于距离差分值(1,0)扫描上述灰度图像,从而得到上述灰度图像的灰度共生巨折,此时是按照0度方向扫描上述灰度图像。当然,也可以在其他方向上或者选择其他距离差分值对上述灰度图像进行扫描,从而得到上述灰度图像的灰度共生矩阵。
在本说明书的又一些实施例中,还可以基于预先确定的多种距离差分值(多种方向和/或多种步距)对灰度图像进行多次扫描,从而得到多个灰度共生矩阵,再求该多个灰度共生矩阵的平均值矩阵(对应位置上的值求平均值),作为上述灰度图像的灰度共生矩阵。
在步骤606,根据上述灰度图像的灰度共生矩阵以及上述灰度图像中每个像素点与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值。
在本说明书的实施例中,对于上述灰度图像中的每个像素点,可以先确定该像素点与其相邻像素点(例如其右侧的像素点或预先确定的其他相邻像素点)组成的灰度值对。特别地,选择右侧像素点时,对于最后一列像素点,可以将该像素点的灰度值与同一行第一列的像素点的灰度值组成灰度值对。例如,一个像素点的灰度值为3,其相邻像素点的灰度值为4,则组成的灰度值对为(3,4)。然后,再求该像素点的灰度值与其相邻像素点的灰度值之差值。如上例,上述两个像素点的灰度值的差值为1。再然后,将该差值的平方与上述灰度图像的灰度共生矩阵中由上述灰度值对所确定位置的值的求乘积,并将该乘积作为该像素点对应的纹理特征值。如上例,灰度图像对应的灰度共生矩阵中位置(3,4)对应的值为0.3,则上述像素点对应的纹理特征值为12×0.3=0.3。
在本说明书的实施例中,上述纹理特征矩阵就是由上述每个像素点对应的纹理特征值组成。
可以看出,通过上述方法,可以得到一个维度与原图像大小相同的纹理特征矩阵,该纹理特征矩阵中的每个值均可以表征图像上每个像素点的纹理特征。并且,由于上述灰度共生矩阵用两个位置的像素的联合概率密度来定义,它不仅反映亮度的分布特征,也反映具有同样亮度或者接近亮度的像素之间的位置分布特性,是有关图像亮度变化的二阶统计特征,是定义一组纹理特征的基础,因此,上述纹理特征矩阵可以更好地反映上述彩色图像的纹理。
在本说明书的另一些实施例中,上述纹理特征可以包括:上述彩色图像的局部二值模式(LBP,Local Binary Pattern)特征矩阵。
可以理解,LBP是一种用来描述图像局部纹理特征的算子。该LBP算子具有旋转不变性和灰度不变性等显著的优点。LBP算子是指在一个3×3的像素点窗口内,以窗口中心像素点的灰度值为阈值,与相邻的8个像素点的灰度值进行比较,若周围的某个像素点的灰度值大于该中心像素点的灰度值,则该像素点的位置被标记为1;否则被标记为0。如此可以得到一个8位二进制数(通常可以转换为10进制数,共256种取值),并将这个值作为窗口中心像素点的LBP值,以此来反映这个3×3窗口区域的纹理特征。图7a显示了一个3×3的窗口区域内各像素点的灰度值的示例;图7b显示了图7a所示窗口区域中心像素点对应的LBP值的确定方法示例。如图7a和7b所示,该窗口区域中心像素点对应的LBP值为(01111100)10=124。
因此,在本说明书的一些实施例中,在上述步骤106中,可以先将上述彩色图像转换成灰度图像,再通过上述LBP算子得到上述灰度图像上每个像素点对应的LBP值,从而组成该彩色图像对应的LBP特征矩阵,其中,上述彩色图像的LBP特征矩阵的维度与上述彩色图像中像素点的数量相等,其中每个值分别对应彩色图像的一个像素点的LBP值。
可以理解,通过上述方法,可以得到一个维度与原图像大小相同的LBP特征矩阵。而且,该LBP特征矩阵中的每个值均可以表征图像上每个像素点周围3×3窗口区域的纹理特征。
在本说明书的又一些实施例中,上述纹理特征可以包括:上述彩色图像的纹理特征矩阵以及上述彩色图像的LBP特征矩阵。此时,可以将通过上述两种方法分别得到的纹理特征矩阵以及LBP特征矩阵一起作为上述彩色图像的纹理特征。此时,上述两个过程可以共用将彩色图像转换为灰度图像的操作。且由于纹理特征矩阵以及LBP特征矩阵可以从不同角度描述图像的纹理特征,因此,将二者一起作为上述彩色图像的纹理特征用于进行地膜识别会进一步提高地膜识别的精确度。
在步骤106,基于地膜识别模型,根据上述彩色图像的色彩特征和/或纹理特征,识别出上述彩色图像中的地膜;其中,上述地膜识别模型是用于基于输入特征识别出彩色图像中地膜的卷积神经网络(CNN)模型。
在本说明书的实施例中,上述地膜识别模型是经过训练的CNN模型,其输入特征为彩色图像的色彩特征和纹理特征,输出为彩色图像中各个像素点是否为地膜的分类结果。上述地膜识别模型可以通过有监督的方式训练得到,具体的训练方法将在后文中详细描述,在此暂且略过。
可以看出,上述地膜识别方法采用了通过有监督训练方式得到的卷积神经网络模型作为地膜识别模型可以充分利用卷积神经网络在图像处理方面精度高和速度快的优势,进一步保障了地膜识别的精确度,同时也提高了地膜识别的效率。
此外,在上述地膜识别方法中,可以应用彩色图像的色彩特征和/或彩色图像的纹理特征,充分利用地膜与周围农作物、土壤的色彩和/或纹理完全不同的特点,实现地膜的识别。进一步,在同时考虑图像的色彩特征和纹理特征进行地膜识别时,可以极大地提高地膜识别的精确度。
下面将结合具体的示例详细说明上述地膜识别模型的训练方法。
在进行模型训练之前,首先比较关键操作是样本的选取。
具体地,在获取了图像数据及其对应的标签(也即是否为地膜)之后,可以选择一定数量的多个正样本(地膜图像)和基本同等数量的多个负样本(非地膜图像)。其中,为了保证模型的精确度,上述正样本和负样本的数量通常是越多越好。其中,每个样本的大小可以预先设置,例如可以设置为尺寸较小的32×32的图像。其中,使用尺寸较小的图像作为训练样本可以控制CNN的规模,实现模型的快速收敛。
然后,将其中的正、负样本的顺序打乱。这样做的目的是为了防止模型各个参数的过拟合。
再然后,提取上述正、负样本的色彩特征和纹理特征,再进行归一化处理后,将其输入至CNN。需要说明的是,如果在应用中,除了图像的色彩特征和纹理特征之外,CNN模型还包括其他输入特征,在训练时,也将从图像中提取该特征,并输入至CNN中一起完成训练。
可知,在本说明书的实施例中,上述CNN可以包括多个输入层、若干层卷积层和若干层池化层、一个输出层和一个2×1分类器。其中,分类器将输出CNN的分类结果,也即一个像素点是地膜还是非地膜。
最后,再将该分类结果与输入样本的标签进行比较,得到分类误差,并根据上述分类误差通过反向传播的方式调整CNN的参数,从而完成地膜识别模型的训练。
其中,上述CNN的输入层的数量与输入特征,也即彩色图像中色彩特征和纹理特征所包含特征的数量以及其他输入特征的数量有关。如在本说明书的一些实施例中,输入特征如包括图像的R、G、B分量、图像的H、S、V分量以及纹理特征矩阵和LBP特征矩阵时,则输入层的数量为8个。上述每个输入层所包含神经元的数量与输入的特征的维度有关,如输入的特征维度是32×32,则每个输入层的神经元个数将为32×32。此外,上述卷积层和池化层的层数以及每一个卷积层卷积核的大小和数量均与上述输入特征的数量以及样本的大小有关。随着卷积核的个数和池化层的个数的增加,CNN将简单的低维特征转向高维特征。然后,使用多个节点的全连接层作为输出层,将所有高维的图像特征进行连接。最后,再进行分类得到分类结果,从而可以从图像中识别出地膜。
在本说明书的另一些实施例中,为了进一步提高地膜识别的精确度,还可以进一步在地膜识别模型的输入特征中增加经过地膜的高斯分布函数进行高斯滤波的灰度图像,也即将经过地膜的高斯分布函数进行高斯滤波后得到的灰度图像也作为地膜识别模型的输入特征之一。由于利用地膜的高斯分布函数对灰度图像进行高斯滤波可以提高灰度图像中地膜的像素值,加大地膜和非地膜之间的差距,从而可以更好的区分地膜和非地膜,提高地膜识别的精确度。上述高斯滤波过程可以如图8所示,主要包括:
在步骤802,选取多个地膜灰度图像样本,统计各地膜灰度图像样本中各像素点灰度值的均值和均方差,并根据上述均值和均方差构建地膜的高斯滤波分布函数。
在本说明书的一些实施例中,上述高斯滤波分布函数可以如下函数所示:
其中,x代表输入变量;μ代表地膜灰度图像样本各像素点灰度值的均值;σ代表地膜灰度图像样本各像素点灰度值的均方差。
在步骤804,将上述彩色图像转换为灰度图像。
在步骤806,基于构建的地膜的高斯滤波分布函数,将上述灰度图像上各像素点的灰度值作为上述高斯滤波分布函数的输入变量,并用上述高斯滤波分布函数的输出值替换上述灰度图像上该像素点的灰度值。
在本说明书的实施例中,在上述步骤中,可以将上述灰度图像各个像素点的灰度值作为上述高斯滤波分布函数变量x,输入上述高斯滤波分布函数,再用计算得到的函数值f(x)替换灰度图像中各个像素点的灰度值。
可以看出,上述操作相当于利用了地膜的高斯滤波分布函数对整幅图像进行了高斯滤波。滤波过后,地膜的像素值显著大于其他类型的像素值,位于整幅图像的最大亮度值附近,从而可以使得地膜的像素值更突出,更容易识别,进而提高地膜的识别精确度。
如前所述,通过上述方法可以在地膜识别的过程中既考虑图像的色彩特征也考虑图像的纹理特征,同时还通过地膜的高斯分布函数对待识别的图像进行高斯滤波以突出地膜的像素点的像素值,从而进一步提高地膜识别的精确度。
可以理解,如果将经过地膜高斯滤波分布函数处理后的灰度图像也作为地膜识别模型的输入特征之一,则在对地膜识别模型进行训练时,也需要对于样本进行相同的高斯滤波,并将滤波后的灰度图作为地膜识别模型训练时的输入特征。
然而,这样一来,输入至上述地膜识别模型的输入特征就包含了9个(R、G、B三个基色波段的分量,H、S、V三个通道的分量,纹理特征矩阵,LBP特征矩阵以及经过上述高斯滤波操作后得到的灰度图像)。随着输入特征的增多,CNN的结构就会越来越复杂,负担越来越重,这反而会降低模型的预测精度,而且其训练以及识别过程的耗时也会越来越长。另一方面,上述多个输入特征中也可能会有一些信息的冗余,因此,在本说明书的另外一些实施例中,为了在保障地膜识别准确率的基础之上提高地膜识别的效率,可以基于粗糙集属性约简的方式对上述地膜识别模型的9个输入特征进行约简,去除其中的冗余信息。目前,选取相似性高的数据训练模型已被证实可以增强训练效率,有效的提高模型的泛化能力。
可以理解,粗糙集理论是一种用于刻画不完整性,不确定性的数学分析工具。它可以在保留关键信息的前提下,识别并评价属性之间的依赖关系,完成对属性的约简。
利用粗糙集属性约简可以对上述得到的9个输入特征进行约简,在保证有效信息的同时,删除冗余特征,实现输入特征集的优选。当然,假如约简结束后输入特征没有变化,也可证明以上输入特征对于地膜识别来说都是必要的,且其中不包含冗余的信息。
下面将结合具体的示例详细说明上述粗糙集属性约简的具体实现方法。图9显示了本说明书实施例所述粗糙集属性约简的具体实现方法流程。如图9所示,该方法主要包括:
在步骤902,根据上述地膜识别模型的输入特征确定条件属性集合以及原始的特征决策表。
在本说明书的一些实施例中,上述条件属性集合至少包括彩色图像的色彩特征和纹理特征,还可以进一步包括经过地膜高斯滤波分布函数处理的灰度图像。较佳地,上述步骤902可以包括:将上述彩色图像,每个像素点的R、G、B三个基色波段分量,H、S、V三个通道的分量,高斯滤波后得到的灰度值,纹理特征值以及LBP值等9个输入特征依次作为条件属性列入条件属性集合A,A={a1,a2,a3,…,an|n=9}。并且,可以将各个像素是否为地膜作为决策属性d,得到原始的特征决策表。可知,上述步骤902是对已知是否为地膜的图像样本进行的操作。
在本说明书的一些实施例中,为了简化后续的计算,在得到条件属性集合和原始决策表之后,还可以进一步对上述原始的特征决策表进行量化,也即等距离离散,离散成K个区间,得到离散后的特征决策表。
在步骤906,对上述条件属性集A中的每一个条件属性ai,根据上述特征决策表分别计算其属性重要度增量。
在本说明书的实施例中,可以通过下述算式计算每个条件属性ai的属性重要度增量:
其中,U表示特征决策表样本集;POSR(U)={{x||d([x]R)|=1}}表示上述特征决策表关于R的正域。
在步骤908,挑选属性重要度增量最大的条件属性加入约简集R,并将之从条件属性集合A中删除。
在步骤910,在上述属性重要度增量的最大值不为0时,返回上述908;在上述属性重要度增量的最大值为0时,输出约简集R={a1′,a2′,…,an′}。
更进一步,为了进一步对约简集进行约简,上述粗糙集属性约简方法还可以进一步包括:
在步骤916,输出上述约简集R,上述约简集R中的条件属性为经过约简后CNN的输入特征。
通过上述粗糙集属性约简过程,可以去除输入特征中的冗余数据,从而保证所选输入特征的均为不重复,不冗余的特征,还可以进一步的验证所选特征的正确性,在保障地膜识别精确度的基础之上提高地膜识别的效率。
更进一步,在本说明书的实施例中,还可以进一步基于主成分分析的方法将上述多个输入特征合并为有限个输入特征,从而降低地膜识别模型的负担,进一步在保障地膜识别精确度的基础之上提高地膜识别的效率。
可以理解,主成分分析法是设法将原来众多具有一定相关性的多个特征,重新组合成一组新的互相无关的综合特征来代替原来的特征。主成分分析法是考察多个变量间相关性一种多元统计方法,研究如何通过少数几个主成分来揭示多个变量间的内部结构,即从原始变量中导出少数几个主成分,使它们尽可能多地保留原始变量的信息,且彼此间互不相关。
在本说明书的实施例中,可以将上述多个预先确定的地膜识别模型的输入特征或者上述经过粗糙集属性约简后余下的输入特征执行主成分分析变换,将得到的特征中前N个特征作为地膜识别模型的输入特征,也即仅保留前N个输入特征,从而降低地膜识别模型的复杂度和负担,从而在保证地膜识别精确度的同时提高地膜识别的效率。其中,N为预先确定的地膜识别模型的输入特征的数量。需要说明的是,N可以根据实际应用场景灵活设置的,例如,考虑到卷积神经网络的训练效率和精确度,其优选的取值范围可以为[4,6]。
同样需要说明的是,在通过上述粗糙集属性简约或者主成分分析对地膜识别模型的输入特征进行约简以及合并后,地膜识别模型的输入特征将发生改变。在这种情况下,地膜识别模型也要根据经过上述改变后的输入特征来进行训练。也即,实际地膜识别时应用了怎样的输入特征,地膜识别模型就需要用怎样的输入特征来进行训练。
图10显示了本说明书一个实施例所述的地膜识别方法的实现流程。如图10所述,该方法主要包括:
在步骤1002,获取包含地膜的彩色图像。
在步骤1004,提取上述彩色图像上每个像素点在R、G、B三个基色波段上的分量。
在步骤1006,将上述彩色图像转换至HSV色彩空间。
在步骤1008,提取上述HSV色彩空间中彩色图像上每个像素点在H、S、V三个通道上的分量。
在步骤1010,将上述彩色图像转换成灰度图像。
需要说明的是,上述步骤1004、1006以及1010的执行顺序不受其步骤序号的限定。这三个步骤可以按照任意顺序先后执行也可以并行执行,而不会影响本说明书实施例方法的实施。
在步骤1012,求上述灰度图像的纹理特征矩阵。
在步骤1014,求上述灰度图像的LBP特征矩阵。
在步骤1016,求对上述灰度图像进行高斯滤波,得到高斯滤波后的灰度图像。
需要说明的是,上述步骤1012、1014以及1016的执行顺序不受其步骤序号的限定。这三个步骤可以按照任意顺序先后执行也可以并行执行,而不会影响本说明书实施例方法的实施。
在步骤1018,对上述彩色图像上每个像素点在R、G、B三个基色波段上的分量,上述彩色图像上每个像素点在H、S、V三个通道上的分量,上述灰度图像的纹理特征矩阵,上述灰度图像的LBP特征矩阵,以及高斯滤波后的灰度图像进行粗糙集属性简约,得到简约后的至少一个输入特征。
在步骤1020,对上述简约后的至少一个输入特征进行主成分分析,得到预定数量的输入特征。
在步骤1022,基于地膜识别模型,根据上述预定数量的输入特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于所述预定数量的输入特征识别出彩色图像中地膜的卷积神经网络模型。
需要说明的是,上述各个步骤的具体实现方法可以参考上述各个实施例的具体实现方式,在此不再重复说明。
可以看出,在上述地膜识别方法中,不仅仅应用了彩色图像的色彩特征还应用了彩色图像的纹理特征,充分利用地膜与周围农作物、土壤的色彩和纹理完全不同的特点,从而可以大大提高地膜识别的精确度。
此外,上述地膜识别方法采用了通过有监督训练方式得到的卷积神经网络模型作为地膜识别模型可以充分利用卷积神经网络在图像处理方面精度高和速度快的优势,进一步保障了地膜识别的精确度,同时也提高了地膜识别的效率。
进一步,一方面,在上述地膜识别方法中,应用的彩色图像的色彩特征除了RGB分量之外还包括HSV分量使得色彩特征更为丰富;纹理特征包括纹理特征矩阵和LBP特征矩阵,可以从多个角度描述图像的纹理特征;更进一步还增加了高斯滤波后的灰度图像作为输入特征,从而能更加突出地膜与周围其他物质的区别,随着输入特征的丰富,使得地膜识别精确度可以大大提高。
另一方面,上述方法还通过粗糙集属性简约以及主成分分析的方式去除输入特征之间的冗余,并根据输入特征之间的相关性进行特征的组合,达到降低输入特征数量的目的,从而可以降低地膜识别模型的负担,在保证地膜识别精确度的同时,提高地膜识别的效率。
基于上述地膜识别方法,本说明书的一个或多个实施例还提供了一个地膜识别装置,其内部结构如图11所示,主要包括:
彩色图像获取模块1102,用于获取包含地膜的彩色图像;
特征提取模块1104,用于提取所述彩色图像的色彩特征和/或纹理特征作为所述地膜识别模型的输入特征;以及
识别模块1106,用于基于地膜识别模型,根据所述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于所述输入特征识别出彩色图像中地膜的卷积神经网络模型。
在本说明书的一些实施例中,上述特征提取模块1104可以包括:RGB分量提取单元,用于分别提取所述彩色图像上每个像素点在R、G、B三个基色波段上的分量;和/或HSV分量提取单元,用于通过色彩空间转换,将所述彩色图像转换至HSV色彩空间,以及提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量。
在本说明书的一些实施例中,上述特征提取模块1104可以包括:纹理特征矩阵提取单元,用于提取所述彩色图像的纹理特征矩阵;和/或LBP特征矩阵提取单元,用于提取所述彩色图像的LBP特征矩阵。
在本说明书的一些实施例中,上述装置可以进一步包括:滤波模块1108,用于选取多个地膜灰度图像样本,统计各地膜灰度图像样本中各像素点灰度值的均值和均方差,并根据上述均值和均方差构建地膜的高斯滤波分布函数;将上述彩色图像转换为灰度图像;基于构建的地膜的高斯滤波分布函数,将所述灰度图像上各像素点的灰度值作为上述高斯滤波分布函数的输入,并用上述高斯滤波分布函数的输出替换上述灰度图像上该像素点的灰度值;以及将所述灰度图像的灰度值作为所述地膜识别模型的输入特征之一。
在本说明书的一些实施例中,上述装置可以进一步包括:约简模块1110,用于根据所述地膜识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表;初始化约简集为空集;对所述条件属性集中的每一个条件属性,分别计算其属性重要度增量;挑选所述属性重要度增量最大的条件属性加入约简集,并将之从条件属性集合中删除;当所述属性重要度增量的最大值不为0时,返回挑选所述属性重要度增量最大的条件属性加入约简集的步骤;当所述属性重要度增量的最大值为0时,输出所述约简集,作为所述地膜识别模型的输入特征。
在本说明书的一些实施例中,上述约简模块进一步用于对于所述约简集的每个条件属性,分别确定删除所述条件属性后的属性重要度变化量;如果删除所条件属性后,属性重要度变化量为0,则将所述条件属性从所述约简集中删除;输出所述约简集,作为所述地膜识别模型的输入特征。
在本说明书的一些实施例中,上述装置可以进一步包括:主成分分析模块1112,用于对所述地膜识别模型的输入特征执行主成分分析变换,将输出的前N个特征作为所述地膜识别模型更新后的输入特征;其中,N为预先确定的地膜识别模型的输入特征的数量。
需要说明的是,上述地膜识别装置的各个模块的具体实现方法可以参考前述各个实施例,在此不再重复说明。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成上述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图12为本说明书实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1210、存储器1220、输入/输出接口1230、通信接口1240和总线1250。其中处理器1210、存储器1220、输入/输出接口1230和通信接口1240通过总线1250实现彼此之间在设备内部的通信连接。
处理器1210可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的地膜识别方法。
存储器1220可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1220可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的地膜识别方法时,相关的程序代码保存在存储器1220中,并由处理器1210来调用执行。
输入/输出接口1230用于连接输入/输出模块,以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1240用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1250包括一通路,在设备的各个组件(例如处理器1210、存储器1220、输入/输出接口1230和通信接口1240)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1210、存储器1220、输入/输出接口1230、通信接口1240以及总线1250,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (12)
1.一种地膜识别方法,包括:
获取包含地膜的彩色图像;
提取所述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征;
基于所述地膜识别模型,根据所述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于输入特征识别出彩色图像中地膜的卷积神经网络模型。
2.根据权利要求1所述的方法,其中,提取所述彩色图像的色彩特征包括:
分别提取所述彩色图像上每个像素点在R、G、B三个基色波段上的分量;并将所述每个像素点在R、G、B三个基色波段上的分量作为上述彩色图像的色彩特征;和/或
通过色彩空间转换,将所述彩色图像转换至HSV色彩空间;提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量;以及将所述每个像素点在H、S、V三个通道上的分量作为上述彩色图像的色彩特征。
3.根据权利要求1所述的方法,其中,提取所述彩色图像的纹理特征包括:将所述彩色图像转换为灰度图像;确定所述灰度图像的灰度共生矩阵;根据所述灰度共生矩阵以及所述灰度图像中每个像素点的灰度值与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值;以及根据每个像素点对应的纹理特征值确定所述彩色图像的纹理特征矩阵,其中,所述彩色图像的纹理特征矩阵中的每个值分别对应彩色图像的一个像素点的纹理特征值;和/或
将所述彩色图像转换成灰度图像;通过局部二值模式LBP算子计算所述灰度图像上每个像素点对应的LBP值;以及根据每个像素点对应的LBP值确定所述彩色图像的LBP特征矩阵,其中,所述彩色图像的LBP特征矩阵中每个值分别对应彩色图像的一个像素点的LBP值。
4.根据权利要求3所述的方法,其中,根据所述灰度共生矩阵以及所述灰度图像中每个像素点的灰度值与其相邻像素点组成的灰度值对确定每个像素点对应的纹理特征值包括:
对于所述灰度图像中的每个像素点,确定所述像素点的灰度值与其相邻像素点灰度值组成的灰度值对;
求所述像素点的灰度值与其相邻像素点的灰度值的差值;
将所述差值的平方与所述灰度共生矩阵中由所述灰度值对所确定位置的值的求乘积;以及
将所述乘积作为所述像素点对应的纹理特征值。
5.根据权利要求1所述的方法,其中,所述方法进一步包括:
获取多个地膜图像作为正样本;
获取多个非地膜图像作为负样本;
将所述正样本和负样本的顺序打乱;
提取所述正样本和负样本的色彩特征和/或纹理特征作为所述地膜识别模型的输入特征;
基于所述地膜识别模型,根据所述输入特征,得到对于所述正样本和负样本的分类结果;
根据所述分类结果确定所述地膜识别模型的分类误差;以及
根据所述分类误差通过反向传播的方式调整所述地膜识别模型的参数。
6.根据权利要求1所述的方法,其中,所述方法进一步包括:
选取多个地膜灰度图像样本,统计各地膜灰度图像样本中各像素点灰度值的均值和均方差,并根据上述均值和均方差构建地膜的高斯滤波分布函数;
将上述彩色图像转换为灰度图像;
基于构建的地膜的高斯滤波分布函数,将所述灰度图像上各像素点的灰度值作为上述高斯滤波分布函数的输入变量,并用上述高斯滤波分布函数的输出值替换上述灰度图像上该像素点的灰度值;以及
将所述灰度图像的灰度值作为所述地膜识别模型的输入特征之一。
7.根据权利要求1所述的方法,其中,所述方法进一步包括:
A,根据所述地膜识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表;
B,初始化约简集为空集;
C,对所述条件属性集中的每一个条件属性,根据所述特征决策表,分别计算其属性重要度增量;
D,挑选所述属性重要度增量最大的条件属性加入约简集,并将之从条件属性集合中删除;以及
E,当所述属性重要度增量的最大值不为0时,返回D;
F,当所述属性重要度增量的最大值为0时,输出所述约简集作为所述地膜识别模型的输入特征。
8.根据权利要求7所述的方法,其中,所述方法进一步包括:
对于所述约简集的每个条件属性,分别确定删除所述条件属性后的属性重要度变化量;
如果删除所条件属性后,属性重要度变化量为0,则将所述条件属性从所述约简集中删除;
输出上述约简集作为所述地膜识别模型的输入特征。
9.根据权利要求1、6、7或8所述的方法,其中,所述方法进一步包括:
对所述地膜识别模型的输入特征执行主成分分析变换,将所述主成分分析变换输出的前N个特征作为所述地膜识别模型更新后的输入特征;其中,N为预先确定的地膜识别模型的输入特征的数量。
10.一种地膜识别装置,包括:
彩色图像获取模块,用于获取包含地膜的彩色图像;
特征提取模块,用于提取所述彩色图像的色彩特征和/或纹理特征作为地膜识别模型的输入特征;以及
识别模块,用于基于地膜识别模型,根据所述彩色图像的色彩特征和/或纹理特征,识别出所述彩色图像中的地膜;其中,所述地膜识别模型是用于基于所述输入特征识别出所述彩色图像中地膜的卷积神经网络模型。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至9中任意一项所述的地膜识别方法。
12.一种非暂态计算机可读存储介质,其中,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至9中任意一项所述的地膜识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429508.9A CN111767943B (zh) | 2020-05-20 | 2020-05-20 | 地膜识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429508.9A CN111767943B (zh) | 2020-05-20 | 2020-05-20 | 地膜识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767943A true CN111767943A (zh) | 2020-10-13 |
CN111767943B CN111767943B (zh) | 2024-06-11 |
Family
ID=72719422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010429508.9A Active CN111767943B (zh) | 2020-05-20 | 2020-05-20 | 地膜识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767943B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365485A (zh) * | 2020-11-19 | 2021-02-12 | 同济大学 | 一种基于Circular LBP和颜色空间转换算法的黑色素瘤识别方法 |
CN112668670A (zh) * | 2021-03-15 | 2021-04-16 | 北京简巨科技有限公司 | 地膜识别方法及其相关设备 |
CN113295572A (zh) * | 2021-05-20 | 2021-08-24 | 内蒙古农业大学 | 一种农田残膜采集方法、装置及设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901486A (zh) * | 2009-11-17 | 2010-12-01 | 华为技术有限公司 | 运动目标检测方法和装置 |
CN106203346A (zh) * | 2016-07-13 | 2016-12-07 | 吉林大学 | 一种面向智能车辆驾驶模式切换的道路环境图像分类方法 |
CN106959444A (zh) * | 2017-03-07 | 2017-07-18 | 上海工程技术大学 | 一种基于人工神经网络的rfid室内定位系统与方法 |
CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
CN107610147A (zh) * | 2017-08-31 | 2018-01-19 | 塔里木大学 | 一种废弃薄膜加筋风积沙地基处理方法 |
EP3306566A1 (en) * | 2016-10-10 | 2018-04-11 | Direct Genomics Co., Ltd. | Method and system for processing image |
CN108197656A (zh) * | 2018-01-04 | 2018-06-22 | 西南交通大学 | 一种基于cuda的属性约简方法 |
CN108629935A (zh) * | 2018-05-17 | 2018-10-09 | 山东深图智能科技有限公司 | 一种基于视频监控检测爬楼翻窗盗窃行为的方法及系统 |
CN109447972A (zh) * | 2018-10-31 | 2019-03-08 | 岭南师范学院 | 一种检测大豆热损伤的高光谱图像鉴别方法 |
CN109446963A (zh) * | 2018-10-19 | 2019-03-08 | 中国科学院东北地理与农业生态研究所 | 基于hsv和lbp结合的地表状态识别算法 |
CN110084194A (zh) * | 2019-04-26 | 2019-08-02 | 南京林业大学 | 一种基于高光谱成像与深度学习的籽棉地膜在线识别算法 |
CN110210376A (zh) * | 2019-05-30 | 2019-09-06 | 农业农村部农业生态与资源保护总站 | 一种基于深度学习的高分遥感影像西北地区农膜提取方法 |
CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
CN110297852A (zh) * | 2019-06-28 | 2019-10-01 | 江苏科技大学 | 一种基于pca-粗糙集的船舶涂装缺陷知识获取方法 |
CN110390322A (zh) * | 2019-08-28 | 2019-10-29 | 南京林业大学 | 一种用于深度学习的籽棉地膜高光谱可视化标签算法 |
-
2020
- 2020-05-20 CN CN202010429508.9A patent/CN111767943B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901486A (zh) * | 2009-11-17 | 2010-12-01 | 华为技术有限公司 | 运动目标检测方法和装置 |
CN106203346A (zh) * | 2016-07-13 | 2016-12-07 | 吉林大学 | 一种面向智能车辆驾驶模式切换的道路环境图像分类方法 |
EP3306566A1 (en) * | 2016-10-10 | 2018-04-11 | Direct Genomics Co., Ltd. | Method and system for processing image |
CN106959444A (zh) * | 2017-03-07 | 2017-07-18 | 上海工程技术大学 | 一种基于人工神经网络的rfid室内定位系统与方法 |
CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
CN107610147A (zh) * | 2017-08-31 | 2018-01-19 | 塔里木大学 | 一种废弃薄膜加筋风积沙地基处理方法 |
CN108197656A (zh) * | 2018-01-04 | 2018-06-22 | 西南交通大学 | 一种基于cuda的属性约简方法 |
CN108629935A (zh) * | 2018-05-17 | 2018-10-09 | 山东深图智能科技有限公司 | 一种基于视频监控检测爬楼翻窗盗窃行为的方法及系统 |
CN109446963A (zh) * | 2018-10-19 | 2019-03-08 | 中国科学院东北地理与农业生态研究所 | 基于hsv和lbp结合的地表状态识别算法 |
CN109447972A (zh) * | 2018-10-31 | 2019-03-08 | 岭南师范学院 | 一种检测大豆热损伤的高光谱图像鉴别方法 |
CN110084194A (zh) * | 2019-04-26 | 2019-08-02 | 南京林业大学 | 一种基于高光谱成像与深度学习的籽棉地膜在线识别算法 |
CN110210376A (zh) * | 2019-05-30 | 2019-09-06 | 农业农村部农业生态与资源保护总站 | 一种基于深度学习的高分遥感影像西北地区农膜提取方法 |
CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
CN110297852A (zh) * | 2019-06-28 | 2019-10-01 | 江苏科技大学 | 一种基于pca-粗糙集的船舶涂装缺陷知识获取方法 |
CN110390322A (zh) * | 2019-08-28 | 2019-10-29 | 南京林业大学 | 一种用于深度学习的籽棉地膜高光谱可视化标签算法 |
Non-Patent Citations (4)
Title |
---|
YUGE SHI: "Gaussian Processes, not quite for dummies", 《THE GRADIENT》, 13 November 2019 (2019-11-13) * |
孙钰等: "基于深度学习的大棚及地膜农田无人机航拍监测方法", 《农业机械学报》, vol. 49, no. 02, pages 0 - 4 * |
李雷达: "《图像质量评价中的特征提取方法与应用》", 30 June 2015, 中国矿业大学出版社, pages: 42 - 43 * |
蔡利梅等: "《数字图像处理》", 31 August 2014, 中国矿业大学出版社, pages: 123 - 125 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365485A (zh) * | 2020-11-19 | 2021-02-12 | 同济大学 | 一种基于Circular LBP和颜色空间转换算法的黑色素瘤识别方法 |
CN112668670A (zh) * | 2021-03-15 | 2021-04-16 | 北京简巨科技有限公司 | 地膜识别方法及其相关设备 |
CN113295572A (zh) * | 2021-05-20 | 2021-08-24 | 内蒙古农业大学 | 一种农田残膜采集方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111767943B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11521380B2 (en) | Shadow and cloud masking for remote sensing images in agriculture applications using a multilayer perceptron | |
Hernández-Hernández et al. | Optimal color space selection method for plant/soil segmentation in agriculture | |
Vesali et al. | Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging | |
Al-Hiary et al. | Fast and accurate detection and classification of plant diseases | |
Baslamisli et al. | Joint learning of intrinsic images and semantic segmentation | |
Sadeghi-Tehran et al. | Multi-feature machine learning model for automatic segmentation of green fractional vegetation cover for high-throughput field phenotyping | |
CN114120037B (zh) | 一种基于改进yolov5模型的发芽马铃薯图像识别方法 | |
US20200250427A1 (en) | Shadow and cloud masking for agriculture applications using convolutional neural networks | |
CN111767943A (zh) | 地膜识别方法、装置、电子设备及存储介质 | |
CA3163631A1 (en) | System and method for determining damage on crops | |
EP4154159B1 (en) | System and method for estimating vegetation coverage in a real-world environment | |
Concepcion et al. | Tomato septoria leaf spot necrotic and chlorotic regions computational assessment using artificial bee colony-optimized leaf disease index | |
Abdelghafour et al. | A Bayesian framework for joint structure and colour based pixel-wise classification of grapevine proximal images | |
Hao et al. | Growing period classification of Gynura bicolor DC using GL-CNN | |
Petrellis | Mobile application for plant disease classification based on symptom signatures | |
CN111814545A (zh) | 作物识别方法、装置、电子设备及存储介质 | |
Kumar et al. | An identification of crop disease using image segmentation | |
Mahalakshmi et al. | RETRACTED ARTICLE: Agro Suraksha: pest and disease detection for corn field using image analysis | |
Suarez et al. | Learning image vegetation index through a conditional generative adversarial network | |
Niu et al. | YOLO-plum: A high precision and real-time improved algorithm for plum recognition | |
Arumuga Maria Devi et al. | Hyper spectral fruit image classification for deep learning approaches and neural network techniques | |
De Silva et al. | Plant disease detection using deep learning on natural environment images | |
Choudhury | Segmentation techniques and challenges in plant phenotyping | |
Mudgil et al. | Identification of Tomato Plant Diseases Using CNN-A Comparative Review | |
CN112668670A (zh) | 地膜识别方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |