CN111024710B - 一种农作物异常检测系统及方法 - Google Patents

Abstract

本发明涉及一种农作物异常检测系统，包括：图像采集设备、图像处理设备、农作物图像特征库、特征对比设备。该系统将采集的多个图像进行预处理，并提取农作物图像中边缘特征，将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比，随后将多个待检测图像的每一个与对应的参考图像比较完成后，如果全部匹配成功，则认为当前农作物生长正常。利用本发明的系统以及方法，通过图像视觉的检测方法，及时准确地发现农作物在生成的主要阶段存在的问题，及时做出应对，避免了农业生产中不必要的损失。

Description

一种农作物异常检测系统及方法

技术领域

本发明涉及智能农业领域，特别是涉及一种农作物异常检测系统及方法。

背景技术

农作物病害的无损检测和早期识别是精准农业和生态农业发展的关键。随着图像采集和图像处理技术的进步,高光谱成像等先进成像探测技术和基于深度学习的图像分析技术越来越多地应用于农作物病虫害的无损检测中。

而现有技术中的无法及时掌握仓储农产品的变质情况，现有技术中主要是通过人工进行对农产品进行抽检，而农产品仓储通常都是立体化仓库，人工很难对仓库各处均进行有效抽检，并且，抽检费时费力，效率极低，很难把握农产品仓储变质的情况，无法有效实现对于仓储农产品的管理。

在农作物生长过程中，经常因为气候、虫害等原因造成农作物的多种问题，一般通过人工的筛查，经常无法及时全面发现问题，而影响更大范围的农作物生长。

发明内容

这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。

本公开的目的在于提供一种农作物异常检测系统，包括：图像采集设备、图像处理设备、农作物图像特征库、特征对比设备；

所述图像采集设备用于根据预定多个不同位置采集标准农作物图像，并存储在所述农作物图像特征库中作为参考图像；

所述图像采集设备还用于在农作物生长过程的前、中、后期的每一个，采集当前农作物多个不同位置的图像；

所述图像采集设备根据每一个时期具体农作物的不同特点，采集与上述参考图像相同位置，且相同角度的多个图像，将该图像作为待检测图像；

所述图像处理设备用于将采集的多个图像进行预处理，并提取农作物图像中边缘特征；

所述图像处理设备还用于获取采集的多个图像的农作物区域颜色序列；

所述特征对比设备用于从农作物图像特征库中获取该农作物对应时期的多个不同位置的标准农作物图像，并提取图像中的边缘特征；

所述特征对比设备还用于将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比；

所述特征对比设备将多个待检测图像的每一个与对应的参考图像比较完成后，如果全部匹配成功，则认为当前农作物生长正常。

可选的，所述标准农作物图像包括农作物生长过程的前、中、后期的正常范围内的图像。

可选的，采集的所述标准农作物图像为一个或者多个不同角度拍摄的图像，为了避免光线或者观察角度的影响，通常采集3-5个不同角度的图像。

可选的，所述区域颜色序列是指将农作物图像分为N*N的分块，其中N为大于1的自然数。随后，计算每一个分块中各个点颜色值，并进行统计排序，得到数量最多的3个颜色值作为该分块的颜色序列中的参数。

可选的，所述特征对比设备还用于将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比，具体为：针对每一组图像的比较结果，如果匹配不成功，则认为当前农作物出现异常；

如果匹配成功，则所述特征对比设备提取该参考图像的农作物区域颜色序列，同时，所述图像处理设备提取该待检测图像的农作物区域颜色序列，并将两个农作物区域颜色序列比较，如果匹配不成功，则认为当前农作物出现异常；如果匹配成功，则进行下一个待检测图像匹配。

本发明还提供一种农作物异常检测方法，具体步骤为：

(1)、预先存储各种农作物在前、中、后期多个位置多角度参考图像，所述参考图像都是农作物正常生长的图像；

(2)、对接收到的多个待检测图像进行滤波、增强处理后，提取图像中农作物目标位置区域；

(3)、对提取的多个区域图像进行边缘提取，得到具有相对完整的纹理的多个目标边缘图像，并将该多个目标边缘图像发送到所述特征对比设备；

(4)、接收到多个目标边缘图像后，从所述农作物图像特征库中获取每一个目标边缘对应位置和角度的参考图像，将每一个参考图像进行边缘特征提取，得到多个参考边缘图像；

(5)、将每一个目标边缘图像与对应的一个参考边缘图像进行对比，得到匹配结果，并根据匹配结果进行后续处理；

(6)、将接收到的每一个分块的农作物区域颜色序列与计算得到的对应分块的农作物区域颜色序列进行对比，如果匹配成功，则认为该待检测图像通过检测，并通知所述图像处理设备进行下一个待检测图像进行处理；如果匹配不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端；

(7)、将每一个待检测图像都进行匹配，并匹配结果为全部成功，则认为该农作物生长正常，并向外部控制终端发出通知。

有益效果：通过图像视觉的检测方法，及时准确地发现农作物在生成的主要阶段存在的问题，及时做出应对，避免了农业生产中不必要的损失。

从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。

附图说明

在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：

图1是农作物异常检测系统示意图；

图2是农作物异常检测方法流程图。

虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。

具体实施方式

现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。

提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。

下面将对本公开内容所提出的技术问题进行详细说明。需要注意的，该技术问题仅是示例性的，目的不在于限制本发明的应用。

本发明提供一种农作物异常检测系统，如图1所示，包括：图像采集设备、图像处理设备、农作物图像特征库、特征对比设备；

其中，图像采集设备用于根据预定多个不同位置采集标准农作物图像，该图像包括农作物生长过程的前、中、后期的正常范围内的图像，并存储在所述农作物图像特征库中作为参考图像。

所述多个不同位置是指某一具体农作物需要检测的各个部分，如根、主干部分、果实、叶等，或者是该农作物从下到上不同分段的位置区域。

采集的所述标准农作物图像为一个或者多个不同角度拍摄的图像，为了避免光线或者观察角度的影响，通常采集3-5个不同角度的图像。

所述正常范围内的图像是指图像采集设备采集的每个时期农作物生长状态符合要求的位置的图像。

所述图像采集设备还用于在上述三个时期的每一个，采集当前农作物多个不同位置的图像。

所述图像采集设备根据每一个时期具体农作物的不同特点，采集与上述参考图像相同位置，且相同角度的多个图像，将该图像作为待检测图像。

图像处理设备用于将采集的多个图像进行预处理，并提取农作物图像中边缘特征。

所述预处理包括图像增强、锐化、白平衡校正等，还包括提取农作物对应待检测部分的图像，由于通常采集的都是近景或者特写图像，即提取图像中面积最大目标区域。

所述边缘特征为利用sobel等常用的算子进行农作物特定部分的边缘提取，该方式属于现有技术，在此不作赘述。

图像处理设备还用于获取采集的多个图像的农作物区域颜色序列。

所述区域颜色序列是指将农作物图像分为N*N的分块，其中N为大于1的自然数。随后，计算每一个分块中各个点颜色值，并进行统计排序，得到数量最多的3个颜色值作为该分块的颜色序列中的参数。

特征对比设备用于从农作物图像特征库中获取该农作物对应时期的多个不同位置的标准农作物图像，并提取图像中的边缘特征。

上述标准农作物图像是预先存储在农作物图像特征库中的，且与所述图像采集设备采集的待检测的多个图像相同位置和角度的多个参考图像。

特征对比设备还用于将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比。

针对每一组图像的比较结果，如果匹配不成功，则认为当前农作物出现异常。这样所述图像处理设备和所述特征对比设备不必进行图像分块和颜色值计算，就可以进行异常通知，从而减少了整个过程的计算量。

如果匹配成功，则所述特征对比设备提取该参考图像的农作物区域颜色序列，同时，所述图像处理设备提取该待检测图像的农作物区域颜色序列，并将两个农作物区域颜色序列比较，如果匹配不成功，则认为当前农作物出现异常；如果匹配成功，则进行下一个待检测图像匹配。

所述特征对比设备将多个待检测图像的每一个与对应的参考图像比较完成后，如果全部匹配成功，则认为当前农作物生长正常。

下面将通过具体案例详细描述农作物异常检测系统工作原理。

在农作物生长中期，为了尽早发现问题，通过上述农作物异常检测系统进行农作物图像采集和检测，来确定当前农作物生长是否出现异常。

所述农作物图像特征库中预先存储各种农作物在前、中、后期多个位置多角度参考图像，所述参考图像都是农作物正常生长的图像。

所述图像采集设备根据农作物具体品种进行相应位置的图像采集，并将图像发送到所述图像处理设备。具体地，如根茎类作物，对生长初期或者未成熟的根部作物进行图像采集，而且通常为球体、圆柱体或者其他立体形状，所以可以从俯视、正面和背面进行3个角度的图像采集；如叶状作物，对枝干上的叶或者茎干部分进行图像采集，对于叶进行前后2个角度的图像采集即可，对于圆柱形的茎干可以按照一定角度间隔采集多个图像。

所述图像处理设备对接收到的多个待检测图像进行滤波、增强等常规处理后，提取图像中农作物目标位置区域，如根部果蔬、叶子、花朵、果实等，这样可以避免图像中其它物体的干扰。

所述图像处理设备随后对提取的多个区域图像进行边缘提取，即利用常规的算子进行目标轮廓以及主要纹理的识别和提取，得到具有相对完整的纹理的多个目标边缘图像，并将该多个目标边缘图像发送到所述特征对比设备。具体为：如茎干边缘，除了轮廓外还包括表皮横竖纹理；如瓜果类边缘，还可以包括表皮常规图案边缘；如叶子，还可以包括叶面上的脉络等。

所述特征对比设备接收到多个目标边缘图像后，从所述农作物图像特征库中获取每一个目标边缘对应位置和角度的参考图像。随后，所述特征对比设备将每一个参考图像进行边缘特征提取，得到多个参考边缘图像。

所述特征对比设备随后将每一个目标边缘图像与对应的一个参考边缘图像进行对比，得到匹配结果，并根据匹配结果进行后续处理。

具体为：如果匹配结果为不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端；如果匹配结果为成功，则对该参考边缘图像对应的参考图像进行分块以及针对每一个分块计算农作物区域颜色序列，同时，通知所述图像处理设备对目标边缘图像对应的待检测图像进行基于相同方式的分块以及针对每一个分块计算农作物区域颜色序列。随后，所述图像处理设备将每一个分块的颜色序列数据发送到所述特征对比设备。

上述分块方法具体为：根据图像中目标的具体种类提供不同的分块方式，例如对于单色目标图像，进行2*2或者3*3等少量分块模式；如对于多色目标图像，则需要根据颜色分布复杂程度，进行N*N等大量分块模式，N为大于3的自然数。

上述针对每一个分块计算农作物区域颜色序列方法具体为：根据每一个分块中颜色复杂程度，确定在该分块中对于颜色的统计排序中提取前几个颜色值。例如首先对分块中每一个像素的颜色值按照数量进行统计排列，对于少于等于3种颜色的分块，仅提取数量排在前1-2个的颜色值；对于3-5中颜色的分块，提取数量排在前2-3个的颜色值；而对于大于5种颜色的分块，提取数量排在前3或者更多个的颜色值。最后，将提取的一个或者多个颜色值前后排列形成该分块的农作物区域颜色序列。

所述特征对比设备将接收到的每一个分块的农作物区域颜色序列与计算得到的对应分块的农作物区域颜色序列进行对比，如果匹配成功，则认为该待检测图像通过检测，并通知所述图像处理设备进行下一个待检测图像进行处理。如果匹配不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端。

所述特征对比设备将每一个待检测图像都进行匹配，并匹配结果为全部成功，则认为该农作物生长正常，并向外部控制终端发出通知。

本发明还提供一种农作物异常检测方法，具体为在农作物生长中期，为了尽早发现问题，通过上述农作物异常检测系统进行农作物图像采集和检测，来确定当前农作物生长是否出现异常。

如图2所示，包括如下步骤：

1、预先存储各种农作物在前、中、后期多个位置多角度参考图像，所述参考图像都是农作物正常生长的图像。

具体为：根据农作物具体品种进行相应位置的图像采集，并将图像发送到所述图像处理设备。例如，根茎类作物，对生长初期或者未成熟的根部作物进行图像采集，而且通常为球体、圆柱体或者其他立体形状，所以可以从俯视、正面和背面进行3个角度的图像采集；例如，叶状作物，对枝干上的叶或者茎干部分进行图像采集，对于叶进行前后2个角度的图像采集即可，对于圆柱形的茎干可以按照一定角度间隔采集多个图像。

2、对接收到的多个待检测图像进行滤波、增强等常规处理后，提取图像中农作物目标位置区域。

所述目标位置区域可以是根部果蔬、叶子、花朵、果实等，这样可以避免图像中其它物体的干扰。

3、对提取的多个区域图像进行边缘提取，即利用常规的算子进行目标轮廓以及主要纹理的识别和提取，得到具有相对完整的纹理的多个目标边缘图像，并将该多个目标边缘图像发送到所述特征对比设备。

具体为：如茎干边缘，除了轮廓外还包括表皮横竖纹理；如瓜果类边缘，还可以包括表皮常规图案边缘；如叶子，还可以包括叶面上的脉络等。

4、接收到多个目标边缘图像后，从所述农作物图像特征库中获取每一个目标边缘对应位置和角度的参考图像，随后，将每一个参考图像进行边缘特征提取，得到多个参考边缘图像。

5、将每一个目标边缘图像与对应的一个参考边缘图像进行对比，得到匹配结果，并根据匹配结果进行后续处理。

具体为：如果匹配结果为不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端；如果匹配结果为成功，则对该参考边缘图像对应的参考图像进行分块以及针对每一个分块计算农作物区域颜色序列，同时，通知所述图像处理设备对目标边缘图像对应的待检测图像进行基于相同方式的分块以及针对每一个分块计算农作物区域颜色序列。随后，所述图像处理设备将每一个分块的颜色序列数据发送到所述特征对比设备。

上述分块方法具体为：根据图像中目标的具体种类提供不同的分块方式，例如对于单色目标图像，进行2*2或者3*3等少量分块模式；如对于多色目标图像，则需要根据颜色分布复杂程度，进行N*N等大量分块模式，N为大于3的自然数。

上述针对每一个分块计算农作物区域颜色序列方法具体为：根据每一个分块中颜色复杂程度，确定在该分块中对于颜色的统计排序中提取前几个颜色值。例如首先对分块中每一个像素的颜色值按照数量进行统计排列，对于少于等于3种颜色的分块，仅提取数量排在前1-2个的颜色值；对于3-5中颜色的分块，提取数量排在前2-3个的颜色值；而对于大于5种颜色的分块，提取数量排在前3或者更多个的颜色值。最后，将提取的一个或者多个颜色值前后排列形成该分块的农作物区域颜色序列。

6、将接收到的每一个分块的农作物区域颜色序列与计算得到的对应分块的农作物区域颜色序列进行对比，如果匹配成功，则认为该待检测图像通过检测，并通知所述图像处理设备进行下一个待检测图像进行处理；如果匹配不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端。

7、将每一个待检测图像都进行匹配，并匹配结果为全部成功，则认为该农作物生长正常，并向外部控制终端发出通知。

以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。

例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。

在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。

以上虽然结合附图详细描述了本公开的实施例，但是应当明白，上面所描述的实施方式只是用于说明本公开，而并不构成对本公开的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本公开的实质和范围。因此，本公开的范围仅由所附的权利要求及其等效含义来限定。

Claims (5)

1.一种农作物异常检测系统，包括：图像采集设备、图像处理设备、农作物图像特征库、特征对比设备；所述图像采集设备用于根据预定多个不同位置采集标准农作物图像，并存储在所述农作物图像特征库中作为参考图像；所述图像采集设备还用于在农作物生长过程的前、中、后期的每一个，采集当前农作物多个不同位置的图像；所述图像采集设备根据每一个时期具体农作物的不同特点，采集与上述参考图像相同位置，且相同角度的多个图像，将该图像作为待检测图像；所述图像处理设备用于将采集的多个图像进行预处理，并提取农作物图像中边缘特征；所述图像处理设备还用于获取采集的多个图像的农作物区域颜色序列；所述特征对比设备用于从农作物图像特征库中获取该农作物对应时期的多个不同位置的标准农作物图像，并提取图像中的边缘特征；所述特征对比设备还用于将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比；所述特征对比设备将多个待检测图像的每一个与对应的参考图像比较完成后，如果全部匹配成功，则认为当前农作物生长正常；所述图像采集设备在图像采集过程中，根茎类作物，从俯视、正面和背面进行3个角度的图像采集；叶状作物，对于叶进行前后2个角度的图像采集，对于圆柱形的茎干按照一定角度间隔采集多个图像；所述特征对比设备还用于将接收的待检测图像的边缘特征依次与从参考图像中提取的边缘特征进行对比，具体为：针对每一组图像的比较结果，如果匹配不成功，则认为当前农作物出现异常；如果匹配成功，则所述特征对比设备提取该参考图像的农作物区域颜色序列，同时，所述图像处理设备提取该待检测图像的农作物区域颜色序列，并将两个农作物区域颜色序列比较，如果匹配不成功，则认为当前农作物出现异常；如果匹配成功，则进行下一个待检测图像匹配。

2.根据权利要求1所述的系统，其特征在于，所述标准农作物图像包括农作物生长过程的前、中、后期的正常范围内的图像。

3.根据权利要求1所述的系统，其特征在于，采集的所述标准农作物图像为一个或者多个不同角度拍摄的图像。

4.根据权利要求1所述的系统，其特征在于，所述区域颜色序列是指将农作物图像分为N*N的分块，其中N为大于1的自然数，随后，计算每一个分块中各个点颜色值，并进行统计排序，得到数量最多的3个颜色值作为该分块的颜色序列中的参数。

5.一种农作物异常检测方法，具体步骤为：(1)、预先存储各种农作物在前、中、后期多个位置多角度参考图像，所述参考图像都是农作物正常生长的图像；(2)、对接收到的多个待检测图像进行滤波、增强处理后，提取图像中农作物目标位置区域；(3)、对提取的多个区域图像进行边缘提取，得到具有相对完整的纹理的多个目标边缘图像，并将该多个目标边缘图像发送到特征对比设备；(4)、接收到多个目标边缘图像后，从农作物图像特征库中获取每一个目标边缘对应位置和角度的参考图像，将每一个参考图像进行边缘特征提取，得到多个参考边缘图像；(5)、将每一个目标边缘图像与对应的一个参考边缘图像进行对比，得到匹配结果，并根据匹配结果进行后续处理；(6)、将接收到的每一个分块的农作物区域颜色序列与计算得到的对应分块的农作物区域颜色序列进行对比，如果匹配成功，则认为该待检测图像通过检测，并通知图像处理设备进行下一个待检测图像进行处理；如果匹配不成功，则认为该农作物存在异常，并发出警示信号，或者将异常信息发送到外部控制终端；(7)、将每一个待检测图像都进行匹配，并匹配结果为全部成功，则认为该农作物生长正常，并向外部控制终端发出通知；

步骤（1）具体为根据农作物具体品种进行相应位置的图像采集，根茎类作物，从俯视、正面和背面进行3个角度的图像采集；叶状作物，对于叶进行前后2个角度的图像采集，对于圆柱形的茎干按照一定角度间隔采集多个图像。

Images