CN110363103A - 虫害识别方法、装置、计算机设备及存储介质 - Google Patents

虫害识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110363103A
CN110363103A CN201910549639.8A CN201910549639A CN110363103A CN 110363103 A CN110363103 A CN 110363103A CN 201910549639 A CN201910549639 A CN 201910549639A CN 110363103 A CN110363103 A CN 110363103A
Authority
CN
China
Prior art keywords
image
images
recognized
obtains
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910549639.8A
Other languages
English (en)
Other versions
CN110363103B (zh
Inventor
唐宇
骆少明
庄家俊
侯超钧
郭琪伟
褚璇
苗爱敏
陈亚勇
高升杰
朱耀宗
程至尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN201910549639.8A priority Critical patent/CN110363103B/zh
Publication of CN110363103A publication Critical patent/CN110363103A/zh
Application granted granted Critical
Publication of CN110363103B publication Critical patent/CN110363103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种虫害识别方法、装置、计算机设备及存储介质，所述方法包括：获取待识别图像集；对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息；若待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像；对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果；根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息。该虫害识别方法提高了虫害识别结果的效率和准确度。

Description

虫害识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像识别领域，尤其涉及一种虫害识别方法、装置、计算机设备及存储介质。
背景技术
目前，对于农作物生长繁育过程中的虫害识别主要集中在对拍摄的农作物图片的背景、或者灰度图像的分割处理上。但在实际应用中，受到农田环境因素的影响，例如农作物叶片、杂草、土壤、光照或者图像采集平台背景颜色的影响等，拍摄获得的图片一般具有复杂的背景。针对图像背景颜色分布集中、作物虫害隐藏深、体积小、种类多、形态类似等问题，通常采用基于深度学习的方法进行识别，然而，采用上述方法对虫害环境要求较高，因此，现有的对农作物虫害的识别，识别准确率较低。
发明内容
本发明实施例提供一种虫害识别方法、装置、计算机设备及存储介质，以解决虫害识别效率不高的问题。
一种虫害识别方法，包括：
获取待识别图像集，其中，所述待识别图像集包括至少两幅从不同角度采集的待识别图像；
对所述待识别图像集中的每一所述待识别图像进行图像分割，得到每一所述待识别图像的图像分割信息；
若所述待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据所述图像分割信息将对应的所述待识别图像进行划分，得到M个虫体图像；
对每一所述虫体图像进行分类识别，得到每一所述待识别图像的虫害识别结果；
根据每一所述待识别图像的虫害识别结果组成所述待识别图像集的虫害识别信息。
一种虫害识别装置，包括：
图像集获取模块，用于获取待识别图像集，其中，所述待识别图像集包括至少两幅从不同角度采集的待识别图像；
图像分割信息获取模块，用于对所述待识别图像集中的每一所述待识别图像进行图像分割，得到每一所述待识别图像的图像分割信息；
虫体图像获取模块，用于若所述待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据所述图像分割信息将对应的所述待识别图像进行划分，得到M个虫体图像；
识别结果获取模块，用于对每一所述虫体图像进行分类识别，得到每一所述待识别图像的虫害识别结果；
识别信息获取模块，用于根据每一所述待识别图像的虫害识别结果组成所述待识别图像集的虫害识别信息。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述虫害识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述虫害识别方法。
上述虫害识别方法、装置、计算机设备及存储介质中，首先，获取待识别图像集，其中，待识别图像集包括至少两幅从不同角度采集的待识别图像，使得待识别图像的信息更加丰富且与实际情况更加接近，以便后续的识别结果更加准确；接着，对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息；接下来，当待识别图像集中图像分割信息一致的数量达到预设的数量阈值时，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像，能够提升后续对待识别图像处理的准确性；进而对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果，提高了虫害识别结果的效率和准确度；最后，根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息，使得虫害识别信息更加全面准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的虫害识别方法的应用环境示意图；
图2是本发明实施例提供的虫害识别方法一示例图；
图3是本发明实施例提供的虫害识别方法的另一示例图；
图4是本发明实施例提供的虫害识别方法的另一示例图；
图5是本发明实施例提供的虫害识别方法的另一示例图；
图6是本发明实施例提供的虫害识别方法的另一示例图；
图7是本发明实施例提供的虫害识别方法的另一示例图；
图8是本发明实施例提供的虫害识别方法的另一示例图；
图9是本发明实施例提供的虫害识别装置的一原理框图；
图10是本发明实施例提供的计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的虫害识别方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端接收客户端发送的待识别图像集，其中，待识别图像集包括至少两幅从不同角度采集的待识别图像；然后对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息；若待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像；接着，对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果；最后，根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：
S10：获取待识别图像集，其中，待识别图像集包括至少两幅从不同角度采集的待识别图像。
其中待识别图像集是指由多个待识别图像组成的集合，用于作为进行图像识别的的样本图像集，其中的待识别图像是指需要进行识别的图像。且待识别图像集包括至少两幅从不同角度采集的待识别图像，也即该待识别图像集中的相同种类的待识别图像最少有两幅，且每一幅待识别图像的姿态不同，如一副待识别图像为正面图像，另一幅图像待识别图像为侧面或者背面等。在一个具体实施方式中，对虫害进行采集的平台为一个透明承载平台，虫害可以通过捕获之后输送或者分配到该透明承载平台中，即可以通过图像采集装置进行正面和背景的图像采集。具体地，可以通过动态调整图像采集器的视角拍摄待识别图像以获取至少两幅从不同角度采集的待识别图像。可以理解地，由于待识别图像集包括至少两幅从不同角度采集的待识别图像，使得待识别图像的信息更加丰富且与实际情况更加接近，以便后续的识别结果更加准确，有利于提升识别的准确性和参考性。
S20：对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息。
其中，图像分割是指从待识别图像集中分割出感兴趣的目标区域，在该步骤中，感兴趣的目标区域是指每个待识别图像所在的目标区域，用于对待识别图像集中包含的待识别图像进行定位，进而确定待识别图像集中包含的待识别图像的数量的大小。图像分割信息是指对待识别图像集进行分割后的待识别图像集的信息，如分割后得到的图像区域的数量、位置信息等，用于作为判断图像分割的信息指标。具体地，首先分割出待识别图像集的前景区域和背景区域；然后利用前景区域的颜色、边缘或者纹理等特征将前景区域从背景区域中分离出来，从而获取到一待识别图像的图像分割信息。其中的分割方法可以是边缘检测分割方法，也可以是阈值分割方法，还可以是直接分割方法。通过对待识别图像集中的每一待识别图像进行图像分割，以便对每一待识别图像进行定位，进一步地，还可以根据图像分割后的图像分割信息对待识别图像的分割的准确性进行判断，以便后续提高待识别图像的准确度。
S30：若待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像。
其中，预设的数量阈值是指预先设定的用于确定图像分割准确性的待识别图像数量的临界值。可选地，该数量阈值可以为待识别图像集中的待识别图像的数量的70％、80％或者90％等。图像分割信息可以包括分割区域的数量或者分割区域的位置信息等。而图像分割信息一致可以为分割区域的数量相等和/或者分割区域的位置信息相一致。可以理解地，待识别图像集中图像分割信息一致的数量越接近预设的数量阈值，表明图像分割的准确性越高，进而能够保证后续对分割后的待识别图像识别的准确度。由于每一待识别图像数量一致，区别仅仅在于角度不一致，因此，本实施例中，首先对待识别图像对应的分割信息进行比对，当图像分割信息一致的数量达到预设的数量阈值，表明步骤S20中的图像分割方法准确性高，继续根据分割信息对待识别图像进行划分。具体地，根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像，其中，虫体图像是指待识别图像中的一个个完整的虫害的图像，M是虫体图像的个数。根据图像分割信息将对应的待识别图像进行划分的具体实现过程为：根据图像分割信息中的每一待识别图像的位置，划分出一个区域，确定为一个虫体图像。
容易理解地，通过步骤SS20确定了图像分割信息，然后当待识别图像集中图像分割信息一致的数量达到预设的数量阈值时，根据图像分割信息将对应的待识别图像进行划分，得到虫体图像，能够提升后续对待识别图像处理的准确性。
S40：对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果。
其中，分类识别是指对根据虫体图像的特征进行分类和判别的过程。虫害识别结果是指对虫体图像进行识别后确定的待识别图像的种类的结果。具体地，提取每个虫体图像的图像语义信息，其中的图像语义信息即为图像的底层语义特征语义，如颜色特征、形态特征或者纹理特征等。然后，基于图像语义信息通过分类器进行分类判别，从而能够确定待识别图像的种类，也即虫害识别结果。需要说明的是，本步骤中的分类识别过程是通过提取图像语义信息，由于该图像语义信息能够克服图像由于光照均匀带来的问题，因此，能够克服待识别图像的环境问题导致的是效果不佳的问题，示例性，环境问题包括背景颜色分布集中、作物虫害隐藏深、体积小、种类多、形态类似等问题。因此，本步骤中，通过对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果，提高了虫害识别结果的效率和准确度。
S50：根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息。
其中，虫害识别信息是指待识别图像集中的虫害的种类信息。具体地，将步骤S40中的每一待识别图像的虫害识别结果进行组合，得到待识别图像集的虫害识别信息，使得虫害识别信息更加全面准确。可以理解地，该虫害识别信息能够作为对农作物的虫害的参考信息，以便根据该虫害识别信息进行决策处理和虫害防范，提高农作物的产量。
本实施例中，首先，获取待识别图像集，其中，待识别图像集包括至少两幅从不同角度采集的待识别图像，使得待识别图像的信息更加丰富且与实际情况更加接近，以便后续的识别结果更加准确；接着，对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息；接下来，当待识别图像集中图像分割信息一致的数量达到预设的数量阈值时，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像，能够提升后续对待识别图像处理的准确性；进而对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果，提高了虫害识别结果的效率和准确度；最后，根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息，使得虫害识别信息更加全面准确。
在一实施例中，如图3所示，在步骤S20之后，即在得到每一待识别图像的图像分割信息之后，该虫害识别方法还包括：
S60：若待识别图像集中图像分割信息一致的数量未达到预设的数量阈值，则根据图像分割信息确定不一致区域信息。
其中，不一致区域信息是指待识别图像集中存在的干扰图像识别的信息，例如，待识别图像位置重叠、待识别图像的光照不均匀或者待识别图像颜色与背景颜色较为接近等。具体地，当待识别图像集中图像分割信息一致的数量未达到预设的数量阈值时，则根据图像分割信息确定该不一致区域信息。可以理解地，通过确定出不一致区域信息，以便后续减少不一致区域信息对待识别图像的干扰。
S70：根据不一致区域信息生成并发送提示信息至客户端，以指示客户端根据不一致区域信息重新进行图像采集。
具体地，服务端根据不一致区域信息生成并发送提示信息至客户端，以指示客户端根据不一致区域信息重新进行图像采集。本步骤中，通过不一致区域信息生成并发送提示信息至客户端，指示客户端根据不一致区域信息重新进行图像采集，实现了对待识别图像集中的质量不好的待识别图像的剔除，不仅保证了待识别图像集的质量，也有利于提高后续对待识别图像处理的准确度。
在一个具体实施方式中，在根据不一致区域信息生成并发送提示信息至客户端之后，该虫害识别方法还包括：获取所述客户端返回的区域图像，对所述区域图像进行图像分割、识别等处理过程。具体地图像分割和识别过程可以和步骤S30-步骤S50相似，在此不再赘述。
本实施例中，在待识别图像集中图像分割信息一致的数量未达到预设的数量阈值时，根据图像分割信息确定不一致区域信息，以便后续减少不一致区域信息对待识别图像的干扰；根据不一致区域信息生成并发送提示信息至客户端，以指示客户端根据不一致区域信息重新进行图像采集，不仅保证了待识别图像集的质量，也有利于提高后续对待识别图像处理的准确度。
在一实施例中，如图4所示，步骤S20中，即对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息，包括：
S21：通过HSV颜色模型将每一待识别图像转换成HSV图像，并利用HSV颜色模型中的S通道对HSV图像进行图像增强，得到增强图像。
其中，HSV(hues，saturation，brightness)颜色模型是一种基于颜色直观特性，面向用户且符合人眼辨色特征的颜色模型，该颜色模型中颜色的参数分别是色调(H)，饱和度(S)，明度(V)。其中，HSV图像是指将RGB图像tonguo HSV颜色模型进行转换后的图像。可以理解地，由于HSV颜色模型中颜色参数相关性较小，对光照强度变化不敏感，因此，本实施例中，将待识别图像转换成HSV图像，使得待识别图像对光照变化具有鲁棒性。
进一步地，在得到HSV图像后，利用HSV颜色模型中的S通道对HSV图像进行图像增强，其中S通道表示颜色的饱和度，由于饱和度的差异直接采用该通道对HSV图像进行分割，会导致欠分割现象，因此，本步骤利用S通道对HSV图像进行图像增强，其具体实现过程为：先提取HSV图像的S通道图像，然后将S通道图像转化为RGB空间R和G通道为0的图像表示，得到灰度图像，接着，通过灰度图的补集对灰度图像进行增强，得到增强图像，该增强图像能够明显改变待识别图像与背景的差异，以便后续能够实现对待识别图像集快速且准确的分割。
S22：对增强图像进行去噪处理，得到去噪图像。
其中，去噪处理是指减少数字图像中噪声的过程，用于减少图像处理中的噪声干扰导致的图像处理效率低的问题。
需要说明的是，增强图像中含有面积较小的噪声，如分布在增强图像的背景上的点状噪声或者分布在增强图像上的的孔状噪等，因此本实施例中，通过对增强图像进行去噪处理，减少了噪声对增强图像的干扰。具体地，可以通过滤波器对增强图像进行去噪，也可以通过形态学处理对增强图像进行去噪，还可以通过小波对增强图像进行去噪。优选地，本实施例采用通过形态学处理对增强图像进行去噪。
S23：采用最大类间差分法的分割算法对去噪图像进行分割，得到每一待识别图像的图像分割信息。
其中，最大类间差分法的分割算法(OTSU算法)是一种不受图像亮度和对比度的影响，基于阈值选取的图像分割算法，该图像分割算法是按图像的灰度特性，将图像分成背景和前景两部分。背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。在本步骤中，通过对去噪图像的类之间的最大方差值的判定来确定去噪图像分割的最优阈值，根据该最优阈值对去噪图像进行分割，得到每一待识别图像的图像分割信息。容易理解地，由于最大类间差分法能够保证去噪图像计算得到最优阈值，因此，本步骤中的最大类间差分法的分割算法能够提高图像的分割效果，进而提高了图像分割信息的准确度。
本实施例中，首先，通过HSV颜色模型将每一待识别图像转换成HSV图像，并利用HSV颜色模型中的S通道对HSV图像进行图像增强，得到增强图像，该增强图像能够明显改变待识别图像与背景的差异，以便后续能够实现对待识别图像集快速且准确的分割；然后，对增强图像进行去噪处理，得到去噪图像；最后，采用最大类间差分法的分割算法对去噪图像进行分割，得到每一待识别图像的图像分割信息，提高了图像的分割效果，进而提高了图像分割信息的准确度。
在一实施例中，如图5所示，步骤S22中，对增强图像进行去噪处理，得到去噪图像，具体包括如下步骤：
S221：通过对增强图像进行形态学处理，确定增强图像的孤立前景点和空洞。
其中，形态学处理(mathematical Morphology)是一种图像预处理方法，主要用于从图像中提取对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象最为本质的形状特征，如边界和连通区域等。孤立前景点是指偏离预设像素范围的像素点，空洞是指图像中像素点信息丢失的现象，本实施例中的空洞是指增强图像的遮挡导致的空洞。
具体地，针对增强图像，对图像中预设的像素的邻域进行逻辑运算，先对增强图像进行腐蚀运算，用于消除增强图像中不符合结构元素的像素点，然后采用结构元素为[1；1；1]的线性结构对增强图像进行膨胀和腐蚀，形成了增强图像的孤立前景点和空洞。
S222：对增强图像的孤立前景点进行移除，并对空洞进行填充，得到去噪图像。
具体地，通过matlab中的bwareaopen函数对增强图像的鼓励前景点进行移除，示例性地，BW2＝bwareaopen(BW,P)，该代码中BW表示为增强图像的像素块，P表示为预设的像素值，BW2表示为移除孤立前景点后的图像的像素块。可以通过镜面反射原理对移除孤立前景点后的图像进行填充，即对移除孤立前景点后的图像每行像素进行单独处理，如果存在需要填补遮挡像素，则以连续空洞的最右侧x值为对称轴，将右侧信息镜像填充空洞，可以理解地，本实施例中的图像的虫体是左右对称的，保证了空洞填充的准确性。本步骤中，对增强图像的孤立前景点进行移除，并对空洞进行填充，使得得到的去噪图像具有更准确的信息，提高了去噪图像的质量。
本实施例中，通过对增强图像进行形态学处理，确定增强图像的孤立前景点和空洞；对增强图像的孤立前景点进行移除，并对空洞进行填充，得到去噪图像，使得得到的去噪图像具有更准确的信息，提高了去噪图像的质量。
在一实施例中，如图6所示，步骤S40中，对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果，包括：
S41：提取每一虫体图像的图像语义特征。
其中，图像语义特征是指图像的底层语义特征，如颜色特征、形态特征或者纹理特征等。具体地，采用局部二值模式算法(LBP)提取虫体图像的纹理特征；提取每一虫体图像的颜色矩作为颜色特征；采用尺度不变特征转换算法(SIFT)提取每一虫体图像的形态特征；将每一虫体图像的纹理特征、颜色特征和形态特征组成为图像语义特征。可以理解地，该图像语义特征包含了虫体图像的纹理特征、颜色特征和形态特征，也即虫体图像的图像语义特征中的颜色特征能够克服虫体图像所在背景颜色分布集中的问题，纹理特征能够克服虫害图像种类多的问题，形态特征能够克服虫害图像形态类似等问题，并且该图像语义特征提取过程简单高效，因此，通过提取每一虫体图像的图像语义特征，以便提高虫体图像的特征提取的准确性和效率。
S42：采用深度残差网络对图像语义特征进行分类识别，得到虫害识别结果。
其中，深度残差网络(Residual Networks，ResNet网络)是将残差网络训练深度学习神经网络得到的神经网络，用于基于图像特征进行分类识别。深度残差网络是将输入层和三个卷积层进行叠加得到的跳跃结构来作为网络的的基本结构。所有的卷积层和池化层以及全接连层后面都接一个批量正则化(batch normal)层，不依赖于初始值，可以加快训练速度。基于ResNet网络不同于传统CNN架构逐层堆巧方式的考虑，通过更深层次的CNN模型来进一步区分对于虫体画像颜色相似性、种间相化性、姿态变化问题的分类识别，也即ResNet网络对图像语义特征进行分类识别，提高了虫害识别结果更加准确。
本实施例中，提取每一虫体图像的图像语义特征，以便提高虫体图像的特征提取的准确性和效率；采用深度残差网络对图像语义特征进行分类识别，得到虫害识别结果，提高了虫害识别结果更加准确。
在一实施例中，如图7所示，在步骤S50之后，即在得到每一待识别图像的虫害识别结果之后，该虫害识别方法还包括：
S80：将虫害识别结果进行标记后作为训练样本；
其中，训练样本是指用于进行训练学习的数据。具体地，根据每一虫体图像的虫害识别结果进行种类标记后，作为训练样本。
S90：将训练样本输入到预设的可变型部件模型进行训练，获取虫害检测模型。
其中，可变型部件模型(Deformable part model，DPM)是基于HOG特征的滑动窗口目标检测模型。具体地，训练样本输入到预先设定的可变型部件模型中，在训练过程中，预设的DPM设定了训练的部件个数，在本实施例中，部件个数可以为6；对于训练样本，DPM使用不含隐藏变量的SVM统计训练样本中矩形框大小的值，得到虫害检测模型。可以理解地，通过该虫害检测模型可以克服虫害颜色相似、姿态变化等问题，提高检测效率。
本实施例中，首先，将虫害识别结果进行标记后作为训练样本；：将训练样本输入到预设的可变型部件模型进行训练，获取虫害检测模型，通过该虫害检测模型可以克服虫害颜色相似、姿态变化等问题，提高检测效率。
在一实施例中，如图8所示，步骤S30中，根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像，包括：
S31：计算去噪图像的超像素区域。
其中，超像素区域是指在图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，由于这些小区域保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息，用于根据超像素区域对图像分割。具体地，可以通过基于图论的方法计算去噪图像的超像素区域，其实现过程为：预先设定一个标准图，将去噪图像的每个像素点作为标准图的节点，像素之间的相邻关系对应标准图的边，且边的权重设置为与两节点间相似度成比例的对应的值，从而计算出去噪图像的超像素区域。
S32：对超像素区域构建显著性映射图。
具体地，针对超像素区域，采用局部颜色对比的方法构建显著性映射图。可以理解地，若某种颜色在真个图像中占的比例越小，则该颜色的显著性越高，在去噪图像中，某种颜色越稀有，则越容易引起人类视觉系统的关注，且每个超像素的基于局部颜对比的显著性映射图的表示为：
其中，N表示为超像素的综述，ci表示单个超像素的平均颜色值，pi表示超像素的位置，w为局部对比控制因子，用于衡量pi和pj对应的2个超像素区域在去噪图像内的距离，S(i)即为显著性映射图的表达式。
S33：利用GrabGut算法对显著性映射图进行分割，得到每一虫体图像。
其中，GrabGut算法是一种采用graph cut图分割和最大流技术的一种交互式图像分割算法，用于实现对图像的分割。具体地，GrabGut通过两次迭代完成对显著性映射图，得到每一虫体图像，使得分割得到的虫体图像更加准确，提升了分割效果。
本实施例中，首先，计算去噪图像的超像素区域；然后，对超像素区域构建显著性映射图；最后，利用GrabGut算法对显著性映射图进行分割，得到每一虫体图像，使得分割得到的虫体图像更加准确，提升了分割效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种虫害识别装置，该虫害识别装置与上述实施例中虫害识别方法一一对应。如图9所示，该虫害识别装置包括图像集获取模块10、图像分割信息获取模块20、虫体图像获取模块30、识别结果获取模块40和识别信息获取模块50。各功能模块详细说明如下：
图像集获取模块10，用于获取待识别图像集，其中，待识别图像集包括至少两幅从不同角度采集的待识别图像；
图像分割信息获取模块20，用于对待识别图像集中的每一待识别图像进行图像分割，得到每一待识别图像的图像分割信息；
虫体图像获取模块30，用于若待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据图像分割信息将对应的待识别图像进行划分，得到M个虫体图像；
识别结果获取模块40，用于对每一虫体图像进行分类识别，得到每一待识别图像的虫害识别结果；
识别信息获取模块50，用于根据每一待识别图像的虫害识别结果组成待识别图像集的虫害识别信息。
优选地，该虫害识别装置还包括不一致区域信息确定模块和信息发送模块。
不一致区域信息确定模块，用于若待识别图像集中图像分割信息一致的数量未达到预设的数量阈值，则根据图像分割信息确定不一致区域信息；
信息发送模块，用于根据不一致区域信息生成并发送提示信息至客户端，以指示客户端根据不一致区域信息重新进行图像采集。
优选地，图像分割信息获取模块包括增强图像获取单元、去噪图像获取单元和分割信息获取单元。
增强图像获取单元，用于通过HSV颜色模型将每一待识别图像转换成HSV图像，并利用HSV颜色模型中的S通道对HSV图像进行图像增强，得到增强图像；
去噪图像获取单元，用于对增强图像进行去噪处理，得到去噪图像；
分割信息获取单元，用于采用最大类间差分法的分割算法对去噪图像进行分割，得到每一待识别图像的图像分割信息；
优选地，去噪图像获取单元包括形态学处理处理子单元和去噪图像获取子单元。
形态学处理处理子单元，用于通过对增强图像进行形态学处理，确定增强图像的孤立前景点和空洞；
去噪图像获取子单元，用于对增强图像的孤立前景点进行移除，并对空洞进行虫体填充，得到去噪图像。
优选地，识别结果获取模块包括语义特征提取单元和识别结果获取单元。
语义特征提取单元，用于提取每一虫体图像的图像语义特征；
识别结果获取单元，用于采用深度残差网络对图像语义特征进行分类识别，得到虫害识别结果。
优选地，虫害识别装置还包括样本标记模块和检测模型训练模块。
样本标记模块，用于将虫害识别结果进行标记后作为训练样本；
检测模型训练模块，用于将训练样本输入到预设的可变型部件模型进行训练，获取虫害检测模型。
优选地，虫体图像获取模块包括超像素区域计算单元、映射图构建单元和虫体图像获取单元。
超像素区域计算单元，用于计算去噪图像的超像素区域；
映射图构建单元，用于对超像素区域构建显著性映射图；
虫体图像获取单元，用于利用GrabGut算法对显著性映射图进行分割，得到每一虫体图像。
关于虫害识别装置的具体限定可以参见上文中对于虫害识别方法的限定，在此不再赘述。上述虫害识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储虫害识别方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虫害识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的虫害识别方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的虫害识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虫害识别方法，其特征在于，所述虫害识别方法包括：
获取待识别图像集，其中，所述待识别图像集包括至少两幅从不同角度采集的待识别图像；
对所述待识别图像集中的每一所述待识别图像进行图像分割，得到每一所述待识别图像的图像分割信息；
若所述待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据所述图像分割信息将对应的所述待识别图像进行划分，得到M个虫体图像；
对每一所述虫体图像进行分类识别，得到每一所述待识别图像的虫害识别结果；
根据每一所述待识别图像的虫害识别结果组成所述待识别图像集的虫害识别信息。
2.如权利要求1所述的虫害识别方法，其特征在于，在得到每一所述待识别图像的图像分割信息之后，所述虫害识别方法还包括：
若所述待识别图像集中图像分割信息一致的数量未达到预设的数量阈值，则根据图像分割信息确定不一致区域信息；
根据所述不一致区域信息生成并发送提示信息至客户端，以指示所述客户端根据所述不一致区域信息重新进行图像采集。
3.如权利要求1所述的虫害识别方法，其特征在于，所述对所述待识别图像集中的每一所述待识别图像进行图像分割，得到每一所述待识别图像的图像分割信息，包括：
通过HSV颜色模型将每一所述待识别图像转换成HSV图像，并利用所述HSV颜色模型中的S通道对所述HSV图像进行图像增强，得到增强图像；
对所述增强图像进行去噪处理，得到去噪图像；
采用最大类间差分法的分割算法对所述去噪图像进行分割，得到每一所述待识别图像的所述图像分割信息。
4.如权利要求3所述的虫害识别方法，其特征在于，所述对所述增强图像进行去噪处理，得到去噪图像，包括：
通过对所述增强图像进行形态学处理，确定所述增强图像的孤立前景点和空洞；
对所述增强图像的所述孤立前景点进行移除，并对所述空洞进行虫体填充，得到所述去噪图像。
5.如权利要求1所述的虫害识别方法，其特征在于，所述对每一所述虫体图像进行分类识别，得到每一所述待识别图像的虫害识别结果，包括：
提取每一所述虫体图像的图像语义特征；
采用深度残差网络对所述图像语义特征进行分类识别，得到所述虫害识别结果。
6.如权利要求1所述的虫害识别方法，其特征在于，在所述得到每一所述待识别图像的虫害识别结果之后，所述虫害识别方法还包括：
将所述虫害识别结果进行标记后作为训练样本；
将所述训练样本输入到预设的可变型部件模型进行训练，获取虫害检测模型。
7.如权利要求1所述的虫害识别方法，其特征在于，所述根据所述图像分割信息将对应的所述待识别图像进行划分，得到M个虫体图像，包括：
计算所述去噪图像的超像素区域；
对所述超像素区域构建显著性映射图；
利用GrabGut算法对所述显著性映射图进行分割，得到每一所述虫体图像。
8.一种虫害识别装置，其特征在于，所述基于图像语义的虫害识别装置包括：
图像集获取模块，用于获取待识别图像集，其中，所述待识别图像集包括至少两幅从不同角度采集的待识别图像；
图像分割信息获取模块，用于对所述待识别图像集中的每一所述待识别图像进行图像分割，得到每一所述待识别图像的图像分割信息；
虫体图像获取模块，用于若所述待识别图像集中图像分割信息一致的数量达到预设的数量阈值，则根据所述图像分割信息将对应的所述待识别图像进行划分，得到M个虫体图像；
识别结果获取模块，用于对每一所述虫体图像进行分类识别，得到每一所述待识别图像的虫害识别结果；
识别信息获取模块，用于根据每一所述待识别图像的虫害识别结果组成所述待识别图像集的虫害识别信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述虫害识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虫害识别方法。
CN201910549639.8A 2019-06-24 2019-06-24 虫害识别方法、装置、计算机设备及存储介质 Active CN110363103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549639.8A CN110363103B (zh) 2019-06-24 2019-06-24 虫害识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910549639.8A CN110363103B (zh) 2019-06-24 2019-06-24 虫害识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110363103A true CN110363103A (zh) 2019-10-22
CN110363103B CN110363103B (zh) 2021-08-13

Family

ID=68216819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549639.8A Active CN110363103B (zh) 2019-06-24 2019-06-24 虫害识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110363103B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062436A (zh) * 2019-12-15 2020-04-24 深圳市具安科技有限公司 蟑螂交配行为的分析方法、装置、计算机设备及存储介质
CN111460990A (zh) * 2020-03-31 2020-07-28 青海省草原总站 一种基于大数据的高寒牧区草原虫害监测预警系统及方法
CN111797835A (zh) * 2020-06-01 2020-10-20 深圳市识农智能科技有限公司 一种病症识别方法、病症识别装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596025A (zh) * 2010-06-25 2012-07-18 中国科学院自动化研究所 基于鲁棒统计信息传播的多模态三维磁共振图像脑肿瘤分割方法
CN103177266A (zh) * 2013-04-07 2013-06-26 青岛科技大学 储藏物害虫智能识别系统
CN103903006A (zh) * 2014-03-05 2014-07-02 中国科学院合肥物质科学研究院 一种基于Android平台的农作物害虫识别方法及系统
CN104902228A (zh) * 2015-05-15 2015-09-09 浙江大学 一种基于计算机视觉的害虫实时监控装置及方法
CN106373136A (zh) * 2015-07-22 2017-02-01 崔胡晋 一种基于颜色和特征的害虫识别计数方法
CN107346424A (zh) * 2017-06-30 2017-11-14 成都东谷利农农业科技有限公司 灯诱昆虫识别计数方法及系统
CN109784239A (zh) * 2018-12-29 2019-05-21 上海媒智科技有限公司 飞虫数量识别方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596025A (zh) * 2010-06-25 2012-07-18 中国科学院自动化研究所 基于鲁棒统计信息传播的多模态三维磁共振图像脑肿瘤分割方法
CN103177266A (zh) * 2013-04-07 2013-06-26 青岛科技大学 储藏物害虫智能识别系统
CN103903006A (zh) * 2014-03-05 2014-07-02 中国科学院合肥物质科学研究院 一种基于Android平台的农作物害虫识别方法及系统
CN104902228A (zh) * 2015-05-15 2015-09-09 浙江大学 一种基于计算机视觉的害虫实时监控装置及方法
CN106373136A (zh) * 2015-07-22 2017-02-01 崔胡晋 一种基于颜色和特征的害虫识别计数方法
CN107346424A (zh) * 2017-06-30 2017-11-14 成都东谷利农农业科技有限公司 灯诱昆虫识别计数方法及系统
CN109784239A (zh) * 2018-12-29 2019-05-21 上海媒智科技有限公司 飞虫数量识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHU, LQ ET AL: "Hybrid deep learning for automated lepidopteran insect image classification", 《ORIENT INSECTS》 *
公安部第三研究所: "《多摄像机协同关注目标检测跟踪技术》", 30 June 2017 *
刘子毅: "基于图谱特征分析的农业虫害检测方法研究", 《中国博士学位论文全文数据库农业科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062436A (zh) * 2019-12-15 2020-04-24 深圳市具安科技有限公司 蟑螂交配行为的分析方法、装置、计算机设备及存储介质
CN111062436B (zh) * 2019-12-15 2024-04-16 深圳市具安科技有限公司 蟑螂交配行为的分析方法、装置、计算机设备及存储介质
CN111460990A (zh) * 2020-03-31 2020-07-28 青海省草原总站 一种基于大数据的高寒牧区草原虫害监测预警系统及方法
CN111797835A (zh) * 2020-06-01 2020-10-20 深圳市识农智能科技有限公司 一种病症识别方法、病症识别装置及终端设备
CN111797835B (zh) * 2020-06-01 2024-02-09 深圳市识农智能科技有限公司 一种病症识别方法、病症识别装置及终端设备

Also Published As

Publication number Publication date
CN110363103B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Dorj et al. An yield estimation in citrus orchards via fruit detection and counting using image processing
Wang et al. An adaptive thresholding algorithm of field leaf image
Sun et al. Recognition of green apples in an orchard environment by combining the GrabCut model and Ncut algorithm
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN110363103A (zh) 虫害识别方法、装置、计算机设备及存储介质
CN110222215B (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN109376728A (zh) 一种基于多特征融合和bp神经网络的稻田杂草识别方法及其应用
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
EP3798901A1 (en) Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that use training images obtained by a semi-supervised approach
CN109472193A (zh) 人脸检测方法及装置
WO2021077947A1 (zh) 图像处理方法、装置、设备及存储介质
CN113298023B (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN109190571B (zh) 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
Khedaskar et al. A survey of image processing and identification techniques
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
Xuesong et al. Aphid identification and counting based on smartphone and machine vision
Pham et al. Attribute profiles on derived textural features for highly textured optical image classification
Shuai et al. An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds
Wang et al. Accurate detection and precision spraying of corn and weeds using the improved YOLOv5 model
Hossain et al. A convolutional neural network approach to recognize the insect: A perspective in Bangladesh
CN114170224B (zh) 应用生成式染色归一化的细胞病理分类的系统及方法
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法
Chen et al. Cucumber leaf diseases detection based on an improved faster RCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant