CN110222622A - 一种环境土壤检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种环境土壤检测方法及装置，通过获取无人机拍摄到的环境土壤图像集合并提取环境土壤图像集合中每张环境土壤图像的土壤初始区域，并根据预先训练的神经网络模型提取土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测到土壤初始区域中存在误检土壤区域时将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。由此，能够有效控制土壤检测的误解率，避免当出现大量误检土壤图像时影响后续的土壤边界区域比对和识别功能，以降低人工排查的成本。

Description

一种环境土壤检测方法及装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种环境土壤检测方法及装置。

背景技术

目前，加强对环境的土壤的检测很有必要，对环境的土壤检测可指导农民选择合适的肥料来使树苗、庄稼生长的更好，还能开发未知的场地用来种植，使土壤资源得以充分利用。而土壤污染严重的地区，则要加强管理和污染防治，使土壤污染逐步缓解。

目前在土壤检测过程中，如何控制土壤检测的误检率一直是重大难题，当出现大量误检土壤图像时，会极大影响后续的土壤边界区域比对和识别功能，增加人工排查的成本。

发明内容

有鉴于此，本发明实施例的目的在于提供一种环境土壤检测方法及装置，能够有效控制土壤检测的误解率，避免当出现大量误检土壤图像时影响后续的土壤边界区域比对和识别功能，以降低人工排查的成本。

根据本发明实施例的一个方面，提供一种环境土壤检测方法，其特征在于，应用于电子设备，所述方法包括：

获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域；

根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域；

若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

在一种可能的示例中，所述提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域的步骤，包括：

将所述环境土壤图像集合中的每帧图像转换为灰度图像；

提取所述灰度图像的类Haar特征；

利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到对应的土壤初始区域。

在一种可能的示例中，所述神经网络模型包括依次连接的基础卷积特征提取网络和神经卷积特征提取网络，所述根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域的步骤，包括：

将所述土壤初始区域输入到所述神经网络模型中，通过所述基础卷积特征提取网络提取所述土壤初始区域中土壤边界的关键特征点；

通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

在一种可能的示例中，所述通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征的步骤，包括：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

在一种可能的示例中，所述根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域的步骤，包括：

将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征；

根据所述合并后的深度特征检测所述土壤初始区域中是否存在误检土壤区域，输出误检判断结果。

在一种可能的示例中，所述方法还包括：

训练所述神经网络模型；

所述训练所述神经网络模型的方式，包括：

配置所述神经网络模型的网络结构，其中，所述网络结构包括基础卷积特征提取网络和神经卷积特征提取网络，所述基础卷积特征提取网络用于提取土壤初始区域中的关键特征点，所述神经卷积特征提取网络用于提取每个关键特征点对应区域的深度特征，所述神经卷积特征提取网络包括与所述基础卷积特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的神经网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述神经网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括土壤边界区域图像数据集和非土壤边界区域图像数据集，所述损失函数值的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

i、j分别表示数据序号；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值，所述反向梯度值对应的计算公式为：

其中，表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

根据所述反向梯度值，利用链式导数传导法计算所述神经网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述神经网络模型的网络权重参数，并基于更新所述网络权重参数后的神经网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的神经网络模型，其中，所述基础卷积特征提取网络和神经卷积特征提取网络共享所述网络权重参数。

根据本发明的另一方面，提供一种环境土壤检测装置，应用于电子设备，所述装置包括：

获取模块，用于获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域；

提取检测模块，用于根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域；

移除标记模块，用于若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

根据本发明实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行上述的环境土壤检测方法的步骤。

相较于现有技术而言，本发明实施例提供的环境土壤检测方法及装置，通过获取无人机拍摄到的环境土壤图像集合并提取环境土壤图像集合中每张环境土壤图像的土壤初始区域，并根据预先训练的神经网络模型提取土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测到土壤初始区域中存在误检土壤区域时将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。由此，能够有效控制土壤检测的误解率，避免当出现大量误检土壤图像时影响后续的土壤边界区域比对和识别功能，以降低人工排查的成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出了本发明实施例所提供的电子设备的组件示意图；

图2示出了本发明实施例所提供的环境土壤检测方法的流程示意图；

图3示出了本发明实施例所提供的环境土壤检测装置的功能模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1示出了本申请实施例所提供的电子设备100的示例性组件示意图。电子设备100可以包括一个或多个处理器104，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。电子设备100还可以包括任何存储介质106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储介质106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储介质都可以使用任何技术来存储信息。进一步地，任何存储介质可以提供信息的易失性或非易失性保留。进一步地，任何存储介质可以表示电子设备100的固定或可移除部件。在一种情况下，当处理器104执行被存储在任何存储介质或存储介质的组合中的相关联的指令时，电子设备100可以执行相关联指令的任一操作。电子设备100还包括用于与任何存储介质交互的一个或多个驱动单元108，诸如硬盘驱动单元、光盘驱动单元等。

电子设备100还包括输入/输出110(I/O)，其用于接收各种输入(经由输入单元112)和用于提供各种输出(经由输出单元114))。一个具体输出机构可以包括呈现设备116和相关联的图形用户接口(GUI)118。电子设备100还可以包括一个或多个网络接口120，其用于经由一个或多个通信单元122与其他设备交换数据。一个或多个通信总线124将上文所描述的部件耦合在一起。

通信单元122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信单元122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称电子设备100等的任何组合。

图2示出了本发明实施例提供的环境土壤检测方法的流程示意图，该环境土壤检测方法可由图1中所示的电子设备100执行，该环境土壤检测方法的详细步骤介绍如下。

步骤S110，获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域。

步骤S120，根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

步骤S130，若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

基于上述设计，本实施例提供的环境土壤检测方法，能够有效控制土壤检测的误解率，避免当出现大量误检土壤图像时影响后续的土壤边界区域比对和识别功能，以降低人工排查的成本

在一种可能的示例中，针对步骤S110，可以将所述环境土壤图像集合中的每帧图像转换为灰度图像，并提取所述灰度图像的类Haar特征，而后利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到对应的土壤初始区域。

在一种可能的示例中，针对步骤S120，所述神经网络模型可包括依次连接的基础卷积特征提取网络和神经卷积特征提取网络，在实际实施时，可以将所述土壤初始区域输入到所述神经网络模型中，通过所述基础卷积特征提取网络提取所述土壤初始区域中土壤边界的关键特征点，然后通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征，最后根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

可选地，通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征的方式可以是：分别通过每个卷积层组合提取每个关键特征点对应区域的特征图，而后通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征，最后将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

可选地，在前述描述的基础上，根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域的方式可以是：将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征，而后根据所述合并后的深度特征检测所述土壤初始区域中是否存在误检土壤区域，输出误检判断结果。

下面列出一个详细的示例，对上述神经网络模型的训练过程进行示例性阐述。

首先，配置所述神经网络模型的网络结构。其中，所述网络结构包括基础卷积特征提取网络和神经卷积特征提取网络，所述基础卷积特征提取网络用于提取土壤初始区域中的关键特征点，所述神经卷积特征提取网络用于提取每个关键特征点对应区域的深度特征，所述神经卷积特征提取网络包括与所述基础卷积特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中。

然后，对配置好的上述网络结构的神经网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述神经网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括土壤边界区域图像数据集和非土壤边界区域图像数据集，所述损失函数值的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

i、j分别表示数据序号；

然后，根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值，所述反向梯度值对应的计算公式为：

其中，表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

然后，根据所述反向梯度值，利用链式导数传导法计算所述神经网络模型的网络权重参数的偏导数。

最后，基于所述偏导数更新所述神经网络模型的网络权重参数，并基于更新所述网络权重参数后的神经网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的神经网络模型，其中，所述基础卷积特征提取网络和神经卷积特征提取网络共享所述网络权重参数。

如此，通过本申请训练得到的神经网络模型，可以有效提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

图3示出了本发明实施例提供的环境土壤检测装置200的功能模块图，该环境土壤检测装置200实现的功能可以对应上述方法执行的步骤。该环境土壤检测装置200可以理解为上述电子设备100，或电子设备100的处理器，也可以理解为独立于上述电子设备100或处理器之外的在电子设备100控制下实现本发明功能的组件，如图3所示，该环境土壤检测装置200可以包括训练模块201、获取模块210、提取检测模块220以及移除标记模块230，下面分别对该环境土壤检测装置200的各个功能模块的功能进行详细阐述。

获取模块210，用于获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域。

提取检测模块220，用于根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

移除标记模块230，用于若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

在一种可能的示例中，所述神经网络模型包括依次连接的基础卷积特征提取网络和神经卷积特征提取网络，所述提取检测模块220具体用于：

将所述土壤初始区域输入到所述神经网络模型中，通过所述基础卷积特征提取网络提取所述土壤初始区域中土壤边界的关键特征点；

通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

在一种可能的示例中，所述提取检测模块220具体用于：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值装置对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

进一步地，所述训练模块201，用于训练所述神经网络模型，具体包括：

配置所述神经网络模型的网络结构，其中，所述网络结构包括基础卷积特征提取网络和神经卷积特征提取网络，所述基础卷积特征提取网络用于提取土壤初始区域中的关键特征点，所述神经卷积特征提取网络用于提取每个关键特征点对应区域的深度特征，所述神经卷积特征提取网络包括与所述基础卷积特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的神经网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述神经网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括土壤边界区域图像数据集和非土壤边界区域图像数据集，所述损失函数值的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

i、j分别表示数据序号；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值，所述反向梯度值对应的计算公式为：

其中，表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

根据所述反向梯度值，利用链式导数传导法计算所述神经网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述神经网络模型的网络权重参数，并基于更新所述网络权重参数后的神经网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的神经网络模型，其中，所述基础卷积特征提取网络和神经卷积特征提取网络共享所述网络权重参数。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种环境土壤检测方法，其特征在于，应用于电子设备，所述方法包括：

获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域；

根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域；

若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

2.根据权利要求1所述的环境土壤检测方法，其特征在于，所述提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域的步骤，包括：

将所述环境土壤图像集合中的每帧图像转换为灰度图像；

提取所述灰度图像的类Haar特征；

利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到对应的土壤初始区域。

3.根据权利要求1所述的环境土壤检测方法，其特征在于，所述神经网络模型包括依次连接的基础卷积特征提取网络和神经卷积特征提取网络，所述根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域的步骤，包括：

将所述土壤初始区域输入到所述神经网络模型中，通过所述基础卷积特征提取网络提取所述土壤初始区域中土壤边界的关键特征点；

通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

4.根据权利要求1所述的环境土壤检测方法，其特征在于，所述通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征的步骤，包括：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

5.根据权利要求4所述的环境土壤检测方法，其特征在于，所述根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域的步骤，包括：

将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征；

根据所述合并后的深度特征检测所述土壤初始区域中是否存在误检土壤区域，输出误检判断结果。

6.根据权利要求1-5中任意一项所述的环境土壤检测方法，其特征在于，所述方法还包括：

训练所述神经网络模型；

所述训练所述神经网络模型的方式，包括：

配置所述神经网络模型的网络结构，其中，所述网络结构包括基础卷积特征提取网络和神经卷积特征提取网络，所述基础卷积特征提取网络用于提取土壤初始区域中的关键特征点，所述神经卷积特征提取网络用于提取每个关键特征点对应区域的深度特征，所述神经卷积特征提取网络包括与所述基础卷积特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的神经网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述神经网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括土壤边界区域图像数据集和非土壤边界区域图像数据集，所述损失函数值的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

i、j分别表示数据序号；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值，所述反向梯度值对应的计算公式为：

其中，表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

根据所述反向梯度值，利用链式导数传导法计算所述神经网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述神经网络模型的网络权重参数，并基于更新所述网络权重参数后的神经网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的神经网络模型，其中，所述基础卷积特征提取网络和神经卷积特征提取网络共享所述网络权重参数。

7.一种环境土壤检测装置，其特征在于，应用于电子设备，所述装置包括：

获取模块，用于获取无人机拍摄到的环境土壤图像集合并提取所述环境土壤图像集合中每张环境土壤图像的土壤初始区域；

提取检测模块，用于根据预先训练的神经网络模型提取所述土壤初始区域中土壤边界的关键特征点，并根据每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域；

移除标记模块，用于若检测到所述土壤初始区域中存在误检土壤区域，则将该误检土壤区域中该张环境土壤图像中移除，并将该张环境土壤图像和拍摄该张环境土壤图像时的拍摄信息进行检测标记，以得到误检优化后的环境土壤图像集合。

8.根据权利要求7所述的环境土壤检测装置，其特征在于，所述神经网络模型包括依次连接的基础卷积特征提取网络和神经卷积特征提取网络，所述提取检测模块具体用于：

将所述土壤初始区域输入到所述神经网络模型中，通过所述基础卷积特征提取网络提取所述土壤初始区域中土壤边界的关键特征点；

通过神经卷积特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征检测所述土壤初始区域中是否存在误检土壤区域。

9.根据权利要求8所述的环境土壤检测装置，其特征在于，所述提取检测模块具体用于：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值装置对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

10.根据权利要求7-9中任意一项所述的环境土壤检测装置，所述装置还包括：

训练模块，用于训练所述神经网络模型，具体包括：

配置所述神经网络模型的网络结构，其中，所述网络结构包括基础卷积特征提取网络和神经卷积特征提取网络，所述基础卷积特征提取网络用于提取土壤初始区域中的关键特征点，所述神经卷积特征提取网络用于提取每个关键特征点对应区域的深度特征，所述神经卷积特征提取网络包括与所述基础卷积特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的神经网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述神经网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括土壤边界区域图像数据集和非土壤边界区域图像数据集，所述损失函数值的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

i、j分别表示数据序号；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值，所述反向梯度值对应的计算公式为：

其中，表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重；

根据所述反向梯度值，利用链式导数传导法计算所述神经网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述神经网络模型的网络权重参数，并基于更新所述网络权重参数后的神经网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的神经网络模型，其中，所述基础卷积特征提取网络和神经卷积特征提取网络共享所述网络权重参数。