CN111476129A - 一种基于深度学习的土壤杂质检测方法 - Google Patents
一种基于深度学习的土壤杂质检测方法 Download PDFInfo
- Publication number
- CN111476129A CN111476129A CN202010231757.7A CN202010231757A CN111476129A CN 111476129 A CN111476129 A CN 111476129A CN 202010231757 A CN202010231757 A CN 202010231757A CN 111476129 A CN111476129 A CN 111476129A
- Authority
- CN
- China
- Prior art keywords
- data
- picture
- training
- network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 239000002689 soil Substances 0.000 title claims abstract description 17
- 239000012535 impurity Substances 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Abstract
本发明涉及目标检测的技术领域，特别是涉及一种基于深度学习的土壤杂质检测方法，其利用基于分类的目标检测深度学习方法，对土壤中的杂质进行位置标注及分类；包括以下步骤：(1)数据集制作；(2)数据增强；(3)数据集；(4)数据预处理；(5)设计深度卷积网络结构；(6)训练过程；(7)验证过程；(8)测试过程。
Description
技术领域
本发明涉及目标检测的技术领域，特别是涉及一种基于深度学习的土壤杂质检测方法。
背景技术
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。
目前土壤杂质检测技术主要针对土壤中所含成分的分析，一般都是进行化学实验得到土壤中所含成分。而针对农用机方面，为避免对机器的损坏，所以对土壤中的石头等大目标杂质检测是有一定必要性的。
传统的计算机视觉问题的解决思路：图像——预处理——人工特征提取——分类。大部分研究集中在人工特征的构造和分类算法上，涌现了很多杰出的工作。但存在的问题是人工设计的特征可能适用性并不强，或者说泛华能力较弱，一类特征可能针对某类问题比较好，其他问题就效果甚微。目前主流的深度学习解决思路：通过深度学习算法，进行端到端的解决，即输入图像到输出任务结果进一步完成。但其实内部还是分阶段进行的，通常是图像——特征提取网络——分类、回归。
发明内容
为解决上述技术问题，本发明提供一种基于深度学习的土壤杂质检测方法，其利用基于分类的目标检测深度学习方法，对土壤中的杂质进行位置标注及分类。
本发明的一种基于深度学习的土壤杂质检测方法，包括以下步骤：
(1)数据集制作：由于在相关数据集库没有已有的数据进行实验，对实际的土地进行拍照，获取一定数量的图片；
(2)数据增强：在取得图片的基础上，对已经获得的图像进行旋转90°、180°和270°，操作后的图像数量增加至原来的4倍，使得训练后的目标检测网络模型鲁棒性得到提升，由于农机在操作时，季节、时间具有不确定性，所以对同一土地，要采集不同环境下的图像，例如光照不同、季节不同等；
(3)数据集：目标检测数据集的制作相对于其他数据集来说制作复杂，选用Labllmg工具进行对目标的标注，将图像与标注目标后的图像命名一致，数据集包括训练集、验证集和测试集，训练集是用于模型拟合的数据样本；验证集是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估；测试集是用来评估模型最终的泛化能力，但不能作为调参、选择特征等算法相关的选择的依据；
(4)数据预处理：数据预处理这一操作在深度学习中是非常重要以及必要的过程，对训练集和验证集进行预处理操作；
(5)设计深度卷积网络结构：选用SSD网络，模型的输入图片大小是300×300，损失函数定义为位置误差(locatizationloss,loc)与置信度误差(confidence loss,conf)：
其中N是先验框的正样本数量，这里
为一个指示参数，当
时表示第i个先验框与第j个groundtruth匹配，并且ground truth的类别为p，C为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数，对于位置误差，其采用Smooth L1 loss，定义如下：
对于置信度误差，其采用softmax loss：
权重系数α通过交叉验证设置为1；
(6)训练过程：在训练过程中，首先要确定训练图片中的ground truth与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它；
(7)验证过程：将网络训练完成后，把未标注的图片输入网络，得到标注好图片目标的图片，然后根据损失函数对网络超参进行调整，使网络性能得到提升；
(8)测试过程：在不改变超参的情况下，对网络进行测试，得到图像的位置信息，以及分类信息。
本发明的一种基于深度学习的土壤杂质检测方法，所述步骤(4) 中：训练集和验证集预处理操作包括以下步骤
a.训练集预处理：I.将图片从RGB编码转换到[0，1]；II.进行随机切片，转换边界框的值并筛选(以切片作为基准，转换边界框的值，并去除与切片重合值小于一定阈值的边界框)；III.对获取的图片进行resize(因为边界框都是相对值，处于[0，1]，所以这一步并不需要处理)；IV.进行随机水平镜像，并转换边界框的值；V.将像素数据从[0，1]重新转换到RGB编码，并减去图像中RGB的平均数；
b.验证集预处理：I.对RGB编码图片减去RGB平均值；II.在边界框中添加一个[0，0，1,1]的记录，后续通过该记录获取输出图片； III.对图片进行resize，并修改边界框的值。
与现有技术相比本发明的有益效果为：第一、本发明应用的卷积神经网络，是实现目标检测中效果较好的，具有一定的普适性；第二、本发明可以利用GPU进行加速计算，完成无人机进行土壤杂质的实时检测。
附图说明
图1是本发明的流程示意图；
图2是设计的深度卷积神经网络的网络结构图；
图3是测试阶段的结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1至图3所示，本发明的一种基于深度学习的土壤杂质检测方法,包括以下步骤：(1)数据集制作：由于在相关数据集库没有已有的数据进行实验，对实际的土地进行拍照，获取一定数量的图片；
(2)数据增强：在取得图片的基础上，对已经获得的图像进行旋转90°、180°和270°，操作后的图像数量增加至原来的4倍，使得训练后的目标检测网络模型鲁棒性得到提升，由于农机在操作时，季节、时间具有不确定性，所以对同一土地，要采集不同环境下的图像，例如光照不同、季节不同等；
(3)数据集：目标检测数据集的制作相对于其他数据集来说制作复杂，选用Labllmg工具进行对目标的标注，将图像与标注目标后的图像命名一致，数据集包括训练集、验证集和测试集，训练集是用于模型拟合的数据样本；验证集是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估；测试集是用来评估模型最终的泛化能力，但不能作为调参、选择特征等算法相关的选择的依据；
(4)数据预处理：数据预处理这一操作在深度学习中是非常重要以及必要的过程，对训练集和验证集进行预处理操作；
a.训练集预处理：I.将图片从RGB编码转换到[0，1]；II.进行随机切片，转换边界框的值并筛选(以切片作为基准，转换边界框的值，并去除与切片重合值小于一定阈值的边界框)；III.对获取的图片进行resize(因为边界框都是相对值，处于[0，1]，所以这一步并不需要处理)；IV.进行随机水平镜像，并转换边界框的值；V.将像素数据从[0，1]重新转换到RGB编码，并减去图像中RGB的平均数；
b.验证集预处理：I.对RGB编码图片减去RGB平均值；II.在边界框中添加一个[0，0，1,1]的记录，后续通过该记录获取输出图片； III.对图片进行resize，并修改边界框的值。
(5)设计深度卷积网络结构：选用SSD网络，模型的输入图片大小是300×300，损失函数定义为位置误差(locatizationloss,loc)与置信度误差(confidence loss,conf)：
其中N是先验框的正样本数量，这里
为一个指示参数，当
时表示第i个先验框与第j个groundtruth匹配，并且ground truth的类别为p，C为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数，对于位置误差，其采用Smooth L1 loss，定义如下：
对于置信度误差，其采用softmax loss：
权重系数α通过交叉验证设置为1；
(6)训练过程：在训练过程中，首先要确定训练图片中的ground truth与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它；
(7)验证过程：将网络训练完成后，把未标注的图片输入网络，得到标注好图片目标的图片，然后根据损失函数对网络超参进行调整，使网络性能得到提升；
(8)测试过程：在不改变超参的情况下，对网络进行测试，得到图像的位置信息，以及分类信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (2)
1.一种基于深度学习的土壤杂质检测方法，其特征在于，包括以下步骤：
(1)数据集制作：由于在相关数据集库没有已有的数据进行实验，对实际的土地进行拍照，获取一定数量的图片；
(2)数据增强：在取得图片的基础上，对已经获得的图像进行旋转90°、180°和270°，操作后的图像数量增加至原来的4倍，使得训练后的目标检测网络模型鲁棒性得到提升，由于农机在操作时，季节、时间具有不确定性，所以对同一土地，要采集不同环境下的图像，例如光照不同、季节不同等；
(3)数据集：目标检测数据集的制作相对于其他数据集来说制作复杂，选用Labllmg工具进行对目标的标注，将图像与标注目标后的图像命名一致，数据集包括训练集、验证集和测试集，训练集是用于模型拟合的数据样本；验证集是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估；测试集是用来评估模型最终的泛化能力，但不能作为调参、选择特征等算法相关的选择的依据；
(4)数据预处理：数据预处理这一操作在深度学习中是非常重要以及必要的过程，对训练集和验证集进行预处理操作；
(5)设计深度卷积网络结构：选用SSD网络，模型的输入图片大小是300×300，损失函数定义为位置误差与置信度误差：
其中N是先验框的正样本数量，这里
为一个指示参数，当
时表示第i个先验框与第j个groundtruth匹配，并且ground truth的类别为p，C为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数，对于位置误差，其采用Smooth L1 loss，定义如下：
对于置信度误差，其采用softmax loss：
权重系数α通过交叉验证设置为1；
(6)训练过程：在训练过程中，首先要确定训练图片中的ground truth与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它；
(7)验证过程：将网络训练完成后，把未标注的图片输入网络，得到标注好图片目标的图片，然后根据损失函数对网络超参进行调整，使网络性能得到提升；
(8)测试过程：在不改变超参的情况下，对网络进行测试，得到图像的位置信息，以及分类信息。
2.如权利要求1所述的一种基于深度学习的土壤杂质检测方法，其特征在于，所述步骤(4)中：训练集和验证集预处理操作包括以下步骤
a.训练集预处理：I.将图片从RGB编码转换到[0，1]；II.进行随机切片，转换边界框的值并筛选(以切片作为基准，转换边界框的值，并去除与切片重合值小于一定阈值的边界框)；III.对获取的图片进行resize(因为边界框都是相对值，处于[0，1]，所以这一步并不需要处理)；IV.进行随机水平镜像，并转换边界框的值；V.将像素数据从[0，1]重新转换到RGB编码，并减去图像中RGB的平均数；
b.验证集预处理：I.对RGB编码图片减去RGB平均值；II.在边界框中添加一个[0，0，1,1]的记录，后续通过该记录获取输出图片；III.对图片进行resize，并修改边界框的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231757.7A CN111476129A (zh) | 2020-03-27 | 2020-03-27 | 一种基于深度学习的土壤杂质检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231757.7A CN111476129A (zh) | 2020-03-27 | 2020-03-27 | 一种基于深度学习的土壤杂质检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111476129A true CN111476129A (zh) | 2020-07-31 |
Family
ID=71748460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010231757.7A Pending CN111476129A (zh) | 2020-03-27 | 2020-03-27 | 一种基于深度学习的土壤杂质检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476129A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861732A (zh) * | 2021-02-10 | 2021-05-28 | 东北林业大学 | 一种生态环境脆弱区土地监测方法、系统及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009542A (zh) * | 2017-11-01 | 2018-05-08 | 华中农业大学 | 油菜大田环境下杂草图像分割方法 |
| CN108304787A (zh) * | 2018-01-17 | 2018-07-20 | 河南工业大学 | 基于卷积神经网络的道路目标检测方法 |
| US20180330166A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109447979A (zh) * | 2018-11-09 | 2019-03-08 | 哈尔滨工业大学 | 基于深度学习和图像处理算法的目标检测方法 |
| CN109886170A (zh) * | 2019-02-01 | 2019-06-14 | 长江水利委员会长江科学院 | 一种钉螺智能检测识别与统计系统 |
| CN109961024A (zh) * | 2019-03-08 | 2019-07-02 | 武汉大学 | 基于深度学习的小麦田间杂草检测方法 |
| CN110059558A (zh) * | 2019-03-15 | 2019-07-26 | 江苏大学 | 一种基于改进ssd网络的果园障碍物实时检测方法 |
| CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
| US20200025742A1 (en) * | 2016-09-30 | 2020-01-23 | Nec Corporation | Soil estimation device, soil estimation method, and computer-readable recording medium |
| CN110837870A (zh) * | 2019-11-12 | 2020-02-25 | 东南大学 | 基于主动学习的声呐图像目标识别方法 |
-
2020
- 2020-03-27 CN CN202010231757.7A patent/CN111476129A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200025742A1 (en) * | 2016-09-30 | 2020-01-23 | Nec Corporation | Soil estimation device, soil estimation method, and computer-readable recording medium |
| US20180330166A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN108009542A (zh) * | 2017-11-01 | 2018-05-08 | 华中农业大学 | 油菜大田环境下杂草图像分割方法 |
| CN108304787A (zh) * | 2018-01-17 | 2018-07-20 | 河南工业大学 | 基于卷积神经网络的道路目标检测方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109447979A (zh) * | 2018-11-09 | 2019-03-08 | 哈尔滨工业大学 | 基于深度学习和图像处理算法的目标检测方法 |
| CN109886170A (zh) * | 2019-02-01 | 2019-06-14 | 长江水利委员会长江科学院 | 一种钉螺智能检测识别与统计系统 |
| CN109961024A (zh) * | 2019-03-08 | 2019-07-02 | 武汉大学 | 基于深度学习的小麦田间杂草检测方法 |
| CN110059558A (zh) * | 2019-03-15 | 2019-07-26 | 江苏大学 | 一种基于改进ssd网络的果园障碍物实时检测方法 |
| CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
| CN110837870A (zh) * | 2019-11-12 | 2020-02-25 | 东南大学 | 基于主动学习的声呐图像目标识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 夏源: "基于深度学习的图像物体检测与分类" * |
| 苏蒙;李为;: "一种基于SSD改进的目标检测算法" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861732A (zh) * | 2021-02-10 | 2021-05-28 | 东北林业大学 | 一种生态环境脆弱区土地监测方法、系统及装置 |
| CN112861732B (zh) * | 2021-02-10 | 2021-11-02 | 东北林业大学 | 一种生态环境脆弱区土地监测方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287932B (zh) | 基于深度学习图像语义分割的道路阻断信息提取方法 | |
| CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN114037637B (zh) | 一种图像数据增强方法、装置、计算机设备和存储介质 | |
| CN111931581A (zh) | 一种基于卷积神经网络农业害虫识别方法、终端及可读存储介质 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| Ye et al. | An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency | |
| CN115439654A (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 | |
| CN113160239A (zh) | 一种违法用地检测方法及装置 | |
| CN111695560A (zh) | 基于卷积神经网络对农作物病虫害主动定位聚焦的方法 | |
| CN107368847A (zh) | 一种作物叶部病害识别方法及系统 | |
| CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
| CN107230201B (zh) | 基于样本自标定elm的在轨sar图像变化检测方法 | |
| Zhang et al. | Segmentation of apple point clouds based on ROI in RGB images. | |
| CN113887455A (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
| CN112380985A (zh) | 变电站入侵异物实时检测方法 | |
| Leipnitz et al. | The effect of image resolution in the human presence detection: A case study on real-world image data | |
| CN111553925B (zh) | 一种基于fcn的端对端农作物影像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200731 |