CN110390322B - 一种用于深度学习的籽棉地膜高光谱可视化标签方法 - Google Patents

一种用于深度学习的籽棉地膜高光谱可视化标签方法 Download PDF

Info

Publication number
CN110390322B
CN110390322B CN201910800155.6A CN201910800155A CN110390322B CN 110390322 B CN110390322 B CN 110390322B CN 201910800155 A CN201910800155 A CN 201910800155A CN 110390322 B CN110390322 B CN 110390322B
Authority
CN
China
Prior art keywords
hyperspectral
image
seed cotton
mulching film
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910800155.6A
Other languages
English (en)
Other versions
CN110390322A (zh
Inventor
倪超
李振业
张�雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN201910800155.6A priority Critical patent/CN110390322B/zh
Publication of CN110390322A publication Critical patent/CN110390322A/zh
Application granted granted Critical
Publication of CN110390322B publication Critical patent/CN110390322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种用于深度学习的籽棉地膜高光谱可视化标签方法，属于高光谱成像与深度学习技术领域。利用相邻替代性算法分析光谱的特征谱段，再结合二分法，将图像数据进行降维，生成籽棉地膜的高光谱伪彩色图，并使用框选标记的形式对伪彩色图进行标记，通过二维图像标记对应产生高维光谱的图像标签。本发明将高光谱技术应用于籽棉地膜识别领域，对于彩色相机和黑白相机无法识别的残留的透明地膜，本发明通过高光谱成像仪采集籽棉地膜在1000～2500nm的高光谱图像，进而识别并分类与籽棉具有不同光谱特性的残膜。

Description

一种用于深度学习的籽棉地膜高光谱可视化标签方法
技术领域
本发明属于高光谱成像与深度学习技术领域，具体涉及一种用于深度学习的籽棉地膜高光谱可视化标签方法。
背景技术
我国是棉花生产和消费大国，棉花加工与纺织在国民经济中发挥着重要作用。棉花种植广泛应用了地膜覆盖技术，且棉花的采摘生产机械化程度高，在机械采摘过程中籽棉混杂了大量的地膜，如果清理不彻底，就会随着加工环节进入皮棉，必定会影响纺织品质量和纺织品的染色质量。目前，深度学习是解决机采棉含有的地膜残片的一种有效途径，但深度学习需要大量的标签化的数据，传统的标记方式产生的数据量难以满足机器学习的需求，这成为了深度学习应用于光谱领域的阻碍，因此地膜的清理对新疆棉花产业来说是一个亟待解决的技术难题。
发明内容
针对现有技术中存在的以下问题：混杂籽棉中的地膜识别需要1000～2500nm波段的近红外光谱，这一波段的光人眼不可见，故难以从成像光谱中获得直观感受进行区分，使用深度学习对于光谱进行识别却需要大量人工标记的数据，这与近红外光谱人眼难以区分的问题形成矛盾，使得用户无法直观地对于不可见的高光谱数据进行标记。本发明的目的是提供一种用于深度学习的籽棉地膜高光谱可视化标签方法，将高光谱技术应用于籽棉地膜识别领域，对于彩色相机和黑白相机无法识别的残留的透明地膜，进行识别并分类与籽棉具有不同光谱特性的残膜。
为了解决上述问题，本发明所采用的技术方案如下：
一种用于深度学习的籽棉地膜高光谱可视化标签方法，利用相邻替代性算法分析光谱的特征谱段，再结合二分法，将图像数据进行降维，生成籽棉地膜的高光谱伪彩色图；并使用框选标记与边缘扩散的形式对伪彩色图进行标记；通过二维图像的标记对应产生高维光谱的图像标签。具体包括以下步骤：
(1)获取籽棉地膜的高光谱图像，并对获得的光谱数据进行校正与降噪；
(2)将光谱图像分为三个子数据集D1，D2，D3；对各个数据集内的图片Ii求取可替代性系数ri；ri的计算公式为：
Figure GDA0002407931010000011
式中，Si表示图片的标准差，Ii+1为相邻的下一张光谱图片；
(3)通过二分法将光谱图像中可替代性低于中间值的光谱图片去除；
(4)重复步骤(2)与步骤(3)，直至每个子数据集的图片数减少至1，即为提取出的子数据集的代表性图片；
(5)将每个子数据集的代表性图片对应RGB图像的3个通道，生成籽棉地膜的高光谱伪彩色图；
(6)使用框标记的形式对伪彩色图进行标记，通过二维图像的标记对应产生高维光谱的图像标签；
(7)添加标签后，依据框选区域内的光谱对外进行边缘扩散；
(8)用户决定是否保留扩散区域；用户决定保留扩散区域时，将光谱数据随机打乱并将标签转化为独热编码，从而生成便于神经网络训练的标签化光谱数据。
所述用于深度学习的籽棉地膜高光谱可视化标签方法，利用芬兰SPECIM公司的SWIR系列高光谱成像仪来获取高光谱图像。
所述用于深度学习的籽棉地膜高光谱可视化标签方法，利用高光谱成像仪采集籽棉地膜在1000～2500nm的高光谱图像，并且以5.6nm为一谱段，共采集288个谱段的数据。
所述用于深度学习的籽棉地膜高光谱可视化标签方法，对获得的高光谱数据的校正与降噪，过程如下：通过纯黑帧ID和纯白帧IW进行校正，对于相关数据进行均值化处理，即对于ID和IW在行方向上使用
Figure GDA0002407931010000021
得出
Figure GDA0002407931010000022
和
Figure GDA0002407931010000023
校正后的数据为
Figure GDA0002407931010000024
最后使用SG多项平滑法对于数据进行拟合平滑得出平滑的光谱数据。
所述用于深度学习的籽棉地膜高光谱可视化标签方法，对框选区域进行边缘扩散的过程如下：
首先计算框选区域内的平均梯度，计算公式如下：
Figure GDA0002407931010000025
G(x，y)＝dxi+dyi
dx(i，j)＝p(i+Lj)-p(i，j)
dy(i，j)＝p(i，j+1)-p(i，j)
式中，p(i，j)为第i行第j列个像素点；
其次，通过平均梯度将光谱数据的边缘进行扩散，即测试边缘点p(m，n)的相邻点p(m+1，n+1)的梯度，若梯度小于平均梯度
Figure GDA0002407931010000031
则将改点加入选择范围内；当区域边缘扩散至梯度大于区域内平均梯度时停止。
所述的用于深度学习的籽棉地膜高光谱可视化标签方法，光谱图像按照波长依次划分为三个大小相等的子数据集D1，D2，D3，对各个子数据集内每个波段的图片Ii求取可替代性系数ri。
有益效果：与现有的技术相比，本发明的优点包括：
(1)本发明将高光谱技术应用于籽棉地膜识别领域，对于彩色相机和黑白相机无法识别的残留的透明地膜，本发明通过高光谱成像仪采集籽棉地膜在1000～2500nm的反射光谱图，进而识别并分类与籽棉具有不同光谱特性的残膜。
(2)本发明采用替代性系数法结合二分法去除其中前1/2的可替代性较高的光谱图像，去除后，重复这一过程，直至3个子数据集剩余最后1张光谱图像，对应于RGB通道，将数据由原本的n维降低到3维，分别对应RGB图像的3个通道，产生便于用户观察的伪彩色图像。
(3)使用Qt编写的图形化界面框选出所需的数据集合，结合框选区域的边缘扩散，为用户添加数据的过程提供便利，本发明避免了不断标记单个数据的过程，节省了大量精力。
附图说明
图1是校正后的光谱曲线图；
图2是用户添加标签的过程图；
图3是读取图像数据的过程图；
图4是本发明高光谱可视化标签方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合具体实施例对本发明的具体实施方式做详细的说明。
实施例1
步骤1，采集籽棉地膜的高光谱图像，并数据进行校正与降噪；
利用芬兰SPECIM公司的SWIR系列高光谱成像仪获取籽棉地膜在1000～2500nm的反射光谱图像，5.6nm为一谱段，共采集288个谱段的数据；
通过纯黑帧ID和纯白帧IW进行校正，对于相关数据进行均值化处理，即对于ID，IW在行方向上使用
Figure GDA0002407931010000041
进行处理得出
Figure GDA0002407931010000042
和
Figure GDA0002407931010000043
校正后的数据，最后使用SG多项平滑法对于数据进行拟合平滑得出平滑的光谱数据，实现数据的校正和降噪，光谱校正后的结果如图1所示，从图1中可以看出，校正后的光谱曲线平滑，且幅值在0到1之间，便于神经网络的训练。
步骤(2)～(5)，使用替代性系数法对于数据进行降维；
(2)将光谱图像按照波长依次划分为三个大小相等的子数据集D1，D2，D3。对各个数据集内每个波段的图片Ii求取可替代性系数ri；ri的计算公式为：
Figure GDA0002407931010000044
式中，Si表示图片的标准差，Ii+1为相邻的下一张光谱图像；
(3)通过二分法将光谱图像中可替代性低于中间值的光谱波段去除；
(4)重复步骤(2)与步骤(3)，直至每个子数据集的波段数减少至1，即为提取出的子数据集的代表性波段；
(5)将每个子数据集的代表性图片对应RGB图像的3个通道，生成籽棉地膜的高光谱伪彩色图；
步骤(6)，对于生成的光谱数据的伪彩色图，使用Qt编写的图形化界面框选出所需的数据集合，通过二维图像的标记对应产生高维光谱的图像标签；
步骤(7)，用户对框选区域扩散并添加标签，当区域边缘扩散至梯度大于区域内平均梯度时停止；所有标签保存为XML格式，框选的过程如图2所示；对框选区域进行边缘扩散的过程如下：
首先计算框选区域内的平均梯度，计算公式如下：
Figure GDA0002407931010000045
G(x，y)＝dxi+dyi
dx(i，j)＝p(i+1，j)-p(i，j)
dy(i，j)＝p(i，j+1)-p(i，j)
式中，p(i，j)为第i行第j列个像素点；
其次，通过平均梯度将光谱数据的边缘进行扩散，即测试边缘点p(m，n)的相邻点p(m+1，n+1)的梯度，若梯度小于平均梯度
Figure GDA0002407931010000051
则将改点加入选择范围内；当区域边缘扩散至梯度大于区域内平均梯度时停止。
步骤(8)，将光谱数据随机打乱并将标签转化为独热编码，从而生成便于神经网络训练的标签化光谱数据，读取过程如图3所示。
最后，总结上述步骤，结合图4对本发明的方法流程进行说明。本发明利用高光谱图像，计算各个谱段的可替代性系数，得到特征最为明显的波段产生伪彩色图，用户在伪彩色图上进行标记后进行标记区域扩散，其步骤如下：
(1)对获得的光谱数据进行校正与降噪；
(2)将光谱图像分为三个子数据集D1，D2，D3；对各个数据集内的每张图片Ii求取可替代性系数
(3)通过二分法将光谱图像中可替代性低于中间值的光谱图片去除；
(4)重复求取可替代性系数和剔除光谱波段的步骤，直至每个子数据集的图片数减少至1，即为提取出的子数据集的代表性图片；
(5)将每个子数据集的代表性图片对应RGB图像的3个通道，生成籽棉地膜的高光谱伪彩色图；
(6)用户使用框标记的形式对伪彩色图进行标记，通过二维图像的标记对应产生高维光谱的图像标签；
(7)添加标签后，依据框选区域内的光谱对外进行边缘扩散；
(8)用户决定是否保留扩散区域；用户决定保留扩散区域时，将光谱数据随机打乱并将标签转化为独热编码，从而生成便于神经网络训练的标签化光谱数据。

Claims (6)

1.一种用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，利用相邻替代性算法分析高光谱图像的特征谱段，再结合二分法，将图像数据进行降维，生成籽棉地膜的高光谱伪彩色图；并使用框选标记与边缘扩散的形式对伪彩色图进行标记；通过二维图像标记对应产生高维光谱的图像标签；具体包括以下步骤：
(1)获取籽棉地膜的高光谱图像，并对获得的光谱数据进行校正与降噪；
(2)将光谱图像划分为三个子数据集；对各个子数据集的图片Ii求取可替代性系数ri；ri的计算公式为：
Figure FDA0002407930000000011
式中，Si表示图片Ii的标准差，Ii+1为相邻的下一张光谱图片；
(3)通过二分法将光谱图像中可替代性系数低于中间值的光谱图片去除；
(4)重复步骤(2)与步骤(3)，直至每个子数据集的图片数减少为1，即为提取出的子数据集的代表性图片；
(5)将每个子数据集的代表性图片对应RGB图像的3个通道，生成籽棉地膜的高光谱伪彩色图；
(6)使用框标记的形式对伪彩色图进行标记，通过二维图像的标记对应产生高维光谱的图像标签；
(7)添加标签后，对框选区域进行边缘扩散；
(8)用户决定是否保留扩散区域；用户决定保留扩散区域时，将光谱数据随机打乱并将标签转化为独热编码，生成便于神经网络训练的标签化光谱数据。
2.根据权利要求1所述的用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，利用芬兰SPECIM公司的SWIR系列高光谱成像仪来获取高光谱图像。
3.根据权利要求1所述的用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，利用高光谱成像仪采集籽棉地膜在1000～2500nm的高光谱图像，并且以5.6nm为一谱段，共采集288个谱段的数据。
4.根据权利要求1所述的用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，对获得的高光谱数据进行校正与降噪，过程如下：通过纯黑帧ID和纯白帧IW进行校正，对于相关数据进行均值化处理，即对于ID、IW在行方向上使用
Figure FDA0002407930000000012
得出
Figure FDA0002407930000000013
和
Figure FDA0002407930000000014
校正后的数据为
Figure FDA0002407930000000015
最后使用SG多项平滑法对于数据进行拟合平滑得出平滑的光谱数据。
5.根据权利要求1所述的用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，对框选区域进行边缘扩散的过程如下：
首先计算框选区域内的平均梯度，计算公式如下：
Figure FDA0002407930000000021
G(x，y)＝dxi+dyi
dx(i，j)＝p(i+1，j)-p(i，j)
dy(i，j)＝p(i，j+1)-p(i，j)
式中，p(i，j)为第i行第j列个像素点；
其次，通过平均梯度将光谱数据的边缘进行扩散，即测试边缘点p(m，n)的相邻点p(m+1，n+1)的梯度，若梯度小于平均梯度
Figure FDA0002407930000000022
则将改点加入选择范围内；当区域边缘扩散至梯度大于区域内平均梯度时停止。
6.根据权利要求1所述的用于深度学习的籽棉地膜高光谱可视化标签方法，其特征在于，光谱图像按照波长依次划分为三个大小相等的子数据集D1，D2，D3，对各个子数据集内每个波段的图片Ii求取可替代性系数ri。
CN201910800155.6A 2019-08-28 2019-08-28 一种用于深度学习的籽棉地膜高光谱可视化标签方法 Active CN110390322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910800155.6A CN110390322B (zh) 2019-08-28 2019-08-28 一种用于深度学习的籽棉地膜高光谱可视化标签方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910800155.6A CN110390322B (zh) 2019-08-28 2019-08-28 一种用于深度学习的籽棉地膜高光谱可视化标签方法

Publications (2)

Publication Number Publication Date
CN110390322A CN110390322A (zh) 2019-10-29
CN110390322B true CN110390322B (zh) 2020-05-05

Family

ID=68289426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910800155.6A Active CN110390322B (zh) 2019-08-28 2019-08-28 一种用于深度学习的籽棉地膜高光谱可视化标签方法

Country Status (1)

Country Link
CN (1) CN110390322B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767943A (zh) * 2020-05-20 2020-10-13 北京简巨科技有限公司 地膜识别方法、装置、电子设备及存储介质
CN114155385B (zh) * 2021-11-30 2022-09-27 江苏鑫源烟草薄片有限公司 一种基于深度学习的rgb与高光谱的烟草识别方法
CN114882291B (zh) * 2022-05-31 2023-06-06 南京林业大学 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004076A (zh) * 2010-10-29 2011-04-06 中国农业大学 一种皮棉中异性纤维的检测方法和系统
CN102253007A (zh) * 2011-05-06 2011-11-23 中国农业大学 一种棉花质量检测方法
KR20170031473A (ko) * 2015-09-11 2017-03-21 한양대학교 산학협력단 광간섭계 단층 촬영 기반 지문 인식 장치 및 그를 구비한 스마트 기기
CN109146878A (zh) * 2018-09-30 2019-01-04 安徽农业大学 一种基于图像处理的杂质检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070548B (zh) * 2019-04-22 2020-11-24 杨勇 一种深度学习训练样本优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004076A (zh) * 2010-10-29 2011-04-06 中国农业大学 一种皮棉中异性纤维的检测方法和系统
CN102253007A (zh) * 2011-05-06 2011-11-23 中国农业大学 一种棉花质量检测方法
KR20170031473A (ko) * 2015-09-11 2017-03-21 한양대학교 산학협력단 광간섭계 단층 촬영 기반 지문 인식 장치 및 그를 구비한 스마트 기기
CN109146878A (zh) * 2018-09-30 2019-01-04 安徽农业大学 一种基于图像处理的杂质检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Hyperspectral Imaging Applied to the Identification and Classification of Asbestos Fibers";Giuseppe Bonifazi et al;《2015 IEEE SENSORS》;20151104;全文 *
"棉花异性纤维检测方法研究进展";陈振等;《棉纺织技术》;20160930;全文 *

Also Published As

Publication number Publication date
CN110390322A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN110390322B (zh) 一种用于深度学习的籽棉地膜高光谱可视化标签方法
CN106918594B (zh) 一种在线分析籽棉色特征和杂质的方法
CN110909780A (zh) 一种图像识别模型训练和图像识别方法、装置及系统
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111091109A (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN108932493A (zh) 一种面部皮肤质量评价方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN102332154A (zh) 不均匀光照下的棉花伪异性纤维彩色图像增强方法及系统
CN107273890A (zh) 针对字符组合的图形验证码识别方法及装置
Jenifa et al. Classification of cotton leaf disease using multi-support vector machine
CN116152500A (zh) 一种基于深度学习的全自动牙齿cbct图像分割方法
CN116310548A (zh) 一种进口种子产品中的入侵植物种子检测方法
US11880981B2 (en) Method and system for leaf age estimation based on morphological features extracted from segmented leaves
CN111832569B (zh) 基于高光谱分类与分割的壁画颜料层脱落病害标注方法
CN104573743A (zh) 一种人脸图像检测过滤方法
CN112419239A (zh) 基于深度学习的线上翡翠评级方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN112802074A (zh) 一种基于光照校正与视觉显著特征的纺织品瑕疵检测方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN115147659A (zh) 一种植物果实外表面dus测试性状的图像分析方法及系统
CN115358972A (zh) 基于视觉特征融合的烟叶分级方法及系统
CN114708237A (zh) 一种用于头发健康状况的检测算法
CN113627329A (zh) 基于混合卷积网络的小麦种子高光谱图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191029

Assignee: Nanjing Ruiyan Intelligent Technology Co., Ltd

Assignor: NANJING FORESTRY University

Contract record no.: X2020320000014

Denomination of invention: High-spectrum visual labeling method for seed cotton mulching film for deep learning

Granted publication date: 20200505

License type: Common License

Record date: 20200513