CN116665051B - 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 - Google Patents
基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 Download PDFInfo
- Publication number
- CN116665051B CN116665051B CN202310610124.0A CN202310610124A CN116665051B CN 116665051 B CN116665051 B CN 116665051B CN 202310610124 A CN202310610124 A CN 202310610124A CN 116665051 B CN116665051 B CN 116665051B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- rgb
- hyperspectral
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002184 metal Substances 0.000 title claims abstract description 57
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 48
- 150000002739 metals Chemical class 0.000 title claims abstract description 25
- 238000002372 labelling Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000002310 reflectometry Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005855 radiation Effects 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 239000007769 metal material Substances 0.000 claims description 3
- 230000000116 mitigating effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 239000013558 reference substance Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004064 recycling Methods 0.000 abstract description 2
- 238000010183 spectrum analysis Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003670 easy-to-clean Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉、深度学习、图像处理和光谱分析技术领域，尤其涉及一种基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，其包括步骤如下：数据采集；数据预处理：采集到的RGB图像进行去噪、白平衡、色彩校正预处理；数据标注：准备RGB重建高光谱图像的训练数据，标注每个RGB图像所对应的高光谱图像；RGB重建高光谱图像模型训练：使用深度学习方法，训练一个能够将RGB图像转换为高光谱图像的模型；图像分类：将每个像素看作是一个样本，其特征向量是像素的RGB值，标签是所属的类别，利用SVM学习一个分类器，将图像分类为不同的类别。本发明可以对垃圾中的金属进行分类，提高了再利用垃圾中金属的效率和准确性，具有实用价值和经济效益。
Description
技术领域
本发明涉及计算机视觉、深度学习、图像处理和光谱分析技术领域，尤其涉及一种基于RGB图像重建高光谱图像的垃圾中金属再筛选方法。
背景技术
高光谱遥感图像指的是通过高光谱成像仪获取的图像，具有十分丰富的空间信息和光谱信息。基于此，高光谱遥感以其卓越的光谱分辨率在区分不同物质方面具有显著优势。然而，高光谱图像(HSI)获取成本远高于传统的RGB成像。此外，由于传感器技术的限制，为了获得极高的光谱分辨率，必须牺牲空间和时间分辨率。
RGB重建高光谱图像的意义在于，通过从RGB图像中提取出多光谱信息，可以实现对物体和场景的更为准确和详细的识别和分析。传统的RGB图像只包含了红、绿、蓝三种波段的信息，而高光谱图像则可以包含数十到数百种波段的信息，可以更好地反映物体的光谱特征。在实际应用中，往往需要进行物体的识别、分类和检测等任务，这些任务需要对物体的光谱特征进行分析。而由于高光谱图像具有更高的光谱分辨率，可以提供更为准确和丰富的光谱信息，因此可以更好地满足本发明从垃圾中再筛选出金属的需求。
在实现本实施例的过程中，发明人发现传统的基于图像的垃圾自动筛选分类存在以下缺点：
(1)图像处理复杂：垃圾种类繁多，对于每一种垃圾需要分别设计和训练分类模型，使得分类模型数量庞大，图像处理复杂。
(2)准确率低：由于垃圾的形状、颜色、纹理等特征相似，基于图像的分类方法准确率较低，易出现误判情况。
(3)依赖于光照、角度和环境：传统的基于图像的垃圾分类方法对光照、拍摄角度和环境要求较高，不适用于复杂多变的实际应用场景。
(4)无法区分相似垃圾：某些垃圾类别之间的区分比较困难，传统的基于图像的垃圾分类方法无法很好地解决这个问题。
(5)处理效率低：由于需要对每个垃圾图像进行分析和处理，传统的基于图像的垃圾分类方法处理效率较低，不利于实时分类应用。
而传统的高光谱垃圾分类存在以下缺点：
(1)高成本：传统的高光谱垃圾分类技术需要使用昂贵的高光谱成像设备，价格昂贵，不适用于大规模的垃圾分类。
(2)复杂性高：高光谱成像设备需要专业人员进行操作和维护，对于普通用户来说难以操作。
(3)限制性强：传统高光谱垃圾分类需要在特定的光照条件下进行成像，因此在光线变化较大的环境下效果会受到影响。
(4)设备体积大：传统高光谱成像设备体积较大，不便于移动，不利于在场地等有限的空间内使用。
发明内容
本发明针对现有技术的不足，本发明提出了一种基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，本实施例所述方案可以通过对垃圾图像的分析，快速准确地筛选出金属垃圾，从而更好地实现垃圾的分类和回收，具有一定的实用性。
本发明解决技术问题的技术方案为：
一种基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，包括步骤如下：
S1.数据采集：利用相机在垃圾场多个区域进行拍摄获得RGB图像；
S2.数据预处理：采集到的RGB图像进行去噪、白平衡、色彩校正预处理；
S3.数据标注：准备RGB重建高光谱图像的训练数据，标注每个RGB图像所对应的高光谱图像；
S4.RGB重建高光谱图像模型训练：使用深度学习方法，训练一个能够将RGB图像转换为高光谱图像的模型；
S5.图像分类：将每个像素看作是一个样本，其特征向量是像素的RGB值，标签是所属的类别，利用SVM学习一个分类器，将图像分类为不同的类别。
上述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法基础上，S2具体步骤如下：
1)数据去噪：使用高斯滤波器或者中值滤波器来降低噪声的影响；
2)光谱校正：使用参考光谱或者基线校正来校准数据；
3)波段选择：使用PCA主元分析方法进行降维处理；
4)数据归一化：进行数据归一化，使得不同波段的数值范围相同；
5)数据对齐：进行数据对齐，使得不同图像之间的像素点位置相同；
6)数据分割：进行数据分割，以提取感兴趣的目标区域。
上述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法基础上，S3具体步骤如下：1)准备好需要标注的RGB图像数据；2)选择适合的图像标注工具；3)在图像上选择需要标注的物体位置；4)为每个标注框设置相应的属性；5)将标注结果保存到标注文件中；6)标注结果进行验证，检查标注框是否正确覆盖了需要标注的物体区域，属性信息是否准确、一致；7)标注数据量不足，通过数据扩充的方法来增加数据量；8)将标注数据划分为训练集、验证集、测试集不同部分，用于模型训练、验证和测试。
上述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法基础上，S4具体步骤如下：将获取到的RGB图像送入波段预测网络，该波段预测网络首先提取RGB图像的所有波段预测的联合特征，然后设计多个卷积核层，从这些提取的联合特征中预测不同波段的图像；具体用的公式如下：
k和Δ表示卷积核与偏差，f(g)为激活函数Relu，/>a是该激活函数中涉及的可训练参数；
HSI的第j波段图像估计为：k和Δ分别表示卷积核和偏差，I(3)为联合特征，
Yt是扩张卷积输出，δ是扩张卷积中的步长，m表示卷积核大小，并且m＝nn，n表示输入的向量大小；
第一卷积层中学习到的特征 表示扩张卷积,FR表示在细化网络中学习的特征
kR2和ΔR2分别表示第二卷积层中的权重和偏置，HR表示在通过探索空间-频谱上下文来减轻频谱失真之后的估计的HIS。
上述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法基础上，S5具体步骤如下：
1)计算金属在某一波长下的反射率：ρ(λ)表示某一波长λ下金属的反射率；I金属(λ)表示金属区域在该波长下的辐射强度值；I环境(λ)表示白板区域在该波长下的辐射强度值；ρ环境(λ)表示白板在该波长下的反射率；
2)计算反射谱带，公式如下：FWHM＝λ2-λ1，FWHN表示反射光谱带的全宽度半最大值，λ1和λ2分别表示反射光谱带的两个边界波长；
3)相对反射率计算：S(λ)表示相对反射率，Rref(λ)表示参考物质在波长为λ处的反射率；
4)STD表示标准差，xi表示像素值，/>表示均值，n表示像素数；
5)SVM学习一个分类器具体计算过程如下：
(1)分类函数f(x)，f(x)＝sign(w*x+b)，其中m个样本，每个样本的特征向量x是n维的，w是超平面的法向量，b是偏置项；
(2)SVM的优化目标是最小化结构风险函数：
minimize:1/2*||w||2+C*(max(0,1-yi(w*xi+b))),i＝1,2,...,m，||w||2是w的模长的平方，C是正则化参数，yi是第i个样本的标签，xi是第i个样本的特征向量。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：通过数据采集获取垃圾中金属的RGB图像，进行数据预处理，包括去除噪声、图像增强等步骤；进行数据标注，将可回收利用的金属区域标注出来；利用深度学习方法训练RGB重建高光谱图像模型，将RGB图像转换为高光谱图像；进行图像分类，将垃圾中的金属分类筛选出来过对垃圾图像的分析，快速准确地筛选出金属垃圾，从而更好地实现垃圾的分类和回收。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的流程示意图。
图2为本发明RGB重建高光谱图像的神经网络结构图。
图3为本发明垃圾堆中金属进行RGB重建高光谱图像的具示意体图。
图4为本发明通过对垃圾堆中的金属垃圾进行筛选得到的结果示意图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
本实施例中提供了基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，可以通过对垃圾图像的分析，快速准确地筛选出金属垃圾，从而更好地实现垃圾的分类和回收，具有一定的实用性。设R∈im*n*3表示m×n像素的RGB图像，相应地，令表示从R重构的b重波段的HIS图像，其中B(i)∈im*n，(1≤i≤b)表示重构的HSI的第i个谱带。
采用的具体实施方案，包括步骤如下：
S1、数据采集：使用高精度的RGB相机拍摄不同场景下的RGB图像，确保在拍摄时获得尽可能多的光谱信息。
具体流程为：(1)确定拍摄区域：在垃圾厂中，不同的垃圾物品可能会产生不同的光谱特征，因此需要在垃圾场内选择多个区域进行拍摄，以获取尽可能多的光谱信息；(2)选择相机：选择一台高精度的RGB相机，能够拍摄高分辨率的图像并具有较高的动态范围和低噪声，同时，需要选择适合垃圾场拍摄的相机，例如具有防尘、防震功能的相机；(3)安装相机和灯光：根据垃圾场的不同，需要安装相应的灯光和支架。垃圾场通常比较脏乱，需要选择防水、易清洁的灯光和支架；(4)设置相机参数：根据拍摄场景和目标物体的不同，需要设置相机的曝光时间、感光度、光圈等参数。在垃圾场环境中，需要特别注意白平衡的设置，以获得更准确的色彩信息；(5)拍摄图像：按照预定的拍摄计划，使用相机拍摄一系列的RGB图像。可以采用不同的拍摄角度和光照条件来获得尽可能多的光谱信息。在拍摄时需要注意保护相机和镜头，避免垃圾等污物弄脏或者损坏；(6)数据存储：将采集到的RGB图像保存在计算机中，并进行备份和管理。需要注意的是，在垃圾场环境中，数据存储设备需要具有一定的防护措施，以避免数据丢失或者损坏。
S2、数据预处理：对采集到的RGB图像进行预处理，包括去噪、白平衡、色彩校正等步骤，确保图像质量和色彩准确性。
具体的步骤如下：(1)数据去噪：垃圾场通常存在较多的噪声干扰，可能会影响高光谱图像的质量和准确性，因此，需要对数据进行去噪处理，例如使用高斯滤波器或者中值滤波器来降低噪声的影响；(2)光谱校正：由于不同光源和环境的影响，高光谱图像可能存在光谱偏移或者不同波段之间的不匹配，因此，需要进行光谱校正，例如使用参考光谱或者基线校正来校准数据；(3)波段选择：高光谱图像通常包含大量波段，不同波段之间的相关性较高，为了提高算法的效率和准确性，需要对波段进行选择和筛选，例如使用PCA等方法进行降维处理；(4)数据归一化：不同波段之间的数据范围可能存在较大差异，需要进行数据归一化，使得不同波段的数值范围相同，常用的归一化方法包括最小-最大归一化和Z-score归一化等；(5)数据对齐：由于不同光谱图像之间可能存在位置和角度的差异，需要进行数据对齐，使得不同图像之间的像素点位置相同。常用的对齐方法包括基于特征点匹配的方法和基于图像互相关的方法；(6)数据分割：高光谱图像通常包含多个物体和背景，需要进行数据分割，以提取感兴趣的目标区域，常用的分割方法包括基于阈值的方法、基于图像分割的方法和基于深度学习的方法等。
S3、数据标注：准备RGB重建高光谱图像的训练数据，标注每个RGB图像所对应的高光谱图像。可以使用已有的高光谱图像库进行标注，或者通过采集高光谱图像来进行标注。具体步骤如下：(1)数据准备：准备好需要标注的RGB图像数据，可以通过在垃圾场拍摄或者从其他来源获取；(2)工具选择：选择适合的图像标注工具，例如LabelImg、RectLabel等，也可以通过编程方式自己编写标注程序；(3)标注框选择：在图像上选择需要标注的物体位置，可以使用矩形框、多边形框等不同形式的标注框；(4)标注属性设置：为每个标注框设置相应的属性，例如可回收利用的金属名称、类别、位置坐标等信息；(5)标注数据保存：将标注结果保存到标注文件中，常用的格式包括XML、JSON、YAML等，也可以将标注结果保存为图像与标注框的对应文件；(6)标注数据验证：对标注结果进行验证，检查标注框是否正确覆盖了需要标注的物体区域，属性信息是否准确、一致等；(7)标注数据扩充：如果标注数据量不足，可以通过数据扩充的方法来增加数据量，例如通过数据增强、GAN等方法生成新的标注数据；(8)数据分割：将标注数据划分为训练集、验证集、测试集等不同部分，用于模型训练、验证和测试。
S4.RGB重建高光谱图像模型训练：：使用深度学习方法，训练一个能够将RGB图像转换为高光谱图像的模型，本发明使用的深度学习网络如图2所示，接下来将具体说明完整网络的结构：
将获取到的RGB图像送入波段预测网络，该波段预测网络首先被用来在没有任何辅助信息的条件下直接从输入的RGB图像重建所有的高光谱波段图像，如图2所示，所提出的波段预测网络利用3个完全卷积层来执行这样的预测任务，与传统的图像预测网络只输出单波段图像不同，本实施例所提出的波段预测网络同时预测数十或数百个高光谱波段图像，而不是直接构建数十个或数百个孤立的网络，该波段预测网络首先提取RGB图像的所有波段预测的联合特征，然后设计多个卷积核层，从这些提取的联合特征中预测不同波段的图像。
在联合特征部分使用三个连续的三维(3D)卷积层来从RGB输入学习有效特征，这些特征被联合用于预测波段图像，这种3D卷积同时探索三个RGB通道内的空间背景和光谱信息，每个卷积层将其输入I(i)(i＝0,1,2,...)非线性地变换为表示为的多通道特征图：
其中，k和Δ表示卷积核与偏差，f(·)为激活函数Relu，具体为：
其中a是该激活函数中涉及的可训练参数，注意，在所有卷积层中使用填充来扩展图像特征的边缘，以确保特征图的每一层的输出具有与其输入相同的大小；
接着进行波段图像的预测，该阶段使用卷积层从学习的联合特征I(3)单独估计HSI的所有带图像，构造一个卷积层来估计仅一个频带图像，并且总共需要b个卷积层来估计所有频带图像，HSI的第j波段图像估计为：
其中k和Δ分别表示卷积核和偏置。注意，在这些卷积层中没有应用激活函数；
在波段预测网络中，频谱失真容易发生，因为所有的频带的HSI独立估计，因此，需要构建另一个细化网络，以减轻频谱失真，背景信息在图像重建、图像预测等任务中发挥着重要的作用，文在所提出的射频网络中考虑了频谱上下文信息，为了减轻频谱失真，可以通过增加网络的深度或卷积核的大小来探索更多的上下文空间-频谱信息。然而，这样的操作也导致网络学习的困难，因为涉及更多的参数，本发明使用扩张卷积的方法来在不减少空间维度或增加参数数量的情况下以指数方式增加卷积范围，扩张卷积从非连续频带学习特征，使得可以在与传统卷积相似的网络规模下探索更大尺寸的频谱上下文信息，传统卷积可以表示为：
其中n表示输入的向量大小，m表示卷积核大小，并且m＝nn，输出为Yt
如果使用扩张卷积输出Yt则变为：
其中δ是扩张卷积中的步长，本发明中设置为2，通过将该一维计算应用于所有维度，可以获得高维扩张卷积。因此，扩大卷积是在细化网络中，为减轻频谱失真，有效地探索的频谱上下文信息的重要手段。
如图1所示，所提出的细化网络由两个扩展卷积层组成，用于探索空间和频谱上下文。第一卷积层从波段预测网络估计的HSI中学习有效的空间频谱特征，而第二卷积层使用这些特征估计HSI。通过组合这些估计的频带图像HSIB＝{B(j)}而构造的波段预测网络的输出被馈送到细化网络。因此，在第一卷积层中学习到的特征是
其中k和Δ分别表示该卷积中的权重和偏置，FR表示在细化网络中学习的特征，表示扩张卷积。前文提到的Relu激活函数也用于此特征学习卷积层。因此，可以从HSIB＝{B(j)}中学习的这些特征估计更新的HIS：
其中kR2和ΔR2分别表示第二卷积层中的权重和偏置，HR表示在通过探索空间-频谱上下文来减轻频谱失真之后的估计的HIS。为了加速学习处理，细化网络中还采用了残差分支，其中使用1*1*1的卷积核进行线性缩放，以微调输出图像的范围。结果，从RGB图像估计的最终HSI为
其中k1为1*1*1的卷积核。
S5、图像分类
在高光谱图像中，金属通常具有以下特点：(1)高反射率：金属的表面通常会反射大部分入射光，因此在高光谱图像中，金属区域通常具有较高的反射率。这使得金属区域在图像中往往呈现出亮白色；(2)窄的反射光谱带：金属的反射光谱带通常比其他材料更窄，通常只占据可见光谱范围的一小部分，这是因为金属具有高度连续的能级结构，其光电子能带非常紧密地排列在一起，导致只有极少数的能量能够被吸收和反射；(3)光谱反转：金属区域的反射光谱通常具有反转特征，这是因为金属表面的电子能量非常高，能够将吸收光的能量强烈地散发出去，因此在反射光谱中，我们可以看到金属表面发射出光线，而非吸收光线；(4)漫反射和镜面反射：金属表面的反射光谱通常由漫反射和镜面反射两部分组成，漫反射是由于金属表面的微小不规则造成的，而镜面反射则是由于金属表面的光滑度高，导致光线按照特定的角度反射。
接下来将具体介绍高光谱图像中金属的不同特性的计算过程：
(1)计算金属在某一波长下的反射率：：
其中ρ(λ)表示某一波长λ下金属的反射率；I金属(λ)表示金属区域在该波长下的辐射强度值；I环境(λ)表示白板区域在该波长下的辐射强度值；ρ环境(λ)表示白板在该波长下的反射率；通过比较金属和环境的辐射强度值，消除了不同波段之间的差异，进而计算出了金属在某一波长下的反射率；
(2)计算反射谱带：金属的反射光谱带通常非常窄，可以用以下公式表示：
FWHM＝λ2-λ1
其中，FWHN表示反射光谱带的全宽度半最大值，λ1和λ2分别表示反射光谱带的两个边界波长，对于金属区域，FWHN通常小于50纳米。
(3)光谱反射金属的反射光谱通常与其他材料不同，相对反射率计算可以用以下公式表示：
其中，S(λ)表示相对反射率，Rref(λ)表示参考物质在波长为λ处的反射率。对于金属区域，S(λ)可能存在多个反射峰和反射谷，并且与其他材料的S(λ)形态不同。
(4)最后是关于漫反射和镜面反射，在金属垃圾中，多数事宜镜面反射为主，可能出现质地细节丢失的现象，具体计算公式如下：
其中，STD表示标准差，Xi表示像素值，表示均值，n表示像素数，对于金属区域，STD通常很小，表现出均匀、无纹理的外观。
以上这些金属在高光谱图像中的特征被送入到后续的SVM学习一个分类器中进行处理。
本发明中使用的是支持向量机进行分类，其具体计算过程如下所示：
(1)假设有m个样本，每个样本的特征向量x是n维的，对应一个二元标签y，SVM的目标是学习一个分类函数f(x)：
f(x)＝sign(w*x+b)；其中w是超平面的法向量，b是偏置项；
(2)SVM的优化目标是最小化结构风险函数：
minimize:1/2*||w||2+C*(max(0,1-yi(w*xi+b))),i＝1,2,...,m；其中，||w||2是w的模长的平方，C是正则化参数，yi是第i个样本的标签，xi是第i个样本的特征向量。
SVM的求解方法是通过拉格朗日对偶性将其转化为求解一个凸二次规划问题。
在图像分类任务中，可以将每个像素看作是一个样本，其特征向量是像素的RGB值，标签是所属的类别。然后可以利用SVM学习一个分类器，将图像分类为不同的类别。在本发明的应用中，就是将得到的作为输入，借由金属在高光谱图像中的特殊表现，将其筛选出来，以实现后续的再利用过程。
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (4)
1.一种基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，其特征是：包括步骤如下：
S1.数据采集：利用相机在垃圾场多个区域进行拍摄获得RGB图像；
S2.数据预处理：采集到的RGB图像进行去噪、白平衡、色彩校正预处理；
S3.数据标注：准备RGB重建高光谱图像的训练数据，标注每个RGB图像所对应的高光谱图像；
S4.RGB重建高光谱图像模型训练：使用深度学习方法，训练一个能够将RGB图像转换为高光谱图像的模型；
S5.图像分类：将每个像素看作是一个样本，其特征向量是像素的RGB值，标签是所属的类别，利用SVM学习一个分类器，将图像分类为不同的类别；
S5具体步骤如下：
1)计算金属在某一波长下的反射率：ρ(λ)表示某一波长λ下金属的反射率；I金属(λ)表示金属区域在该波长下的辐射强度值；I环境(λ)表示白板区域在该波长下的辐射强度值；ρ环境(λ)表示白板在该波长下的反射率；
2)计算反射谱带，公式如下：FWHM＝λ2-λ1，FWHN表示反射光谱带的全宽度半最大值，λ1和λ2分别表示反射光谱带的两个边界波长；
3)相对反射率计算：S(λ)表示相对反射率，Rref(λ)表示参考物质在波长为λ处的反射率；
4)STD表示标准差，xi表示像素值，/>表示均值，n表示像素数；
5)SVM学习一个分类器具体计算过程如下：
(1)分类函数f(x)，f(x)＝sign(w*x+b)，其中m个样本，每个样本的特征向量x是n维的，w是超平面的法向量，b是偏置项；
(2)SVM的优化目标是最小化结构风险函数：
minimize:1/2*||w||2+C*(max(0,1-yi(w*xi+b))),i＝1,2,...,m，||w||2是
w的模长的平方，C是正则化参数，yi是第i个样本的标签，xi是第i个样本的特征向量。
2.根据权利要求1所述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，其特征是：S2具体步骤如下：
1)数据去噪：使用高斯滤波器或者中值滤波器来降低噪声的影响；
2)光谱校正：使用参考光谱或者基线校正来校准数据；
3)波段选择：使用PCA主元分析方法进行降维处理；
4)数据归一化：进行数据归一化，使得不同波段的数值范围相同；
5)数据对齐：进行数据对齐，使得不同图像之间的像素点位置相同；
6)数据分割：进行数据分割，以提取感兴趣的目标区域。
3.根据权利要求1所述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，其特征是：S3具体步骤如下：1)准备好需要标注的RGB图像数据；2)选择适合的图像标注工具；3)在图像上选择需要标注的物体位置；4)为每个标注框设置相应的属性；5)将标注结果保存到标注文件中；6)标注结果进行验证，检查标注框是否正确覆盖了需要标注的物体区域，属性信息是否准确、一致；7)标注数据量不足，通过数据扩充的方法来增加数据量；8)将标注数据划分为训练集、验证集、测试集不同部分，用于模型训练、验证和测试。
4.根据权利要求1所述基于RGB图像重建高光谱图像的垃圾中金属再筛选方法，其特征是：S4具体步骤如下：将获取到的RGB图像送入波段预测网络，该波段预测网络首先提取RGB图像的所有波段预测的联合特征，然后设计多个卷积核层，从这些提取的联合特征中预测不同波段的图像；具体用的公式如下：
k和Δ表示卷积核与偏差，f(g)为激活函数Relu，a是该激活函数中涉及的可训练参数；
HSI的第j波段图像估计为：k和Δ分别表示卷积核和偏差，I(3)为联合特征，
Yt是扩张卷积输出，δ是扩张卷积中的步长，m表示卷积核大小，并且m＝n，n表示输入的向量大小；
第一卷积层中学习到的特征 表示扩张卷积,FR表示在细化网络中学习的特征，
kR2和△R2分别表示第二卷积层中的权重和偏置，HR表示在通过探索空间-频谱上下文来减轻频谱失真之后的估计的HIS。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310610124.0A CN116665051B (zh) | 2023-05-29 | 2023-05-29 | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310610124.0A CN116665051B (zh) | 2023-05-29 | 2023-05-29 | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116665051A CN116665051A (zh) | 2023-08-29 |
| CN116665051B true CN116665051B (zh) | 2024-03-08 |
Family
ID=87716546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310610124.0A Active CN116665051B (zh) | 2023-05-29 | 2023-05-29 | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665051B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117745622B (zh) * | 2024-02-21 | 2024-05-07 | 深圳市盘古环保科技有限公司 | 一种垃圾渗滤液膜浓缩液催化氧化装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027742A (ko) * | 2016-09-07 | 2018-03-15 | 영남대학교 산학협력단 | 대상체 분류 시스템 및 방법 |
| CN110807387A (zh) * | 2019-10-25 | 2020-02-18 | 山东师范大学 | 一种基于高光谱图像特征的对象分类方法及系统 |
| WO2022016328A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳大学 | 金属异物检测方法、装置及终端设备 |
| CN114049556A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种svm与目标检测算法融合的垃圾分类方法 |
| CN115343774A (zh) * | 2022-07-11 | 2022-11-15 | 深圳大学 | 一种检测金属物体的方法、装置、终端设备以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CO2021015534A1 (es) * | 2021-11-18 | 2023-05-19 | Hochschild Mining Holdings Ltd | Método y sistema de clasificación automática de rocas según sus minerales |
-
2023
- 2023-05-29 CN CN202310610124.0A patent/CN116665051B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027742A (ko) * | 2016-09-07 | 2018-03-15 | 영남대학교 산학협력단 | 대상체 분류 시스템 및 방법 |
| CN110807387A (zh) * | 2019-10-25 | 2020-02-18 | 山东师范大学 | 一种基于高光谱图像特征的对象分类方法及系统 |
| WO2022016328A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳大学 | 金属异物检测方法、装置及终端设备 |
| CN114049556A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种svm与目标检测算法融合的垃圾分类方法 |
| CN115343774A (zh) * | 2022-07-11 | 2022-11-15 | 深圳大学 | 一种检测金属物体的方法、装置、终端设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Learning hyperspectral images from RGB images via a coarse-to-fine CNN;Shaohui MEI et al.;《SCIENCE CHINA》;摘要、第2-3节 * |
| 基于高光谱的土壤砷和铜元素含量估算;杨君怡;钱乐祥;郑艳伟;李明杰;;科技通报(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116665051A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220028126A1 (en) | Methods and Systems for Human Imperceptible Computerized Color Transfer | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| Krig | Computer vision metrics | |
| Fu et al. | Joint camera spectral sensitivity selection and hyperspectral image recovery | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| CN114897816B (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN102308306A (zh) | 用于图像分离的约束生成器 | |
| US20070154088A1 (en) | Robust Perceptual Color Identification | |
| CN102597744A (zh) | 照明谱恢复 | |
| US20230206487A1 (en) | Detection and identification of objects in images | |
| Vitoria et al. | Automatic flare spot artifact detection and removal in photographs | |
| CN116665051B (zh) | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 | |
| Wang et al. | Fake modern Chinese painting identification based on spectral–spatial feature fusion on hyperspectral image | |
| Xie et al. | Trainable spectral difference learning with spatial starting for hyperspectral image denoising | |
| CN115830585A (zh) | 一种基于图像增强的港口集装箱号识别方法 | |
| Drumetz et al. | Variability of the endmembers in spectral unmixing | |
| Zhao et al. | Hyperspectral image shadow compensation via cycle-consistent adversarial networks | |
| Salman et al. | Image Enhancement using Convolution Neural Networks | |
| CN113887652A (zh) | 基于形态和多示例学习的遥感图像弱小目标检测方法 | |
| Kamal et al. | Resoluting multispectral image using image fusion and CNN model | |
| Karam et al. | Generative sensing: Transforming unreliable sensor data for reliable recognition | |
| CN114757892B (zh) | 基于人工智能的透视材料缺陷检测方法与系统 | |
| Lecca | A full linear 3× 3 color correction between images | |
| CN116665198A (zh) | 一种基于图像识别imei和序列号方法及系统 | |
| Politz et al. | Joint classification of ALS and DIM point clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240201 Address after: No. 101, Building 20, Zone 3, Zhonghai International Community, Shizhong District, Jinan City, Shandong Province, 250000 Applicant after: Xie Bicong Country or region after: China Address before: 250101 1101h, 11th floor, building A4 - (3), Hanyu financial and business center, No. 7000, Jingshi Road, high tech Zone, Jinan, Shandong Province Applicant before: Shandong RuiZheng Information Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |