CN116596982A - 一种基于短波高光谱相机的垃圾热值预测系统及方法 - Google Patents
一种基于短波高光谱相机的垃圾热值预测系统及方法 Download PDFInfo
- Publication number
- CN116596982A CN116596982A CN202310576355.4A CN202310576355A CN116596982A CN 116596982 A CN116596982 A CN 116596982A CN 202310576355 A CN202310576355 A CN 202310576355A CN 116596982 A CN116596982 A CN 116596982A
- Authority
- CN
- China
- Prior art keywords
- garbage
- heat value
- image
- camera
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000010248 power generation Methods 0.000 abstract description 8
- 238000002485 combustion reaction Methods 0.000 abstract description 4
- 239000002910 solid waste Substances 0.000 description 8
- 239000000463 material Substances 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004056 waste incineration Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K17/00—Measuring quantity of heat
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Combustion & Propulsion (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于短波高光谱相机的垃圾热值预测系统及方法，为垃圾焚烧发电装置提供燃烧智能化控制手段。包括：RGB‑D深度相机，采集垃圾堆垛深度图像信息；短波高光谱相机，采集垃圾高光谱图像信息；机器视觉计算机，机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块，图像算法处理模块通过垃圾高光谱图像算得垃圾类别；三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
Description
技术领域
本发明涉及垃圾焚烧发电技术领域，特别是涉及一种基于短波高光谱相机的垃圾热值预测系统及方法。
背景技术
随着人民生活水平的提高，国民生产及生活产生了大量的有机固废，引发环境污染问题。垃圾焚烧发电是当前解决此类问题的一种方法。在焚烧发电过程中，操作人员无法提前知晓垃圾的热值，需要根据燃烧情况不断手动调节操作参数，以稳定燃烧情况。然而，垃圾成分复杂，需要进行费时的理化实验进行热值测量。因此，如能提前快速知晓定量垃圾的热值，可提前对操作人员进行预判或实现垃圾焚烧的自动化控制。
人工智能和光电技术的快速发展，为基于高光谱图像识别的应用提供了广泛的可能性。短波高光谱相机拥有不同光谱下物质成像的能力，其输出的高光谱图像能够使计算机快速分辨多种物质的材质差异，已经广泛用于遥感领域实现地物识别。但是，目前没有将短波高光谱相机应用于垃圾热值测量的先例，且垃圾堆积的大小也影响着定量垃圾的总热值。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于短波高光谱相机的垃圾热值预测系统及方法，为垃圾焚烧发电装置提供燃烧智能化控制手段，并提高垃圾焚烧发电装置运行品质，改善操作人员的工作条件。
本发明的目的是这样实现的：
一种基于短波高光谱相机的垃圾热值预测系统，包括：
RGB-D深度相机，用于采集垃圾堆垛深度图像信息；
短波高光谱相机，用于采集垃圾高光谱图像信息；
相应的相机移动机械和控制机构，用于移动相机控制相机距离垃圾堆放处的距离和位置；
机器视觉计算机，所述机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块；
所述图像算法处理模块通过垃圾高光谱图像算得垃圾类别；所述三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；所述热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
优选地，所述图像算法处理模块基于主成分分析和深度学习算法识别垃圾类别。
优选地，所述三维稠密重建体积计算模块采用BundleFusion算法重建稠密的三维垃圾图。
优选地，所述RGB-D深度相机的侧方装有与RGB-D深度相机匹配的线性光源。
优选地，所述短波高光谱相机由覆盖900-1700nm波段或400-2500nm波段的短波相机与光栅滤光组件或液晶调谐滤波器组成。
优选地，所述短波高光谱相机配有400-2500nm波段的光源。
一种基于短波高光谱相机的垃圾热值预测方法，包括以下步骤：
S1、垃圾图像拍摄
S1.1、由所述RGB-D深度相机拍摄堆放垃圾整体的三维图像和表面可见光图像，必要时移动RGB-D深度相机完成堆放垃圾整体的拍摄；
S1.2、由所述的短波高光谱相机拍摄垃圾局部的高光谱图像，并通过移动高光谱相机完成堆放垃圾整体的拍摄；
S1.3、必要时，通过图像进行拼接，完成堆放垃圾整体图像的获取。
S2、垃圾分类预测建模
S2.1、将短波高光谱相机采集的图像进行预处理(包括减少噪点及锐化等)，再进行图像上的垃圾种类标记，并制作数据集，数据集划分为训练集、验证集和测试集；
S2.2、将制作的数据集进行降维，对单个像素进行分块处理并对边缘像素进行填零扩充，将数据格式处理为张量格式，通过转置将数据转换成深度神经网络所需数据结构；
S2.3、将步骤S1.2得到数据的三维信息输入深度神经网络进行训练，得到预测模型；
S2.4、通过测试集验证预测模型性能，最终得到机器学习分类预测模型；
S3、三维稠密重建体积计算
S3.1、将所述RGB-D深度相机采集到的彩色图像进行图像灰度化和滤波去噪；
S3.2、将灰度图像结合图像深度信息得到稀疏的三维垃圾点云图；
S3.3、将彩色图像信息和深度信息通过三维重建计算，得到稠密的三维场景点云图；
S3.4、将稠密的三维场景点云图进行角点检测得到垃圾的边缘像素信息；
S3.5、通过垃圾的边缘像素信息计算出三维重建垃圾的表面积；
S3.6、将三维重建垃圾的表面积与稠密的三维场景点云图的平均深度结合积分计算，得到该场景中的垃圾的体积；
S4、热值预测
通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
S4.1、对高光谱图像进行深度学习分类，由得到的垃圾类别可以推测出相应垃圾类别的热值；
S4.2、统计高光谱图像中各垃圾类别的图像像素占整幅画面的比例；
S4.3、依据各垃圾类别的热值和S3.2中的比例，计算整幅高光谱图像画面中所有垃圾的热值；
S4.4、将该高光谱图像与RGB-D三维图像表面进行匹配，找到高光谱相机拍摄到的位置，并记录位置和该处所有垃圾的热值；
S4.5、将所有拍摄到的高光谱图像重复S4.1-S4.4过程，完成RGB-D三维图像表面的垃圾热值预测，并通过堆放垃圾的总体热值。
由于采用了上述技术方案，本发明具有如下有益效果：
1、本发明通过RGB-D深度相机、短波高光谱相机采集垃圾短波多光谱信息图像、彩色深度图像，将多特征信息进行结合分析，可获得较高的生活垃圾识别和热值预测精度，使机器设备实现智能化应用与工业；
2、采用多维特征融合方式，能够较为准确的检测出生活垃圾的类别，提高生活垃圾识别的准确率，短波高光谱相机的引入解决了普通相机难以识别垃圾材质和成分的问题；
3、采用RGB-D深度相机，构建稠密生活垃圾三维点云图；可较精确地计算生活垃圾体积。
附图说明
图1为本发明基于短波高光谱相机的垃圾热值机器学习预测系统结构示意图；
图2为本发明基于短波高光谱相机的垃圾热值机器学习预测系统垃圾类别识别流程示意图；
图3为本发明基于短波高光谱相机的垃圾热值机器学习预测系统三维稠密重建体积计算流程示意图；
图4为本发明基于短波高光谱相机的垃圾热值机器学习预测系统热值估计算法流程示意图。
附图标记
附图中，1-短波高光谱相机；2-RGB-D深度相机；3-光源；4-机器视觉计算机；5-相机和光源支撑移动设备；6-垃圾料坑。
具体实施方式
通过图1所示，本发明基于红外高光谱相机的垃圾热值机器学习预测系统，包括短波高光谱相机、RGB-D深度相机、光源、机器视觉计算机、附属的相机和光源支撑移动设备(包括相机支撑移动设备、光源支撑移动设备，也可以通过同一设备完成相机支撑移动、光源支撑移动)，其中，机器视觉计算机具有图像处理模块、三维稠密重建体积计算模块和热值预测算法模块通过主成分分析算法、深度学习算法和BundleFusion算法得出物料的热值。
垃圾料坑6用于放置生活垃圾，短波高光谱相机1、RGB-D深度相机2、光源3、机器视觉计算机4、相机和光源支撑移动设备5可以通过购买获得；相机和光源支撑移动设备5可按需求在横向或纵向方向移动，可以采用三坐标机械手。
RGB-D深度相机3的拍摄方向为竖直向下，用于采集生活垃圾的颜色信息和深度信息(即三维图像)。所述RGB-D深度相机的侧方装有与RGB-D深度相机匹配的线性光源，线性光源的照射范围包括RGB-D深度相机在垃圾料坑6(或垃圾输放置器)上的拍摄范围，通过线性光源发出的均匀光保证彩色相机(RGB-D深度相机)的图像特征信息采集的稳定性。
短波高光谱相机1获取生活垃圾的光谱信息，其正下方设置有与该高光谱相机配合的光源，该光源可以产生400-2500nm波段范围的光线。这样，可通过漫反射保证物料反射光谱采集的稳定性。所述短波高光谱相机由900-1700nm波段或400-2500nm波段的短波质心相机与滤光片阵列(LCTF可调谐液晶滤波器或光栅滤光组件)组成。
短波质心相机和LCTF可调谐液晶滤波器采用3D打印材料固定，RGB-D深度相机、线性光源采用常规结构固定连接。短波质心相机、LCTF可调谐液晶滤波器和RGB-D深度相机分别于工控机通讯连接，通讯连接结构为导线连接。
采用短波质心相机和LCTF可调谐液晶滤波器获取单个垃圾的红外图像数据和特征光谱波段，并保存原始数据。
将所有的垃圾混合并采用短波质心相机和LCTF可调谐液晶滤波器获取红外图像数据和对应的光谱波段数据。
将获取的数据信息进行PCA降维，对单个像素进行Patch并对边缘像素进行Padding0扩充，将数据格式处理为Keras格式，通过Transpose将数据转换成PyTorch结构。
将采集的数据三维信息输入神经网络进行训练网络结构如下：3层三维卷积分别是8个7*3*3的卷积核、16个5*3*3的卷积核，32个3*5*5的卷积核；其次输入一层二维卷积层采用64个3*3的卷积核，使用Flatten将数据打平，通过2个比例为0.3的Dropout层；再采用Logs_Softmax损失函数进行32个节点的分类数输出；得到训练后参数权重。
采用RGB-D深度相机获取混合在垃圾料坑里面的所有垃圾的彩色信息图像和深度信息图像。
对彩色信息图像进行灰度化和图像滤波的预处理。
根据预测模型得到的分类结果并绘制分类结果图。
将预处理后的图像数据融合图像深度信息采用BundleFusion算法重构垃圾料坑中的所有垃圾的三维建模图。
对重构出来的三维场景图进行角点检测获取生活垃圾的边缘像素信息。
通过边缘像素信息计算当前场景中生活垃圾的表面积。
将采集的图像深度信息进行平均值计算，从而采集垃圾的深度值结合表面积得到体积值。
将短波高光谱相机和RGB-D深度相机采集的图像信息进行图像配准。
待上述完成后按照如图4所示，将图2计算得到的体积乘以图3所得到分类结果映射得到所有分类物质的热值，从而估计所有生活垃圾的热值。各分类物质的热值可提前通过实验进行测试获取，为单一品种垃圾的热值实验值。
根据深度信息和彩色信息重建稠密的三维重建生活垃圾信息计算其体积，结合短波高光谱相机和RGB-D深度相机所得到的分类识别结果和生活垃圾体积融合对应物质的热值数据得到相应的生活垃圾的热值预测模型，使得现有的控制系统可估算需热值的生活垃圾体积并指挥抓斗作业，有助于提高焚烧池中热量的稳定并改善操作工人员的操作条件。
本发明中，计算机通过预先训练的深度神经网络模型实现垃圾(有机固废)图像的分类识别，通过图像处理算法计算图像中各种垃圾(废弃物)所占的比例和固废总体体积，并由热值实验值预测图像视场内的有机固废总热值。本发明通过短波高光谱相机和机器学习方法对有机固废进行热值预测，实现自动化有机固废堆放的监测和管理，并在有机固废堆放图像上可视化显示热值高低差异，辅助操作人员对固废焚烧发电进料依据热值进行有效投放，提升发电装置运行品质。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (10)
1.一种基于短波高光谱相机的垃圾热值预测系统，其特征在于，包括：
RGB-D深度相机，用于采集垃圾堆垛深度图像信息；
短波高光谱相机，用于采集垃圾高光谱图像信息；
机器视觉计算机，所述机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块；
所述图像算法处理模块通过垃圾高光谱图像预测垃圾类别；所述三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；所述热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
2.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述图像算法处理模块基于主成分分析和深度学习算法识别垃圾类别。
3.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述三维稠密重建体积计算模块采用BundleFusion算法重建稠密的三维垃圾形状图。
4.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述RGB-D深度相机的侧方装有与RGB-D深度相机匹配的线性光源。
5.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述短波高光谱相机由覆盖900-1700nm波段或400-2500nm波段的相机、光栅滤光组件/液晶调谐滤波器组成。
6.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述短波高光谱相机配有400-2500nm波段的光源。
7.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：还包括相机支撑移动设备，相机支撑移动设备用于移动相机，以控制相机距离垃圾堆放处的距离和位置。
8.一种基于短波高光谱相机的垃圾热值预测方法，其特征在于，包括权利要求1所述的垃圾热值预测系统，预测方包括以下步骤：
S1、垃圾图像拍摄
S1.1、由所述RGB-D深度相机拍摄堆放垃圾整体的三维图像和表面可见光图像，
S1.2、由所述的短波高光谱相机拍摄垃圾局部的高光谱图像，并通过移动高光谱相机完成堆放垃圾整体的拍摄；
S2、垃圾分类预测建模
S2.1、将短波高光谱相机采集的图像进行预处理(包括减少噪点及锐化等)，再进行图像上的垃圾种类标记，并制作数据集，数据集划分为训练集、验证集和测试集；
S2.2、将制作的数据集进行降维，对单个像素进行分块处理并对边缘像素进行填零扩充，将数据格式处理为张量格式，通过转置将数据转换成深度神经网络所需数据结构；
S2.3、将步骤S1.2得到数据的三维信息输入深度神经网络进行训练，得到预测模型；
S2.4、通过测试集验证预测模型性能，最终得到机器学习分类预测模型；
S3、三维稠密重建体积计算
S3.1、将所述RGB-D深度相机采集到的彩色图像进行图像灰度化和滤波去噪；
S3.2、将灰度图像结合图像深度信息得到稀疏的三维垃圾点云图；
S3.3、将彩色图像信息和深度信息通过三维重建计算，得到稠密的三维场景点云图；
S3.4、将稠密的三维场景点云图进行角点检测得到垃圾的边缘像素信息；
S3.5、通过垃圾的边缘像素信息计算出三维重建垃圾的表面积；
S3.6、将三维重建垃圾的表面积与稠密的三维场景点云图的平均深度结合积分计算，得到该场景中的垃圾的体积；
S4、热值预测
通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息，
S4.1、对高光谱图像进行深度学习分类，由得到的垃圾类别可以推测出相应垃圾类别的热值；
S4.2、统计高光谱图像中各垃圾类别的图像像素占整幅画面的比例；
S4.3、依据各垃圾类别的热值和S3.2中的比例，计算整幅高光谱图像画面中所有垃圾的热值；
S4.4、将该高光谱图像与RGB-D三维图像表面进行匹配，找到高光谱相机拍摄到的位置，并记录位置和该处所有垃圾的热值；
S4.5、将所有拍摄到的高光谱图像重复S4.1-S4.4过程，完成RGB-D三维图像表面的垃圾热值预测，并通过堆放垃圾的总体热值。
9.根据权利要求8所述的一种基于短波高光谱相机的垃圾热值预测方法，其特征在于：还包括步骤S1.1、通过移动RGB-D深度相机完成堆放垃圾整体的拍摄。
10.根据权利要求8所述的一种基于短波高光谱相机的垃圾热值预测方法，其特征在于：还包括步骤S1.3、通过图像进行拼接，完成堆放垃圾整体图像的获取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310576355.4A CN116596982A (zh) | 2023-05-22 | 2023-05-22 | 一种基于短波高光谱相机的垃圾热值预测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310576355.4A CN116596982A (zh) | 2023-05-22 | 2023-05-22 | 一种基于短波高光谱相机的垃圾热值预测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596982A true CN116596982A (zh) | 2023-08-15 |
Family
ID=87593391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310576355.4A Pending CN116596982A (zh) | 2023-05-22 | 2023-05-22 | 一种基于短波高光谱相机的垃圾热值预测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596982A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116952413A (zh) * | 2023-09-19 | 2023-10-27 | 徐州凌南生物科技有限公司 | 一种生物质燃料垛测温方法及其系统 |
| CN117610901A (zh) * | 2024-01-24 | 2024-02-27 | 成都环境工程建设有限公司 | 一种用于垃圾发电厂垃圾运输车辆的调度方法及系统 |
| CN117993898A (zh) * | 2024-04-03 | 2024-05-07 | 中兰环保科技股份有限公司 | 一种基于固废垃圾分类回收的碳汇减排评估方法 |
-
2023
- 2023-05-22 CN CN202310576355.4A patent/CN116596982A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116952413A (zh) * | 2023-09-19 | 2023-10-27 | 徐州凌南生物科技有限公司 | 一种生物质燃料垛测温方法及其系统 |
| CN116952413B (zh) * | 2023-09-19 | 2023-11-24 | 徐州凌南生物科技有限公司 | 一种生物质燃料垛测温方法及其系统 |
| CN117610901A (zh) * | 2024-01-24 | 2024-02-27 | 成都环境工程建设有限公司 | 一种用于垃圾发电厂垃圾运输车辆的调度方法及系统 |
| CN117610901B (zh) * | 2024-01-24 | 2024-04-05 | 成都环境工程建设有限公司 | 一种用于垃圾发电厂垃圾运输车辆的调度方法及系统 |
| CN117993898A (zh) * | 2024-04-03 | 2024-05-07 | 中兰环保科技股份有限公司 | 一种基于固废垃圾分类回收的碳汇减排评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116596982A (zh) | 一种基于短波高光谱相机的垃圾热值预测系统及方法 | |
| CN112529015B (zh) | 一种基于几何解缠的三维点云处理方法、装置及设备 | |
| Rashidi et al. | An analogy between various machine-learning techniques for detecting construction materials in digital images | |
| CN108355981B (zh) | 一种基于机器视觉的电池连接器质量检测方法 | |
| CN104285175B (zh) | 使用小波分析进行单颗粒定位的方法和装置 | |
| EP3089074A1 (en) | Hyperspectral demixing using foveated compressive projections | |
| Mathavan et al. | Use of a self-organizing map for crack detection in highly textured pavement images | |
| CN109376773A (zh) | 基于深度学习的裂纹检测方法 | |
| CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
| CN107977686B (zh) | 一种工业x光图像的分类方法 | |
| CN107895136B (zh) | 一种煤矿区域识别方法及系统 | |
| CN116692297A (zh) | 基于物联网的垃圾桶检测方法、装置、设备及存储介质 | |
| Wang et al. | Fake modern Chinese painting identification based on spectral–spatial feature fusion on hyperspectral image | |
| Liang et al. | 3D plant modelling via hyperspectral imaging | |
| CN112634159A (zh) | 基于盲噪声估计的高光谱图像去噪方法 | |
| CN118002802B (zh) | 基于深度学习的slm在线质量监测、修复方法及系统 | |
| CN117817111A (zh) | 激光焊接智能识别匹配工艺参数的方法及系统 | |
| CN117456195A (zh) | 基于深度融合的异常图像识别方法及系统 | |
| EP0563897A1 (en) | Defect inspection system | |
| CN116665051A (zh) | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 | |
| Wan et al. | Cloud classification for ground-based sky image using random forest | |
| CN117011759A (zh) | 钻爆法隧道掌子面围岩多元地质信息解析方法及系统 | |
| CN116645351A (zh) | 一种复杂场景的缺陷在线检测方法及系统 | |
| CN105809187A (zh) | 基于图像识别的多厂家局放数据结果诊断分析方法 | |
| CN115690001A (zh) | 一种用于检测钢管焊接数字射线图像中缺陷的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |