CN113588592A - 基于特定谱段的典型目标材质识别方法 - Google Patents
基于特定谱段的典型目标材质识别方法 Download PDFInfo
- Publication number
- CN113588592A CN113588592A CN202110748378.XA CN202110748378A CN113588592A CN 113588592 A CN113588592 A CN 113588592A CN 202110748378 A CN202110748378 A CN 202110748378A CN 113588592 A CN113588592 A CN 113588592A
- Authority
- CN
- China
- Prior art keywords
- spectral
- target material
- value
- typical target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 129
- 239000013077 target material Substances 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 239000000463 material Substances 0.000 claims description 55
- 238000005286 illumination Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000000701 chemical imaging Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000002329 infrared spectrum Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 7
- 229920000742 Cotton Polymers 0.000 description 4
- 239000004677 Nylon Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 229920001778 nylon Polymers 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 229920004933 Terylene® Polymers 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 229920000728 polyester Polymers 0.000 description 2
- 239000005020 polyethylene terephthalate Substances 0.000 description 2
- 229910052573 porcelain Inorganic materials 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- -1 wool Polymers 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特定谱段的典型目标材质识别方法。首先，确定目标材质的类别，并采集高光谱数据。然后，对高光谱数据进行处理，得到目标材质以及常见背景目标的光谱反射曲线。接着，参照背景目标，根据典型目标材质的光谱反射曲线变化趋势，总结识别每个典型目标材质所需的特定谱段和光谱反射曲线变化特征。其次，基于特定谱段和光谱反射曲线变化特征，进行数据处理，计算特征值。最后，以特征值作为分类模型的输入，并对模型输出进行形态学的后处理操作，最终得到户外视频监控场景下典型目标材质的像素级识别结果图像。
Description
技术领域
本发明涉及一种材质识别方法，尤其涉及一种基于特定谱段的典型目标材质识别方法，属于计算机视觉领域。
背景技术
在现代生活中，遍布各种场合的监控摄像头，每时每刻都在产生大量的图像视频数据。智能视频监控系统迎合了人们在视频内容分析方面的需求，能够对监控摄像头采集的视频信号进行自动处理、分析与理解，实现目标检测、识别、再识别和追踪等特定任务。由于智能视频监控系统的应用面极为广泛，特别是在安防领域具有不可忽视的作用，智能视频监控系统仍然是学术界和工业界研究热点。
目前，绝大多数智能视频监控系统都是基于可见光图像和视频信息设计相应的算法，来满足实际应用需求。虽然可见光数据能够反映目标的色彩、轮廓、纹理等表观特征，但也存在以下问题，使得智能视频监控系统的发展遇到了瓶颈：一是对于表观特征相近的目标不具备区分性；二是色彩、轮廓、纹理等表观特征属于底层特征，在底层特征到目标之间需要建立复杂的映射，需要消耗较多的算力和时间；三是基于可见光提取的表观特征并不稳定，容易受到外界因素的影响，例如环境光照变化、目标形态和角度的变化以及局部遮挡。
材质属性是物体本身具有的一种物理属性，对于天气、环境和拍摄参数的变化不敏感，广泛应用于城市规划与监测、矿物勘探等领域。材质属性与目标之间往往具有直接的映射关系，有效提取材质信息能够帮助智能视频监控系统快速且准确地检测和识别目标。
对于户外视频监控场景，现有材质属性识别方法存在以下问题：
1)难以直接提取目标材质的光谱反射特征。在户外场景下光照环境复杂，场景在一天中不同时刻的环境光照度不同，且由于阴影区域的存在，同一时刻的场景中不同区域也可能存在照度差异。难以对目标表面的入射光线进行定量估计。另外，在户外视频监控场景中放置标准反射白板等标准参照物并不现实，无法直接估计目标表面的反射率。
2)方法实用性差，难以取得效率和准确性的平衡。现有的材质识别方法分为基于表观特征和基于高光谱数据的方法：基于表观特征的方法以RGB图像为主要研究对象，提取目标的表观特征以建立与材质属性之间的联系，同样面临上述区分性不足、不稳定等问题，目标材质属性识别的准确性难以保证；基于高光谱数据的方法以高光谱图像数据为研究对象，一幅高光谱图像数据往往由数十至上百幅不同波段的亮度图像组成，能够提供目标的更多光谱反射信息，所以能够更准确地提取材质属性信息。但由于高光谱数据波段数多和规模大的原因，数据采集和处理过程效率低下，无法在户外监控视频场景中实现对目标材质属性的快速提取。总的来说，户外视频监控场景下，现有目标材质识别方法实用性差。
发明内容
针对于目前户外视频监控场景下的材质识别方法存在的一些问题，本发明提出了一种基于特定谱段的典型目标材质识别方法，其包括：首先提出了一种光谱反射曲线引导的典型目标材质的特定谱段选取和光谱特征提取方法，然后在此基础上提出一种基于特定谱段的典型材质属性识别算法。
针对于难以直接提取目标材质的光谱反射特征的问题，本发明提出了一种光谱反射曲线引导的典型目标材质的特定谱段选取和光谱特征提取方法。首先借助高光谱相机，在实际户外监控场景下采集的典型目标材质的高光谱数据，根据统计先验，基于典型目标材质的光谱曲线变化趋势来选择特定谱段和构造光谱特征。
针对于方法实用性差，难以取得效率和准确性的平衡的问题，本发明提出一种基于特定谱段的典型材质属性识别算法。根据已选取的特定谱段，同时采集谱段数量较少的多光谱图像，确保了后续的数据采集和处理效率，并有效避免了数据冗余的情况。再将典型目标材质具有的光谱反射曲线特征作为输入，采用阈值分割的方法或者借助机器学习或深度学习分类模型，实现户外视频监控场景下的典型目标材质的准确识别。
根据本发明的一个方面，提供了一种基于特定谱段的典型目标材质识别方法，其特征在于包括如下步骤：
A)确定典型目标材质的类别，并在户外场景中使用高光谱成像设备(如高光谱视频相机)采集相关的高光谱数据；
B)对高光谱数据进行处理，得到典型目标材质以及常见背景目标的光谱反射曲线；
C)对不同场景下的典型目标材质的光谱反射曲线进行统计，根据典型目标材质与其他材质的光谱反射曲线变化趋势，对目标材质与其他材质在某些谱段上绝对值的差异以及某些谱段间相对值的差异进行归纳，作为后续进行材质识别的特征。并根据这些特征，选取相关的谱段，作为识别每个典型目标材质所需的特定谱段。。
D)基于步骤C中得出的每个典型目标材质的特定谱段和光谱反射曲线变化特征，获取特定谱段的多光谱图像数据，并进行数据处理，计算特征值。
E)将步骤D得到的目标材质的特征值作为输入，实现户外视频监控场景下的典型目标的像素级材质属性识别方法，得到最终的材质属性识别结果图像。
其中：
步骤B)所述的数据处理方法包括如下步骤：
B1)保留光谱反射曲线的形态的同时，消除环境光照强度影响，对高光谱数据中的反射亮度值进行归一化处理，计算公式如下：
式中，x,y表示像素的空间索引，i表示光谱谱段索引，I表示原始的反射亮度值。
B2)以光谱图像的谱段波长作为横坐标、以B1)得到的光谱图像的归一化反射亮度值作为纵坐标，绘制典型目标材质以及常见背景目标的光谱反射曲线。
步骤D)所述的特征值包括：
D1)基于步骤(C)中分析得出的典型目标材质的光谱反射曲线变化特点，对特定谱段的多光谱图像数据进行数据预处理，得到的光谱反射曲线变化特征值Feature1。特征包括某些谱段上的绝对值特征以及谱段间的相对值特征两类，可以分别有但不限于以下几种表示方式：
对于第i谱段上的绝对值特征：
Feature1(x,y,k)＝Inorm(x,y,i)
式中，x,y表示像素的空间索引，k表示特征值的索引。
对于谱段i和谱段j间的相对值特征：
Feature1(x,y,p)＝Inorm(x,y,i)-Inorm(x,y,j)
或
Feature1(x,y,p)＝(Inorm(x,y,i)-Inorm(x,y,j))/(Inorm(x,y,i)+Inorm(x,y,j))
式中，x,y表示像素的空间索引，p表示特征值的索引。
D2)选取近红外谱段的图像，借助方向梯度直方图(HOG)、局部二值模式(LBP)等特征提取算子或自定义的卷积层结构，从像素上下文邻域中提取特征值，作为中心像素的纹理特征值Feature2。
步骤E)所述的典型目标的像素级材质属性识别方法包括：
E1)通过人工手动设计阈值和决策规则的方式构建的分类模型。
E2)以现有的传统机器学习分类器、深度神经网络模型、或者自行设计的神经网络模型结构作为分类模型，通过训练模型的方式实现阈值和决策规则的自动搜索。
E3)进行先腐蚀后膨胀的形态学后处理，优化分类模型的输出结果。得到最终的材质属性识别结果图像。
附图说明
图1为根据本发明的一个实施例的基于特定谱段的典型目标材质识别方法的流程图。
图2为户外视频监控场景中常见材质的光谱反射曲线图。
图3为深色涤纶与棉质衣物、尼龙衣物的光谱反射曲线图。
图4为特征值计算过程示意图。
图5为基于人工手动设计阈值和决策规则的分类模型示意图。
图6为根据本发明的一个实施例的目标材质识别方法的客观结果的示例图。
具体实施方式
根据本发明的一个实施例的基于特定谱段的典型目标材质识别方法的实施方案如图1所示，其包括如下步骤：
A)确定典型目标材质的类别，并在户外场景中使用高光谱成像设备(如高光谱视频相机)采集相关的高光谱数据；
B)对高光谱数据进行处理，得到典型目标材质以及常见背景目标的光谱反射曲线；
C)对不同场景下的典型目标材质的光谱反射曲线进行统计，根据典型目标材质与其他材质的光谱反射曲线变化趋势，对目标材质与其他材质在某些谱段上绝对值的差异以及某些谱段间相对值的差异进行归纳，作为后续进行材质识别的特征。并根据这些特征，选取相关的谱段，作为识别每个典型目标材质所需的特定谱段。
D)基于步骤C中得出的每个典型目标材质的特定谱段和光谱反射曲线变化特征，获取特定谱段的多光谱图像数据，并进行数据处理，计算特征值。
E)将步骤D得到的目标材质的特征值作为输入，实现户外视频监控场景下的典型目标的像素级材质属性识别方法，得到最终的材质属性识别结果图像。
其中：
步骤B)所述的数据处理方法包括如下步骤：
B1)保留光谱反射曲线的形态的同时，消除环境光照强度影响，对高光谱数据中的反射亮度值进行归一化处理，计算公式如下：
式中，x,y表示像素的空间索引，i表示光谱谱段索引，I表示原始的反射亮度值。
B2)以光谱图像的谱段波长作为横坐标、以B1)得到的光谱图像的归一化反射亮度值作为纵坐标，绘制典型目标材质以及常见背景目标的光谱反射曲线。
步骤D)所述的特征值包括：
D1)基于步骤(C)中分析得出的典型目标材质的光谱反射曲线变化特点，对特定谱段的多光谱图像数据进行数据预处理，得到的光谱反射曲线变化特征值Feature1。特征包括某些谱段上的绝对值特征以及谱段间的相对值特征两类，可以分别有但不限于以下几种表示方式：
对于第i谱段上的绝对值特征：
Feature1(x,y,k)＝Inorm(x,y,i)
式中，x,y表示像素的空间索引，k表示特征值的索引。
对于谱段i和谱段j间的相对值特征：
Feature1(x,y,p)＝Inorm(x,y,i)-Inorm(x,y,j)
或
Feature1(x,y,p)＝(Inorm(x,y,i)-Inorm(x,y,j))/(Inorm(x,y,i)+Inorm(x,y,j))
式中，x,y表示像素的空间索引，p表示特征值的索引。
D2)选取近红外谱段的图像，借助方向梯度直方图(HOG)、局部二值模式(LBP)等特征提取算子或自定义的卷积层结构，从像素上下文邻域中提取特征值，作为中心像素的纹理特征值Feature2。
步骤E)所述的典型目标的像素级材质属性识别方法包括：
E1)通过人工手动设计阈值和决策规则的方式构建的分类模型。
E2)以现有的传统机器学习分类器、深度神经网络模型、或者自行设计的神经网络模型结构作为分类模型，通过训练模型的方式实现阈值和决策规则的自动搜索。
E3)进行先腐蚀后膨胀的形态学后处理，优化分类模型的输出结果。得到最终的材质属性识别结果图像。
如图1所示，根据本发明的一个实施例的基于特定谱段的典型目标材质识别方法的具体步骤包括：
(1)确定目标材质，采集高光谱图像数据
在本发明实施例中，以行人皮肤、衣物、植被、地砖和建筑外墙砖作为主要对象。其中，衣物的材质类别包括棉、毛、涤纶、尼龙；植被类别包括绿叶、黄叶、红叶、枯叶、树木枝干；地砖和建筑外墙砖的材质类别主要是石材、瓷质。除此之外，户外场景中常见的其他材质(如柏油马路、金属、塑料、天空)作为背景材质。
然后，通过LIGHTGENE-H200高光谱视频相机，在白天的不同时间段，采集不同户外场景下的高光谱图像数据，采集内容包含目标材质和背景材质，采集的谱段范围为450nm～950nm(128个谱段)，光谱分辨率约为4nm，空间分辨率为1689像素*1299像素。
(2)高光谱数据处理
高光谱数据体的表示形式为：宽度像素数*高度像素数*谱段数。在现有的高光谱数据上，对于空间上任意位置的点，拥有128个在不同波长上光谱谱段的反射亮度值。
在白天的户外场景中，光源基本上来自于太阳光。光照环境的复杂性主要体现是太阳光强度在场景中的不一致和不均匀的现象。不一致指的是时间、季节的不同使得场景中的总体光照强度不确定，而不均匀指的是场景中太阳光直射区域和遮挡产生的阴影区域之间的照度差异较大。但太阳光自身各波长光线的能量组成相对固定，且物体表面对于各波长光线的反射率是不变的，因此即使照射在物体表面的太阳光强度会发生较大的变化，但反射光线中各波长谱段之间的变化关系也会相对稳定。为消除环境光照强度的影响，本发明对反射亮度值进行归一化处理，公式如下：
式中，x,y表示像素的空间索引，i表示光谱谱段索引，I表示原始的反射亮度值。
从高光谱数据体中取得目标材质和背景材质的平面位置坐标，以光谱图像的谱段波长作为横坐标、以归一化后的反射亮度值作为纵坐标，即可绘制指定材质在场景中的光谱反射曲线。
(3)特定谱段选取与特征设计
各种材质光谱反射曲线变化趋势的显著性特点，实际上是材质表面对于不同波长的光线反射率特征的体现。例如，广泛运用于遥感领域的归一化植被指数和归一化水体指数，就是分别利用了植被和水体在光谱轮廓上“近红外波段像元亮度值的远多于红色波段”以及“绿色波段像元亮度值远高于近红外波段”的特征。如图2所示，根据实地采集的高光谱图像数据，在户外视频监控场景中常见材质(如柏油马路、行人皮肤、建筑外墙石材砖等)的光谱反射曲线均具有较为显著的特点。
在本实施例中，从户外实际采集的原始高光谱数据图像中筛选出的规范图像，这些图像中无运动模糊、失焦模糊、高亮过曝、低照度高噪声现象，并根据图像中像素信息整理属于至少11大类26小类材质的380余条各种目标的光谱反射曲线。对目标材质与其他材质的光谱反射曲线在某些谱段上绝对值的差异以及谱段间相对值的差异进行归纳，以归纳后的上述绝对值差异和相对值差异作为后续处理的特征。
例如，如图3所示，较于其他材质，深色涤纶、棉质和尼龙衣物的光谱反射曲线在某些谱段上绝对值特征有：在800nm左右的近红外波段上反射值较高，在450nm和550nm左右的蓝、绿光波段上反射值较低；在谱段间相对值上的特征有：①500nm到560nm只有小幅的谱值上升趋势；②640nm到800nm有非常明显的谱值上升趋势；③640nm到700nm有一定的谱值上升趋势。
最后根据目标材质的光谱反射曲线上呈现的绝对值、相对值特征，尽可能精简所需的特定谱段数目，最终确定了波长为500nm-800nm之间的9个谱段作为识别植被(包括绿叶、黄/红叶、落叶和树干)、皮肤、衣物(包括尼龙、涤纶、棉质、毛质衣物)、建筑外墙砖和地面砖(包括石制、瓷制)等典型目标材质的特定谱段。
(4)计算特征值
根据步骤(3)中得出的典型目标材质的特定谱段，定制相应的多光谱图像数据传感器，以直接获取户外场景中的特定谱段的多光谱图像。如图4所示，本发明基于特定谱段的多光谱图像提取的特征值包括光谱反射曲线变化特征值与纹理特征值：
光谱反射曲线变化特征值：基于步骤(3)中分析得出的典型目标材质的光谱反射曲线变化特点，对特定谱段的多光谱图像数据进行数据预处理，计算各典型目标材质的M个光谱反射曲线变化特征值Feature1(x,y,1),Feature1(x,y,2),…,Feature1(x,y,M)：
在步骤(3)中设计的特征包括某些谱段上的绝对值特征以及谱段间的相对值特征两类，可以分别有但不限于以下几种表示方式：
对于第i谱段上的绝对值特征，可以直接用步骤(2)中的归一化后反射亮度值Inorm(x,y,i)作为第k个特征值Feature1(x,y,k)：
Feature1(x,y,k)＝Inorm(x,y,i)
对于谱段i和谱段j间的相对值特征，如果描述的是两个谱段之间反射值的大小关系(即在光谱反射曲线上的纵坐标的高低关系)，可以取两者归一化后反射亮度值Inorm(x,y,i)的差值来描述第p个特征值Feature1(x,y,p)，即：
Feature1(x,y,p)＝Inorm(x,y,i)-Inorm(x,y,j)
或者使用自定义归一化指数函数的方式来描述第p个特征值Feature1(x,y,p)，比如：
Feature1(x,y,p)＝(Inorm(x,y,i)-Inorm(x,y,j))/(Inorm(x,y,i)+Inorm(x,y,j))
纹理特征值：在多光谱图像中，表示同一种材质的像素点同样并不是孤立存在的。在属于同一片材质的图像区域内，虽然反射性质相同，但由于材质表面自身的纹理，会呈现出具有一定规律的像素强度分布。因此纹理特征也可以作为判断材质的一个重要的特征。
为排除颜色的影响，选取特定谱段中属于近红外光的一个谱段信息作为提取纹理特征值的原始数据。借助方向梯度直方图(HOG)、局部二值模式(LBP)等特征提取算子或自定义的卷积层结构，从像素上下文邻域中提取特征值，作为中心像素的纹理特征值Feature2(x,y,1),Feature2(x,y,2),…,Feature2(x,y,N)。
(5)像素级典型目标材质属性求解
根据步骤(4)计算得到了特征值数据体，描述了每个像素位置的典型目标材质特征值，数据体上的表示形式为：宽度像素数*高度像素数*特征值数。设计分类模型，以每个像素处的所有特征值作为输入，以每个像素处的材质属性类别作为输出，即可实现户外视频监控场景下的典型目标材质属性的像素级识别，得到最终的材质属性识别结果图像，其表示形式为：宽度像素值*高度像素值*1(即相应位置的材质属性标签类别)。像素级典型目标材质属性求解包括分类模型以及形态学后处理两部分内容：
分类模型：如图5所示，本发明的分类模型实质上是一种基于阈值的决策过程，是一种特征值序列到标签类别的非线性映射过程。包括至少两种实现途径：一是通过人工手动设计阈值和决策规则的方式；二是通过使用现有的决策树(Decision Tree)、随机森林(Random Forest)、支持向量机(SVM)等传统机器学习分类模型或者U-Net、FCN等深度神经网络模型，或者自行设计的神经网络模型结构，通过训练模型的方式实现阈值和决策规则的自动搜索。
形态学后处理：基于现有的实践经验，由于成像设备自身存在噪声的原因，像素级材质属性识别结果可能存在一定的分散、独立的误检现象。本发明采取先腐蚀后膨胀的形态学后处理方法对分类结果进行优化，能够有效地消除由成像设备自身噪声带来的误检。经过形态学后处理后，得到最终的材质属性识别结果图像。
Claims (2)
1.一种基于特定谱段的典型目标材质识别方法，其特征在于包括如下步骤：
A)对高光谱数据进行处理，得到典型目标材质以及常见背景目标的光谱反射曲线，其中所述高光谱数据是针对典型目标材质的类别在户外场景中使用高光谱成像设备采集的与典型目标材质相关的高光谱数据，
B)对不同场景下的典型目标材质的光谱反射曲线进行统计，根据典型目标材质与其他材质的光谱反射曲线变化趋势，对目标材质与其他材质在某些谱段上绝对值的差异以及某些谱段间相对值的差异进行归纳，作为后续进行材质识别的特征。并根据这些特征，选取相关的谱段，作为识别每个典型目标材质所需的特定谱段，
C)基于步骤B中得出的每个典型目标材质的特定谱段和光谱反射曲线变化特征，获取特定谱段的多光谱图像数据，并进行数据处理，计算特征值，
D)将步骤C得到的目标材质的特征值作为输入，实现户外视频监控场景下的典型目标的像素级材质属性识别处理，得到最终的材质属性识别结果图像，
其中：
步骤A)所述的数据处理方法包括如下步骤：
A1)保留光谱反射曲线的形态的同时，消除环境光照强度影响，对高光谱数据中的反射亮度值进行归一化处理，计算公式如下：
式中，x,y表示像素的空间索引，i表示光谱谱段索引，I表示原始的反射亮度值，
A2)以光谱图像的谱段波长作为横坐标、以A1)得到的光谱图像的归一化反射亮度值作为纵坐标，绘制典型目标材质以及常见背景目标的光谱反射曲线，
步骤C)所述的特征值包括：
C1)基于步骤(B)中分析得出的典型目标材质的光谱反射曲线变化特点，对特定谱段的多光谱图像数据进行数据预处理，得到的光谱反射曲线变化特征值Feature1，特征包括一部分特定谱段上的绝对值特征以及谱段间的相对值特征两类，
C2)选取特定谱段中的近红外谱段的图像，借助包括方向梯度直方图HOG、局部二值模式LBP等特征描述子中的至少一种算子和自定义的卷积层结构，从像素上下文邻域中提取特征值，作为中心像素的纹理特征值Feature2，
步骤D)所述的典型目标的像素级材质属性识别处理包括：
D1)通过人工手动设计阈值和决策规则的方式构建的分类模型，
D2)以现有的传统机器学习分类器、深度神经网络模型、或者自行设计的神经网络模型结构作为分类模型，通过训练模型的方式实现阈值和决策规则的自动搜索，
D3)进行先腐蚀后膨胀的形态学后处理，优化分类模型的输出结果。得到最终的材质属性识别结果图像。
2.根据权利要求1所述的基于特定谱段的典型目标材质识别方法，其特征在于所述步骤(C1)中，通过设计代数运算规则，对特定谱段上的绝对值特征以及谱段间的相对值特征进行定量表示。其中，这两类特征可以有但不限于以下几种表示方式为：
对于第i谱段上的绝对值特征：
Feature1(x,y,k)＝Inorm(x,y,i)
式中，x,y表示像素的空间索引，k表示特征值的索引。
对于谱段i和谱段j间的相对值特征：
Feature1(x,y,p)＝Inorm(x,y,i)-Inorm(x,y,j)
或
Feature1(x,y,p)＝(Inorm(x,y,i)-Inorm(x,y,j))/(Inorm(x,y,i)+Inorm(x,y,j))
式中，x,y表示像素的空间索引，p表示特征值的索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748378.XA CN113588592B (zh) | 2021-06-30 | 2021-06-30 | 基于特定谱段的典型目标材质识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748378.XA CN113588592B (zh) | 2021-06-30 | 2021-06-30 | 基于特定谱段的典型目标材质识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113588592A true CN113588592A (zh) | 2021-11-02 |
| CN113588592B CN113588592B (zh) | 2022-09-30 |
Family
ID=78245539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110748378.XA Active CN113588592B (zh) | 2021-06-30 | 2021-06-30 | 基于特定谱段的典型目标材质识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113588592B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115349778A (zh) * | 2022-08-15 | 2022-11-18 | 奥比中光科技集团股份有限公司 | 扫地机器人的控制方法、装置、扫地机器人及存储介质 |
| CN117058297A (zh) * | 2023-07-26 | 2023-11-14 | 泰瑞数创科技(北京)股份有限公司 | 一种利用多光谱图像自动生成材质方法 |
| CN117690028A (zh) * | 2024-02-02 | 2024-03-12 | 江苏菲尔浦物联网有限公司 | 基于遥感传感器的目标探测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105842173A (zh) * | 2016-06-06 | 2016-08-10 | 南京大学 | 一种高光谱材质鉴别方法 |
| CN106872393A (zh) * | 2017-04-14 | 2017-06-20 | 北京国科虹谱光电技术有限公司 | 一种塑料废弃物中目标材质识别方法及装置 |
| CN109872295A (zh) * | 2019-02-20 | 2019-06-11 | 北京航空航天大学 | 基于光谱视频数据的典型目标材质属性提取方法和装置 |
| KR20190104485A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 옷감 식별 방법, 장치 및 시스템 |
| CN111948669A (zh) * | 2020-08-11 | 2020-11-17 | 锐驰智光(苏州)科技有限公司 | 一种基于激光雷达的高光谱数据信息获取系统 |
| CN112149582A (zh) * | 2020-09-27 | 2020-12-29 | 中国科学院空天信息创新研究院 | 一种高光谱图像材质识别方法及系统 |
| CN112906750A (zh) * | 2021-01-25 | 2021-06-04 | 浙江大学 | 一种基于高光谱图像的材质分析方法及系统 |
-
2021
- 2021-06-30 CN CN202110748378.XA patent/CN113588592B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105842173A (zh) * | 2016-06-06 | 2016-08-10 | 南京大学 | 一种高光谱材质鉴别方法 |
| CN106872393A (zh) * | 2017-04-14 | 2017-06-20 | 北京国科虹谱光电技术有限公司 | 一种塑料废弃物中目标材质识别方法及装置 |
| CN109872295A (zh) * | 2019-02-20 | 2019-06-11 | 北京航空航天大学 | 基于光谱视频数据的典型目标材质属性提取方法和装置 |
| KR20190104485A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 옷감 식별 방법, 장치 및 시스템 |
| CN111948669A (zh) * | 2020-08-11 | 2020-11-17 | 锐驰智光(苏州)科技有限公司 | 一种基于激光雷达的高光谱数据信息获取系统 |
| CN112149582A (zh) * | 2020-09-27 | 2020-12-29 | 中国科学院空天信息创新研究院 | 一种高光谱图像材质识别方法及系统 |
| CN112906750A (zh) * | 2021-01-25 | 2021-06-04 | 浙江大学 | 一种基于高光谱图像的材质分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李特权: ""基于分类精度预测的高光谱图像波段选择研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 畅文娟等: "高光谱图像组合光谱特征研究", 《现代电子技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115349778A (zh) * | 2022-08-15 | 2022-11-18 | 奥比中光科技集团股份有限公司 | 扫地机器人的控制方法、装置、扫地机器人及存储介质 |
| CN115349778B (zh) * | 2022-08-15 | 2023-12-19 | 奥比中光科技集团股份有限公司 | 扫地机器人的控制方法、装置、扫地机器人及存储介质 |
| CN117058297A (zh) * | 2023-07-26 | 2023-11-14 | 泰瑞数创科技(北京)股份有限公司 | 一种利用多光谱图像自动生成材质方法 |
| CN117058297B (zh) * | 2023-07-26 | 2024-02-20 | 泰瑞数创科技(北京)股份有限公司 | 一种利用多光谱图像自动生成材质方法 |
| CN117690028A (zh) * | 2024-02-02 | 2024-03-12 | 江苏菲尔浦物联网有限公司 | 基于遥感传感器的目标探测方法及系统 |
| CN117690028B (zh) * | 2024-02-02 | 2024-04-09 | 江苏菲尔浦物联网有限公司 | 基于遥感传感器的目标探测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113588592B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113588592B (zh) | 基于特定谱段的典型目标材质识别方法 | |
| Sadeghi-Tehran et al. | Multi-feature machine learning model for automatic segmentation of green fractional vegetation cover for high-throughput field phenotyping | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| Choe et al. | RANUS: RGB and NIR urban scene dataset for deep scene parsing | |
| CN110309781A (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| Xu et al. | Shadow detection and removal in apple image segmentation under natural light conditions using an ultrametric contour map | |
| Lone et al. | Object detection in hyperspectral images | |
| Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
| Kale et al. | A road sign detection and the recognition for driver assistance systems | |
| CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
| Harbaš et al. | Detection of roadside vegetation using Fully Convolutional Networks | |
| CN115690513A (zh) | 一种基于深度学习的城市行道树种类识别方法 | |
| Lu et al. | Detecting citrus fruits with highlight on tree based on fusion of multi-map | |
| Giveki et al. | Atanassov's intuitionistic fuzzy histon for robust moving object detection | |
| CN106169086B (zh) | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 | |
| CN116682024A (zh) | 一种基于四波段遥感影像的快速云检测方法 | |
| CN107103295A (zh) | 光学遥感影像云检测方法 | |
| Chowdhury et al. | Pixel characteristics based feature extraction approach for roadside object detection | |
| Yin et al. | A self-supervised learning method for shadow detection in remote sensing imagery | |
| Abraham et al. | Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures | |
| CN110427950B (zh) | 紫色土土壤图像阴影检测方法 | |
| Zhao et al. | Flame detection using generic color model and improved block-based PCA in active infrared camera | |
| Madsen et al. | Shadow detection in dynamic scenes using dense stereo information and an outdoor illumination model | |
| Sirmacek | Graph theory and mean shift segmentation based classification of building facades | |
| Ghahremannezhad et al. | Illumination-aware image segmentation for real-time moving cast shadow suppression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |