CN109872295B - 基于光谱视频数据的典型目标材质属性提取方法和装置 - Google Patents

Abstract

本发明提供了一种基于光谱视频数据的典型目标材质属性提取方法和装置。该方法包括：采集RGB‑IR光谱视频图像；使用预训练的回归模型将转换RGB‑IR图像为特征谱段图像；特征谱段图像的每一个像素值提取反射率特征；使用预训练的分类模型对特征谱段图像的反射率特征进行分类，判断每一个像素值是否属于若干种材质之一，给出材质属性标签图；使用形态学开操作和填充操作对材质属性标签图进行处理，输出材质属性标签图。本发明利用不同材质的反射特性差异，提取光照无关的反射率特征，使用分类器对反射率特征进行判别，实现视频监控中的特定材质属性提取。

Description

基于光谱视频数据的典型目标材质属性提取方法和装置

技术领域

本发明涉及一种光谱视频的处理方法和装置，尤其涉及一种基于光谱视频数据的材质属性提取方法及装置，属于视频监控领域。

背景技术

目前，视频监控系统已经遍布城市的各个角落，得到了广泛的应用。现有视频监控系统采集RGB视频图像，提取RGB图像中的表观特征，利用表观特征提取和分析目标，实现目标检测、目标跟踪等功能。但是表观特征收到视频图像质量的影响。同一目标在不同拍摄环境、不同姿态、遮挡等情况下采集的图像差异极大，导致目标的表观特征变化极大，难以处理和分析。造成现有系统在处理低质量图像，如过亮、过暗的图像，以及监控图像中的目标遮挡、目标尺度变化等情况时运行效率低、目标分析和提取效果差。现有系统难以处理低质量图像，难以处理目标遮挡等情况，是现有视频监控系统的一个突出问题。RGB视频图像中提取的表观特征的不稳定，是造成光照变化、目标遮挡、目标尺度变化等情况难以处理的根本原因。

材质属性是一种物理属性，广泛的应用于遥感、矿产探测、物质鉴别等领域。传统材质属性提取方法从目标的反射光谱中提取材质属性。反射光谱表示目标材质对不同波长光线的吸收比率，材质属性提取方法根据不同波长的吸收情况判断材质类别。反射光谱是一种相对量，目标遮挡、光照变化、目标尺度变化等情况对其没有影响，因而由反射光谱提取的材质属性对于遮挡、光照变化等情况具有稳定性，与表观特征相比具有一定优势。在视频监控场景下，依据场景中材质属性的分布情况，提取行人、车辆等目标的典型材质，能够实现遮挡目标、小目标、阴影中目标的高效检测，解决视频监控中的难点问题，具有重要的意义和实用价值。

但是，传统的材质属性提取方法和系统难以满足视频监控的需求，导致其难以应用于视频监控中。第一，传统材质属性提取方法使用的成像设备无法拍摄视频，无法应用于视频监控中。传统方法使用扫描式成像设备采集目标的高精度光谱，成像时间长，无法实现光谱视频的采集。第二，传统方法对拍摄场景要求高。传统方法由光谱反射率提取材质属性。图像采集中要求拍摄场景光源单一且光强均匀，利用光源光谱数据和目标材质光谱数据做除法，直接计算场景中每一点的光谱反射率，提取材质属性。而视频监控场景下光照变化的情况较为常见，传统反射率特征无法提取。第三，视频监控中面临成像噪声大的影响。视频成像设备曝光时间短，图像中噪声较大，而传统方法使用的扫描式设备噪声小，故传统系统和方法未考虑对成像噪声专门处理。上述情况导致传统的材质属性提取方法无法直接应用于视频监控中。

本发明公开了一种基于光谱视频数据的典型目标材质属性提取方法和装置，实现了视频监控场景下的材质属性实时提取。方法针对视频监控中关注的人、车等目标设定若干种关注的材质，利用一类RGB-IR成像设备采集光谱视频数据，从光谱视频数据中提取光照强度无关的反射率特征，利用分类器对反射率特征进行分类，判断图像中每一个像素的材质属性，给出材质属性分布图，实现了视频监控场景下的材质属性提取。

发明内容

本发明解决的问题在于采集视频监控场景下的RGB-IR光谱视频图像，判断每一个像素是否属于若干种材质属性之一，输出材质属性标签图。

根据本发明的一个方面，提供了一种基于光谱视频数据的典型目标材质属性提取方法，其特征在于包括：

A)采集RGB-IR光谱视频图像，

B)使用回归模型将RGB-IR光谱视频图像转换为特征谱段图像，

C)对特征谱段图像的每一个像素提取反射率特征，

D)使用分类模型对特征谱段图像的反射率特征进行分类，判断每一个像素是否属于特定的若干种材质之一，并给出相应的材质分类标签图，

E)使用形态学操作对材质属性标签图进行优化处理。

其中：

所述步骤B)中使用的回归模型由下述方法获得：

B1)根据提取的材质属性，设定特征谱段，

B2)把RGB-IR成像设备的光谱响应函数与高光谱数据相乘，获得模拟RGB-IR数据，

B3)选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，

B4)使用模拟RGB-IR数据与特征谱段数据，计算RGB-IR谱段至特征谱段的多元回归模型，其中多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种，

所述步骤C)包括：

对于一个N维特征谱段数据P和光源光谱数据W，反射率特征F由下述表达式确定：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

所述分类模型通过训练而确定，该训练包括：

D1)依据材质属性标注结果划分高光谱数据，构建训练数据集，

D2)把高光谱数据和特征谱段的响应函数相乘，使用高光谱数据和特征谱段的响应函数相乘，获取模拟RGB-IR图像，使用回归模型重建特征谱段光谱图像，获得特征谱段的光谱图像，

D3)利用所述反射率特征与材质属性标签训练分类模型。

根据本发明的另一个方面，提供了一种基于光谱视频数据的典型目标材质属性提取装置，其特征在于包括：

图像采集单元，用于接收多光谱图像并进行降噪处理，

特征谱段重建单元，用于使用回归模型重构特征谱段图像，

反射率提取单元，用于在特征谱段图像中逐像素提取反射率特征，

材质属性提取单元，用于使用预训练的分类模型，对每一个像素是否属于几种典型材质进行判别，并输出材质属性标签图，

形态学处理单元，用于接收材质属性标签图，用形态学开操作和填充操作处理和优化材质属性标签图，

其中：

反射率提取单元对于特征谱段像素值P和光源光谱数据W，反射率提取单元按照下述表达式确定反射率特征F：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

反射率提取单元在反射率特征计算过程中所使用的光源光谱数据是通过把标准白板高光谱数据与RGB-IR成像设备的光谱响应函数相乘而得到的。

附图说明

图1是根据本发明的一个实施例的基于光谱视频数据的典型目标材质属性提取方法的流程图。

图2是根据本发明的一个实施例的基于光谱视频数据的典型目标材质属性提取装置的配置图。

图3为本发明中特征谱段重建方法的训练和运行流程示意图。

图4为是根据本发明的一个实施例的生成回归模型训练数据的流程示意图。

图5显示了在根据本发明的一个实施例中使用的RGB-IR成像设备的响应函数绘制的曲线。

具体实施方式

材质属性是一种物理属性，广泛的应用于遥感、矿产探测、物质鉴别等领域，可由反射光谱中提取得出。反射光谱代表目标材质的反射光在不同波长上的吸收程度，是一种相对量，对于目标遮挡、光照变化、目标尺度变化等情况对成像结果的影响不敏感，能够对现有监控系统难以处理的问题提供新的解决方法。

本发明设计了一种材质属性提取方法及装置。该装置在运行时采集多波段可见光和近红外图像，使用回归预测的方法将彩色RGB和近红外IR波段图像转换为特征谱段图像，使用逻辑回归分类模型或决策树模型判断每一个像素是否属于特定的几类材质，最终输出拍摄场景的材质属性标签图。

根据本发明，对于输入的可见光和近红外(RGB-IR)光谱视频图像，使用回归预测的方法将RGB-IR光谱图像重构为目标材质的特征谱段，在特征谱段上提取光谱反射率特征，使用分类器对反射率特征进行分类，判断每一个像素是否属于几种目标材质之一。

本发明公开了一种材质属性提取装置，包括一台图像采集设备和材质属性提取装置。其中图像采集设备用于在可见光和近红外谱段进行成像，输出RGB-IR图像。材质属性提取装置用于将采集的RGB-IR视频图像转换为特征谱段图像，提取反射率特征，并对反射率特征进行分类，输出材质属性标签图。

本发明公开了一种基于光谱视频数据的典型材质属性提取方法，其特征包括如下步骤：

(1)采集RGB-IR光谱视频图像，

(2)使用回归模型转换RGB-IR光谱视频图像为特征谱段图像，

(3)对特征谱段图像的每一个像素提取反射率特征，

(4)使用分类模型对特征谱段图像的反射率特征进行分类，判断每一个像素是否属于特定的若干种材质之一，并给出相应的材质分类标签图，

(5)使用形态学操作对材质属性标签图进行优化处理。

如上所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于：所述步骤1中的RGB-IR光谱图像是由成像元件在400纳米至1000纳米之间的成像结果，其中IR谱段图像的中心波长应大于700纳米。

如上所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于：所述步骤2中的回归模型由下述方法获得：

2.1根据提取的材质种类设定的特征谱段，

2.2使用多光谱相机的光谱响应值与高光谱数据相乘，获得模拟多光谱数据，

2.3选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，

2.4使用模拟RGB-IR数据与特征谱段数据，计算多光谱谱段至特征谱段的多元回归模型。其中多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种。

如上所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于：所述步骤3中，对于特征谱段像素值P和光源光谱数据W，其反射率特征F由下述表达式计算获得：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数。

如上所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于：所述步骤3的反射率特征计算过程中，使用的光源光谱数据由白板高光谱数据与特征谱段的光谱响应值加权求和获得，维数与特征谱段相同。

如上所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于：所述步骤4的分类模型由下述步骤进行训练，包括：

4.1依据材质属性标注结果划分高光谱数据，构建训练数据集，

4.2使用高光谱数据和特征谱段的响应函数相乘，获取模拟RGB-IR数据，使用回归模型重建特征谱段光谱数据，获得特征谱段的光谱数据，

4.3使用步骤4中的反射率特征提取方法，提取反射率特征，

4.4使用反射率特征数据与材质属性标签训练分类模型。

下面结合附图和具体实施方式对本发明做进一步详细说明。

根据本发明的一个实施例的基于光谱视频数据的典型目标材质属性提取装置的配置如图2所示，包含一台RGB-IR光谱成像设备和一个材质属性提取装置。RGB-IR光谱成像设备具有在可见光和近红外谱段采集至少四个谱段图像的能力。其中IR谱段的中心波长在红外谱段的范围内，即中心波长在700纳米至1000nm之间。

在根据本发明的一个实施例中，搭载根据本发明的RGB-IR成像设备和材质属性提取装置的硬件部分被集成同一硬件平台上。在根据本发明的又一个实施例中，根据本发明的材质属性提取装置与RGB-IR成像设备通过网络进行数据的交互。

如图2所示，根据本发明的一个实施例的基于光谱视频数据的典型目标材质属性提取装置包括图像采集单元、特征谱段重建单元、反射率特征提取单元、材质属性分类单元、形态学处理单元。图像采集单元接收从RGB-IR光谱成像设备送来的光谱图像，并将该光谱图像传送至特征谱段重建单元。

图像采集单元接收从RGB-IR光谱成像设备送来的光谱图像，并将该光谱图像传送至特征谱段重建单元。

特征谱段重建单元从图像采集单元接收RGB-IR光谱视频图像，使用回归模型重构出特征谱段图像，把特征谱段图像输出至反射率提取单元。根据本发明的一个实施例，特征谱段重建单元使用多元线性回归法重构特征谱段图像。

反射率提取单元从特征谱段重建单元接收特征谱段图像，在特征谱段图像中逐像素提取反射率特征。提取的反射率特征输入至材质属性分类单元进行分类。

材质属性提取单元接收来自反射率特征提取单元的反射率特征，使用预训练的分类模型，对每一个像素是否属于几种典型材质进行判别，输出材质属性标签图。

形态学处理单元接收材质属性标签图，利用形态学滤波方法优化材质属性提取结果。

图1所示的是根据本发明的一个实施例的材质属性提取方法，包括5个步骤：

RGB-IR光谱视频采集；

特征谱段图像重建；

反射率特征提取；

材质属性分类；

形态学处理。

下面结合附图，依次对根据本发明的一个实施例中的上述5个步骤进行说明。

(1)RGB-IR光谱视频采集

RGB-IR光谱视频图像由RGB-IR成像设备采集。图像采集中的随机噪声会对本发明所述材质提取算法的结果造成影响，因而通过图像降噪算法减小图像采集中的噪声对结果的影响。本发明中使用的图像降噪算法包括空间域滤波法、变换域滤波法、全变分法三种方法中的一种。

(2)特征谱段图像重建

不同材质的物品间仅在少数几个谱段上具有较明显的反射率差异，发射率差异较大的谱段称为特征谱段。但是，RGB-IR成像设备采集的谱段与特定材质的特征谱段有一定差异，采集到的多光谱图像不能完全反应特征谱段上的成像结果。本发明中，采用回归预测的方式将多光谱图像重建至设定的特征谱段组合上，获取特征谱段图像。

特征谱段组合中特征谱段的数量一般为2～5个，根据提取的材质属性的不同，特征谱段组合的特征谱段数量和中心波长数有一定变化。例如，在本发明的一个应用实例中，提取行人棉质衣服材质的特征谱段组合包含3个谱段，其中第一个谱段在375～425纳米，第二个谱段在475～525纳米，第三个谱段在775～825纳米。在本发明的另一个应用实例中，提取车辆喷漆表面材质的特征谱段组合包含4个谱段，其中第一个谱段在420～450纳米，第二个谱段在530～550纳米，第三个谱段在625～650纳米，第四个谱段在800～850纳米。

本发明通过回归预测的方式重建特征谱段，包括训练阶段和运行阶段，流程如图3所示。训练阶段中完成回归模型的构建，由高光谱样本数据提取出RGB-IR光谱与特征谱段光谱之间的关系。运行阶段中，使用训练阶段中的回归模型，将输入的RGB-IR光谱视频图像转换为特征谱段图像。本发明使用的高光谱数据的应具有多于100个谱段，以精确表示目标的反射光谱信息。本发明利用高光谱数据训练所述回归模型以及步骤4中的材质属性分类模型。

训练阶段包括数据构建、模型求解两个步骤。

数据构建阶段构建回归模型求解所需的RGB-IR光谱数据和特征谱段光谱数据。训练使用的高光谱数据谱段数多，与发明中使用的RGB-IR成像设备采集到的RGB-IR光谱数据存在差异。本发明使用RGB-IR成像设备的响应函数与高光谱数据相乘的方式模拟RGB-IR成像设备和的像素值。下面结合图4介绍具体的计算方式。

RGB-IR光谱采集设备具有采集4个谱段光谱图像的能力。光谱采集设备采集400至1000纳米间的光线进行成像，不同波长的光线在不同谱段上的响应程度有所不同。图3表示了在根据本发明的一个实施例中使用的RGB-IR成像设备的响应函数绘制的曲线。响应程度由响应函数Response表示，可以表示为一个N*K维的矩阵。高光谱数据记为Spec，RGB-IR模拟数据R结果可以由矩阵乘法表示：

R＝Response·Spec

回归模型的计算阶段中，使用模拟的多光谱数据作为回归自变量，特征谱段数据作为回归变量，输入到回归模型中求解。使用的多元回归模型可以是线性回归、多项式回归、多元回归样条中的一种。

(3)反射率特征提取

反射率特征是材质属性提取中的核心特征，在计算光谱反射率的过程中，获取光源强度是关键。然而视频监控场景中，光照变化、目标遮挡等情况较为突出，场景中各个位置的光照强度不同，导致传统反射率特征难以提取。

针对监控场景中亮度变化的情况，本发明设计了亮度无关的反射率特征。该种特征仿照遥感领域的反射率特征的计算方式，对特征谱段图像中每一个像素点的光谱数据与光源光谱数据计算除法，然后将反射率最大谱段设为1，即全反射的波段。设N维特征谱段数据P和光源光谱数据W，本发明设计的反射特征F的计算式如下：

F＝(P/W)/max(P/W)

其中，光源光谱数据是由拍摄标准白板获得的高光谱数据通过步骤2描述的过程重建至特征谱段的结果，与特征谱段数据具有同等维数。

(4)材质属性分类

本发明中，材质属性分类步骤中利用分类器对反射率特征进行分类，实现材质属性的提取。分类器对每一个像素的反射率特征进行分类，判断该像素是否属于某一种材质类型，最终将结果以材质属性标签图的形式输出。材质属性分类使用的分类器由训练阶段训练生成，在运行阶段对输入的反射率特征分类。

训练阶段利用高光谱数据和标注的材质属性标签训练分类模型。训练阶段中，首先，高光谱数据使用步骤2中的RGB-IR数据构建方法和特征谱段重建方法生成特征谱段光谱数据。然后利用特征谱段光谱数据提取步骤3中的反射率特征。最终使用反射率特征和标注的材质属性标签训练材质属性分类器。

运行阶段中，对于输入的RGB-IR视频，使用步骤2中的回归模型转换为特征谱段光谱数据，提取步骤3中的反射率特征，使用分类器对反射率特征进行分类。

在根据本发明的一个实施例中，使用的分类器是二分类器(Binary Classifier)。该实施例提取一种材质时，在模型训练和装置运行阶段时，只使用一个分类器判断是否属于该种材质。当实施例中提取多种材质时，使用一对剩余(One VS Rest)的方式，对每一个类别分别训练分类模型。训练时将所选类别的数据设置为正样本，具有其他材质属性标签的数据设置为负样本。

在根据本发明的另一个实施例中，使用的分类器是多分类器(MulticlassClassifier)。多分类器能够处理同时提取多种材质的情况。分类器能够给出与输入数据最相似的材质属性标签。

在本发明一个实施例中，考虑到分类器的运行速度，使用逻辑回归(LogisticRegression)作为分类器。在本发明另一个实施例中，使用决策树作为分类器。

(5)形态学处理

本发明的反射率特征收到成像过程中随机噪声的显著影响，因而本发明利用形态学滤波方法，对步骤4的结果进行处理优化，减小成像噪声对材质属性分类结果的影响。

本发明的形态学处理步骤包括两步：使用开运算对材质属性标签图进行形态学滤波；填充形态学滤波结果中的孔洞区域。在本发明的一个实施例中，开运算使用的核函数为大小为5的十字型核。

以上公开的仅为本发明的具体实施例。在不脱离本发明的权利要求范围的前提下，本领域的技术人员，根据本发明提供的基本技术构思，能够进行各种相应的变化、修正。

Claims (3)

1.一种基于光谱视频数据的典型目标材质属性提取方法，其特征在于包括：

A)采集RGB-IR光谱视频图像，

B)使用回归模型将RGB-IR光谱视频图像转换为特征谱段图像，

C)对特征谱段图像的每一个像素提取反射率特征，

D)使用分类模型对特征谱段图像的反射率特征进行分类，判断每一个像素是否属于特定的若干种材质之一，并给出相应的材质属性标签图，

E)使用形态学操作对材质属性标签图进行优化处理，

其中：

所述步骤B)中使用的回归模型由下述方法获得：

B1)根据提取的材质属性，设定特征谱段，

B2)把RGB-IR成像设备的光谱响应函数与高光谱数据相乘，获得模拟RGB-IR数据，

B3)选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，

B4)使用模拟RGB-IR数据与特征谱段数据，计算多光谱谱段至特征谱段的多元回归模型，其中多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种，

所述步骤C)包括：

对于一个N维特征谱段数据P和光源光谱数据W，反射率特征F由下述表达式确定：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

所述分类模型通过训练而确定，该训练包括：

D1)依据材质属性标注结果划分高光谱数据，构建训练数据集，

D2)把高光谱数据和特征谱段的响应函数相乘，使用高光谱数据和特征谱段的响应函数相乘，获取模拟RGB-IR图像，使用回归模型重建特征谱段光谱数据，

D3)利用重建的特征谱段光谱数据提取反射率特征，

D4)利用所述反射率特征与材质属性标签训练分类模型。

2.根据权利要求1所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于所述步骤A)中的RGB-IR光谱图像是由RGB-IR成像元件在400纳米至1000纳米之间的成像结果，其中IR谱段图像的中心波长应大于700纳米。

3.一种基于光谱视频数据的典型目标材质属性提取装置，其特征在于包括：

图像采集单元，用于接收多光谱视频，并对视频的每一帧进行降噪处理，

特征谱段重建单元，用于使用回归模型重构特征谱段图像，

反射率提取单元，用于在特征谱段图像中逐像素提取反射率特征，

材质属性提取单元，用于使用预训练的分类模型，对每一个像素是否属于几种典型材质进行判别，并输出材质属性标签图，

形态学处理单元，用于接收材质属性标签图，用形态学开操作和填充操作处理和优化材质属性标签图，

其中：

特征谱段重建单元根据提取的材质属性，设定特征谱段，再把RGB-IR成像设备的光谱响应函数与高光谱数据相乘，获得模拟RGB-IR数据，然后选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，最后使用模拟RGB-IR数据与特征谱段数据，计算多光谱谱段至特征谱段的多元回归模型，多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种，

反射率提取单元对于特征谱段像素值P和光源光谱数据W，反射率提取单元按照下述表达式确定反射率特征F：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

反射率提取单元在反射率特征计算过程中所使用的光源光谱数据是通过把标准白板高光谱数据与RGB-IR成像设备的光谱响应函数相乘而得到的。

Images