CN112926702A - 主动光源式物体材质识别系统及方法 - Google Patents

Abstract

本发明公开了主动光源式物体材质识别系统及方法，通过依次发出多种不同频谱特征光线照射待识别物体；采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体多组反射强度数据和多种不同频谱特征光线一一对应；将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。相比现有“光照条件简单，信号测量复杂”的材质识别方案而言，能降低材质识别的操作难度，降低材质识别的测量成本。

Description

主动光源式物体材质识别系统及方法

技术领域

本发明涉及智能材质识别领域，尤其涉及主动光源式物体材质识别系统及方法。

背景技术

材质识别技术是一项热门的计算机应用研究技术，它属于计算机视觉的研究热点之一，尤其是近几年随着深度学习的蓬勃发展，深度学习在目标检测和识别中取得了巨大的成功。使用深度学习的方法，通过图像的CNN特征来区分图像中材质的类别也是近几年来研究的热点难点问题。而且对材质的识别是人类感知周围环境的重要方面，同时也在我们的生活中扮演着非常重要的角色，不同的材质带给人类的感知是不一样的，例如皮革制品和纺织品带给人类的感觉就很不同。同时材质识别也在自动驾驶、家庭垃圾自动分类等方面中有着广泛应用。材质识别主要包含几个部分：特征提取、分类器训练等等。目前针对每一部分都有较为成熟的算法，但是对于分类器的组合需要不同的策略研究对比得到更高的识别精度。现有技术中的材质识别方案主要包括如下的几种：

a)基于双向特征直方图的3D文理识别：双向纹理函数(BTF)是将观察图像纹理作为观察方向和照明方向的一个函数。构造一个基于BTF的表面模型，用来捕捉局部结构的相关统计分布，作为观察和光照条件的改变，称为3D纹理双向直方图表示。并在此基础上设计了一个3D纹理识别方法。使用BTF作为表面模型，然后对一个单一的纹理图像在未知成像参数下进行分类。同时设计了一个方法评价使用BFT对纹理图像相关重要性。

b)单一的图像多估计材质分类：针对物体表面材料的多样性，单一图像的反射和光照就变得具有很大的挑战性，主要困难是从稀疏的角样本中恢复反射率。可以通过提取和充分利用先验反射率来解决在这个问题。主要思想就是通过强约束可能的结果，使得复原后的反射率与实际材质是一致的。通过模拟方向统计BRDF模型的参数空间和提取真实材质跨度的子空间的解析分布来实现。

上述材质识别方案都需要采集测量复杂的反射频谱，再利用材料反射频谱数据库确定材料的类型，在实际过程中，操作复杂，不易上手，且需要较高的测量成本。

因此，如何解决现有的材质识别方案操作复杂，不易上手，且需要较高的测量成本已成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了主动光源式物体材质识别系统及方法，用以解决现有的材质识别方案操作复杂，不易上手，且需要较高的测量成本的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种主动光源式物体材质识别系统，包括：采集组件以及与所述采集组件连接的识别组件，所述采集组件：用于依次发出多种不同频谱特征光线照射待识别物体，并采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体的多组反射强度数据和多种不同频谱特征光线一一对应；

所述识别组件：用于将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

优选的，所述反射强度数据为待识别物体的特征图像上各个像素点的亮度通道，所述采集组件包括：

光源：用于依次发出多种不同频谱特征光线照射待识别物体；

相机：用于依次拍摄处于多种不同频谱特征光线照射下的待识别物体的多种特征图像；

提取模块：用于从多种特征图像上提取待识别物体反射多种不同频谱特征光线产生的多组反射强度数据。

优选的，所述反射强度数据为多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度，所述采集组件包括：

光源：用于依次发出多种不同频谱特征光线照射待识别物体；

光强传感器：用于依次采集多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度。

优选的，所述光源包括：多种发光元件，以及多种发光元件连接的控制电路；所述多种发光元件分别能发射不同频谱特征的光线照射待识别物体；所述控制电路用于切换不同的发光元件工作，以切换不同频谱特征的光线照射待识别物体。

优选的，所述识别组件为机器学习分类器：用于获取训练集进行训练，以学习并掌握多组反射强度数据与物体材质类别的对应关系，所述训练集包括不同材质的物体在多种不同频谱特征光线产生的多组反射强度数据，所述训练集中的多组反射强度数据都标注有其对应的材质类别；

接收待识别物体的多组反射强度数据，并根据多组反射强度数据与物体材质类别的对应关系判断待识别物体的材质类别。

一种主动光源式物体材质识别方法，包括以下步骤：

依次发出多种不同频谱特征光线照射待识别物体；

采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体多组反射强度数据和多种不同频谱特征光线一一对应；

将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

优选的，所述反射强度数据为待识别物体的特征图像上各个像素点的亮度通道，采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，包括以下步骤：

依次拍摄处于多种不同频谱特征光线照射下的待识别物体的多种特征图像；

从多种特征图像上提取待识别物体反射多种不同频谱特征光线产生的多组反射强度数据。

优选的，将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质，具体包括以下步骤：

构建机器学习分类模型，并获取包含不同材质的物体在多种不同频谱特征光线产生的多组反射强度数据的训练集进行训练，以学习并掌握多组反射强度数据与物体材质类别的对应关系；接收待识别物体的多组反射强度数据，所述训练集中的多组反射强度数据都标注有其对应的材质类别；

将待识别物体对不同频谱特征光线的反射强度数据输入训练好的机器学习分类模型中，得到待识别物体的材质。

本发明具有以下有益效果：

1、本发明中的主动光源式物体材质识别系统及方法，通过依次发出多种不同频谱特征光线照射待识别物体，并通过从低成本的采集组件采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，并将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。相比现有“光照条件简单，信号测量复杂”的材质识别方案而言，能降低材质识别的操作难度，降低材质识别的测量成本。

2、本方案采用机器学习分类器学习多组反射强度数据与材质的对应关系，再利用训练好的机器学习分类器判断输入未知材料的特征确定其材质，是“一步到位”的方法；而传统方法需要先测量物体材质的反射频谱，再利用材料反射频谱数据库确定材料的类型。本方案不对物体光谱反射率进行测量，仅关心最终的目标，即确定物体的材质。

3、本方案可以同时对相机拍摄的图像中每个像素对应的物体表面材质进行识别，因而可以高效的对同一场景中存在多个不同材质的物体表面进行快速准确分类，或者对于特定材质物体的位置进行准确精密测量。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明中的主动光源式物体材质识别系统的结构简图；

图2是本发明优选实施例的白纸和白布的特征响应图，(a)图表示白纸的特征响应图，(b)图表示白布的特征响应图；

图3是本发明优选实施例的主动光源式物体材质识别系统的结构图；

图4是本发明优选实施例的光源结构图；

图5是本发明优选实施例的神经网络分类器训练流程(其中，训练数据集即为编号后的反射强度数据的集合，人工智能模型即为机器学习分类器)；

图6是本发明优选实施例的编号后的反射强度数据的格式；

图7是本发明优选实施例的神经网络分类器的结构简图；

图8是本发明优选实施例的神经网络分类器分类过程(人工智能模型即为神经网络分类器)。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一：

如图1所示，本发明公开了一种主动光源式物体材质识别系统，包括：采集组件以及与所述采集组件连接的识别组件，所述采集组件：用于依次发出多种不同频谱特征光线照射待识别物体，并采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体的多组反射强度数据和多种不同频谱特征光线一一对应；

所述识别组件：用于将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

此外，在本实施例中，还公开了一种主动光源式物体材质识别方法，包括以下步骤：

依次发出多种不同频谱特征光线照射待识别物体；

采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体多组反射强度数据和多种不同频谱特征光线一一对应；

将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

本发明中的主动光源式物体材质识别系统及方法，通过依次发出多种不同频谱特征光线照射待识别物体，并通过从低成本的采集组件采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，并将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。相比现有“光照条件简单，信号测量复杂”的材质识别方案而言，能降低材质识别的操作难度，降低材质识别的测量成本。

实施例二：

实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对主动光源式物体材质识别系统的结构和功能进行了拓展，对主动光源式物体材质识别方法的步骤进行了细化：

本方案实现的原理在于不同材质的物体对不同频谱特征光线的反射吸收特性不一致，通过固定发出不同频谱特性的光线(这些频谱特性光线既可以是某一波段纯色光、也可以是某一波段范围的近纯色光，也可以是不同强度多波段的复合光)照射物体，再由相机对反射光线进行强度(即反射强度数据))测量，从而对该材质在该光线波段范围内的反射特性进行了采样，只需要采样光线的种类足够多，通过与事先测量的不同材质的反射强度数据进行比对，就能确定物体的材质。

如图2的(a)、(b)所示，(a)图表示白纸的特征响应图，(b)图表示白布的特征响应图(横轴对应K＝16，T＝3，共K×T＝48个频谱响应值(即亮度通道数据)；纵轴为图像的灰度值，范围为0～255)，可见：虽然人眼无法分清都是白色的物体是纸还是布料，但本技术方案获取的亮度通道数据具有明显不同，因此可以通过根据频谱响应值实现不同材质类型的识别。

本方案的识别组件采用机器学习分类器(如深度神经网络)来实现反射强度数据的自动比对，因为测量是在没有干扰光线的暗室中进行，且每个光源的光谱特性与强度都固定不变，因此相机测量的物体表面反射强度只与物体表面材质的反射特性有关，通过将相机记录的反射强度数据直接输入训练好的机器学习分类器，机器学习分类器即可输出图像上每个位置物体的表面材质类型。

其中，如图3所示，本实施例中的主动光源式物体材质识别系统包括采集组件，识别组件(即图中的计算机)，在本实施例中，所述反射强度数据为待识别物体的特征图像上各个像素点的亮度通道，所述采集组件包括光源、相机以及提取模块，光源用于依次发出不同频谱特征光线照射待识别物体，包含红外、可见光以及紫外等不同波段；相机用于依次拍摄处于多种不同频谱特征光线照射下的待识别物体的特征图像，即对物体反射光源的光线进行成像，记录图像数据供进一步分析，提取模块用于从多种特征图像上提取待识别物体反射多种不同频谱特征光线产生的多组反射强度数据。

此外，在优选本实施例中，所述反射强度数据可以为多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度。所述采集组件也可以设置成光源和光强传感器，光源依次发出多种不同频谱特征光线照射待识别物体；光强传感器依次采集多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度。

其中，如图4所示，本实施例中的光源内安装有多种发光元件以及多种发光元件连接的控制电路，可以采用不同颜色的LED发光元件或其它原理发光元件，也可以采用全光谱LED+不同滤光片的方式实现；所述多种发光元件分别能发射不同频谱特征的光线照射待识别物体；所述控制电路用于切换不同的发光元件工作，以切换不同频谱特征的光线照射待识别物体。

所述识别组件还包括控制模块，所述控制模块分别与所述相机和控制电路连接，所述控制模块用于控制控制电路切换不同发光元件工作，以切换不同的波长的光线照射待识别物体，所述还用于控制相机拍摄处于多种不同频谱特征光线照射下的待识别物体的特征图像。

所述识别组件为机器学习分类器：用于获取训练集进行训练，以学习并掌握多组反射强度数据与物体材质类别的对应关系；接收待识别物体的多组反射强度数据，并根据多组反射强度数据与物体材质类别的对应关系判断待识别物体的材质类别，所述训练集包括不同材质的物体在多种不同频谱特征光线产生的多组反射强度数据，所述训练集中的多组反射强度数据都标注有其对应的材质类别。

在本实施例中，使用的机器学习分类器使用的是神经网络分类器，则主动光源式物体材质识别方法，具体包括以下步骤：

1、使用多种频谱特性的光源依次对待识别物体进行照明，再使用相机对待识别物体表面进行成像，得到多张特征图像。

2、对于一个物体表面，可获取K幅图像，每幅图像含W×H个像素；使用提取模块从多张特征图像中提取待识别物体对不同频谱特征光线的反射强度数据：

每一个像素点，每个图像有T个通道，共得到K×T个响应值(即亮度通道数据)(如果是单色相机该响应值即为图像的灰度数据，如果是彩色相机即为相机的RGB数据)，称为特征向量，记为F[1,2,…,K×T]。

3、采集不同材质的特征图像，提取不同材质的反射强度数据，并按照材质类型(如：纸张、金属、橡胶、塑料、陶瓷、玻璃、木材、棉质、化纤等)对所述反射强度数据进行编号(即标注)为1、2、…、N。

其中，编号后的反射强度数据格式如图5所示，共有M条数据，每条数据为49维，其中1至48位分别表示不同的亮度通道数据，第49维表示数据对应的材质类别(即编号)，其中，材质类别由人工进行标注。

通过以上操作，可以获取大量特征与材质的对应关系，将这些数据保存下来作为神经网络分类器的训练数据。如图6所示，使用编号后的反射强度数据对该神经网络分类器进行训练，不断调整网络权重，直到分类准确率达到要求。

4、构建神经网络分类器，其中构建的神经网络如7所示，所述神经网络的输入层为48×1，与数据集的特征维数一致；中间层为全连接层，中间层层数与维度根据经验选取；输出为N×1的Softmax层，与材料类别数一致。所述神经网络分类器以所待识别物体的反射特征数据为输入量，以所述待识别物体的材质类别为输出量，以标注有物体材质类别的反射特征数据作为训练数据；

5、将进行编号后的不同材质的反射强度数据输入构建的神经网络分类器中进行训练，使其学习并掌握反射强度数据与物体材质类别的对应关系，得到训练好的神经网络分类器。

6、如图8所示，将待识别物体对不同频谱特征光线的反射强度数据输入训练好的神经网络分类器中，得到待识别物体的材质。

综上可知，本发明中的主动光源式物体材质识别系统及方法，通过依次发出多种不同频谱特征光线照射待识别物体，并通过从低成本的采集组件采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，并将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。相比现有“光照条件简单，信号测量复杂”的材质识别方案而言，能降低材质识别的操作难度，降低材质识别的测量成本。

本方案采用机器学习分类器学习多组反射强度数据与材质的对应关系，再利用训练好的机器学习分类器判断输入未知材料的特征确定其材质，是“一步到位”的方法；而传统方法需要先测量物体材质的反射频谱，再利用材料反射频谱数据库确定材料的类型。本方案不对物体光谱反射率进行测量，仅关心最终的目标，即确定物体的材质。

本方案可以同时对相机拍摄的图像中每个像素对应的物体表面材质进行识别，因而可以高效的对同一场景中存在多个不同材质的物体表面进行快速准确分类，或者对于特定材质物体的位置进行准确精密测量。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种主动光源式物体材质识别系统，其特征在于，包括：采集组件以及与所述采集组件连接的识别组件，所述采集组件：用于依次发出多种不同频谱特征光线照射待识别物体，并采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体的多组反射强度数据和多种不同频谱特征光线一一对应；

所述识别组件：用于将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

2.根据权利要求1所述的主动光源式物体材质识别系统，其特征在于，所述反射强度数据为待识别物体的特征图像上各个像素点的亮度通道，所述采集组件包括：

光源：用于依次发出多种不同频谱特征光线照射待识别物体；

相机：用于依次拍摄处于多种不同频谱特征光线照射下的待识别物体的多种特征图像；

提取模块：用于从多种特征图像上提取待识别物体反射多种不同频谱特征光线产生的多组反射强度数据。

3.根据权利要求1所述的主动光源式物体材质识别系统，其特征在于，所述反射强度数据为多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度，所述采集组件包括：

光源：用于依次发出多种不同频谱特征光线照射待识别物体；

光强传感器：用于依次采集多种不同频谱特征光线在待识别物体上产生的多种反射光线的强度。

4.根据权利要求2-3所述任意一项中的主动光源式物体材质识别系统，其特征在于，所述光源包括：多种发光元件，以及多种发光元件连接的控制电路；多种发光元件分别能发射不同频谱特征的光线照射待识别物体；所述控制电路用于切换不同的发光元件工作，以切换不同频谱特征的光线照射待识别物体。

5.根据权利要求4所述的主动光源式物体材质识别系统，其特征在于，所述识别组件为机器学习分类器：用于获取训练集进行训练，以学习并掌握多组反射强度数据与物体材质类别的对应关系，所述训练集包括不同材质的物体在多种不同频谱特征光线产生的多组反射强度数据，所述训练集中的多组反射强度数据都标注有其对应的材质类别；

接收待识别物体的多组反射强度数据，并根据多组反射强度数据与物体材质类别的对应关系判断待识别物体的材质类别。

6.一种主动光源式物体材质识别方法，其特征在于，包括以下步骤：

依次发出多种不同频谱特征光线照射待识别物体；

采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，所述待识别物体多组反射强度数据和多种不同频谱特征光线一一对应；

将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质。

7.根据权利要求6所述的主动光源式物体材质识别方法，其特征在于，所述反射强度数据为待识别物体的特征图像上各个像素点的亮度通道，采集待识别物体反射多种不同频谱特征光线产生的多组反射强度数据，包括以下步骤：

依次拍摄处于多种不同频谱特征光线照射下的待识别物体的多种特征图像；

从多种特征图像上提取待识别物体反射多种不同频谱特征光线产生的多组反射强度数据。

8.根据权利要求7所述的主动光源式物体材质识别方法，其特征在于，将待识别物体的多组反射强度数据与事先测量的不同材质的多组反射强度数据进行比对，并根据所述比对结果判断待识别物体的材质，具体包括以下步骤：

构建机器学习分类模型，并获取包含不同材质的物体在多种不同频谱特征光线产生的多组反射强度数据的训练集进行训练，以学习并掌握多组反射强度数据与物体材质类别的对应关系；所述训练集中的多组反射强度数据都标注有其对应的材质类别；

将待识别物体对不同频谱特征光线的反射强度数据输入训练好的机器学习分类模型中，得到待识别物体的材质。

Images