CN106778810A - 基于rgb特征与深度特征的原始图像层融合方法及系统 - Google Patents

Abstract

本发明涉及一种基于RGB特征与深度特征的原始图像层融合方法及系统，其中所述方法包括如下步骤：第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；第三步：通过决策树算法为MMSAE算法初始化参数；第四步：MMSAE算法获取融合图像的识别准确率；第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。本发明根据不同种类的特征对不同类别的物体的识别贡献差异性，完成了特征的有效融合，提高了物体识别的准确率，提高了运算效率。

Description

基于RGB特征与深度特征的原始图像层融合方法及系统

技术领域

本发明涉及一种机器视觉及图像融合领域，具体的说，是涉及一种基于RGB特征与深度特征的原始图像层融合方法及系统。

背景技术

图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，以生成新的有关此场景解释的处理信息，而这种信息无法从单一的图像源中获取，融合后可以获取更可靠，更丰富，更准确的有用信息。

深度学习是机器学习领域的一个新的研究热点，其目的是建立多层神经网络，能模仿人脑的机制来分析和解释图像、音频和文本等数据。深度学习通过组合浅层特征形成更加抽象的高层特征，以发现数据的更深层次的分布式特征表示。深度学习引起了计算机视觉领域的一场变革，许多研究者和现代科技公司都将目光投向了如何将深度学习应用到各种工业领域中，并已经取得了一定的效果。目前深度学习在图像识别、场景识别、物体追踪等方面都已经取得了显著的效果，表现出极大的应用价值。

图像识别是计算机视觉领域最重要也是最困难的问题之一，在过去的研究工作中，基于RGB图像和灰度图像的图像识别工作取得了极大地进展。但是由于RGB图像和灰度图像自身的局限性，图像识别在计算机视觉领域的应用并不是很成功。例如在室内机器人应用方面，由于识别精度达不到指定的要求，图像识别在室内机器人的应用上一度陷入瓶颈。提高图像识别的准确率对于自主式机器人的普及具有决定性的意义。

20世纪初，有学者提出手动特征提取方法，该方法主要借助于基于方向直方图的精心设计的特征，例如SIFT特征和HOG特征，而且这些特征也取得了很好的成果。然而这些手动提取的特征仅仅能够捕捉到少量的识别信息。例如SIFT特征虽然对于旋转、尺度缩放和亮度变化保持一定的不变性，但是忽略了颜色信息而且该方法通过对特征点构造向量，然后对向量进行匹配，这样图像就得满足足够多的纹理，否则构造出来的向量的判别性就不是很大。为了适用于新的数据模态例如RGB-D图像，Lai等人在《A large-scalehierarchical multi-view rgb-d object dataset》中仅仅对SIFT算法进行一些简单的扩展，使其能够适用于深度图像。后来，有些学者曾提出过无监督特征学习方法。无监督特征学习方法可以从图像数据中学习到更具能力的图像表示。自从Hinton等人在《Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks》一文中提出信念信息网络(DBN)以及对应的学习算法，紧接着分层稀疏编码以及基于K-means的特征学习算法被相继提出。虽然这些算法在物体识别方面都取得了很大的成功，但是他们通常只是基于RGB图像或灰度图像。虽然可以直接把这些算法运用到RGB-D图像上，但是却不能充分利用多模态图像所携带的信息并且计算复杂。以上所述的文献，都反映了图像融合研究的一个问题，很难设计出一种能够适用于各类图像的融合算法，因此在实际应用中一般针对不同的图像库开发不同的图像融合算法，目前已有的算法无法满足对深度图像和RGB图像的融合。基于以上算法的不足，我们提出一种RGB特征和深度特征原始图像层融合算法。采用新一代传感技术的RGB-D相机(如Kinect相机)能够同时记录高分辨率的RGB图像和深度图像。RGB-D相机可拍摄高分辨率的RGB-D图像同时包含RGB图像和深度图像两种图像。RGB图像包含物体的表面颜色信息和纹理信息，深度图像包含物体的空间形状信息，他不随亮度和颜色的变化而变化。RGB图像和深度图像对彼此是一种有效的补充。研究表明，基于RGB-D图像的物体识别，可明显提高物体识别的准确率。如何利用深度学习技术有效的结合RGB图像和深度图像来提高物体的识别准确率成为了深度学习领域的一个新的研究方向。

现有的基于RGB-D图像识别的研究工作过程中，存在一个普遍的现象：由于RGB信息或者深度信息区别力较低或者信息缺失等原因，某些类别物体的基于RGB特征或者深度特征的识别准确率相对较低。这种情况下，将RGB特征和深度特征进行串联并作为物体的最终特征来进行物体识别，不仅不会提升物体的识别准确率，反而会导致最终的识别准确率低于单独的基于RGB特征或者深度特征的识别准确率。。

公布号为CN 102999892 A，名称为《基于区域遮罩的深度图像与RGB图像的智能融合方法》的发明专利提出了一种基于区域遮罩的深度图像与RGB图像的智能融合方法，选取深度图像与RGB图像的大区域不变性关联特征，利用大区域不变性关联特征进行图像配准，在配准后的深度图像中，设置感兴趣的深度范围，为目标物体产生遮罩，将遮罩与配准后的RGB图像进行融合。但由于RGB信息或者深度信息区别力较低或者信息缺失等原因，某些类别物体的基于RGB特征或者深度特征的识别准确率相对较低。

发明内容

针对上述现有技术中的不足，本发明提供一种能够提高物体识别准确率的技术方案。

本发明所采取的技术方案是：

一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：

第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；

第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；

第三步：通过决策树算法为MMSAE算法初始化参数；

第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；

第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

优选的是，第二步具体包括如下步骤：

SAE算法提取浅层特征：分别输入深度图像与RGB图像,通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；

SPMP算法提取高层抽象特征：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；

K交叉验证拆分训练集：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器，通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。

在上述任一方案中优选的是，RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，所述深度图像的浅层特征至少包括三维空间形状。

在上述任一方案中优选的是，通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式按像素逐一提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。

在上述任一方案中优选的是，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体步骤为：

输入所述RGB图像的浅层特征及所述深度图像的浅层特征；

通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为C个块，其中C取不同的值；

每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：

取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。

在上述任一方案中优选的是，交叉验证具体步骤为：

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征作为原始训练集进行分组，一部分为真实训练集，用来训练分类器，另一部分为验证集，用来测试训练得到的分类器；

将所述真实训练集随机分为K个子集，每次选取一个子集做测试集，其余的子集为训练集，交叉验证重复K次，直至所有的样本都被作为了训练集和测试集，每个样本都被验证过；

将K次的平均交叉验证识别正确率作为结果，获得单独的基于RGB图像的识别准确率和基于深度图像的识别准确率。

在上述任一方案中优选的是，通过决策树算法进行参数初始化具体为：

根据所述基于RGB图像的识别准确率和基于深度图像的识别准确率的差值范围，通过MMSAE算法为权重衰减参数λ_RGB和λ_depth赋予不同的比值；

增大所述权重衰减参数λ_RGB和λ_depth之间的差值；

选择贡献值大的有差异性的有效特征所对应的图像，从中提取更多的特征，提高最终的物体识别准确率。

在上述任一方案中优选的是，第四步具体包括如下步骤：

以RGB图像和深度图像作MMSAE算法的输入，同时提取RGB图像的浅层特征和深度图像的浅层特征，通过MMSAE算法对所述RGB图像的浅层特征和深度图像的浅层特征进行融合处理；

输入融合后的图像的浅层特征，通过空间金字塔最大池化算法提取融合图像的高层特征；

将所述融合图像的高层特征输入到Softmax分类器，使用训练集训练所述Softmax分类器，并使用测试集获取融合图像的识别准确率。

在上述任一方案中优选的是，MMSAE算法提取浅层特征具体包括如下步骤：

(1)、将RGB图像和深度图像转换为原始数据向量，并进行连接，则输入的数据为：{x_r1，x_r2，…，x_rn，x_d1，x_d2，…，x_dn}

其中，{x_r1，x_r2，...，x_rn}表示RGB图像；

{x_d1，x_d2，...，x_dn}表示深度图像；

与输入的数据相对应的参数矩阵W表示为：

其中，参数矩阵的前半部分是与RGB图像向量相对应的参数；

参数矩阵后半部分是与深度图像向量对应的参数；

k表示所有可能的类别标签；

(2)、根据RGB图像浅层特征和深度图像浅层特征赋予每一个类别的物体的权重控制参数不同的初始值，则RGB图像浅层特征对应的权重衰减参数为k阶的对角矩阵为：

深度图像的浅层特征对应的权重衰减参数为k阶的对角矩阵为：

(3)、以RGB图像和深度图像作为MMSAE算法的输入，提取所述RGB图像和深度图像的浅层特征，MMSAE算法对所述RGB图像和深度图像的浅层特征进行融合处理，提取融合后的图像浅层特征。

一种基于RGB特征与深度特征的原始图像层融合系统，包括：

图像采集装置：其配置为采集物体的RGB图像与深度图像；

图像识别准确率提取模块：其配置为获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；

参数初始化模块：其配置为通过决策树算法为MMSAE算法初始化参数；

融合图像识别准确率提取模块：其配置为通过MMSAE算法有差异性地提取RGB图像和深度图像的有效特征，并将所述有效特征融合，获取融合图像的识别准确率；

识别物体输出模块：其配置为预先设定识别准确率阈值，并判断所述融合图像的识别准确率是否高于设定阈值，若所述识别准确率不高于设定阈值，则重新进行参数初始化，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

优选的是，所述图像识别准确率提取模块包括：

浅层特征提取模块，其配置为通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；

高层抽象特征提取模块，其配置为通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；

交叉验证模块：其配置为softmax分类器通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。

在上述任一方案中优选的是，浅层特征提取模块通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式逐像素提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。

在上述任一方案中优选的是，高层抽象特征提取模块通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体为：

输入所述RGB图像的浅层特征及所述深度图像的浅层特征；

通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为d个块，其中d取不同的值；

每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：

取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。

在上述任一方案中优选的是，交叉验证模块获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率具体为：

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征作为原始训练集进行分组，一部分为真实训练集，用来训练分类器，另一部分为验证集，用来测试训练得到的分类器；

将所述真实训练集随机分为K个子集，每次选取一个子集做测试集，其余的子集为训练集，交叉验证重复K次，直至所有的样本都被作为了训练集和测试集，每个样本都被验证过；

将K次的平均交叉验证识别正确率作为结果，获得单独的基于RGB图像的识别准确率和基于深度图像的识别准确率。

在上述任一方案中优选的是，参数初始化模块通过决策树算法进行参数初始化具体为：

根据所述基于RGB图像的识别准确率和基于深度图像的识别准确率的差值范围，通过MMSAE算法为权重衰减参数λ_RGB和λ_depth赋予不同的比值；

增大所述权重衰减参数λ_RGB和λ_depth之间的差值；

选择贡献值大的有差异性的有效特征所对应的图像，从中提取更多的特征，提高最终的物体识别准确率。

在上述任一方案中优选的是，融合图像识别准确率提取模块具体包括；

融合图像浅层特征提取模块：其配置为以RGB图像和深度图像作MMSAE算法的输入，同时提取RGB图像的浅层特征和深度图像的浅层特征，通过MMSAE算法对所述RGB图像的浅层特征和深度图像的浅层特征进行融合处理；

融合图像的高层特征提取模块：其配置为通过通过空间金字塔最大池化算法，对输入的融合后的图像的浅层特征提取融合图像的高层特征；

融合图像识别准确率提取模块：其配置为将所述融合图像的高层特征输入到Softmax分类器，使用训练集训练所述Softmax分类器，并使用测试集获取融合图像的识别准确率。

在上述任一方案中优选的是，融合图像浅层特征提取模块提取浅层特征具体包括：

(1)、将RGB图像和深度图像转换为原始数据向量，并进行连接，则输入的数据为：{x_r1，x_r2，...，x_rn，x_d1，x_d2，...，x_dn}

其中，{x_r1，x_r2，...，x_rn}表示RGB图像；

{x_d1，x_d2，...，x_dn}表示深度图像；

与输入的数据相对应的参数矩阵W表示为：

其中，参数矩阵的前半部分是与RGB图像向量相对应的参数；

参数矩阵后半部分是与深度图像向量对应的参数；

k表示所有可能的类别标签；

(2)、根据RGB图像浅层特征和深度图像浅层特征赋予每一个类别物体的权重控制参数不同的初始值，则RGB图像浅层特征对应的权重衰减参数为k阶的对角矩阵为：

深度图像的浅层特征对应的权重衰减参数为k阶的对角矩阵为：

(3)、以RGB图像和深度图像作为MMSAE算法的输入，提取所述RGB图像和深度图像的浅层特征，MMSAE算法对所述RGB图像和深度图像的浅层特征进行融合处理，提取融合后的图像浅层特征。

本发明相对现有技术的有益效果：

在之前的基于RGB-D图像识别的研究过程中，当RGB图像和深度图像存在噪声时，例如由于RGB信息或深度信息区别力较低或者信息缺失，对应类别的物体基于RGB特征或者深度特征的识别准确率相对较低。这种情况下，将RGB特征和深度特征进行串联作为物体的最终特征进行物体识别，不仅不会提升物体识别的准确率，反而会导致最终的识别准确率低于RGB特征或者深度特征的识别准确率。这是由于没有合适的对RGB特征和深度特征进行差异性提取和融合造成的，本发明基于RGB特征与深度特征的原始图像层融合方法及系统根据不同种类的特征对不同类别的物体的识别贡献差异性，完成了特征的有效融合，提高了物体识别的准确率，提高了运算效率。同时说明本文所提出的算法能在图像存在噪声和光照强度变化的情况下，依然很好地完成RGB-D图像的识别，具有很轻的鲁棒性。对于系统设定阈值，我们采用分类器和先验知识来确定。

附图说明

图1是按照本发明的基于RGB特征与深度特征的原始图像层融合方法的一优选实施例的工作流程图；

图2是按照本发明的基于RGB特征与深度特征的原始图像层融合系统的一优选实施例的结构示意图；

图3是按照本发明的基于RGB特征与深度特征的原始图像层融合方法及系统的SAE算法的一实施例的结构图；

图4是按照本发明的基于RGB特征与深度特征的原始图像层融合方法及系统的决策树算法的一实施例的结构示意图。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明：

实施例1

关键词说明：SAE算法：栈式自编码算法，拥有输入层，隐藏层，输出层的三层神经网络；

MMSAE算法：多模态稀疏自编码算法；

SPMP算法：空间金字塔最大池化；

决策树算法：决策树算法是一种逼近离散函数值的方法。是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程；

深度学习：深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示；

交叉验证：(Cross validation)，有时亦称循环估计，是在训练阶段用来验证分类器性能的一种统计分析方法，基本原理是把将原始训练集(training dataset)进行再次分组，一部分做为真实训练集(training dataset)，用来训练分类器，另一部分做为验证集(validation set),用来来测试训练得到的分类器，以此来作为评价分类器的性能指标。

本发明提出一种基于深度学习的多层神经网络算法，此算法在原始图像层能有效的融合RGB信息和深度信息。此算法主要分为两层。第一层深度学习网络主要完成单独的基于RGB图像和深度图像的物体识别。得到RGB图像和深度图像的识别准确率之后，使用决策树算法为MMSAE算法初始化参数。此参数将在MMSAE算法中发挥决定性的作用，合适的参数将能够有效的从RGB图像和深度图像中有差异性的提取更有效的特征，从而提高识别准确率。

如图3所示，为SAE自编码算法结构示意图，图左侧节点为输入层，图右侧节点为输出层，中间部分为隐层。自编码算法是一种无监督的特征学习算法。在一个无类别标签的样本集中，m为样本的数量，n代表样本的维数。通过反向传播算法，自编码算法期望得到最优的参数可以把输入样本映射到隐层，然后再通过对隐层数据进行重建从而得到几乎等于输入的输出。这样就可以用来表示输入数据即可作为输入的浅层特征向量。SAE算法是在自编码算法的基础上对隐层节点加入了稀疏性限制，通过在隐层节点上加入稀疏性限制，可以发现原始输入的一些有价值的数据结构。稀疏性可以简单的解释如下：假设使用sigmoid函数作为神经元的激活函数，当神经元的输出接近1时，被认为它是被激活的，而输出接近0时，认为是被抑制的。当隐层节点数目较多时，期望大多数隐层节点处于抑制状态，以期发现输入数据中的结构。在典型的SAE算法中，使用公式

作为总体的代价函数。其中第一项为均方差项，表示的算法的输出层输入数据与原始数据之间的均方差。第二项为权重衰减项，其目的是减小权重的幅度，防止过度拟合。第三项为稀疏惩罚项，用来控制隐层节点的稀疏性。公式中的参数和用来控制公式中各项的相对重要性。通过反向误差传播来优化参数{W，b}，迭代过若干次后，期望输出：KSAE是基于SAE算法的一种改进算法。KSAE算法使用线性的激活函数，在隐层节点中，每次选取最大的k个激活值，并将其他的所有激活值设置为0。误差反向传播的每次迭代中均如此设置，直至迭代完成。得到优化后的参数{W,b}后，对于输入,计算特征f＝Wx+b并选取其中最大的k个最大的激活作为最终的特征，其中,其它所有的激活值全部设置为0。

附图1可知，为一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：

S101：分别采集同一物体同一时刻同一场景的RGB图像与深度图像；

S102：通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；

S103：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；

S104：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；

S105：通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率；

S106:通过决策树算法对所述单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率进行参数初始化；

S107：以RGB图像和深度图像作MMSAE算法的输入，同时提取RGB图像的浅层特征和深度图像的浅层特征，通过MMSAE算法对所述RGB图像的浅层特征和深度图像的浅层特征进行融合处理；

S108：输入融合后的图像的浅层特征，通过空间金字塔最大池化算法提取融合图像的高层特征；

S109：将所述融合图像的高层特征输入到Softmax分类器；

S110：使用训练集训练所述Softmax分类器，并使用测试集获取融合图像的识别准确率；

S111：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回S106；

S112：若所述识别准确率高于设定阈值，则输出识别后的物体图像。

RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，深度图像的浅层特征至少包括三维空间形状。

通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式逐像素提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。

空间金字塔最大池化SPMP是一种有效的从低维特征中提取抽象的空间平移不变特征的算法。对于每一张RGB图像和深度图像来说，KSAE层输出的低维特征均为一个三维矩阵。通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体步骤为：

输入所述RGB图像的浅层特征及所述深度图像的浅层特征；

通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为d个块，其中d取不同的值；

每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：

取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。

交叉验证(Cross validation)，也称循环估计。交叉验证是在训练阶段用来验证分类器性能的一种统计分析方法，基本原理是把将原始训练集(training dataset)进行再次分组，一部分做为真实训练集(training dataset)，用来训练分类器，另一部分做为验证集(validation set),用来来测试训练得到的分类器，以此来作为评价分类器的性能指标。将训练集随机的分为K个子集，每次选取一个子集均做测试集，其余的作为训练集。交叉验证重复K次，并将K次的平均交叉验证识别正确率作为结果。在此过程中，所有的样本都被作为了训练集和测试集，所以每个样本都被验证过。在本发明中，在不知道测试集标签的情况下，为了统计出RGB信息和深度信息对不同类别的物体的识别的贡献差异性，使用交叉验证来得到识别准确率。训练集中的每个类别的物体包含若干个子集，每次从每个类别中选取一个小的子集作为验证集，其他的作为训练集。使用训练集来训练Softmax分类器，使用验证集来进行测试，得到最终的识别准确率。

决策树是一个预测模型，其将对象属性映射到对象值。如附图4所示为本发明使用的决策树示意图。改图为一棵简单的参数固定的决策树，无需通过反复的训练得到参数。图中的每个圆形节点中的数字代表的是RGB图像与深度图像识别准确率之差。叶子节点中的比值代表的是MMSAE算法中同一类别物体的两个权重衰减参数的比值。根据同一个类别的物体的RGB特征和深度特征的识别准确率的差值范围，为MMSAE算法中的此类物体的两个权重衰减参数和赋予不同的比值。基于RGB图像和深度图像的识别准确率的差值越大，两种特征对最终的识别的贡献差值越大，为其赋予差别更大的权重衰减参数，从贡献值更大的有差异性的特征所对应的图像中提取更多的特征，从而提高最终的物体识别准确率。

通过决策树算法进行参数初始化具体为：

根据所述基于RGB图像的识别准确率和基于深度图像的识别准确率的差值范围，通过MMSAE算法为权重衰减参数λ_RGB和λ_depth赋予不同的比值；

增大所述权重衰减参数λ_RGB和λ_depth之间的差值；

选择贡献值大的有差异性的有效特征所对应的图像，从中提取更多的特征，提高最终的物体识别准确率。

通过网络的第一层，得到了初始化参数的MMSAE算法，通过该MMSAE算法提取浅层特征，具体步骤为：

(1)、将RGB图像和深度图像转换为原始数据向量，并进行连接，则输入的数据为：{x_r1，x_r2，...，x_rn，x_d1，x_d2，...，x_dn}

其中，{x_r1，x_r2，...，x_rn}表示RGB图像；

{x_d1，x_d2，...，x_dn}表示深度图像；

与输入的数据相对应的参数矩阵W表示为：

其中，参数矩阵的前半部分是与RGB图像向量相对应的参数；

参数矩阵后半部分是与深度图像向量对应的参数；

k表示所有可能的类别标签；

在典型的SAE的总体代价函数中，并没有区别的对不同种类的特征的参数进行区分，仅仅使用了权重衰减参数来控制权重衰减项在整体代价函数中的相对重要性。在MMSAE中，对不同的类别的不同种类的特征赋予了不同的权重衰减参数，不仅控制着权重衰减项在整体代价函数中的相对重要性，而且在一定程度上控制着每个类别的物体中各种特征之间的相对重要性。

(2)、根据RGB图像浅层特征和深度图像浅层特征对于每一个类别的物体的权重控制参数赋予不同的初始值，则RGB图像浅层特征对应的权重衰减参数为k阶的对角矩阵为：

深度图像的浅层特征对应的权重衰减参数为k阶的对角矩阵为：

(3)、以RGB图像和深度图像作为MMSAE算法的输入，提取所述RGB图像和深度图像的浅层特征，MMSAE算法对所述RGB图像和深度图像的浅层特征进行融合处理，提取融合后的图像浅层特征。权重控制参数.权重控制参数是指对于每一种类别物体RGB图像浅层特征和深度图像浅层特征所占的权重，百分比。

实施例2

如附图2所示，为一种基于RGB特征与深度特征的原始图像层融合系统，包括：

图像采集装置201：其配置为采集物体的RGB图像与深度图像；

图像识别准确率提取模块202：其配置为获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；图像识别准确率提取模块202包括：浅层特征提取模块206，其配置为通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；高层抽象特征提取模块207，其配置为通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；交叉验证模块208：其配置为softmax分类器通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。

参数初始化模块203：其配置为通过决策树算法对所述单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率进行参数初始化；

融合图像识别准确率提取模块204：其配置为将通过初始化参数提取的RGB图像和深度图像中有差异性的有效特征进行融合，并获取融合图像的识别准确率；融合图像识别准确率提取模块204具体包括；融合图像浅层特征提取模块209：其配置为以RGB图像和深度图像作MMSAE算法的输入，同时提取RGB图像的浅层特征和深度图像的浅层特征，并在此过程中，MMSAE算法对所述RGB图像的浅层特征和深度图像的浅层特征进行融合处理；融合图像的高层特征提取模块210：其配置为通过通过空间金字塔最大池化算法，对输入的融合后的图像的浅层特征提取融合图像的高层特征；融合图像识别准确率提取模块211：其配置为将所述融合图像的高层特征输入到Softmax分类器，使用训练集训练所述Softmax分类器，并使用测试集获取融合图像的识别准确率；

识别物体输出模块205：其配置为预先设定识别准确率阈值，并判断所述融合图像的识别准确率是否高于设定阈值，若所述识别准确率不高于设定阈值，则重新进行参数初始化，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

浅层特征提取模块206通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式逐像素提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。

高层抽象特征提取模块207通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体为：

输入所述RGB图像的浅层特征及所述深度图像的浅层特征；

通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为d个块，其中d取不同的值；

每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：

取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。

交叉验证模块208获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率具体为：

将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；

将深度图像的高层抽象特征与RGB图像的高层抽象特征作为原始训练集进行分组，一部分为真实训练集，用来训练分类器，另一部分为验证集，用来测试训练得到的分类器；

将真实训练集随机分为K个子集，每次选取一个子集做测试集，其余的子集为训练集，交叉验证重复K次，直至所有的样本都被作为了训练集和测试集，每个样本都被验证过；

将K次的平均交叉验证识别正确率作为结果，获得单独的基于RGB图像的识别准确率和基于深度图像的识别准确率。

参数初始化模块203通过决策树算法进行参数初始化具体为：

根据所述基于RGB图像的识别准确率和基于深度图像的识别准确率的差值范围，通过MMSAE算法为权重衰减参数λ_RGB和λ_depth赋予不同的比值；

增大所述权重衰减参数λ_RGB和λ_depth之间的差值；

选择贡献值大的有差异性的有效特征所对应的图像，从中提取更多的特征，提高最终的物体识别准确率。

融合图像浅层特征提取模块204提取浅层特征具体包括：

(1)、将RGB图像和深度图像转换为原始数据向量，并进行连接，则输入的数据为：{x_r1，x_r2，...，x_rn，x_d1，x_d2，...，x_dn}

其中，{x_r1，x_r2，...，x_rn}表示RGB图像；

{x_d1，x_d2，...，x_dn}表示深度图像；

与输入的数据相对应的参数矩阵W表示为：

其中，参数矩阵的前半部分是与RGB图像向量相对应的参数；

参数矩阵后半部分是与深度图像向量对应的参数；

k表示所有可能的类别标签；

(2)、根据RGB图像浅层特征和深度图像浅层特征对于每一个类别的物体的权重控制参数赋予不同的初始值，则RGB图像浅层特征对应的权重衰减参数为k阶的对角矩阵为：

深度图像的浅层特征对应的权重衰减参数为k阶的对角矩阵为：

(3)、以RGB图像和深度图像作为MMSAE算法的输入，提取所述RGB图像和深度图像的浅层特征，MMSAE算法对所述RGB图像和深度图像的浅层特征进行融合处理，提取融合后的图像浅层特征。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的结构作任何形式上的限制。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明的技术方案范围内。

Claims (10)

1.一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：

第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；

第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；

第三步：通过决策树算法为MMSAE算法初始化参数；

第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；

第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

2.根据权利要求1所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述第二步具体包括如下步骤：

SAE算法提取浅层特征：分别输入深度图像与RGB图像,通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；

SPMP算法提取高层抽象特征：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；

K交叉验证拆分训练集：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器，通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。

3.根据权利要求2所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，所述深度图像的浅层特征至少包括三维空间形状。

4.根据权利要求3所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式按像素逐一提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。

5.根据权利要求4所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征具体步骤为：

输入所述RGB图像的浅层特征及所述深度图像的浅层特征；

通过空间金字塔最大池化算法将所述三维矩阵所有的点划分为C个块，其中C取不同的值；

每个块C共包含p个点，则共有p个q维向量，将所述p个q维向量组合成一个大小为p×q维的矩阵：

$F\left(c\right)=\[\underset{j\∈q}{\max }\left|x_{1j}\right|,\underset{j\∈q}{\max }\left|x_{2j}\right|,......,\underset{j\∈q}{\max }\left|x_{pj}\right|\]$

取矩阵每一行最大的值为所述深度图像的高层抽象特征与所述RGB图像的高层抽象特征。

6.根据权利要求5所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于,所述交叉验证具体步骤为：

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器；

将所述深度图像的高层抽象特征与RGB图像的高层抽象特征作为原始训练集进行分组，一部分为真实训练集，用来训练分类器，另一部分为验证集，用来测试训练得到的分类器；

将所述真实训练集随机分为K个子集，每次选取一个子集做测试集，其余的子集为训练集，交叉验证重复K次，直至所有的样本都被作为了训练集和测试集，每个样本都被验证过；

将K次的平均交叉验证识别正确率作为结果，获得单独的基于RGB图像的识别准确率和基于深度图像的识别准确率。

7.根据权利要求6所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过决策树算法进行参数初始化具体为：

根据所述基于RGB图像的识别准确率和基于深度图像的识别准确率的差值范围，通过MMSAE算法为权重衰减参数λ_RGB和λ_depth赋予不同的比值；

增大所述权重衰减参数λ_RGB和λ_depth之间的差值；

选择贡献值大的有差异性的有效特征所对应的图像，从中提取更多的特征，提高最终的物体识别准确率。

8.根据权利要求1所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述第四步具体包括如下步骤：

以RGB图像和深度图像作MMSAE算法的输入，同时提取RGB图像的浅层特征和深度图像的浅层特征，通过MMSAE算法对所述RGB图像的浅层特征和深度图像的浅层特征进行融合处理；

输入融合后的图像的浅层特征，通过空间金字塔最大池化算法提取融合图像的高层特征；

将所述融合图像的高层特征输入到Softmax分类器，使用训练集训练所述Softmax分类器，并使用测试集获取融合图像的识别准确率。

9.根据权利要求8所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于,所述MMSAE算法提取浅层特征具体包括如下步骤：

(1)、将RGB图像和深度图像转换为原始数据向量，并进行连接，则输入的数据为：{x_r1，x_r2，...，x_rn，x_d1，x_d2，...，x_dn}

其中，{x_r1，x_r2，…，x_rn}表示RGB图像；

{x_d1，x_d2，...，x_dn}表示深度图像；

与输入的数据相对应的参数矩阵W表示为：

$\left[\begin{array}{c}{W}_{11},W_{12},...,W_{1r_n},W_{1(r_n+1)},W_{1(r_n+2)},W_{1(r_n+r_d)}\\ W_{21},W_{22},...,W_{2r_n},W_{2(r_n+1)},W_{2(r_n+2)},W_{2(r_n+r_d)}\\ .....................\mathrm{..}\\ W_{k1},W_{k2},...,W_{{\mathrm{kr}}_n},W_{k(r_n+1)},W_{k(r_n+2)},W_{k(r_n+r_d)}\end{array}\right]$

其中，参数矩阵的前半部分是与RGB图像向量相对应的参数；

参数矩阵后半部分是与深度图像向量对应的参数；

k表示所有可能的类别标签；

(2)、根据RGB图像浅层特征和深度图像浅层特征赋予每一个类别的物体的权重控制参数不同的初始值，则RGB图像浅层特征对应的权重衰减参数为k阶的对角矩阵为：

深度图像的浅层特征对应的权重衰减参数为k阶的对角矩阵为：

${\mathrm{\λ}}_{depth}=\left[\begin{array}{ccc}{\mathrm{\λ}}_{d_1}& & \\ & {\mathrm{\λ}}_{d_2}& \\ & & ...\mathrm{..}\\ & & {\mathrm{\λ}}_{d_k}\end{array}\right];$

(3)、以RGB图像和深度图像作为MMSAE算法的输入，提取所述RGB图像和深度图像的浅层特征，MMSAE算法对所述RGB图像和深度图像的浅层特征进行融合处理，提取融合后的图像浅层特征。

10.一种基于RGB特征与深度特征的原始图像层融合系统，包括：

图像采集装置：其配置为采集物体的RGB图像与深度图像；

图像识别准确率提取模块：其配置为获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；

参数初始化模块：其配置为通过决策树算法为MMSAE算法初始化参数；

融合图像识别准确率提取模块：其配置为通过MMSAE算法有差异性地提取RGB图像和深度图像的有效特征，并将所述有效特征融合，获取融合图像的识别准确率；

识别物体输出模块：其配置为预先设定识别准确率阈值，并判断所述融合图像的识别准确率是否高于设定阈值，若所述识别准确率不高于设定阈值，则重新进行参数初始化，若所述识别准确率高于设定阈值，则输出识别后的物体图像。