CN104112138A - 物体颜色分类方法及装置 - Google Patents

Abstract

本发明提供的物体颜色识别方法及装置，首先获取图像掩膜，能够降低图像的背景部分对颜色识别产生的干扰，然后将图像掩膜的像素值进行深度学习，训练得到最优的初始权值，再利用该权值对目标图像进行降维，得到低维度的像素值，最后用SVM分类器对该低维度的像素值进行分类，从而识别出人车的颜色。能够大大减少图像分类的处理数据，提升图像识别效率及准确率。

Description

物体颜色分类方法及装置

技术领域

本申请涉及图像识别领域，尤其涉及一种物体颜色分类方法及装置。

背景技术

随着国家对“平安城市”，“智能交通”等项目的推进，整个社会对视频监控系统的需求量日益增长，并且对其智能化程度的要求越来越高，智能视频监控系统由此诞生。现有的智能视频监控系统不能高效地搜索指定的目标，如嫌疑车辆，因此需要视频结构化分析平台。视频结构化分析平台主要用于主要对不同颜色的车或人进行分类，进而快速搜寻出目标车辆或目标人士的分析系统。

视频结构化分析平台是智能视频监控系统的一个子集。颜色是快速搜索嫌疑物体的其中一个手段。目前，基于颜色的物体分类方法主要是基于色彩,纯度,明度（HSV，hue,saturation,value）颜色空间的直方图分类。但是，基于HSV颜色空间的直方图分类的方法对光照的适应性差，在光线变化的时候，不能很好的识别出颜色的类别。除此，对图片中的物体进行颜色分类时，由于图片上的地面部分占据了图片的较大面积，会对颜色分类产生干扰，使得颜色分类的效果不佳。并且传统人车等物体的颜色识别方法对特征提取还没有一种较好的解决方法。现有技术只能直接对维数较大的图像直接进行颜色分类，颜色分类过程繁琐。

综上所述，现有技术对人或车等物体的颜色分类方法容易受路面颜色以及光线的干扰，导致分类效果不理想，并且分类时处理的图像数据较大，导致分类效率低下。 

发明内容

本申请提供一种物体颜色识别方法及装置，可以识别出物体的颜色。 

根据本申请的第一方面，本申请提供一种物体颜色识别方法，包括：

获取视频单帧画面的图像掩膜；  

对所述图像掩膜进行特征提取，包括：将所述图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M；所述神经网络的相邻两层学习层之间构成限制波尔兹曼机模型，所述神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，所述M为大于2的整数；利用所述权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M；   

利用支持向量分类器(SVM, Support Vector Machine)对所述第M层降维后的像素值P_M进行分类，得到颜色分类结果。  

根据本申请的第二方面，本申请提供一种物体颜色识别装置，包括：

获取单元，用于获取视频单帧画面的图像掩膜；  

特征提取单元，用于对所述获取单元获取到的所述图像掩膜进行特征提取，具体用于：将所述图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M；所述神经网络的相邻两层学习层之间构成限制波尔兹曼机模型，所述神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，所述M为大于2的整数；利用所述权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M；   

分类单元，用于利用支持向量分类器SVM对所述特征提取单元提取到的所述第M层降维后的像素值P_M进行分类，得到颜色分类结果。  

本发明提供的物体颜色识别方法及装置，首先获取图像掩膜，然后将图像掩膜的像素值进行深度学习，训练得到最优的初始权值，再利用该权值对目标图像进行降维，得到低维度的像素值，最后用SVM分类器对该低维度的像素值进行分类，从而识别出人车。能够大大减少图像分类的处理数据，提升图像识别效率及准确率。

附图说明

图1为本发明实施例一的方法流程图；

图2为本发明实施例获取视频单帧画面的图像掩膜的流程图；

图3为本发明实施例的神经网络的结构示意图；

图4为本发明实施二的物体颜色识别装置的结构示意图；

图5为本发明实施二装置的另一种结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

在本申请实施例中，提供一种物体颜色识别方法及装置，可以识别出物体的颜色。

实施例一：

请参考图1，图1为本发明实施例一的方法流程图。如图1所示，一种物体颜色识别方法，可以包括以下步骤：

101、获取视频单帧画面的图像掩膜。 

获取图像掩膜的的目的是为了忽略掉画面的背景部分，得到图像中包含所要分类物体的部分。这样在对物体的颜色进行分类时，可以减少背景部分产生的干扰，提升分类效果。所称物体一般是视频帧画面中移动的人和车。本实施例方法可以通过识别出人和车的颜色，进而有效搜寻出目标人和车，可以适用于视频监控等领域，有效提升视频监控系统的搜寻能力。 

一个实施例中，请参阅图2，图2为本发明实施例获取视频单帧画面的图像掩膜的流程图。如图2所示，获取视频单帧画面的图像掩膜具体可以包括以下步骤：   

1010、将所述单帧画面分割成若干个区域，计算每个区域的显著性值。  

其中，计算每个区域的显著性值可以包括：    

依据以下公式计算区域r_k的显著性值S（r_k）：

其中，D_r（r_k,r_i）为区域r_k和r_i之间的颜色距离，D_s（r_k,r_i）为区域r_k和r_i的空间距离，σ_s为空间权值强度，W(r_i)为区域的预设权值，f(c_k,i)为第i个颜色c_k,i在第k个区域r_k的所有n_k种颜色中出现的概率，f(c_i,j)为第j个颜色c_i,i在第i个区域r_i的所有n_i种颜色中出现的概率，D（c_k,i, c_i,j）为区域代表色c_k,i与c_i,j在L*a*b空间的颜色距离度量。 

1011、将所述区域的显著性值按照由大至小进行排序。 

1012、提取预设数量个排序靠前的的显著性值所对应的区域，作为视频单帧画面的图像掩膜。   

一个优选的实施例中，预设数量优选为分割的区域总数量的一半。即可以提取显著性值较大的50%的区域作为视频单帧画面的图像掩膜。当然按照实际情况可以对预设数量进行调整，本发明实施例不作限定。

102、对所述图像掩膜进行特征提取。

本发明实施例所指特征提取具体是：将图像掩膜的原始像素值降维，得到低维度图像掩膜的像素值。具体地，对图像掩膜进行特征提取可以包括以下步骤：

（1）将图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M。神经网络的相邻两层学习层之间构成限制波尔兹曼机（RBM，Restricted Boltzmann Machine）模型，神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，其中，M为大于2的整数。

所称深度学习指的是，通过一个小型中间层的神经网络将高维数据转换为低维数据，然后再重构出高维的输入向量的过程。该过程是个不断自学习的过程，通过不断优化权值而使输出的特征更合理，使重构的数据更接近原始高维数据。本发明实施例中，深度学习可以将输入的像素值通过神经网络转换为低维度的像素值。并且优化神经网络各个学习层之间的权值。

本发明所指RBM为包含两层学习层的神经网络，每一层学习层上的节点只与下一层学习层的节点连接，同一层学习层之间的节点是没有连接的，第一层学习层称为可视层（visual layer，记作VL），下一层学习层称为隐含层（hide layer，记作HL）。由于同一层学习层之间的节点没有连接，因此，已知VL时，HL中所有的节点之间都是条件独立的。同理，已知HL时，VL中所有的节点之间也是条件独立的。其中，所有的节点为0或1，同时假设节点的全概率分布p（VL , HL）满足波尔兹曼分布。当输入VL时，通过p(HL|VL)可以得到隐含层HL，而得到HL后，通过p(VL|HL)能得到重构的可视层像素值。若VL与重构的可视层像素值的差别在设定的区域内，则得到的隐含层像素值HL是可视层输入像素值VL的有效特征，即，HL为VL的降维后的数据表达形式。本发明实施例中的神经网络包含M层学习层，每相邻两层学习层之间均由RBM进行训练，也即，每两层相邻的学习层之间相当于构成一个RBM模型。 

请参阅图3，图3为本发明实施例的神经网络的结构示意图。如图3所示，本发明实施例将图像掩膜的原始像素值输入到神经网络中，神经网络中每两层相邻的学习层之间均构成一个RBM模型。其中，本发明实施例的神经网络，第i层学习层（i＞1）可以同时作为可视层和隐含层。将像素值输入到第i-1层中，i-1层即为RBM模型的可视层，第i层即为RBM模型的隐含层，经RMB训练后，计算得出第i层的像素值，再以第i层的像素值作为输入值，此时第i层即为RBM模型的可视层，再计算第i+1层的像素值，第i+1层即为隐含层。 

由于相邻学习层之间构成一RBM模型，本发明实施例中，当上一层输入像素值时，可以由RBM训练得到下一层学习层的像素值和两学习层之间的权值，可以理解的是，所述上一层学习层相当于RBM的可视层，所述下一层学习层相当于RBM的隐含层。所述下一层学习层的像素值是所述上一层学习层的像素值的降维后的像素值。根据权值和所述下一层学习层的像素值，可以重构出恢复的上一层的像素值，使得恢复的上一层的像素值和像素值在设定的范围内。  

本发明中，为了获得适当的权值，可以将图像掩膜的原始像素值输入到第一层，由公式（1）得到的状态，即第二层的像素值。得到第二层像素值后，可以由公式（2）可以重构出恢复的第一层像素值，即恢复的第一层的像素值，若恢复的第一层像素值与原有的原始像素值差值在预设的范围内，则表示第二层的像素值是有效的。此时，权值可以用于进一步对图像掩膜进行降维。其中，VL_i代表输入的第i层像素值，HL_j代表输出的第j层像素值, W_ij代表第i层与第j层之间的权值，j=i+1，a_j 代表第j层像素值的偏斜率，b_i代表第i层像素值的偏斜率。

优选的，在得到重构出恢复的第一层像素值后，可以由公式（3）再次计算隐层的像素值。以此更新权值,以及误差,。其中为纠正速度。一个优选的实施例，为了获得最优的权值，可以重复以上步骤10次。同时，可以构建至少3个学习层，利用至少两个RBM对像素值进行训练。值得指出的是，在得到的第二层的像素值时，将其输出，作为第三层的输入像素值，按照RBM训练方式计算第三层的像素值。一个优选的实施例中，可以构建4个学习层，即由3个RBM训练出适合的权值，保证得到的权值更优。本实施例图2以2000-1000-500-30的一组像素值作为示意，即将原始像素值2000维递归降维至30维。显然，降维后的像素值需要分类的数据量大大降低，提高了准确率及分类效率。并且本发明的像素值降维所使用的权值是经过训练得出的，因此权值接近全局最优，降维后的像素值更能保留目标图像的有用特征，从而提高分类效果。

（公式1） 

（公式2）

（公式3）

（2）利用权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M。  

本实施例步骤构建了至少两个学习层对数据进行训练，得到至少一个的权值。可以利用所得到的若干个权值W_ij逐步对目标图像进行降维，得到图像掩膜的原始像素值在经过各个权值降维后的像素值，降维后得到适合SVM分类的低维度数据，使得分类的效率和准确率提高。 

举例如下：首先将原始像素值输入，作为第一层的可视层输入值VL₁，通过中学习得到的第一层学习层与第二层学习层之间的权重值W₁₂以及公式（1），计算得到第二层学习层（第一层RBM的隐含层）像素值P₂。将P₂作为输出，作为第三层学习层的可视层，结合权值W₂₃ ，计算得到第三层学习层（第二层RBM的隐含层）像素值P₃，之后递归地计算出每一层的像素值。直到得到第M层的像素值P_M。即得到第M-1个像素值，这个像素值为低维度的数据，能够提升图像分类的效率和准确率。

103、利用支持向量分类器SVM对第M层降维后的像素值进行测试，识别出人车。

利用支持向量分类器SVM对第M-1个像素值进行测试，识别出人车。

本发明实施例一提供的物体颜色识别方法，首先获取图像掩膜，能够降低图像的背景部分对颜色识别产生的干扰，然后将图像掩膜的像素值进行深度学习，训练得到最优的初始权值，再利用该权值对目标图像进行降维，得到低维度的像素值，最后用SVM分类器对该低维度的像素值进行分类，从而识别出人车的颜色。能够大大减少图像分类的处理数据，提升图像识别效率及准确率。

实施例二：

请参考图4，图4为本发明实施二的物体颜色识别装置的结构示意图。如图4所示，一种物体颜色识别装置，可以包括： 

获取单元20，用于获取视频单帧画面的图像掩膜。  

特征提取单元21，用于对获取单元20获取到的所述图像掩膜进行特征提取，具体用于：将所述图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M；所述神经网络的相邻两层学习层之间构成限制波尔兹曼机模型，所述神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，所述M为大于2的整数；利用所述权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M。   

分类单元22，用于利用支持向量分类器SVM对特征提取单元21提取到的所述第M层降维后的像素值P_M进行分类，得到颜色分类结果。

请参阅图5，图5为本发明实施二装置的另一种结构示意图，其中获取单元20可以包括：  

分割单元201，用于将所述单帧画面分割成若干个区域.

计算单元202，用于计算分割单元201分割出的每个区域的显著性值。  

排序单元203，用于将计算单元202计算出的所述区域的显著性值按照由大至小进行排序。  

提取单元204，用于提取预设数量个排序单元203得到的排序靠前的的显著性值所对应的区域，作为视频单帧画面的图像掩膜。    

本发明实施例二提供的物体颜色识别装置，用于首先获取图像掩膜，能够降低图像的背景部分对颜色识别产生的干扰，然后将图像掩膜的像素值进行深度学习，训练得到最优的初始权值，再利用该权值对目标图像进行降维，得到低维度的像素值，最后用SVM分类器对该低维度的像素值进行分类，从而识别出人车的颜色。能够大大减少图像分类的处理数据，提升图像识别效率及准确率。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (7)

1.一种物体颜色识别方法，其特征在于，包括：

获取视频单帧画面的图像掩膜；  

对所述图像掩膜进行特征提取，包括：将所述图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M；所述神经网络的相邻两层学习层之间构成限制波尔兹曼机模型，所述神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，所述M为大于2的整数；利用所述权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M；   

利用支持向量分类器SVM对所述第M层降维后的像素值P_M进行分类，得到颜色分类结果。

2.如权利要求1所述的物体颜色识别方法，其特征在于，所述获取视频单帧画面的图像掩膜包括：  

将所述单帧画面分割成若干个区域，计算每个区域的显著性值；  

将所述区域的显著性值按照由大至小进行排序； 

提取预设数量个排序靠前的的显著性值所对应的区域，作为视频单帧画面的图像掩膜。

3.如权利要求2所述的物体颜色识别方法,其特征在于，所述计算每个区域的显著性值包括：    

依据以下公式计算区域r_k的显著性值S（r_k）：

其中，D_r（r_k,r_i）为区域r_k和r_i之间的颜色距离，D_s（r_k,r_i）为区域r_k和r_i的空间距离，σ_s为空间权值强度，W(r_i)为区域的预设权值，f(c_k,i)为第i个颜色c_k,i在第k个区域r_k的所有n_k种颜色中出现的概率，f(c_i,j)为第j个颜色c_i,i在第i个区域r_i的所有n_i种颜色中出现的概率，D（c_k,i, c_i,j）为区域代表色c_k,i与c_i,j在L*a*b空间的颜色距离度量。 

4.如权利要求2所述的物体颜色识别方法,其特征在于，所述预设数量优选为分割的区域总数量的一半。

5.一种物体颜色识别装置，其特征在于，包括：

获取单元，用于获取视频单帧画面的图像掩膜；  

特征提取单元，用于对所述获取单元获取到的所述图像掩膜进行特征提取，具体用于：将所述图像掩膜的原始像素值输入到包含M层学习层的神经网络中进行深度学习，以递归学习得到相邻两层学习层之间的权值W_ij，其中i，j分别表示学习层的编号，j=i+1，i≤ M；所述神经网络的相邻两层学习层之间构成限制波尔兹曼机模型，所述神经网络的第i层学习层输出的像素值作为第j层学习层的输入像素值，所述权值用于对第i层学习层的输入像素值P_i进行降维，训练出第j层学习层的像素值P_j和/或用于根据降维后的第j层学习层的像素值P_j，重构出第i层学习层的像素值P_i，所述M为大于2的整数；利用所述权值W_ij递归对所述原始像素值进行降维，得到所述图像掩膜的原始像素值在第j层学习层降维后的像素值P_j，直至得到第M层降维后的像素值P_M；   

分类单元，用于利用支持向量分类器SVM对所述特征提取单元提取到的所述第M层降维后的像素值P_M进行分类，得到颜色分类结果。

6.如权利要求5所述的物体颜色识别装置，其特征在于，所述获取单元包括：  

分割单元，用于将所述单帧画面分割成若干个区域；

计算单元，用于计算所述分割单元分割出的每个区域的显著性值；  

排序单元，用于将所述计算单元计算出的所述区域的显著性值按照由大至小进行排序； 

提取单元，用于提取预设数量个所述排序单元得到的排序靠前的的显著性值所对应的区域，作为视频单帧画面的图像掩膜。

7.如权利要求6所述的物体颜色识别方法,其特征在于，所述计算单元具体用于：    

依据以下公式计算区域r_k的显著性值S（r_k）：

其中，D_r（r_k,r_i）为区域r_k和r_i之间的颜色距离，D_s（r_k,r_i）为区域r_k和r_i的空间距离，σ_s为空间权值强度，W(r_i)为区域的预设权值，f(c_k,i)为第i个颜色c_k,i在第k个区域r_k的所有n_k种颜色中出现的概率，f(c_i,j)为第j个颜色c_i,i在第i个区域r_i的所有n_i种颜色中出现的概率，D（c_k,i, c_i,j）为区域代表色c_k,i与c_i,j在L*a*b空间的颜色距离度量。