CN110909747A - 一种基于多颜色空间主元分析描述的煤矸石识别方法 - Google Patents

Abstract

本发明公开了一种基于多颜色空间主元分析描述的煤矸石识别方法，其包括以下步骤：步骤1、选择不同光照条件下的矸石样本图像制作样本集合；步骤2、构建多颜色空间模型；步骤3、应用主元分析方法，在多颜色空间中构建能够描述矸石的主元；步骤4、将待检测样本图像在主元方向上进行投影，构建投影图像；步骤5、对投影结果图像进行滤波、腐蚀膨胀等处理；步骤6、确定处理结果图像中的连通区域即为矸石图像区域。本发明可以实现矸石区域的有效检测，通过实验验证了该方法能够在煤与矸石的混合图像中有效的识别出矸石区域，识别精度较高，能够为煤与矸石的在线分选提供有效的图像处理技术支撑。

Description

一种基于多颜色空间主元分析描述的煤矸石识别方法

技术领域

本发明涉及一种基于多颜色空间主元分析描述的煤矸石识别方法，尤其涉及多颜色空间的主元分析，尤其涉及基于多颜色空间主元向量的图像描述。

背景技术

我国是矿产资源丰富的大国，尤其是煤炭资源。煤炭资源在开采的过程中，原煤中不可避免的存在大量的矸石，将矸石和煤进行有效的分选是提高煤炭高效利用的必要手段之一。现阶段矸石的筛选方法有多种，诸如：重介质选煤法；跳汰选煤法；浮游选煤法和伽马射线选煤法等。但是这些方法存在成本高，环境污染严重等诸多问题。随着计算机视觉相关技术的飞速发展，逐步兴起了应用计算机视觉技术实现对煤与矸石进行分离的研究。基于计算机视觉的矸石识别方法可以实现非接触式的测量，此类方法成本较低，对环境的污染较小。常用的基于计算机视觉的煤矸石识别方法有基于灰度图像阈值的方法，基于纹理的矸石识别等。基于图像灰度阈值的方法受环境光照变化影响比较大。基于纹理的矸石识别方法中，在原煤中由于煤和矸石的文理信息都比较丰富，分离出矸石难度较大。Joost vande Weijer等人利用PLSA(Probabilitistic Latent Semantic Analysis)算法，自动从谷歌图像数据集合中搜索学习彩色图像的颜色描述，并最终学习出了11中颜色。该方法可有效的应用于目标检测等领域。

发明内容

为了克服基于灰度图像的阈值处理方法进行矸石识别中存在的问题，以及多颜色空间在物体描述上的优越性，本发明的目的在于提供一种多颜色空间主元描述的矸石识别方法，其在于将选定的不同光照条件下的矸石图像构建不同光照条件下的样本集合，然后将不同光照条件下的RGB彩色样本图像转换为黑色、蓝色、褐色、灰色、蓝色、橙色、粉红色、紫色、红色、白色、绿色等11个颜色空间。通过奇异值分解的方法求解出最终描述原始样本的2个基向量。然后将待检测的样本图像通过这2个基向量进行表示，从而获得2个通道的图像。将获得的图像进行滤波和阈值处理，最终在二值图像中确定的连通区域即为矸石区域。

为实现上述目的，本发明提供如下技术方案：

一种基于多颜色空间主元分析描述的煤矸石识别方法，包括以下步骤：

步骤1、在不同光照条件下选择矸石图像，制作样本集合；

步骤2、将样本集合中的RGB彩色图像通过颜色空间转换矩阵将样本颜色空间转换为黑色、蓝色、褐色、灰色、蓝色、橙色、粉红色、紫色、红色、白色、绿色等11种颜色空间对应的单通道图像矩阵；

步骤3、对原始样本图像转换的11种通道图像应用PCA的方法进行主成分分析，并选取2个最大特征值对应的特征向量构建样本的主元描述投影矩阵；

步骤4、不同光照条件下多样本的主元描述投影矩阵构建；

步骤5、将待识别的RGB颜色空间的样本图像在投影矩阵上进行投影，最终获得主元描述的投影图像；

步骤6、对投影结果的主元通道图像进行滤波，腐蚀和膨胀处理；

步骤7、对处理结果的二值图像进行连通区域定位，给出最终的识别定位结果；

进一步地，步骤2中，将样本集合中的RGB彩色图像通过颜色空间转换矩阵将样本颜色空间转换为黑色、蓝色、褐色、灰色、蓝色、橙色、粉红色、紫色、红色、白色、绿色等11种颜色空间对应的单通道图像矩阵，包括：

对于原始的矸石图像样本，将原始的RGB三通道图像经过颜色空间的转换矩阵进行转换，最终获得11种颜色空间中对应与原始矸石样本的单通道的图像。为了降低计算负担，加速颜色空间中色彩检索速度，多颜色空间颜色提取算法将原始的RGB的32位颜色空间转换为16位颜色空间。转换过程中，创建16位颜色空间中的除灰度以外的10种颜色的索引矩阵，最终与灰度图像结合，构成原始样本的RGB彩色图像经过处理后的11个单通道图像。

进一步地，步骤3中，构建基于PCA方法构建主元描述矩阵，包括：

PCA的主要作用是为了降维。基于PCA的多颜色空间主元描述矩阵的计算过程：

7)将m个原始样本的n个指标构建为m×n的矩阵形式X＝[x₁ x₂ … x_m]^T，也即是原始的矸石图像样本经过颜色空间映射为10维的单通道图像，n＝10，m为样本图像的像素点数；

8)对原始样本进行中心化，计算公式如式1所示：

其中：

为矩阵X中各样本指标的均值组成的矩阵。

9)计算样本矩阵的相关系数矩阵，计算公式如式2所示：

10)运用雅克比迭代的方法求解相关系数矩阵的特征值和对应的特征向量，并将特征值进行降序排列，并对对应的特征值进行相应的调整；最终获得经过调整后的特征值λ₁，…λ_n和特征向量v₁，…v_n；

11)通过施密特正交化的方式将特征向量进行正交化为：β₁，…β_n；

12)计算核矩阵在主分量β₁，β₂上的投影，投影结果表示为Y＝X·β，其中，β＝(β₁，β₂)；

最终获得的投影数据Y即为原始样本矩阵经过PCA投影运算后的结果；将投影结果矩阵Y中的每一个列向量转换为与原始图像对应大小的矩阵形式，最终获得该原始图像的主元描述单通道图像，同理可以获得次主元描述的图像矩阵。

进一步地，步骤4中，不同光照条件下多样本的主元描述投影矩阵构建，包括：

针对不同光照条件下矸石图像的10个单通道的描述图像，依据步骤3中的式1、式2构建相关系数矩阵。在不同光照条件下选择的矸石图像的样本数目为Q帧，因此，获得的相关系数矩阵集合可表示为：R₁…R_Q。对Q帧图像对应的相关系数矩阵集合求相关系数矩阵的均值矩阵

最终获得不同光照条件下的多样本的基于PCA的投影矩阵β。β为10×2的矩阵。

进一步地，步骤5中，将待识别的RGB颜色空间的样本图像在投影矩阵上进行投影，最终获得主元描述的投影图像，包括：

将待检测的原始彩色RGB图像进行多通道图像构建，构建灰度图像，10维其他通道的颜色图像，将构建10维多颜色通道图像在基于PCA方法构建的多样本投影矩阵β上进行投影，最终获得两个通道的投影图像的向量表示形式，将投影结果图像向量转换为矩阵的形式，最终获得投影结果图像。将投影结果的2通道图像与灰度图像组合，最终构成3通道的检测结果图像。

进一步地，步骤6中，对投影结果的三通道图像进行滤波，腐蚀和膨胀处理，包括：

投影结果的三通道图像转换为灰度图像，将转换后的图像进行小波滤波处理，具体的处理流程包括：小波分解，分尺度去噪，小波逆变换，恢复图像。三通道拟合图像的灰度图像经过预处理，然后利用小波变换把信号分解到各尺度中，在每一尺度下把属于噪声的小波系数去掉，保留并增强属于信号的小波系数，最后再经过小波逆变换恢复检变换后的灰度图像。对经过小波处理的结果图像进行二值化处理，然后对二值化处理的结果图像进行腐蚀膨胀处理。

进一步地，步骤7中，对处理结果的二值图像进行连通区域定位，给出最终的识别定位结果，包括：

在处理结果的二值图像中，遍历整帧图像区域，并记下每一行(或列)中连续的团和标记的等价对，然后通过等价对对原始二值图像进行重新标记。二值图像的标记过程分为3个阶段：横向合并、纵向合并、逆向合并。横向合并首先记录块的数量，记录块所在的行，记录块的起点和终点；纵向合并首先合并相对两行有重叠的块，对合并后的块进行初步标记，并存储等价对；逆向合并主要完成从标记号开始遍历，直到没有了等价对，构建等价列表。将等价表进行重新标号，即是整个块的标号。最终标号的数目即为整帧图像中联通区域的数目。计算连通区域的质心，最终确定连通区域的位置。连通区域中质心的位置即为检测图像中矸石的位置。

附图说明

图1为本发明实施例一种基于多颜色空间主元分析描述的煤矸石识别方法流程图；

图2为不同光照条件下不同角度的矸石样本图像示例；

图3为选定样本的多通道投影结果图像示例；

图4为测试图像的投影结果图像示例；

图5第一主元图像的小波滤波结果示例；

图6第一主元图像滤波结果的二值化及腐蚀膨胀结果图像示例；

图7矸石区域位置定位示例。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

为了克服基于灰度图像的阈值处理方法进行矸石识别中存在的问题，多颜色空间在彩色物体描述上的优越性，本发明的目的在于提供一种多颜色空间主元描述的矸石识别方法，其在于将选定的不同光照条件下的矸石图像构建不同光照条件下的样本集合，然后将不同光照条件下的RGB彩色样本图像转换为黑色、蓝色、褐色、灰色、蓝色、橙色、粉红色、紫色、红色、白色、绿色等11个颜色空间。通过奇异值分解的方法求解出最终描述原始样本的2个基向量。然后将待检测的样本图像通过这2个基向量进行表示，从而获得2个通道的图像。将获得的图像进行滤波和阈值处理，最终在二值图像中确定的连通区域即为矸石区域。系统整体流程如图1所示，包括以下步骤：

110、鉴于颜色特征受光照变换的影响较大，因此，选择不同光照条件下的矸石样本作为基向量求解的特征提取样本。选择不同光照条件的矸石图像，在图像中选择矸石图像区域作为基向量求解的样本图像，如图2所示。图中的矩形区域中的矸石图像即为求解多颜色空间描述基向量的样本图像。

120、样本图像的多颜色空间图像投影。依据图2所示的矸石样本图像区域，应用CN算法中提供的多颜色空间转换矩阵，将原始的三通道矸石样本图像转换为对应的11通道图像。CN算法中提供的颜色转换矩阵为32768*10。将原始的三通道RGB24位真彩图像转换为16位颜色空间的图像。颜色空间中RGB的值对应的颜色空间值在颜色转换矩阵中进行检索得到。10个通道的颜色图像通过颜色转换矩阵进行检索最终获得对应颜色通道的图像。灰度图像是原始图像经过灰度化直接获得。最终获得11个通道的图像。图3给出了原始图像经过多通道矩阵转换后的结果示例。通过颜色转换矩阵进行颜色空间检索的方式获得的单通道图像没有改变原始的图像的尺度。

130、基于PCA方法的投影矩阵构建及最终投影矩阵构建。在图2中选择了Q个矸石图像区域作为样本图像。由Q个矸石样本图像可以构建Q个图像的多颜色空间矩阵。对于第i个样本图像m_i×n_i，经过特征转换矩阵转换后，转换的结果为(m_i×n_i)×10多颜色空间的多通道图像矩阵。灰度图像直接对样本图像m_i×n_i进行转换即可获得。对于获得多通道转换结果图像T_i，i∈{1...Q}，T_i为(m_i×n_i)行10列的二维矩阵。将转换后的多通道图像T_i进行中心化计算，计算公式如式1所示。其中，T_i＝{x₁…x₁₀}，1≤p≤10，1≤q≤10，

为多通道图像T_i通道均值组成的均值矩阵。

然后应用公式2求解相关系数矩阵。针对Q个样本最终可以获得对应样本的相关系数矩阵。对相关系数矩阵求均值，即可获得相关系数的均值矩阵

运用雅克比迭代的方法求解均值相关系数矩阵

的特征值和对应的特征向量，并将特征值和对应的特征向量进行降序排列；最终获得经过调整后的特征值λ₁，…λ_n和特征向量v₁，…v_n；

通过施密特正交化的方式将特征向量进行正交化为：β₁，…β_n；

计算核矩阵在主分量β₁，β₂上的投影，投影结果表示为Y＝X·β，其中，β＝(β₁，β₂)；β矩阵为10×2矩阵。图4给出了样本图像经过PCA主元提取并投影后的结果图像示意。

140、待测试图像的投影图像构建。将待识别的图像经过CN多颜色空间投影图像矩阵进行投影，投影结果图像为(m_i×n_i)×10的二维矩阵，将投影结果图像在主元投影矩阵β上进行投影，也即是(m_i×n_i)×10的二维矩阵与投影矩阵β相乘，即可获得最终的投影矩阵，投影结果矩阵为(m_i×n_i)×2。投影矩阵的第一列即为第一主元的投影矩阵的向量形式，第二列为第二主元的投影矩阵的向量形式。通过矩阵的转换将投影向量转换为矩阵的形式即为罪证的投影图像。最终完成了第一主元投影图像和第二主元投影图像的构建。图4中给出了投影结果图像，第一主元投影结果图像和第二主元投影结果图像。图4中最终的图像合成结果为3通道图像，其中第一通道的图像为灰度图像。

150、将投影结果图像进行标准化并进行小波滤波处理。将投影结果图像进行标准化，标准化为0～255之间。应用小波变换的方法对经过标准化的图像进行小波滤波处理，对滤波结果图像进行二值化。二值化的阈值设定为最大像素值的0.9倍。图5给出了原始的第一主元投影结果图像和经过标准化处理以及小波滤波处理和二值化后的结果图像。

160、二值化结果图像的腐蚀和膨胀处理。对150处理的结果图像应用7*7大小的矩阵进行腐蚀和膨胀处理。处理结果的示例如图6所示。

170、图像连通区域数目及质心的确定。处理结果的二值图像中，遍历整帧图像区域，并记下每一行(或列)中连续的团和标记的等价对，然后通过等价对对原始二值图像进行重新标记。二值图像的标记过程分为3个阶段：横向合并、纵向合并、逆向合并。横向合并首先记录块的数量，记录块所在的行，记录块的起点和终点；纵向合并首先合并相对两行有重叠的块，对合并后的块进行初步标记，并存储等价对；逆向合并主要完成从标记号开始遍历，直到没有了等价对，构建等价列表。将等价表进行重新标号，即是整个块的标号。最终标号的数目即为整帧图像中联通区域的数目。计算连通区域的质心，最终确定连通区域的位置。连通区域中质心的位置即为检测图像中矸石的位置。矸石区域的识别与定位结果示例如图7所示。

180、输出矸石的坐标位置。

依据连通区域的标签顺序将连通区域的质心位置坐标存储为数组的形式，并将数组保存为与此帧图像编号对应的数据文件。

Claims (5)

1.一种基于多颜色空间主元分析描述的煤矸石识别方法，其特征在于，包括以下步骤：

步骤1、在不同光照条件下选择矸石图像，制作矸石样本集合；

步骤2、将样本集合中的RGB彩色图像通过颜色空间转换矩阵将样本颜色空间转换为黑色、蓝色、褐色、灰色、蓝色、橙色、粉红色、紫色、红色、白色、绿色等11种颜色空间对应的单通道图像矩阵；

步骤3、对原始样本图像转换的11种通道图像应用PCA的方法进行主成分分析，并选取2个最大特征值对应的特征向量构建样本的主元描述投影矩阵；

步骤4、不同光照条件下多样本的主元描述投影矩阵构建；

步骤5、将待识别的RGB颜色空间的样本图像在投影矩阵上进行投影，最终获得主元描述的投影图像；

步骤6、对投影结果的主元通道图像进行滤波，腐蚀和膨胀处理；

步骤7、对处理结果的二值图像进行连通区域定位，给出最终的识别定位结果。

2.根据权利要求1所述的一种基于多颜色空间主元分析描述的煤矸石识别方法，其特征在于，步骤4中，不同光照条件下多样本的主元描述投影矩阵构建，包括：

对于原始的矸石图像样本，将原始的RGB三通道图像经过颜色空间的转换矩阵进行转换，最终获得11种颜色空间中对应与原始矸石样本的单通道的图像；为了降低计算负担，加速颜色空间中色彩检索速度，多颜色空间颜色提取算法将原始的RGB的32位颜色空间转换为16位颜色空间；转换过程中，创建16位颜色空间中的除灰度以外的10种颜色的索引矩阵，最终与灰度图像结合，构成原始样本的RGB彩色图像经过处理后的11个单通道图像；

基于PCA的多颜色空间主元描述矩阵的计算过程：

1)将m个原始样本的n个指标构建为m×n的矩阵形式X＝[x₁ x₂ … x_m]^T，也即是原始的矸石图像样本经过颜色空间映射为10维的单通道图像，n＝10,m为样本图像的像素点数；

2)对原始样本进行中心化，计算公式如式1所示：

其中：

为矩阵X中各样本指标的均值组成的矩阵；

3)计算样本矩阵的相关系数矩阵，计算公式如式2所示：

4)运用雅克比迭代的方法求解相关系数矩阵的特征值和对应的特征向量，并将特征值进行降序排列，并对对应的特征值进行相应的调整；最终获得经过调整后的特征值λ₁,…λ_n和特征向量v₁,…v_n；

5)通过施密特正交化的方式将特征向量进行正交化为：β₁,…β_n；

6)计算核矩阵在主分量β₁,β₂上的投影，投影结果表示为Y＝X·β，其中，

β＝(β₁,β₂)；

最终获得的投影数据Y即为原始样本矩阵经过PCA投影运算后的结果；将投影结果矩阵Y中的每一个列向量转换为与原始图像对应大小的矩阵形式，最终获得该原始图像的主元描述单通道图像，同理可以获得次主元描述的图像矩阵；

在不同光照条件下选择的矸石图像的样本数目为Q帧，因此，获得的相关系数矩阵集合可表示为：R₁…R_Q；对Q帧图像对应的相关系数矩阵集合求相关系数矩阵的均值矩阵

最终获得不同光照条件下的多样本的基于PCA的投影矩阵β；β为10×2的矩阵。

3.根据权利要求1所述的一种基于多颜色空间主元分析描述的煤矸石识别方法，其特征在于，

步骤5中，将待识别的RGB颜色空间的样本图像在投影矩阵上进行投影，最终获得主元描述的投影图像，包括：

将待检测的原始彩色RGB图像进行多通道图像构建，构建灰度图像，10维其他通道的颜色图像，将构建10维多颜色通道图像在基于PCA方法构建的多样本投影矩阵β上进行投影，最终获得两个通道的投影图像的向量表示形式，将投影结果图像向量转换为矩阵的形式，最终获得投影结果图像；将投影结果的2通道图像与灰度图像组合，最终构成3通道的检测结果图像。

4.根据权利要求1所述的一种基于多颜色空间主元分析描述的煤矸石识别方法，其特征在于，

步骤6中，对投影结果的主元通道图像进行滤波，腐蚀和膨胀处理，包括：

投影结果的三通道图像转换为灰度图像，将转换后的图像进行小波滤波处理，具体的处理流程包括：小波分解，分尺度去噪，小波逆变换，恢复图像；三通道拟合图像的灰度图像经过预处理，然后利用小波变换把信号分解到各尺度中，在每一尺度下把属于噪声的小波系数去掉，保留并增强属于信号的小波系数，最后再经过小波逆变换恢复检变换后的灰度图像；对经过小波处理的结果图像进行二值化处理，然后对二值化处理的结果图像进行腐蚀膨胀处理。

5.根据权利要求1所述的一种基于多颜色空间主元分析描述的煤矸石识别方法，其特征在于，

步骤7中，对处理结果的二值图像进行连通区域定位，给出最终的识别定位结果，包括：

在处理结果的二值图像中，遍历整帧图像区域，并记下每一行(或列)中连续的团和标记的等价对，然后通过等价对对原始二值图像进行重新标记；二值图像的标记过程分为3个阶段：横向合并、纵向合并、逆向合并；横向合并首先记录块的数量，记录块所在的行，记录块的起点和终点；纵向合并首先合并相对两行有重叠的块，对合并后的块进行初步标记，并存储等价对；逆向合并主要完成从标记号开始遍历，直到没有了等价对，构建等价列表；将等价表进行重新标号，即是整个块的标号；最终标号的数目即为整帧图像中联通区域的数目；计算连通区域的质心，最终确定连通区域的位置；连通区域中质心的位置即为检测图像中矸石的位置。

Images