CN106529568A - 一种基于bp神经网络的珍珠多分类方法 - Google Patents

Abstract

一种基于BP神经网络的珍珠多分类方法，包括以下步骤：1)获取珍珠图像作为样本数据；2)从样本数据中提取所需要的特征；3)将所提取的特征以及珍珠的类别标签作为训练数据，训练三个BP神经网络模型，提取待分类珍珠的特征，利用所训练的BP神经网络模型对其进行分类；4)筛选出步骤3)中分类结果置信度较低的珍珠，交由人工进行判断分类；5)筛选出步骤3)中分类结果置信度较高的珍珠，用这些珍珠的特征及类别标签更新BP神经网络模型。本发明根据实际厂家需求，提出相应人工提取特征的方法，应用BP神经网络实现对珍珠的分类，在实际应用中能不断更新BP神经网络模型，具有较高的识别率，可以部分代替手工分拣。

Description

一种基于BP神经网络的珍珠多分类方法

技术领域

本发明涉及一种图像数据处理与分类领域的方法，具体涉及一种基于BP神经网络的珍珠多分类方法。

背景技术

中国是世界上利用珍珠最早的国家之一。中国的珍珠产量从2005年开始就达到了1500吨，其中淡水珠占90％以上，总产量占全球95％以上的市场份额。在中国，珍珠的养殖技术已经渐渐开始成熟，珍珠的价格也相应大众化。淡水珍珠最主要的生产地和销售集散地是浙江省，珍珠产量占全国淡水珠产量的1/3，以绍兴诸暨为养殖中心。有句话叫“世界珍珠看中国，中国珍珠在诸暨”，诸暨淡水珠养殖面积已达38万亩，拥有珍珠加工企业1500多家。

目前我国大部分珍珠企业在采集大量珍珠后，需要对珍珠进行一个初步的筛选，然而目前大部分企业采取的是人工分类，因此对分拣人员有较高的要求，并且人工分类会受很多因素的影响，尤其在珍珠体积小、数量多的条件下。人工分类的效率不稳定，分类效果也会有波动，参杂很多个人因素。因此对珍珠进行准确且快速的分类成了很多珍珠企业的迫切要求，但是很多已有文献提到的珍珠分类方法大都脱离企业的真实需求，不能很好地代替人工分类。

中国发明申请号201210411979.2公开了一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置，用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，流水线包括上料动作机构、送检动作机构、下料动作机构、分级动作机构和分级执行机构。该发明在珍珠颜色识别模块中将珍珠的颜色分为白色、红色、黄色、黑色以及其他5个系列，但是实际人工分类的时候，分拣人员对珍珠的分类是综合多种条件的，不仅仅是颜色，还包括形状和螺纹等，所以只是颜色的检测对珍珠生产厂家的分类过程没有很好的辅助作用。

因此，珍珠多分类方法迫切需要解决以下问题：1)如何获取有价值的珍珠特征；2)如何利用珍珠的特征进行对珍珠生产厂家更有意义的分类；3)如何不断更新分类模型，使得更新后的模型能对珍珠进行更好地分类。

发明内容

为了克服已有基于机器视觉的珍珠分类系统与珍珠生产厂家的实际需求不兼容，不能很好地代替人工分类的不足，本发明在调研珍珠生产企业的实际分类需求和人工分类流程的基础上，提供一种基于BP神经网络的珍珠多分类方法，根据珍珠生产厂家实际人工分类的流程进行珍珠分类，实用性良好、分类效果较好。

本发明实现上述发明目的所采用的技术方案为：

一种基于BP神经网络的珍珠多分类方法，包括以下步骤：

1)获取大量已知不同类别的珍珠图像作为样本数据，同一颗珍珠的图像包括左视图、主视图、右视图、后视图和俯视图；

2)利用人工设计的特征提取方法从样本数据中提取所需要的特征；

3)将所提取的特征以及珍珠的类别标签作为训练数据，训练三个BP神经网络模型，利用所设计的特征提取方法提取待分类珍珠的特征，利用所训练的BP神经网络模型对其进行分类；

4)设定阈值，通过比较BP神经网络模型的输出与阈值，筛选出步骤3)中分类结果置信度低的珍珠，即特征不明显容易误分的珍珠，交由人工进行判断分类；

5)筛选出步骤3)中分类结果置信度高的珍珠，将这些珍珠的特征连同它们的类别标签加入到训练数据中，更新BP神经网络模型。

进一步，所述步骤1)中，采集厂家提供的8种类别的珍珠图像数据作为样本数据，包括8点差米形、8点二档冲头、8点高档米珠、8点中档米珠、8点短螺纹、8点高档颗头螺纹、8点高档面光和10点四面光。

再进一步，所述步骤2)中，人工设计的特征提取方法包括用离散傅里叶变换提取珍珠的形状特征，用灰度共生矩阵提取珍珠的纹理特征。

所述步骤2)中，提取的特征需要进行预处理，所述预处理过程为：对得到的特征数据进行归一化处理，将特征数据每一维度的数值映射到[0,1]区间；转换函数为其中x_max为特征数据的最大值，x_min为特征数据的最小值。

更进一步，所述步骤3)中，分类过程包括以下步骤：

3.1)用训练数据训练三个BP神经网络模型，分别为模型1、2、3，BP神经网络的输入节点数由输入特征的维度决定，输出节点数由该网络所要区分的类别数决定，隐藏层节点数用经验公式确定，如下，其中h为隐藏层节点数目，m为输入层节点数目，n为输出层节点数目，a为1-10之间的调节常数；

3.2)将待分类珍珠归一化后的形状特征、纹理特征组合成用于珍珠分类的特征，作为BP神经网络的输入，根据输出来确定其类别；

3.3)训练好的BP神经网络模型1用于将珍珠分为两类，分别为

第1类：8点差米型、8点二档冲头、8点高档米珠、8点中档米珠；

第2类：8点短螺纹、8点高档颗头螺纹、8点高档面光、10点四面光；

训练好的BP神经网络模型2用于将经过模型1分类后的8点差米型、8点二档冲头、8点高档米珠、8点中档米珠分为两类，分别为

第3类：8点差米型、8点高档米珠、8点中档米珠；

第4类：8点二档冲头；

训练好的BP神经网络模型3用于将经过模型1分类后的8点短螺纹、8点高档颗头螺纹、8点高档面光、10点四面光分为两类，分别为

第5类：8点短螺纹、8点高档面光；

第6类：8点高档颗头螺纹10点四面光。

所述训练BP神经网络包括以下步骤，分为两个阶段：

第一阶段，前向传播阶段：

3.1.1)从训练数据集中取一个训练数据(X_p,Y_p)，X_p为珍珠的特征，Y_p为其类别标签，将X_p输入网络；

3.1.2)计算相应的实际输出O_p；在此阶段，信息从输入层经过逐级的变换，传送到输出层，网络执行的是下列计算：

O_p＝F₂(F₁(X_pW⁽¹⁾)W⁽²⁾)

其中，W⁽¹⁾和W⁽²⁾分别为BP神经网络输入层和隐藏层的联接矩阵、隐藏层和输出层的联接矩阵，F₁和F₂分别为隐藏层和输出层的激活函数；

第二阶段，向后传播阶段:

3.1.3)计算实际输出O_p与相应的理想输出Y_p的差；

3.1.4)按极小化误差的方式调整权矩阵。

所述步骤4)中，实现方式如下：

珍珠由BP神经网络模型1分类，得到该珍珠以P₁的概率为第1类，以P₂的概率为第2类；设定阈值T₁、T₂，若P₁大于P₂，将P₁与T₁比较，若P₁大于T₁，则珍珠为第1类，否则判断该珍珠分类置信度低，即特征不明显，交由人工分类；反之，若P₂大于P₁，同理；珍珠由BP神经网络模型2、3进行分类时同样遵循该规则，通过设定阈值达到所期望的分类效果，提高分类精度。

所述步骤5)中，更新过程包括以下步骤：

5.1)根据步骤4)的方法，筛选出步骤3)中分类结果置信度高的珍珠；

5.2)将上述珍珠的特征和分类结果标签加入训练数据中，更新训练数据；

5.3)用更新后的训练数据集重新训练所构造的BP神经网络模型。

本发明的有益效果为：根据实际厂家需求，提出相应人工提取特征的方法，应用BP神经网络实现对珍珠的分类，在实际应用中能不断更新BP神经网络模型，具有较高的识别率，可以部分代替手工分拣，实用性良好、分类效果较好。

附图说明

图1为整个分级系统的流程示意图。

图2为具体珍珠分类的流程示意图。

图3为将珍珠轮廓图映射到极坐标系中的示意图。

图4为BP神经网络的结构示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。

参照图1～图4，一种基于BP神经网络的珍珠多分类方法，包括以下步骤：

1)获取大量已知不同类别的珍珠图像作为样本数据，同一颗珍珠的图像包括左视图、主视图、右视图、后视图和俯视图；

2)利用人工设计的特征提取方法从样本数据中提取所需要的特征；

3)将所提取的特征以及珍珠的类别标签作为训练数据，训练三个BP神经网络模型，利用所设计的特征提取方法提取待分类珍珠的特征，利用所训练的BP神经网络模型对其进行分类；

4)设定阈值，通过比较BP神经网络模型的输出与阈值，筛选出步骤3)中分类结果置信度低的珍珠，即特征不明显容易误分的珍珠，交由人工进行判断分类；

5)筛选出步骤3)中分类结果置信度高的珍珠，将这些珍珠的特征连同它们的类别标签加入到训练数据中，更新BP神经网络模型；

针对已有基于机器视觉的珍珠分类系统与珍珠生产厂家的实际需求不兼容，不能很好地代替人工分类的问题，在调研珍珠生产厂家的实际分类需求和人工分类流程的基础上，提供一种基于BP神经网络的珍珠多分类方法，根据珍珠生产厂家实际人工分类的流程进行珍珠分类，其总体思路如图1和图2所示，即先获得大量8种类别的珍珠图像作为样本数据，同一颗珍珠的图像包括其左视图、主视图、右视图、后视图和俯视图，提取样本数据的形状特征和纹理特征构成训练数据，利用BP神经网络对训练数据进行训练，得到BP神经网络模型1、2、3，并保存模型；采集待分类的珍珠图像，同一颗珍珠的图像包括其左视图、主视图、右视图、后视图和俯视图，提取其形状特征和纹理特征构成测试数据，作为模型1的输入，如图2所示，先判断其是第1类或第2类还是交由人工分类，若是第1类，将特征作为模型2的输入继续分类，判断其是第3类或第4类还是交由人工分类；若是第2类，将特征作为模型3的输入继续分类，判断其是第5类或第6类还是交由人工分类；

这种基于多种特征提取的BP神经网络分类方法，具体的实现步骤如下：

1)获取大量已知不同类别的珍珠图像作为样本数据，同一颗珍珠的图像包括其左视图、主视图、右视图、后视图和俯视图；

2)利用人工设计的特征提取方法从样本数据中提取所需要的特征；

用离散傅里叶变换获取珍珠的形状特征，先对图像进行预处理，对采集的珍珠图像进行灰度化；

对灰度化后的珍珠图像进行二值化，并进行形态学开操作、闭操作来去除图像噪点；

利用八领域搜索算法获得珍珠的轮廓坐标，计算并得到目标轮廓的形心，以便后续的极坐标变换；

傅立叶变换提供了一种描述函数及其各次谐波方法，利用这一特性，可以对珍珠的边缘轮廓进行傅立叶变换，用傅立叶级数的系数来对珍珠的形状进行描述；本发明中首先将珍珠轮廓图映射到极坐标系中，如图3，并求半径序列r(k)，{k＝1,2,…,360}，由于珍珠的大小不一，使得傅立叶变换得到F(h)不具有可比性；因此，接着需要将其归一化半径为1的标准圆，归一化公式如公式(1)所示，

r_q(k)＝r(k)/r_max (1)

式中，r_q(k)为归一化的半径，r(k)为半径序列，r_max为最大的半径；

归一化后的半径，珍珠无论其大小都可以进行比较，然后用公式(2)对归一化后的半径r_q(k)做离散傅立叶变换，

式中，r_q(k)为归一化的半径，F(h)为归一化的半径r_q(k)的傅立叶变换；

由于F(h)是对称的，因此只要计算其前n/2个值即可；另一方面，实验发现珍珠的轮廓信息大都集中在前3个F(h)，舍弃后续的F(h)对珍珠轮廓线信息损失很小；

由于珍珠有左视图、主视图、右视图、后视图和俯视图，每幅视图都提取得到一组形状特征，为了消除或部分消除珍珠图像采集时摆放位置随机性带来的误差，并不丢失所有视图所包含的形状信息，将珍珠所有视图的形状特征按照其F(0)的数值从小到大将5个形状特征排序并组合在一起，组合得到的形状特征即为该珍珠的形状特征；

用灰度共生矩阵提取珍珠的纹理特征，灰度共生矩阵是图像中相距为d的两个灰度像素同时出现的联合概率率分布；

首先对样本数据即珍珠图像进行中值滤波，去除图像的噪点并平滑图像；计算图像的灰度共生矩阵，设P为一幅数字图像，其大小为M*N，灰度级别为L，则满足一定空间关系的灰度共生矩阵F可根据公式(3)计算

F(i,j)＝#{[(x₁,y₁),(x₂,y₂)]|P(x₁,y₁)＝i,P(x₂,y₂)＝j} (3)

其中#表示像素对的个数，P(x,y)表示图像P中(x,y)处的灰度值，若(x₁,y₁)与(x₂,y₂)间距离为d,两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵F(i,j|d,θ)；其中元素(i,j)的值表示一个灰度值为i，另一个灰度值为j的两个相距为d的像素对在θ方向上出现的次数；计算d分别为(1，2，4)，θ分别为(0°、45°、90°、135°)的12个灰度共生矩阵；

从每个灰度共生矩阵中提取4个纹理特征参数，12个灰度共生矩阵一共会获得48个纹理特征，即48维的纹理特征向量；4个纹理特征参数：对比度(Contrast)、自相关(Correlation)、能量(Energy)、同质性(Homogeneity)；

它们的计算方法如下：

a.对比度(Contrast)

对比度不仅可以反映图像的清晰程度,也可以反映纹理沟纹的深浅度；若图像的对比度值较大,则图像越清晰,对应的纹理沟纹越浅；反之若图像的对比度较小,则图像越模糊,对应的纹理沟纹越深；

CON＝∑_i,j|i-j|²F(i,j)

b.自相关(Correlation)

自相关系数用于反映灰度共生矩阵行或列方向上元素之间的相似度,即图像中局部纹理的相关性可以直接通过自相关系数的大小来反映；若自相关系数较大,则矩阵元素值均勾相等；若自相关系数较小,则表明矩阵元素值间差异较大。

其中u_i、u_j、σ_i、σ_j分别是行和列上的矩阵元素统计的期望和方差值；

c.能量(Energy)

能量为灰度共生矩阵中所有元素值的平方和,能量值反映样本珍珠图像的纹理粗细度；能量值较小的图像多数区域由细纹理组成,而能量值较大的图像大多由粗纹理组成。

ENE＝∑_i,j F(i,j)²

d.同质性(Homogeneity)

同质性度量图像纹理局部变化的多少，其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀；

由于同一颗珍珠有左视图、主视图、右视图、后视图和俯视图，每个视图都可以获得48维的纹理特征，本发明将5幅视图的纹理特征取均值作为该珍珠的纹理特征；

将同一颗珍珠的形状特征和纹理特征组合在一起作为该珍珠的特征；

获得的特征需要进行预处理；预处理：对得到的特征数据进行归一化处理，将特征数据每一维度的数值映射到[0,1]区间；转换函数为其中x_max为特征数据的最大值，x_min为特征数据的最小值。

3)将所提取的特征以及珍珠的类别标签作为训练数据，训练三个BP神经网络模型，利用所设计的特征提取方法提取待分类珍珠的特征，利用所训练的BP神经网络模型对其进行分类；

用种类为8点差米形、8点二档冲头、8点高档米珠、8点中档米珠和8点短螺纹、8点高档颗头螺纹、8点高档面光、10点四面光的珍珠特征训练模型1；

用种类为8点差米形、8点高档米珠、8点中档米珠和8点二档冲头的珍珠特征训练模型2；

用种类为8点短螺纹、8点高档面光和8点高档颗头螺纹、10点四面光的珍珠特征训练模型3；

BP神经网络的结构如图4所示；

a.首先根据输入特征的维数确定BP神经网络的输入节点数；由于模型1、2、3都是将珍珠分为两类，所以输出节点数为2；隐藏层节点数用经验公式确定，如下，其中h为隐藏层节点数目，m为输入层节点数目，n为输出层节点数目，a为1-10之间的调节常数；

b.计算隐藏层输出：根据输入向量，输入层和隐藏层的连接权值w_ij以及隐藏层和阈值a_j，计算隐藏层输出H：

式中l为隐藏层的节点数，n为输入层的节点数；f为隐藏的激活函数，本发明选函数为：

c.计算输出层输出：根据隐藏层输出O，连接权值w_jk和阈值b_k，计算输出层输出U：

式中m为输出层的节点数；

d.误差计算：根据网络分类输出O和期望输出y，计算网络分类误差E：

e.权值更新：根据网络分类误差E，更新网络连接权值w_ij和w_jk：

w_ij＝w_ij+αδ_ijx_i i＝1,2,…,n j＝1,2,…,l

w_jk＝w_jk+αδ_jkH_j j＝1,2,…l k＝1,2,…,m

其中α为学习率，

δ_jk＝(y_k-O_k)O_k(1-O_k)

f.阈值更新：根据网络分类误差E，更新网络节点的阈值a_j、b_k:

a_j＝a_j+αδ_ij

b_k＝b_k+αδ_jk

g.通过判断网络分类误差是否满足要求来确定算法迭代是否结束，若没有结束，返回步骤b；

对待分类珍珠进行分类时，按照步骤2)所述提取特征方法提取珍珠特征，将所提取的特征作为已经训练好的BP神经网络模型的输入，对其进行分类。

4)设定阈值，通过比较BP神经网络模型的输出与阈值，筛选出步骤3)中分类结果置信度低的珍珠，即特征不明显容易误分的珍珠，交由人工进行判断分类。

提取待分类珍珠的特征，将其作为模型1的输入，得到该珍珠以P₁的概率为第1类，以P₂的概率为第2类；设定阈值T₁、T₂，若P₁大于P₂，将P₁与T₁比较，若P₁大于T₁，则珍珠为第1类，否则判断该珍珠分类置信度低，即特征不明显，交由人工分类；反之，若P₂大于P₁，同理；珍珠由BP神经网络模型2、3进行分类时同样遵循该规则。

5)根据步骤4)的方法，筛选出步骤3)中分类结果置信度高的珍珠；

将上述珍珠的特征和分类结果标签加入训练数据中，更新训练数据；

根据步骤3)所述训练方法，用更新后的训练数据重新训练所构造的BP神经网络模型。

Claims (8)

1.一种基于BP神经网络的珍珠多分类方法，其特征在于：所述方法包括以下步骤：

1)获取大量已知不同类别的珍珠图像作为样本数据，同一颗珍珠的图像包括左视图、主视图、右视图、后视图和俯视图；

2)利用人工设计的特征提取方法从样本数据中提取所需要的特征；

3)将所提取的特征以及珍珠的类别标签作为训练数据，训练三个BP神经网络模型，利用所设计的特征提取方法提取待分类珍珠的特征，利用所训练的BP神经网络模型对其进行分类；

4)设定阈值，通过比较BP神经网络模型的输出与阈值，筛选出步骤3)中分类结果置信度低的珍珠，即特征不明显容易误分的珍珠，交由人工进行判断分类；

5)筛选出步骤3)中分类结果置信度高的珍珠，将这些珍珠的特征连同它们的类别标签加入到训练数据中，更新BP神经网络模型。

2.如权利要求1所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤1)中，采集厂家提供的8种类别的珍珠图像数据作为样本数据，包括8点差米形、8点二档冲头、8点高档米珠、8点中档米珠、8点短螺纹、8点高档颗头螺纹、8点高档面光和10点四面光。

3.如权利要求1或2所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤2)中，人工设计的特征提取方法包括用离散傅里叶变换提取珍珠的形状特征，用灰度共生矩阵提取珍珠的纹理特征。

4.如权利要求3所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤2)中，提取的特征需要进行预处理，所述预处理过程为：对得到的特征数据进行归一化处理，将特征数据每一维度的数值映射到[0,1]区间；转换函数为其中x_max为特征数据的最大值，x_min为特征数据的最小值。

5.如权利要求2所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤3)中，分类过程包括以下步骤：

3.1)用训练数据训练三个BP神经网络模型，分别为模型1、2、3，BP神经网络的输入节点数由输入特征的维度决定，输出节点数由该网络所要区分的类别数决定，隐藏层节点数用经验公式确定，如下，其中h为隐藏层节点数目，m为输入层节点数目，n为输出层节点数目，a为1-10之间的调节常数；

3.2)将待分类珍珠归一化后的形状特征、纹理特征组合成用于珍珠分类的特征，作为BP神经网络的输入，根据输出来确定其类别；

3.3)训练好的BP神经网络模型1用于将珍珠分为两类，分别为

第1类：8点差米型、8点二档冲头、8点高档米珠、8点中档米珠；

第2类：8点短螺纹、8点高档颗头螺纹、8点高档面光、10点四面光；

训练好的BP神经网络模型2用于将经过模型1分类后的8点差米型、8点二档冲头、8点高档米珠、8点中档米珠分为两类，分别为

第3类：8点差米型、8点高档米珠、8点中档米珠；

第4类：8点二档冲头；

训练好的BP神经网络模型3用于将经过模型1分类后的8点短螺纹、8点高档颗头螺纹、8点高档面光、10点四面光分为两类，分别为

第5类：8点短螺纹、8点高档面光；

第6类：8点高档颗头螺纹10点四面光。

6.如权利要求5所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述训练BP神经网络包括以下步骤，分为两个阶段：

第一阶段，前向传播阶段：

3.1.1)从训练数据集中取一个训练数据(X_p,Y_p)，X_p为珍珠的特征，Y_p为其类别标签，将X_p输入网络；

3.1.2)计算相应的实际输出O_p；在此阶段，信息从输入层经过逐级的变换，传送到输出层，网络执行的是下列计算：

O_p＝F₂(F₁(X_pW⁽¹⁾)W⁽²⁾)

其中，W⁽¹⁾和W⁽²⁾分别为BP神经网络输入层和隐藏层的联接矩阵、隐藏层和输出层的联接矩阵，F₁和F₂分别为隐藏层和输出层的激活函数；

第二阶段，向后传播阶段：

3.1.3)计算实际输出O_p与相应的理想输出Y_p的差；

3.1.4)按极小化误差的方式调整权矩阵。

7.如权利要求1或2所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤4)中，实现方式如下：

珍珠由BP神经网络模型1分类，得到该珍珠以P₁的概率为第1类，以P₂的概率为第2类；设定阈值T₁、T₂，若P₁大于P₂，将P₁与T₁比较，若P₁大于T₁，则珍珠为第1类，否则判断该珍珠分类置信度低，即特征不明显，交由人工分类；反之，若P₂大于P₁，同理；珍珠由BP神经网络模型2、3进行分类时同样遵循该规则，通过设定阈值达到所期望的分类效果。

8.如权利要求1或2所述的一种基于BP神经网络的珍珠多分类方法，其特征在于：所述步骤5)中，更新过程包括以下步骤：

5.1)根据步骤4)的方法，筛选出步骤3)中分类结果置信度高的珍珠；

5.2)将上述珍珠的特征和分类结果标签加入训练数据中，更新训练数据；

5.3)用更新后的训练数据集重新训练所构造的BP神经网络模型。