CN111667475B - 一种基于机器视觉的大枣分级检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的大枣分级检测方法，获取表面无缺陷和有缺陷大枣的原始图像，对所述原始图像进行灰度化处理以及滤波处理，提取表面无缺陷的大枣图像；对大枣的阈值图像求解灰度值均值与方差，对所述灰度值均值与方差组成的向量采用机器学习中最小二乘支持向量机的方法进行训练和分类，得到不同分级大枣图像的特征库模板；获取待分级大枣图像，对所述大枣图像进行处理，得到待分级大枣图像的特征参数，设置检测参量的精度范围，采用欧式距离算法计算待分级大枣图像的特征参数和步骤2所得特征库模板中参数的欧式距离，得到分类结果，结合机械装置对大枣进行快速分级，既能降低工人检测的劳动强度，还可以提高大枣分级的效率。

Description

一种基于机器视觉的大枣分级检测方法

技术领域

本发明属于机器识别应用技术领域，具体涉及一种基于机器视觉的大枣分级检测方法。

背景技术

目前我国大枣加工技术仍很落后，其分级技术主要处于人工分级和简单机械分级阶段，其中人工分级效率低，且人员易于疲劳会出现很多的错拣、漏拣问题，简单机械分拣装置效率一般，而且在分拣过程中较为“暴力”，使很多优质枣变成劣质枣，造成了很大的经济损失。所以形成科技含量高、具有大批量分拣的能力新技术在大枣加工行业具有很深远的意义。

发明内容

为了解决了现有技术中存在的问题，本发明提供一种基于机器视觉的大枣分级检测方法，既有助于降低工人检测的劳动强度，避免错检和漏检问题，还可以提高大枣分级的效率。

为了实现上述目的，本发明采用的技术方案是，一种基于机器视觉的大枣分级检测方法，

步骤1、获取表面无缺陷大枣的原始图像，对所述原始图像进行灰度化处理以及滤波处理，提取表面无缺陷大枣的灰度图；

步骤2、获取非连续有缺陷大枣的图像，对所述图像进行灰度化处理以及滤波处理，对滤波处理之后有缺陷大枣的灰度图像进行阈值分割，得到有缺陷大枣的二值化图像；

步骤3、对步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像求解灰度值均值与方差，对所述灰度值均值与方差组成的向量采用机器学习中最小二乘支持向量机的方法进行训练，然后进行分类，得到基于分类结果，即有缺陷不同分级大枣图像的特征库模板；

步骤4、获取待分级大枣图像，对所述大枣图像进行处理，得到待分级大枣图像的特征参数，设置检测参量的精度范围，检测参量为二值化处理后的图像中1值像素占图像像素的百分比；采用欧式距离算法计算待分级大枣图像的特征参数和步骤3所得特征库模板中参数的欧式距离，根据所述欧式距离，得到分类结果。

用CCD工业相机获取大枣图像，所述图像为RGB图像。

采用加权平均值法对图像进行灰度化处理：Gray＝w₁R+w₂G+w₃B，式中，w₁、w₂、w₃为权值，且w₁+w₂+w₃＝1。

对灰度处理后的图像进行3*3中值滤波。

步骤1具体包括以下步骤：

步骤11，获取大枣表面图像；

步骤12，对步骤11所获取的大枣表面图像进行灰度化处理，

步骤13，对灰度化处理之后的大枣表面图像进行中值滤波，并基于canny算子边缘对中值滤波后的图像进行边缘检测，得到完整的无缺陷大枣的灰度化处理图像。

步骤2具体包括以下步骤：

步骤3中，将步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像求均值和方差，得到正常枣、破皮枣、霉变枣以及浆头枣的均值及方差构成的矩阵向量，采用机器学习中的最小二乘支持向量机的方法对得到的正常枣与缺陷枣的均值与方差向量进行分类训练，得到不同种大枣的分类结果；

提取特征参数作为特征库模板，特征参数包括缺陷图像的几何特征中的面积、长径和短径之比以及周长。

步骤3中，最小二乘支持向量机模型回归估计公式为：

其中，w和x都是n维列向量，x为平面上的点，w为平面上的法向量，决定了超平面的方向，b是一个实数，代表超平面到原点的距离。

步骤4中，在二值图中，1表示前景点，0表示背景点，在灰度图像中，像素的灰度值表示为该像素到前景点的距离，则有：

D_p＝min(disf(p,q)),p∈A,q∈B，其中，

其中A表示前景色，B为背景色，p为前景色中的点，q为背景色中的点。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于机器视觉的大枣分级检测方法，采用阈值判断法提取无缺陷大枣图像和有缺陷大枣图像，建立缺陷图像模板特征库，通过对比确定大枣的级别，有助于对大枣进行快速分级，既有助于降低工人检测的劳动强度，降低分捡人工数量，节省成本，避免人工分捡时发生错捡和漏捡的问题，还可以提高大枣分级的效率，而且有利于提高大枣加工过程的自动化与洁净程度。

附图说明

图1为本发明一种可实施的方法流程图。

具体实施方式

基于机器视觉原理结合机械装置的大枣缺陷检测及大小分级系统，采用阈值判断法提取无缺陷大枣图像和有缺陷大枣图像，建立缺陷图像模板特征库，通过对比确定大枣的级别，有助于结合机械装置对大枣进行快速分级。其步骤如下：

基于机器视觉的大枣分级检测机构的检测方法，包括以下步骤：

步骤1、采用阈值判断法提取表面无缺陷的大枣图像。

步骤11、设置拍摄清晰图像的工业摄相机的参数；

摄像机的参数包括摄像机的视场、作距离、分辨率、景深及焦距，结合所测物体为大枣及分析机械装置的构架选择合适的工业相机并设置在适用的范围，直至在计算机中能够显示清晰的大枣表面图像。

步骤12、采用工业摄像机拍摄大枣的表面特征，将标准图传至计算机；

步骤13、对采集到的标准图像进行灰度化处理；

工业相机采集的照片是RGB图像，如果R＝G＝B时则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255。

采用加权平均值法对图像进行灰度化处理：

Gray＝w₁R+w₂G+w₃B

式中，w₁、w₂、w₃为权值，且w₁+w₂+w₃＝1。

步骤14、对灰度化处理后的标准图进行3*3的中值滤波，并基于canny算子边缘对中值滤波后的图像进行边缘检测，

边缘检测算法主要基于图像强度的一阶导数和二阶导数，但导数的计算对噪声很敏感，因此需要适用滤波器对图像进行滤波降噪处理，以此来提高检测的正确度，对灰度化处理的标准图采用canny算子对图像进行边缘检测；得到完整的无缺陷大枣的灰度化处理图像；

采用canny算子对图像进行边缘检测，其好处有以下：

1)好的信噪比准则，即将非边缘点判定为边缘点的概率低。

2)好的定位性准则，即检测出的边缘点尽可能的在实际边缘中心。

3)单边缘相应准则，即单一边缘产生的多个响应的概率低。

步骤2、建立大枣的缺陷图像模板特征库，得到缺不同分级大枣图像的特征库模板

步骤21、设置拍摄清晰图像的工业摄像机的参数；

步骤22、采用工业摄像机拍摄非连续有缺陷大枣，将获得的缺陷图像传输至计算机；

步骤23、对有缺陷的图像进行灰度化处理；

步骤24、对灰度化处理后的图像进行3*3中值滤波；

步骤25、对有缺陷大枣图像进行图像阈值最优求解；

设定一个阈值，如果大于这个阈值就设为白，如果小于这个阈值，就设为黑；取一幅图的计算其灰度直方图，该图的平均灰度值为M，任意选取一个灰度值P则将直方图分为两部分A和B，对应为前景色和背景色，各自的平均值为M₀和M₁。A部分里的像素占总像素的比例为P₀,B部分里的像素占总像素的比例为P₁，则得到公式：

ICV＝P₀(M₀-M)²+P₁(M₁-M)²

当ICV取得最大值时得到最优阈值即为t。

步骤26、取步骤25所得最优阈值t，对中值滤波后的图像进行二值化处理，将灰度值小于或等于最优阈值的像素点赋值为0，灰度值大于最优阈值的像素点赋值1；

具体的，设f(i,j)表示图像中的像素在(i,j)位置上的灰度值，二值化处理如下：

步骤27、对二值化处理后的图像保留1值像素所构成最大面积区域，将最大面积区域以外的其它1值像素赋值为0。

步骤3、对步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像求解灰度值均值与方差，对所述灰度值均值与方差组成的向量采用机器学习中最小二乘支持向量机的方法进行训练，然后进行分类，得到基于分类结果，即有缺陷不同分级大枣图像的特征库模板；

具体的，步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像，得到正常枣、破皮枣、霉变枣以及浆头枣的均值及方差矩阵向量，采用机器学习中最小二乘支持向量机的方法对得到的正常枣与缺陷枣的均值与方差向量进行训练，训练结果即为对不同枣的分类；

最小二乘支持向量机的方法具体训练如下：

通过对大枣图像颜色特征的提取，作为LS-SVM的训练集，将大枣的训练集分为“Good”和“Bad”两类标签，LS-SVM考虑找到一个超平面将两类正确分开且分类间隔要最大，由于此处是一个二分类问题，故超平面可用如下线性方程表示：

w^Tx+b＝0

其中，w和x都是n维列向量，x为平面上的点，w为平面上的法向量，决定了超平面的方向，b是一个实数，代表超平面到原点的距离，假设该分类超平面将训练样本集D＝{(x_i，y_i)|i∈N}，y_i∈{-1,1}正确分类，则有

等号成立的条件为距离超平面最近的样本点，成为“支持向量”，两个异类支持向量的间隔为

间隔越大，分类准确率越高，LS-SVM将SVM优化问题的非等式约束用等式约束替换，为解决部分误分类异常点，给每个训练样本引入误差变量e_i，优化问题变为

其中λ为可调参数，对非线性不可分样本，用

将原始样本映射到更高维的线性可分空间中，构造拉格朗日乘子：

其中α_i表示对应于x_i的拉格朗日乘子。

对其各个变量求导并使其导数为零，求得拉格朗日乘子里各个参数，求解α＝[α₁，α₂，…，α_m]^T和b可通过以下公式计算：

其中

是单位矩阵，K是m×m的核矩阵，

对于新的样本，LS-SVM模型回归估计公式为：

提取特征参数；

提取相应的特征参数存储于计算机，作为识别特征库模板，所述的特征参数包括缺陷图像的几何特征中的面积、长径和短径之比以及周长。所述特征参数的公式如下：

面积S，

其中为x₁横坐标，y₁为纵坐标，为像素值为1的区域，n₁为区域点的个数，

(b)长径和短径之比φ，

其中L₁是长径，L₂是短径；

(c)周长PP，

其中，x₂为横坐标，y₂为纵坐标，R_b像素为值为1的区域，n₂为区域点的个数。

步骤4、待分级大枣的图像的特征提取、检测和识别。

步骤41、设置工业相机参数得到待分级大枣的表面图像；

步骤42、对待分级大枣图像进行灰度化处理及滤波处理；

该步骤是为了得到待分级大枣的边缘特征，通过灰度化及滤波降噪处理得到较为完整的大枣边缘图像。

步骤43对待分级大枣图像进行阈值求解，求得最优阈值t；

步骤44、取得最优阈值，对大枣连续性图像进行二值化处理，将灰度值小于或等于最优阈值的像素点赋值为0，将灰度值大于最优阈值的像素点赋值为1；

步骤45、对二值化处理后的图像保留1值像素所构成最大面积区域，将最大面积区域以外的其它1值像素赋值为0；

步骤46、提步骤45所得图像中的取特征参数；

步骤47、设置检测参量的检测精度范围，检测参量为二值化处理后的图像中1值像素占图像像素的百分比；

步骤48、对待分级大枣图像判断，若百分比达到设定的精度范围则为无缺陷大枣，判定合格，反之不合格；

步骤49、待分级图像的识别，由步骤48中得到的不合格大枣即为有缺陷大枣，将步骤46提取的特征参数与步骤3中识别模板提供的特征参数采用欧式距离算法实现识别分类；

将二值图像变换为灰度图像，灰度图中的各个像素点的灰度级与该像素点到背景像素的最小距离有关，欧式距离变换精度高，与实际距离相符，在二维平面定义两点则其欧式距离表示为：

在二值图中，1表示前景点，0表示背景点，在灰度图像中，像素的灰度值表示为该像素到前景点的距离，则有：

D_p＝min(disf(p,q)),p∈A,q∈B，其中，

其中，A表示前景色，B为背景色，p为前景色中的点，q为背景色中的点。

通过上述步骤待分级大枣与有缺陷大枣图像进行对比，通过欧式距离公式计算其匹配度，能清晰展示出带分级大枣是否存在缺陷，对大枣的级别判定，本发明将大枣份为4级，分级标准如表1所示，控制机械部件使落料斗的阀门开合使分级中的大枣落入相应的料斗中，完成大枣的分级。

缺陷识别流程图如图1所示。

表1 大枣分级标准

Claims (8)

1.一种基于机器视觉的大枣分级检测方法，其特征在于，

步骤1、获取表面无缺陷大枣的原始图像，对所述原始图像进行灰度化处理以及滤波处理，提取表面无缺陷大枣的灰度图；

步骤2、获取非连续有缺陷大枣的图像，对所述图像进行灰度化处理以及滤波处理，对滤波处理之后有缺陷大枣的灰度图像进行阈值分割，得到有缺陷大枣的二值化图像；

步骤3、对步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像求解灰度值均值与方差，对所述灰度值均值与方差组成的向量采用机器学习中最小二乘支持向量机的方法进行训练，然后进行分类，得到基于分类结果，即有缺陷不同分级大枣图像的特征库模板；

步骤4、获取待分级大枣图像，对所述大枣图像进行处理，得到待分级大枣图像的特征参数，设置检测参量的精度范围，检测参量为二值化处理后的图像中1值像素占图像像素的百分比；采用欧式距离算法计算待分级大枣图像的特征参数和步骤3所得特征库模板中参数的欧式距离，根据所述欧式距离，得到分类结果。

2.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，用CCD工业相机获取大枣图像，所述图像为RGB图像。

3.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，采用加权平均值法对图像进行灰度化处理：Gray＝w₁R+w₂G+w₃B，式中，w₁、w₂、w₃为权值，且w₁+w₂+w₃＝1。

4.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，对灰度处理后的图像进行3*3中值滤波。

5.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，步骤1具体包括以下步骤：

步骤11，获取大枣表面图像；

步骤12，对步骤11所获取的大枣表面图像进行灰度化处理，

步骤13，对灰度化处理之后的大枣表面图像进行中值滤波，并基于canny算子边缘对中值滤波后的图像进行边缘检测，得到完整的无缺陷大枣的灰度化处理图像。

6.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，步骤2具体包括以下步骤：

步骤3中，将步骤1所得表面无缺陷大枣的灰度图和步骤2所得有缺陷大枣的二值化图像求均值和方差，得到正常枣、破皮枣、霉变枣以及浆头枣的均值及方差构成的矩阵向量，采用机器学习中的最小二乘支持向量机的方法对得到的正常枣与缺陷枣的均值与方差向量进行分类训练，得到不同种大枣的分类结果；

提取特征参数作为特征库模板，特征参数包括缺陷图像的几何特征中的面积、长径和短径之比以及周长。

7.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，步骤3中，最小二乘支持向量机模型回归估计公式为：

其中，w和x都是n维列向量，x为平面上的点，w为平面上的法向量，决定了超平面的方向，b是一个实数，代表超平面到原点的距离。

8.根据权利要求1所述的基于机器视觉的大枣分级检测方法，其特征在于，步骤4中，在二值图中，1表示前景点，0表示背景点，在灰度图像中，像素的灰度值表示为该像素到前景点的距离，则有：

D_p＝min(disf(p,q)),p∈A,q∈B，其中，

其中A表示前景色，B为背景色，p为前景色中的点，q为背景色中的点。

Images