CN108875627B - 一种基于图像视觉识别的槟榔分选方法 - Google Patents

Abstract

本发明公开了一种基于图像视觉识别的槟榔分选方法，包括步骤：实时抓取并分析摄像头拍到的每一帧图像，利用预训练好的支持向量机分类模型对图像中每个像素进行分类，得到相应的二值图像作为蒙版；通过分析蒙版，判断该帧是否为关键帧，如果当前帧不为关键帧，则此次分选结束；如果当前帧为关键帧，则对于分割得到的蒙版进行腐蚀操作；对前景像素点的坐标做PCA，找到槟榔的重心并计算出槟榔的长度和直径；对PCA正规化后的二值分割图像做上下翻转操作，得到槟榔的对称性值；对前景像素做Canny边缘检测，得到槟榔的纹理值；通过对槟榔的纹理值和对称性进行综合分析，给出相对应的分类。本发明该方法能够快速、准确的分选所需求的槟榔。

Description

一种基于图像视觉识别的槟榔分选方法

技术领域

本发明涉及一种分选方法，特别涉及一种基于图像视觉识别的槟榔的分选方法。

背景技术

槟榔含有多种人体所需的营养元素和有益物质，槟榔原果的主要成分为31.1％的酚类、18.7％的多糖、14.0％的脂肪、10.8％的粗纤维、9.9％的水分、3.0％的灰分和0.5％的生物碱。槟榔还含有20多种微量元素，其中11种为人体必需的微量元素。槟榔种子含总生物碱0.3％-0.6％，主要为槟榔碱，并含有少量槟榔次碱、去甲基槟榔碱、异去甲基槟榔次碱、槟榔副碱及高槟榔碱等，均与鞣酸集合存在。还有鞣质、脂肪、甘露醇、半乳糖、蔗糖、儿茶精、表二茶精、无色花青素、槟榔红色素、皂苷及多种原矢车菊素的二聚体、三聚体、四聚体等。所含脂肪酸的组成为：月桂酸19.5％、肉豆蔻酸46.2％、棕榈酸12.7％硬脂酸1.6％、油酸6.2％、亚油酸5.4％、十二碳酸0.3％、十四碳烯酸7.2％，又含氨基酸。其中脯氨酸占15％以上。

槟榔经济价值高，每公顷可种植1500-2000株左右。中国槟榔品种产量高，单株产量可达30kg左右，经济价值高。中国海南、台湾、湖南等地群众自古就有消费槟榔的习惯，是主要的咀嚼食品。仅加工产值就达35亿元，提供就业岗位20万个.市场潜力大，随着科学技术的注入，深加工产品种类丰富，消费市场逐渐扩大，市场前景更好。

目前的槟榔分类方法主要是利用人工识别进行分类，完全由机器进行自动分类的几乎没有，该类方法对人的经验依赖非常大，最主要的缺点就是效率底，所用的劳动力大，无法适应现在市场的需求，有时还会产生误判而放错等。

中国实用新型专利CN2714174Y通过网孔过滤的方式将不同直径大小的槟榔籽分成不同的等级过滤后再进行人工分类，这种机械过滤式分类方法较为简单，一定程度上减轻了人工的劳动力，但仍无法实现全自动筛选且分选精度不佳。

发明内容

本发明要解决的技术问题是提供一种基于图像视觉识别的槟榔分选方法，该方法能够快速、准确的分选所需求的槟榔。

为了解决上述技术问题，本发明采用以下技术方案：一种基于图像视觉识别的槟榔分选方法，包括以下步骤：

步骤1：实时抓取并分析摄像头拍到的每一帧图像，利用预训练好的支持向量机(Support Vector Machine)分类模型对图像中每个像素进行分类，得到相应的二值图像作为蒙版(mask)，从而分割出前景像素和背景像素；

步骤2：通过分析步骤1中得到的蒙版，判断该帧是否为关键帧，所述关键帧是指槟榔第一次完整进入相机视野；

如果当前帧不为关键帧，则回到步骤1分析下一帧图像；

如果当前帧为关键帧，则对于分割得到的蒙版进行腐蚀操作；

步骤3：通过对步骤2中前景像素点的坐标做PCA(主成分分析)，得到PCA正规化后的二值图像，找到槟榔的重心并计算出槟榔在图像中的长度和直径；

步骤4：对PCA正规化后的二值分割图像做上下翻转操作，得到翻转后的图像,将翻转后

的图像减去原图像后得到的非零像素的个数除以像素总数得到槟榔的对称性值；

步骤5：对于步骤2中的前景像素做Canny边检测，检测得到边缘像素的数量除以前景总像素数量，得到槟榔的纹理值；

步骤6：通过对槟榔的纹理性和对称性进行综合分析，给出相对应的分类。

进一步地，在步骤1开始前，可以通过对数几率回归算法在大量槟榔中训练出所需要的阀值，即槟榔的纹理性值和对称性值。

进一步地，所述前景像素为槟榔。

进一步地，步骤1中所述支持向量机公式为：

Q＝f(x_r，x_g，x_b)＝c_rx_r+c_gx_g+c_bx_b+w

其中(x_r，x_g，x_b)为图片中的一个像素点，x_r，x_g，x_b该像素点的RGB值。当Q的值为正数时，该像素点属于前景，当Q的值为负数或者零时，该像素点属于背景。

进一步地，所述腐蚀操作是使用一个窗口扫描二值图像，若该窗口中有背景像素，则将整个窗口的所有像素替换为背景像素；若窗口中全部是前景像素，则不替换，此方法可去除槟榔花蒂上细长的梗。

进一步地，找到长度和直径的方法为：利用PCA(主成分分析)找出槟榔形状的主轴，所述主轴为第一个主成分向量，所述槟榔的长度为主轴方向任意两个前景像素点之间长度的最大值，所述槟榔的直径为与主轴垂直方向任意两个前景像素点之间长度的最大值。

进一步地，找到槟榔重心的计算公式为：槟榔的重心坐标通过经验均值计算

其中，x₁，x₂，…，x_n为所有前景像素点的坐标。

进一步地，对数几率回归算法的公式为：

其中

logit(x)＝c₀+c₁x₁+c₂x₂+…+c_kx_k。

本发明的有益效果：本发明提供一种基于图像视觉识别的槟榔分选方法，在未知阀值的情况下，可以通过对数几率回归算法在大量槟榔中训练出阀值，在已知阀值的情况下，通过设定阀值，使用支持向量机分类模型可以准确、快速的将前景像素和背景像素区分开来，对前景像素点做PCA可以快速的找出槟榔的重心、长度和宽度，最后对槟榔的对称性和纹理值进行快速准确的分类，本方法复杂程度低，计算量少，适用性广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的流程图；

图2为本发明实施例2的流程图。

具体实施方式

下面结合附图对发明进一步说明，但不用来限制本发明的范围。

实施例1：

如图1所示，在进行分选前，如果要选出想要的槟榔，在未知阀值的情况下，需要先在大量的槟榔中训练出阀值，然后通过阀值来筛选出需要的槟榔，通过对数几率回归算法

其中

logit(x)＝c₀+c₁x₁+c₂x₂+…+C_kx_k

计算出所需要槟榔纹理值的阀值为K1，对称性值为K2，则需要分选出的槟榔有三类：

第一类，纹理值大于K1的槟榔；

第二类，对称性值大于K2的槟榔；

第三类，纹理值大于K1同时对称性值大于K2的槟榔。

通过利用摄像头拍到分选中槟榔的每一帧图像，利用支持向量机对每一帧图像中的每个像素分类，

Q＝f(x_r，x_g，x_b)＝c_rx_r+c_gx_g+c_bx_b+w

其中(x_r，x_g，x_b)为该帧图像中的一个像素点，x_rx_g，x_b该像素点的RGB值，选出Q为正数的集合Q1，Q为负数的集合Q2，Q1即为该帧图像中前景像素的集合，Q2即为该帧图像中背景像素的集合，Q1与Q2组成了该帧图像的蒙版M，Q1与Q2中像素的数量可以为零，也可以大于零；

通过分析该帧图像，此时会出现两种情况：

(1)在该帧图像中槟榔是不是第一次完整的进入相机的视野，则停止该帧的分选；

(2)在该帧图像中槟榔是第一次完整的进入相机的视野，则使用一个窗口扫描蒙版M,同时也会出现两种情况：

①Q2中像素的数量大于零，则将蒙版M中所有Q1的像素用Q2来替换；

②Q2中的像素数量等于零，则Q1保留，不被Q2替换。

此步骤主要是去除槟榔花蒂上细长的梗。

分析保留后的Q1，并对Q1中像素点的坐标做PCA，得到PCA后的二值分割图像S，利用PCA找出槟榔的主轴Z，主轴Z方向任意两个前景像素点之间长度的最大值即为槟榔的长度L，与主轴Z垂直方向任意两个前景像素点之间长度的最大值即为槟榔的直径D，槟榔的重心G则通过平均公式计算得出，

其中，x₁，x₂，…，x_n为Q1中所有前景像素点的坐标。

对二值分割图像S做上下翻转操作，得到S’,(S-S’)中非零像素的个数A除以像素总数F1得到比值A/F1，即为槟榔的对称性值；

同时对分析保留后的Q1做Canny边缘检测，检测得到边缘像素的数量E，然后除以前景总像素数量F2，得到比值E/F2，即为槟榔的纹理值；

通过综合分析槟榔的纹理值和对称性值：

当A/F1的值大于所设定的阀值K1时，则所需要的第一类槟榔被分选出来；

当E/F2的值大于所设定的阀值K2时，则所需要的第二类槟榔被分选出来；

当A/F1的值大于所设定的阀值K1同时E/F2的值大于所设定的阀值K2时，第三类槟榔也被分选出来。

实施例2：

如图2所示，实施例2与实施例1的区别在于已知了槟榔纹理值的阀值和对称性的阀值，则可以直接跳过阀值训练，根据已知的阀值通过实施例1的步骤可以直接快速的分选出所需要的槟榔。

本发明工作原理：在已知阀值的情况下，通过设定阀值对槟榔纹理性和对称性的分选，利用支持向量机分类模型可以快速的分离出槟榔的前景和背景，通过CPA找出槟榔的长度、宽度和重心，计算出槟榔的对称性，通过Canny边缘检测可以得到槟榔的纹理值，综合槟榔的纹理和对称性可以快速的将槟榔进行相应的分类。

在未知阀值的情况下，可以通过对数几率回归算法在大量的槟榔中训练出所需要的阀值，然后通过设定阀值对槟榔纹理性和对称性的分选，利用支持向量机分类模型可以快速的分离出槟榔的前景和背景，通过CPA找出槟榔的长度、宽度和重心，计算出槟榔的对称性，通过Canny边缘检测可以得到槟榔的纹理值，综合槟榔的纹理和对称性可以快速的将槟榔进行相应的分类。

本发明提供一种基于图像视觉识别的槟榔分选方法，在未知阀值的情况下，可以通过对数几率回归算法在大量槟榔中训练出阀值，在已知阀值的情况下，通过设定阀值，使用支持向量机分类模型可以准确、快速的将前景像素和背景像素区分开来，对前景像素点做PCA可以快速的找出槟榔的重心、长度和宽度，最后对槟榔的对称性和纹理值进行快速准确的分类，本方法复杂程度低，计算量少，适用性广。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.一种基于图像视觉识别的槟榔分选方法，其特征在于，包括以下步骤：

步骤1：实时抓取并分析摄像头拍到的每一帧图像，利用预训练好的支持向量机分类模型对图像中每个像素进行分类，得到相应的二值图像作为蒙版，从而分割出前景像素和背景像素；

步骤2：通过分析步骤1中得到的蒙版，判断该帧是否为关键帧，所述关键帧是指槟榔第一次完整进入相机视野；

如果当前帧不为关键帧，则此次分选结束，回到步骤1分析下一帧图像；

如果当前帧为关键帧，则对于分割得到的蒙版进行腐蚀操作；

步骤3：通过对步骤2中前景像素点的坐标做PCA，得到PCA正规化后的二值分割图像，找到槟榔的重心并计算出槟榔在图像中的长度和直径；

步骤4：对PCA正规化后的二值分割图像做上下翻转操作，得到翻转后的图像，将翻转后的图像减去原图像后得到的非零像素的个数除以像素总数得到槟榔的对称性值；

步骤5：对于步骤2中的前景像素做Canny边缘检测，检测得到边缘像素的数量除以前景总像素数量，得到槟榔的纹理值；

步骤6：通过对槟榔的纹理性和对称性进行综合分析，给出相对应的分类。

2.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，在所述步骤1开始前，通过对数几率回归算法在大量槟榔中训练出所需要的阀值，所述阀值为槟榔的纹理性值或对称性值。

3.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述前景像素为槟榔。

4.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述步骤1中所述支持向量机公式为：

Q＝f(x_r，x_g，x_b)＝c_rx_r+c_gx_g+c_bx_b+w

其中(x_r，x_g，x_b)为图片中的一个像素点，x_r，x_g，x_b该像素点的RGB值，当Q的值为正数时，该像素点属于前景，当Q的值为负数或者零时，该像素点属于背景。

5.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述步骤2中的腐蚀操作是使用一个窗口扫描二值图像，若该窗口中有背景像素，则将整个窗口的所有像素替换为背景像素；若窗口中全部是前景像素，则不替换。

6.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述步骤3中计算出槟榔长度和直径的方法为：利用PCA找出槟榔形状的主轴，所述主轴为第一个主成分向量，所述槟榔的长度为主轴方向任意两个前景像素点之间长度的最大值，所述槟榔的直径为与主轴垂直方向任意两个前景像素点之间长度的最大值。

7.根据权利要求1所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述找到槟榔重心的计算公式为：

其中，x₁，x₂，...，x_n为所有前景像素点的坐标。

8.根据权利要求2所述的一种基于图像视觉识别的槟榔分选方法，其特征在于，所述对数几率回归的公式为：

其中logit(x)＝c₀+c₁x₁+c₂x₂+…+c_kx_k。

Images