CN106250896A - 基于图像采集装置的在线烟叶的正反面的识别方法 - Google Patents

Abstract

本发明提供一种基于图像采集装置的在线烟叶的正反面的识别方法：原烟图像采集装置获取烟叶图像；将烟叶图像，分别提取图像的RGB的颜色空间，把烟叶颜色空间转化为HSV孟塞尔空间，建立烟叶HSV颜色异常分析模型，保留正常样本图像；将所述正常样本图像进行滤波；根据烟梗二值化阈值将图像黑化处理，计算烟梗的面积比例；根据烟叶正反二值化阈值计算烟叶正面的面积比例p1(a)；计算烟叶反面所占的比例。其优点在于根据双阈值确定的方法结合统计，建立了一个半监督的烟叶梗和烟叶反面比例的识别方法，并进行了交叉检验，较以往的方法的阈值确定的随意性进行了误差的把控。

Description

基于图像采集装置的在线烟叶的正反面的识别方法

技术领域

本发明公开了一种基于图像采集装置的在线非烟叶物质以及烟叶正反面的识别方法及其应用，属于烟叶视觉分析技术。

背景技术

烟叶的离线图像分析研究一直是国内研究的课题，主要包括从烟叶的图像中分析出烟叶的重量，主脉的面积，梗的面积，从梗的图像中获取梗的长度，以及梗的面积，和梗的重量，就其本质是因为在离线分析的过程中，烟叶的基本色与背景色相差很大，各个烟叶之间没有产生交叉与重叠，很容易把烟叶的特征信息给提取出来；而对于在线烟叶的颜色分析而言，烟叶的基本色受外界的影响较大，各个烟叶的信息重叠，不同烟叶的色度，对方位置交错，对于不同的烟叶色度也有区别，对于同一片烟叶的特征也不一定全部一样，相同点隐隐约约之中，差异点时时处处存在；如何找到决定烟叶正反面以及梗的核心特征，便关系着烟叶特征信息的提取的成功与否。

近年来随着打叶复烤的持续发展，复烤厂作为卷烟工艺配方的前移站发挥着越来越重要的作用，复烤厂对原料内在化学成分的质量控制，稳定叶组配方，使得卷烟原料的外观指标与内在化学成分的协调性，为卷烟配方的稳定性与卷烟原料的可用性起到了一个重要中转站的作用；烟叶的内在质量是卷烟内在质量的基础，提高烟叶内在质量是烟叶各个工作环节的核心目标，通过复烤工艺与复烤管理从烟叶原料的外观指标和内在化学成分的角度控制烟叶的内在质量的稳定性意义突出，随着近红外快速分析体系的建立，对烟叶化学成分的在线控制已经基本能够实现；对于烟叶的外观复烤的工艺调控由于受制于在线烟叶外观的检测少有报道；对原料的外观的离线分析，上海烟草集团”基于智能图像处理和模型估计的烟叶叶面积质量测定方法”专利的图像处理方法是目前为止对烟叶离线分析处理的一般经典方法；但是由于其背景简单使得应用于在线复杂背景以及复杂色差体系下的在线分析识别能力不强的缺点；主要原因是在线分析的烟叶正反面以及烟叶背景，梗对烟叶的特征信息的影响造成的。

发明内容

本发明的提供的一种基于相机的在线烟叶的正反面的识别方法，该方法依次包括图像的获取，图像的预处理，图像的特征提取，图像的边缘提取，图像的特征聚类，该方法具有操作简单，识别准确的特点，克服上述现有技术的缺陷。

本发明提供一种基于相机的在线烟叶的正反面的识别方法，包括以下步骤：

步骤A、在原烟挑选线获取原烟烟叶的扫描图像，对扫描图像进行滤波处理；然后对图像进行灰度处理得到灰度矩阵G；人工测量烟梗在实际烟叶的面积占比；该面积比为记为PG；并统计获得原料样本的烟叶正反面比例；

步骤B、对灰度矩阵G选取一定的阈值；对阈值的分别进行二值化矩阵，矩阵的像素为m×n；分别计算在上述阈值下的二值化矩阵

$p\left(s\right)=\frac{Area\left(G\right(i,j)==0)}{m\×n}$

其中Area(G(i，j)＝＝0)表征的是灰度矩阵在s阈值上，G(i，j)＝0的图像像素点数，根据人工测量的烟梗在实际烟叶的面积占比PG，选取p(s)＝PG的阈值s作为图像的二值化阈值；

步骤C、根据原料样本的原料样本烟梗的面积比例确定烟梗二值化阈值，计算烟梗的面积比例p(b)；

在生产线上取待测量的烟叶样本图像，待测图片进行中值滤波，根据阈值s来对滤波后的图像进行二值化操作，得到二值化矩阵Im；计算烟梗的面积占比为；Im中为0的元素个数除以(m*n)；定义待测烟叶样本中烟梗的比例为p(b)，则

$p\left(b\right)=\frac{count(\mathrm{Im}==0)}{m\×n}$

步骤D、将烟叶样本图像，分别提取图像的RGB的颜色空间，把烟叶颜色空间转化为HSV孟塞尔空间，其中rgb转换成hsv采用rgb2hsv函数，根据HSV的颜色均值空间分布；建立烟叶HSV颜色异常分析模型，保留正常样本图像；

步骤E、将正常样本图像进行滤波；

步骤F、根据原料样本的烟叶正反面比例确定烟叶正反二值化阈值，根据烟叶正反二值化阈值，根据二值化矩阵得到每个格子区域图像的连通关系；并计算每个格子的图像中烟叶连通区域的面积。计算烟叶正面的面积比例p1(a)；

步骤G、计算烟叶反面所占的比例pp＝p1(a)/(1-p(b))。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：步骤D中，HSV颜色异常模型的识别方法为最小行列式判别法(MCD)、半重数采样法(RHM)、马氏距离判别法(MD)、蒙特卡洛偏最小二乘二维残差分析法(PLSMCCV)中的任意一种。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：步骤D中，HSV颜色异常模型的识别方法具有以下步骤：

定义校正模型中第i个样本点对第h个成分t_h的贡献率为m为提取的PCA(PLS)成分数；n为分析样本的个数；

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}$

∴ $T_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\Σ}}\frac{t_{hi}^2}{s_h^2},$

$\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2~F(m,n-m)$

当在校正模型里面光谱的主成分贡献率满足：

$T_i^2\≥\frac{m(n^2-1)}{n^2(n-m)}{F}_{0.05}(m,n-m)$

则认为样本点异常。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：当m＝2时，在二维平面上就形成了一个椭圆；置信椭圆内的样本为正常样本；置信椭圆外的样本为异常样本。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：滤波为中值滤波或者标准偏差滤波。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：对获取的图像数据进行标准差滤波，在计算图像的局部颜色标准差时，在对输入图像I执行标准差滤波时，设置参数为指定邻域的s维单位矩阵，s为奇数的自然数。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：二值化阈值的方法：从0至255，每隔a进行一个间隔，1≥a＞0，建立一个烟叶二值化集合；从中选取与颜料样本烟梗的面积差异最小的所对应的阈值为图像分析样本的二值化阈值；将进行初步锁定的烟梗区域分别进行原始图像的色度连通聚类；计算每块联通区域的面积与曲率。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：所述曲率的计算方法为椭圆曲率的计算方法，可以用长度/宽度来近似逼近。

进一步，本发明提供一种基于相机的在线烟叶的正反面的识别方法，还可以具有这样的特征：所述差异的表征方法为绝对误差或者相对误差。

发明的有益效果

本发明的一种基于图像采集装置的在线烟叶的正反面的识别方法，由于是根据双阈值确定的方法结合统计，建立了一个半监督的烟叶梗和烟叶反面比例的识别方法，并进行了交叉检验，较以往的方法的阈值确定的随意性进行了误差的把控。

本发明的一种基于图像采集装置的在线烟叶的正反面的识别方法，充分发挥了在线烟梗颜色比较深，并且其所在的区域具有曲率比较大的特征，为梗的精确发掘了核心的梗的信息；颜色比较深，曲率比较大；为图像的精确解析，很大程度上排除了线烟叶复杂背景的干扰；为在线烟叶的稳外观的稳定识别打下了基础；稳定了烟叶外观的识别模型。

附图说明

图1是基于图像采集装置的在线烟叶的正反面的识别方法流程图。

图2是烟叶的原始图像。

图3是颜色空间异常判别模型图。

图4是图像样色信号判别图。

图5是图像增强之后的效果图。

图6是烟梗的二值化阈值的选择图。

图7是图像烟梗的二值化后图。

图8是图像连通区域聚类以及曲率的计算图。

图9是福建某等级的烟叶识别的图像的原始图。

图10是福建某等级的烟叶识别图像二值化分下烟梗的比例分布图。

图11是福建某等级的烟叶待测样本二值化分下的图像。

具体实施方式

下面以福建某等级的烟叶为例对本发明做进一步的描述。

步骤A、获取烟叶原料样本，统计原料样本烟梗的面积比例和原料样本烟叶正反面比例；同时，如图2所示，相机在线获取烟叶图像。

在烟叶原料挑选皮带处在线随机获取烟叶原料样本10把，即10个样本，保持烟叶的原始状态，分别用网格或人工统计烟叶的颜色深浅，烟梗的面积，以及烟叶正反面比例等相关参数。本发明中的把烟原料可以为不同产地不同等级的把烟原料。

同时，工业相机在现场的采样过程中，1分钟(1个样本)会产生60个烟叶图像。

对扫描图像进行滤波处理；然后对图像进行灰度处理得到灰度矩阵G；人工测量烟梗在实际烟叶的面积占比；该面积比为记为PG。

步骤B、对灰度矩阵G选取一定的阈值；对阈值的分别进行二值化矩阵，矩阵的像素为m×n；分别计算在上述阈值下的二值化矩阵

$p\left(s\right)=\frac{Area\left(G\right(i,j)==0)}{m\×n}$

其中Area(G(i，j)＝＝0)表征的是灰度矩阵在s阈值上，G(i，j)＝0的图像像素点数，根据人工测量的烟梗在实际烟叶的面积占比PG，选取p(s)＝PG的阈值s作为图像的二值化阈值。

其中，二值化阈值的选择从0至255(具体最大值可以根据具体的分析对象而定)；每隔1进行一个间隔，建立一个烟叶二值化集合。

步骤C、根据原料样本的原料样本烟梗的面积比例确定烟梗二值化阈值，计算烟梗的面积比例p(b)。

在生产线上取待测量的烟叶样本图像，待测图片进行中值滤波，根据阈值s来对滤波后的图像进行二值化操作，得到二值化矩阵Im；计算烟梗的面积占比为；Im中为0的元素个数除以(m*n)；定义待测烟叶样本中烟梗的比例为p(b)，则

$p\left(b\right)=\frac{count(\mathrm{Im}==0)}{m\×n}$

在二值化进行处理的过程中，阈值的选择非常重要，它关系到颜色比较深的烟叶正面与颜色与梗颜色相交叉的地方，因此与要进行大量的计算：因为一般来说(删除一般来说)烟梗的颜色是比较深的，这个时候以最深的颜色区域为基准，来不断的调整阈值观察最深颜色区域所代表的烟梗面积的变化范围，来初步定好阈值。根据事先标定好的原始烟叶图，经测算烟梗的面积比例为4％；不同烟梗阈值下的图像最深色区域的面积如图6所示：因此，确定烟梗所对应的阈值为25。

步骤D、将烟叶图像，分别提取图像的RGB的颜色空间，把烟叶颜色空间转化为HSV孟塞尔空间，建立烟叶HSV颜色异常分析模型，保留正常样本图像。

HSV颜色模型主要是指，是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。也可使用HIB，CMYK，Lab，灰度颜色模型等模型。

HSV颜色模型的参数分别是：色调(H)，饱和度(S)，亮度(V)。

烟叶HSV颜色空间的异常分析模型，主要是指由于在线的工艺设备造成的流量不稳产生的非烟叶物质信号，比如空白皮带等。

HSV异常模型的分析方法为由如下公式获得：

根据步骤A所取样本的烟叶图像，由RGB颜色空间转化为HSV模型后，求出主成分的之(进行偏最小二乘的成分提取也可以)，也可以利用主成分样本点的贡献率，具体的算法为：(1)定义校正模型中第i个样本点对第h个成分t_h的贡献率为m为提取的PCA(PLS)成分数；n为分析样本的个数；

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}$ 公式(1)

∴ $T_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\mathrm{\Σ}}}\frac{t_{\mathrm{hi}}^2}{s_h^2},$ 公式(2)

可以证明，

$\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2~F(m,n-m)$ 公式(3)

所以当在校正模型里面光谱的主成分贡献率满足：

$T_i^2\≥\frac{m(n^2-1)}{n^2(n-m)}{F}_{0.05}(m,n-m)$ 公式(4)

则认为样本点异常，如图3所示，当m＝2时，在二维平面上就形成了一个椭圆；置信椭圆内的样本为正常样本；置信椭圆外的样本为异常样本。

剔除置信椭圆外的样本即异常样本(空白皮带引起的)，保留置信椭圆内的样本，即保留正常样本。如图4所示，超过正常烟叶色域0.2的基本上是属于皮带色。

皮带的HSV的信号不是烟叶的基本色，在色度上，其与正常的烟叶会有很大的区别，具体表征HSV上其与烟叶的HSV有很大的区别，此时如果单个样本中的某个HSV包含空白皮带的信息，此时的空白皮带的HSV会给样本的某个HSV带来很大的偏离，属于典型的离群值，这个时候运用光谱学的异常点剔除基本上就可以把空白皮带的HSV信号给过滤掉。

HSV颜色异常模型的的识别方法也可使用，MCD(最小行列式判别法)，RHM(半重数采样法)，MD(马氏距离判别法)，PLSMCCV(蒙特卡洛偏最小二乘二维残差分析法)等。

步骤E、将所述正常样本图像进行中值滤波，滤波后还可以对进行增强处理。

滤波可以才用中值滤波的方法或标准偏差滤波。

中值滤波的方法为一种非线性平滑技术，它将每一像素点的灰度设置为该点某邻域窗口内的所有像素点灰度值的中值。

对获取的图像数据进行标准差滤波，在计算图像的局部颜色标准差时，在对输入图像I执行标准差滤波时，设置参数为指定邻域的s维单位矩阵，s为奇数的自然数。

如图5所示，根据需要对图像进行增强处理。

步骤F、根据原料样本的烟叶正反面比例确定烟叶正反二值化阈值，根据烟叶正反二值化阈值，根据二值化矩阵得到每个格子区域图像的连通关系；并计算每个格子的图像中烟叶连通区域的面积。计算烟叶正面的面积比例p1(a)；

对中值滤波的图像进行二值化阈值的确定。如图6所示，二值化阈值确定的方法根据烟梗的面积比例，二值化阈值的选择从0至255(具体最大值可以根据具体的分析对象而定)；每隔0.05进行一个间隔，建立一个烟叶二值化集合；从中选取与颜料样本烟梗的占面积差异最小的所对应的阈值为图像分析样本的二值化阈值；将进行初步锁定的烟梗区域分别进行原始图像的色度连通聚类；计算每块联通区域的面积与曲率。曲率的计算方法为椭圆曲率的计算方法，可以用长度/宽度来近似逼近。差异的表征方法为绝对误差或者相对误差。

根据之前确定烟梗所对应的阈值为25，从烟叶的原始图像中对原始烟叶图像进行预处理，从而获得烟梗的面积比例p(b)＝10％。

对原始烟叶的图像进行二值化处理，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

将对梗进行计算处理之后的颜色；分别重新选取新的阈值来确定烟叶的正反面的阈值；阈值的确定方法与步骤D相同，不在重复叙述。

正面烟叶所占的比例不足15％，因此阈值可以确定在30-40之间的数据；本文选取的阈值为35；进行35阈值的二值化后的二值化图像

选取与步骤A原料烟叶统计的正反面的比例误差最小的阈值为烟叶正反面二值化的阈值。二值化后，不同色度提取边缘，连通区域进行聚集，求取连通区域的面积，从而获得烟叶正面的面积比例p1(a)。

步骤F、计算烟叶反面所占的比例。

烟叶反面所占的比例的计算公式为：

pp＝p1(a)/(1-p(b))

其中p1(a)是由于烟叶正面阈值的计算出来的面积比例；p(b)是根据烟叶梗的识别方法计算出梗的面积比例。

下表为福建某等级的烟叶反面的识别比列对比表

如图9所示，识别烟叶的图像的原始图：

如图10所示，识别烟叶的图像在上述梗的阈值(25)下的二值化分下，梗的比例分布图。

如图11所示，对上述待测样本进行中值滤波后，按照识别烟叶的图像在上述正面烟叶的阈值(35)下的二值化分下的图像。

上述正面烟叶的比例从图像计算如下：

序号	图像识别(正面比例)	人工测算	绝对误差
				1	47.5％	35％	12.5％
2	17％	12％	5％
				3	38.50％	30％	9％
4	33％	25％	8％
				5	25％	15％	10％
6	26％	15％	11％
				7	40％	35％	5％
8	30％	28％	2％
				9	86％	90％	4％
10	35％	25％	10％
				统计	39％	31％	7.11％

Claims (9)

1.一种基于图像采集装置的在线烟叶的正反面的识别方法，其特征在于，包括以下步骤：

步骤A、在原烟挑选线获取原烟烟叶的扫描图像，对扫描图像进行滤波处理；然后对图像进行灰度处理得到灰度矩阵G；人工测量烟梗在实际烟叶的面积占比；该面积比为记为PG；并统计获得原料样本的烟叶正反面比例；

步骤B、对灰度矩阵G选取一定的阈值；对阈值的分别进行二值化矩阵，矩阵的像素为m×n；分别计算在上述阈值下的二值化矩阵

$p\left(s\right)=\frac{Area\left(G\right(i,j)==0)}{m\×n}$

其中Area(G(i,j)＝＝0)表征的是灰度矩阵在s阈值上，G(i,j)＝0的图像像素点数，根据人工测量的烟梗在实际烟叶的面积占比PG，选取p(s)＝PG的阈值s作为图像的二值化阈值；

步骤C、根据原料样本的原料样本烟梗的面积比例确定烟梗二值化阈值，计算烟梗的面积比例p(b)；

在生产线上取待测量的烟叶样本图像，待测图片进行中值滤波，根据阈值s来对滤波后的图像进行二值化操作,得到二值化矩阵Im；计算烟梗的面积占比为；Im中为0的元素个数除以(m*n)；定义待测烟叶样本中烟梗的比例为p(b)，则

$p\left(b\right)=\frac{count(\mathrm{Im}==0)}{m\×n}$

步骤D、将烟叶样本图像，分别提取图像的RGB的颜色空间，把烟叶颜色空间转化为HSV孟塞尔空间,其中rgb转换成hsv采用rgb2hsv函数，根据HSV的颜色均值空间分布；建立烟叶HSV颜色异常分析模型，保留正常样本图像；

步骤E、将正常样本图像进行滤波；

步骤F、根据原料样本的烟叶正反面比例确定烟叶正反二值化阈值，根据烟叶正反二值化阈值，根据二值化矩阵得到每个格子区域图像的连通关系；并计算每个格子的图像中烟叶连通区域的面积。计算烟叶正面的面积比例p1(a)；

步骤G、计算烟叶反面所占的比例pp＝p1(a)/(1-p(b))。

2.如权利要求1所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

步骤D中，HSV颜色异常模型的识别方法为最小行列式判别法(MCD)、半重数采样法(RHM)、马氏距离判别法(MD)、蒙特卡洛偏最小二乘二维残差分析法(PLSMCCV)中的任意一种。

3.如权利要求1所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

步骤D中，HSV颜色异常模型的识别方法具有以下步骤：

定义校正模型中第i个样本点对第h个成分t_h的贡献率为m为提取的PCA(PLS)成分数；n为分析样本的个数；

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}$

$\stackrel{\·}{\·\·}{T}_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\Σ}}\frac{t_{hi}^2}{s_h^2},$

可以证明，

$\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2~F(m,n-m)$

所以当在校正模型里面光谱的主成分贡献率满足：

$T_i^2\≥\frac{m(n^2-1)}{n^2(n-m)}{F}_{0.05}(m,n-m)$

则认为样本点异常。

4.如权利要求3所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

当m＝2时，在二维平面上就形成了一个椭圆；置信椭圆内的样本为正常样本；置信椭圆外的样本为异常样本。

5.如权利要求1所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：所述滤波为中值滤波或者标准偏差滤波。

6.如权利要求5所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

其中，对获取的图像数据进行标准差滤波，在计算图像的局部颜色标准差时，在对输入图像I执行标准差滤波时，设置参数为指定邻域的s维单位矩阵，s为奇数的自然数。

7.如权利要求1所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

二值化阈值的方法：从0至255，每隔a进行一个间隔，1≥a＞0，建立一个烟叶二值化集合；从中选取与颜料样本烟梗的面积差异最小的所对应的阈值为图像分析样本的二值化阈值；将进行初步锁定的烟梗区域分别进行原始图像的色度连通聚类；计算每块联通区域的面积与曲率。

8.如权利要求7所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

其中，所述曲率的计算方法为椭圆曲率的计算方法，可以用长度/宽度来近似逼近。

9.如权利要求7所述的基于相机的在线烟叶的正反面的识别方法，其特征在于：

其中，所述差异的表征方法为绝对误差或者相对误差。