CN103512888B - 一种基于图像识别技术的烟包封条缺陷检测系统 - Google Patents

Abstract

一种基于图像识别技术的烟包封条缺陷检测系统，包括与卷烟装置连接的摄像头、光纤传感器、光电开关、PLC（可编程逻辑控制器）、剔除装置、检测计算机、监控显示器。所述的图像检测系统包括烟包图像采集模块、烟包图像变送模块、烟包图像处理和识别模块、逻辑控制模块、在线检测监控模块、不合格烟包剔除装置模块，以及提供了一种基于图像特征识别的快速烟包封条缺陷检测方法。本发明提供一种针对卷烟厂小包香烟包装装置的，基于图像识别技术的香烟在线生产小包封条缺陷检测系统及方法。<!--1-->

Description

一种基于图像识别技术的烟包封条缺陷检测系统

技术领域

本发明涉及图像识别、过程控制领域，是一种针对生产流水线上的烟包包装上的小标封条的粘贴进行质量指标的检测方法。

背景技术

香烟作为一种消费类烟草制品，是我国的需求量较大且较为稳定的产品之一。目前国内各大烟草制造企业的制丝、卷接都是在高速流水线上进行，香烟制造设备的自动化程度很高，机械电器控制系统复杂，生产过程中可能会因为各种原因出现不合格品[王珍,闻平,伍铁军.香烟条包拉线图像检测的研究.长沙航空职业技术学院学报,2007,7(3):47-50]。其中烟包顶部小标封条粘贴不合格的现象在香烟包装质量问题上占了一定的比例，严重影响了香烟生产的产品合格率，不合格品会降低用户的满意度，同时也会削弱品牌价值和产品信誉度，因此对流水线上不合格品进行检测并剔除有着至关重要的意义。

在现代化生产中质量监控起着极其重要的作用，将机器视觉系统引入产品流水线，实现实时在线质量监控能够大大提高劳动生产率。现在国际知名的西门子、欧姆龙、松下等公司提供的检测设备依靠专业高效的软硬件配置走在了检测行业的前列。国内在烟包包装检测方面也做了一定研究[曲中周,丁万山.香烟小包装在线检测系统中的关键技术.计算机测量与控制,2004,12(7):619-622]。传统的香烟包装质量检测的方法是利用光纤传感器或位移传感器对香烟包进行检测，但使用效果均不够理想，只能对烟包的特定部位、特定错误进行检测，无法有效地检测出烟包封条粘贴歪斜，折角等错误现象。图像检测技术可以通过对采集的图像进行处理、识别，这种方法近几年在工业在线检测中得到了迅速发展和应用。

计算机工业图像检测是将计算机视觉应用于工业检测的一门交叉学科[MitropoulosP.,KoulamasC.,StojanovicR.,KoubiasS.,PapadopoulosG.,KarayanisG..Real-timevisionsystemfordefectdetectionandneuralclassificationofwebtextilefabric.SPIE,1999,3652:300-312][TchanJ.,ManningA.,ThompsonR..Developmentofanautomatedsystemfortheanalysisofprint-qualityvariables.SPIE,1998,3409:567-576]。计算机视觉指的是利用计算机对景物的图像进行识别，以实现对人视觉功能的扩展，利用这一技术可以解决许多工业图像检测环节的问题，以取代落后的人工检测，提高检测效率和工业自动化水平。

利用计算机进行检测待检产品是否存在质量问题，检测精度高，并带有一定的智能。实际上，机器视觉作为一种高速、高精度的检测系统目前已广泛地应用于汽车、制药、电子与电气、制造、包装、医学等行业。计算机工业图像检测系统在香烟包装的实时检测中具有重要的应用价值。目前我国的大部分香烟包装的检验还是借助于人的视觉和主观判断能力，因而占用了大量的人力，而且由于受到个人的视力、情绪、疲劳、光线等因素的影响，工作效率低，分选差异大，成为企业提高效率和效益的瓶颈。近年来发展迅猛的计算机工业图像检测技术解决了这一问题。计算机工业图像检测系统一般采用CCD照相机摄取检测图像并转化为数字信号，再采用先进的计算机硬件与软件技术对图像数字信号进行处理,从而得到所需要的各种目标图像特征值，并由此实现特征识别、坐标计算、灰度分布等多种功能。再根据其结果来吧判断图像的检测结果，输出数据,发出指令,配合执行机构完成位置调整、好坏筛选、数据统计等自动化流程。与人工视觉相比较，机器视觉的最大优点是精确、快速、可靠,以及数字化。

基于灰度图像识别技术的烟包检测方法中，关于烟包透明纸的检测[张春昱.路林吉.香烟盒透明纸包装异常的图像检测.微型电脑应用.2004.20(10):57-59.]是利用图像灰度检测边缘的方法，这种方法是针对透明纸的检测，无法用来检测烟包的封条缺陷。在封条的缺陷检测法研究[余凡,吴裕斌,曹丹华.香烟盒封条缺陷检测快速算法研究.计算机时代，2005(10):29-30]中，虽然这种方法快速有效，但只能检测封条的有无，无法检测封条粘贴出现的歪斜、折角等错误现象。对于检测烟包封条的各类错误检测目前在国内还没有专门的研究。

发明内容

本发明通过对多数烟包的封条进行特征分析，发现大多数香烟的封条上都会有颜色差异较大的直线。本方法选取这些特征直线作为判别标准，提出了一种快速的烟包封条检测方法。该方法可以有效抑制图像的模糊和噪声带来的干扰，并且能够快速识别烟包封条的歪斜、折角、缺失等现象，在实际生产中也验证了该方法的有效性。

本发明所采用的技术方案是：

在香烟生产现场的流水线上加入视觉检测系统，通过将摄像头安装在烟包的传送带处来获取传送带上实时的烟包图像，再对烟包照片进行图像处理、识别来判断包装上的封条是否合格，通过及时发现并剔除不合格品来保证烟包包装质量。

1、由于现代化的生产流水线速度很快，为保证采集图像的质量，应尽量选择高速摄像头来采集传送带上的烟包图像。只有在保证图像处理的来源后才能进一步进行图像识别等后续处理，进而检测封条粘贴合格与否。

2、采集到的现场烟包图像处于颜色较深的传送带上，图像背景颜色是传送带的颜色。使用图像分割技术分离烟包和背景，一副灰度图像用f(x,y)表示，对该图像用单一阈值分割法，分离方法由以下式给出:

$f(x,y)=\left\{\begin{array}{c}0;f(x,y)\&le;T\\ f(x,y);f(x,y)>T\end{array}\right.---\left(1\right)$

上式中阈值T由下式计算

$T=\stackrel{\&OverBar;}{f}+3\&times;S_f---\left(2\right)$

上式中f(x,y)表示图像的灰度值，T表示阈值，表示背景灰度均值，S_f表示背景灰度标准差，0表示黑色像素，255表示白色像素，这样比T大的灰度保持不变，比T小的就变为黑色。该变换阈值T由式2获得，通过阈值分割便可以得到背景分离的烟包图。

3、获得单一背景烟包图像后，需要对目标区域进行定位。对分离背景后的图像从图像左边界的中点位置从左到右搜索连续的非0点便可以确定图像中烟包的左右边界位置和宽度；同理从图像上边界的中点位置由上而下搜索连续的非0点便可以确定图像中烟包的上下边界位置和长度。假设横向非0点横坐标为a到b，纵向纵坐标为c到d。则可得到烟包宽为（b-a），长为（d-c），以烟盒宽度的1/2为目标区域宽度，长度的1/5为目标区域的高度，选取矩形框的行列范围如下

根据以上范围便可以将目标区域定位到烟包封条的所在区域，再对目标进行有针对性的后续处理就会大大降低计算量。

4、对目标区域的处理和识别是判断的主要依据，本方法在处理灰度图像前先对图像进行滤波，进而对滤波后的目标区域进行边缘检测，得出封条上的特征直线，最后对图像进行Radon变换以获得特征直线的位置和角度信息，以此来判断烟包封条的粘贴是否合格。

4.1）均值滤波：由于随机噪声、环境变换等因素的影响，往往要对图像进行滤波去除噪声。该方法待处理点的灰度值由邻域内点灰度平均值来代替，给定一副图像f(x,y)，用领域平均法平滑后的图像g(x,y)用下式表示。

$g(x,y)=\frac{1}{M}\underset{(n,m)\&Element;s}{\mathrm{\&Sigma;}}f(n,m)---\left(5\right)$

式中s表示在点(x,y)领域内坐标的集合，不包括点(x,y)；M表示集合s内坐标点的总数；领域选择以点(x,y)为中心的区域，周围8个点就是s内坐标点总数。该方法滤波时间短，可以去除噪声带来的干扰。

4.2）改进Sobel算子边缘检测：该方法中最关键的一步是图像的边缘检测，灰度图像的边缘是用求导的方法检测，通过考察像素领域内灰度的变化规律来检测边缘。这里提出一种改进的Sobel算子边缘检测法，假设灰度图像为f(x,y)，在位置(x,y)处的梯度可以表示成一个矢量，定义Gx和Gy分别为x和y两个方向的梯度分量，则梯度表示为：

$\&dtri;f(x,y)=[G_x,G_y]=[\frac{\&PartialD;f(x,y)}{\&PartialD;x},\frac{\&PartialD;f(x,y)}{\&PartialD;y}]---\left(6\right)$

梯度的方向是图像灰度变化最快的方向，表示为

$\mathrm{\&theta;}=\arctan \left[\frac{G_y}{G_x}\right]---\left(7\right)$

梯度的幅度大小简称梯度，表示为

$|\&dtri;f(x,y)|=\sqrt{G_x^2+G_y^2}=\sqrt{{\left(\frac{\&PartialD;f(x,y)}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f(x,y)}{\&PartialD;y}\right)}^2}---\left(8\right)$

灰度图像是空间的离散的量化矩阵，在图像中点位置关系如下式

$\left[\begin{array}{ccc}f(x-1,y-1)& f(x-1,y)& f(x-1,y+1)\\ f(x,y-1)& f(x,y)& f(x,y+1)\\ f(x+1,y-1)& f(x+1,y)& f(x+1,y+1)\end{array}\right]---\left(9\right)$

由于灰度图像是空间的离散的点，因此梯度一般用差分代替微分。水平方向的梯度分量通常Gx近似为

$\begin{array}{c}{G}_x=[f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)]\\ -[f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)]\end{array}---\left(10\right)$

垂直梯度分量Gy近似为

$\begin{array}{c}{G}_y=[f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)]\\ -[f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)]\end{array}---\left(11\right)$

为了在计算过程更加方便，通常把梯度的分量写成卷积算子的形式。Sobel卷积算子如下两式所示

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]---\left(12\right)$

Sobel算子法由于只针对水平和垂直两个方向进行差分，在图像模糊的情况下可能会丢失部分边缘信息，有时还存在伪边缘现象。为了获得更加完整的边缘信息，在原有的两个Sobel算子基础上又加入了45°和135°两个方向的卷积模板，如下两式所示

$\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]---\left(13\right)$

通过算子与待处理图像中相同大小的窗口进行卷积运算，卷积结果中检测到灰度值变化较大的点即为图像的边缘，改进后的Sobel算子法对特征直线边缘定位清晰准确，对滤波后不明显的干扰边缘也相对不敏感，具有较好的检测效果。

4.3）Radon变换：Radon变换算法相对简单快速，占用计算机内存小，同时也拥有较好的抗噪性和检测效果，可以方便准确的判断出特征直线的位置和角度。一副灰度图像f(x,y)在二维空间下的Radon变换的定义式如下

$R(\mathrm{\&rho;},\mathrm{\&theta;})=\underset{D}{\&Integral;\&Integral;}f(x,y)\mathrm{\&delta;}(\mathrm{\&rho;}-x\cos \mathrm{\&theta;}-y\sin \mathrm{\&theta;})\mathrm{dxdy}---\left(14\right)$

其中D为整个图像xy平面，f(x,y)为点(x,y)处的灰度值，ρ为坐标原点到直线的距离，θ为距离与X轴的夹角，δ为Diracdelta函数，它使f(x,y)沿直线ρ=xcosθ+ysinθ(0≤θ≤179)方向进行积分。

Radon变换可以理解为图像在ρ-θ空间的投影，ρ-θ空间中的每一点对应图像空间一条直线，即图像中每条直线都会在ρ-θ空间形成一个亮点，这样就可以将图像中直线的检测转化为对ρ-θ空间极值点的检测，而ρ-θ空间下的极值点都对应着位置和角度的信息，这样便可以判断出封条在烟包上的位置和角度。

5、对所有获得的烟包图像依次判断其合格与否，利用光纤传感器作为烟包图像采集信号，当剔除装置和图像采集装置分别安装在不同位置时，可使用光电开关作为烟包计数信号，来正确判断不合格烟包对应的位置，通过PLC进行逻辑编程及时剔除不合格的烟包。

本发明的技术构思为：针对香烟在线快速的生产流水线，以及生产中复杂背景的烟包图像配准和识别较为困难的现象，为减少判断时间和提高判断的准确性。本方法通过简单的定位先分割出烟包封条的所在位置，只针对目标区域进行图像处理和识别，便可以大大减少图像识别的时间。接下来对目标封条区域选取最明显的特征直线，并滤波除去图像中的噪点和不明显的细小边缘信息，通过进行特征直线的边缘提取获得特征直线的边缘。利用Radon变换便可以判断出封条上特征直线的位置和角度信息，进而判断封条的粘贴位置和角度等是否合格。本发明采用简单快速的判别方法实现对烟包上封条粘贴是否合格进行判断，在减少图像识别时间的同时又提高了识别的精度。

本发明的效果主要表现在：在烟草工业快速的生产流水线上加入视觉检测系统，该图像处理的算法简单，大大提高了图像处理的运算速度，可以以满足多数烟厂的生产要求。定位特定目标区域，选取封条上最显眼的特征作为识别对象，可以达到非常好的判断效果，很少出现误判、漏判等现象。经实际使用效果得出该发明可以有效的判别出封条歪斜、折角、漏贴等一系列错误现象，并且可以根据烟包质量要求灵活调整合格的范围，从而大幅度地提高了自动化程度和生产效率。

附图说明

图1是本发明所提出的基于图像识别技术的烟包封条缺陷检测的原理结构图。图像采集是通过采集控制器对流水线上的烟包产生脉冲信号，由光纤传感器输送到图像采集卡，图像采集卡在收到脉冲信号后立即向CCD图像传感器发送采集信号并由摄像头完成采集。经采集获得的图像以BMP格式的黑白图像传送到PC机，然后通过本发明中提及的图像识别的方法来判断烟包封条粘贴是否合格，最后通过PLC逻辑编程对不合格的产品给出剔除信号，一旦发现不合格产品便会由剔除装置自动剔除。

图2是图像处理部分的详细检测方法流程图。1图像分割：用阈值分割法将图像与背景分离，再将目标锁定在烟包封条处；2图像滤波：采用滤波的方法除去图像中噪声带来的干扰；3直线检测：使用图像边缘检测获得封条边缘检测二值图像；4Radon变换：对得到的烟包封条边缘二值图像作Radon变换，搜索Radon变换域内的局部极值点，得到封条上两条直线段的位置和角度信息；5判断产品是否合格：根据获得图像中直线的角度和位置信息来判断包装是否合格；

图3是实施例1中当烟包处于深色传送带上拍摄获得的图片。

图4是实施例1中经图像分割后背景分离的烟包图像，图中白色箭头标明横向纵向的搜索位置和方向，白色方框中为目标区域定位的结果。

图5是实施例1中目标选取后得出的封条处图像。

图6是实施例1中经过均值滤波后获得的封条处图像。

图7是实施例1对滤波后的封条图像采用改进的Sobel算子法边缘检测的结果。

图8是实施例1对封条边缘图像再做Radon变换的结果。

图9是实施例1中执行Radon变换检测直线位置和角度的原理图。

图10是实施例2中某烟厂烟包包装器械的实物图。

图11是实施例2中用于烟包封条检测的摄像头现场安装的所在位置。

图12是实施例2在工业现场采集到的一些常见封条粘贴错误现象，包括封条歪斜、缺失、折角、折边。

图13是实施例2中选定目标区域后，并采用均值滤波对烟包封条图像处理的结果。

图14是实施例2对滤波后的烟包封条图像采用本发明中改进的Sobel算子法进行直线边缘检测的结果。

图15是实施例2对烟包封条边缘图像进行Radon变换后的结果。

具体实施方式

下面结合附图对本发明作进一步描述。本发明实施例用来解释本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

实施例1

将本发明应用于在线烟包生产封条缺陷检测中，装置工艺流程参照图1，采用渡江烟的在线生产作为说明对象。烟包包装装置由烟包锡箔纸包装、烟包外层包装、烟包封条粘贴、透明纸包装、拉条包装、烟条包装等单元组成。通过在烟包包装完成后传送带上安装摄像头来采集烟包图像，在传送带正上方加入采集控制器作为触发摄像头的拍摄的信号，利用、光纤传感器传到采集卡进行采集，从而每经过一包香烟就会自动拍摄获得一幅传送带上的烟包图像，如图3所示。

获得在线烟包图像后，便可以对图像进行如图2所示的图像识别流程。先利用公式（1）、（2）给吃的阈值分割法将烟包图像与深色的传送带背景分离，得到背景纯黑的烟包图像图4。按照图4中箭头的方向和位置对图像进行非零点搜索，得出烟包的边界位置等信息，根据公式（3）、（4）选取图像中纵横坐标的范围，便可以获得封条所在区域的图像，如图5所示。只针对封条处的图像进行处理可以降低计算量，接下来采用公式（5）给出的均值滤波算法进行滤波，滤波起到去除噪点、淡化细节干扰的作用，滤波后如图6所示。利用公式（12）、（13）给出的四个改进的Sobel算子和滤波后的图像以相同大小的窗口进行卷积运算，再通过对梯度大小的检测就可以得到如图7所示的边缘检测图像，从图中可以看出该方法能够清晰准确的得到封条上两条特征直线的位置。最后对边缘图像作Radon变换以获得两条特征直线的位置、角度等信息，通过预先设置封条上特征直线的合格位置和角度范围便可以轻松判断封条的粘贴是否合格，Radon变换后的图像如图8所示。

图8中亮点则对应直线在Radon变换图像ρ-θ空间下的坐标，横坐标对应x轴旋转角度为θ，纵坐标对应图像中心原点到直线的距离为ρ，其原理如图9所示。通过设定阈值为40，再使用局部极值搜索得出0°时的4个点为Radon变换下的极值点，分别对应边缘图像中的四条直线。由上至下四个极值点对应(ρ,θ,R)坐标分别为(-50,0°,45.3523)，(-46,0°,43.128)，(46,0°,45.502)，(50,0°,42.9967)。

以点(-46,0°,43.128)为例，如图9所示，当x轴顺时针旋转0°至x’时垂直于原点左侧稍近的这条直线，与x’轴交点落在-46处，该亮点值为43.128。这样便可以检测出四条边缘直线的角度和位置。可设定横坐标对应x轴旋转角度为θ的合格范围(0°~5°)、(175°~179°)来判断封条粘贴是否存在角度歪斜（其中0°与180°重合，向左向右偏分别留有5度的范围），同样可设定原点到特征直线的距离ρ合格范围(40~55)、(-40~-55)来判断封条粘贴是否存偏左或偏右（其中图像原点到左边两条直线的距离为正值，到右边两条直线为负值）。符合以上角度和距离的范围，则认为封条粘贴合格，反之，不合格。

实施例2

将本发明应用于烟厂渡江牌香烟包装设备改造中。增加在线烟包封条缺陷检测，增加装置工艺流程参照图1，香烟包装设备为德国思慕德进口设备，如图10所示。为了检测烟包包装是封条的粘贴情况，加入视觉检测系统，图像的采集是图像识别的基础，烟包图像检测识别原理如图2所示。图像采集是通过采集控制器对流水线上的烟包产生脉冲信号，由光纤传感器输送到图像采集卡，图像采集卡在收到脉冲信号后立即向CCD图像传感器发送采集信号并由摄像头完成采集。本项目中设备改造中的摄像头、传感器、PLC均使用日本KEYENCE产品，采集到的图像以BMP格式、分辨率为480*640的黑白图像传送到PC机，然后通过本发明中的图像识别方法来判断烟包封条是否合格，最后由PLC进行逻辑编程控制，对不合格的产品给出剔除信号，一旦发现不合格产品便会由剔除装置及时剔除。

由于是对旧设备的改造，该套设备传送带处无法添加检测装置和剔除装置，只能在机器特定位置安装摄像头，图11所示为机器中摄像头的位置。由于摄像头安装位置不佳，只能拍摄到烟包上封条部分，图12所示为拍摄的几种封条有缺陷的烟包图像。虽然拍摄背景相对复杂，但由于烟包经过摄像头时被卡在固定的位置，且采集控制器是以无烟包经过时为0，有烟包经过时为1，采用上升沿作为图像采集的触发信号，光纤传输信号的滞后误差几乎可以忽略不计，这样每次采集到的烟包在图像中的位置都是固定的。因此可省去图像的背景分离和目标定位等步骤，直接在图像中选取封条所在区域即可，经过公式（5）均值滤波后的图像如图13所示。再利用本发明中改进的Sobel算子法对四幅图分别检测到的边缘图像如图14所示。最后Radon变换后获得图像如图15所示。

对以上封条缺失、歪斜、折边、折角等一系列现象，通过观察Radon变换后ρ-θ空间下的图像，可以明显的观察出图中极值点的位置不在合格范围内。通过设定阈值为40，再使用局部极值搜索得出4幅Radon变换图下的极值点分别如下表所示。只有在同时检测到四个极值点且都在合格的范围内时，才能保证烟包封条粘贴合格。这里设定角度θ的合格范围(0°~5°)、(175°~179°)，设定距离ρ合格范围(60~70)、(-60~-70)，从下表可以看出这几种封条常见错误现象利用本发明均能检测出来，在烟厂卷烟设备长期运行中也证明了该方法的有效性和可靠性。

	极值点1	极值点2	极值点3	极值点4	综合判断
						歪斜	(45,160°,41.3142)	(49,160°,43.1517)			不合格
无标	(-10,91°,42.6238)	(29,90°,44.8263)	(32,90°,43.9212)		不合格
						折角	(-65,176°,43.7218)	(-69,176°,45.1528)			不合格
折边	(2,79,44°.1722)	(-19,83°,44.2846)			不合格

Claims (3)

1.一种基于图像识别技术的烟包封条缺陷在线检测系统，包括与卷烟装置连接的摄像头、光纤传感器、光电开关、PLC、剔除装置、检测计算机、监控显示液晶屏；其特征在于：

(1)摄像头是用来完成图像采集的部件，图像采集是通过采集控制器对流水线上的烟包产生脉冲信号，利用光纤传感器输送到图像采集卡，图像采集卡在收到脉冲信号后立即向CCD图像传感器发送采集信号并由摄像头完成采集；

(2)光纤传感器是将来自光源的光经过光纤送入调制器，使待测参数与进入调制区的光相互作用后，导致光的光学性质发生变化，再通过利用被测量对光的传输特性施加的影响，完成测量；

(3)光电开关是光电接近开关的简称，它是利用被检测物对光束的遮挡或反射，由同步回路选通电路，从而检测物体有无的；光电开关将输入电流在发射器上转换为光信号射出，接收器再根据接收到的光线的强弱或有无对目标物体进行探测；利用光电开关对烟包做计数，从而在逻辑上准确定位检测有误的烟包，有针对性的发出剔除信号；

(4)PLC是一种数字运算操作的电子装置；它可以通过编制程序来执行逻辑运算、顺序运算、计时、计数和算术运算操作的指令，并能通过数字式或模拟式的输入和输出；当PLC获得烟包不合格信号时，控制剔除装置及时剔除不合格烟包；

(5)检测计算机是图像检测的运算装置，数码摄像头采集到的图像传送到数字计算机后，就要由计算机来对图像进行一系列的图像检测算法；对图像的识别检测，以及判断图像中烟包合格与否都是由计算机来完成的；

(6)监控显示液晶屏用于针对摄像头实时采集的烟包图像进行在线检测的监控画面进行显示，能够直观的看到检测内容和检测结果；

其中，所述检测计算机完成的在线识别方法包括：

(1)对采集到的深色背景烟包图像进行图像分割，一般为了方便，将采集图像时的背景选在颜色较深的传送带上，摄像头位置的安放应尽量保证触发采集信号时烟包大致处于图像中间部位；

(2)对分割后单一背景烟包图像进行非零点搜索，以此来确定烟包在图像中的位置和大小，进而准确定位烟包封条所在区域；

(3)获得封条区域图像后，采用滤波的方法去除图像中的噪点，同时淡化细小特征带来的干扰；

(4)采用边缘检测的方法来检测滤波后烟包封条图像中明暗变化较为明显的边缘信息；

(5)采用Radon变换来检测边缘图像中的特征直线，这里选取烟包封条上常见的直线作为检测的特征直线；

(6)通过判断特征直线的位置角度信息，便可以间接得到烟包封条的大致位置和角度信息，按照生产的合格标准就可以判断出封条的粘贴是否合格。

2.一种用于基于图像识别技术的烟包封条缺陷在线检测系统的图像检测在线识别方法，其中，所述基于图像识别技术的烟包封条缺陷在线检测系统，包括与卷烟装置连接的摄像头、光纤传感器、光电开关、PLC、剔除装置、检测计算机、监控显示液晶屏；

(1)摄像头是用来完成图像采集的部件，图像采集是通过采集控制器对流水线上的烟包产生脉冲信号，利用光纤传感器输送到图像采集卡，图像采集卡在收到脉冲信号后立即向CCD图像传感器发送采集信号并由摄像头完成采集；

(2)光纤传感器是将来自光源的光经过光纤送入调制器，使待测参数与进入调制区的光相互作用后，导致光的光学性质发生变化，再通过利用被测量对光的传输特性施加的影响，完成测量；

(3)光电开关是光电接近开关的简称，它是利用被检测物对光束的遮挡或反射，由同步回路选通电路，从而检测物体有无的；光电开关将输入电流在发射器上转换为光信号射出，接收器再根据接收到的光线的强弱或有无对目标物体进行探测；利用光电开关对烟包做计数，从而在逻辑上准确定位检测有误的烟包，有针对性的发出剔除信号；

(4)PLC是一种数字运算操作的电子装置；它可以通过编制程序来执行逻辑运算、顺序运算、计时、计数和算术运算操作的指令，并能通过数字式或模拟式的输入和输出；当PLC获得烟包不合格信号时，控制剔除装置及时剔除不合格烟包；

(5)检测计算机是图像检测的运算装置，数码摄像头采集到的图像传送到数字计算机后，就要由计算机来对图像进行一系列的图像检测算法；对图像的识别检测，以及判断图像中烟包合格与否都是由计算机来完成的；

(6)监控显示液晶屏用于针对摄像头实时采集的烟包图像进行在线检测的监控画面进行显示，能够直观的看到检测内容和检测结果；

其特征在于：所述的在线识别方法由检测计算机完成，包括以下步骤：

(1)对采集到的深色背景烟包图像进行图像分割，一般为了方便，将采集图像时的背景选在颜色较深的传送带上，摄像头位置的安放应尽量保证触发采集信号时烟包大致处于图像中间部位；

(2)对分割后单一背景烟包图像进行非零点搜索，以此来确定烟包在图像中的位置和大小，进而准确定位烟包封条所在区域；

(3)获得封条区域图像后，采用滤波的方法去除图像中的噪点，同时淡化细小特征带来的干扰；

(4)采用边缘检测的方法来检测滤波后烟包封条图像中明暗变化较为明显的边缘信息；

(5)采用Radon变换来检测边缘图像中的特征直线，这里选取烟包封条上常见的直线作为检测的特征直线；

(6)通过判断特征直线的位置角度信息，便可以间接得到烟包封条的大致位置和角度信息，按照生产的合格标准就可以判断出封条的粘贴是否合格。

3.如权利要求2所述的图像检测在线识别方法，其特征在于：

(1)分割深色背景和烟包图像的方法如下：

$f(x,y)=\{\begin{array}{c}0;f(x,y)\&le;T\\ f(x,y);f(x,y)>T\end{array}---\left(1\right)$

式中阈值T由下式计算

$T=\stackrel{\&OverBar;}{f}+3\&times;S_f---\left(2\right)$

上式中f(x,y)表示图像的灰度值，T表示阈值，表示背景灰度均值，S_f表示背景灰度标准差，0表示黑色像素，255表示白色像素，这样比T大的灰度保持不变，比T小的就变为黑色；该阈值T由式(2)获得，通过阈值分割便可以得到背景分离的烟包图；

(2)封条目标区域定位，对单一背景烟包图像分别横向和纵向搜索连续的非0点，搜索的起始位置为图像边界中点，假设横向非0点横坐标为a到b，纵向纵坐标为c到d；则选取封条所在区域图像的行列范围如下

可知烟包宽为(b-a)，长为(d-c)，上述封条区域的选取是以烟盒宽度的1/2为目标区域宽度，长度的1/5为目标区域的高度进行定位的；

(3)均值滤波：给定一副图像f(x,y)，用领域平均法平滑后的图像g(x,y)用下式表示

$g(x,y)=\frac{1}{M}\underset{(n,m)\&Element;s}{\&Sigma;}f(n,m)---\left(5\right)$

式中s表示在点(x,y)领域内坐标的集合，不包括点(x,y)；M表示集合s内坐标点的总数；领域选择以点(x,y)为中心的区域，周围8个点就是s内坐标点总数；该方法滤波时间短，可以去除噪声带来的干扰；

(4)改进Sobel算子边缘检测：假设一幅灰度图像为f(x,y)，在位置(x,y)处的梯度可以表示成一个矢量，定义Gx和Gy分别为x和y两个方向的梯度分量，则梯度表示为：

$\&dtri;f(x,y)=\&lsqb;G_x,G_y\&rsqb;=\&lsqb;\frac{\&part;f(x,y)}{\&part;x},\frac{\&part;f(x,y)}{\&part;y}\&rsqb;---\left(6\right)$

灰度图像是空间的离散的点，因此梯度一般用差分代替微分；Sobel算法中水平方向的梯度分量通常Gx近似为

G_x＝[f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)]

(7)

-[f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)]

垂直梯度分量Gy近似为

G_y＝[f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)]

(8)

-[f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)]

为了在计算过程更加方便，通常把梯度的分量写成卷积算子的形式，Sobel卷积算子如下式所示

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]---\left(9\right)$

而改进后的Sobel算子法除了针对水平和垂直两个方向进行差分运算，另外加入了45°和135°两个方向的卷积算子，如下式所示

$\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]---\left(10\right)$

通过算子与待处理图像中相同大小的窗口进行卷积运算，运算结果中检测到灰度值变化较大的点即为图像的边缘；

(5)Radon变换算法对检测直线有很好的效果，可以方便准确的判断出特征直线的位置和角度；一副灰度图像f(x,y)在二维空间下的Radon变换的定义式如下

$R(\mathrm{\&rho;},\mathrm{\&theta;})=\underset{D}{\&Integral;\&Integral;}f(x,y)\mathrm{\&delta;}(\mathrm{\&rho;}-xcos\mathrm{\&theta;}-ysin\mathrm{\&theta;})dxdy---\left(11\right)$

其中D为整个图像xy平面，f(x,y)为点(x,y)处的灰度值，ρ为坐标原点到直线的距离，θ为距离与X轴的夹角，δ为Diracdelta函数，它使f(x,y)沿直线ρ＝xcosθ+ysinθ(0≤θ≤179)方向进行积分；Radon变换可以理解为图像在ρ-θ空间的投影，ρ-θ空间中的每一点对应图像空间一条直线，即图像中每条直线都会在ρ-θ空间形成一个亮点，这样就可以将图像中直线的检测转化为对ρ-θ空间极值点的检测，而ρ-θ空间下的极值点都对应着位置和角度的信息，这样便可以判断出封条在烟包上的位置和角度，进而判断封条粘贴是否合格。