CN111650220A - 一种基于视觉的图文缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的图文缺陷检测方法，涉及计算机视觉识别领域。该方法采用彩色高清工业相机和镜头对尺寸以内的印刷品进行拍照，首先对合格品制作标准模板，提取模板的特征信息，然后对随意姿态放置的印刷样本进行拍照后比对；算法在图像比对的过程中，将样本图像自动与模板图像进行高精度多尺度配准矫正，省去了目前单张印刷品需要治具进行高精度摆放或需要人工矫正旋转角度等复杂工作，并能够针对不同摆放姿态的样本产生的形变进行自动矫正，最后识别出较小的图文印刷缺陷。不仅能处理文字、符号，也可处理各类含有图像、文字、表格的印刷内容，可更好地检测出各类缺陷，满足了3C、食品、药品等领域对印刷品的高标准品质检测要求。

Description

一种基于视觉的图文缺陷检测方法

技术领域

本发明涉及计算机视觉识别技术领域，具体涉及一种基于视觉的图文缺陷检测方法。

背景技术

在3C、食品、药品等领域，产品所配套的印刷品都需要进行严格的缺陷检测，通常需要对印刷品进行首检和抽检，以避免印刷错误或疏漏产生严重的使用后果，此类除了文字、标点符号等重要的信息需要严格检查外，还有很多以图案(如化学分子式、企业商标、背景图案)等形式也需要严格检查。以医药说明书为例，大量密集的文字伴随着不同语种的详细说明，还有部分图案信息嵌入在彩色背景的印刷区中，很难通过人眼去逐一检查是否存在印刷缺陷，因此通过视觉图像比对成为一种判定印刷图文缺陷的非常实用的方法。

通过视觉图像比对判定印刷图文缺陷的现有技术包括如下两类：

1、基恩士、欧姆龙、海康等视觉厂商已经有成熟的针对印刷品的OCR\OCV视觉解决方案，其产品一般是用于解决产品标签上喷码内容的识别和缺陷检测，一般只能识别字符和常见的符号，如

等。对于印刷的图案或者嵌套在彩色背景中的文字的印刷品很难进行有效的缺陷判定，需要人工做大量的检测区域和算法参数配置。另外海康、康耐视推出了深度学习版本的OCR智能相机，仅能有效识别复杂背景下的中英文字符，无法判定是否存在印刷缺陷。其他的一些平台性的视觉软件，虽然对于非文字的图案能通过模板匹配进行定位和简单的评分判定，但是针对轻微的缺陷，其判定规则和算法参数设置同样比较复杂。此类产品在分析较大幅面、图文密集的的印刷品时，计算性能和检测效果都不是非常理想，仅适用于小块图文的检测识别。

2、凌云、华夏视科等主流的印刷品质检设备厂商，都有针单张印刷品的缺陷检测设备，其产品适用于较大幅面和图文密集的印刷品缺陷检测。产品的主要的形式有两种：

第一类是通过线扫相机对印刷品进行高速运动扫描，印刷品沿着多个锟高速运动，高性能主机实时分析，系统指标能够满足要求，但是设备结构复杂，成本高，仅适用于在线式连续高速检测的场景，不能很好匹配首检或抽检的场景下的离散型离线抽检的需求。

第二类是通过复印扫描的方式单独对单张印刷品进行扫描成像，需要对样品进行压实后再盖上扫描仪进行扫描，然后由人工对图像进行手动选择图像长边再进行图像矫正，最后将矫正后的图像与模板图像进行比对分析缺陷，对检测区域需要逐一设置检测ROI。设备在更换样品款式时比较麻烦，运行时检测效率比较低、每次需要人工进行辅助设置才能正常分析，自动化水平不高，设备无法适应纸张有轻微翘边或褶皱等情况，容易产生误报。

另外，市场上一些智能扫描仪，一般只能作为辅助的输入工具，对特定格式的文本进行字符识别，如身份证、护照、发票等内容的自动识别输入，即只能做文字内容识别，不能做图案和文字的缺陷检测。

上述现有的技术存在软件配置复杂，只能针对小幅面的印刷品的文英文和数字以及常见符号进行识别和缺陷检测，很难对图案进行缺陷判定，使用不方便，检测效率比较低。而一些已有的行业设备或者设置复杂，产品适应能力较弱，或者虽能满足应用指标要求，但是设备结构复杂，成本很高，适合在线式连续高速作业，不适用于首检和抽检等印刷品质检场景下的离散型离线抽检的需求。

发明内容

鉴于现有技术的不足，本发明旨在于提供一种基于视觉的图文缺陷检测方法。其主要应用在较大幅面印刷品的首检和抽检场景下的质检设备，只需要放入合格品一键即可提取模板特征，无需针对字符区域和图文区域单独配置，对产品质检时只需要将产品放在视野内，即可一键完成缺陷检测，无需设置算法参数，系统成本低，检测效率高，使用方便，非常适合首检和抽检等印刷品质检场景。

为了实现上述目的，本发明采用的技术方案如下：

一种基于视觉的图文缺陷检测方法，包括步骤：

S1、制作标准模板，采集一张合格印刷品样本的图像并矫正，提取特征信息和图文区域对象，为后续样本的比对提供参照；

S2、提取待检测的印刷品样本的候选缺陷区域，采集待检测的印刷品样本的图片，提取产品区域并与标准模板进行配准，获取样本图片的特征信息并获得图文区域，将配准后的样本图片与标准模板图像做差，得到的图文特征信息逐一通过为止配对，配对成功的图文区域归一化到模板对象大小后与模板图做差，然后进行二值化处理并进行形态学滤波，提取所有差异化的连通域区域对象作为候选的缺陷区域；

S3、对候选的缺陷区域在二次配准做差后获得的特征进行最后缺陷区域的提取；

S4、进行形态学滤波和去除纸张边缘处非文字区域的干扰，得到最终的缺陷区域。

优选地，在所述步骤S1中，采用2000万彩色工业相机配高清工业镜头对合格印刷品的图像进行采集，采集场设置反干扰设施。

优选地，所述的反干扰设施包括设置在相机顶部的开孔平行光源、铺设在相机镜头正下方载物台平面上用于减少背景干扰和反光干涉的吸光纸，以及贴设在侧面柜壁上的反光纸。

优选地，在步骤S2中，对于配对不成功的对象在指定区域内进行搜索做差，以做差后进行二值化后的图像的前景面积最小最佳的匹配位置。

优选地，在步骤S3中，所述的对候选的区域进行二次配准具体包括：配准的区域为局部外扩一定范围后，与标准模板图像进行特征点配准，然后对二次配准后的局部图像与标准模板图像进行做差得到特征图，二值化后进行形态学滤波，然后提取差异化的区域对象作为候选缺陷区域。

优选地，步骤S1具体包括步骤：

S11、采用2000万彩色工业相机配高清工业镜头采集一张合格印刷品样本的图像；

S12、采用固定阈值25对采集的合格印刷品的样本图像进行二值化，对二值化的结果进行连通域分析，找出图像中多个前景对象，选择最大的作为纸张区域；

S13、拟合出该纸张区域的外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M；

S14、提取标准模板图像的AKAZE特征点，将模板图灰度化并进行高斯滤波，排除阈值小于25的像素区域，对所有位于图像上下左右各个边界50个像素以内的图像区域计算灰度直方图，并获得灰度中值和均值以及方差；其中灰度中值DTBGMidValue作为标准模板的纸张背景像素值，0.4倍的标准差DTBGtdVal作为判定阈值TWTh，当图像中的灰度值DTBGMidValue>TWTh时，将该像素点的值置为255，获得纸张中的图文区域；

S15、对二值化的图文图像进行Runlength操作和形态学的复式膨胀操作，其中Runlength操作的基本方法是对图像进行横向扫描，当遇到图像的像素值为255时，将该像素的位置以及紧随其后的一定长度以内的所有像素都置为255；

S16、对图像进行水平膨胀和垂直方向的单独膨胀腐蚀，然后进行连通域分析，得到长度大于200，宽度却小于30的所有对象，获得基于合格印刷品的图像的标准模板图像。

优选地，步骤S2具体包括步骤：

S21、放入待检测的印刷品样本，拍摄获取样本图像，采用固定阈值25对样本图像进行二值化，然后对二值化的结果进行连通域分析，选择最大的作为纸张区域；

S22、拟合出该纸张区域外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M；

S23、提取样本彩色图像的AKAZE特征点，与模板的AKAZE特征点进行配准，当匹配点的个数小于10时，配准失败，直接返回图像错误，否则对所有配准点对的距离进行排序，选择距离最小的10个配准点计算坐标透视变换矩阵M，再将样本图像通过透视变换矩阵M转成与模板一致的新的样本图；

S24、将校准后的样本彩色图转成灰度图，然后根据模板学习得到的二值化阈值进行二值化，采用RunLength算法对二值化图像上的水平方向和垂直方向上的长细线进行增强；

S25、提取连通域，得到所有的图文对象；

S26、将模板图和样本图中的有所图文对象逐一按距离最小，且最小距离不得超过10个像素距离进行配对，对于配对成功的图文区域，将样本图像归一化成模板图大小，然后做差并二值化，提取前景连通域面积大于5的的对象作为候选的缺陷区域；

S27、对于模板或样本图中配对不成功的对象，分别在样板或模板图中对应的区域上下左右各外扩10个像素作为搜索区域，将对象区域以步长2在搜索区域内进行横向和纵向图像搜索做差，以差值图二值化后最小的前景面做作为最佳的搜索匹配位置，最佳匹配位置的差值图的前景对象如果面积大于5，则作为候选的缺陷区域。

优选地，步骤S3具体包括步骤：

S31、对候选的缺陷区域进外扩行二次配准，外扩的区域为向缺陷区域向四周外扩一定范围，高度最大扩至图像高度的0.2，宽度最大扩至图像宽度的0.3，如果外扩超出图像则以扩到图像的边界；

S32、在外扩的区域范围内提取模板和样本的AKAZE特征点，然后将样本局部图与模板局部图的AKAZE特征点进行配准，并计算配准的转换矩阵，然后通过透视变换将样本局部图转成与模板一致的图像；

S33、将转换之后的图像与模板局部图进行做差，并二值化得到连通域对象，当连通域对象的面积大于5时，则该区域作为缺陷区域进行输出，最后输出的缺陷区域叠加到原图。

优选地，在步骤S4中，对于输出的缺陷区域，如果缺陷区域的中心在纸张边缘处，则判定为无效的缺陷，剩余的对象则作为产品的缺陷进行最终输出，如果没有缺陷对象，则判定为合格。

优选地，纸张边缘处为靠近纸张边缘50个像素以内的区域。

本发明有益效果：本发明的检测方法在图像比对的过程中，可将样本图像自动与模板图像进行高精度多尺度配准矫正，省去了目前单张印刷品需要治具进行高精度摆放或需要人工矫正旋转角度等复杂工作，并能够针对不同摆放姿态的样品产生的形变进行自动矫正，最后识别出较小的图文印刷缺陷。不仅能处理文字、符号，也针对表格、图案处的缺陷特点采用了特殊的处理机制，使得系统在处理各类含有图像、文字、表格的印刷内容时，能够更好的检测出各类缺陷，能够满足在3C、食品、药品等领域对印刷品的高标准品质检测要求。无需针对字符区域和图文区域单独配置，对产品质检时只需要将产品放在视野内，即可一键完成缺陷检测，无需设置算法参数，系统成本低，检测效率高，使用方便，非常适合首检和抽检等印刷品质检场景。

附图说明

图1为本发明的系统示意图；

图2为本发明的系统整体流程图；

图3为本发明的产品区域提取图；

图4为本发明矫正后的模板图像；

图5为本发明的图文区域的检测与增强图；

图6为本发明的图文对象的提取结果图；

图7为本发明的模板创建与特征提取流程图；

图8为本发明的产品区域提取图；

图9为本发明的矫正后的样本图像；

图10为本发明的图像配准结果图；

图11为本发明的增强前后的样本图像；

图12为本发明的样本图像中提取的图文区域对象图；

图13为本发明样本特征提取与配准后缺陷区域提取流程图；

图14为本发明缺陷候选区域外扩后二次配准的特征点与配准结果图；

图15为本发明缺陷区域的检测结果图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明作进一步的描述，需要说明的是，在详细解释本发明的任何实施例之前，本发明在其应用中不限于以下描述中阐述的或下面的附图中示出的部件构造和布置细节。本发明能够具有其他实施例并且能够以各种方式实践或执行。而且，应该理解的是，这里使用的措辞和术语是为了描述的目的，而不应该认为是限制性的。本文中的“包括”、“包含”或“具有”及其变体的使用意味着涵盖其后列出的项目及其等同物以及额外的项目。术语“安装”、“连接”和“耦合”广泛地使用并且包括直接和间接的安装、连接和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合，而可以包括直接或间接的电连接或电耦合。

应该注意的是，可以利用多个基于硬件和软件的设备以及多个不同的结构部件来实现本发明。此外，并且如在随后的段落中所描述的，附图中示出的具体配置旨在示例本发明的实施例，并且其他可选配置是可能的。除非另有说明，否则术语“处理器”、“中央处理单元”和“CPU”是可互换的。在使用术语“处理器”或“中央处理单元”或“CPU”来标识执行特定功能的单元的情况下，应该理解，除非另有说朗，否则这些功能可以由单个处理器或由多个处理器(以任何形式排列，包括并行处理器、串行处理器、串联处理器或云处理/云计算配置)执行。

本发明的实施例提出的一种基于视觉的图文缺陷检测方法，如图2所示，其具体实施步骤为：

S1：在相机下方放入一张合格的印刷品样本，点击软件上的创建模板按钮，软件后台将自动采集一张图像作为模板图像，矫正产品图像后，提取模板的特征信息和图文区域对象，为后续样本的比对提供参照。

S2：放入一张待检测的印刷品样本，点击软件上的分析按钮，软件后台将自动拍一张样本照片，算法首先提取产品区域并与模板进行配准，得到样本的特征信息和图文区域对象。将配准后的样本图像与模板图像做差得到图文特征信息进行逐一通过位置配对，配对成功的图文区域归一化到模板对象大小后与模板图做差，然后进行二值化处理并进行形态学滤波。对于配对不成功的对象在指定区域内进行搜索做差，以做差后进行二值化后的图像的前景面积最小最佳的匹配位置。最后提取所有差异化的连通域区域对象作为候选的缺陷区域。

S3：对候选的区域进行二次配准，配准的区域为局部外扩一定范围后与模板图像进行特征点配准，以此减少整体配准产生的配准误差，或者纸张局部翘边引起的形变导致的配准错位。然后对二次配准后的局部图像与模板图进行做差得到特征图，二值化后进行形态学滤波，然后提取差异化的区域对象作为候选缺陷区域。

S4：最后进行形态学滤波和去除纸张边缘处非文字区域的干扰，得到最终的缺陷区域。

具体地，采集图像的成像系统如图1所示，包括相机1、镜头2、光源3，位于镜头正下方的载物台4、位于载物台4台面上的吸光纸5以及位于载物台4周侧的反光纸6。相机1采用2000万彩色工业相机，镜头2采用高清工业镜头，光源3采用开孔平行光源，位于镜头2的周侧，载物台4台面的正上方。

具体地，步骤S1的过程如图7所示：采用2000万彩色工业相机配高清工业镜头采集一张合格印刷品样本的图像作为模板图像载入。因为背景贴有吸光纸，吸光纸的亮度值小于20，所以为了提取纸张区域，算法采用固定阈值25对图像进行二值化。对二值化的结果进行连通域分析，即找图像中多个前景对象，选择最大的作为纸张区域，其如图3所示。然后拟合出该区域外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M，然后将原始图像通过转换矩阵进行旋转矫正，得到标准的模板图像，其如图4所示。提取标准模板图像的AKAZE特征点，因为纸张四周一般没有或只有较少的吞，因此为了获得更加准确的纸张背景像素值，故先将模板图灰度化并进行高斯滤波，排除阈值小于25(即背景区域)，对所有位于图像上下左右各个边界50个像素以内的图像区域计算灰度直方图，并获得灰度中值和均值以及方差。其中灰度中值DTBGMidValue作为标准模板的纸张背景像素值，0.4倍的标准差DTBGtdVal作为判定阈值TWTh，当图像中的灰度值-DTBGMidValue>TWTh时，则将该像素点的值置为255，由此可以获得纸张中的图文区域。然后对二值化的图文图像进行Runlength操作和形态学的复式膨胀操作，其中Runlength操作的基本方法是对图像进行横向扫描，当遇到图像的像素值为255时，将该像素的位置以及紧随其后的一定长度以内的所有像素都置为255，最后的处理效果如图5所示。然后对图像进行水平膨胀和垂直方向的单独膨胀腐蚀，然后进行连通域分析，得到长度大于200，宽度却小于30的所有对象，即为细的表格或长直细线，长直线区域的图像比对测量与文字和密集图案的比对策略会有所不同。最终提取所有的图文对象，结果如图6所示。

具体地，步骤S2的过程如图13所示：放入样本图像，提取产品区域后与模板图配准，并提取所有的图文对象。同样采用固定阈值25对图像进行二值化，然后对二值化的结果进行连通域分析，选择最大的作为纸张区域，其如图8所示。然后拟合出该区域外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M，然后将原始图像通过转换矩阵进行旋转矫正，得到标准的模板图像，其如图9所示。提取样本彩色图像的AKAZE特征点，与模板的AKAZE特征点进行配准，当匹配点的个数小于10时，配准失败，直接返回图像错误，否则对所有配准点对的距离进行排序，选择距离最小的10个配准点计算坐标透视变换矩阵M，再将样本图像通过透视变换矩阵M转成与模板一致的新的样本图，其如图10所示。然后将校准后的样本彩色图转成灰度图，然后根据模板学习得到的二值化阈值进行二值化，二值化图像进行RunLength算法增强，再增强二值化图像上的水平方向和垂直方向上的长细线，如表格等，增强前后的结果如图11所示。最后提取连通域，得到所有的图文对象，提取的结果如图12所示。再将模板图和样本图中的有所图文对象逐一按距离最小，且最小距离不得超过10个像素距离进行配对。对于配对成功的图文区域，将样本图像归一化成模板图大小，然后做差并二值化，提取前景连通域面积大于5的的对象作为候选的缺陷区域。对于模板或样本图中配对不成功的对象，分别在样板或模板图中对应的区域上下左右各外扩10个像素作为搜索区域。将对象区域以步长2在搜索区域内进行横向和纵向图像搜索做差，以差值图二值化后最小的前景面做作为最佳的搜索匹配位置。最佳匹配位置的差值图的前景对象如果面积大于5，则作为候选的缺陷区域。

具体地，步骤S3的过程为：对候选的缺陷区域进外扩行二次配准，外扩的区域为向缺陷区域向四周外扩一定范围，高度最大扩至图像高度的0.2，宽度最大扩至图像宽度的0.3，如果外扩超出图像则以扩到图像的边界即可。在外扩的区域范围内提取模板和样本AKAZE特征点，然后将样本局部图与模板局部图的AKAZE特征点进行配准，并计算配准的转换矩阵，然后通过透视变换将样本局部图转成与模板一致的图像，其如图14所示。再将转换之后的图像与模板局部图进行做差，并二值化得到连通域对象。当连通域对象的面积大于5时，则该区域作为缺陷区域进行输出，最后输出的缺陷区域叠加到原图的效果如图15所示。

具体地，步骤S4的过程为：对于输出的缺陷区域，如果区域的中心在纸张边缘处，则判定为是无效的缺陷。剩余的对象则作为产品的缺陷进行最终输出，如果没有缺陷对象，则判定为合格。纸张边缘处为靠近纸张边缘50个像素以内的区域。

本发明的检测方法通过算法自学习纸张背景分割阈值，通过整体图文配准、对象逐一配对以及二次局部配准后计算像素级的差异特征，能够准确找到印刷品中与模板不一致的地方，对印刷品在不同姿态的拍照透视变形、纸张轻微翘边、以及不同位置的光照轻微不同都有良好的适应性，能准确检测出不小于5个像素大小的轻微缺陷。

在一些其他实施例中，还可以采用其他的特征配准方式，如采用SURF和SIFT特征点进行特征配准。本方法中采用AKAZE特征点相比于SURF和SIFT，特征点更加稳定，且特征数属于非线性尺度空间有更好的适应性。图文的种类十分丰富且不确定，配准的效果将直接影响缺陷的检测判定。还可以采用图像分网格的方式生成多个图文模板，然后在模板图中进行模板搜索匹配，根据匹配的相似度评分判定样本是否存在印刷缺陷。但此种方法耗时很大，没有配准后的像素级比对，依靠模板的相似性判定只能检出较大面积的印刷品缺陷，小块的缺陷对分值营销很小，因此很难检出。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内，本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种基于视觉的图文缺陷检测方法，其特征在于，包括步骤：

S1、制作标准模板，采集一张合格印刷品样本的图像并矫正，提取特征信息和图文区域对象，为后续样本的比对提供参照；

S2、提取待检测的印刷品样本的候选缺陷区域，采集待检测的印刷品样本的图片，提取产品区域并与标准模板进行配准，获取样本图片的特征信息并获得图文区域，将配准后的样本图片与标准模板图像做差，得到的图文特征信息逐一通过为止配对，配对成功的图文区域归一化到模板对象大小后与模板图做差，然后进行二值化处理并进行形态学滤波，提取所有差异化的连通域区域对象作为候选的缺陷区域；

S3、对候选的缺陷区域在二次配准做差后获得的特征进行最后缺陷区域的提取；

S4、进行形态学滤波和去除纸张边缘处非文字区域的干扰，得到最终的缺陷区域。

2.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，在所述步骤S1中，采用2000万彩色工业相机配高清工业镜头对合格印刷品的图像进行采集，采集场设置反干扰设施。

3.根据权利要求2所述的基于视觉的图文缺陷检测方法，其特征在于，所述的反干扰设施包括设置在相机顶部的开孔平行光源、铺设在相机镜头正下方载物台平面上用于减少背景干扰和反光干涉的吸光纸，以及贴设在侧面柜壁上的反光纸。

4.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，步骤S2中，对于配对不成功的对象在指定区域内进行搜索做差，以做差后进行二值化后的图像的前景面积最小最佳的匹配位置。

5.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，在步骤S3中，所述的对候选的区域进行二次配准具体包括：配准的区域为局部外扩一定范围后，与标准模板图像进行特征点配准，然后对二次配准后的局部图像与标准模板图像进行做差得到特征图，二值化后进行形态学滤波，然后提取差异化的区域对象作为候选缺陷区域。

6.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，步骤S1具体包括步骤：

S11、采用2000万彩色工业相机配高清工业镜头采集一张合格印刷品样本的图像；

S12、采用固定阈值25对采集的合格印刷品的样本图像进行二值化，对二值化的结果进行连通域分析，找出图像中多个前景对象，选择最大的作为纸张区域；

S13、拟合出该纸张区域的外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M；

S14、提取标准模板图像的AKAZE特征点，将模板图灰度化并进行高斯滤波，排除阈值小于25的像素区域，对所有位于图像上下左右各个边界50个像素以内的图像区域计算灰度直方图，并获得灰度中值和均值以及方差；其中灰度中值DTBGMidValue作为标准模板的纸张背景像素值，0.4倍的标准差DTBGtdVal作为判定阈值TWTh，当图像中的灰度值DTBGMidValue>TWTh时，将该像素点的值置为255，获得纸张中的图文区域；

S15、对二值化的图文图像进行Runlength操作和形态学的复式膨胀操作，其中Runlength操作的基本方法是对图像进行横向扫描，当遇到图像的像素值为255时，将该像素的位置以及紧随其后的一定长度以内的所有像素都置为255；

S16、对图像进行水平膨胀和垂直方向的单独膨胀腐蚀，然后进行连通域分析，得到长度大于200，宽度却小于30的所有对象，获得基于合格印刷品的图像的标准模板图像。

7.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，步骤S2具体包括步骤：

S21、放入待检测的印刷品样本，拍摄获取样本图像，采用固定阈值25对样本图像进行二值化，然后对二值化的结果进行连通域分析，选择最大的作为纸张区域；

S22、拟合出该纸张区域外切旋转矩形，得到旋转矩形的四个顶点和旋转矩形的宽高，将四个顶点通过透视变换映射成一个标准的矩形，即(0,0),(w,0),(w,h),(0,h)，求得转换矩阵M；

S23、提取样本彩色图像的AKAZE特征点，与模板的AKAZE特征点进行配准，当匹配点的个数小于10时，配准失败，直接返回图像错误，否则对所有配准点对的距离进行排序，选择距离最小的10个配准点计算坐标透视变换矩阵M，再将样本图像通过透视变换矩阵M转成与模板一致的新的样本图；

S24、将校准后的样本彩色图转成灰度图，然后根据模板学习得到的二值化阈值进行二值化，采用RunLength算法对二值化图像上的水平方向和垂直方向上的长细线进行增强；

S25、提取连通域，得到所有的图文对象；

S26、将模板图和样本图中的有所图文对象逐一按距离最小，且最小距离不得超过10个像素距离进行配对，对于配对成功的图文区域，将样本图像归一化成模板图大小，然后做差并二值化，提取前景连通域面积大于5的的对象作为候选的缺陷区域；

S27、对于模板或样本图中配对不成功的对象，分别在样板或模板图中对应的区域上下左右各外扩10个像素作为搜索区域，将对象区域以步长2在搜索区域内进行横向和纵向图像搜索做差，以差值图二值化后最小的前景面做作为最佳的搜索匹配位置，最佳匹配位置的差值图的前景对象如果面积大于5，则作为候选的缺陷区域。

8.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，步骤S3具体包括步骤：

S31、对候选的缺陷区域进外扩行二次配准，外扩的区域为向缺陷区域向四周外扩一定范围，高度最大扩至图像高度的0.2，宽度最大扩至图像宽度的0.3，如果外扩超出图像则以扩到图像的边界；

S32、在外扩的区域范围内提取模板和样本的AKAZE特征点，然后将样本局部图与模板局部图的AKAZE特征点进行配准，并计算配准的转换矩阵，然后通过透视变换将样本局部图转成与模板一致的图像；

S33、将转换之后的图像与模板局部图进行做差，并二值化得到连通域对象，当连通域对象的面积大于5时，则该区域作为缺陷区域进行输出，最后输出的缺陷区域叠加到原图。

9.根据权利要求1所述的基于视觉的图文缺陷检测方法，其特征在于，在步骤S4中，对于输出的缺陷区域，如果缺陷区域的中心在纸张边缘处，则判定为无效的缺陷，剩余的对象则作为产品的缺陷进行最终输出，如果没有缺陷对象，则判定为合格。

10.根据权利要求9所述的基于视觉的图文缺陷检测方法，其特征在于，纸张边缘处为靠近纸张边缘50个像素以内的区域。

Images