CN111709932B - 一种由粗到精的纸病检测方法 - Google Patents

一种由粗到精的纸病检测方法 Download PDF

Info

Publication number
CN111709932B
CN111709932B CN202010551514.1A CN202010551514A CN111709932B CN 111709932 B CN111709932 B CN 111709932B CN 202010551514 A CN202010551514 A CN 202010551514A CN 111709932 B CN111709932 B CN 111709932B
Authority
CN
China
Prior art keywords
paper
domain
image
classification
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010551514.1A
Other languages
English (en)
Other versions
CN111709932A (zh
Inventor
余孟春
谢清禄
毛新宇
王显飞
崔峰科
张志丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Melux Information Technology Co ltd
Original Assignee
Guangzhou Melux Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Melux Information Technology Co ltd filed Critical Guangzhou Melux Information Technology Co ltd
Priority to CN202010551514.1A priority Critical patent/CN111709932B/zh
Publication of CN111709932A publication Critical patent/CN111709932A/zh
Application granted granted Critical
Publication of CN111709932B publication Critical patent/CN111709932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及图像处理及纸病检测技术领域，特别地涉及一种由粗到精的纸病检测方法，主要包括三个模块和流程，纸病筛查模块、协调控制模块和纸病分类分级模块；第一、纸病筛查模块运行在基于FPGA的嵌入式系统中，以便保证能实时处理高速高分辨率纸张图像，对采样的纸张图像进行初步处理后，筛选出可能存在缺陷的图像，纸病筛查后正常的图像将直接丢弃，有疑似纸病的图像则向下一步传输；第二、协调控制模块主要完成纸病筛查模块和纸病分类分级模块之间的功能调用和反馈控制等功能；第三、纸病分类分级模块采用卷积网络来搭建分类分级网络，分类网络将完成对纸病进行分类的功能，分级网络将完成对纸病严重程度进行分级的功能。

Description

一种由粗到精的纸病检测方法
技术领域
本发明涉及图像处理及纸病检测技术领域，特别地涉及一种由粗到精的纸病检测方法。
背景技术
造纸过程中由于原材料、刀具、流水线各环节以及生产环境等一系列因素的影响会出现各种各样的纸病，如：孔洞、皱褶、刮痕、脏污等，这些纸病的存在降低了纸品的品质。早期工厂采用传统的人工检查的方式来进行品质管理，但人工检查的方式抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，且工作重复、现场嘈杂，检查人员容易疲劳导致检查的效果很不理想。由于对检测的精度要求越来越高，同时造纸生产线的纸机生产速度越来越快，纸张的幅度越来越宽，导致人工检测已基本不可行。
大型造纸企业的机械化和自动信息化生产水平在日益提高，为了解决这个问题，大部分造纸企业引入了纸病检测系统(WIS系统)，通过拍摄纸幅的实时图像并进行一系列的图像处理操作，如亮度阈值检测、形态学处理、灰度级统计等，从而检测出纸幅上的纸病并进行标注及后续分析。
具体来说，为了适应宽纸幅，WIS系统一般采用多相机并等距排布。为了能实时快速处理采集到的高速高分辨率的图像数据，WIS系统对每个相机都配备一台工控机或一个基于FPGA的嵌入式系统来实时检测和分类纸病，并将检测分类结果上报到服务器进行汇总。这种方法达到了实时检测纸病的要求，部分满足了应用的需求，但其纸病分类不够精细，同一类别下不能区分纸病严重等级，不利于对纸病进行细致的分类分级，根据这些粗略的检测分类结果，也不利于对纸病进行精细分析进而改进生产工艺，以便更好的提高纸品质量。此外，上述方法还存在对不同纸张类型的适应性不强，对环境光变化的适应度不高以及维护不便等问题。
针对上述问题，本发明提出一种由粗到精的纸病检测方法，在满足实时性需求的同时，对纸病进行更精细的分类分级处理，并依据分类分级模型的高适应性、高准确率和高可靠性的特点，不断的对检测过程进行反馈和调整，从而动态性的适应纸张和环境的变化。
发明内容
为实现上述目的，本发明提供的一种由粗到精的纸病检测方法，具体包括以下的实施步骤：
S1、纸病筛查模块工作流程：
S1-1、对采样的纸张图像进行滤波处理，去掉图像中的高斯噪声；
S1-2、分别按照外部域和中间域的亮度阈值设定对输入的纸张图像进行二值化，位于亮度阈值范围内的设置为1，位于亮度阈值范围外的设置为0；
S1-3、采用水平和垂直投影的方式快速找出外部域和中间域内疑似纸病的候选外接矩形列表，具体为先在水平方向进行投影，找出水平方向非零的独立区间列表，再将每个水平独立区间进行垂直方向的投影，找出对应垂直方向的独立区间列表，从而将水平独立区间在垂直方向上进行进一步分割；
S1-4、基于每个候选矩形在原图上进行亮度直方图统计，将统计信息附加到外接矩形信息上；
S1-5、将外部域的外接矩形列表与中间域的外接矩形列表进行重复抑制操作，如果外部域中的某个外接矩形与中间域中的某个矩形的交集和并集比值大于一定阈值则表明两个矩形重复了，则删除中间域中的对应矩形信息；
S1-6、判断中间域的外接矩形列表是否为空，若为空则直接转到S1-9，不为空则进行下一步；
S1-7、针对中间域每个外接矩形对应的图像范围，采用Sobel算法重新进行边缘检测，将处理后的图像进行梯度直方图统计，同时根据边缘梯度阈值进行图像二值化；
S1-8、在经Sobel算法处理后的图像上获取候选外接矩形列表；
S1-9、根据外部域候选矩形列表以及Sobel处理后的候选外接矩形列表在对应的图像上截取纸病区域并打包相关信息后上报至协调控制模块，再从缓存区中删除相应图像；
S2、协调控制模块工作流程：
S2-1、从上报的信息中提取疑似纸病数据，并将疑似纸病图像发送到纸病分类分级模块进行检测；
S2-2、记录纸病分类分级模块给出的分类结果，统计一段时间内来自两个不同亮度区域的分类结果；
S2-3、调整纸病筛查模块中的外部域边界阈值、Sobel功能开启状态、内部域边界阈值、Sobel检测梯度阈值，具体包括：
(1)调整外部域边界Th_outter：判断来自外部域的正常纸张图像占比值是否大于上限阈值To_1，如果大于则表明当前通过外部域输入了过多的正常纸张图像，需要调大外部域边界；判断外部域中正常纸张图像占比是否小于下限阈值To_0，如果小于则需要适当调小外部域边界；
(2)调整Sobel功能开启状态：判断中间域中正常纸张图像的直方图统计分布与纸病图像直方图统计分布的区别，如果能够用相对明确的界限进行区分则关闭Sobel过滤功能，如果不能则开启Sobel过滤功能；
(3)调整内部域边界Th_inner：Sobel功能关闭情况下，判断来自中间域的正常纸张图像占比值是否大于上限阈值Tm_1，如果大于则表明当前通过中间域输入了过多的正常纸张图像，需要调大内部域的边界阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Tm_0，如果小于则需要适当调小内部域的边界阈值；
(4)调整Sobel梯度阈值：Sobel功能开启情况下，判断中间域正常纸张图像的比例，如果占比大于上限阈值Ts_1，如果大于则表明当前通过Sobel边缘检测输入了过多的正常纸张图像，需要调大Sobel梯度阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Ts_0，如果小于则需要适当调小Sobel梯度阈值；
S2-4、反馈调节，将接收协调控制部分的指令，对纸病筛查模块中的相应部分和阈值进行调节控制；
S3、纸病分类分级模块采用卷积网络来搭建分类分级网络，分类网络将完成对纸病进行分类的功能，分级网络将完成对纸病严重程度进行分级的功能。
进一步地，分类和分级网络可以分别搭建和训练，为了加快运行处理时间同时提高系统资源利用率，本实施例中将分类网络和分级网络的特征提取部分进行了共享，并采用多目标的方式进行联合训练。
附图说明
图1是本发明纸病检测系统架构示意图；
图2是本发明系统部署架构示意图；
图3是本发明纸病分类分级模块网络架构示意图。
具体实施方式
为了使本发明的目的及技术方案更加清晰，以下结合附图，对本发明技术方案作进一步清楚、完整地描述。应当理解，此处所描述的具体技术实施例仅仅用以解释本发明的技术方案，本领域技术人员在没有作出创造性劳动前提下所获得的其他实施例，应属于本发明的保护范围。
参照图1所示是纸病检测系统架构示意图，本发明提供的一种由粗到精的纸病检测方法，具体包括以下的实施步骤：
步骤S1、纸病筛查模块工作流程：
S1-1、对采样的纸张图像进行滤波处理，去掉图像中的高斯噪声；
S1-2、分别按照外部域和中间域的亮度阈值设定对输入的纸张图像进行二值化，位于亮度阈值范围内的设置为1，位于亮度阈值范围外的设置为0；
S1-3、采用水平和垂直投影的方式快速找出外部域和中间域内疑似纸病的候选外接矩形列表，具体为先在水平方向进行投影，找出水平方向非零的独立区间列表，再将每个水平独立区间进行垂直方向的投影，找出对应垂直方向的独立区间列表，从而将水平独立区间在垂直方向上进行进一步分割；
S1-4、基于每个候选矩形在原图上进行亮度直方图统计，将统计信息附加到外接矩形信息上；
S1-5、将外部域的外接矩形列表与中间域的外接矩形列表进行重复抑制操作，如果外部域中的某个外接矩形与中间域中的某个矩形的交集和并集比值大于一定阈值则表明两个矩形重复了，则删除中间域中的对应矩形信息；
S1-6、判断中间域的外接矩形列表是否为空，若为空则直接转到S1-9，不为空则进行下一步；
S1-7、针对中间域每个外接矩形对应的图像范围，采用Sobel算法重新进行边缘检测，将处理后的图像进行梯度直方图统计，同时根据边缘梯度阈值进行图像二值化；
S1-8、在经Sobel算法处理后的图像上获取候选外接矩形列表；
S1-9、根据外部域候选矩形列表以及Sobel处理后的候选外接矩形列表在对应的图像上截取纸病区域并打包相关信息后上报至协调控制模块，再从缓存区中删除相应图像。
本模块对采样的纸张图像进行初步处理，筛选出可能存在缺陷的图像，纸病筛查后正常的图像将直接丢弃，有疑似纸病的图像则传输出来。
由于纸张的品种、纸张均匀度、LED光照效果、环境光等多因素的影响，纸张亮度的均值和方差是变化的。如果纸张均匀度好，亮度方差小，则比较方便设置一个亮度区间使得绝大部分正常纸张的亮度都位于该亮度区间内且绝大部分纸病的亮度都位于该亮度区间外，这样就能够较好的检测出疑似纸病，且不会输出大量正常纸张图像导致网络拥塞和后端服务器过载；如果纸张均匀度不够好，亮度方差大，则部分正常纸张和部分纸病的亮度差异会较小，亮度区间较难设置，亮度区间设置小了会导致输出过多的正常图像从而容易导致网络拥塞和后端过载，亮度区间设置大了会导致部分纸病检测不到。
优选的，针对亮度阈值设置的两难问题，在本实施例中将亮度区间划分为3个区域，分别为内部域、外部域、中间域，具体定义见以下公式：
|Lp-μ|≤Th_inner    公式一
|Lp-μ|≥Th_outter    公式二
Th_inner≤|Lp-μ|≤Th_outter  公式三
其中，μ为一段时间内的亮度均值，Lp为纸张图像内p点处的亮度值，Th_inner为内部域亮度阈值，Th_outter为外部域亮度阈值，且Th_outter＞Th_inner。
公式一设定的区域为内部域，该亮度域内的图像期望都为正常图像；公式二设定的区域为外部域，该亮度域内的图像期望都为纸病图像如孔洞和脏污等纸病；公式三设定的区域为中间域，中间域为除去内部域和外部域后的亮度区域，其图像包括正常图像和纸病图像，如皱褶等纸病，这些图像的亮度差异不大，单一采用亮度难以区分，因而将提取图像内亮度值的梯度变化信息进行边缘检测从而做进一步的筛查。
步骤S2、协调控制模块工作流程：
S2-1、从上报的信息中提取疑似纸病数据，并将疑似纸病图像发送到纸病分类分级模块进行检测；
S2-2、记录纸病分类分级模块给出的分类结果，统计一段时间内来自两个不同亮度区域的分类结果；
S2-3、调整纸病筛查模块中的外部域边界阈值、Sobel功能开启状态、内部域边界阈值、Sobel检测梯度阈值，具体包括：
(1)调整外部域边界Th_outter：判断来自外部域的正常纸张图像占比值是否大于上限阈值To_1，如果大于则表明当前通过外部域输入了过多的正常纸张图像，需要调大外部域边界；判断外部域中正常纸张图像占比是否小于下限阈值To_0，如果小于则需要适当调小外部域边界；
(2)调整Sobel功能开启状态：判断中间域中正常纸张图像的直方图统计分布与纸病图像直方图统计分布的区别，如果能够用相对明确的界限进行区分则关闭Sobel过滤功能，如果不能则开启Sobel过滤功能；
(3)调整内部域边界Th_inner：Sobel功能关闭情况下，判断来自中间域的正常纸张图像占比值是否大于上限阈值Tm_1，如果大于则表明当前通过中间域输入了过多的正常纸张图像，需要调大内部域的边界阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Tm_0，如果小于则需要适当调小内部域的边界阈值；
(4)调整Sobel梯度阈值：Sobel功能开启情况下，判断中间域正常纸张图像的比例，如果占比大于上限阈值Ts_1，如果大于则表明当前通过Sobel边缘检测输入了过多的正常纸张图像，需要调大Sobel梯度阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Ts_0，如果小于则需要适当调小Sobel梯度阈值；
S2-4、反馈调节，将接收协调控制部分的指令，对纸病筛查模块中的相应部分和阈值进行调节控制。
协调控制模块主要完成纸病筛查模块和纸病分类分级模块之间的功能调用和反馈控制等功能，反馈控制主要是根据一段时间内分类分级模块判定的结果来调整纸病筛查模块中的内部域亮度阈值、外部域亮度阈值和Sobel梯度阈值等，以及控制Sobel边缘检测功能是否开启等。如果判定为正常纸张的比例过高则表明输入了太多的正常纸张图像；如果比例太低则表明有可能遗漏了部分纸病没有检测到，结合上报的纸病其他信息就可对纸病筛查模块中的Sobel功能是否开启以及各个相关阈值进行调整。
参照图2系统部署架构示意图所示，协调控制模块分成两个部分：协调控制和反馈调节，协调控制部分位于后端服务系统，反馈调节部分位于基于FPGA的嵌入式系统中。
步骤S3、纸病分类分级模块采用卷积网络来搭建分类分级网络，分类网络将完成对纸病进行分类的功能，分级网络将完成对纸病严重程度进行分级的功能。
优选的，参照图3所示为本发明纸病分类分级模块网络架构示意图，分类和分级网络可以分别搭建和训练，为了加快运行处理时间同时提高系统资源利用率，本实施例中将分类网络和分级网络的特征提取部分进行了共享，并采用多目标的方式进行联合训练。
具体的，步骤S3中所述的卷积网络包括基本的纸病特征提取部分以及分类网络和分级网络两个分支部分，其中，Cnn layer for cls为单独用于纸病分类的卷积层，Cnnlayer for level为单独用于纸病分级的卷积层，为适应不同大小的纸病图像输入，设置两个Globe pool分别将分类和分级层输出的各个特征平面浓缩为1*1的大小，再分别经过一个Conv 1*1的卷积融合各通道内的信息后输出M+1类纸病信息，分类中除了包括各种纸病类别还包含一类正常纸张类别，分类信息经过Conv 1*1之后直接进行Softmax运算处理，输出概率最高的类别，分级信息经过Conv 1*1之后直接得到了各纸病类别所对应的纸病严重等级得分。
本发明技术方案在进行纸病检测前需要通过系统训练，训练过程包括如下步骤：
1、拍摄采样纸病图像，尽可能多的保存样本图像；
2、对纸病图像进行筛选和标注：由于采集到的图像数量较大，纯人工筛选纸病图像的效率较低，在此可采用纸病筛查模块类似的处理步骤按外部域和中间域先筛选出较多的存在疑似纸病的图像，再针对该类图像进行标注；
3、对纸病图像数量进行平衡处理并训练：基于纸病图像和标注信息按类别提取训练样本，并设法补足训练样本数量较少的类别；
4、训练采用多目标同时训练，即同时训练分类和分级两个目标：
4-1、分类部分采用交叉熵作为损失函数，公式如下：
Figure BSA0000211672120000071
其中，Lcls为分类损失函数，N表示一个训练批次的总数量，i表示该训练批次中的图像序号，M为纸病分类类别数，c为类别号，c＝0表示为正常图像类别；yic为指示变量，如果该类别和样本i的类别相同即为1，否则为0；pic为对于样本i属于类别c的预测概率，该概率由Softmax计算获得；
4-2、分级部分采用最小均方误差作为损失函数，公式如下：
Figure BSA0000211672120000072
其中，Llevel为分级损失函数，N表示一个训练批次的总数量，i表示该训练批次中的图像序号，M为纸病分类类别数，c为类别号；yic为指示变量，如果该类别和样本i的类别相同则为1，否则为0；
Figure BSA0000211672120000073
为该样本类别c对应的预测等级值，yicl为该样本类别c对应的等级标签值；
4-3、联合两个目标进行训练时的Loss函数，公式如下：
Loss＝Lcls+λLlevel
其中，λ为平衡系数。
5、采用上述标注的图像并利用上述Loss函数即可进行纸病分类分级模型的训练。
本领域技术人员在知悉本发明技术方案说明书及实施例后，容易想到本公开的其他实施方案。应当理解本公开并不局限与上述描述及公开的实施例，在不脱离本公开的范围内进行的各种修改和改变，应包含在本公开要求保护的范围内。

Claims (3)

1.一种由粗到精的纸病检测方法，其特征在于，包括以下的实施步骤：
S1、纸病筛查模块工作流程：
S1-1、对采样的纸张图像进行滤波处理，去掉图像中的高斯噪声；
S1-2、分别按照外部域和中间域的亮度阈值设定对输入的纸张图像进行二值化，位于亮度阈值范围内的设置为1，位于亮度阈值范围外的设置为0；
S1-3、采用水平和垂直投影的方式快速找出外部域和中间域内疑似纸病的候选外接矩形列表，具体为先在水平方向进行投影，找出水平方向非零的独立区间列表，再将每个水平独立区间进行垂直方向的投影，找出对应垂直方向的独立区间列表，从而将水平独立区间在垂直方向上进行进一步分割；
S1-4、基于每个候选矩形在原图上进行亮度直方图统计，将统计信息附加到外接矩形信息上；
S1-5、将外部域的外接矩形列表与中间域的外接矩形列表进行重复抑制操作，如果外部域中的某个外接矩形与中间域中的某个外接矩形的交集和并集比值大于一定阈值则表明两个外接矩形重复了，则删除中间域中的对应外接矩形信息；
S1-6、判断中间域的外接矩形列表是否为空，若为空则直接转到S1-9，不为空则进行下一步；
S1-7、针对中间域每个外接矩形对应的图像范围，采用Sobel算法重新进行边缘检测，将处理后的图像进行梯度直方图统计，同时根据边缘梯度阈值进行图像二值化；
S1-8、在经Sobel算法处理后的图像上获取候选外接矩形列表；
S1-9、根据外部域候选矩形列表以及Sobel处理后的候选外接矩形列表在对应的图像上截取纸病区域并打包相关信息后上报至协调控制模块，再从缓存区中删除相应图像；
S2、协调控制模块工作流程：
S2-1、从上报的信息中提取疑似纸病数据，并将疑似纸病图像发送到纸病分类分级模块进行检测；
S2-2、记录纸病分类分级模块给出的分类结果，统计一段时间内来自两个不同亮度区域的分类结果；
S2-3、调整纸病筛查模块中的外部域边界阈值、Sobel功能开启状态、内部域边界阈值、Sobel检测梯度阈值，具体包括：
(1)调整外部域边界Th_outter：判断来自外部域的正常纸张图像占比值是否大于上限阈值To_1，如果大于则表明当前通过外部域输入了过多的正常纸张图像，需要调大外部域边界；判断外部域中正常纸张图像占比是否小于下限阈值To_0，如果小于则需要适当调小外部域边界；
(2)调整Sobel功能开启状态：判断中间域中正常纸张图像的直方图统计分布与纸病图像直方图统计分布的区别，如果能够用明确的界限进行区分则关闭Sobel过滤功能，如果不能则开启Sobel过滤功能；
(3)调整内部域边界Th_inner：Sobel功能关闭情况下，判断来自中间域的正常纸张图像占比值是否大于上限阈值Tm_1，如果大于则表明当前通过中间域输入了过多的正常纸张图像，需要调大内部域的边界阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Tm_0，如果小于则需要适当调小内部域的边界阈值；
(4)调整Sobel梯度阈值：Sobel功能开启情况下，判断中间域正常纸张图像的比例，如果占比大于上限阈值Ts_1，则表明当前通过Sobel边缘检测输入了过多的正常纸张图像，需要调大Sobel梯度阈值；判断来自中间域的正常纸张图像占比是否小于下限阈值Ts_0，如果小于则需要适当调小Sobel梯度阈值；
S2-4、反馈调节，将接收协调控制部分的指令，对纸病筛查模块中的相应部分和阈值进行调节控制；
S3、纸病分类分级模块采用卷积网络来搭建分类分级网络，分类网络将完成对纸病进行分类的功能，分级网络将完成对纸病严重程度进行分级的功能。
2.根据权利要求1所述的一种由粗到精的纸病检测方法，其特征在于，步骤S1-2中所述的亮度阈值，针对亮度阈值设置，将亮度区间划分为3个区域，分别为内部域、外部域、中间域，具体定义见以下公式：
|Lp-μ|＜Th_inner  公式一
|Lp-μ|＞Th_outter  公式二
Th_inner≤|Lp-μ|≤Th_outter  公式三
其中，μ为一段时间内的亮度均值，Lp为纸张图像内p点处的亮度值，Th_inner为内部域亮度阈值，Th_outter为外部域亮度阈值，且Th_outter＞Th_inner，公式一设定的区域为内部域，该内部域内的图像期望都为正常图像；公式二设定的区域为外部域，该外部域内的图像期望都为纸病图像；公式三设定的区域为中间域，中间域为除去内部域和外部域后的亮度区域，其图像包括正常图像和纸病图像，这些图像的亮度差异不大，单一采用亮度难以区分，所以提取图像内亮度值的梯度变化信息进行边缘检测，以做进一步的筛查。
3.根据权利要求1所述的一种由粗到精的纸病检测方法，其特征在于，步骤S3中所述的卷积网络包括基本的纸病特征提取部分以及分类网络和分级网络两个分支部分，其中，Cnnlayer for cls为单独用于纸病分类的卷积层，Cnn layer for level为单独用于纸病分级的卷积层，为适应不同大小的纸病图像输入，设置两个Globe pool分别将分类和分级层输出的各个特征平面浓缩为1*1的大小，再分别经过一个Conv 1*1的卷积融合各通道内的信息后输出M+1类纸病信息，分类中除了包括各种纸病类别还包含一类正常纸张类别，分类信息经过Conv 1*1之后直接进行Softmax运算处理，输出概率最高的类别，分级信息经过Conv1*1之后直接得到了各纸病类别所对应的纸病严重等级得分。
CN202010551514.1A 2020-06-17 2020-06-17 一种由粗到精的纸病检测方法 Active CN111709932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010551514.1A CN111709932B (zh) 2020-06-17 2020-06-17 一种由粗到精的纸病检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010551514.1A CN111709932B (zh) 2020-06-17 2020-06-17 一种由粗到精的纸病检测方法

Publications (2)

Publication Number Publication Date
CN111709932A CN111709932A (zh) 2020-09-25
CN111709932B true CN111709932B (zh) 2023-04-07

Family

ID=72540672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551514.1A Active CN111709932B (zh) 2020-06-17 2020-06-17 一种由粗到精的纸病检测方法

Country Status (1)

Country Link
CN (1) CN111709932B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561252A (zh) * 2022-10-28 2023-01-03 四川轻化工大学 一种高速超宽幅纸病智能检测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
JP2019141478A (ja) * 2018-02-23 2019-08-29 株式会社日立製作所 画像処理装置、方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3276554B2 (ja) * 1996-03-21 2002-04-22 沖電気工業株式会社 フォーマット認識装置及び文字読取り装置
JP2010277252A (ja) * 2009-05-27 2010-12-09 Toshiba Corp 紙葉類判別装置
CN103913460A (zh) * 2013-01-04 2014-07-09 北京兆维电子(集团)有限责任公司 一种在线纸病检测系统
CN106192578B (zh) * 2016-07-13 2018-01-30 潍坊恒联特种纸有限公司 一种皮革离型原纸及其制备工艺
CN107423735B (zh) * 2017-04-07 2020-11-06 西华师范大学 一种利用水平梯度和饱和度的车牌定位方法
CN108037138A (zh) * 2017-12-23 2018-05-15 陕西科技大学 一种用于检测纸张双面缺陷的纸病检测系统及检测方法
US10535006B2 (en) * 2018-01-23 2020-01-14 Here Global B.V. Method, apparatus, and system for providing a redundant feature detection engine
CN108416348A (zh) * 2018-01-29 2018-08-17 重庆邮电大学 基于支持向量机和卷积神经网络的车牌定位识别方法
JP7271873B2 (ja) * 2018-08-20 2023-05-12 コニカミノルタ株式会社 検査装置、画像形成装置及び検査方法
CN110880168A (zh) * 2019-10-08 2020-03-13 西安医学院 一种基于机器视觉的纸病识别分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
JP2019141478A (ja) * 2018-02-23 2019-08-29 株式会社日立製作所 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
CN111709932A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
TWI603074B (zh) 光學薄膜缺陷辨識方法及其系統
US7720275B2 (en) Method and apparatus for detecting pattern defects
JP4169573B2 (ja) パターン検査方法及び検査装置
CN109115785A (zh) 一种铸件打磨质量检测方法、装置及其使用方法
CN113646801A (zh) 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
CN112474387B (zh) 一种原粮不完善粒的图像识别和自动分拣装置
CN110261391A (zh) 一种led芯片外观检测系统及方法
CN102608130A (zh) 基于图像特征匹配技术的智能卡污渍检测系统及检测方法
CN111709932B (zh) 一种由粗到精的纸病检测方法
Chen et al. Real-time grain breakage sensing for rice combine harvesters using machine vision technology
CN104048966B (zh) 一种基于大律法的布面疵点检测及分类方法
CN111260617A (zh) 一种基于深度学习的太阳能电池板缺陷检测方法
CN202351182U (zh) 一种马口铁表面缺陷在线高速检测系统
CN114359155A (zh) 一种覆膜方法及系统
CN114663393A (zh) 一种基于卷积神经网络的光伏组件间距不良缺陷检测方法
Pandit et al. Vision system for automatic counting of silkworm eggs
Alekhin et al. Optical-electronic system for express analysis of mineral raw materials dressability by color sorting method
CN107992799A (zh) 面向烟雾检测应用的预处理方法
CN115330768B (zh) 一种太阳能电池板质量分级方法
CN107833222A (zh) 一种非金属零件多余物检测装置及方法
CN114863277A (zh) 一种基于机器视觉的不规则颗粒群超限颗粒快速检测方法
CN113850791A (zh) 一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法
CN110728664A (zh) 一种基于计算机视觉的水果分类系统
CN110575972B (zh) 一种实时自动调整灵敏度的物料色选方法及控制系统
CN111182698B (zh) 一种自动调整物料照明亮度的控制方法及控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510670 17 / F, building 3, Yunsheng Science Park, No. 11, puyuzhong Road, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU MELUX INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 510670 5th floor, building 5, No.8, science Avenue, Science City, Guangzhou high tech Industrial Development Zone, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU MELUX INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20231120

Granted publication date: 20230407

PD01 Discharge of preservation of patent
PD01 Discharge of preservation of patent

Date of cancellation: 20231219

Granted publication date: 20230407