CN106952248B - 自动多模板检测方法 - Google Patents

自动多模板检测方法 Download PDF

Info

Publication number
CN106952248B
CN106952248B CN201710040211.1A CN201710040211A CN106952248B CN 106952248 B CN106952248 B CN 106952248B CN 201710040211 A CN201710040211 A CN 201710040211A CN 106952248 B CN106952248 B CN 106952248B
Authority
CN
China
Prior art keywords
subtemplate
image
template
study
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710040211.1A
Other languages
English (en)
Other versions
CN106952248A (zh
Inventor
王岩松
王郑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focusight Technology Co Ltd
Original Assignee
Focusight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focusight Technology Co Ltd filed Critical Focusight Technology Co Ltd
Priority to CN201710040211.1A priority Critical patent/CN106952248B/zh
Publication of CN106952248A publication Critical patent/CN106952248A/zh
Application granted granted Critical
Publication of CN106952248B publication Critical patent/CN106952248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种自动多模板检测方法，包括以下步骤：1)读取产品图像信息，在多模板区域内创建子模板，并对子模板自动生成子模板序号；2)进行所有多模板区域进行检测和学习；3)将多模板区域内不同子模板组合成不同的款型，并进行款型的学习；4)输出检测结果并结束检测过程。本发明在学习过程中能够自动添加新的子模板和款型；在检测过程中能够针对不同的子模板选择不同子模板的学习图像进行检测，自动识别所对应的款型，既除去了人工挑拣又简化了用户操作的复杂性。

Description

自动多模板检测方法
技术领域
本发明涉及一种表面检测技术，尤其是一种自动多模板检测方法。
背景技术
传统印刷方式一次只能印刷若干数量的、内容相同的印刷品。随着印刷需求不断变化，印刷工艺在不断地发展，可变数据印刷应运而生。可变数据印刷是指在印刷过程中，所印刷的图像或文字可以按预先设定好的内容及格式不断变化(如图1所示，变化的区域称作多模板区域)，因其具有个性化，增长速度非常快，相应地也提高了对印品质量的要求。显而易见，如果运用传统的比对检测方法进行缺陷检测，需将内容不同的印刷品进行归类，然后对不同种类的印刷品再进行学习和检测。这无疑增加了人力，需新的缺陷检测方法代替传统的缺陷检测方法。
目前关于多模板区域缺陷检测的处理过程是这样的：首先人工确定每个多模板区域下子模板的个数以及子模板图像，然后学习得到每个子模板的学习图像，最后进入缺陷检测。若某一印刷品存在多个多模板区域，每个多模板区域下又存在多个子模板，人工需要配置大量的子模板信息。一方面需要操作人员足够的严谨细心，另一方面也影响了工作效率，因此存在一定的局限性。
发明内容
本发明要解决的技术问题是：提出一种自动多模板检测方法，不仅不需要人工配置子模板，而且能够同时自动学习多个多模板区域，自动创建新的子模板，自动进行多模板区域的检测。
本发明所采用的技术方案为：一种自动多模板检测方法，包括以下步骤：
1)读取产品图像信息，在多模板区域内创建子模板，并对子模板自动生成子模板序号；
2)进行所有多模板区域进行检测和学习；
3)将多模板区域内不同子模板组合成不同的款型，并进行款型的学习；
4)输出检测结果并结束检测过程。
进一步的说，本发明所述的步骤1)中，提取多模板区域M*N像素的图像，默认作为该多模板区域的第一个子模板图像。
再进一步的说，本发明所述的步骤2)中，包括匹配子模板；匹配子模板包括以下步骤：A、在待处理图像上获取扩展的多模板区域M1*N1的图像；B、匹配步骤1)中的子模板图像。
再进一步的说，本发明所述的扩展的多模板区域是对多模板区域外扩的区域。
再进一步的说，本发明所述的匹配若成功，则进入子模板比对检测算法学习和比对算法检测过程；匹配若失败，则新增子模板和缺陷报警。
再进一步的说，本发明匹配成功的情况下，截取学习图像的多模板区域M*N 像素的图像，进入子模板比对检测算法的学习，学习结束后，记录当前多模板区域下匹配的子模板序号；匹配失败的情况下，则需添加新的子模板，在学习图像的多模板区域截取M*N像素的图像作为新的子模板图像，生成新的子模板序号，随后进入学习子模板比对检测算法的学习，学习结束后，记录当前多模板区域下新增的子模板序号。
本发明的有益效果是：在学习过程中能够自动添加新的子模板和款型；在检测过程中能够针对不同的子模板选择不同子模板的学习图像进行检测，自动识别所对应的款型，既除去了人工挑拣又简化了用户操作的复杂性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明多模板图像示意图；
图2(a)-(e)是本发明匹配子模板示意图；
图3是本发明印刷品学习过程；
图4是本发明多模板区域学习过程；
图5是本发明印刷品检测过程；
图6是本发明多模板区域检测过程；
图7是本发明建模时默认生成的子模板示意图；
图8是本发明的款型示意图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
1.子模板的概念以及子模板的创建。多模板区域内不同的图像有着不同的图像模板，图像自动归类时需要一个判别标准，将多模板区域下用于归类的图像叫做子模板。建模时，提取多模板区域M*N像素(例如426*340)的图像，默认作为该多模板区域的第一个子模板图像，如图2所示，(a)上的虚线所画范围为多模板区域，(c)是(a)中多模板区域截取的子模板图像，并自动生成子模板序号R1-T1。
2.款型的概念以及款型的配置。款型定义为不同子模板的组合方式。以图1 的印刷品为例，该印刷品上有两个多模板区域，将它们编号为：R1和R2。每个多模板区域下有三个子模板，则对应于多模板区域，每个子模板的编号可以为： R1-T1，R 1-T2，R 1-T3，R 2-T1，R 2-T2，R 2-T3。按照组合关系，该印刷品最多有3*3种款型，如图8所示。若所有的款型都存在，正常情况下如果要学习到所有的款型，学习样品必须包含所有的款型。其实不然，假设已学习完包含所有子模板的三个款型：D1:[R 1-T1，R 2-T1]、D5:[R 1-T2，R 2-T2]和D9:[R 1-T3， R 2-T3]，此时款型记录中有3条记录。但是D2:[R 1-T1，R 2-T2]款型没有参加学习，可以在现有的子模板的基础上添加新的子模板间的组合关系到款型记录中，这样就新增了一个款型，在检测过程中如果出现此款型则不会报错。这种灵活的操作大大节约了时间成本。
3.匹配子模板。无论是对多模板区域进行学习还是检测，匹配子模板是第一步，匹配算法支持灰度匹配、轮廓匹配等。因为待处理图像(待学习图像或待检测图像的统称)与建模时的模板图像的印刷可能存在一定的偏移，为了提高匹配的正确率，匹配子模板时，在待处理图像上需要获取扩展的多模板区域。扩展的多模板区域是对多模板区域外扩一定M1*N1大小(例如456*380)的区域。如图2所示，以灰度匹配为例。(a)是建模时的部分模板图像，(b)是待处理图像的部分图像，(b)的多模板区域的图案相对于(a)向左偏移了14 个像素向下偏移了18个像素。(c)和(d)分别是(a)和(b)的多模板区域内的图像，灰度匹配得到的结果为不匹配。为解决此问题，将(b)中的多模板区域向x两方向各扩展15像素，向y两方向各扩展20像素得到(e)，(e)和 (c)得到匹配的结果。因此，得到这样一个结论，匹配子模板时扩展待处理图像的多模板区域是必要的。设多模板区域R下有n个子模板R＝{T1,T2,…,Tn}，匹配度为Smatch。待处理图像上的扩展多模板区域为E，E与每个子模板的匹配度Si＝match(Ti，E)(i＝1,2,3,…,n)，求最大的匹配度Sm＝max{Si}。若Sm>Smatch，求得m为匹配的子模板序号，否则无匹配的子模板。
4.学习过程如图3-4所示。由图3-4可知，扩展多模板区域图像与子模板图像匹配后会得到两种结果，匹配和不匹配。①匹配的情况下，若匹配的子模板编号为R-Tm，截取学习图像的多模板区域M*N像素的图像，进入子模板R-Tm 比对检测算法的学习，学习结束后，记录当前多模板区域下匹配的子模板序号 R-Tm；②不匹配的情况下，则需添加新的子模板，在学习图像的多模板区域截取M*N像素的图像作为新的子模板图像，生成新的子模板序号R-Tn+1，随后进入学习子模板R-Tn+1比对检测算法的学习，学习结束后，记录当前多模板区域下新增的子模板序号R-Tn+1。按照上述过程学习完图像上所有的多模板区域，会得到多模板区域下子模板间的组合关系。对比款型记录表，若款型记录表中不存在记录下的组合关系，则将此加入到款型记录中。这就是学习的全过程。以图8的产品为例，建模时用的是图8中D1款型的图像，默认得到如图7所示的两个多模板区域下子模板(子模板序号R1-T1、R2-T1和相应的子模板图像) 和款型[R1-T1，R2-T1]。然后开始学习，进来图8中D5款型的图像，其中R1 的扩展多模板区域图像与子模板R1-T1的匹配度小于预先设定的匹配度，故在R1下添加新的子模板图像(截取学习图像的多模板区域图像)以及生产新的子模板序号R1-T2，然后进入子模板图像的比对检测学习，学习结束后，记录该多模板区域下的子模板序号R1-T2；R2处理过程与R1相同，记录该多模板区域下的子模板序号R2-T2。两个多模板区域学习完成，得到[R1-T2，R2-T2]子模板组合，发现款型记录里无此种款型，将其添加到款型记录里，至此款型记录里有两条记录。
5.检测之前，可以对子模板和款型进行编辑。启用或禁用子模板，禁用后的子模板不参与检测过程，若检测的印刷品中出现禁用的子模板图像视缺陷处理。删除或新增款型，若检测的印刷品中出现被删除的款型视缺陷处理。同样地检测之前首先需要匹配子模板，找到匹配的子模板，然后才能运用子模板的学习图像进行比对缺陷检测。若找不到匹配的子模板，则报“无匹配子模板”的缺陷。检测完图像上的每个多模板区域，记录下子模板间的匹配关系，若款型记录中不存在此记录款型，则报“无匹配款型”的缺陷。如图5-6所示。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离本发明的实质和范围。

Claims (3)

1.一种自动多模板检测方法，其特征在于包括以下步骤：
1)读取产品图像信息，在多模板区域内创建子模板，并对子模板自动生成子模板序号；
2)进行所有多模板区域进行检测和学习；检测和学习过程均包括匹配子模板；匹配子模板包括以下步骤：A、在待处理图像上获取扩展的多模板区域M1*N1的图像；B、匹配步骤1)中的子模板图像；
学习过程匹配若成功，则进入子模板比对检测算法学习；匹配若失败，则新增子模板；匹配成功的情况下，截取学习图像的多模板区域M*N像素的图像，进入子模板比对检测算法的学习，学习结束后，记录当前多模板区域下匹配的子模板序号；匹配失败的情况下，则添加新的子模板，在学习图像的多模板区域截取M*N像素的图像作为新的子模板图像，生成新的子模板序号，随后进入学习子模板比对检测算法的学习，学习结束后，记录当前多模板区域下新增的子模板序号；
检测过程匹配若成功，则进入比对算法检测过程；匹配若失败，则缺陷报警；
3)将多模板区域内不同子模板组合成不同的款型，并进行款型的学习；
4)输出检测结果并结束检测过程。
2.如权利要求1所述的自动多模板检测方法，其特征在于：所述的步骤1)中，提取多模板区域M*N像素的图像，默认作为该多模板区域的第一个子模板图像。
3.如权利要求1所述的自动多模板检测方法，其特征在于：所述的扩展的多模板区域是对多模板区域外扩的区域。
CN201710040211.1A 2017-01-20 2017-01-20 自动多模板检测方法 Active CN106952248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710040211.1A CN106952248B (zh) 2017-01-20 2017-01-20 自动多模板检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710040211.1A CN106952248B (zh) 2017-01-20 2017-01-20 自动多模板检测方法

Publications (2)

Publication Number Publication Date
CN106952248A CN106952248A (zh) 2017-07-14
CN106952248B true CN106952248B (zh) 2019-10-29

Family

ID=59466068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710040211.1A Active CN106952248B (zh) 2017-01-20 2017-01-20 自动多模板检测方法

Country Status (1)

Country Link
CN (1) CN106952248B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724988B (zh) * 2019-02-01 2021-05-18 佛山市南海区广工大数控装备协同创新研究院 一种基于多模板匹配的pcb板缺陷定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103812888A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 信息推送、接收、传输方法、服务器、客户端及系统
EP3086239A1 (en) * 2013-12-20 2016-10-26 National Institute of Information and Communications Technology Scenario generation device and computer program therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047158B2 (en) * 2012-08-23 2015-06-02 International Business Machines Corporation Using preprovisioned mutated templates

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103812888A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 信息推送、接收、传输方法、服务器、客户端及系统
EP3086239A1 (en) * 2013-12-20 2016-10-26 National Institute of Information and Communications Technology Scenario generation device and computer program therefor

Also Published As

Publication number Publication date
CN106952248A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
JP5903966B2 (ja) 画像検査装置、画像形成装置及び画像検査装置の制御方法
JP4750047B2 (ja) 位置ずれ検出装置、位置ずれ検出方法、位置ずれ検出プログラムおよび記録媒体
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
JP2019087044A (ja) 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
CN106296636B (zh) 印刷图像的检测方法及检测装置
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN106920219A (zh) 物品缺陷检测方法、图像处理系统与计算机可读记录介质
CN105976354B (zh) 基于颜色和梯度的元件定位方法和系统
CN104143094A (zh) 一种无需答题卡的试卷自动阅卷处理方法及系统
JPWO2020022024A1 (ja) 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN106204590A (zh) 一种基于灰度图像标记处理的纸病检测方法
CN106952248B (zh) 自动多模板检测方法
CN106093055A (zh) 一种单张菲林质量检测方法及复数张菲林质量检测方法
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
CN109063708B (zh) 基于轮廓提取的工业图像特征识别方法及系统
JP2016062575A (ja) 画像欠陥検出装置及び方法並びにプログラム
US11135833B2 (en) Method for verifying a printing plate, specifically a gravure cylinder
CN114782431B (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
JP2004527048A (ja) 記録情報の同定方法
CA2997335C (en) Automatically generating image datasets for use in image recognition and detection
JP7171269B2 (ja) 画像照合システム、画像照合方法、及びプログラム
JP2019215348A (ja) 画像検査ロボット
JPH08138049A (ja) ドット文字検査方法およびその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 213161 Jinhua Road, Wujin Economic Development Zone, Changzhou, Jiangsu 258-6

Applicant after: Zhengtu Xinshi (Jiangsu) Science and Technology Co., Ltd.

Address before: 213161 Jinhua Road, Wujin Economic Development Zone, Changzhou, Jiangsu 258-6

Applicant before: Sign new map (Jiangsu) Technology Co. Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant