CN109493311B - 一种无规则缺陷图片模式识别与匹配方法及系统 - Google Patents
一种无规则缺陷图片模式识别与匹配方法及系统 Download PDFInfo
- Publication number
- CN109493311B CN109493311B CN201710807597.4A CN201710807597A CN109493311B CN 109493311 B CN109493311 B CN 109493311B CN 201710807597 A CN201710807597 A CN 201710807597A CN 109493311 B CN109493311 B CN 109493311B
- Authority
- CN
- China
- Prior art keywords
- matching
- defect
- defect distribution
- image
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种无规则缺陷图片模式识别与匹配方法及系统,包括:实时获取钢铁表面缺陷图像并选取缺陷分布;识别与匹配所述缺陷分布选取步骤得到的缺陷分布;显示匹配结果并进行关联分析。本发明可以提高缺陷分布特征的识别和分析能力,并可为缺陷图像进一步的分析、挖掘打好基础,适应企业提高产品质量和智能化的需要。且本发明可以推广到其他涉及到图像处理的领域,应用前景广泛。
Description
技术领域
本发明涉及图像识别及匹配技术,具体地,涉及一种钢铁表面无规则缺陷图片模式识别与匹配方法及系统。
背景技术
钢铁在生产过程中会因为各种原因导致钢铁表面缺陷,这些缺陷可能会直接影响最终产品的性能和质量。因此,近年来相关行业用户对钢铁表面质量的要求越来越严格,钢铁的表面质量已经成为钢铁行业竞争的关键性指标。
现有的钢铁表面缺陷检测大多数采用人工目视检测的方法,很难保证检测系统实时性和准确性的要求。近年来随着机器视觉技术的迅速发展,基于机器视觉的表面缺陷检测系统开始取代人工视觉完成一些工作。基于机器视觉的表面缺陷检测系统有着非接触和快速的优点,适用于高速、大批量、连续自动化生产,在实际应用中取得了较好的效果。
但是,目前的钢铁表面缺陷检测还存在以下不足:对表面缺陷的检测均局限于钢铁表面缺陷检测和分类;对缺陷分布特征的分析局限于分布区域的识别,例如图1所示;对缺陷全流程追踪识别不足,不利于缺陷成因的分析;缺陷特征库和模板库均建立在单缺陷基础上,对有特定分布的多缺陷分析不足等。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种无规则缺陷图片模式识别与匹配方法及系统。
根据本发明提供的一种无规则缺陷图片模式识别与匹配方法,包括:
缺陷分布选取步骤:实时获取钢铁表面缺陷图像并选取缺陷分布;
识别匹配步骤:识别与匹配所述缺陷分布选取步骤得到的缺陷分布;
显示分析步骤:显示匹配结果并进行关联分析。
优选的,所述缺陷分布选取步骤包括:
表面缺陷图像获取子步骤:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
缺陷分布选取子步骤:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子步骤:将选取的缺陷分布存储至图片形态库。
优选的,所述识别匹配步骤包括:
识别匹配定义子步骤:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
识别匹配执行子步骤:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据。
优选的,所述匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度。
优选的,所述显示分析步骤包括:
匹配结果显示子步骤:将所述识别匹配步骤中结果按照相似度降序排列,显示相似图像并标注匹配区域;
匹配结果分析子步骤:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
本发明还提供一种无规则缺陷图片模式识别与匹配系统,包括:
缺陷分布选取模块:实时获取钢铁表面缺陷图像并选取缺陷分布;
识别匹配模块:识别与匹配所述缺陷分布选取模块得到的缺陷分布;
显示分析模块:显示匹配结果并进行关联分析。
优选的,所述缺陷分布选取模块包括:
表面缺陷图像获取子模块:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
缺陷分布选取子模块:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子模块:将选取的缺陷分布存储至图片形态库。
优选的,所述识别匹配模块包括:
识别匹配定义子模块:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
识别匹配执行子模块:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据。
优选的,所述匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度。
优选的,所述显示分析模块包括:
匹配结果显示子模块:将所述识别匹配模块中结果按照相似度降序排列,显示相似图像并标注匹配区域;
匹配结果分析子模块:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
与现有技术相比,本发明具有如下的有益效果:
本发明可以提高缺陷分布特征的识别和分析能力,并可为缺陷图像进一步的分析、挖掘打好基础,适应企业提高产品质量和智能化的需要。且本发明可以推广到其他涉及到图像处理的领域,应用前景广泛。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为传统钢铁表面缺陷检测所得到的示意图;
图2为本发明缺陷分布选取的示意图;
图3为本发明根据选取的缺陷分布匹配得到的匹配结果示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供的一种无规则缺陷图片模式识别与匹配方法,包括:
步骤1:实时获取钢铁表面缺陷图像并选取缺陷分布;
步骤2:识别与匹配所述缺陷分布选取步骤得到的缺陷分布;
步骤3:显示匹配结果并进行关联分析。
步骤1包括:
步骤1.1:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
步骤1.2:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子步骤:将选取的缺陷分布存储至图片形态库。
步骤2:包括:
步骤2.1:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
步骤2.2:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据。
匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度。
步骤3包括:
步骤3.1:将所述识别匹配步骤中结果按照相似度降序排列,显示相似图像并标注匹配区域;
步骤3.2:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
基于上述无规则缺陷图片模式识别与匹配方法,本发明还提供一种无规则缺陷图片模式识别与匹配系统,包括:
缺陷分布选取模块:实时获取钢铁表面缺陷图像并选取缺陷分布;
识别匹配模块:识别与匹配所述缺陷分布选取模块得到的缺陷分布;
显示分析模块:显示匹配结果并进行关联分析。
所述缺陷分布选取模块包括:
表面缺陷图像获取子模块:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
缺陷分布选取子模块:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子模块:将选取的缺陷分布存储至图片形态库。
所述识别匹配模块包括:
识别匹配定义子模块:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
识别匹配执行子模块:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据。所述匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度。
所述显示分析模块包括:
匹配结果显示子模块:将所述识别匹配模块中结果按照相似度降序排列,显示相似图像并标注匹配区域;
匹配结果分析子模块:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
以厚板表面缺陷图像为例,本发明具体实现过程如下:
1、在服务器部署无规则缺陷图片模式识别与匹配功能并确保可以连接到厚板表面缺陷图像数据库,在浏览器端展示;
2、在选择时间范围和机组后,选取所需分析图片,并通过鼠标左键选取需分析缺陷分布特征,如图2所示;
3、根据使用场景及需求,设定匹配相似度阈值及匹配工序、机组和时间范围,调用模式识别与匹配,返回匹配结果列表,包括相似区域图像名称、相似度、匹配区域边界坐标和中心坐标,如表1所示,默认显示相似度最高前3的结果,图3为其中之一;
表1、匹配结果列表
4、用户选取查看匹配结果区域后,对相同位置按上下工序进行对比,可追踪可能产生缺陷的工序定位;存储用户操作过程至特定图片形态库,为进一步分析做准备。
通过采用上述技术方案,本发明:
1)以图像的方式选取缺陷分布特征进行分析,大大提高了对缺陷分布特征识别、分析的效率;
2)对缺陷部位进行全流程追踪,对相似缺陷部位关联其他数据进行对比,可追踪可能产生缺陷的工序定位,提高了缺陷成因分析的效率,为提高钢铁表面质量提供了有力的支撑;
3)收集、建立特定缺陷图片形态库,方便知识的传承和分享。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (2)
1.一种无规则缺陷图片模式识别与匹配方法,其特征在于,包括:
缺陷分布选取步骤:实时获取钢铁表面缺陷图像并选取缺陷分布;
识别匹配步骤:识别与匹配所述缺陷分布选取步骤得到的缺陷分布;
显示分析步骤:显示匹配结果并进行关联分析;
所述缺陷分布选取步骤包括:
表面缺陷图像获取子步骤:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
缺陷分布选取子步骤:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子步骤:将选取的缺陷分布存储至图片形态库;
所述识别匹配步骤包括:
识别匹配定义子步骤:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
识别匹配执行子步骤:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据;
所述匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度;
所述显示分析步骤包括:
匹配结果显示子步骤:将所述识别匹配步骤中结果按照相似度降序排列,显示相似图像并标注匹配区域;
匹配结果分析子步骤:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
2.一种无规则缺陷图片模式识别与匹配系统,其特征在于,包括:
缺陷分布选取模块:实时获取钢铁表面缺陷图像并选取缺陷分布;
识别匹配模块:识别与匹配所述缺陷分布选取模块得到的缺陷分布;
显示分析模块:显示匹配结果并进行关联分析;
所述缺陷分布选取模块包括:
表面缺陷图像获取子模块:根据选取工序、机组和时间范围,返回表面缺陷图像列表,实时获取表面缺陷图像或获取数据绘制表面缺陷图像;
缺陷分布选取子模块:实时响应选取缺陷分布的鼠标选取操作,获取选取的缺陷分布的部位并绘图显示;
存储子模块:将选取的缺陷分布存储至图片形态库;
所述识别匹配模块包括:
识别匹配定义子模块:根据使用场景及需求,确定匹配的范围和阈值,定义模式识别匹配规则;
识别匹配执行子模块:根据选取的缺陷分布及确定的模式识别匹配规则,调用识别与匹配功能进行匹配,返回匹配结果列表,并读取对应的图像数据;
所述匹配的范围包括工序、机组和时间范围;所述阈值包括相似度;所述匹配结果列表包括图像编号、对应相似区域坐标及相似度;
所述显示分析模块包括:
匹配结果显示子模块:将所述识别匹配模块中结果按照相似度降序排列,显示相似图像并标注匹配区域;
匹配结果分析子模块:关联选取的缺陷分布和匹配结果,查看匹配区域,对相同位置按上下工序进行对比,追踪产生缺陷的工序定位,分析缺陷产生的原因。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710807597.4A CN109493311B (zh) | 2017-09-08 | 2017-09-08 | 一种无规则缺陷图片模式识别与匹配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710807597.4A CN109493311B (zh) | 2017-09-08 | 2017-09-08 | 一种无规则缺陷图片模式识别与匹配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109493311A CN109493311A (zh) | 2019-03-19 |
CN109493311B true CN109493311B (zh) | 2022-03-29 |
Family
ID=65687058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710807597.4A Active CN109493311B (zh) | 2017-09-08 | 2017-09-08 | 一种无规则缺陷图片模式识别与匹配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109493311B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111912856A (zh) * | 2020-07-30 | 2020-11-10 | 北京首钢股份有限公司 | 一种板带材表面缺陷分析系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103235830A (zh) * | 2013-05-13 | 2013-08-07 | 北京臻迪科技有限公司 | 一种基于无人机电力巡线方法、装置及无人机 |
CN104576605A (zh) * | 2013-10-17 | 2015-04-29 | 辛纳普蒂克斯显像装置株式会社 | 显示装置驱动用半导体集成电路装置 |
CN106226325A (zh) * | 2016-07-22 | 2016-12-14 | 广东工业大学 | 一种基于机器视觉的座椅表面缺陷检测系统及其方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100422894C (zh) * | 2006-03-01 | 2008-10-01 | 上海宝信软件股份有限公司 | 钢卷缺陷数据的收集和翻送方法 |
JP4694618B2 (ja) * | 2006-04-27 | 2011-06-08 | シャープ株式会社 | 欠陥分布分類方法およびシステム、原因設備特定方法およびシステム、コンピュータプログラム、並びに記録媒体 |
CN104515776A (zh) * | 2013-09-26 | 2015-04-15 | 宝钢新日铁汽车板有限公司 | 一种确定带钢表面缺陷位置的装置和方法 |
CN104022050A (zh) * | 2014-04-22 | 2014-09-03 | 上海华力微电子有限公司 | 一种晶圆批次中重复位置缺陷的检测方法 |
CN104062305B (zh) * | 2014-07-28 | 2017-10-03 | 上海华力微电子有限公司 | 一种集成电路缺陷的分析方法 |
CN105259252B (zh) * | 2015-10-15 | 2018-09-21 | 浙江大学 | 超声相控阵检测聚乙烯电熔接头缺陷类型自动识别方法 |
CN105572143B (zh) * | 2015-12-17 | 2018-05-25 | 湖北第二师范学院 | 压延过程中压延材料表面周期性缺陷的检测方法 |
CN106057694B (zh) * | 2016-05-24 | 2018-11-27 | 瀚天天成电子科技(厦门)有限公司 | 一种透明材料的缺陷分析方法 |
CN106530287A (zh) * | 2016-10-24 | 2017-03-22 | 武汉新芯集成电路制造有限公司 | 一种基于晶圆内部缺陷检测的图像自动识别系统 |
-
2017
- 2017-09-08 CN CN201710807597.4A patent/CN109493311B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103235830A (zh) * | 2013-05-13 | 2013-08-07 | 北京臻迪科技有限公司 | 一种基于无人机电力巡线方法、装置及无人机 |
CN104576605A (zh) * | 2013-10-17 | 2015-04-29 | 辛纳普蒂克斯显像装置株式会社 | 显示装置驱动用半导体集成电路装置 |
CN106226325A (zh) * | 2016-07-22 | 2016-12-14 | 广东工业大学 | 一种基于机器视觉的座椅表面缺陷检测系统及其方法 |
Non-Patent Citations (1)
Title |
---|
Automatic Defect Classification on a Production Line;N.Alberto Borghese等;《Intelligent Industrial Systems》;20150714;372-393 * |
Also Published As
Publication number | Publication date |
---|---|
CN109493311A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111833306B (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
US10445569B1 (en) | Combination of heterogeneous recognizer for image-based character recognition | |
US10032072B1 (en) | Text recognition and localization with deep learning | |
CN107085846B (zh) | 工件表面缺陷图像识别方法 | |
JP7316731B2 (ja) | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 | |
CN102981604A (zh) | 图像处理设备、图像处理方法和程序 | |
CN116188475A (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
CN104239909A (zh) | 一种图像的识别方法和装置 | |
Zhang et al. | Multi-scale defect detection of printed circuit board based on feature pyramid network | |
CN115249237A (zh) | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 | |
CN111242899A (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
CN110659374A (zh) | 一种基于神经网络提取车辆特征值及属性的以图搜图方法 | |
CN102708367A (zh) | 基于目标轮廓特征的图像识别方法 | |
Lee | 16‐4: Invited Paper: Region‐Based Machine Learning for OLED Mura Defects Detection | |
CN109493311B (zh) | 一种无规则缺陷图片模式识别与匹配方法及系统 | |
US20220300774A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
Hu et al. | Fast face detection based on skin color segmentation using single chrominance Cr | |
Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
Zhang et al. | An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network | |
Liu et al. | A fast button surface defects detection method based on convolutional neural network | |
CN111259843B (zh) | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 | |
Wang et al. | An efficient sky detection algorithm based on hybrid probability model | |
Liang et al. | Improving Accuracy of Small Object Detection in Screen based on YOLOv7 | |
CN115830386A (zh) | 基于深度学习的计算机主板装配质量检测方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |