CN109990707A - 一种基于角点约束的裁片眼刀检测方法 - Google Patents

一种基于角点约束的裁片眼刀检测方法 Download PDF

Info

Publication number
CN109990707A
CN109990707A CN201910264718.4A CN201910264718A CN109990707A CN 109990707 A CN109990707 A CN 109990707A CN 201910264718 A CN201910264718 A CN 201910264718A CN 109990707 A CN109990707 A CN 109990707A
Authority
CN
China
Prior art keywords
cut
parts
cad
eye knife
knife
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910264718.4A
Other languages
English (en)
Other versions
CN109990707B (zh
Inventor
肖志涛
魏全生
耿磊
张芳
吴骏
刘彦北
王雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201910264718.4A priority Critical patent/CN109990707B/zh
Publication of CN109990707A publication Critical patent/CN109990707A/zh
Application granted granted Critical
Publication of CN109990707B publication Critical patent/CN109990707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明设计了一种基于角点约束的裁片眼刀检测方法,该方法包括:采集现实中的裁片图像;对裁片图像进行畸变校正;将裁片图像和其对应的CAD进行匹配;通过仿射变换将图像和CAD重叠显示;通过角点检测算法提取CAD上的所有角点;从CAD上的角点中提取眼刀;在CAD上眼刀区域的邻域范围内提取裁片上眼刀;计算CAD上眼刀和裁片上眼刀之间的偏差。结果表明,本发明能够检测出裁片上的眼刀,且鲁棒性好。

Description

一种基于角点约束的裁片眼刀检测方法
技术领域
本发明涉及到一种基于角点约束的裁片眼刀检测方法,对裁片运用图像处理相关技术进行眼刀特征的检测,在检测准确率和效率方面相比现有技术有很大的提升。
背景技术
近年来,基于机器视觉的测量技术,由于具有非接触、测量精度高、速度快、适应性好等优点,发展迅速。裁片的品质控制是企业进行生产的重要依据,企业在进行生产时,要对裁片进行品质控制,主要从裁片的整体尺寸偏差、眼刀偏差以及内部特征偏差等方面来进行检验。目前,传统的检测方法主要是:人工从顶层和最底层抽出相同的裁片,将两裁片重叠,检查尺寸是否一样,同时检查上下层“牙剪”定位是否一致或者将裁剪机裁剪出来的裁片与打印出来的CAD图纸进行人工对照,然后借助直尺等测量工具测量检测对象与CAD的偏差。
人工测量方式不仅存在主观性、易疲劳、速度慢、强度大等缺点,而且测量精度和效率也难以保证。为了克服人工测量的种种弊端,测量臂、影像测量仪、三坐标测量仪等测量仪器得到了广泛使用,但仍存在许多问题,例如:测量臂和三坐标测量仪的测量精度与使用者的操作水平有关,存在主观性;影像测量仪单次测量范围较小,效率低。
综上所述,目前迫切的需要提出一种准确度高、检测效率高、操作简单的裁片整体尺寸、特征、眼刀等信息的检测方法。
发明内容
有鉴于此,本发明提出了一种基于角点约束的裁片眼刀检测方法,该方法可以准确地检测出裁片上眼刀和CAD上眼刀的实际偏差,且鲁棒性和实用性较强。
为达到上述目的,按照本发明的第一个方面,提供了基于角点约束的裁片眼刀检测方法,具体技术方案,包括下列步骤:
步骤1:采集现实中放置于背光板上的裁片图像;
步骤2:通过相机标定得到的参数和位姿对裁片图像进行畸变校正;
步骤3:将裁片图像和其对应的CAD进行形状匹配;
步骤4:通过仿射变换将图像和CAD在同一个二维坐标系中重叠显示;
步骤5:通过角点检测算法提取CAD上的所有角点;
步骤6:通过形状约束和交集面积约束的方式,对CAD上的角点进行分类,剔除不属于眼刀区域的无关角点,得到CAD上的所有眼刀;
步骤7:在CAD上眼刀区域的邻域范围内提取所有角点,然后通过形状约束和交集面积约束的方式剔除无关角点得到裁片上的眼刀;
步骤8:计算CAD上眼刀和裁片上眼刀之间的偏差。
与现有技术相比,本发明的有益效果是:
本发明针对裁片眼刀特征检测困难的问题,考虑到裁片是柔性材料裁剪而成,存在边缘粗糙、毛刺多、易发生形变等问题,采用了基于角点约束的眼刀提取方法。首先,采用改进的Harris角点检测算法得到CAD上的所有角点,在此基础上采用形状约束和交集面积约束的方式对角点进行分类得到不同形状的眼刀;然后通过仿射变换将裁片与其对应的CAD在同一个二维坐标系中重叠显示,在CAD上眼刀的邻域内可以得到裁片上的大致眼刀区域;最后,采用改进的Harris角点检测算法提取出裁片上眼刀区域的所有角点,采用采用形状约束和交集面积约束的方式剔除该区域内的无关角点得到眼刀。在700mm×500mm的视野范围内,测量了1000个裁片,实验结果表明CAD上的眼刀提取准确率保持在100%,裁片上的眼刀提取准确率保持在99.5%左右,眼刀的位置偏差检测误差控制在0.5mm以内,深度误差控制在1mm以内。
附图说明
图1基于角点约束的裁片眼刀检测方法的流程图;
图2裁片和CAD匹配的流程图;
图3裁片图像;
图4最终提取的裁片上的U形眼刀;
图5最终提取的裁片上的矩形眼刀;
图6最终提取的裁片上的三角形眼刀。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
图1给出了按照本发明的基于角点约束的裁片眼刀检测方法的流程图。采集现实中的裁片图像;对相机进行标定得到相机的参数和位姿,通过相机的内参矩阵和外参矩阵对裁片图像进行畸变校正;对裁片图像和其对应的CAD模板进行形状匹配;通过仿射变换矩阵将裁片和CAD在同一个坐标系中重叠显示;采用Harris角点检测算法获得CAD上的所有角点,通过形状约束和交集面积约束的方式剔除不属于眼刀区域的无关角点,得到CAD上的眼刀特征;在CAD上眼刀区域的邻域范围内得到裁片上的眼刀特征;计算裁片上的眼刀和CAD上的眼刀之间的偏差。
下面结合具体实施方式对本发明技术方案的具体实施过程加以说明。
1.实验对象
本发明针对裁片的规格大小,设计了700mm×500mm的LED背光板,在背光板上了采集了包括牛皮、织物、人造革等材料的1000张裁片图像。
2.裁片和CAD的匹配
在对裁片图像和CAD进行匹配时,考虑到裁片形变等问题,不能直接采用传统的匹配方法。本发明采用基于边缘轮廓的匹配方式,用CAD创建带有旋转和缩放的匹配模板,用裁片整体边缘或裁片形状特征比较明显的部分边缘与模板进行匹配。每次匹配,都可以得到匹配到目标的模板中心坐标(R,C),匹配到目标的旋转角度Angle,匹配到目标的缩放系数Scale以及匹配得分Score。匹配流程图如图2所示,匹配成功之后,根据仿射变换将裁片和CAD在同一个坐标系中重叠显示,计算裁片和CAD的重合度Degree。最终,综合考虑Degree和Score可以得到最佳匹配方式,裁片如图3所示。
3.CAD眼刀提取
提取CAD上的眼刀时,先将CAD转换成一副具有相同灰度其和裁片图像同高同宽的灰度图,使用改进的Harris角点检测算法提取出裁片上的所有角点。根据眼刀的形状特征,需要将CAD上的角点分为四类:不属于眼刀区域的无关角点,三角形眼刀区域的角点,矩形眼刀区域的角点,U形眼刀区域的角点。其中每种形状的眼刀又包括凸眼刀和凹眼刀,本发明采用形状约束和交集面积约束的方式对角点进行分类并提取眼刀。提取步骤为:
(1)剔除不属于眼刀区域的无关角点。CAD上所有角点的坐标为((x1,y1),(x2,y2),L(xi,yi)L),遍历CAD上的所有角点,计算出角点之间的最小距离d。以CAD上的任一角点(xi,yi)为圆心,以d为半径,画圆。由圆的方程可知,位于圆外的点满足不等式:(x-xi)2+(y-yi)2>d2,当以远离眼刀区域的角点做为圆心画圆时,CAD上的其他角点均位于圆外,以此剔除不属于眼刀区域的无关角点。
(2)任选一个角点(xa,ya),距离该角点最近的两个角点分别为(xa+1,yb+1)和(xa-1,yb-1),以这三个角点组成一个矩形区域,若这个矩形区域内的角点个数是4个,那么这个眼刀就是矩形眼刀,计算矩形区域与CAD区域的交集,假设交集的面积为S1,矩形区域的面积为S2,若该眼刀即是凹矩形眼刀,否则是凸矩形眼刀。若这个矩形区域内的角点个数是3个,那么这个眼刀就是三角形眼刀,计算三角形区域与CAD区域的交集,假设交集的面积为S3,三角形区域的面积为S4,若该眼刀是凹三角形眼刀,否则是凸三角形眼刀。
(3)从剩余的角点中任取一个角点(xm,yn),找出距离该点一定距离p的所有角点,拟合为一条曲线,若这条曲线可以拟合成椭圆,就是U形眼刀,计算U形区域与CAD的交集,假设交集的面为S5,U形区域的面积为S6,若则该眼刀是凹U形眼刀,否则是凸U形眼刀。
4.裁片眼刀提取
裁片的材质和裁剪工艺会导致眼刀存在一定程度的形变,因此裁片上的眼刀不如CAD上的眼刀标准。如果直接提取裁片上的角点,会发现非眼刀区域的角点过多,不易剔除干扰角点,且算法速度过慢。针对这个问题,本发明通过仿射变换,将CAD和裁片重叠显示,在CAD上的眼刀的邻域范围内,得到裁片的眼刀区域。假设CAD上某一眼刀区域A,在A的邻域范围内可以得到裁片上对应眼刀所处的大致区域,即模糊眼刀区域。得到裁片上眼刀的大致区域以后,使用Harris角点检测算法,提取这个区域的所有角点。为了准确地得到裁片上不同形状的眼刀,需要剔除干扰角点。步骤如下:
(1)剔除不属于眼刀区域近的无关角点,方法同3中(1)。
(2)剔除眼刀区域内的干扰角点,若该位置CAD上为三角形眼刀,针对裁片上眼刀区域内的角点,任选其中三个角点,组成三角形,这些三角形的面积分别是S1,S2,L SiL,计算这些面积中的最大值max(S1,S2,L SiL),Smax对应的三个角点就是我们要找的三个角点,以此得到三角形眼刀;若该位置CAD上为矩形眼刀,需要找出裁片上眼刀区域的四个顶点组成矩形眼刀;若该位置CAD上为U形眼刀,对裁片上眼刀区域进行边缘提取,得到一段曲线,即为裁片上的U形眼刀,最终提取的裁片眼刀其中的几个如图4、5、6所示。

Claims (5)

1.一种基于角点约束的裁片眼刀检测方法,包括下列步骤:
步骤1:采集裁片图像;
步骤2:对裁片图像进行畸变校正;
步骤3:将裁片图像和其对应的CAD进行匹配;
步骤4:通过仿射变换将图像和CAD显示到同一个二维坐标系中;
步骤5:通过角点检测算法提取CAD上的所有角点;
步骤6:通过形状约束和交集面积约束的方式得到CAD上的所有眼刀;
步骤7:在CAD上眼刀区域的邻域范围内提取裁片上的眼刀;
步骤8:计算CAD上的眼刀和裁片上的眼刀之间的偏差。
2.根据权利要求1所述的基于角点约束的裁片眼刀检测方法,其特征在于,步骤3中,柔性材料裁剪而成的裁片会发生不同程度的形变,而传统的匹配方法要求目标物体在方向或缩放上不能有太大的变化,为了寻找发生旋转或者缩放的目标物体,就必须创建多个方向、多个缩放比例的模板,同时,目标物体在图像中被遮挡的情况也应该被考虑到,采用基于图像边缘轮廓的匹配方法,就可以解决上述问题,使用目标物体的整体边缘或者特征比较明显的部分边缘与模板进行匹配,匹配之后得到匹配到目标的模板中心坐标(R,C),匹配到目标的旋转角度Angle,匹配到目标的缩放系数Scale,进而得到将裁片和CAD重叠显示的仿射变化矩阵H。
3.根据权利要求1所述的基于角点约束的裁片眼刀检测方法,其特征在于,步骤5中,检测CAD上的角点时,由于CAD不是一幅图像,不可能用角点检测算法直接提取CAD上的角点,本发明先将CAD转换成具有一定灰度值且和裁片同高同宽的图片,然后采用Harris角点检测算法提取出CAD上的所有角点。
4.根据权利要求1所述的基于角点约束的裁片眼刀检测方法,其特征在于,步骤6中,为了准确地得到CAD上的所有眼刀,需要对CAD上的所有角点进行分类:不属于眼刀区域的角点,矩形眼刀区域的角点,三角形眼刀区域的角点以及U形眼刀区域的角点,然后依次提取矩形眼刀、三角形眼刀、U形眼刀。
5.根据权利要求1所述的基于角点约束的裁片眼刀检测方法,其特征在于,步骤7中,提取裁片上的眼刀时,裁片的边缘粗糙、毛刺、柔性材料易发生形变等问题导致不可能先直接提取裁片上的所有角点再剔除不属于眼刀区域的多余角点,由于步骤4中已经将裁片和CAD显示到同一个坐标系中,故可以借助CAD来间接提取裁片上的眼刀,在CAD上眼刀区域的邻域范围内,提取裁片上该范围内的所有角点,然后通过形状约束和交集面积约束的方式剔除无关角点,得到裁片上的眼刀。
CN201910264718.4A 2019-04-02 2019-04-02 一种基于角点约束的裁片眼刀检测方法 Active CN109990707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264718.4A CN109990707B (zh) 2019-04-02 2019-04-02 一种基于角点约束的裁片眼刀检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264718.4A CN109990707B (zh) 2019-04-02 2019-04-02 一种基于角点约束的裁片眼刀检测方法

Publications (2)

Publication Number Publication Date
CN109990707A true CN109990707A (zh) 2019-07-09
CN109990707B CN109990707B (zh) 2021-04-02

Family

ID=67132317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264718.4A Active CN109990707B (zh) 2019-04-02 2019-04-02 一种基于角点约束的裁片眼刀检测方法

Country Status (1)

Country Link
CN (1) CN109990707B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137729A (ja) * 1997-07-18 1999-02-12 Nec Corp 電子部品の成形端子の画像検査方法及びチップ型電子部品
CN101097601A (zh) * 2006-06-26 2008-01-02 北京航空航天大学 一种基于角点引导的图像快速边缘匹配方法
CN101806586A (zh) * 2010-04-21 2010-08-18 上海交通大学 基于图像匹配的汽车密封条截面轮廓测量装置及测量方法
CN103499297A (zh) * 2013-10-25 2014-01-08 爱科维申科技(天津)有限公司 一种基于ccd的高精度测量方法
US20140056508A1 (en) * 2012-08-27 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for image matching between multiview cameras
CN106097378A (zh) * 2016-07-24 2016-11-09 江西理工大学 一种融合形状先验的水平集视网膜血管图像分割方法
CN107179050A (zh) * 2017-06-13 2017-09-19 松下压缩机(大连)有限公司 零部件斜孔孔位置检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137729A (ja) * 1997-07-18 1999-02-12 Nec Corp 電子部品の成形端子の画像検査方法及びチップ型電子部品
CN101097601A (zh) * 2006-06-26 2008-01-02 北京航空航天大学 一种基于角点引导的图像快速边缘匹配方法
CN101806586A (zh) * 2010-04-21 2010-08-18 上海交通大学 基于图像匹配的汽车密封条截面轮廓测量装置及测量方法
US20140056508A1 (en) * 2012-08-27 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for image matching between multiview cameras
CN103499297A (zh) * 2013-10-25 2014-01-08 爱科维申科技(天津)有限公司 一种基于ccd的高精度测量方法
CN106097378A (zh) * 2016-07-24 2016-11-09 江西理工大学 一种融合形状先验的水平集视网膜血管图像分割方法
CN107179050A (zh) * 2017-06-13 2017-09-19 松下压缩机(大连)有限公司 零部件斜孔孔位置检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韦东兴等: "基于角点检测的图像形状特征提取方法", 《计算机工程》 *

Also Published As

Publication number Publication date
CN109990707B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN108460327B (zh) 一种基于图像处理的指针式仪表读数自动识别方法
CN106643549B (zh) 一种基于机器视觉的瓷砖尺寸检测方法
KR101445739B1 (ko) 도로표지판의 위치검출 방법
CN106969706A (zh) 基于双目立体视觉的工件检测与三维测量系统及检测方法
WO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN105069790A (zh) 一种齿轮外观缺陷快速影像检测方法
CN106949848A (zh) 一种高精度激光3d轮廓手机结构件检测方法
US20190339207A1 (en) System and method for flexibly holding workpiece and reporting workpiece location
CN109064481B (zh) 一种机器视觉定位方法
WO2013061976A1 (ja) 形状検査方法およびその装置
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
JP5913903B2 (ja) 形状検査方法およびその装置
CN107271445A (zh) 一种缺陷检测方法及装置
CN115578343A (zh) 一种基于图像连通与骨架分析的裂缝尺寸测量方法
Lin et al. Surface defect detection of machined parts based on machining texture direction
CN106709523B (zh) 一种基于s-hog特征的光学遥感图像船识别方法
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法
CN110084807B (zh) 一种焊缝探伤底片图像造假的检测方法
JP7058170B2 (ja) タイヤ金型サイドプレートの検査方法
CN108921882A (zh) 一种基于机器视觉纽扣自动对准方法
TWI659390B (zh) 應用於物件檢測之攝影機與雷射測距儀的數據融合方法
CN109990707A (zh) 一种基于角点约束的裁片眼刀检测方法
CN106442539B (zh) 利用图像信息测量工件表面缺陷的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190709

Assignee: Tianjin Zhongpuxin Intellectual Property Operation Management Co.,Ltd.

Assignor: TIANJIN POLYTECHNIC University

Contract record no.: X2024980003024

Denomination of invention: A Cutting Eye Knife Detection Method Based on Corner Constraint

Granted publication date: 20210402

License type: Common License

Record date: 20240319

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190709

Assignee: TIANJIN HAODI RUBBER & PLASTIC TECHNOLOGY CO.,LTD.

Assignor: Tianjin Zhongpuxin Intellectual Property Operation Management Co.,Ltd.

Contract record no.: X2024980003748

Denomination of invention: A Cutting Eye Knife Detection Method Based on Corner Constraint

Granted publication date: 20210402

License type: General license, sub license

Record date: 20240401

EE01 Entry into force of recordation of patent licensing contract