CN110853018B - 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 - Google Patents
一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 Download PDFInfo
- Publication number
- CN110853018B CN110853018B CN201911104322.XA CN201911104322A CN110853018B CN 110853018 B CN110853018 B CN 110853018B CN 201911104322 A CN201911104322 A CN 201911104322A CN 110853018 B CN110853018 B CN 110853018B
- Authority
- CN
- China
- Prior art keywords
- crack
- frame
- area
- detection
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于计算机视觉的振动台疲劳裂纹在线检测系统,其包括图像采集设备、支架、多路数据采集器、处理器、显示器及裂纹检测模块,图像采集设备通过调整支架的位置对零部件表面易于产生裂纹的区域进行图像/视频信息采集,多路数据采集器将多路数据汇总成一路信号传送至处理器,裂纹检测模块通过对比帧提取、振动位移消除、特征筛选、形态筛选、裂纹验证、计算裂纹实际长度、统计裂纹信息及辅助提醒和正负样本积累及参数自适应调整进行疲劳裂纹的在线检测,并将裂纹信息结果通过显示器输出。本发明能够自适应消除振动台产生的位移,鲁棒地获取零部件裂纹的位置、长度及形状等信息,从而实现自动化检测裂纹。
Description
技术领域
本发明涉及视频分析与图像处理领域,尤其是涉及一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法。
背景技术
金属零部件的疲劳断裂结果是评价金属零部件质量的重要指标,对金属零部件的质量进行准确的评估,能够有效的减少在使用过程中因质量原因导致的重大安全事故和经济损失。然而,现有的传统疲劳裂纹检测手段主要为目测法,存在试验过程中难以读数,需停机测量,测量精度较低,易受人为因素影响等问题,而且如果想实现实时在线观察,则需动用较多的人力,十分费时费力。因此,如何准确、可靠的在线实时检测疲劳裂纹萌生和扩展过程对建立准确可靠的疲劳测试,节省人力、提高工作效率是至关重要的。
目前裂纹在线检测方法主要有超声红外式、涡流式、声发射式和基于计算机视觉的检测方法。超声红外式是利用超声激励能量与缺陷之间的相互作用产生温度的变化,再通过热像仪采集温度场信息检测裂纹信息,如文献《超声红外热像技术在金属裂纹检测中应用》所提出的方法,缺点是由于热量的传播无法获取裂纹精确的形状等信息,难以实现动态实时检测;涡流式基于电磁学的涡流现象,在被检测试件上施加高频信号,当零部件表面或者亚表面存在缺陷时,涡流密度产生局部变化,继而表面温度分布发生变化,再通过热像仪采集温度场信息检测裂纹信息,如文献《涡流激励热成像金属焊缝裂纹检测方法研究》所提出的方法,但在实际检测中,材料电磁特性、热特性等参数千差万别,涡流检测容易受外界磁场的影响,只能检测铁磁性材料,检测深度仅为2-3mm;声发射式方法通过声发射采集装置、显微图像采集装置和疲劳裂纹状态实时监控装置,对接收信号进行处理,生成疲劳裂纹变化过程的声发射特征参数、图形和裂纹尺寸数据,进而实现在线动态、实时检测疲劳裂纹萌生和扩展,如专利CN201310467034.7所提出的方法;基于计算机视觉的裂纹检测方法通过设计特征检测裂纹信息,如发明专利CN201510916229.4所提出的方法,现有方法仅针对于静止的金属零部件可以获得良好的检测结果与精度,但是对于疲劳断裂测试中处于振动台上快速振动的金属零部件,尚未有合适的方法和系统。鉴于此,本专利提出一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法。
发明内容
为了克服现有技术的缺陷,本发明针对振动台环境,提供一种基于视频图像的从产生到扩展直至断裂整个过程的疲劳裂纹在线检测系统及检测方法,能够自适应消除振动台产生的位移,实时检测振动台上零部件裂纹产生的时间、位置、长度及形状等信息,并将信息自动发送给相关人员,控制振动台停止。
本发明提供一种基于计算机视觉的振动台疲劳裂纹在线检测系统,其包括图像采集设备、支架、多路数据采集器、处理器、显示器以及裂纹检测模块,所述图像采集设备固定在所述支架上并通过调整所述支架的位置对零部件表面易产生裂纹的区域进行图像/视频信息采集;所述多路数据采集器将采集到的多路图像/视频数据同步并汇总成一路信号传送至所述处理器进行处理,所述显示器与所述处理器通过视频连接线连接,所述裂纹检测模块安装在所述处理器中,进行疲劳裂纹的在线检测,并将检测结果通过所述显示器输出;所述图像采集设备包括多个摄像机,用于采集零部件表面不同位置的图像/视频数据信息,所述摄像机的数量由零部件表面易于产生裂纹的具体位置决定;所述支架用于固定多个所述摄像机;所述多路数据采集器,用于将多个摄像机采集的图像/视频数据同步采集到一起;所述处理器,用于实现数据的采集和存储,为裂纹检测模块提供载体;所述裂纹检测模块包括图像采集模块、人机交互模块、数据存储模块以及裂纹检测算法模块,所述图像采集模块用于采集所述多路数据采集器传输的图像/视频数据;所述人机交互模块用于交互设置各项参数信息,并确定裂纹检测的初始位置、检测正确性;所述数据存储模块用于记录检测过程中的图像数据和检测日志,所述裂纹检测算法模块用于分析图像数据并通过设计的裂纹检测算法得到裂纹的位置、长度及形状等信息。
优选的,所述支架包括可伸缩的矩形框架、磁力座和悬挂装置,所述矩形框架包括四根立柱和顶面组件,每根所述立柱底部均安装有所述磁力座,所述立柱通过调整锁扣装置具有可伸缩功能;所述顶面组件包括至少3根横梁和2根纵梁,所述横梁为悬臂梁,所述纵梁通过调整锁扣装置具有可伸缩功能,位于中间的所述横梁可沿所述纵梁前后滑动,所述横梁上设置有多个悬挂装置用于固定所述摄像机,可沿所述横梁滑动且带有可伸缩功能;所述悬挂装置包括可伸缩杆和万向架,所述万向架用于固定所述摄像机,并调节摄像机方位,所述可伸缩杆内部设置为中空,用于布置摄像机连接线。
本发明还提供一种基于计算机视觉的振动台疲劳裂纹在线检测方法,所述裂纹检测算法模块通过以下步骤实现功能:
步骤1,对比帧提取:检测开始时捕获一帧未出现裂纹的图像作为对比帧;
步骤2,振动位移消除:通过在连续n帧图像中寻找与对比帧最相似帧及平移目标帧微调目标帧位置,从而消除零部件因振动产生的位移;
步骤3,特征筛选:通过对目标帧的差异区域、颜色区域及位置区域三个特征进行筛选,得到同时满足三个特征的区域作为异常区域;
步骤4,形态筛选:对所述异常区域进行轮廓追踪并对所得轮廓进行形态筛选,选取轮廓长度大于特定值、条形且方向相似的轮廓作为异常轮廓;
步骤5,裂纹验证:计算所述异常轮廓两侧的像素灰度值差值,去除差值均值大于阈值TT的异常轮廓,得到裂纹轮廓,此时记录裂纹产生的位置和时间信息;
步骤6,计算裂纹实际长度:在零部件表面标记表示标准距离长度的圆点,利用轮廓追踪分别计算两个标记圆点之间的像素长度和检测到的裂纹轮廓的像素长度,根据零部件表面几何形状计算两个标记圆点之间的实际长度与像素长度之间的转化关系,再根据所述转化关系计算裂纹轮廓的实际长度;
步骤7,统计裂纹信息及辅助提醒:统计裂纹从产生到扩展直至达到最大允许裂纹长度整个过程的裂纹位置、长度变化、裂纹图像和时间信息,并将信息远程发送给相关监控人员,由监控人员决定是否根据裂纹检测结果记录相关信息或控制振动台停止运动;
步骤8,正负样本积累及参数自适应调整:操作人员可通过数据存储模块定期回放数据库中保存的历史记录,并支持沿裂纹走向手动测量裂纹像素长度,通过两个标记圆点之间的实际长度与像素长度之间的转化关系计算裂纹实际长度,实现核查历史数据并确定裂纹检测算法计算准确的正样本及计算存在误差的负样本,将人工核查确认的裂纹检测正负样本保存至数据库,用于训练并迭代调整算法模块中的各个阈值,不断优化算法识别精度,使阈值设定能够达到最佳检测效果。
优选的,所述步骤2具体包括以下步骤:
步骤2.1,振动粗消除:每隔一定时间,摄像机连续捕获多帧图像,将所述多帧图像逐一与对比帧做帧差,取差异最小的一帧作为目标帧;
步骤2.2,振动细去除:保持对比帧不变,将目标帧在x轴正负方向上做一定范围的平移并与目标帧做帧差,取帧差结果最小的作为x轴上的偏移距离,同理计算y轴方向的偏移距离,将目标帧在x、y轴方向上分别移动相应偏移距离消除零部件位移。
优选的,所述步骤3具体包括以下步骤:
步骤3.1,获取差异区域:将消除位移的对比帧与目标帧做帧差,并取帧差结果灰度值大于阈值TB的区域,符合裂纹区域从无到有的生成特征,所得结果即为包含裂纹信息的区域;
步骤3.2,获取较暗区域:在目标帧中选取灰度值小于阈值TA的区域,符合裂纹区域较暗的颜色特征,得到较暗区域;
步骤3.3,获取零部件区域:对对比帧进行阈值为Tw的二值化操作,获取二值化结果的轮廓并选取最大轮廓包围的区域作为零部件区域,对所述零部件区域做直方图拉伸并在所述零部件区域中选取灰度值小于阈值TD的区域,得到最终零部件区域,符合裂纹出现的位置特征;
步骤3.4,综合多个特征:选取同时满足步骤3.1、3.2、3.3三个条件的区域做为异常区域。
优选的,所述步骤4具体包括以下步骤:
步骤4.1,轮廓长度筛选:对异常区域中的轮廓线做进一步筛选,选取轮廓长度大于阈值TL的轮廓;
步骤4.2,轮廓长宽比筛选:选取最小外接矩形的长宽比大于阈值TR的轮廓;
步骤4.3,方向相似筛选:选取轮廓线方向大于比例阈值TP的轮廓。
与现有技术相比,本发明具有以下有益效果:
1、本发明能够实现振动台场景下疲劳裂纹的实时在线检测,节省大量人力和成本;
2、本发明采用基于计算机视觉的方法实现裂纹检测,具有定位直观、灵敏度高、适应性强、方便布设等优势;
3、本发明提出的裂纹检测方法综合多种裂纹区域的特征且能自适应消除振动台产生的位移,鲁棒性更强。
附图说明
图1是本发明基于计算机视觉的振动台疲劳裂纹在线检测系统的结构示意图;
图2是本发明实施例中基于计算机视觉的振动台疲劳裂纹在线检测系统的支架结构示意图;
图3是本发明基于计算机视觉的振动台疲劳裂纹在线检测系统的人机交互模块操作界面;
图4是本发明基于计算机视觉的振动台疲劳裂纹在线检测系统的数据存储模块操作界面;以及
图5是本发明基于计算机视觉的振动台疲劳裂纹在线检测方法流程示意图。
具体实施方式
以下将参考附图详细说明本发明的示例性实施例、特征和性能方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
如图1所示,一种基于计算机视觉的振动台疲劳裂纹在线检测系统包括图像采集设备、支架、多路数据采集器、处理器、显示器以及裂纹检测模块。
进行检测时首先将支架放置于零部件附近,图像采集设备中的每一个摄像机均通过螺丝固定在支架上的相应悬挂装置上,面向零部件表面待检测区域即易于产生裂纹区域采集图像/视频信息;多个摄像机通过数据线连接至多路数据采集器,多路数据采集器将采集到的多路图像/视频数据同步并汇总成一路信号传送至处理器进行处理;显示器和处理器通过视频连接线相连,多路数据采集器、处理器和显示器各自连接电源。裂纹检测模块启动后,图像采集设备开始工作,用户需要首先根据界面上采集到的零件表面图像调整支架的锁扣装置及悬挂装置上的可伸缩杆和万向架,使每个摄像机均对准容易出现裂纹的区域,并调整摄像机焦距使画面清晰;进一步旋转磁力座旋钮,使支架固定到震动台上。摄像机工作视野确定后,裂纹检测模块正式开始检测,通过设计的裂纹检测算法可以得到裂纹的位置、长度及形状等信息,将裂纹形状以红色细线方式标记在零件表面图像的相应位置上,检测结果通过显示器输出,并通过语音提示和邮件方式通知相关人员。
图像采集设备包括多台摄像机,用于采集零部件表面不同位置的图像/视频数据信息的图像/视频数据。本实施例中采用大恒MER-051-120U3M-L摄像机,分辨率为808(H)*608(V),帧率为120fps,数据接口为USB3.0,摄像机镜头采用大恒A3Z3112CS-MPIR变焦镜头,焦距范围为3.1-8mm,调焦方式为手动调节。
支架包括可伸缩的矩形框架、磁力座和悬挂装置,主要用于灵活布设多台摄像机,以适应不同形状、大小的零部件裂纹检测位置。如图2所示,本实施例中,矩形框架包括四根立柱和顶面组件,两截空心粗钢管3通过调整锁扣2连接而形成高度可调的立柱,每根立柱底部均安装有磁力座1,用于固定整个支架。顶面组件包括三根横梁6和两根纵梁,三向连接件4用于将三个相互垂直方向的立柱、横梁和纵梁连接在一起,横梁为悬臂梁,用于安装悬挂装置,带锁紧装置的滑动轴承5可以在横梁上面随意滑动;纵梁通过调整锁扣11具有可伸缩功能,用于调整连接杆长度,位于中间的横梁能够通过可三向连接且带锁紧装置的滑动轴承10沿纵梁前后滑动。横梁上设置有6个悬挂装置,用于固定摄像机,通过带锁紧装置的滑动轴承5和调整锁扣8可沿横梁滑动且带有可伸缩功能。悬挂装置包括可伸缩杆和设置于末端的万向架9,可伸缩杆由两个细空心钢管7和连接两个细空心钢管的调整锁扣8组成,内部设置为中空,用于布置摄像机连接线;万向架9由万向头和九孔固定板组成,用于固定摄像机,并调节摄像机方位。
多路数据采集器,用于将多路摄像机采集到的图像/视频数据同步采集到一起。本实施例中,通过工业级20路HUB实现此功能,并通过一根USB数据线将数据传输至处理器。
处理器,主要用于实现数据的采集、存储和裂纹检测方法,为裂纹检测模块提供载体。本实施例中,处理器为个人PC机。
显示器,主要用于显示零部件图像和检测的数据信息。本实施例中,显示器为27寸液晶显示屏。
裂纹检测模块装在处理器中,用于疲劳裂纹的在线检测,包括图像采集模块、人机交互模块、数据存储模块,以及裂纹检测算法模块。
图像采集模块,主要用于采集多路数据采集器传输的图像/视频数据;本实施例中利用Opencv提供的视频采集函数直接进行图像和视频的采集;
人机交互模块,主要用于预先设置参数并对每个摄像机进行调整以适应工况。在进入软件系统时弹出人机交互模块,完成设置后即可开始执行数据采集和裂纹检测。如图3所示,本实施例中,参数需要设定裂纹检测间隔时间TG和零部件号码。如设置每隔2分钟执行一次裂纹检测任务,零部件号码为s00101,完成初始化后会在计算机本地生成s00101文件夹用于存储该零部件的所有图像记录及检测日志。该模块支持对每个摄像机调整摄像机焦距及调整支架以捕获画面清晰且角度合适的零部件图像,同时支持对摄像机画面设定检测范围,即在摄像机画面中绘制多边形将检测范围限定在摄像机画面中零部件的某些特定部位,减少复杂背景造成的干扰,提高裂纹检测精度。
数据存储模块,主要用于记录检测过程中的图像数据和检测日志。图像数据用于操作人员回放及确认信息记录是否正确;检测日志包括裂纹出现的时间、裂纹的位置、长度及形状等信息。所有数据保存至数据库,方便操作人员核查。如图4所示,本实施例中,图像数据每隔TG分钟保存一帧图像作为图像数据记录到以零部件号码命名的文件夹中,该帧图像附有裂纹长度结果及对应的检测时间,检测日志包含裂纹长度及对应的时间信息,如:检测时间3小时50分钟,裂纹长度4毫米,相关人员可通过检测日志快速浏览该零部件的整体检测情况。
裂纹检测算法模块,主要用于分析图像数据并通过设计的裂纹检测算法得到裂纹的位置、长度及形状等信息。如图5所示,裂纹检测算法模块通过以下步骤实现功能:
步骤1,对比帧提取:在检测开始的第一个TG捕获一帧未出现裂纹的图像作为对比帧PC。本实施例中,摄像机连续捕获n帧图像,在n帧图像中选择最清晰的一帧作为对比帧,采用基于Tenengrad梯度函数的图像清晰度定义方式,即采用Sobel算法分别提取水平和垂直方向的梯度值,表达式如下:
D(f)=∑y∑x|G(x,y)|(G(x,y)>T) (1)
G(x,y)如下:
步骤2,振动位移消除:通过在连续n帧图像中寻找与对比帧最相似帧及平移目标帧微调目标帧位置,从而消除因振动产生的位移。
进一步的,步骤2具体包括以下步骤:
步骤2.1,振动粗消除:每隔时间t,摄像机连续捕获n帧图像,将连续的n帧图像逐一与对比帧做帧差,取差异最小的一帧作为目标帧PA。本实施例中,间隔时间t与初始设置的检测间隔时间TG相等,连续捕获图像取n=40帧图像。
步骤2.2,振动细去除:保持对比帧PC不变,将目标帧PA在x轴正负方向上做一定范围的平移并与目标帧做帧差,取帧差结果最小作为x轴上的偏移距离Dx,同理计算y轴方向的偏移距离Dy。将目标帧PA在x轴、y轴方向上分别移动Dx、Dy即可精细地消除零部件位移。本实施例中,目标帧在x轴、y轴上的移动范围为(-50,+50)像素,在该范围内计算最佳偏移距离。
步骤3,特征筛选,通过对目标帧进行差异区域、颜色区域及位置区域三个特征进行筛选,得到同时满足三个特征的区域作为异常区域,即可能存在裂纹区域。
进一步的,步骤3具体包括以下步骤:
步骤3.1,获取差异区域:将消除位移的对比帧PC与目标帧PA做帧差,并取帧差结果大于阈值TB的区域,符合裂纹区域从无到有的生成特征,所得结果即为包含裂纹信息的区域PDF。本实例中,阈值TB=40。
步骤3.2,获取较暗区域:在目标帧PA中选取灰度值小于阈值TA的区域,该区域对应较暗区域,符合裂纹区域较暗的颜色特征,得到较暗区域PDA。本实施例中,采用二值化方法获取较暗区域,二值化阈值取TA=100。
步骤3.3,获取零部件区域:对对比帧PC进行二值化操作,阈值为Tw,获取二值化结果的轮廓并选取最大轮廓作为零部件区域,对零部件区域做直方图拉伸,在零部件区域中取出灰度值小于阈值TD的区域,即去除零部件上原本较暗的区域,得到最终零部件区域PW,符合裂纹可能出现的位置特征。本实施例中,零部件区域将裂纹检测位置限定在零部件区域内,去除零部件区域以外(如振动台)背景中的纹理造成误识别,阈值Tw=140。对零部件区域进行直方图拉伸,并用二值化方法获取零部件原本较暗区域,二值化阈值取TD=3,去除零部件原本较暗区域,减少因零部件本身的纹理、螺孔及污渍造成误识别。
步骤3.4,综合多个特征:选取同时满足步骤3.1、3.2、3.3特征的区域,即选取同时满足差异足够大、颜色足够暗且在零部件区域内三个特征的区域做为可能存在裂纹的区域。本实施例中,将步骤3.1、3.2、3.3所得的结果图PDF、PDA、PW做与操作即为同时满足三个特征的区域。
步骤4,形态筛选,对异常区域进行轮廓追踪,对所得轮廓进行形态筛选,选取轮廓足够大、条形且方向相似的轮廓作为异常轮廓CP即可能裂纹轮廓。
进一步的,步骤4具体包括以下步骤:
步骤4.1,轮廓长度筛选:对异常区域中的轮廓线做进一步筛选,选取轮廓长度大于阈值TL的轮廓。本实施例中,轮廓长度阈值取TL=40,即去除轮廓长度小于40的轮廓线;
步骤4.2,轮廓长宽比筛选:取最小外接矩形的长宽比大于阈值TR的轮廓。本实例中,轮廓线最小外接矩形的长宽比阈值取TR=3.5,即去除最小外接矩形长宽比小于3.5的轮廓线,符合裂纹轮廓呈现条状特征。
步骤4.3,方向相似筛选:采用PCA主成分分析计算轮廓线主方向,将轮廓线上的点进行方向编码,假设轮廓线像素点个数为m,若轮廓线方向与主方向差值的绝对值小于10度,则视为该像素点方向与主方向相似,若相似像素点占总像素点数大于阈值TP,则认为该轮廓线整体方向相似。本实施例中,angle=10°,TP=40%,轮廓线方向相似判定表达式如下:
其中,ap为轮廓线主方向,ai为轮廓线上第i个点的方向。
其中,m为轮廓线像素点总数,r为该轮廓线方向相似判断结果。
步骤5,裂纹验证:计算可能裂纹轮廓两侧的像素灰度值差值,去除差值的均值大于阈值TT的可能裂纹轮廓,即去除因零部件表面存在脊形结构造成脊的两侧光线不同导致的假裂纹轮廓,此时记录裂纹产生的位置和时间信息。本实例中,阈值TT=50,即去除两侧像素灰度值差值的均值大于50的可能裂纹轮廓。
步骤6,计算裂纹实际长度:在零部件表面标记表示标准距离长度的圆点,利用轮廓追踪分别计算两个标记圆点之间的像素长度和检测到的裂纹轮廓的像素长度,根据零件表面几何形状计算两个标记圆点之间的实际长度与像素长度之间的转化关系,再根据该转化关系计算裂纹轮廓的实际长度。本实施例中,设置距离为15mm的两个标记圆点,若两个标记圆点在图像中距离k个像素,则转化关系为c=15/k,若此时检测出的裂纹轮廓长度为p个像素,则裂纹实际长度l=p*c,单位为mm。
步骤7,统计裂纹信息及辅助提醒:统计裂纹从产生到扩展直至达到最大允许裂纹长度整个过程的裂纹位置、长度变化、裂纹图像和时间信息,并将结果通过显示器输出,同时将信息远程发送给相关监控人员,由监控人员决定是否根据裂纹检测结果记录相关信息或控制振动台停止运动。
步骤8,正负样本积累及参数自适应调整:操作人员可定期回放数据库中保存的历史记录,并支持延裂纹走向手动测量裂纹像素长度,通过两个标记圆点之间的实际长度与像素长度之间的转化关系测量裂纹实际长度,从而实现积累算法计算结果准确的正样本和计算存在误差的负样本。本实例中,操作人员通过点击裂纹的起始位置,即可计算出裂纹的实际长度并将实际长度附加到图像上显示在软件界面,具体测试结果见表1。将人工核查确认的裂纹检测正负样本保存至数据库,用于训练并迭代调整算法中的TB、TA、Tw、TD、TL、TR、TP、TT八个阈值,不断优化算法识别精度,使阈值设定能够达到最佳检测效果。
表1实际长度与测量长度测试数据结果
序号 | 实际长度(mm) | 计算长度(mm) | 序号 | 实际长度(mm) | 计算长度(mm) |
1 | 14.10 | 13.35 | 12 | 2.20 | 2.12 |
2 | 20.20 | 18.83 | 13 | 9.80 | 9.45 |
3 | 16.80 | 15.56 | 14 | 10.00 | 9.78 |
4 | 7.50 | 7.44 | 15 | 10.20 | 9.89 |
5 | 2.00 | 2.11 | 16 | 15.30 | 14.92 |
6 | 4.80 | 4.99 | 17 | 14.80 | 14.66 |
7 | 10.60 | 10.30 | 18 | 20.10 | 20.06 |
8 | 7.30 | 7.16 | 19 | 18.60 | 17.94 |
9 | 8.90 | 8.66 | 20 | 12.70 | 12.51 |
10 | 9.00 | 8.72 | 21 | 11.69 | 11.38 |
11 | 2.50 | 2.29 |
本发明提供的基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法能够自适应消除振动台产生的位移,通过针对振动台环境下的裂纹设计特征,鲁棒地获取振动台零部件的裂纹的位置、长度及形状等信息,从而实现自动化检测裂纹。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于计算机视觉的振动台疲劳裂纹在线检测系统,其特征在于,其包括图像采集设备、支架、多路数据采集器、处理器、显示器以及裂纹检测模块,所述图像采集设备固定在所述支架上并通过调整所述支架的位置对零部件表面易产生裂纹的区域进行图像/视频信息采集;所述多路数据采集器将采集到的多路图像/视频数据同步并汇总成一路信号传送至所述处理器进行处理,所述显示器与所述处理器通过视频连接线连接,所述裂纹检测模块安装在所述处理器中,进行疲劳裂纹的在线检测,并将检测结果通过所述显示器输出;
所述图像采集设备包括多个摄像机,用于采集零部件表面不同位置的图像/视频数据信息,所述摄像机的数量由零部件表面易于产生裂纹的具体位置决定;
所述支架用于固定多个所述摄像机;
所述多路数据采集器,用于将多个摄像机采集的图像/视频数据同步采集到一起;
所述处理器,用于实现数据的采集和存储,为裂纹检测模块提供载体;
所述裂纹检测模块包括图像采集模块、人机交互模块、数据存储模块以及裂纹检测算法模块,所述图像采集模块用于采集所述多路数据采集器传输的图像/视频数据;所述人机交互模块用于交互设置各项参数信息,并确定裂纹检测的初始位置、检测正确性;所述数据存储模块用于记录检测过程中的图像数据和检测日志,所述裂纹检测算法模块用于分析图像数据并通过设计的裂纹检测算法得到裂纹的位置、长度及形状信息;
所述裂纹检测算法模块通过以下步骤实现功能:
步骤1,对比帧提取:检测开始时捕获一帧未出现裂纹的图像作为对比帧;
步骤2,振动位移消除:通过在连续n帧图像中寻找与对比帧最相似帧及平移目标帧微调目标帧位置,从而消除零部件因振动产生的位移;
步骤3,特征筛选:通过对目标帧的差异区域、颜色区域及位置区域三个特征进行筛选,得到同时满足三个特征的区域作为异常区域;
步骤4,形态筛选:对所述异常区域进行轮廓追踪并对所得轮廓进行形态筛选,选取轮廓长度大于特定值、条形且方向相似的轮廓作为异常轮廓;
步骤5,裂纹验证:计算所述异常轮廓两侧的像素灰度值差值,去除差值均值大于阈值TT的异常轮廓,得到裂纹轮廓,此时记录裂纹产生的位置和时间信息;
步骤6,计算裂纹实际长度:在零部件表面标记表示标准距离长度的圆点,利用轮廓追踪分别计算两个标记圆点之间的像素长度和检测到的裂纹轮廓的像素长度,根据零部件表面几何形状计算两个标记圆点之间的实际长度与像素长度之间的转化关系,再根据所述转化关系计算裂纹轮廓的实际长度;
步骤7,统计裂纹信息及辅助提醒:统计裂纹从产生到扩展直至达到最大允许裂纹长度整个过程的裂纹位置、长度变化、裂纹图像和时间信息,并将信息远程发送给相关监控人员,由监控人员决定是否根据裂纹检测结果记录相关信息或控制振动台停止运动;
步骤8,正负样本积累及参数自适应调整:操作人员可通过数据存储模块定期回放数据库中保存的历史记录,并支持沿裂纹走向手动测量裂纹像素长度,通过两个标记圆点之间的实际长度与像素长度之间的转化关系计算裂纹实际长度,实现核查历史数据并确定裂纹检测算法计算准确的正样本及计算存在误差的负样本,将人工核查确认的裂纹检测正负样本保存至数据库,用于训练并迭代调整算法模块中的各个阈值,不断优化算法识别精度,使阈值设定能够达到最佳检测效果。
2.根据权利要求1所述的基于计算机视觉的振动台疲劳裂纹在线检测系统,其特征在于,所述支架包括可伸缩的矩形框架、磁力座和悬挂装置,所述矩形框架包括四根立柱和顶面组件,每根所述立柱底部均安装有所述磁力座,所述立柱通过调整锁扣装置具有可伸缩功能;所述顶面组件包括至少3根横梁和2根纵梁,所述横梁为悬臂梁,所述纵梁通过调整锁扣装置具有可伸缩功能,位于中间的所述横梁可沿所述纵梁前后滑动,所述横梁上设置有多个悬挂装置用于固定所述摄像机,可沿所述横梁滑动且带有可伸缩功能;所述悬挂装置包括可伸缩杆和万向架,所述万向架用于固定所述摄像机,并调节摄像机方位,所述可伸缩杆内部设置为中空,用于布置摄像机连接线。
3.根据权利要求1所述的基于计算机视觉的振动台疲劳裂纹在线检测系统,其特征在于,所述步骤2具体包括以下步骤:
步骤2.1,振动粗消除:每隔一定时间,摄像机连续捕获多帧图像,将所述多帧图像逐一与对比帧做帧差,取差异最小的一帧作为目标帧;
步骤2.2,振动细去除:保持对比帧不变,将目标帧在x轴正负方向上做一定范围的平移并与目标帧做帧差,取帧差结果最小的作为x轴上的偏移距离,同理计算y轴方向的偏移距离,将目标帧在x、y轴方向上分别移动相应偏移距离消除零部件位移。
4.根据权利要求1所述的基于计算机视觉的振动台疲劳裂纹在线检测系统,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1,获取差异区域:将消除位移的对比帧与目标帧做帧差,并取帧差结果灰度值大于阈值TB的区域,符合裂纹区域从无到有的生成特征,所得结果即为包含裂纹信息的区域;
步骤3.2,获取较暗区域:在目标帧中选取灰度值小于阈值TA的区域,符合裂纹区域较暗的颜色特征,得到较暗区域;
步骤3.3,获取零部件区域:对对比帧进行阈值为Tw的二值化操作,获取二值化结果的轮廓并选取最大轮廓包围的区域作为零部件区域,对所述零部件区域做直方图拉伸并在所述零部件区域中选取灰度值小于阈值TD的区域,得到最终零部件区域,符合裂纹出现的位置特征;
步骤3.4,综合多个特征:选取同时满足步骤3.1、3.2、3.3三个条件的区域做为异常区域。
5.根据权利要求1所述的基于计算机视觉的振动台疲劳裂纹在线检测系统,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1,轮廓长度筛选:对异常区域中的轮廓线做进一步筛选,选取轮廓长度大于阈值TL的轮廓;
步骤4.2,轮廓长宽比筛选:选取最小外接矩形的长宽比大于阈值TR的轮廓;
步骤4.3,方向相似筛选:选取轮廓线方向大于比例阈值TP的轮廓。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911104322.XA CN110853018B (zh) | 2019-11-13 | 2019-11-13 | 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911104322.XA CN110853018B (zh) | 2019-11-13 | 2019-11-13 | 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110853018A CN110853018A (zh) | 2020-02-28 |
CN110853018B true CN110853018B (zh) | 2022-03-15 |
Family
ID=69600580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911104322.XA Active CN110853018B (zh) | 2019-11-13 | 2019-11-13 | 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110853018B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111351436B (zh) * | 2020-03-06 | 2021-06-18 | 大连理工大学 | 一种验证结构平面位移视觉测量系统精度的方法 |
CN112067621A (zh) * | 2020-08-29 | 2020-12-11 | 杭州山立净化设备股份有限公司 | 一种化工设备用筒体智能化检验设备及筒体检验方法 |
CN113740380B (zh) * | 2021-08-17 | 2022-07-12 | 华中科技大学 | 一种基于温差的裂纹磁粉检测方法 |
CN114088624B (zh) * | 2021-11-09 | 2022-08-26 | 北京中检葆泰生物技术有限公司 | 用于谷物颗粒表面规则度检测设备 |
CN116967846B (zh) * | 2023-09-25 | 2023-12-12 | 深圳市磐锋精密技术有限公司 | 一种智能机器人视觉定位系统及方法 |
CN117876368B (zh) * | 2024-03-11 | 2024-06-21 | 成都唐源电气股份有限公司 | 一种接触轨集电靴碳滑板磨耗和裂纹的检测方法及系统 |
CN118169491B (zh) * | 2024-03-15 | 2024-10-11 | 浙江德利接插件有限公司 | 一种用于机器人的电连接器寿命预测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102692188A (zh) * | 2012-05-08 | 2012-09-26 | 浙江工业大学 | 机械视觉疲劳裂纹扩展试验裂纹长度动态测量方法 |
CN103529128A (zh) * | 2013-09-30 | 2014-01-22 | 天津工程机械研究院 | 一种疲劳裂纹在线检测系统及检测方法 |
JP2014157038A (ja) * | 2013-02-14 | 2014-08-28 | Toyota Motor Corp | 被測定物の疲労き裂の自動計測装置およびプログラム |
CN106596305A (zh) * | 2016-12-19 | 2017-04-26 | 潍柴动力股份有限公司 | 一种高频振动下疲劳裂纹检测系统及检测方法 |
CN206300840U (zh) * | 2016-12-26 | 2017-07-04 | 长安大学 | 一种可调的疲劳裂纹扩展实验摄像头 |
CN109060819A (zh) * | 2018-07-06 | 2018-12-21 | 中国飞机强度研究所 | 一种振动部件裂纹测量中视场内误差修正方法 |
WO2019108905A1 (en) * | 2017-11-30 | 2019-06-06 | University Of Kansas | Fatigue crack detection using feature tracking |
-
2019
- 2019-11-13 CN CN201911104322.XA patent/CN110853018B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102692188A (zh) * | 2012-05-08 | 2012-09-26 | 浙江工业大学 | 机械视觉疲劳裂纹扩展试验裂纹长度动态测量方法 |
JP2014157038A (ja) * | 2013-02-14 | 2014-08-28 | Toyota Motor Corp | 被測定物の疲労き裂の自動計測装置およびプログラム |
CN103529128A (zh) * | 2013-09-30 | 2014-01-22 | 天津工程机械研究院 | 一种疲劳裂纹在线检测系统及检测方法 |
CN106596305A (zh) * | 2016-12-19 | 2017-04-26 | 潍柴动力股份有限公司 | 一种高频振动下疲劳裂纹检测系统及检测方法 |
CN206300840U (zh) * | 2016-12-26 | 2017-07-04 | 长安大学 | 一种可调的疲劳裂纹扩展实验摄像头 |
WO2019108905A1 (en) * | 2017-11-30 | 2019-06-06 | University Of Kansas | Fatigue crack detection using feature tracking |
CN109060819A (zh) * | 2018-07-06 | 2018-12-21 | 中国飞机强度研究所 | 一种振动部件裂纹测量中视场内误差修正方法 |
Non-Patent Citations (3)
Title |
---|
Non-contact fatigue crack detection in civil infrastructure through image overlapping and crack breathing sensing;Xiangxiong Kong et al.;《Automation in Construction》;20181218;第125-139页 * |
基于虚拟仪器技术的疲劳裂纹在线测量系统的研究;吴丽华;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20150815(第08期);论文第24-37页 * |
机器视觉谐振式疲劳裂纹扩展试验系统研究;高红俐;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20161215(第12期);论文第19-34页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110853018A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110853018B (zh) | 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法 | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN109489724B (zh) | 一种隧道列车安全运行环境综合检测装置及检测方法 | |
CN111369516B (zh) | 基于红外图像识别的变压器套管发热缺陷检测方法 | |
CN102608126A (zh) | 一种高温连铸坯表面缺陷在线检测方法和装置 | |
CN113252568A (zh) | 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端 | |
CN104458764B (zh) | 基于大景深条带图像投影的弯曲粗糙表面缺陷鉴别方法 | |
CN114719749B (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
CN110873718A (zh) | 基于机器视觉的钢板表面缺陷检测系统及方法 | |
Fu et al. | Research on image-based detection and recognition technologies for cracks on rail surface | |
CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
CN109622404B (zh) | 一种基于机器视觉的微工件自动分拣系统及方法 | |
CN109557098A (zh) | 基于机器视觉的金属表面检测系统 | |
Wang et al. | Design of machine vision applications in detection of defects in high-speed bar copper | |
CN115078382A (zh) | 基于视频图像的桥梁裂缝监测系统 | |
CN117570880A (zh) | 型材直线度检测方法 | |
US5606410A (en) | Method for controlling the surface state of one face of a solid and the associated device | |
CN115684269A (zh) | 一种用于压力容器设计的表面缺陷识别系统及方法 | |
CN116091506A (zh) | 一种基于yolov5的机器视觉缺陷质检方法 | |
CN117396987A (zh) | 用于自动检测、定位和表征缺陷的核燃料棒表面检查系统和程序 | |
CN111583241B (zh) | 超大面积蜂窝产品规整度的移动式检测方法及装置 | |
CN107607539B (zh) | 一种连杆胀断面质量视觉检测装置和检测方法 | |
CN114286078A (zh) | 摄像头模组镜片外观检查方法及设备 | |
CN114707529B (zh) | 一种线阵相机调焦过程中的图像质量评价方法和系统 | |
Chao et al. | Parameters of small pitch thread measured by an intelligent detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |