CN102837406B - 基于fast-9图像特征快速配准算法的模具监视方法 - Google Patents

基于fast-9图像特征快速配准算法的模具监视方法 Download PDF

Info

Publication number
CN102837406B
CN102837406B CN201210294384.3A CN201210294384A CN102837406B CN 102837406 B CN102837406 B CN 102837406B CN 201210294384 A CN201210294384 A CN 201210294384A CN 102837406 B CN102837406 B CN 102837406B
Authority
CN
China
Prior art keywords
image
point
theta
fast
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210294384.3A
Other languages
English (en)
Other versions
CN102837406A (zh
Inventor
邢科新
林叶贵
姜旭飞
董辉
何德峰
徐建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining huangwan town Asset Management Co., Ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201210294384.3A priority Critical patent/CN102837406B/zh
Publication of CN102837406A publication Critical patent/CN102837406A/zh
Application granted granted Critical
Publication of CN102837406B publication Critical patent/CN102837406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种基于FAST-9图像特征快速配准算法的模具监视方法包括以下过程:1)分别采集注塑机开模到位时和顶针顶出之后的标准模板图像;2)等待注塑机工作状态信息,当注塑机运行至开模到位时,通过摄像机对模具型腔面连续取像,并对监控图像的当前帧做预处理,为后续的图像快速配准做准备;3)执行基于FAST-9图像特征快速配准算法;4)再将配准之后的当前帧与模板图像做差分;5)采用Ostu自动阈值分割算法实现图像的二值化,对图像进行连续的开和闭运算;6)通过空穴检测查看产品成型是否存在异常,如果有异常则显示报警信息;否则继续等待开下一周期的注塑机工作状态信息。本发明实时性良好、鲁棒性强。

Description

基于FAST-9图像特征快速配准算法的模具监视方法
技术领域
[0001] 本发明涉及工业自动化控制领域中注塑机行业,尤其是一种注塑机模具监视方法,主要涉及计算机视觉中的特征检测、图像配准及图像差分技术。
背景技术
[0002] 近年来随着塑料制品应用领域的不断扩大,全球对注塑机的需求呈现了持续大幅攀升的趋势。为了对注塑机生产过程中模具存在的残留、滑块错位、脱模不良等异常情况进行实时监控以实现对模具的自动保护,模具保护器被大量引入注塑行业中。这种基于图像处理技术的监控系统极大提高了注塑模具的安全性和工作效率,降低了修模成本和工作人员的劳动强度。但是,目前的模具保护器还存在成本较高、操作复杂、漏检、误检率高等缺点,主要表现在以下两个方面。
[0003] 从硬件角度而言,现有的模具保护器普遍选择工控机作为主控单元,而工控机一般都没有数字1接口,为了与注塑机交互控制信号,必须对标准的工控机进行改造,增加1扩展接口 ;另外,工控机也没有标准的模拟相机接口,必须增加图像采集卡或者直接与数字相机相连接。因此,整个系统硬件成本比较高,系统可扩展性也较差。
[0004] 另一方面,从软件角度而言,目前引入的模具保护器功能都比较单一,模具保护装置内部的图像处理算法简单,智能化程度相对较低,导致需要复杂的人工操作和经验来保证其结果的正确性。例如,运行前的样本学习,报错后的经验学习,多模板的选择,检测区域及一些参数的人工选择问题等。这些都极大地依赖于现场的环境和操作人员的经验。同时,针对模具归位不准、机械振动造成的图像偏差问题。厦门大学的詹长明采用了基于灰度的模板匹配方法来解决。但光照变化会造成不同灰度属性或对比度差异,因此基于灰度的匹配算法对于光照变化往往缺乏鲁棒性。浙江大学的毛峰等人则利用小波分析方法解决几何偏差的问题,通过图像数据散布图分析解决光照变化带来的影响,取得了较好的效果,但算法的实时性有待进一步提高。由于SIFT(Scale-1nvariant feature transform,尺度不变特征转换)特征对图像的尺度、光照、平移、旋转等变换具有不变性。近年来,许多学者对基于SIFT特征的图像配准方法进行研究。SIFT特征匹配算法是LoweD提出的一种有效的图像匹配算法,该算法的优点是对图像的尺度、光照、平移、旋转等变换具有不变性,但也存在实时性不足的缺点。因此Sukthankar和Ke提出一种运用主成分分析的SIFT算法;Bay提出了 SURF算法——增强版的SIFT算法。这些优化后的SIFT算法实时性更好,但仍难以满足模具保护系统的实时性要求。SIFT特征匹配算法中图像金字塔的构建以及过多的关键点是造成算法实时性不高的重要原因之一。因此,该发明采用一种改进的图像特征快速配准算法:利用FAST-9快速角点检测方法改进SIFT特征匹配算法。作为另一种增强型SIFT特征匹配算法,它高效地解决了光照对特征匹配的影响和现场噪声、阴影以及机械震动造成的图像偏差问题,使得前景图像和背景图像能完全吻合,也十分符合系统的实时性要求。
[0005] 中国专利也公开了一些模具保护的装置和方法。如授权公开号为CN102152457A的发明公开了一种基于直方图匹配的嵌入式模具保护装置,根据两张直方图的差异来判断是否存在未脱模的制品。该发明通过直方图的匹配检测出不同图像显著的边缘和颜色的统计变化,达到报警的目的。但该发明还存在以下问题:在开模到位后,机械手抓取产品前,缺少对动模上产品质量的一次检测;光照变化会造成不同灰度属性或对比度差异,因此灰度直方图匹配算法对于光照变化往往缺乏鲁棒性。再如授权公开号为CN102363354A的发明公开了一种基于机械视觉的注塑机模具保护系统和方法。利用红外相机判断产品是否合格,落料后再次对模具进行拍摄,判断是否落料成功,并给出检测结果。该发明同样存在以下问题:说明书中没有考虑机械震动对检测的影响,缺乏关键合理的图像处理算法描述。授权公开号为CN102303397A的发明公开了用于模具成型机的模具图像监视方法及装置,该发明将摄取的图片存储在临时储存单元并与大量的基准图像相比较,进行判断,如果出现误判,将该图片添加到相应的存储单元中,最终达到模具的保护作用。该发明同样也存在以下问题:模具保护装置内部的图像处理算法简单,智能化程度相对较低,需要通过经验学习获取大量基准图片,才能保证检测结果的正确性。而经验学习极大地依赖于现场的环境和操作人员的经验;算法通用性及对环境变化的鲁棒性较差;随着样本图片的增加,图片所需的存储空间和检测算法所需的时间都随之增加。
发明内容
[0006] 为了克服已有注塑机模具监视方法的实时性较差、鲁棒性较差的不足,容易受现场光照、噪声、阴影以及机械震动的影响,本发明提供一种实时性良好、鲁棒性强的基于FAST-9图像特征快速配准算法的模具监视方法。
[0007] 本发明解决其技术问题所采用的技术方案是:
[0008] 一种基于FAST-9图像特征快速配准算法的模具监视方法,所述模具监视方法包括以下过程:
[0009] I)分别采集注塑机开模到位时和顶针顶出之后的标准模板图像,并进行预处理,以消除图像中无关的信息,;
[0010] 2)等待注塑机工作状态信息,所述状态信息包括开模到位、顶针到位和安全门;当系统处于监控工件时,通过摄像机对模具型腔面连续取像,并对监控图像的当前帧做预处理,为后续的图像快速配准做准备;
[0011] 3)执行基于FAST-9图像特征快速配准算法,使当前帧与模板图像之间做图像特征的快速配准,具体过程如下:
[0012] 3.1)关键点的检测:
[0013] 利用FAST-9快速角点检测方法分别获取实时图像和样本图像关键点,首先以当前像素点P为圆心,构建半径为3的森汉姆圆圈,然后比较圆心点P与周围圆圈上的点
(1..16)的像素灰度值,若有连续η个圈上点都比圆心点像素值高或者低一个阈值t,则认为该点为关键点,X与P之间的关系表不为:
f d.1pt < Ip -1 darker
[0014] Sp,„m:1 Λ.‘ ϊρ-ί< Ip >χ < /,,十ί similar
\ίκ Ir-¥i < Ip.ν brighter
[0015] 其中,Ιρ — Χ表示圈上像素点灰度值,Ip为圆心灰度值;
[0016] 3.2)关键点主方向的确定:
[0017] 采用梯度直方图统计法:每个像素点梯度表示为:
Γ Ί , fSI Si) ,、
[0018] gradl(χ, ν) = -7-,— (I)
κδχ dy)
[0019] 梯度方向表示为:
[0020] ^(X5J) = Ian 1.....^..........=......(2)
[0021] 梯度幅值表示为:
[0022] m(x, j) = J,: (y『+P (χ。:) (3)
[0023]其中,f (X,y) =L(x+1, y) -L(x_l, y),g(x, y) =L(x, y+1) -L(x, y-1)。
[0024] 在关键点[0,2π]的范围内构建梯度直方图,每个柱代表10°的范围,共36个柱,其中柱的方向代表统计梯度方向,柱的高低代表统计梯度幅值;直方图生成后,其主峰方向作为关键点的主方向,同时选取幅值高达主峰80%的能量峰值作为辅方向;
[0025] 3.3)构建SIFT特征描述子:将坐标移至关键点主方向上,并以角点为中心的圆形邻域内构建4X4X8维向量表征,最终生成规范化的128维描述子L=Q1, I^l128);
[0026] 3.4)特征匹配:当特征向量欧氏距离的最近邻和次近邻距离之比小于一个阈值α时,则认为匹配成功,公式表示为:
Ci(RnSi)
[0027] ⑷
[0028] 其中Ri为I旲板图中关键点描述子,Si为实时图中最近邻点描述子,Sj为实时图中次近邻点描述子;
[0029] 3.5)图像配准:考虑模具监视系统中只存在旋转和平移的几何变化,则图像间变化矩阵表示为:
rcosO ~r%m0 dx
[0030] M: rsin" rm$0 dy (5)
O O I _
[0031] 其中,Θ为旋转因子,r为缩放因子,dx和dy分别表示图像横纵坐标上的偏移量。
[0032] 因此,若特征点P Oq,Y1)和q(x2,y2)是匹配的特征点对,则有变换关系:
r ί XI 「rcos沒一Γ*
[0033] 1 =..」~ w (6)
F1 rsmd rmsO \\ dy x r
^ * Λ L JL--J L ^ «
[0034] 采用RANSAC法剔除误配点,再采用最小二乘法拟合变换参数,过程如下:
[0035] a随机抽取N个样本,根据样本估计模型参数M,再根据M计算每一匹配对之间的距离,将距离小于阈值的匹配对作为内点;
[0036] b将上述过程重复K次,选择包含内点数目最多的一个点集;
[0037] c用所选取的点集中的匹配对重新计算M,再用最小二乘法来最小化误差,这样在求取最终解之前,先去掉了不符合大多数解的外点,消除了误配点对的影响,从而得到多数匹配点对所满足的最终变换模型;
[0038] d通过图像间的变换参数求得校正后的图像,最终完成图像的配准;
[0039] 4)再将配准之后的当前帧与模板图像做差分;
[0040] 5)采用Ostu自动阈值分割算法实现图像的二值化,对图像进行连续的开和闭运算以消除噪声影响;
[0041] 6)通过空穴检测查看产品成型是否存在异常,如果有异常则显示报警信息,注塑机停止压模进入连锁保护措施;否则继续等待下一周期的注塑机工作状态信息。
[0042] 本发明的有益效果主要表现在:1、利用FAST-9快速角点检测和SIFT描述子实现图像的快速配准,高效地解决了光照对特征匹配的影响和现场噪声、阴影以及机械震动造成的图像偏差问题,使得前景图像和背景图像能完全吻合。同时,加快了特征提取速度,提升了图像特征匹配效率。这些都是现有技术所没有考虑的影响系统的关键因素。这种改进后的图像特征快速配准算法大大增强了系统的实时性和鲁棒性,使整套系统能对模具生产进行智能化实时监控。2、该系统模块化设计,安装便捷,可直接插拔;能设定任意形状的检测区域,适用各种复杂模具,通用性强。核心控制板采用叠加式架构,通过上下两个总线插槽将最小系统板和外扩板衔接起来,减少系统体积;最小系统板采用高速的DSP处理器,判定处理时间不超过0.3秒;并且提供丰富的输入输出1接口,通过信号转接板完成与注塑机之间的电平转换;红外光源配合红外摄像机,可以减少现场光照对系统的干扰;交互式人机界面,界面直观,显示人性,操作简单,对普通工人无特殊要求,也无需长时间学习。输出的视频图像经过压缩编码后通过10/100M以太网口输出到远端主机进行存储或者实时监控;外扩DDR2SDRAM和FLASH可以存储大量图像数据和执行代码。标准的CVBS与VGA输出接口,通用性强。3、在模具生产过程中,该发明能对异常情况进行实时监控。当开模到位时,摄像机对模具型腔面进行第一次拍照,即一检,检测成型的产品是否是良品;在顶针顶出后,摄像机对模具型腔面进行第二次拍照,即二检,检测是否有残留、滑块错位、脱模不良等异常情况。当一检失败时,触摸屏显示报警信息,同时停止压模执行连锁保护措施,当二检失败时,注塑机停止合模并在触摸屏显示报警信息,有效地保护了模具。这种基于图像特征的实时监控系统极大提高了注塑模具的安全性,降低了修模成本,提高了工作效率,降低了工作人员的劳动强度。
附图说明
[0043] 图1是基于FAST-9图像特征快速配准算法的模具监视系统的架构框图。
[0044] 图2是DSP核心控制板的原理框图。
[0045] 图3是基于图像特征的快速配准算法流程图。
[0046] 图4是快速图像特征点提取的示意图。
[0047] 图5是基于FAST-9图像特征快速配准算法的模具监视方法的流程图。
具体实施方式
[0048] 下面结合附图对本发明作进一步描述。
[0049] 参照图1〜图5,一种基于FAST-9图像特征快速配准算法的模具监视方法,在一个完整的模具成型周期内,当注塑机运行至开模到位时,输出信号触发模具监控系统,系统通过摄像机对模腔连续取像,同时经由信号转接板采集开模到位、顶针到位、安全门等注塑机工作状态,进而由DSP核心控制板对监控图像进行分析和处理,消除由于现场噪声、光线、阴影以及机械振动等因素造成的影响。通过比较确定是否存在成型产品残缺,如有异常则报警,否则继续。当注塑机顶针顶出后,再次采集图像,监控顶针是否将成型工件顶出并下落,当监控到工件完全下落则发出允许信号反馈给注塑机以开始下一个周期;如在设定时间内工件尚未落下或模具间有杂物时,则发出异常信号,停止注塑机动作并报警。与此同时,以上过程中任何时候DSP核心控制板一旦检测到异常的安全门信号,立即停止注塑机动作并报警。系统的参数设置、报警状态信息及实时监控画面则由触摸式液晶屏提供。
[0050] 本实施例的监视系统硬件架构如图1所示,分为五部分:DSP核心控制板、红外摄像机、红外光源、信号转接板、触摸式液晶屏和备用键盘。
[0051] DSP核心控制板是硬件平台的主体,如图2所示,它采用叠加式架构,通过上下两个总线插槽将DSP最小系统板和外扩板衔接起来,以减少系统体积。DSP最小系统板是启动微处理器的基本单元;外扩板包括视频图像输入模块、视频图像输出模块和存储管理模块。
[0052] 视频图像输入模块,本系统采用TVP5150芯片设计解码电路,它把模拟的输入视频流转化为8位的ITU-R BT.656格式的数字视频图像数据,DSP处理器通过片上的视频口把BT.656数据流存入FIFO,然后通过EDMA通道把FIFO中的数据搬入片内或片外存储器,在程序中可以调用图像数据进行处理。也可以通过设置视频口寄存器,采集视频图像中的部分区域,进行图像裁剪。
[0053] 视频图像输出模块支持CVBS与VGA两种模拟信号输出,一路DAC作为电压参考线和R偏差信号输出;另三路DAC_A、DAC_B、DAC_C作为VGA模式输出,同时DAC_A也作为CVBS模式复用输出。输出的视频图像也可以经过压缩算法编码后通过10/100M以太网口输出到远端主机进行存储或进一步处理。
[0054] 存储管理模块,系统通过32位EMIF总线扩展256M字节的DDR2SDRAM,同时由EMIFA接口扩展4M字节的FLASH,用以存储图像数据和执行代码。
[0055] 信号转接板完成注塑机与DSP核心控制板之间信号输入输出的电平转换。输入通过光电隔离,减少注塑机控制器带来的干扰,输出通过继电器隔离,同时增加了信号的驱动能力。
[0056] 红外光源配合红外摄像机,可以避免其他可见光的影响,从而获取效果最佳的图像。普通的工业摄像机则容易受光照变化对系统的干扰。
[0057] 交互式人机界面则结合DSP视频处理后端(VPBE)的OSD窗口管理,并根据⑶I分层原理设计用户操作界面。界面菜单包括检测区域选择、参数设置、系统学习和触摸屏校正等选项,状态栏则显示系统状态信息,包括报警、I/o 口及算法运行时间等状态信息。
[0058] 在以上各单元中,摄像机通过相机接口与核心控制板的视频图像输入模块相连,采集图像信息。触摸式液晶屏通过接口与核心控制板的视频图像输出模块相连,显示最终结果。注塑机通过信号转接板与核心控制板相连。
[0059] 为了解决光照对特征匹配的影响和现场噪声、阴影以及机械震动造成现场图片和模板图片之间的几何偏移问题,使得前景图像和背景图像能完全吻合,该发明采用一种基于FAST-9图像特征快速配准算法:利用FAST-9快速角点检测方法改进SIFT特征匹配算法。作为另一种增强型SIFT算法,大大增强了系统的实时性,满足系统的设计要求。具体流程如图3。
[0060] I)关键点的检测:
[0061] 利用FAST-9快速角点检测方法分别获取实时图像和样本图像关键点。具体步骤:首先以当前像素点P为圆心,构建半径为3的森汉姆圆圈如图4,然后比较圆心点P与周围圆圈上的点X e (1..16)的像素灰度值,若有连续η (本文η=9)个圈上点都比圆心点像素值高或者低(即亮或暗)一个阈值t,则认为该点为关键点。X与P之间的关系可表示为:
P» Ir vv darker
[0062] 5U* =ls» f, ,ν 么 1., + < similar
I氣 I,, +t < I,, „ brighier (2)
[0063] 其中,Ip —x表示圈上像素点灰度值,Ip为圆心灰度值。
[0064] 2)关键点主方向的确定:
[0065] 关键点定位后,根据关键点邻域像素的梯度幅值、方向分布特性确定关键点的主方向。其具体方法采用梯度直方图统计法:每个像素点梯度表示为:
f gj
[0066] gradl (x, y)= —(I)
V句 * J
[0067] 梯度方向表示为:
γ π 、 ί Γ /-(χ, ί- +1) - L(x.ν -1) ,
[0068] θ(χ, ν) =tan -::■■■■;—:(2)
L 尺(-' + 1’兄)-,-(Λ -1,.”」
[0069] 梯度幅值表示为:
[0070] m(x,y)=」f2(x、y) + g2(x,y) (3)
[0071]其中,f (x, y) =L(x+1, y) -L(χ-l, y), g(x, y) =L(χ, y+1)-L(χ, y-1)。
[0072] 在关键点[0,2π]的范围内构建梯度直方图,每个柱代表10°的范围,共36个柱,其中柱的方向代表统计梯度方向,柱的高低代表统计梯度幅值。直方图生成后,其主峰方向作为关键点的主方向,同时选取幅值高达主峰80%的能量峰值作为辅方向,这样加大了匹配的鲁棒性。
[0073] 3)构建SIFT特征描述子:
[0074] 关键点的方向确定后,再根据SIFT特征描述子的构建方法,将坐标移至关键点主方向上,并以角点为中心的圆形邻域内构建4X4X8维向量表征,最终生成规范化的128维描述子L=Q1, V..I128),它是区域图像信息的一种抽象,具有唯一性。
[0075] 4)特征匹配:
[0076] 结合最近邻匹配法,当特征向量欧氏距离的最近邻和次近邻距离之比小于一个阈值α时,则认为匹配成功,公式可表示为:
d(ll,S:)
[0077] JfZ.......六.< « (4)
Ct(RnSl)
[0078] 其中Ri为I吴板图中关键点描述子,Si为实时图中最近邻点描述子,Sj为实时图中次近邻点描述子。
[0079] 5)图像配准:
[0080] 获得图像特征点匹配信息后,就能估算出图像间的变化关系。考虑模具监视系统中只存在旋转和平移的几何变化,则图像间变化矩阵可表示为:
rcosO -rs'mO dx[0081 ] M = r sin Θ rcmO dy (5)
O O I ^
[0082] 其中,θ为旋转因子,r为缩放因子,dx和dy分别表示图像横纵坐标上的偏移量。
[0083] 因此,若特征点P (X1, Y1)和q (x2, y2)是匹配的特征点对,则有变换关系:
「.X1I 「rcos 沒一rsin 沒1「λ\1 「r/xl
[0084] =.Λ Λ — H /
U」Lrsm^ rcosr;J[r,j [ί/rj
[0085] 但根据前文所述匹配原则得到的匹配对,由于在特征匹配时存在阈值选取和各种误差,会导致特征点的误匹配,因此本文采用RANSAC法剔除误配点,再采用最小二乘法拟合变换参数。基本思想如下所示:
[0086] a随机抽取N个样本,根据样本估计模型参数M,再根据M计算每一匹配对之间的距离,将距离小于阈值的匹配对作为内点。
[0087] b将上述过程重复K次,选择包含内点数目最多的一个点集。
[0088] c用所选取的点集中的匹配对重新计算M,再用最小二乘法来最小化误差,这样在求取最终解之前,先去掉了不符合大多数解的外点,消除了误配点对的影响,从而得到多数匹配点对所满足的最终变换模型。
[0089] d通过图像间的变换参数求得校正后的图像,最终完成图像的配准。
[0090] 这种增强型的图像特征快速配准算法可以除去了光照影响和灰度值的漂移,加快了特征提取速度,有效提升了特征匹配效率。
[0091] 一种基于FAST-9图像特征快速配准算法的模具监视方法,在一个完整的模具成型周期内,模具保护系统作为独立的工作平台,能在智能化的工作状态下对一检和二检能提供精确的检测结果。
[0092] 在一个具体的生产实例中,步骤如下:
[0093] 步骤一:分别采集注塑机开模到位时和顶针顶出之后的标准模板图像,并进行预处理,以消除图像中无关的信息,最终存储在DSP核心控制板的存储模块中;等待开模到位、顶针到位、安全门等注塑机工作状态信息;系统处于监控工件时,通过摄像机对模具型腔面连续取像,并由DSP核心控制板对监控图像的当前帧做预处理,为后续的图像快速配准做准备;之后执行基于FAST-9图像特征快速配准算法,使当前帧与模板图像之间做图像特征的快速配准,消除由于现场噪声、光线、阴影以及机械震动等因素造成的影响;再将配准之后的当前帧与模板图像做差分;采用Ostu自动阈值分割算法实现图像的二值化;对图像进行连续的开和闭运算以消除噪声影响;最后通过空穴检测查看是否存在异常,如果有异常则在触摸屏显示报警信息,注塑机停止压模进入连锁保护措施;否则继续等待开模到位、顶针到位、安全门等注塑机工作状态信息。
[0094] 步骤二:当注塑机顶针顶出后,通过摄像机对模具型腔面连续取像,并由DSP核心控制板对监控图像的当前帧做预处理,为后续的图像快速配准做准备;之后执行基于FAST-9图像特征快速配准算法,使当前帧与模板图像之间做图像特征的快速配准,消除由于现场噪声、光线、阴影以及机械震动等因素造成的影响;再将配准之后的当前帧与模板图像做差分;采用Ostu自动阈值分割算法实现图像的二值化;对图像进行连续的开和闭运算以消除噪声影响;最后通过空穴检测监控顶针是否将成型工件顶出并下落,当工件完全下落则发出允许信号反馈给注塑机,以开始等待下一个模具成型周期;如在设定时间内工件尚未落下或模具间有杂物时,则注塑机停止合模并在触摸屏显示报警信息。以上过程中任何情况下DSP核心控制板一旦检测到异常的安全门信号,立即停止注塑机动作并报警。
[0095] 下面通过一个生产实例对基于FAST-9图像特征快速配准算法做进一步的详细说明:
[0096] 步骤一:利用FAST-9快速角点检测方法分别获取实时图像和样本图像关键点,当森汉姆圆圈上连续9个点的像素值都比当前圆心P高或者低50个灰度值,则认为该点就是关键点。
[0097] 步骤二:根据关键点邻域像素的梯度幅值、方向分布特性确定关键点的主方向,同时选取幅值高达主峰80%的能量峰值作为辅方向。
[0098] 步骤三:将16X16临域图像旋转至主方向与图像X轴方向一致,并将该临域分成4X4个子区域,并计算4X4子区域内8个方向的梯度直方图,最终生成规范化的4X4X8共 128 维描述子 L= (I1, V" I128)。
[0099] 步骤四:特征匹配:当特征向量欧氏距离的最近邻和次近邻距离之比小于0.6时,则认为匹配成功。
[0100] 步骤五:用RANSAC法剔除误配点,得到实际的模型参数 "0,9904cos5.0119 -0.99»4sin5.0119 -10.0096"
M = 0.9904sin5.0119 0.9904cos5J)l 19 4.9728 ,若特征点 p (X1, Yl)和 q (x2, y2)是匹配的特征 I) 0 I
Ητα.Γ'τι1「0.9904cos 5.0119 -0,9904sin 5.0119]Γ.ν.1 [-10.0096] ^ Q、系、一 _ 你点对,则有变换关系(3:Jl0.9904sin5.0,19 0.9904COs5.0,19 jUJl 4.9728 J *并且通过图像间的变换参数求得校正后的图像,最终完成图像的配准。
[0101] 根据上述描述的图像特征快速配准算法步骤得到校正后图像:特征点的匹配结果用连线标明。测试表明:该算法在成像质量不高或者光照影响的情况下都取得了较佳的匹配效果。
[0102] 另外,选取一组未知几何偏差的模具图片。同时给出了存在异物的模具图像配准前后的差分效果对比图,并进行了二值化处理,最终实现简单的模具监视系统异物检测功能。测试表明:没有经过图像配准,出现了大量虚假检测目标,对差分图像带来明显的干扰,甚至影响检测结果。而经过图像特征快速配准算法的校正,图像间只是出现微小的偏差,从而有效解决了图像偏移造成的干扰,检测结果理想,符合实际情况,说明本算法可以有效解决模具监视系统中的图像几何偏差问题,大大的减少了对模具漏检率和误检率,更明显的体现了该发明的优越性。

Claims (1)

1.一种基于FAST-9图像特征快速配准算法的模具监视方法,其特征在于:所述模具监视方法包括以下过程: 1)分别采集注塑机开模到位时和顶针顶出之后的标准模板图像,并进行预处理,以消除图像中无关的信息,最终存储在DSP核心控制板的存储模块中; 2)等待注塑机工作状态信息,所述状态信息包括开模到位、顶针到位和安全门;当系统处于监控工件时,通过摄像机对模具型腔面连续取像,并对监控图像的当前帧做预处理,为后续的图像快速配准做准备; 3)执行基于FAST-9图像特征快速配准算法,使当前帧与模板图像之间做图像特征的快速配准,具体过程如下: 3.1)关键点的检测: 利用FAST-9快速角点检测方法分别获取实时图像和样本图像关键点,首先以当前像素点P为圆心,构建半径为3的森汉姆圆圈,然后比较圆心点P与周围圆圈上的点xe (1..16)的像素灰度值,若有连续η个圈上点都比圆心点像素值高或者低一个阈值t,则认为圆心点P为关键点,X与P之间的关系表不为: d.Up-1 灰度值比?点_S”, = 5, < IfJ< Ir +1 灰度值与P点相» [h./„+/</„...»« 灰度值比P点亮 其中,IpI表示圈上像素点灰度值,Ip为圆心灰度值; 3.2)关键点主方向的确定: 采用梯度直方图统计法:每个像素点梯度表示为: gradl = (I) SyJ 梯度方向表示为: αι 、* -1「I(毛 V +1) — L(x, V — 1) θ(χ, ν) = tan -^£^^:--(2).lL(x + l,y)-L(x-\,y)j..梯度幅值表示为: w(x, ν) = ^]f2(x,y) + g2(x,y) (3) 其中,f(x,y) = L (x+1, y) -L(χ-l, y), g(x, y) = L(x, y+l)-L(x, y-1); 在关键点[0,2π]的范围内构建梯度直方图,每个柱代表10的范围,共36个柱,其中柱的方向代表统计梯度方向,柱的高低代表统计梯度幅值;直方图生成后,其主峰方向作为关键点的主方向,同时选取幅值高达主峰80%的能量峰值作为辅方向; 3.3)构建SIFT特征描述子:将坐标移至关键点主方向上,并以角点为中心的圆形邻域内构建4X4X8维向量表征,最终生成规范化的128维描述子L = (Iplfl128); 3.4)特征匹配:当特征向量欧氏距离的最近邻和次近邻距离之比小于一个阈值α时,则认为匹配成功,公式表示为:d(RnS,) Il(RnSi) W 其中Ri为模板图中关键点描述子,Si为实时图中最近邻点描述子,Sj为实时图中次近邻点描述子; 3.5)图像配准:考虑模具监视系统中只存在旋转和平移的几何变化,则图像间变化矩阵表示为: rcmff ™rsintf dx~] M ~ r sin Θ r cosΘ dy (5) D 0 I j 其中,Θ为旋转因子,r为缩放因子,dx和dy分别表示图像横纵坐标上的偏移量;因此,若特征点ρ(χ” Y1)和q(x2, y2)是匹配的特征点对,则有变换关系: 1 Γ rcosd -rsin 沒\dx\ = 十 (6) V5J [rsill^ rCOS0 JLy2J I^yJ 采用RANSAC法剔除误配点,再采用最小二乘法拟合变换参数,过程如下:a随机抽取N个样本,根据样本估计模型参数M,再根据M计算每一匹配对之间的距离,将距离小于阈值的匹配对作为内点; b将上述过程重复K次,选择包含内点数目最多的一个点集; c用所选取的点集中的匹配对重新计算M,再用最小二乘法来最小化误差,这样在求取最终解之前,先去掉了不符合大多数解的外点,消除了误配点对的影响,从而得到多数匹配点对所满足的最终变换模型; d通过图像间的变换参数求得校正后的图像,最终完成图像的配准; 4)再将配准之后的当前帧与模板图像做差分; 5)采用Ostu自动阈值分割算法实现图像的二值化,对图像进行连续的开和闭运算以消除噪声影响; 6)通过空穴检测查看产品成型是否存在异常,如果有异常则显示报警信息,注塑机停止压模进入连锁保护措施;否则继续等待下一周期的注塑机工作状态信息。
CN201210294384.3A 2012-08-17 2012-08-17 基于fast-9图像特征快速配准算法的模具监视方法 Active CN102837406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210294384.3A CN102837406B (zh) 2012-08-17 2012-08-17 基于fast-9图像特征快速配准算法的模具监视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210294384.3A CN102837406B (zh) 2012-08-17 2012-08-17 基于fast-9图像特征快速配准算法的模具监视方法

Publications (2)

Publication Number Publication Date
CN102837406A CN102837406A (zh) 2012-12-26
CN102837406B true CN102837406B (zh) 2014-12-03

Family

ID=47365255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210294384.3A Active CN102837406B (zh) 2012-08-17 2012-08-17 基于fast-9图像特征快速配准算法的模具监视方法

Country Status (1)

Country Link
CN (1) CN102837406B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6149829B2 (ja) * 2014-09-03 2017-06-21 コニカミノルタ株式会社 画像処理装置及び画像処理方法
CN104772880B (zh) * 2015-04-10 2017-05-24 浙江工业大学 一种基于lmdo的注塑机械手模具异常检测方法
CN105427333B (zh) * 2015-12-22 2019-06-11 厦门美图之家科技有限公司 视频序列图像的实时配准方法、系统及拍摄终端
CN105809674A (zh) * 2016-03-03 2016-07-27 厦门大学 一种基于机器视觉的模具保护装置及其方法
CN106339753A (zh) * 2016-08-17 2017-01-18 中国科学技术大学 一种有效提升卷积神经网络稳健性的方法
CN107798681B (zh) * 2016-09-02 2021-01-15 天津工业大学 基于数学形态学的小目标图像快速阈值分割方法
CN106408597A (zh) * 2016-09-08 2017-02-15 西安电子科技大学 基于邻域熵和一致性检测的sar图像配准方法
CN107301661B (zh) * 2017-07-10 2020-09-11 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107966448A (zh) * 2017-11-17 2018-04-27 福建工程学院 一种用于pcb锡膏印刷质量的2维检测方法
CN108734180B (zh) * 2018-05-22 2020-09-11 东南大学 一种基于计算方式优化的sift特征点梯度生成方法
CN109331990A (zh) * 2018-09-28 2019-02-15 天津理工大学 一种废旧玻璃快速自动回收分拣工艺
CN109435204A (zh) * 2018-10-23 2019-03-08 河北三能科技有限公司 一种用于控制橡胶挤出机的巡航定速控制系统及方法
CN111823236A (zh) * 2020-07-25 2020-10-27 湘潭大学 一种图书馆管理机器人及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003001688A (ja) * 2001-06-26 2003-01-08 Sumitomo Heavy Ind Ltd 通信ネットワークを利用した遠隔監視方法
JP2008155510A (ja) * 2006-12-25 2008-07-10 Toyo Mach & Metal Co Ltd 成形機
CN101337424A (zh) * 2007-07-02 2009-01-07 优志旺电机株式会社 模具监视装置
CN102303397A (zh) * 2011-08-29 2012-01-04 厦门伟迪康科技有限公司 用于模具成型机的模具图像监视方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003001688A (ja) * 2001-06-26 2003-01-08 Sumitomo Heavy Ind Ltd 通信ネットワークを利用した遠隔監視方法
JP2008155510A (ja) * 2006-12-25 2008-07-10 Toyo Mach & Metal Co Ltd 成形機
CN101337424A (zh) * 2007-07-02 2009-01-07 优志旺电机株式会社 模具监视装置
CN102303397A (zh) * 2011-08-29 2012-01-04 厦门伟迪康科技有限公司 用于模具成型机的模具图像监视方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多尺度FAST-9的图像快速匹配算法;郭莉莎 等;《计算机工程》;20120630;第38卷(第12期);第208-210及217页 *
郭莉莎 等.基于多尺度FAST-9的图像快速匹配算法.《计算机工程》.2012,第38卷(第12期),第208-210及217页. *

Also Published As

Publication number Publication date
CN102837406A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
CN102837406B (zh) 基于fast-9图像特征快速配准算法的模具监视方法
CN102789672B (zh) 一种婴儿睡姿智能识别方法及装置
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
CN102706274B (zh) 工业结构化场景中机器视觉精确定位机械零件的系统
CN105717132B (zh) 一种pc构件生产线的预埋件检测系统和方法
CN101477631B (zh) 图像中提取目标的方法、设备及人机交互系统
CN102034098A (zh) 螺钉自动分类系统以及螺钉自动分类方法
CN102152457B (zh) 一种基于直方图匹配的嵌入式塑料模具保护装置
CN202826324U (zh) 注塑机模具监视装置
CN107894996A (zh) 基于智能监拍装置的图像智能分析方法
CN102879404B (zh) 工业结构化场景中医用胶囊缺陷自动检测的系统
Liang et al. In-line inspection solution for codes on complex backgrounds for the plastic container industry
CN204546978U (zh) 基于arm的注塑机模具监视装置
Manasa et al. Real time object counting using Raspberry pi
CN103552224A (zh) 注射压缩成型光学级透明制品质量在线检测方法
CN102023163A (zh) 基于dsp的接插件检测系统和检测方法
CN202029367U (zh) 一种基于直方图匹配的嵌入式塑料模具保护装置
Hu et al. A novel vision-based mold monitoring system in an environment of intense vibration
Lin et al. One-shot learning gesture recognition based on improved 3D SMoSIFT feature descriptor from RGB-D videos
CN105619741A (zh) 一种基于Tegra K1的模具智能检测方法
CN104772880B (zh) 一种基于lmdo的注塑机械手模具异常检测方法
CN103440666B (zh) 一种非静态背景下运动区域快速定位的智能装置
Li Moving object segmentation based on histogram for video surveillance
TW201421372A (zh) 行人偵測系統與方法
CN103632548A (zh) 一种车牌识别控制系统及其应用

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
TR01 Transfer of patent right

Effective date of registration: 20191224

Address after: 314400 in huangwan town government, Haining City, Jiaxing City, Zhejiang Province

Patentee after: Haining huangwan town Asset Management Co., Ltd

Address before: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China

Patentee before: Guangdong Gaohang Intellectual Property Operations Co., Ltd.

Effective date of registration: 20191224

Address after: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China

Patentee after: Guangdong Gaohang Intellectual Property Operations Co., Ltd.

Address before: Hangzhou City, Zhejiang province 310014 City Zhaohui District Six

Patentee before: Zhejiang University of Technology

TR01 Transfer of patent right