CN102565072A - 拉伸铝合金板表面裂纹立体视觉在线检测方法 - Google Patents

拉伸铝合金板表面裂纹立体视觉在线检测方法 Download PDF

Info

Publication number
CN102565072A
CN102565072A CN2011104557843A CN201110455784A CN102565072A CN 102565072 A CN102565072 A CN 102565072A CN 2011104557843 A CN2011104557843 A CN 2011104557843A CN 201110455784 A CN201110455784 A CN 201110455784A CN 102565072 A CN102565072 A CN 102565072A
Authority
CN
China
Prior art keywords
crackle
crack
stress
parameter
measurement device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104557843A
Other languages
English (en)
Other versions
CN102565072B (zh
Inventor
王德麾
朱才朝
丁华锋
李大峰
蔡奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN 201110455784 priority Critical patent/CN102565072B/zh
Publication of CN102565072A publication Critical patent/CN102565072A/zh
Application granted granted Critical
Publication of CN102565072B publication Critical patent/CN102565072B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种拉伸铝合金板表面裂纹立体视觉在线检测方法。该视觉测量方法采用2台CCD相机,固联于设备上以保持其相对位置参数不变,2台相机参数的定标操作由配套的定标程序自动完成,相机的焦距参数由专门的精密机电系统控制及输出,能够实现小物体空间坐标信息的精密测量;在此基础上,提出了基于表面纹理特征点(检测点)位移量的区域应力和裂纹长度实时测量算法。所测得的应力水平、裂纹长度信息,结合裂纹扩展理论,能够实现裂纹威胁评估及行为预测,并可确定最优拉伸工艺参数,避免拉伸过程中断带事故的发生,保障设备及生产人员的安全,提高产品良品率,在板材加工领域有着广泛的应用前景。

Description

拉伸铝合金板表面裂纹立体视觉在线检测方法
技术领域
本发明涉及一种板材应力、裂纹几何尺寸检测技术,特别涉及一种基于计算机视觉的拉伸铝板表面裂纹在线检测方法。
背景技术
在板带材拉伸加工中,待加工板材质量缺陷、夹持条件、拉伸工艺参数等因素,都会造成板带材表面裂纹。其不仅决定着成品的质量,还可能导致严重的断带事故,损坏拉伸设备,并威胁生产人员的人身安全,因此需要实时的严格监控表面裂纹的发展情况,及时调整工艺参数,保障生产的顺利进行。
目前表面裂纹的检测主要分为主动、被动两种方法。主动检测法是人为给系统外界激励,通过测量系统响应进行系统状态的分析,目前具有代表的技术有:声发射裂纹检测技术、振动模态检测技术、利用裂纹电磁特性的检测技术;被动检测法是利用系统自身信号进行系统状态的分析,主要通过可见光、红外图像进行检测。由于在生产条件下,加工设备自身的振动、电磁干扰等会通过多种途径耦合进主动检测系统的激励信号和数据采集信号中,能够显著降低裂纹测量精度,且可能无法对小型裂纹进行检测;而被动检测技术目前主要通过使用诸如小波分析、神经网络等图像处理识别方法检测裂纹,更偏重于解决某区域内裂纹的“有”、“无”问题,而无法给出裂纹的几何尺寸信息,而此恰恰为调整拉伸工艺参数的关键依据。例如多数金属板材的断裂表现为塑性断裂,即裂纹长度小于失稳扩展临界值时,处于可控的稳态扩展阶段,及时调整拉伸参数可避免裂纹在加工完成前达到失稳扩展的临界长度,进而避免断带事故的发生,提高成品率。
对裂纹几何尺寸的测量,可利用立体视觉原理有效的解决。其基本原理是采用双CCD相机构成立体视觉系统,由被测点在两相机所成图像上的坐标,可以解出此点的空间位置坐标。通过测量裂纹上任意点的空间坐标,即可获得其长度信息;通过利用拍摄图像的时间信息,可以进一步获取裂纹的扩展速度信息。但要进行立体视觉的测量需要首先对相机参数进行标定,即获取相机的内部参数(焦距、像素间物理距离等信息)和在某坐标系中的位置参数(包括旋转参数矩阵和平移向量)。虽目前已有多种相机定标算法,但仍需针对实际的生产条件,发开简便、准确的定标算法,并实现定标过程的自动化,同时通过改进CCD相机的硬件,提高相机抗振动等干扰的能力,提高可靠性。
因此,急需一种能预测拉伸铝合金板表面断带事故的发生并能适时调整拉伸工艺参数的在线检测方法。
发明内容
有鉴于此,为了解决上述问题,本发明提出利用视觉原理来测量拉伸铝合金板表面裂纹的在线检测方法。
本发明的目的是提出一种拉伸铝合金板表面裂纹立体视觉在线检测方法。
本发明的目的是通过以下技术方案来实现的:
本发明提供的拉伸铝合金板表面裂纹立体视觉在线检测方法,包括以下步骤:
S1:设置视觉测量装置并自动定标和获取该视觉测量装置中的相机内部参数;
S2:通过视觉测量装置采集图像;
S3:通过采集图像判断是否已建立检测点,如果是,则转入步骤S5进行;
S4:如果否,则根据表面纹理自动建立检测点;
S5:通过板材表面纹理信息自动识别、确定检测点,测量各检测点当前位置坐标;
S6:根据各检测点初始、当前位置坐标,计算各检测点在板材拉抻变形过程中随表面材料移动的距离,并将测得的各检测点的位移传入区域应力测量模块计算区域应力分布;
S7:检测区域裂纹,根据区域应力分布确定出现裂纹的区域,并对已出现的裂纹进行危险性评估:
S8:判断是否完成拉伸,如果否,则确定并调整拉伸工艺参数,并返回步骤S2;
S9:如果是,则结束在线检测。
进一步:所述步骤S1中视觉测量装置自动定标过程具体包括以下步骤:
S11:将视觉测量装置放于定标数据输出液晶显示屏前;
S12:所述液晶显示屏输出用于焦距调节的图像,所述视觉测量装置中的CCD相机根据调焦图像自动完成对焦;
S13:输出按定标算法处理的定标图像,并通过视觉测量装置对每副定标图像进行采集和处理;
S14:通过采集的系列图像计算CCD相机的内部参数,并传进视觉测量装置中保存。
进一步:所述区域应力测量采用以下方法来计算:
S61:联接相邻多个检测点,划分整个监测区域并形成有限个非重叠子区域,将每个子区域作为网格并构成位移插值函数;
S62:根据位移插值函数,用网格顶点位移构建网格区域内的应变方程;
S63:由视觉测量装置测得各网格顶点位移值,并根据网格顶点位移建立的应变方程,获得网格内的应变分布。
进一步:所述裂纹检测模块中的裂纹评估通过以下方法来进行计算:
S71:确定裂纹扩展时的临界平衡;
S72:确定裂纹稳定扩展力曲线;
S73:根据裂纹扩展时的临界平衡和裂纹稳定扩展力曲线评估当前裂纹危险程度。
进一步:所述裂纹评估流程通过以下方法来进行:
S731:获取加工板材力学参数和几何尺寸信息,计算板材中发生失稳裂纹的极限长度amax,采用以下公式来计算裂纹失稳扩展的判别阈值:
a′max=α·aamax
其中,α为安全系数α∈(01],a′max作为裂纹失稳扩展的判别阈值;
S732:获取加工板材力学参数和几何尺寸信息,并建立曲线方程R(Δa);
S733:检测区域内是否有裂纹产生;如果裂纹出现,则确定裂纹长度a;
S734:根据裂纹长度a与a′max的关系,进行裂纹危险等级评估;
S735:根据裂纹危险等级,采取相应的对策处理;
S736:返回S72循环执行直到完成拉伸操作。
进一步:所述步骤S734裂纹危险等级评估,包括以下具体步骤:
S7341:如果a≥a′max时,则当前裂纹为最危险的程度,定为1级;
S7342:如果a<a′max时,则获取当前拉伸应力δ、当前板材拉伸率和设定拉伸率数据,并计算由此阶段至拉伸完成阶段必需的最小拉伸应力δmin
S7343:根据最小拉伸应力δmin判断当前裂纹是否能在完成拉伸前发展到失稳扩展长度,如果能,则定为2级;表如果不能,则定位3级;如果未监测到裂纹时,定为4级;
进一步:所述步骤S735采取相应的对策处理,具体步骤如下:
S7351:如果为1级:紧急停止拉伸;
S7352:如果为2级:发出预警,调用拉伸工艺参数模块,确定当前情况下可能的最大拉伸量及相关拉伸工艺参数,重点监测裂纹;
S7353:如果为3级:重点监测裂纹发展情况,调用拉伸工艺参数确定模块计算新拉伸参数;
S7354:如果为4级:系统未监测到裂纹,但保持监测。
进一步:所述拉伸工艺参数确定是根据通过下述方法来设定最优化指标,进而确定出相应的拉伸应力加载曲线,并同时不使裂纹产生进一步的扩展:
S81:选取裂纹动态起始扩展判据;
S82:确定使裂纹保持稳定的外应力曲线族δ(t);
S83:设定最优化指标,采用最快加工时间、裂纹不扩展时板材最大拉伸量;
S84:在外应力曲线族δ(t)中确定使设定最优化指标的应力加载曲线δ0(t),δ0(t)即为最优化拉伸应力加载参数。
本发明的优点在于:本发明利用计算机视觉技术,实现了对拉伸板表面裂纹产生、发展情况的在线监测,通过测得的裂纹长度信息,根据材料力学参数及断裂理论,评估、预测裂纹对拉伸加工的影响,并通过适时调整拉伸工艺参数预防断带事故的发生,还具有以下优点:
(1)采用双CCD相机的视觉测量装置及其配套的相机参数标定算法,实现板材表面裂纹几何尺寸的实时测量。装置中2台CCD相机相对位置固定,相机参数标定仅需进行一次,保证装置的可靠性和易用性。
(2)利用视觉系统对板材局部区域应力水平进行评测,通过板材监测区域表面的纹理特征,能自动标识出若干检测点,在板材拉伸时,可以通过视觉系统实时测量各检测点位移情况,并根据应力-位移方程估计区域内应力水平,再根据断裂理论预测裂纹出现时间及区域,评估当前拉伸参数下断带发生几率。
(3)根据监测区域应力水平、裂纹长度可以确定最佳拉伸工艺参数,将裂纹长度控制在失稳临界扩展长度以内,这样就可以通过降低材料内部应力水平、应力加载速率等方法可能使裂纹处于稳定状态或缓慢扩展状态;而当裂纹长度接近失稳扩展临界值时,可及时作出预警,以此避免断带事故的发生。
本发明的其它优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其它优点可以通过下面的说明书,权利要求书,以及附图中所特别指出的结构来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1是双CCD相机的视觉测量装置原理示意图;
图2是相机自动定标原理图;
图3是对区域应力水平、裂纹几何信息的测量检测原理图;
图4是用于测量板材区域应力水平的算法原理图;
图5是本系统的工作流程图。
具体实施方式
以下将结合附图,对本发明的优选实施例进行详细的描述;应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
图1是双CCD相机的视觉测量装置原理示意图,图2是相机自动定标原理图,图3是对区域应力水平、裂纹几何信息的测量监测原理图,图4是用于评测板材局部区域应力水平的算法原理图,如图所示:本发明提供的拉伸铝合金板表面裂纹视觉在线检测系统,包括视觉测量装置、区域应力测量模块、裂纹检测模块、拉伸工艺参数确定模块和控制模块;
视觉测量装置,用于通过视觉测量装置实时测量板材表面若干检测点的位移信息,检测点由视觉测量装置获取的拉伸板表面纹理图像自动识别、确定;
区域应力测量模块,用于处理由视觉测量装置获取的板材表面各检测点位移信息,以获取板材监测区域应力分布;
裂纹检测模块,用于利用视觉测量装置、区域应力测量模块获取的检测点位移和区域应力分布信息,预测、监控裂纹的产生、扩展;
拉伸工艺参数确定模块,用于根据监测区域应力水平、裂纹信息确定拉伸工艺参数;
控制模块,用于存储当前加工板材力学、尺寸信息;管理拉伸工艺参数并控制拉伸设备。管理包括获取、共享和修改工艺参数。
视觉测量装置1包括2台CCD相机(CCD数码相机I2和CCD数码相机II3)、电源及控制信号和数据I/O接口5,所述CCD相机设置有自动标定模块,所述自动标定模块用于自动计算CCD相机参数以进行板材表面检测点位移的测量。自动标定模块、区域应力测量模块、裂纹检测模块、拉伸工艺参数确定模块和控制模块均通过上位机6来计算和控制,其中相机定标用图像用来相机定标用图像7进行,在板材表面设置监测区域8,该监测区域8选取三个监测点作为A监测点、B监测点和C监测点,然后通过区域应力测量模块来检测板材表面监测区域8中的监测点10位移信息,以获取板材监测区域应力分布,同时获取检测板材表面是否有裂纹9。所述视觉测量装置还包括照明光源4,所述照明光源4用于为CCD相机拍摄视频图像所需要的光源。
图5为本发明基本工作流程,具体步骤方法为:
S1:设置视觉测量装置并自动定标和获取该视觉测量装置中的相机内部参数;
由透镜成像原理可得如下的CCD相机成像方程:
z c u v 1 = K [ RT ] x y z 1 = M x y z 1
式中,[x,y,z]为空间一点的坐标;参数K,R,T依次为相机的内部参数矩阵,旋转矩阵和平移向量,它们可合成一个3×4的矩阵M;[u,v]为空间点在图像上的像素坐标;zc为此点在相机坐标系中的z轴坐标。相机定标即是通过已知的[x,y,z]及[u,v]参数,求解出K,R,T参数。
在设备位置固定后,其参数也就基本确定,理论上进行过定标操作后,获得的定标参数即储存于设备内部,在以后的测量过程中都不用再重复这一操作。但实际情况中,存在多种因素可致使相机参数发生变化,因此特别设置了相机自动化定标功能,如附图2所示,所述步骤S1中视觉测量装置自动定标过程具体包括以下步骤:
S11:视觉测量装置放于定标数据输出液晶显示屏前的适当位置;
S12:液晶显示屏输出用于焦距调节的图像;视觉测量装置中的CCD相机根据调焦图像自动完成对焦;
S13:液晶屏上开始按定标算法,依次输出定标图像;视觉测量装置对每副定标图像进行拍照,图像数据传进数据处理计算机中,有些定标算法可能需要视觉测量装置移动一次位置后,再次重复以上过程;
S14:数据处理计算机对视觉测量装置所采集的系列图像进行处理,利用相机参数定标公式计算出每部CCD相机的内部参数,并传进视觉测量装置中保存,用于后续测量。
S2:通过视觉测量装置采集图像;视觉测量装置采集板材测量区的图像。进行二维测量时,仅需要1台相机拍摄1张图像;三维测量时,则需要使用2台相机各拍摄1张图像(共2张图像)。所获图像用于后续的检测点创建、检测点位移测量、裂纹几何量测量等操作。
S3:判断是否已建立检测点,如果是,则转入步骤S5进行;
系统完成第一次图像采集后,需要确定所要测量的检测点,并把此时的空间坐标作为各检测点的初始位置。以后都是对已经确定的检测点进行空间坐标测量,无需再进行检测点的创建。
S4:如果否,则根据表面纹理自动建立检测点;本系统选取板材表面纹理上的点作为检测点,在后续图像上识别、定位检测点时,首先根据先前建立好的纹理特征数据识别纹理,然后在纹理上识别出检测点,
所述检测点自动识别步骤为:
S41:对获取的板材表面图像进行图像处理,提取出表面纹理。纹理即板材表面存在的具有特定颜色或灰度的区域,可采用图像小波分析等方法实现。
S42:建立各纹理区的特征信息组。特征信息可以是纹理区的形状特点、颜色灰度值等,用于识别其在后续图像中的位置。
S43:取纹理上易于识别定位的点做为监测点。监测点可以是纹理轮廓上的端点、角点、交叉点等。把监测点所处纹理、位置特征(端点、角点等)称为其特征信息,即对于任意一个监测点,都可以通过其特征信息唯一确定。
S5:测量各检测点位置坐标,通过已确定的板材表面纹理信息,在获取图像上自动识别检测点,并由成像方程确定其空间位置坐标。
所述空间位置坐标测量方法为:
设待测点P的空间坐标为[x,y,z],则其在2台CCD相机中的图像坐标满足下式:
z c 1 u 1 v 1 1 = K 1 [ R 1 T 1 ] x y z 1 = M 1 x y z 1 z c 2 u 2 v 2 1 = K 2 [ R 2 T 2 ] x y z 1 = M 2 x y z 1
因相机参数已通过定标确定,即参数矩阵M1,M2已知。则通过上式6个方程即可确定5个未知的参数x,y,z,Zc1,Zc2
特别的,第一次测得的各检测点空间坐标作为初始位置参数,即认为此时板材内没有应力,或把此时板材内应力水平作为基准。
S6:测量区域应力;将获得的当前检测点位置与其初始位置参数进行比较,可获得板材拉抻变形过程中检测点随表面材料移动的距离,将此数据传入区域应力测量模块计算区域应力分布。所述区域应力测量采用以下方法来计算:
S61:联接相邻多个检测点,把整个监测区域划分为有限个非重叠子区域,每个子区域作为网格并定义由形函数构成的插值函数,用作为网格顶点的多个检测点位移代替描述整个网格区域的位移模式;
S62:根据材料力学中的几何方程,用网格顶点位移(第i个顶点的x、y方向上的位移分别ui、vi,此网格任意点(x,y)的x、y方向上的位移为ux、uy)构建网格区域内的应变方程
Figure BDA0000127605060000081
Figure BDA0000127605060000082
其中Ni(x,y)为仅与顶点位置坐标相关的形函数;
S63:各检测点当前位置参数与其初始位置参数相减,获得各网格顶点的位移值ui、vi,并将网格顶点位移代入S62中建立的应变方程,得到网格内的应变分布;
S64:根据材料力学中的几何、物理方程和材料力学常数,用
Figure BDA0000127605060000083
Figure BDA0000127605060000084
表示板材上各点处的应力、应变张量,进而计算出网格内的应力分布。
S7:裂纹检测模块根据应力数据,进行裂纹出现区域的预测、已出现裂纹的几何量测量和根据裂纹危险程度划分等级。
所述功能具体步骤为:
S71:裂纹区域预测子模块根据当前板材中应力水平划分出若干监测区域,用高检测频率优先检测高应力区域。
S72:裂纹几何量检测子模块首先识别、提取出裂纹图像,再利用S5中所述方法对其进行长度、形态等方面的测量。
裂纹图像的识别、提取方法可采用以下步骤进行:
S721:图像二值化分割。图像分割就是将图像中具有特殊含义的区域(目标图像)与背景区分开来,其理论基础是目标图像与背景在灰度、颜色、纹理、局部统计特征和频域特征等方面上存在差异,由此也形成多种分割算法,以模糊C均值分割算法为例具体说明。
模糊C均值算法的目的是把n个样本划分到c个类别中,使各个样本与其所在类均值的误差平方和最小。设数据点集N={x1,x2,...,xk}∈Rpn(k=1,2,...,n)中有n个样本,在此理解为一副图像有n个像素组成。将所有样本划分为c个子集Ci(i=1,2...,c)。则各个样本与其所在类均值的误差平方和(目标函数)可用下式表示:
J = Σ i c Σ k n u i , k m | x k - v i | 2 , ( k = 1,2 , . . . , n ) , ( i = 1,2 . . . , c )
式中xi为图像第i个像素的灰度值;m是加权指数,m∈[1,∞]一般m=2(1.5~2.5)是比较理想的取值;vi、ui,k分别是每个子集的聚类中心、第k个样本对第i类子集的隶属度,由下式计算:
v i = Σ k = 1 n ( u i , k ) 2 x k Σ k = 1 n ( u i , k ) 2 , i = 1,2 u ik = ( 1 / | | x k - v i | | 2 ) 1 / ( m - 1 ) Σ j = 1 c ( 1 / | | x k - v j | | 2 ) 1 / ( m - 1 ) .
ui,k同事满足:0≤ui,k≤1, &Sigma; i = 1 c u i , k = 1 , 0 < &Sigma; k = 1 n u i , k < n .
用模糊C均值算法分割时,首先设置加权指数m=2,以及子集的个数c=2;然后计算分类器的聚类中心值vi,第一步迭代式可初选符合要求的隶属度;再计算第k个样本对第i类子集的隶属度ui,k;重复vi、ui,k的计算步骤,当算法收敛时,就得到了各类聚类中心和各个样本对于各类的隶属度值,从而完成了模糊聚类划分;最后根据目标函数可以将图像分割成C个子区域,从而完成目标像素的分割。
把得到的分割图像进行二值化处理,即仅保留分割图像区域的形状特征,去掉颜色、灰度信息。
S722:图像形态学分析。以上根据灰度特征获得的分割图像集中,必然包含有非裂纹图像,因此需要根据裂纹的形态学特征进行再次的筛选。因裂纹一般呈连续的“线”状,并具有一定的长度,因此利用这些特性排除掉点状、较少像素构成的分割图像。以Hough变换直线检测算法为例进行说明。
设空间任一点P(x,y),平面内所有过P点的直线均可表示为:
rho=x·cos(θ)+y·sin(θ)θ∈(-90° 90°).
当rho,θ确定后,上式能表示平面内某条过P(x,y)点的直线,即平面内任意一直线都对应rho,θ空间中的一个点。
Figure BDA0000127605060000096
Figure BDA0000127605060000097
即平面内每一组过点(x,y)的所有直线均可用一条正弦型函数曲线表示,曲线上的任一点均表示过点(x,y)的某一条直线。
如平面内的两个点(x1,y1),(x2,y2),过两点的两组直线对应的正弦型函数曲线分别为L1,L2。L1,L2如果有交点A(rhoL,θL),则(x1,y1),(x2,y2)过rhoL=x·cos(θL)+y·sin(θL)表示的一条直线。同理,如平面内有n个点Pi(i=1,2,...n),对应的正弦型函数曲线分别为Li(i=1,2,...n),正弦型函数曲线相交最多的点(区域)为A(rhoLk,θLk),则直线rhoLk=x·cos(θLk)+y·sin(θLk)为Pi(i=1,2,...n)的拟合直线。
S723:拟合直线的空间聚类分析。实际裂纹并不是规则的直线形态,如1条折线型裂纹经hough变换直线检测后,会得到多条拟合直线。因此需要按照各拟合直线在图像上的相对位置关系进行聚类分析,把存在交点、直线间端点距离较近的直线合并,作为一条裂纹的图像。
S73:裂纹评估子模块对已出现的裂纹进行危险性评估。
所述裂纹检测模块中的裂纹评估子模块可通过以下公式来进行计算:
S731:通过以下公式来表示裂纹扩展时的临界平衡:
G(P,a)=R(Δa),其中,G(P,a)为裂纹扩展力曲线,a为裂纹当前长度,Δa为裂纹长度扩展量,P为外力。
S732:通过以下公式来表示裂纹稳定扩展:
Figure BDA0000127605060000101
其中,R(Δa)为阻力曲线,G(P,a)为裂纹扩展力曲线。
以G(P,a)为能量释放率进行具体说明。如宽度为W,且其远远大于长度为2a的中心裂纹的板材,在远处均匀加载拉伸应力
Figure BDA0000127605060000102
则每个裂纹尖端能量释放率为:
G = &pi;P 2 a EW 2 .
则可得
Figure BDA0000127605060000104
则此时表示的裂纹稳定条件为G<a·R′(Δa)。
S733:通过裂纹评估子模块进行当前裂纹危险程度评估。
所述裂纹评估子模块工作流程通过以下方法来进行计算:
S7331:通过控制模块,获取加工板材力学参数和几何尺寸信息,利用公式G(P,a)=R(Δa)计算板材中发生失稳裂纹的极限长度amax;并设定安全系数α∈(0 1],由公式a′max=α·amax计算出的a′max作为裂纹失稳扩展的判别阈值;
S7332:通过控制模块,获取加工板材力学参数和几何尺寸信息,并建立曲线方程R(Δa);
S7333:获取由裂纹几何测量子模块测出的裂纹长度a;
S7334:由当前裂纹长度a与a′max的关系,进行第一次评估,即a≥a′max时,设定当前裂纹为最危险的程度1级;a<a′max时,进入下一步进行评估;
S7335:由控制模块获取当前拉伸应力δ、当前板材拉伸率和设定拉伸率数据;计算由此阶段至拉伸完成阶段必需的最小拉伸应力δmin;利用公式
Figure BDA0000127605060000111
判断当前裂纹是否能在完成拉伸前发展到失稳扩展长度,如果可能发展为失稳,则设定其为2级,表示可能不能完成最后拉伸加工;否则定位3级,表示可能不影响拉伸加工;未检测到裂纹时,定为4级;
S7336:根据裂纹危险等级,按以下方式采取相应的对策处理,具体为:如果为1级:紧急停止拉伸;如果为2级:发出预警,调用拉伸工艺参数模块,确定当前情况下可能的最大拉伸量及相关拉伸工艺参数,重点监测裂纹;如果为3级:重点监测裂纹发展情况,调用拉伸工艺参数确定模块计算新拉伸参数;如果为4级:系统未监测到裂纹,但保持监测;如果没有中止、完成拉伸操作,返回重新开始执行。
S8:是否已完成拉伸操作。如果否,即必须根据当前裂纹危险等级调整拉伸参数。调整后的参数传入拉伸机的控制模块,并返回步骤S2。
所述拉伸工艺参数确定是根据通过下述方法来设定最优化指标,进而确定出相应的拉伸应力加载曲线,并同时不使裂纹产生进一步的扩展:
S81:选取某种裂纹动态起始扩展判据;以动态裂纹起始扩展断裂韧性判据为例进行原理说明,则长度为a,所受外应力及其加载速率为δ、
Figure BDA0000127605060000112
的裂纹不会发生扩展的条件为:
Figure BDA0000127605060000113
其中仅与拉伸板材材料、形状相关,是已知量;
S82:由S81中所述公式,确定使裂纹保持稳定的外应力曲线族δ(t);
S83:设定最优化指标,采用最快加工时间、裂纹不扩展时板材最大拉伸量;
S84:在曲线族δ(t)中确定使设定指标最优化的应力加载曲线δ0(t);δ0(t)即为拉伸工艺参数确定模块输出的最优化拉伸应力加载参数。
S9:如果是,则结束。
以上所述仅为本发明的优选实施例,并不用于限制本发明,显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:包括以下步骤:
S1:设置视觉测量装置并自动定标和获取该视觉测量装置中的相机内部参数;
S2:通过视觉测量装置采集图像;
S3:通过采集图像判断是否已建立检测点,如果是,则转入步骤S5进行;
S4:如果否,则根据表面纹理自动建立检测点;
S5:通过板材表面纹理信息自动识别、确定检测点,测量各检测点当前位置坐标;
S6:根据各检测点初始、当前位置坐标,计算各检测点在板材拉抻变形过程中随表面材料移动的距离,并将测得的各检测点的位移传入区域应力测量模块计算区域应力分布;
S7:检测区域裂纹,根据区域应力分布确定出现裂纹的区域,并对已出现的裂纹进行危险性评估:
S8:判断是否完成拉伸,如果否,则确定并调整拉伸工艺参数,并返回步骤S2;
S9:如果是,则结束在线检测。
2.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述步骤S1中视觉测量装置自动定标过程具体包括以下步骤:
S11:将视觉测量装置放于定标数据输出液晶显示屏前;
S12:所述液晶显示屏输出用于焦距调节的图像,所述视觉测量装置中的CCD相机根据调焦图像自动完成对焦;
S13:输出按定标算法处理的定标图像,并通过视觉测量装置对每副定标图像进行采集和处理;
S14:通过采集的系列图像计算CCD相机的内部参数,并传进视觉测量装置中保存。
3.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述区域应力测量采用以下方法来计算:
S61:联接相邻多个检测点,划分整个监测区域并形成有限个非重叠子区域,将每个子区域作为网格并构成位移插值函数;
S62:根据位移插值函数,用网格顶点位移构建网格区域内的应变方程;
S63:由视觉测量装置测得各网格顶点位移值,并根据网格顶点位移建立的应变方程,获 得网格内的应变分布。
4.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述裂纹检测模块中的裂纹评估通过以下方法来进行计算:
S71:确定裂纹扩展时的临界平衡;
S72:确定裂纹稳定扩展力曲线;
S73:根据裂纹扩展时的临界平衡和裂纹稳定扩展力曲线评估当前裂纹危险程度。
5.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述裂纹评估流程通过以下方法来进行:
S731:获取加工板材力学参数和几何尺寸信息,计算板材中发生失稳裂纹的极限长度amax,采用以下公式来计算裂纹失稳扩展的判别阈值:
a′max=α·amax
其中,α为安全系数α∈(0 1],a′max作为裂纹失稳扩展的判别阈值;
S732:获取加工板材力学参数和几何尺寸信息,并建立曲线方程R(Δa);
S733:检测区域内是否有裂纹产生;如果裂纹出现,则确定裂纹长度a;
S734:根据裂纹长度a与a′max的关系,进行裂纹危险等级评估;
S735:根据裂纹危险等级,采取相应的对策处理;
S736:返回S72循环执行直到完成拉伸操作。
6.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述步骤S734裂纹危险等级评估,包括以下具体步骤:
S7341:如果a≥a′max时,则当前裂纹为最危险的程度,定为1级;
S7342:如果a<a′max时,则获取当前拉伸应力δ、当前板材拉伸率和设定拉伸率数据,并计算由此阶段至拉伸完成阶段必需的最小拉伸应力δmin
S7343:根据最小拉伸应力δmin判断当前裂纹是否能在完成拉伸前发展到失稳扩展长度,如果能,则定为2级;表如果不能,则定位3级;如果未监测到裂纹时,定为4级。
7.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述步骤S735采取相应的对策处理,具体步骤如下:
S7351:如果为1级:紧急停止拉伸;
S7352:如果为2级:发出预警,调用拉伸工艺参数模块,确定当前情况下可能的最大拉 伸量及相关拉伸工艺参数,重点监测裂纹;
S7353:如果为3级:重点监测裂纹发展情况,调用拉伸工艺参数确定模块计算新拉伸参数;
S7354:如果为4级:系统未监测到裂纹,但保持监测。
8.根据权利要求1所述的拉伸铝合金板表面裂纹立体视觉在线检测方法,其特征在于:所述拉伸工艺参数确定是根据通过下述方法来设定最优化指标,进而确定出相应的拉伸应力加载曲线,并同时不使裂纹产生进一步的扩展:
S81:选取裂纹动态起始扩展判据;
S82:确定使裂纹保持稳定的外应力曲线族δ(t);
S83:设定最优化指标,采用最快加工时间、裂纹不扩展时板材最大拉伸量;
S84:在外应力曲线族δ(t)中确定使设定最优化指标的应力加载曲线δ0(t),δ0(t)即为最优化拉伸应力加载参数。 
CN 201110455784 2011-12-30 2011-12-30 拉伸铝合金板表面裂纹立体视觉在线检测方法 Expired - Fee Related CN102565072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110455784 CN102565072B (zh) 2011-12-30 2011-12-30 拉伸铝合金板表面裂纹立体视觉在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110455784 CN102565072B (zh) 2011-12-30 2011-12-30 拉伸铝合金板表面裂纹立体视觉在线检测方法

Publications (2)

Publication Number Publication Date
CN102565072A true CN102565072A (zh) 2012-07-11
CN102565072B CN102565072B (zh) 2013-12-18

Family

ID=46411058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110455784 Expired - Fee Related CN102565072B (zh) 2011-12-30 2011-12-30 拉伸铝合金板表面裂纹立体视觉在线检测方法

Country Status (1)

Country Link
CN (1) CN102565072B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103592365A (zh) * 2013-11-14 2014-02-19 西安交通大学 一种转子裂纹快速检测方法
CN103697823A (zh) * 2013-12-27 2014-04-02 天津大学 用于断裂韧度的施力点位移和缺口张开位移的测量方法
CN103698273A (zh) * 2012-12-11 2014-04-02 韩国地质资源研究院 使用微裂纹评估岩石劈裂强度的方法
CN103743754A (zh) * 2014-01-26 2014-04-23 宜昌宏箭铝业有限责任公司 一种铝型材表处后焊合线缺陷的基材即时鉴定方法和设备
CN106470776A (zh) * 2014-07-02 2017-03-01 新日铁住金株式会社 拉伸翻边裂纹预测方法、拉伸翻边裂纹预测装置、计算机程序及记录介质
CN106529510A (zh) * 2016-12-12 2017-03-22 中国科学院合肥物质科学研究院 一种用于电容薄膜的褶皱识别方法及装置
CN106814086A (zh) * 2016-12-07 2017-06-09 青岛海尔股份有限公司 内胆开裂分析方法
CN107576432A (zh) * 2017-08-14 2018-01-12 中国矿业大学(北京) 一种动态裂纹尖端应力场量测方法及装置
CN108020561A (zh) * 2016-11-03 2018-05-11 应用材料以色列公司 用于在检查对象时自适应采样的方法和其系统
CN109060819A (zh) * 2018-07-06 2018-12-21 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN110774419A (zh) * 2019-10-14 2020-02-11 中建材创新科技研究院有限公司 一种基于颜色识别的石膏板生产控制方法及颜色识别系统
CN111208138A (zh) * 2020-02-28 2020-05-29 天目爱视(北京)科技有限公司 一种智能木料识别装置
CN111323431A (zh) * 2020-03-10 2020-06-23 欧贝黎新能源科技股份有限公司 一种基于太阳能电池片硅片微裂纹检测装置及其使用方法
CN112051160A (zh) * 2020-09-09 2020-12-08 中山大学 管片接头抗弯刚度测量方法、系统、设备及存储介质
CN112215810A (zh) * 2020-09-27 2021-01-12 武汉大学 一种疲劳测试裂纹监测方法及装置
CN113008161A (zh) * 2021-02-23 2021-06-22 北京鹏龙星徽汽车销售服务有限公司工会 一种可视化故障处理控制系统
CN113297650A (zh) * 2021-07-28 2021-08-24 广东世纪达建设集团有限公司 一种基于bim技术的单元式玻璃幕墙施工方法及系统
CN113446932A (zh) * 2021-05-18 2021-09-28 西北工业大学 非接触式裂纹测量方法及其系统
CN113447354A (zh) * 2021-06-30 2021-09-28 张家港宏昌钢板有限公司 一种热轧带钢表面裂纹的检查方法
CN113840671A (zh) * 2019-05-13 2021-12-24 Sms集团有限公司 用于生产金属型材的拉伸设备以及用于自动地运行这种拉伸设备的方法
CN114719749A (zh) * 2022-04-06 2022-07-08 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114985569A (zh) * 2022-06-10 2022-09-02 中国电建集团成都电力金具有限公司 一种拉深过程的板料流动在线检测及成形缺陷控制方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944639A (ja) * 1982-09-07 1984-03-13 Mitsubishi Heavy Ind Ltd き裂自動撮影装置
JPH02198306A (ja) * 1989-01-28 1990-08-06 Shimizu Corp コンクリート部材の面内変位計測方法
JPH04355338A (ja) * 1991-06-03 1992-12-09 Toshiba Corp 構造部材の寿命予知装置
US5726907A (en) * 1995-07-31 1998-03-10 Southwest Research Institute Biaxial non-contacting strain measurement using machine vision
RU2115362C1 (ru) * 1992-11-05 1998-07-20 Мальцев Алексей Евгеньевич Способ определения места приложения силы при механической травме костей свода черепа трупа
FR2823849A1 (fr) * 2001-04-23 2002-10-25 Lorraine Inst Nat Polytech Dispositif de caracterisation optique du comportement mecanique local d'une structure pouvant presenter des deformations finies non homogenes
JP3785577B1 (ja) * 2004-12-10 2006-06-14 関西ティー・エル・オー株式会社 ひび割れ検出システム及びひび割れ検出方法
US20070209447A1 (en) * 2006-03-10 2007-09-13 Northrop Grumman Corporation In-situ large area optical strain measurement using an encoded dot pattern
CN101644646A (zh) * 2009-07-07 2010-02-10 西安交通大学 一种基于光学的断裂韧性测量方法
CN101688769A (zh) * 2007-07-03 2010-03-31 G科德系统有限公司 预拉伸监测方法
CN101957290A (zh) * 2010-09-30 2011-01-26 浙江大学 一种适用于受拉试件的疲劳试验机及其方法
CN102004057A (zh) * 2010-10-14 2011-04-06 厦门大学 基于机器视觉的三环链拉伸检测系统
US20110106459A1 (en) * 2009-10-29 2011-05-05 Northrop Grumman Corporation In-situ optical crack measurement using a dot pattern

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944639A (ja) * 1982-09-07 1984-03-13 Mitsubishi Heavy Ind Ltd き裂自動撮影装置
JPH02198306A (ja) * 1989-01-28 1990-08-06 Shimizu Corp コンクリート部材の面内変位計測方法
JPH04355338A (ja) * 1991-06-03 1992-12-09 Toshiba Corp 構造部材の寿命予知装置
RU2115362C1 (ru) * 1992-11-05 1998-07-20 Мальцев Алексей Евгеньевич Способ определения места приложения силы при механической травме костей свода черепа трупа
US5726907A (en) * 1995-07-31 1998-03-10 Southwest Research Institute Biaxial non-contacting strain measurement using machine vision
FR2823849A1 (fr) * 2001-04-23 2002-10-25 Lorraine Inst Nat Polytech Dispositif de caracterisation optique du comportement mecanique local d'une structure pouvant presenter des deformations finies non homogenes
JP3785577B1 (ja) * 2004-12-10 2006-06-14 関西ティー・エル・オー株式会社 ひび割れ検出システム及びひび割れ検出方法
US20070209447A1 (en) * 2006-03-10 2007-09-13 Northrop Grumman Corporation In-situ large area optical strain measurement using an encoded dot pattern
CN101688769A (zh) * 2007-07-03 2010-03-31 G科德系统有限公司 预拉伸监测方法
CN101644646A (zh) * 2009-07-07 2010-02-10 西安交通大学 一种基于光学的断裂韧性测量方法
US20110106459A1 (en) * 2009-10-29 2011-05-05 Northrop Grumman Corporation In-situ optical crack measurement using a dot pattern
CN101957290A (zh) * 2010-09-30 2011-01-26 浙江大学 一种适用于受拉试件的疲劳试验机及其方法
CN102004057A (zh) * 2010-10-14 2011-04-06 厦门大学 基于机器视觉的三环链拉伸检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
叶南等: "基于立体视觉的板料成形极限应变测量关键技术及其系统", 《航空学报》, vol. 31, no. 10, 31 October 2010 (2010-10-31) *
江慧丰等: "铝合金中PLC变形带的轨迹观察和研究", 《实验力学》, vol. 19, no. 04, 31 December 2004 (2004-12-31), pages 430 - 436 *
潘兵等: "应用数字图像相关方法测量含缺陷试样的全场变形", 《实验力学》, vol. 22, no. 0304, 31 August 2007 (2007-08-31), pages 379 - 384 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103698273A (zh) * 2012-12-11 2014-04-02 韩国地质资源研究院 使用微裂纹评估岩石劈裂强度的方法
CN103592365B (zh) * 2013-11-14 2015-05-20 西安交通大学 一种转子裂纹快速检测方法
CN103592365A (zh) * 2013-11-14 2014-02-19 西安交通大学 一种转子裂纹快速检测方法
CN103697823A (zh) * 2013-12-27 2014-04-02 天津大学 用于断裂韧度的施力点位移和缺口张开位移的测量方法
CN103697823B (zh) * 2013-12-27 2016-09-28 天津大学 用于断裂韧度的施力点位移和缺口张开位移的测量方法
CN103743754A (zh) * 2014-01-26 2014-04-23 宜昌宏箭铝业有限责任公司 一种铝型材表处后焊合线缺陷的基材即时鉴定方法和设备
CN103743754B (zh) * 2014-01-26 2016-04-13 宜昌宏箭铝业有限责任公司 一种铝型材表处后焊合线缺陷的基材即时鉴定方法和设备
US10467361B2 (en) 2014-07-02 2019-11-05 Nippon Steel Corporation Stretch flange crack prediction method, stretch flange crack prediction apparatus, computer program, and recording medium
CN106470776A (zh) * 2014-07-02 2017-03-01 新日铁住金株式会社 拉伸翻边裂纹预测方法、拉伸翻边裂纹预测装置、计算机程序及记录介质
CN108020561A (zh) * 2016-11-03 2018-05-11 应用材料以色列公司 用于在检查对象时自适应采样的方法和其系统
CN106814086A (zh) * 2016-12-07 2017-06-09 青岛海尔股份有限公司 内胆开裂分析方法
CN106814086B (zh) * 2016-12-07 2019-12-27 青岛海尔股份有限公司 内胆开裂分析方法
CN106529510A (zh) * 2016-12-12 2017-03-22 中国科学院合肥物质科学研究院 一种用于电容薄膜的褶皱识别方法及装置
CN106529510B (zh) * 2016-12-12 2019-07-05 中国科学院合肥物质科学研究院 一种用于电容薄膜的褶皱识别方法及装置
CN107576432B (zh) * 2017-08-14 2019-11-01 中国矿业大学(北京) 一种动态裂纹尖端应力场量测方法及装置
CN107576432A (zh) * 2017-08-14 2018-01-12 中国矿业大学(北京) 一种动态裂纹尖端应力场量测方法及装置
CN109060819A (zh) * 2018-07-06 2018-12-21 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN109060819B (zh) * 2018-07-06 2021-03-30 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN113840671A (zh) * 2019-05-13 2021-12-24 Sms集团有限公司 用于生产金属型材的拉伸设备以及用于自动地运行这种拉伸设备的方法
CN110774419A (zh) * 2019-10-14 2020-02-11 中建材创新科技研究院有限公司 一种基于颜色识别的石膏板生产控制方法及颜色识别系统
CN111208138A (zh) * 2020-02-28 2020-05-29 天目爱视(北京)科技有限公司 一种智能木料识别装置
CN111323431A (zh) * 2020-03-10 2020-06-23 欧贝黎新能源科技股份有限公司 一种基于太阳能电池片硅片微裂纹检测装置及其使用方法
CN112051160A (zh) * 2020-09-09 2020-12-08 中山大学 管片接头抗弯刚度测量方法、系统、设备及存储介质
CN112051160B (zh) * 2020-09-09 2022-04-19 中山大学 管片接头抗弯刚度测量方法、系统、设备及存储介质
CN112215810A (zh) * 2020-09-27 2021-01-12 武汉大学 一种疲劳测试裂纹监测方法及装置
CN113008161A (zh) * 2021-02-23 2021-06-22 北京鹏龙星徽汽车销售服务有限公司工会 一种可视化故障处理控制系统
CN113446932A (zh) * 2021-05-18 2021-09-28 西北工业大学 非接触式裂纹测量方法及其系统
CN113447354A (zh) * 2021-06-30 2021-09-28 张家港宏昌钢板有限公司 一种热轧带钢表面裂纹的检查方法
CN113297650A (zh) * 2021-07-28 2021-08-24 广东世纪达建设集团有限公司 一种基于bim技术的单元式玻璃幕墙施工方法及系统
CN114719749A (zh) * 2022-04-06 2022-07-08 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114719749B (zh) * 2022-04-06 2023-07-14 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114985569A (zh) * 2022-06-10 2022-09-02 中国电建集团成都电力金具有限公司 一种拉深过程的板料流动在线检测及成形缺陷控制方法

Also Published As

Publication number Publication date
CN102565072B (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN102565072B (zh) 拉伸铝合金板表面裂纹立体视觉在线检测方法
KR20200004824A (ko) 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
CN108458668A (zh) 基于双目视觉的板坯边部及头尾形状自动检测系统及方法
CN110458157B (zh) 一种电力电缆生产过程智能监控系统
KR101445973B1 (ko) 영상 처리 기술을 이용한 블록 제작 공정 진척도 인식 방법 및 그 시스템
CN109523539A (zh) 基于多相机阵列的大尺寸的工业板材在线测量系统及方法
CN110130987A (zh) 一种基于图像分析的隧道收敛变形监测方法
Al‐Salih et al. Application of a digital image correlation bridge inspection methodology on geometrically complex bifurcated distortion‐induced fatigue cracking
CN110197485A (zh) 一种古建筑彩绘梁位移的测量系统
CN116563386A (zh) 一种基于双目视觉的变电作业人员近电距离检测方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
Jourdan et al. A computer vision system for saw blade condition monitoring
CN105184792A (zh) 一种圆锯片磨损量在线测量方法
CN112183264B (zh) 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法
CN106645168B (zh) 一种起重机臂筒表面凹凸缺陷的检测方法
CN115797411A (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法
O'Byrne et al. Effects of turbidity and lighting on the performance of an image processing based damage detection technique
Wang et al. Quality inspection scheme for automotive laser braze joints
JP2021174216A (ja) 設備点検システム、設備点検方法
CN113326793A (zh) 一种远距离行人位置识别方法、系统及存储介质
CN113727022A (zh) 巡检图像的采集方法及装置、电子设备、存储介质
Saragih et al. Defect identification and measurement using stereo vision camera for in-line inspection of pipeline
Appio et al. Automatic surface inspection in steel products ensures safe, cost-efficient and timely defect detection in production
JPH05322531A (ja) 物体の3次元形状測定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131218

Termination date: 20141230

EXPY Termination of patent right or utility model