CN104897062A - 一种零件异面平行孔形位偏差的视觉测量方法及装置 - Google Patents
一种零件异面平行孔形位偏差的视觉测量方法及装置 Download PDFInfo
- Publication number
- CN104897062A CN104897062A CN201510362452.9A CN201510362452A CN104897062A CN 104897062 A CN104897062 A CN 104897062A CN 201510362452 A CN201510362452 A CN 201510362452A CN 104897062 A CN104897062 A CN 104897062A
- Authority
- CN
- China
- Prior art keywords
- image
- parallel hole
- hole
- matching
- antarafacial parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 5
- 238000000691 measurement method Methods 0.000 title abstract 2
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002984 plastic foam Substances 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013316 zoning Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 239000007787 solid Substances 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005299 abrasion Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种零件异面平行孔形位偏差的视觉测量方法及装置,包括按顺序进行的如下步骤:步骤[1]双目摄像机参数标定;步骤[2]零件实体图像的异面平行孔特征分析和处理;步骤[3]零件实体图像的异面平行孔匹配特征点提取;步骤[4]零件异面平行孔三维信息重构,并分析计算相应圆孔的直径、圆度、孔间距、深度分布等形位偏差参数。本发明不仅能够快速、高效的完成所述零件特征圆孔形位偏差测量,满足高精密测量的精度要求,同时具有测量操作简单、设备维护成本低等优点。
Description
技术领域
本发明涉及工业零件测量领域,特别是一种零件异面平行孔形位偏差的视觉测量方法及装置。
背景技术
随着制造业的进步,有更多的复杂新型机械产品出现,而对复杂工业零件测量精度、测量时间的要求也越来越高。创新产品测量手段,减少测量所用时间,是保证产品质量、提高生产效率的关键步骤。
具有异面平行孔特征的零件在工业现场具有应用广、数量多的特点,如常见的发动机箱体、家用电器(如冰箱、空调)上的压缩机箱体等,均含有高精密要求的异面平行孔特征。在具有一定厚度的箱体零件内部,多个直径不同的异面轴安装孔呈轴向平行、阶梯状无规则立体分布,轴孔与高速运动曲轴精密配合实现产品功能。这类零件异面的平行轴安装孔形位偏差参数(包括直径、圆度、孔间距、深度分布)是决定腔体零件质量的关键所在。
对零件的这种异面平行孔形位偏差的传统测量手段主要是接触式的三坐标测量机或专用测量设备,零件复杂无规律的异面平行孔特征决定了其测量点数量多、测量步骤复杂、测量过程耗时长,这在很大程度上降低了产品的生产效率,且接触式测量方式易造成零件表面损伤及测量设备磨损。
发明内容
为了克服现有技术的不足,本发明提供了一种零件异面平行孔形位偏差的视觉测量方法及装置,解决了现有技术中存在的测量步骤复杂、测量过程耗时长及易损伤零件和测量设备的问题。
本发明解决其技术问题所采用的技术方案是:
一种零件异面平行孔形位偏差的视觉测量方法,包括按顺序进行的如下步骤:
步骤[1]双目摄像机参数标定:采用高精密标定的靶标标定方式对所述零件异面平行孔测量所用双目摄像机进行参数标定,具体步骤如下:
1.1利用双目摄像机获取尺寸已知的棋盘格标靶图像八幅,八幅图像为在两个摄像机视野和景深范围的不同位姿图像。
1.2将上述所得的其中一副图像进行特征角点识别,根据角点间的距离尺寸获取像素之于实际尺寸的当量因子。
1.3重复上述步骤1.2,完成对八幅图像的角点提取,通过视觉基本原理完成从图像坐标系到摄像机坐标系,再到世界坐标系的转换,计算得到摄像机内参数矩阵和畸变系数,并对摄像机实时图像进行畸变矫正。
1.4将待测量工件置于双目摄像机视野内,棋盘格放置于工件表面,对此时双目摄像机所得棋盘图像进行如上述步骤1.2所述的角点检测,获取待测量工件相对于摄像机的空间转换矩阵。
1.5通过上述对双目摄像机进行的畸变矫正、内参数求取和工件的理论外参数求解,确定被测工件相对于双目摄像机的唯一位姿转换关系。
步骤[2]零件实体图像的异面平行孔特征分析和处理:具体步骤如下:
2.1利用双目摄像机获取不同位资的工件实体灰度图像八幅;
2.2在上述所得的其中一副零件实体图像中设置包含所有轴孔特征的最小处理区域;
2.3利用经典阈值原理绘制最小处理区域像素值统计图,将像素统计图中两个相邻最高峰中间的峰谷像素值定义为黑白图转换的阈值,将图像转为黑白图;同时通过拟合并封闭黑白图像边缘并计算闭合边缘内部像素大小,将单一像素区域或者低于一定阈值区域作为噪点清除;
2.4识别提取零件图像中异面平行孔特征;
2.5重复步骤2.2-2.4,分析八幅不同位姿的零件实体图像并存储类圆信息数据;
步骤[3]零件实体图像的异面平行孔匹配特征点提取:具体步骤如下:
3.1采用最小二乘像素距离的椭圆拟合原理拟合所述零件实体图像上的异面平行孔特征信息;
3.2采用所述相机标定的畸变系数完成异面平行孔特征矫正,将拟合后的圆孔边缘进行精确拟合,并计算相应圆孔中心坐标。
3.3将上述其中一副图像中所得的各圆孔中心任意两两作虚拟直线相连,一条直线可分割圆孔得到两个匹配点,设所述零件异面平行孔共有N个,那在每一个拟合圆孔上所作分割直线共有N-1条,所得分割匹配点则有2*(N-1)个;
3.4为使得后续结果更加精确,在所述对特征圆孔的虚拟直线分割时,分别从拟合圆心开始且与相应圆心连线以1°为步值递增(1°~179°),共增加179条分割直线。至此具有N个异面平行孔的零件共作分割直线(N-1)*179+(N-1)(条),所得分割点有2*(N-1)*180个。
3.8将所述八组零件实体图像分别按上述步骤进行匹配特征点分割并提取。
步骤[4]零件异面平行孔三维信息重构,并分析计算相应圆孔的直径、圆度、孔间距、深度分布等形位偏差参数:具体步骤如下:
4.1根据上述步骤所得零件实体图像的匹配特征点信息及所述双目摄像机标定所得的标定参数将双目图像对应的匹配点坐标转换到世界坐标系内,获取对应点的三维坐标;将所有匹配特征点转换到世界坐标空间,分别获得八组零件图像异面平行孔特征的三维信息;
4.2异面平行孔直径测量:根据所得五组异面平行孔特征的三维点集数据,利用最小二乘原理分别计算图像中异面平行孔的直径,利用最小距离回归原理拟合五组图像中异面平行孔特征对应的直径数据,得到零件异面平行孔的实际直径信息,并结合圆孔的设计直径,计算直径偏差值。
4.3异面平行孔圆度测量:在所得直径的基础上,结合三维点集内各点的三维坐标参数,分别计算最小半径Rmin和最大半径Rmax,得到所述异面平行孔零件单组零件图像下的圆度(Rmax-Rmin),分别计算八组所述零件图像圆度信息,利用最小距离回归原理拟合得到零件的实际圆度信息;
4.4异面平行孔间距测量:利用最小二乘方式拟合三维点集,获取所述异面平行孔特征的圆心三维坐标,计算各孔在空间内的实际水平距离,并结合各异面平行孔的设计间距,计算各孔间距偏差值;
4.5异面平行孔深度信息测量:利用最小二乘方式拟合三维点集,获取所述异面平行孔特征的圆心三维坐标,计算各孔在空间内的实际垂直距离,并结合各异面平行孔的设计深度,计算深度偏差值。
进一步的,所述步骤[1]中步骤1.2所述的特征角点识别步骤具体如下:
(a)拟合并封闭方形棋盘标靶图像边缘并计算闭合边缘内部像素大小,将单一像素区域或者低于一定阈值的区域作为噪点清除;
(b)遍历方形棋盘标靶去噪后图像的每个像素,识别像素点八个邻域点的像素值,与中心像素值相差在一定阈值范围内的记为同类像素点。
(c)提取并记录每个像素点在邻域范围的同类点数目,针对方形棋盘格角点特征,选出同类像素点数量为3的类似角点作为预处理点;
(d)在预处理点范围内进行传统角点检测并记录所得角点信息。
(e)对所得角点进行四分之一像素分割插值,将方形棋盘格角点测量的尺寸精度转换到更高像素精度,完成标靶图像角点特征的高精度提取。
进一步的,所述步骤[2]中步骤2.4所述的异面平行孔特征识别提取步骤具体如下:
(a)采用传统边界检测方式检测所述零件图像的待处理区域,识别获取区域图像边界信息,并判断检测所得边界区域是否封闭;将不封闭边界根据最短像素距离连接闭合;
(b)设置0.8为检测特征圆的参考圆形度,遍历上述拟合封闭的区域边界并计算区域圆形度信息,对圆形度低于参考圆形度的边界作为非轴孔特征区域处理,并将拟合的边界曲线像素转换为代表非边界的白色像素;圆形度满足参考圆形度的边界作保留处理;采用椭圆拟合方式,拟合上述只含有类圆边界轮廓图像的所有边界,并将拟合后的类圆信息记录和保存。
一种零件异面平行孔形位偏差的视觉测量装置,包括摄像机和零件固定台,其特征在于,所述摄像机为双目摄像机,且垂直安装在摄像机支架的横梁上,所述零件固定台为可回转固定台,并水平设置于双目摄像机下方,双目摄像机在空间呈平行且其光轴垂直于零件固定台端面。
进一步的,所述零件固定台包括底部固定圆盘和上部可回转圆盘,固定圆盘和回转圆盘中间采用滚子轴承连接配合,以保证零件固定台回转方向的自由度,固定圆盘近边缘位置开四个阵列螺纹孔,相应的回转圆盘近边缘位置开弧形槽,用螺柱把回转圆盘固定于固定圆盘上,回转圆盘上方安装背面光源和用于夹持固定被测零件的四个机械结构臂,机械结构臂与旋转圆盘通过螺栓固定连接。
优选的,所述机械结构臂长度可调,以适用于不同被测零件,且其表面采用塑料泡沫包覆,避免接触导致的表面磨损。
本发明的积极效果:
本发明能够完成对具有异面平行孔特征零件的快速、高精度的形位偏差测量(圆孔的直径、圆度、孔间距、深度分布等),实际应用表明,该方法不仅能够快速、高效的完成所述零件特征圆孔形位偏差测量,满足高精密测量的精度要求,同时具有测量操作简单、设备维护成本低等优点。具体优点如下:
1.采用非接触式双目视觉测量方式,避免了传统接触式测量对被测零件及测量设备造成的表面损伤;
2.将所述零件异面平行孔特征形位偏差的测量精度提高至像素精度甚至于更高像素精度,使测量结果更精确;
3.降低了所述零件异面平行孔形位偏差测量过程所耗时间,提高了生产效率;
4.降低了所述零件异面平行孔形位偏差测量成本。首先,所用视觉测量装置性能稳定且实际测量效果好,非接触方式不会出现硬件磨损修复问题;其次,简单、快捷的测量过程,一个工人可完成之前五个甚至八个工人的测量工作;
5.针对具有异面平行孔特征的零件在工业现场具有数量多、应用广的实际情况,本发明在提高产品生产效率、保证所述零件加工质量方面提供了有效保障,具有很强的实用意义。
附图说明
图1是本发明所述视觉测量装置的结构示意图;
图2是本发明所述零件固定台的结构示意图;
图3是本发明所述零件异面平行孔形位偏差测量流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细说明。
参照图1和图2,为拍摄到多幅不同位姿的被测零件4的图像,且保证被测零件4在测量过程中位置信息的相对稳定,本发明优选实施例首先提供一种零件异面平行孔形位偏差的视觉测量装置,包括摄像机和零件固定台2,其特征在于,所述摄像机为双目摄像机1,且垂直安装在摄像机支架3的横梁4上,所述零件固定台2为可回转固定台,并水平设置于双目摄像机1下方,双目摄像机1在空间呈平行且其光轴垂直于零件固定台2端面。
所述零件固定台2包括底部固定圆盘5和上部可回转圆盘6,固定圆盘5和回转圆盘6中间采用滚子轴承连接配合,以保证零件固定台回转方向的自由度,固定圆盘5近边缘位置开四个阵列螺纹孔,相应的回转圆盘6近边缘位置开弧形槽,用螺柱把回转圆盘6固定于固定圆盘5上,回转圆盘6上方安装背面光源7和用于夹持固定被测零件的四个机械结构臂8,机械结构臂8与回转圆盘6通过螺栓固定连接。所述机械结构臂8长度可调,以适用于不同被测零件,且其表面采用塑料泡沫包覆,避免接触导致的表面磨损。
双目摄像机间距由工件尺寸定(以工件在双目视像中央清晰呈现为准)。
参照图3,利用上述装置对摩托车发动机腔体零件进行异面平行孔形位偏差视觉测量,步骤如下:
1、采用高精密标定的靶标标定方式对所述摩托车发动机腔体零件轴孔测量所用摄像机进行参数标定。详细步骤叙述如下:
(1)、双目摄像机同时获取尺寸已知棋盘格标靶图像八幅。
(2)、采用本发明改进的角点检测算法,快速、精确识别方形棋盘格标靶图像的角点特征。详细叙述如下:
a、拟合并封闭方形棋盘标靶图像边缘并计算闭合边缘内部像素大小,将单一像素区域或者低于一定阈值(如5pixels)区域作为噪点清除;
b、遍历去噪后方形棋盘标靶图像的每个像素,识别像素点八个邻域像素点像素值,与中心像素值相差在一定阈值(如5)记为同类像素点。提取并记录每个点在领域范围的同类点数目,针对方形棋盘格角点特征,选出同类像素点数量为3(同类像素点数量为3的点为类似角点)的点作为预处理点;
c、在预处理点范围内进行传统角点检测并记录所得角点信息。(通过预处理类角点选择,可降低角点误检概率)。
d、对所得角点角点进行四分之一像素分割插值,将方形棋盘格角点测量的尺寸精度转换到更高像素精度,完成标靶图像的角点特征提取。
(3)、重复步骤(2),完成对八幅图像的角点提取,通过视觉基本原理完成从图像坐标系到摄像机坐标系,再到世界坐标系的转换,计算得到摄像机内参数矩阵和畸变系数,并对摄像机实时图像进行畸变矫正。
(4)、将摩托车发动机零件安装于固定台上,并将工件和固定台的整体置于双目摄像机视野内,棋盘格放置于工件表面,双目摄像机所得棋盘图像进行如2所述的角点检测,此时的角点检测用于得到工件相对于摄像机的空间转换矩阵(旋转矩阵、平移矩阵),由于标定板自身具有一定厚度,所以计算之后通过三角形相似性将所得空间转换矩阵按比例放大。
(5)、经过上述步骤,对双目摄像机进行畸变矫正、内参数求取和工件的理论外参数求解,确定了被测摩托车发动机零件于双目摄像机的唯一位姿转换关系。
2、摩托车发动机零件图像的异面平行孔特征分析和处理。本步骤实现所摄摩托车发动机零件图像的基本分析、异面平行孔功能特征识别及尺寸信息提取,为后续步骤提供高精度的轴孔功能特征信息,是本发明的关键步骤之一。针对所述摩托车发动机零件的异面平行孔特征,设计一套高精度的异面平行孔特征参数提取算法,实际应用表明,该算法能快速、高精度的识别提取所述摩托车发动机零件异面平行的轴安装孔特征信息。详细叙述如下:
(1)、获取在所述可旋转固定载物台上摩托车发动机实体零件的灰度图像八幅;
(2)采用自定义方式在所述摩托车发动机腔体零件图像中设置包含所有轴孔特征的最小处理区域,该区域为后续处理区域,减少图像分析时间,提高测量效率;
(3)、利用经典阈值原理绘制处理区域像素值统计图,将像素统计图中两个相邻最高峰中间的峰谷像素值定义为所述零件图像阈值,将图像转为黑白图;同时通过步骤1的步骤(2)中对棋盘格图像进行的区域阈值去噪的方法去除黑白图像的噪点;
(4)、摩托车发动机零件异面平行孔特征识别提取。采用一套基于区域边缘拟合封闭和圆形度遍历识别算法进行快速、高效轴孔特征信息提取。详细叙述如下:
a、采用传统边界检测方式检测所述摩托车发动机零件图像的待处理区域,识别获取区域图像边界信息,并判断检测所得边界区域是否封闭;将不封闭边界采用最短像素距离连接闭合。
b、针对高精密的摩托车发动机腔体零件轴孔特征,其圆度、同轴度均采用精密加工方式,故以下针对摩托车发动机腔体零件图像的轴孔特征检测算法成立:
a、设置0.8为检测特征圆的参考圆形度;
b、遍历上述拟合封闭的区域边界并计算区域圆形度信息;
c、对圆形度低于参考圆形度的边界作为非轴孔特征区域处理,并将拟合的边界曲线像素转换为代表非边界的白色像素;圆形度满足参考圆形度的边界作保留处理;
d、采用椭圆拟合方式,拟合上述只含有类圆边界轮廓图像的所有边界,并将拟合后的类圆信息记录和保存(包括圆心坐标和直径长度);
(5)、重复步骤(2)-(4),分析八幅不同位姿的零件现场图像并存储类圆信息数据;
3、所述摩托车发动机零件图像中的异面平行孔匹配特征点提取。采用最小二乘距离的椭圆拟合原理拟合步骤2所得的摩托车发动机零件图像中的类圆孔,对拟合后的类圆进行匹配特征点分割和提取,获取对应点在双目图像上的匹配图像坐标,完成匹配特征点提取。采用一套基于所述异面平行孔特征位置不变性的算法进行匹配特征点的分割和提取,实际应用表明,该算法能快速分割两幅摩托车发动机零件图像上类圆特征的匹配特征点并精确提取其坐标值。详细叙述如下:
(1)、采用最小二乘像素距离的椭圆拟合原理拟合两幅摩托车发动机零件图像上的异面平行孔特征信息;
(2)、本发明所述双目摄像机采用光轴平行的安装方式,所获取的摩托车发动机零件图像上异面平行孔特征在相机视野内仅在垂直光轴方向上存在少量拉伸变形,采用所述相机标定的畸变系数进行异面平行孔特征矫正,将拟合后的圆孔边缘进行精确拟合,并计算相应圆孔中心坐标。
(3)、由所述摩托车发动机零件特征圆孔的相对位置不变可知,各特征圆孔圆心位置在图像中的相对位置一定。将上述于一副零件图像中所得的各圆孔中心任意两两作虚拟直线相连。
(4)、一条直线可分割圆孔得到两个匹配点,所述摩托车发动机零件具有异面平行孔共有24个,那在每一个拟合圆孔上所作分割直线共有24-1=23条,所得分割匹配点则有2*(24-1)=46个。
(5)、为使的后续结果更加精确,在所述对特征圆孔的虚拟直线分割时,分别从拟合圆心开始且与相应圆心连线以1°为步值递增(1°~179°),共增加179条分割直线。至此具有24个异面平行孔的摩托车发动机零件共作分割直线(24-1)*179+(24-1)=4140(条),所得分割点有2*(24-1)*179=8280个。在计算机图像处理方式下计算并提取这些数量的匹配特征点用时很短,不会影响系统的实时性。
(6)、将所述八组双目摄像机获取的摩托车发动机零件图像分别按上述步骤进行匹配特征点分割并提取。
4、所述摩托车发动机零件异面平行孔特征的三维信息重构,并分析计算相应圆孔的直径、圆度、孔间距、深度分布等形位偏差参数。分为以下步骤进行:
所述摩托车发动机零件异面平行孔三维信息重构:上述步骤所得摩托车发动机零件双目图像的匹配特征点信息已知,且双目图像信息唯一对应匹配。由所述摄像机标定所得的标定参数可将双目图像对应的匹配点坐标转换到世界坐标系内,从而得到对应点的三维坐标。将所有匹配特征点转换到世界坐标空间,获得八组图像获取的零件所有异面平行孔特征的三维信息。
所述摩托车发动机零件异面平行孔直径测量:根据所得八组异面平行孔特征的三维点集数据,利用最小二乘原理分别计算图像中异面平行孔的直径,利用最小距离回归原理拟合五组图像中异面平行孔特征对应的直径数据,得到零件异面平行孔的实际直径信息,并结合圆孔的设计直径,计算直径偏差值。
所述摩托车发动机零件异面平行孔圆度测量:在所得直径的基础上,结合三维点集内各点的三维坐标参数,分别计算最小半径Rmin和最大半径Rmax,得到所述异面平行孔零件单组零件图像下的圆度(Rmax-Rmin)。分别计算八组所述零件图像圆度信息,利用最小距离回归原理拟合得到零件的实际圆度信息。
所述摩托车发动机零件异面平行孔间距测量:利用最小二乘方式拟合三维点集参数,获取摩托车发动机零件异面平行孔特征的圆心三维坐标,可直接计算各孔在空间内的实际水平距离,并结合摩托车发动机零件上各异面平行孔的设计间距,计算各孔的间距偏差值。
所述摩托车发动机零件异面平行孔深度信息测量:利用最小二乘方式拟合三维点集参数,获取摩托车发动机零件异面平行孔特征的圆心三维坐标,可直接计算各孔在空间内的实际垂直距离,并结合摩托车发动机零件上各异面平行孔的设计深度,计算各孔的深度偏差值。
通过上述步骤,完成摩托车发动机零件异面平行孔特征的快速、高精度形位偏差测量(圆孔的直径、圆度、孔间距、深度分布等)。实际应用表明,该方法不仅快速、高效的完成摩托车发动机零件特征圆孔形位偏差测量,满足高精密测量的精度要求,同时具有测量操作简单、设备维护成本低等优点。该发明在应用中具有如下实际意义:
采用非接触式双目视觉测量方式,避免了传统接触式测量对摩托车发动机零件造成的表面损伤;
将摩托车发动机零件异面平行孔特征形位偏差的测量精度提高至像素精度甚至于更高像素精度,使测量结果更精确;
针对摩托车发动机零件内部大量的异面平行孔特征,采用视觉测量方式,降低了摩托车发动机零件异面平行孔形位偏差测量过程所耗时间,提高生产效率;
降低了摩托车发动机零件异面平行孔形位偏差的测量成本。首先,所用视觉硬件组合系统性能稳定且实际测量效果好,非接触方式不会出现硬件磨损修复问题;其次,简单、快捷的测量过程,一个工人可完成之前五个甚至八个工人的测量工作。
以上所述的仅为本发明的优选实施例,所应理解的是,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,并不用于限定本发明的保护范围,凡在本发明的思想和原则之内所做的任何修改、等同替换等等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种零件异面平行孔形位偏差的视觉测量方法,其特征在于:包括按顺序进行的如下步骤:
步骤[1]双目摄像机参数标定:采用高精密标定的靶标标定方式对所述零件异面平行孔测量所用双目摄像机进行参数标定,具体步骤如下:
1.1利用双目摄像机获取尺寸已知的棋盘格标靶图像八幅,八幅图像为在两个摄像机视野和景深范围的不同位姿图像。
1.2将上述所得的其中一副图像进行特征角点识别,根据角点间的距离尺寸获取像素之于实际尺寸的当量因子。
1.3重复上述步骤1.2,完成对八幅图像的角点提取,通过视觉基本原理完成从图像坐标系到摄像机坐标系,再到世界坐标系的转换,计算得到摄像机内参数矩阵和畸变系数,并对摄像机实时图像进行畸变矫正。
1.4将待测量工件置于双目摄像机视野内,棋盘格放置于工件表面,对此时双目摄像机所得棋盘图像进行如上述步骤1.2所述的角点检测,获取待测量工件相对于摄像机的空间转换矩阵。
1.5通过上述对双目摄像机进行的畸变矫正、内参数求取和工件的理论外参数求解,确定被测工件相对于双目摄像机的唯一位姿转换关系。
步骤[2]零件实体图像的异面平行孔特征分析和处理:具体步骤如下:
2.1利用双目摄像机获取不同位资的工件实体灰度图像八幅;
2.2在上述所得的其中一副零件实体图像中设置包含所有轴孔特征的最小处理区域;
2.3利用经典阈值原理绘制最小处理区域像素值统计图,将像素统计图中两个相邻最高峰中间的峰谷像素值定义为黑白图转换的阈值,将图像转为黑白图;同时通过拟合并封闭黑白图像边缘并计算闭合边缘内部像素大小,将单一像素区域或者低于一定阈值区域作为噪点清除;
2.4识别提取零件图像中异面平行孔特征;
2.5重复步骤2.2-2.4,分析八幅不同位姿的零件实体图像并存储类圆信息数据;
步骤[3]零件实体图像的异面平行孔匹配特征点提取:具体步骤如下:
3.1采用最小二乘像素距离的椭圆拟合原理拟合所述零件实体图像上的异面平行孔特征信息;
3.2采用所述相机标定的畸变系数完成异面平行孔特征矫正,将拟合后的圆孔边缘进行精确拟合,并计算相应圆孔中心坐标。
3.3将上述其中一副图像中所得的各圆孔中心任意两两作虚拟直线相连,一条直线可分割圆孔得到两个匹配点,设所述零件异面平行孔共有N个,那在每一个拟合圆孔上所作分割直线共有N-1条,所得分割匹配点则有2*(N-1)个;
3.4为使得后续结果更加精确,在所述对特征圆孔的虚拟直线分割时,分别从拟合圆心开始且与相应圆心连线以1°为步值递增(1°~179°),共增加179条分割直线。至此具有N个异面平行孔的零件共作分割直线(N-1)*179+(N-1)(条),所得分割点有2*(N-1)*180个。
3.8将所述八组零件实体图像分别按上述步骤进行匹配特征点分割并提取。
步骤[4]零件异面平行孔三维信息重构,并分析计算相应圆孔的直径、圆度、孔间距、深度分布等形位偏差参数:具体步骤如下:
4.1根据上述步骤所得零件实体图像的匹配特征点信息及所述双目摄像机标定所得的标定参数将双目图像对应的匹配点坐标转换到世界坐标系内,获取对应点的三维坐标;将所有匹配特征点转换到世界坐标空间,分别获得八组零件图像异面平行孔特征的三维信息;
4.2异面平行孔直径测量:根据所得八组异面平行孔特征的三维点集数据,利用最小二乘原理分别计算图像中异面平行孔的直径,利用最小距离回归原理拟合五组图像中异面平行孔特征对应的直径数据,得到零件异面平行孔的实际直径信息,并结合圆孔的设计直径,计算直径偏差值。
4.3异面平行孔圆度测量:在所得直径的基础上,结合三维点集内各点的三维坐标参数,分别计算最小半径Rmin和最大半径Rmax,得到所述异面平行孔零件单组零件图像下的圆度(Rmax-Rmin),分别计算八组所述零件图像圆度信息,利用最小距离回归原理拟合得到零件的实际圆度信息;
4.4异面平行孔间距测量:利用最小二乘方式拟合三维点集,获取所述异面平行孔特征的圆心三维坐标,计算各孔在空间内的实际水平距离,并结合各异面平行孔的设计间距,计算各孔间距偏差值;
4.5异面平行孔深度信息测量:利用最小二乘方式拟合三维点集,获取所述异面平行孔特征的圆心三维坐标,计算各孔在空间内的实际垂直距离,并结合各异面平行孔的设计深度,计算深度偏差值。
2.根据权利要求1所述的一种零件异面平行孔形位偏差的视觉测量方法,其特征在于:所述步骤[1]中步骤1.2所述的特征角点识别步骤具体如下:
(a)拟合并封闭方形棋盘标靶图像边缘并计算闭合边缘内部像素大小,将单一像素区域或者低于一定阈值的区域作为噪点清除;
(b)遍历方形棋盘标靶去噪后图像的每个像素,识别像素点八个邻域点的像素值,与中心像素值相差在一定阈值范围内的记为同类像素点。
(c)提取并记录每个像素点在邻域范围的同类点数目,针对方形棋盘格角点特征,选出同类像素点数量为3的类似角点作为预处理点;
(d)在预处理点范围内进行传统角点检测并记录所得角点信息。
(e)对所得角点进行四分之一像素分割插值,将方形棋盘格角点测量的尺寸精度转换到更高像素精度,完成标靶图像角点特征的高精度提取。
3.根据权利要求1或2所述的一种零件异面平行孔形位偏差的视觉测量方法,所述步骤[2]中步骤2.4所述的异面平行孔特征识别提取步骤具体如下:
(a)采用传统边界检测方式检测所述零件图像的待处理区域,识别获取区域图像边界信息,并判断检测所得边界区域是否封闭;将不封闭边界根据最短像素距离连接闭合;
(b)设置0.8为检测特征圆的参考圆形度,遍历上述拟合封闭的区域边界并计算区域圆形度信息,对圆形度低于参考圆形度的边界作为非轴孔特征区域处理,并将拟合的边界曲线像素转换为代表非边界的白色像素;圆形度满足参考圆形度的边界作保留处理;采用椭圆拟合方式,拟合上述只含有类圆边界轮廓图像的所有边界,并将拟合后的类圆信息记录和保存。
4.一种零件异面平行孔形位偏差的视觉测量装置,包括摄像机和零件固定台,其特征在于,所述摄像机为双目摄像机,且垂直安装在摄像机支架的横梁上,所述零件固定台为可回转固定台,并水平设置于双目摄像机下方,双目摄像机在空间呈平行且其光轴垂直于零件固定台端面。
5.根据权利要求4所述的一种零件异面平行孔形位偏差的视觉测量装置,其特征在于:所述零件固定台包括底部固定圆盘和上部可回转圆盘,固定圆盘和回转圆盘中间采用滚子轴承连接配合,以保证零件固定台回转方向的自由度,固定圆盘近边缘位置开四个阵列螺纹孔,相应的回转圆盘近边缘位置开弧形槽,用螺柱把回转圆盘固定于固定圆盘上,回转圆盘上方安装背面光源和用于夹持固定被测零件的四个机械结构臂,机械结构臂与旋转圆盘通过螺栓固定连接。
6.根据权利要求5所述的一种零件异面平行孔形位偏差的视觉测量装置,其特征在于:所述机械结构臂长度可调,且其表面采用塑料泡沫包覆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362452.9A CN104897062B (zh) | 2015-06-26 | 2015-06-26 | 一种零件异面平行孔形位偏差的视觉测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362452.9A CN104897062B (zh) | 2015-06-26 | 2015-06-26 | 一种零件异面平行孔形位偏差的视觉测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104897062A true CN104897062A (zh) | 2015-09-09 |
CN104897062B CN104897062B (zh) | 2017-10-27 |
Family
ID=54029876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510362452.9A Expired - Fee Related CN104897062B (zh) | 2015-06-26 | 2015-06-26 | 一种零件异面平行孔形位偏差的视觉测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104897062B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106152965A (zh) * | 2016-08-29 | 2016-11-23 | 湖南省视达克信息技术有限公司 | 香烟过滤嘴深度检测系统和方法 |
CN106197270A (zh) * | 2016-07-07 | 2016-12-07 | 大连理工大学 | 一种便携式龙门视觉测量装置 |
CN108550142A (zh) * | 2018-03-30 | 2018-09-18 | 深圳大学 | 一种牙孔检测方法及装置 |
CN108759676A (zh) * | 2018-07-12 | 2018-11-06 | 浙江大学 | 基于棋盘格的传动箱端面大尺寸形位公差检测装置与方法 |
CN108871185A (zh) * | 2018-05-10 | 2018-11-23 | 苏州大学 | 零件检测的方法、装置、设备以及计算机可读存储介质 |
CN110108209A (zh) * | 2019-06-13 | 2019-08-09 | 广东省计量科学研究院(华南国家计量测试中心) | 小型多孔零件的测量方法及系统 |
CN110207605A (zh) * | 2019-06-13 | 2019-09-06 | 广东省特种设备检测研究院东莞检测院 | 一种基于机器视觉的金属结构变形的测量装置及方法 |
CN110610518A (zh) * | 2018-10-30 | 2019-12-24 | 兰州交通大学 | 一种基于特征点位置校正的靶标位姿测量系统及方法 |
CN110727814A (zh) * | 2019-10-10 | 2020-01-24 | 徐庆 | 一种图像形状特征描述符的获取方法 |
US10580725B2 (en) | 2017-05-25 | 2020-03-03 | Corning Incorporated | Articles having vias with geometry attributes and methods for fabricating the same |
US10756003B2 (en) | 2016-06-29 | 2020-08-25 | Corning Incorporated | Inorganic wafer having through-holes attached to semiconductor wafer |
US10794679B2 (en) | 2016-06-29 | 2020-10-06 | Corning Incorporated | Method and system for measuring geometric parameters of through holes |
CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
CN112284292A (zh) * | 2020-12-01 | 2021-01-29 | 吉林大学 | 基于等摇臂机构的汽车形貌测量系统畸变系数测量仪 |
CN112945094A (zh) * | 2021-01-31 | 2021-06-11 | 荣旗工业科技(苏州)股份有限公司 | 相机自动追踪的监测用视觉检测系统及方法 |
US11078112B2 (en) | 2017-05-25 | 2021-08-03 | Corning Incorporated | Silica-containing substrates with vias having an axially variable sidewall taper and methods for forming the same |
US11114309B2 (en) | 2016-06-01 | 2021-09-07 | Corning Incorporated | Articles and methods of forming vias in substrates |
CN113418450A (zh) * | 2021-07-16 | 2021-09-21 | 株洲时代新材料科技股份有限公司 | 一种一系锥形橡胶弹簧异面螺纹孔位置度检测方法和工具 |
CN113494883A (zh) * | 2020-03-20 | 2021-10-12 | 湖南科天健光电技术有限公司 | 基于外置式多目视觉设备的转台负载位姿测量方法和系统 |
US11152294B2 (en) | 2018-04-09 | 2021-10-19 | Corning Incorporated | Hermetic metallized via with improved reliability |
CN114087989A (zh) * | 2021-11-19 | 2022-02-25 | 江苏理工学院 | 汽车缸体工件定位孔圆心三维坐标测量方法及系统 |
CN115375890A (zh) * | 2022-10-25 | 2022-11-22 | 苏州千里雪智能科技有限公司 | 一种基于5g四目立体视觉摄像机调节系统 |
US11554984B2 (en) | 2018-02-22 | 2023-01-17 | Corning Incorporated | Alkali-free borosilicate glasses with low post-HF etch roughness |
US11760682B2 (en) | 2019-02-21 | 2023-09-19 | Corning Incorporated | Glass or glass ceramic articles with copper-metallized through holes and processes for making the same |
CN116907368A (zh) * | 2023-08-26 | 2023-10-20 | 广州市西克传感器有限公司 | 基于多个3d相机高度图单晶硅棒直径自动测量的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1183439A (ja) * | 1997-09-04 | 1999-03-26 | Nikon Corp | 画像計測装置 |
CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
CN201340256Y (zh) * | 2008-12-09 | 2009-11-04 | 武汉理工大学 | 用于双目立体视觉测量的试验台 |
CN102175182A (zh) * | 2011-01-27 | 2011-09-07 | 浙江大学宁波理工学院 | 结构光三维测量装置及其完整点云数据的获取方法 |
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
-
2015
- 2015-06-26 CN CN201510362452.9A patent/CN104897062B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1183439A (ja) * | 1997-09-04 | 1999-03-26 | Nikon Corp | 画像計測装置 |
CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
CN201340256Y (zh) * | 2008-12-09 | 2009-11-04 | 武汉理工大学 | 用于双目立体视觉测量的试验台 |
CN102175182A (zh) * | 2011-01-27 | 2011-09-07 | 浙江大学宁波理工学院 | 结构光三维测量装置及其完整点云数据的获取方法 |
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11114309B2 (en) | 2016-06-01 | 2021-09-07 | Corning Incorporated | Articles and methods of forming vias in substrates |
US11774233B2 (en) | 2016-06-29 | 2023-10-03 | Corning Incorporated | Method and system for measuring geometric parameters of through holes |
US10794679B2 (en) | 2016-06-29 | 2020-10-06 | Corning Incorporated | Method and system for measuring geometric parameters of through holes |
US10756003B2 (en) | 2016-06-29 | 2020-08-25 | Corning Incorporated | Inorganic wafer having through-holes attached to semiconductor wafer |
CN106197270A (zh) * | 2016-07-07 | 2016-12-07 | 大连理工大学 | 一种便携式龙门视觉测量装置 |
CN106152965A (zh) * | 2016-08-29 | 2016-11-23 | 湖南省视达克信息技术有限公司 | 香烟过滤嘴深度检测系统和方法 |
CN106152965B (zh) * | 2016-08-29 | 2018-11-23 | 湖南智鼎盛智能科技有限公司 | 香烟过滤嘴深度检测系统和方法 |
US11062986B2 (en) | 2017-05-25 | 2021-07-13 | Corning Incorporated | Articles having vias with geometry attributes and methods for fabricating the same |
US10580725B2 (en) | 2017-05-25 | 2020-03-03 | Corning Incorporated | Articles having vias with geometry attributes and methods for fabricating the same |
US11972993B2 (en) | 2017-05-25 | 2024-04-30 | Corning Incorporated | Silica-containing substrates with vias having an axially variable sidewall taper and methods for forming the same |
US11078112B2 (en) | 2017-05-25 | 2021-08-03 | Corning Incorporated | Silica-containing substrates with vias having an axially variable sidewall taper and methods for forming the same |
US11554984B2 (en) | 2018-02-22 | 2023-01-17 | Corning Incorporated | Alkali-free borosilicate glasses with low post-HF etch roughness |
CN108550142A (zh) * | 2018-03-30 | 2018-09-18 | 深圳大学 | 一种牙孔检测方法及装置 |
WO2019184094A1 (zh) * | 2018-03-30 | 2019-10-03 | 深圳大学 | 一种牙孔检测方法及装置 |
US11201109B2 (en) | 2018-04-09 | 2021-12-14 | Corning Incorporated | Hermetic metallized via with improved reliability |
US11152294B2 (en) | 2018-04-09 | 2021-10-19 | Corning Incorporated | Hermetic metallized via with improved reliability |
CN108871185A (zh) * | 2018-05-10 | 2018-11-23 | 苏州大学 | 零件检测的方法、装置、设备以及计算机可读存储介质 |
CN108871185B (zh) * | 2018-05-10 | 2020-12-29 | 苏州大学 | 零件检测的方法、装置、设备以及计算机可读存储介质 |
CN108759676B (zh) * | 2018-07-12 | 2023-11-03 | 浙江大学 | 基于棋盘格的传动箱端面大尺寸形位公差检测装置与方法 |
CN108759676A (zh) * | 2018-07-12 | 2018-11-06 | 浙江大学 | 基于棋盘格的传动箱端面大尺寸形位公差检测装置与方法 |
CN110610518B (zh) * | 2018-10-30 | 2022-09-20 | 兰州交通大学 | 一种基于特征点位置校正的靶标位姿测量系统及方法 |
CN110610518A (zh) * | 2018-10-30 | 2019-12-24 | 兰州交通大学 | 一种基于特征点位置校正的靶标位姿测量系统及方法 |
US11760682B2 (en) | 2019-02-21 | 2023-09-19 | Corning Incorporated | Glass or glass ceramic articles with copper-metallized through holes and processes for making the same |
CN110108209A (zh) * | 2019-06-13 | 2019-08-09 | 广东省计量科学研究院(华南国家计量测试中心) | 小型多孔零件的测量方法及系统 |
CN110207605A (zh) * | 2019-06-13 | 2019-09-06 | 广东省特种设备检测研究院东莞检测院 | 一种基于机器视觉的金属结构变形的测量装置及方法 |
CN110727814A (zh) * | 2019-10-10 | 2020-01-24 | 徐庆 | 一种图像形状特征描述符的获取方法 |
CN110727814B (zh) * | 2019-10-10 | 2022-10-11 | 徐庆 | 一种图像形状特征描述符的获取方法 |
CN113494883B (zh) * | 2020-03-20 | 2022-08-05 | 湖南科天健光电技术有限公司 | 基于外置式多目视觉设备的转台负载位姿测量方法和系统 |
CN113494883A (zh) * | 2020-03-20 | 2021-10-12 | 湖南科天健光电技术有限公司 | 基于外置式多目视觉设备的转台负载位姿测量方法和系统 |
CN112001917B (zh) * | 2020-09-04 | 2024-08-09 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
CN112284292A (zh) * | 2020-12-01 | 2021-01-29 | 吉林大学 | 基于等摇臂机构的汽车形貌测量系统畸变系数测量仪 |
CN112284292B (zh) * | 2020-12-01 | 2021-07-30 | 吉林大学 | 基于等摇臂机构的汽车形貌测量系统畸变系数测量仪 |
CN112945094A (zh) * | 2021-01-31 | 2021-06-11 | 荣旗工业科技(苏州)股份有限公司 | 相机自动追踪的监测用视觉检测系统及方法 |
CN112945094B (zh) * | 2021-01-31 | 2022-03-18 | 荣旗工业科技(苏州)股份有限公司 | 相机自动追踪的监测用视觉检测系统及方法 |
CN113418450A (zh) * | 2021-07-16 | 2021-09-21 | 株洲时代新材料科技股份有限公司 | 一种一系锥形橡胶弹簧异面螺纹孔位置度检测方法和工具 |
CN113418450B (zh) * | 2021-07-16 | 2023-07-25 | 株洲时代新材料科技股份有限公司 | 一种一系锥形橡胶弹簧异面螺纹孔位置度检测方法和工具 |
CN114087989B (zh) * | 2021-11-19 | 2023-09-22 | 江苏理工学院 | 汽车缸体工件定位孔圆心三维坐标测量方法及系统 |
CN114087989A (zh) * | 2021-11-19 | 2022-02-25 | 江苏理工学院 | 汽车缸体工件定位孔圆心三维坐标测量方法及系统 |
CN115375890A (zh) * | 2022-10-25 | 2022-11-22 | 苏州千里雪智能科技有限公司 | 一种基于5g四目立体视觉摄像机调节系统 |
CN116907368A (zh) * | 2023-08-26 | 2023-10-20 | 广州市西克传感器有限公司 | 基于多个3d相机高度图单晶硅棒直径自动测量的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104897062B (zh) | 2017-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104897062A (zh) | 一种零件异面平行孔形位偏差的视觉测量方法及装置 | |
US9704232B2 (en) | Stereo vision measurement system and method | |
CN105335973B (zh) | 运用于带钢加工生产线的视觉处理方法 | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN104236498B (zh) | 一种道岔钢轨件端面尺寸的测量方法 | |
CN107341802A (zh) | 一种基于曲率与灰度复合的角点亚像素定位方法 | |
CN103345755A (zh) | 一种基于Harris算子的棋盘格角点亚像素提取方法 | |
CN105865344A (zh) | 一种基于机器视觉的工件尺寸测量方法和装置 | |
CN111415376B (zh) | 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法 | |
CN113724193B (zh) | Pcba零部件尺寸及间隙高精度视觉测量方法 | |
CN107525467B (zh) | 一种电机转子磁钢片安装缺陷组合检测方法及装置 | |
CN107742289A (zh) | 一种基于机器视觉回转体工件检测方法 | |
CN112489042B (zh) | 基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法 | |
CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
CN107957246B (zh) | 基于双目视觉的传送带上物体几何尺寸测量方法 | |
CN105783786A (zh) | 一种基于结构光视觉的零件倒角测量方法与装置 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN106813569B (zh) | 一种基于线结构光的汽车轮胎三维定位方法 | |
CN113884002A (zh) | 基于二三维信息融合的受电弓滑板上表面检测系统及方法 | |
CN114627080A (zh) | 基于计算机视觉的车辆冲压配件缺陷检测方法 | |
CN103337067B (zh) | 单针扫描式螺纹测量仪探针x轴旋转偏差的视觉检测方法 | |
CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
CN101696876B (zh) | 一种vcm磁钢的视觉检测方法 | |
CN111815575B (zh) | 一种基于机器视觉的轴承钢珠零件检测方法 | |
CN110223339B (zh) | 一种基于机器视觉热保护器校准点中心定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171027 Termination date: 20180626 |
|
CF01 | Termination of patent right due to non-payment of annual fee |