CN104463851B - 一种基于机器人的鞋底边缘线自动跟踪方法 - Google Patents
一种基于机器人的鞋底边缘线自动跟踪方法 Download PDFInfo
- Publication number
- CN104463851B CN104463851B CN201410663392.XA CN201410663392A CN104463851B CN 104463851 B CN104463851 B CN 104463851B CN 201410663392 A CN201410663392 A CN 201410663392A CN 104463851 B CN104463851 B CN 104463851B
- Authority
- CN
- China
- Prior art keywords
- point
- line
- points
- image
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明提供了一种基于机器人的鞋底边缘线自动跟踪方法首先将粘合好鞋底的鞋进行扫描，获得点云数据后利用加权的PCA三水平集总体最小二乘方法获得点云特征点，再将特征点分块投影到二维区域，利用二维线段拼接的方法获得二维图像中最长的特征特征线，将该特征线反投影回三维空间再进行空间直线投影的方法细化出鞋底边缘封闭的三维曲线，最后在生成过程中利用扫描的当前鞋面与前面生成的三维封闭曲线产生新的曲线，利用工业机器跟踪该曲线即可实现自动化的打磨、涂药水及涂胶水等操作。本发明可以广泛应用于制鞋自动化系统中，提高生产效率和产品品质。
Description
技术领域
本发明涉及制鞋方法，尤其涉及一种基于机器人视觉系统的鞋底边缘自动化识别和跟踪方法。
背景技术
传统的制鞋工艺中手工完成鞋底与鞋面的粘合。目前有部分制鞋设备采用机器人完成鞋面贴合部位的自动化打磨、喷药水、涂胶操作，但必须采用离线示教的方式完成机器人跟踪轨迹的生成。首先将鞋底贴合到鞋面上，手工画出鞋底边缘线，并按一定的间隔画出竖线，然后利用鞋底边缘线与竖线的交叉点示教机器人产生跟踪轨迹，如图9所示，图9中，1表示鞋底边缘线以下的打磨、喷药水和涂胶区域，2表示机器人示教点，3表示鞋底边缘。这两种方式较为耗时，采用示教的方式是用一双鞋的跟踪轨迹适用于后续鞋面的操作轨迹，这将造成一定的误差。
在传统的制鞋工艺中，利用手工或机器人进行鞋底边缘线打磨画线和示教过程费时费力，产品品质无法保证。而且同一型号的所有鞋子都使用同样的跟踪曲线，由于鞋子会产生变形，这样在打磨喷胶时，很容易产生较大误差，影响成品鞋的质量。
发明内容
为了解决现有技术中问题，本发明提供了一种基于机器人的鞋底边缘线自动跟踪方法。
一种基于机器人的鞋底边缘线自动跟踪方法，包括以下步骤：
步骤1：摄像机及机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上，通过手眼标定得到摄像机和机器人之间的坐标转换关系；
步骤2：鞋面点云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，毎运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息依靠之前手眼标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集Psi；
步骤3：法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对散乱点云处理的第一步需要求出每个点的法向量，首先需要用kd-tree数据结构表示出散乱的点云，对应输入点云中的某点p，利用kd-tree结构找出离p点最近的K个点组成一个K邻域，在K邻域内进行空间平面拟合，所得平面的法向作为p的法向估计；
步骤4：散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估计出点的高斯曲率，平均曲率以及主曲率和主方向；
步骤5：特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中；
步骤6：二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，像素灰度值大于0，无特征信息为黑色，像素灰度值为0，鞋底边缘线提取过程如下：遍历图像如果发现有特征点，就从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector<point>容器L来表示，由此，获得很多线段,存在vector<vector<point>>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ξ，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图像，可以将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱点集，需要进行进一步的细化；
步骤7：鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘线进行细化，在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线。根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时姿态提供参考；
步骤8：鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据Psc，将之前获得的带有鞋底的鞋点集Psi和Psc利用ICP算法将两个点云数据进行对齐；然后将初始鞋底边缘线上lo间隔δ采样，采样点为po，以po为起点，po所处Psi点集处的法向量为方向生成直线ln，计算ln与Psc的交点获得新的点集Pi，将新的点集Pi拟合出封闭的三维跟踪曲线lsc，机器人沿lsc运行并对lsc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶操作。
作为本发明的进一步改进，步骤2中，标定出扫描头上的激光平面方程的方法如下：将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板的上的激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐标关系。
作为本发明的进一步改进，步骤3中，估计出法向量np后，法向量指向是不统一的，指向鞋子模型的内部或者外部，由于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量，调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0，则将np反向。
作为本发明的进一步改进，步骤4中，首先要在参考点p邻域内拟合出空间曲面方程，空间曲面方程可表示为带有十个待拟合参数的参数方程：
用最小二乘可以拟合出十个参数
MTa＝0 (2-3)
对上式M矩阵进行SVD分解，参数向量a的解为最小特征值对应的特征向量；采用三水平集的方法，提高拟合精度，
als＝[MTM]-1MTb (2-4)
b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，引入总体最小二乘，同时对数据矩阵M和观测矩阵b进行补偿，
(M+E)a＝b+e (2-5)
E对数据矩阵M进行补偿，e对观测矩阵进行补偿，将右边式子归零，移动到左边，得到表达式如下
(A+B)x＝0 (2-6)
B＝[E，e]，A＝[M，-b]，x＝[aT，1]T (2-7)
对A进行PCA分解，得到特征值和特征向量，特征值从大到小排列λ1>λ2>…>λ11，(∈＞0)，总共十一个特征值，从理论上讲，x的解应该是最小特征值λ11对应的特征向量，但是由于x共有十一维，最后几个特征值都已经很小而且值很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向量都应该是x的解，取一个很小的参考量∈，比λ11+∈值小的特征值对应的特征向量都是解，由此构成一个解空间
由于x最后一个值为1，则理论上是一个11-k+1维值全为1的行向量，可以推导出a的解为
得到a的解后，在邻域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识，能够求取曲面的高斯曲率K和平均曲率H。
作为本发明的进一步改进，步骤5中，用AB，BC，CD，DE，EF，FG，GH和HA表示投影的二维图像，为了方便理解，可以把这些图像看作是墙，即将三维信息投射到墙上，指定Z轴正方向垂直纸面向外，则同一Z值的三维点在二维图像中的行的位置相同，用u表示图像行；该投影方案是一个分区域分块投影，受到鞋子尺寸的影响，AF和BE离鞋头和鞋跟距离约是鞋长的λ处，λ是常系数，取值0.1～0.2，投影后图像的灰度值代表特征信息的大小，投影过程如下：根据鞋子的一般形状分为了8块投影区域，ABO1O2区域内的特征点携带着特征信息向O1A方向投影到AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、CD、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三维信息x，y，z值；再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中寻找一条从图像最左端一直延续到最右端的特征线，这条特征线对应为三维鞋子模型中最长的封闭特征线。
作为本发明的进一步改进，步骤6中，寻找下一点的办法是，在vector<point>中寻找最后N个点，进行直线拟合，然后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后使用PCA主成分分析；由于鞋底边缘线在一个小范围内是趋近于直线的，如果没有分叉点，该矩形区域内的点接近在一条直线上，则主成成分特征值比较大，设置参数ε，如果主成成分特征值大于ε，则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入vector<point>，对应图像的灰度值置为0；如果主成成分特征值小于ε，说明矩形区域内点分散，可能为分叉点，此时vector<point>停止增加点，形成了一条曲线段，然后从矩形区域的右侧末端取出最后几个点开始重新增长为新的vector<point>，矩形区域右侧不存在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点，保证所有特征点都在线段当中，如果特征线vector<point>增长到图像边缘，停止增长。
本发明的有益效果是：
本发明设计了一套制鞋工艺中的鞋底边缘线机器人自动跟踪方法，能够快速对鞋面进行扫描，获得鞋底边缘线位置，利用鞋底边缘线和新的鞋面产生准确的鞋底边缘线，通过机器人末端跟踪该三维封闭曲线快速完成打磨、喷药水和喷胶等操作，减少了制鞋工艺中的人力，提高了打磨、喷胶的精度，从而提高了鞋类产品的质量。
附图说明
图1是本发明机器人坐标系转换关系；
图2A是本发明机器人扫描的扫描路径示意图，图2B是本发明机器人扫描的扫描区域示意图；
图3A是本发明鞋底边缘线的凹谷面，图3B是鞋底边缘线曲面示意图；
图4本发明特征信息投影俯视图；
图5是本发明投影后的二维信息图像；
图6是本发明区别鞋底边缘线中的分叉点；
图7新鞋面跟踪线的生成；
图8是本发明的流程图；
图9是现有技术中采用示教的方式产生鞋底边缘线结构示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
1.摄像机及机器人手眼标定
本发明的第一步是摄像机标定，采用的标定板为圆环形标定板，使用4x7共28个圆环，环外边缘直径30mm，环内边缘直径1mm，应用张氏标定法完成摄像机标定。
摄像机安装到机器人上后，摄像机和机器人之间的坐标转换关系未知，需要通过手眼标定将其标定出来，如图1，需要求解出摄像机坐标系与机器人末端坐标系之间固定的转换关系。求解过程如下：改变机器人的末端位置和姿态，得到一组标定靶的图像，同时记录不同姿态下机器人末端的位置和姿态，进而对摄像机的外参数进行标定，由摄像机的外参数和对应的机器人末端位姿，经过计算即可得到机器人的手眼关系。
图1中，T6表示机器人世界坐标系和末端坐标系之间的转换关系，Tm表示机器人末端与摄像机坐标系之间的转换关系，Tc表示摄像机坐标系与靶标坐标系之间的转换关系，即摄像机的外参数，Tr表示机器人世界坐标系与靶标坐标系之间的转换关系。Tm为摄像机坐标系与机器人末端坐标系的转换关系，即手眼标定所要求得的结果。参考徐德等出版的《机器人视觉测量与控制》，标定出Tm。
2.鞋面点云数据扫描
2.1激光平面标定
在进行鞋面扫描前，必须标定出扫描头上的激光平面方程。已知摄像机投影方程为：
u，v是世界三维信息x，y，z通过投影矩阵p投影得到的图像信息，反过来无法通过图像信息反投影恢复真实世界的三维信息。本发明采用激光发射器作为辅助工具，增加了一个反投影过程的约束条件，这样系统需要标定出激光平面和摄像机之间的位置关系。
将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板的上的激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐标关系。
2.2点云扫描
获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，如图2A所示，扫描区域201为鞋底边缘线上下一定的区域，如图2B所示。
图2A中箭头所示的路径为设定的摄像机拍摄路径，机器人围绕鞋子沿该路径扫描鞋子，毎运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定。拍完图后可快速通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息还需要依靠之前手眼标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集Psi。
3.法向量估计
由于点云网格化耗费时间过多，本发明直接在散乱点云上处理。对散乱点云处理的第一步需要求出每个点的法向量。首先需要用kd-tree(kd树)数据结构表示出散乱的点云，对应输入点云中的某点p，利用kd-tree结构找出离p点最近的K个点组成一个K邻域。在K邻域内进行空间平面拟合，所得平面的法向作为p的法向估计。
估计出法向量np后，法向量指向是不统一的，指向鞋子模型的内部或者外部。
由于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量。调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0，则将np反向。
4.散乱点云特征提取
点云的特征估计是基于曲面微分几何的，基本思路在邻域内估计出点的高斯曲率，平均曲率以及主曲率和主方向。首先要在参考点p邻域内拟合出空间曲面方程，空间曲面方程可表示为带有十个待拟合参数的参数方程
用最小二乘可以拟合出十个参数
MTa＝0 (2-3)
对上式M矩阵进行SVD(奇异值分解)分解，参数向量a的解为最小特征值对应的特征向量。但是这样直接求解损失了太多微分信息，导致后续处理无法进行，本发明中采用三水平集的方法，提高拟合精度。
als＝[MTM]-1MTb (2-4)
b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，(2-4)式的求逆方法将数据矩阵M和观测矩阵b中的噪声放大了。由此，引入总体最小二乘，同时对数据矩阵M和观测矩阵b进行补偿。
(M+E)a＝b+e (2-5)
E对数据矩阵M进行补偿，e对观测矩阵进行补偿。将右边式子归零，移动到左边，得到表达式如下
(A+B)x＝0 (2-6)
B＝[E，e]，A＝[M，-b]，x＝[aT，1]T (2-7)
对A进行PCA(主成分分析)分解，得到特征值和特征向量，特征值从大到小排列λ1>λ2>…>λ11，(∈＞0)，总共十一个特征值，从理论上讲，x的解应该是最小特征值λ11对应的特征向量，但是由于x共有十一维，最后几个特征值都已经很小而且值很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向量都应该是x的解，取一个很小的参考量∈，比λ11+∈值小的特征值对应的特征向量都是解，由此构成一个解空间
由于x最后一个值为1，则理论上是一个11-k+1维值全为1的行向量，可以推导出a的解为
得到a的解后，在邻域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识，能够求取曲面的高斯曲率K和平均曲率H。
本算法参考SVD分解的基础上，使用了PCA分解，并对数据矩阵M数据根据离参考点的距离进行相应加权，对于鞋底边缘线这种非尖锐的平滑特征提取有很好的效果。鞋底边缘线这样的凹谷面如图3A所示。
鞋底边缘附近曲面属于基本曲面类型中的谷面，如图3B中虚线标注部分，谷面的基本特性中有K值趋近于0，则对于鞋底边缘特征线的特征来讲，H值越大则对应特征的特征信息就越强。
5.特征信息的投影
之前步骤得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中，AB,BC,CD,DE,EF,FG,GH和HA表示投影的二维图像，为了方便理解，可以把这些图像看作是墙，即将三维信息投射到墙上，如图4是投影过程的俯视图，如果指定Z轴正方向垂直纸面向外，则同一Z值的三维点在二维图像中的行的位置(用u表示图像行)相同。该投影方案是一个分区域分块投影，受到鞋子尺寸的影响，AF和BE离鞋头和鞋跟距离约是鞋长的λ处，λ是常系数，取值0.1～0.2。投影后图像的灰度值代表特征信息的大小，下面简单描述投影过程：
根据鞋子的一般形状分为了8块投影区域，ABO1O2区域内的特征点携带着特征信息向O1A方向投影到AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、CD、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三维信息x，y，z值。
再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中寻找一条从图像最左端一直延续到最右端的特征线，这条特征线对应为三维鞋子模型中最长的封闭特征线。
6.二维图像中鞋底边缘线的提取：
得到投影的二维图像表示的特征信息后，整幅图像如图5。实际图像中特征点为灰色或者白色，像素灰度值大于0，无特征信息为黑色，像素灰度值为0。鞋底边缘线提取过程如下：遍历图像如果发现有特征点(非零)，就从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector<point>容器L来表示，寻找下一点的办法是，在L中寻找最后N个点，进行直线拟合，然后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后使用PCA主成分分析，由于鞋底边缘线在一个小范围内是趋近于直线的，如果没有分叉点，该矩形区域内的点接近在一条直线上，则主要成分特征值比较大，设置参数ε，实际中取0.7，如果主要成分特征值大于ε，则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入L，对应图像的灰度值置为0，如图6。如果主要成分特征值小于ε，说明矩形区域内点分散，可能为分叉点，此时L停止增加点，形成了一条曲线段，然后从矩形区域的右侧末端取出最后几个点开始重新增长为新的L，矩形区域右侧不存在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点(图像中所有像素灰度值全为0)，保证所有特征点都在线段当中。如果特征线L增长到图像边缘，停止增长。
通过上面的步骤，可以获得很多线段，存在vector<vector<point>>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线。
由于容器L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ξ，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影。根据投影时保存的用于记录三维信息的三通道图像，可以将这条线段反投影回三维空间。此时在三维空间中的鞋底边缘线是一条线状散乱点集，需要进行进一步的细化。
7.可跟踪鞋底边缘线的生成
通过上面的步骤获得的鞋底边缘线较为杂乱，需要细化成一条封闭的空间三维曲线，机器人才能完成跟踪，实现自动化生产的打磨、喷胶、喷药水等操作。本发明优先考虑程序运行的效率，采用空间直线投影的方法对鞋底边缘线进行细化，选择了在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线，由于在二维图像中提取的鞋底边缘线是从图像左侧到图像右侧之间有序排列的，所以最终获得的三维鞋底边缘线的点也是有序的，机器人可以从相邻两点间获得可跟踪的小线段，而点的法向量为机器人跟踪时的姿态提供参考。
8.新鞋面跟踪曲线的生成
在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据Psc，将之前获得的带有鞋底的鞋点集Psi和Psc利用ICP算法将两个点云数据进行对齐。然后将初始鞋底边缘线上lo间隔δ采样，采样点为po，以po为起点，po所处Psi点集处的法向量为方向生成直线ln，计算ln与Psc的交点获得新的点集Pi，将新的点集Pi拟合出封闭的三维跟踪曲线lsc，机器人沿lsc运行并对lsc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶等操作。
图7中，当前鞋面点集Psc，Po点处法线方向生成的直线ln，在当前鞋面上生成的新的跟踪曲线li，初始鞋底边缘线lo，初始鞋面点集Psi。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (6)
1.一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于，包括以下步骤：
步骤1：摄像机及机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上，通过手眼标定得到摄像机和机器人之间的坐标转换关系；
步骤2：鞋面点云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，每运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息依靠之前手眼标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集Psi；
步骤3：法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对散乱点云处理的第一步需要求出每个点的法向量，首先需要用kd-tree数据结构表示出散乱的点云，对应输入点云中的某点p，利用kd-tree结构找出离p点最近的K个点组成一个K邻域，在K邻域内进行空间平面拟合，所得平面的法向作为p的法向估计；
步骤4：散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估计出点的高斯曲率，平均曲率以及主曲率和主方向；
步骤5：特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点的特征信息向鞋子四周投影到二维图像中；
步骤6：二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，像素灰度值大于0，无特征信息为黑色，像素灰度值为0，鞋底边缘线提取过程如下：遍历图像如果发现有特征点，就从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector<point>容器L来表示，由此，获得很多线段,存在vector<vector<point>>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ξ，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图像，将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱点集，需要进行进一步的细化；
步骤7：鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘线进行细化，在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线；根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时姿态提供参考；
步骤8：鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据Psc，将之前获得的带有鞋底的鞋点集Psi和Psc利用ICP算法将两个点云数据进行对齐；然后将初始鞋底边缘线上lo间隔δ采样，采样点为po，以po为起点，po所处Psi点集处的法向量为方向生成直线ln，计算ln与Psc的交点获得新的点集Pi，将新的点集Pi拟合出封闭的三维跟踪曲线lsc，机器人沿lsc运行并对lsc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶操作。
2.根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于：步骤2中，标定出扫描头上的激光平面方程的方法如下：将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板上的所有激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐标关系。
3.根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于：步骤3中，估计出法向量np后，法向量指向是不统一的，指向鞋子模型的内部或者外部，由于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量，调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0，则将np反向。
4.根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于：步骤4中，
首先要在参考点p邻域内拟合出空间曲面方程，空间曲面方程可表示为带有十个待拟合参数的参数方程：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
<mo>,</mo>
<mn>2</mn>
<mo>&GreaterEqual;</mo>
<mi>i</mi>
<mo>+</mo>
<mi>j</mi>
<mo>+</mo>
<mi>k</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</munder>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<msup>
<mi>x</mi>
<mi>i</mi>
</msup>
<msup>
<mi>y</mi>
<mi>j</mi>
</msup>
<msup>
<mi>z</mi>
<mi>k</mi>
</msup>
<mo>=</mo>
<msup>
<mi>M</mi>
<mi>T</mi>
</msup>
<mi>a</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
用最小二乘可以拟合出十个参数
MTa＝0 (2-3)
对上式M矩阵进行SVD分解，参数向量a的解为最小特征值对应的特征向量；采用三水平集的方法，提高拟合精度，
als＝[MTM]-1MTb (2-4)
b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，引入总体最小二乘，同时对数据矩阵M和观测矩阵b进行补偿，
(M+E)a＝b+e (2-5)
E对数据矩阵M进行补偿，e对观测矩阵进行补偿，将右边式子归零，移动到左边，得到表达式如下
(A+B)x＝0 (2-6)
B＝[E，e]，A＝[M，-b]，x＝[aT，1]T (2-7)
对A进行PCA分解，得到特征值和特征向量，将A的11个特征值从大到小排列λ1>λ2>…>λ11，总共十一个特征值，从理论上讲，x的解应该是最小特征值λ11对应的特征向量，但是由于x共有十一维，最后几个特征值都已经很小而且值很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向量都应该是x的解，取一个很小的参考量∈，∈＞0,比λ11+∈值小的特征值对应的特征向量都是解，由此构成一个解空间
<mrow>
<mi>V</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>v</mi>
<mn>11</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mover>
<mi>V</mi>
<mo>&OverBar;</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mn>11</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>a</mi>
<mrow>
<mi>T</mi>
<mi>L</mi>
<mi>S</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mover>
<mi>V</mi>
<mo>&OverBar;</mo>
</mover>
<msubsup>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mn>11</mn>
<mi>T</mi>
</msubsup>
</mrow>
<mrow>
<msub>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mn>11</mn>
</msub>
<msubsup>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mn>11</mn>
<mi>T</mi>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
得到a的解后，在邻域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识，能够求取曲面的高斯曲率K和平均曲率H。
5.根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于：步骤5中，为了方便提取出鞋底边缘线，将特征点的特征信息向鞋子四周投影到二维图像中，AB,BC,CD,DE,EF,FG,GH和HA表示投影的二维图像，AF离鞋头的距离约是鞋长的λ处，BE离鞋跟的距离约是鞋长的λ处，λ是常系数，取值0.1～0.2，A、H、G、F、E、D、C、B八个点依次设置,把这些图像看作是墙，即将三维信息投射到墙上，指定Z轴正方向垂直纸面向外，则同一Z值的三维点在二维图像中的行的位置相同，用u表示图像行；上述投影是一个分区域分块投影，受到鞋子尺寸的影响，投影后图像的灰度值代表特征信息的大小，投影过程如下：根据鞋子的一般形状分为了8块投影区域，其中O1和O2位于鞋底投影内部，且位于Y轴上，Y轴是鞋底投影任意两点中最长的线段所在的方向，ABO1O2区域内的特征点携带的特征信息向O1A方向投影到AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、CD、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三维信息x，y，z值；再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中寻找一条从图像最左端一直延续到最右端的特征线，这条特征线对应为三维鞋子模型中最长的封闭特征线。
6.根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于：步骤6中，寻找下一点的办法是，在vector<point>中寻找最后N个点，进行直线拟合，然后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后使用PCA主成分分析；由于鞋底边缘线在一个小范围内是趋近于直线的，如果没有分叉点，该矩形区域内的点接近在一条直线上，则主成成分特征值比较大，设置参数ε，如果主成成分特征值大于ε，则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入vector<point>，对应图像的灰度值置为0；如果主成成分特征值小于ε，说明矩形区域内点分散，可能为分叉点，此时vector<point>停止增加点，形成了一条曲线段，然后从矩形区域的右侧末端取出最后几个点开始重新增长为新的vector<point>，矩形区域右侧不存在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点，保证所有特征点都在线段当中，如果特征线vector<point>增长到图像边缘，停止增长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410663392.XA CN104463851B (zh) | 2014-11-19 | 2014-11-19 | 一种基于机器人的鞋底边缘线自动跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410663392.XA CN104463851B (zh) | 2014-11-19 | 2014-11-19 | 一种基于机器人的鞋底边缘线自动跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104463851A CN104463851A (zh) | 2015-03-25 |
| CN104463851B true CN104463851B (zh) | 2018-05-22 |
Family
ID=52909833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410663392.XA Expired - Fee Related CN104463851B (zh) | 2014-11-19 | 2014-11-19 | 一种基于机器人的鞋底边缘线自动跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104463851B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766325B (zh) * | 2015-04-09 | 2017-12-19 | 泉州装备制造研究所 | 一种鞋面喷胶轨迹线的计算方法 |
| CN106920225A (zh) * | 2015-12-24 | 2017-07-04 | 宝成工业股份有限公司 | 前帮机的定位检测方法 |
| CN105894120B (zh) * | 2016-04-08 | 2021-09-24 | 泉州装备制造研究所 | 一种基于姿态控制的鞋底喷胶路径的规划方法 |
| CN107030380A (zh) * | 2017-05-12 | 2017-08-11 | 巨集团有限公司 | 一种用于自动化加工鞋靴部件的激光设备 |
| CN107808415B (zh) * | 2017-11-17 | 2021-01-26 | 中国科学院合肥物质科学研究院 | 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法 |
| US10510148B2 (en) | 2017-12-18 | 2019-12-17 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for block based edgel detection with false edge elimination |
| CN108089544B (zh) * | 2017-12-25 | 2021-03-30 | 厦门大学嘉庚学院 | 一种鞋底喷胶机械人的轨迹生成方法及控制系统 |
| CN108180834A (zh) * | 2018-02-05 | 2018-06-19 | 中铁二十二局集团有限公司 | 一种工业机器人同三维成像仪位姿关系现场实时标定方法 |
| CN108510516A (zh) * | 2018-03-30 | 2018-09-07 | 深圳积木易搭科技技术有限公司 | 一种散乱点云的三维线段提取方法及系统 |
| CN108765372A (zh) * | 2018-04-26 | 2018-11-06 | 青岛海尔智能技术研发有限公司 | 识别鞋子信息的方法、装置及计算机可读存储介质 |
| CN109454642B (zh) * | 2018-12-27 | 2021-08-17 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
| TWI706841B (zh) * | 2019-03-22 | 2020-10-11 | 達明機器人股份有限公司 | ３ｄ相機與機械手臂座標系統的校正裝置及方法 |
| CN110047125A (zh) * | 2019-04-23 | 2019-07-23 | 北京华捷艾米科技有限公司 | 一种数据处理方法及装置 |
| CN110068279B (zh) * | 2019-04-25 | 2021-02-02 | 重庆大学产业技术研究院 | 一种基于点云数据的预制构件平面圆孔提取方法 |
| CN110051083B (zh) * | 2019-04-25 | 2020-11-24 | 广东弓叶科技有限公司 | Eva发泡鞋底打磨方法及设备 |
| CN110226806B (zh) * | 2019-05-07 | 2022-04-01 | 深圳市皕像科技有限公司 | 一种鞋底涂胶轨迹生成方法及装置 |
| CN110068274B (zh) * | 2019-05-29 | 2020-08-07 | 易思维（杭州）科技有限公司 | 涂胶传感器胶条检测示教方法 |
| CN110942077B (zh) * | 2019-12-11 | 2020-08-04 | 南京航空航天大学 | 基于权重局部变化度和l1中值优化的特征线提取方法 |
| CN111109766B (zh) * | 2019-12-16 | 2021-10-22 | 广东天机工业智能系统有限公司 | 鞋帮打磨装置 |
| CN111382696A (zh) * | 2020-03-06 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于检测目标的边界点的方法和装置 |
| CN111035115B (zh) * | 2020-03-13 | 2020-06-30 | 杭州蓝芯科技有限公司 | 一种基于3d视觉鞋底涂胶路径规划方法和装置 |
| CN112288759B (zh) * | 2020-10-26 | 2024-02-09 | 广东博智林机器人有限公司 | 一种边界提取方法、装置、设备及存储介质 |
| CN112405123B (zh) * | 2020-11-19 | 2021-09-24 | 泉州华中科技大学智能制造研究院 | 基于聚类算法的鞋底打粗轨迹规划方法及装置 |
| CN112465767A (zh) * | 2020-11-25 | 2021-03-09 | 南京熊猫电子股份有限公司 | 一种工业机器人鞋底涂胶轨迹提取方法 |
| CN113508963B (zh) * | 2021-03-22 | 2022-05-27 | 泉州华中科技大学智能制造研究院 | 一种采用分块位姿的鞋底打磨方法及装置 |
| CN114310900B (zh) * | 2022-01-11 | 2023-05-09 | 重庆智能机器人研究院 | 一种工业机器人视觉在线写绘和视觉涂胶算法 |
| CN114794669A (zh) * | 2022-03-31 | 2022-07-29 | 深圳市如本科技有限公司 | 鞋面涂胶轨迹生成方法、系统、计算机设备以及存储介质 |
| CN115131344B (zh) * | 2022-08-25 | 2022-11-08 | 泉州华中科技大学智能制造研究院 | 一种通过光强数据实现制鞋成型胶线提取的方法 |
| CN116765942B (zh) * | 2023-08-16 | 2023-11-14 | 泉州市智锐机械制造有限公司 | 自动示教组件及连续可变角度磨削设备及其自动示教工艺 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101161151A (zh) * | 2007-11-08 | 2008-04-16 | 浙江理工大学 | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统 |
| CN102789523A (zh) * | 2012-07-02 | 2012-11-21 | 东莞职业技术学院 | 基于图像处理的鞋样设计方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013123662A1 (zh) * | 2012-02-23 | 2013-08-29 | 欧利速精密工业股份有限公司 | 鞋底黏着剂自动化喷洒系统及其喷洒方法 |
-
2014
- 2014-11-19 CN CN201410663392.XA patent/CN104463851B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101161151A (zh) * | 2007-11-08 | 2008-04-16 | 浙江理工大学 | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统 |
| CN102789523A (zh) * | 2012-07-02 | 2012-11-21 | 东莞职业技术学院 | 基于图像处理的鞋样设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 中后帮鞋机全自动涂胶控制系统;舒雨锋等;《机电工程》;20130930;第30卷(第9期);第1109-1122页 * |
| 基于结构光的鞋底信息提取与机器人喷胶轨迹生成方法的研究;汪安国;《中国优秀硕士学位论文全文数据库信息科技辑》;20110615(第6期);I140-194 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104463851A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104463851B (zh) | 一种基于机器人的鞋底边缘线自动跟踪方法 | |
| Chen et al. | Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology | |
| CN108629835B (zh) | 基于高光谱、真彩图与点云互补的室内重建方法及系统 | |
| Pizzoli et al. | REMODE: Probabilistic, monocular dense reconstruction in real time | |
| Zhang et al. | A visual navigation algorithm for paddy field weeding robot based on image understanding | |
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| Peng et al. | Ida-3d: Instance-depth-aware 3d object detection from stereo vision for autonomous driving | |
| CN110703268B (zh) | 一种自主定位导航的航线规划方法和装置 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| CN113432600A (zh) | 基于多信息源的机器人即时定位与地图构建方法及系统 | |
| CN111145228A (zh) | 基于局部轮廓点与形状特征融合的异源图像配准方法 | |
| CN111702772B (zh) | 一种帮面自动引导涂胶方法及系统 | |
| CN107238374B (zh) | 一种不规则平面零件的分类和识别定位方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112263052B (zh) | 一种基于视觉数据自动映射鞋面喷胶路径的方法及系统 | |
| CN110796691A (zh) | 一种基于形状上下文和hog特征的异源图像配准方法 | |
| CN111820545A (zh) | 一种结合离线与在线扫描自动生成鞋底喷胶轨迹的方法 | |
| CN111964680A (zh) | 一种巡检机器人的实时定位方法 | |
| CN113834625A (zh) | 一种飞行器模型表面压力测量方法及系统 | |
| CN115641366A (zh) | 面向机器人搽胶的鞋面边墙线配准方法及装置 | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN108062766B (zh) | 一种融合颜色矩信息的三维点云配准方法 | |
| CN113706381A (zh) | 一种三维点云数据的拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180522 Termination date: 20181119 |