CN106767517A - 一种自由曲面内三维缝隙形貌自动采集方法及采集装置 - Google Patents
一种自由曲面内三维缝隙形貌自动采集方法及采集装置 Download PDFInfo
- Publication number
- CN106767517A CN106767517A CN201710038320.XA CN201710038320A CN106767517A CN 106767517 A CN106767517 A CN 106767517A CN 201710038320 A CN201710038320 A CN 201710038320A CN 106767517 A CN106767517 A CN 106767517A
- Authority
- CN
- China
- Prior art keywords
- gap
- image
- collecting device
- pose
- image collecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000005060 rubber Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001223882 Trinervitermes trinervoides Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自由曲面内三维缝隙形貌自动采集方法及采集装置,所述自由曲面内三维缝隙形貌自动采集方法包括以下步骤:S11、初始采集位姿获取步骤:根据待采集自由曲面产品的缝隙位置标注并计算生成图像采集装置初次采集该缝隙的初始采集位姿;S13、图像采集装置的初始采集位姿调整步骤:根据获取的初始采集位姿调整图像采集装置的初始采集位姿;S15、当前段图像采集步骤:采集该段的缝隙图像;S17、下一段待采集缝隙的采集位姿调整步骤:根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而逐步实现对整个缝隙的分段采集。
Description
技术领域
本发明涉及一种产品图像采集技术领域,特别涉及一种自由曲面内三维缝隙形貌自动采集方法及装置,用于先进制造领域自由曲面产品自身内或相互组装间三维缝隙轮廓的快速高质量图像的采集获取。
背景技术
自由曲面产品已丰富了我们的日常生活,具有自由曲面的产品广泛地分布到汽车、建筑、艺术品、牙齿、家用产品、航空航天、高铁等多个领域,这些自由曲面产品自身或者相互装配过程中往往存在缝隙,这些三维缝隙轮廓的指标是否满足设计加工的要求将直接决定着合成产品的最终质量,因此针对自由曲面内三维缝隙轮廓的高质量采样获取十分重要。由于三维缝隙轮廓的非规则形状与多变特征使得对于其自动高质量采样获取比较困难,特别是对于尚未具备先验知识的缝隙模型。传统对于三维缝隙轮廓的采样获取大都基于三坐标测量机,若待测缝隙模型未知,则必须通过手动控制触头来逐点对缝隙的关键特征进行采样,由于采用接触式测量方式以及测量过程中存在过多的人员干预,使得被测对象表面常被划伤而且被测对象的材质也受到极大的限制,同时测量效率与测量精度都难以保证。
最近几年,金属、塑料、橡胶、陶瓷、合成、软质等不同材质的自由曲面产品的广泛使用,使得对自由曲面内缝隙轮廓图像获取的新的采集装置与采集方法的需求日益迫切。现如今,基于视觉传感的获取方法已成为研究热点,特别是基于线结构光光源与图像传感器设计构成采集装置,其由于主动发出线光源并易柔性集成于坐标装置上,所以更有利于缝隙内部轮廓的采集获取。针对自由曲面三维缝隙轮廓非规则、自由变化等显著特点,在不具备缝隙轮廓先验知识的前提下,研究缝隙三维轮廓的自动、高质量采集方法及采集装置,形成快速、准确、低成本、易操作的采集过程,将解决自由曲面内连续缝隙轮廓难以高质量自动获取的难题,有利于企业对于自由曲面产品的监督与检测。
发明内容
针对上述现有技术的不足,本发明所要解决的技术问题是:提供一种快速、准确、低成本、高质量、易操作的自由曲面内三维缝隙轮廓的自动采集方法及采集装置。
为解决上述技术问题,本发明采用的一个技术问题是:提供一种自由曲面内三维缝隙形貌自动采集方法,包括以下步骤:
S11、初始采集位姿获取步骤:根据待采集自由曲面产品的缝隙位置标注并计算生成图像采集装置初次采集该缝隙的初始采集位姿;
S13、图像采集装置的初始采集位姿调整步骤:根据获取的初始采集位姿调整图像采集装置的初始采集位姿;
S15、当前段图像采集步骤:采集该段的缝隙图像;
S17、下一段待采集缝隙的采集位姿调整步骤:根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而逐步实现对整个缝隙的分段采集。
进一步的,在所述S17步骤之前,还包括:
结束采集位姿获取步骤:根据待采集曲面产品的缝隙位置及形状获取该缝隙的最后一次的结束采集位姿;
在所述S13步骤中,还包括:
判断图像采集装置的下一段采集位姿是否超出终点采集位姿;若超出终点采集位置则结束采集,从而逐步实现由首至尾的依次分段采集缝隙图像。
进一步的,所述S13步骤包括以下子步骤:
S131、将图像采集装置移动至初始采集位置处并调整该图像采集装置的初始采集向量
S132、缝隙图像试采集;
S133、根据试采集的缝隙图像得到该段缝隙轮廓;
S134、根据所述缝隙轮廓计算轮廓点云数据的法向向量
S135、判断所述法向向量与图像采集装置的初始采集方向向量的夹角的绝对值是否大于或等于第一阈值,若大于或等于所述第一阈值,则进入S136步骤,若小于所述第一阈值,则将当前试采集的缝隙图像视为首段采集后,转入S17步骤;
S136、若大于或等于所述第一阈值,则根据大于或等于的角度调整所述图像采集装置的位姿,以使其采集光束方向垂直地射入该段缝隙内部,进入当前段图像采集步骤。
进一步的,所述S17步骤包括以下子步骤:
S171、根据当前段缝隙图像的缝隙轮廓的拐点集合kij计算得到当前缝隙轮廓的点云数据的法向向量
S172、判断所述法向向量与上一段采集的缝隙图像对应的缝隙轮廓的点云数据的法向向量的夹角Δθi的绝对值是否大于或等于预设的第一阈值;若大于或等于预设的第一阈值,则进入S173步骤,若小于预设的第一阈值Δθ,则转入S176步骤;
S173、控制所述图像采集装置沿缝隙宽度方向X转动Δθi度;
S174、根据转动角度Δθi计算图像采集装置沿缝隙长度方向Y的相应位移Δy位置,使图像采集装置回位,从而保证图像采集装置的采集方向始终近似垂直于该段缝隙轮廓;
S175、判断图像采集装置的下一段采集位置yi+1=yi+ty是否超出终点yfinal,即yi+1=yi+ty≤yfinal,所述ty为采样间隔;若超出终点,则结束采集,若未超出终点,则进入S176步骤;
S176、则图像采集装置沿缝隙的长度方向Y正方向匀速移动采样间隔ty,使得yi+1=yi+ty;
S177、判断待采集的下段缝隙在缝隙的宽度方向X和高度方向Z是否位于图像采集装置的规定的视场采集范围内,该规定的视场采集范围处于图像采集装置的有效采集视场范围内;若未位于所述图像采集装置的规定采集视场的范围内,则进入S178步骤,若位于所述图像采集装置的规定采集视场的范围内,则转入S15步骤,以进行下一段缝隙轮廓的图像采集;
S178、调整图像采集装置的宽度方向X和/或高度方向Z的坐标,使其采集视场位于规定采集视场范围内。
进一步的,在S173步骤中,包括以下子步骤:
S173a、判断所述夹角Δθi是否大于或等于所述第一阈值Δθ,若是,则进入S173b步骤,若否,则转入S173c步骤;
S103b、沿缝隙的长度方向顺时针旋转角度Δθi,转入S174a步骤;
S173c、所述夹角Δθi小于或等于负第一阈值-Δθ;
S173d、沿缝隙的长度方向逆时针旋转角度Δθi,转入S174b步骤;
所述S174步骤包括以下子步骤:
S174a、控制所述图像采集装置沿缝隙长度方向Y正方向位移ΔY位置,以使图像采集装置回位,转入S174c步骤;
S174b、控制所述图像采集装置沿缝隙长度方向Y反方向移动ΔY位置,以使图像采集装置回位;
S174c、触发图像采集装置再次采集该段缝隙轮廓,覆盖原图像点云数据。
进一步的,在S177步骤中,通过以下步骤判断待采集的下一段缝隙在缝隙的宽度方向X是否位于图像采集装置的规定采集视场的范围内:
S1771、判断其中,xi表示当前段缝隙对应的图像采集装置在缝隙的宽度方向X的坐标,即X方向坐标,xi+1表示图像采集装置下一段采集时的X方向坐标,为当前段缝隙图像的缝隙轮廓的边缘中点,为上一段缝隙图像的缝隙轮廓的边缘中点,Fw图像采集装置的有效视场宽度;若大于或等于,则进入S1772步骤;若小于,则转入S1773步骤;
S1772、下一段图像采集装置的宽度方向X的坐标为
S1773、判断若小于或等于,则进入S1774步骤,若大于,则视为下一段图像采集装置的视场的宽度方向X位于规定的采集视场内;
S1774、下一段图像采集装置的宽度方向X的坐标为则
进一步的,在S177步骤中,通过以下步骤判断待采集的下一段缝隙在高度方向Z是否位于图像采集装置的规定的视场范围内:
S1771’、判断其中,为当前段缝隙图像的缝隙轮廓的最低点,为上一段缝隙图像的缝隙轮廓的最低点,Fh为图像采集装置的视场高度,zi表示当前段缝隙对应的图像采集装置在高度方向Z的坐标,即Z方向坐标,zi+1表示图像采集装置下一段采集时Z方向坐标,若大于或等于,则进入S1772’步骤,若小于,则转入S1773’;
S1772’、下一段图像采集装置的Z坐标为
S1773’、判断若小于或等于,则进入S1774’步骤,否则,视为下一段图像采集装置的高度方向Z的视场位于有效采集视场内;
S1774’、下一段图像采集装置的高度方向Z的坐标则为
进一步的,在位姿调整步骤中,通过一移动单元来调整图像采集装置的采集位姿。
进一步的,所述移动单元包括与待测自由曲面产品的缝隙的宽度方向X相应的X向底座、立设于X向底座上能够根据一第一电机的驱动在X向移动的与缝隙高度方向Z相应的Z向轴杆、水平设于所述Z向轴杆上且能够根据一第二电机的驱动在Z向移动的Y向轴杆以及用于驱动Y向轴杆在Y向进行移动的第三电机,所述图像采集装置设于所述Y向轴杆上相应于所述待采集自由曲面产品的一端,该图像采集装置能够根据一第四电机的驱动沿待测自由曲面产品缝隙的长度方向转动,从而根据第一电机、第二电机、第三电机以及第四电机的驱动调整所述图像采集装置的位姿。
为解决上述技术问题,本发明采用的另一个技术问题是:提供一种自由曲面内三维缝隙形貌自动采集装置,包括:
初始采集位姿获取模块:用于根据待测量自由曲面产品的缝隙位置获取图像采集装置初次采集该缝隙的初始采集位姿;
图像采集装置的初始采集位姿自动调整模块:用于根据获取的初始采集位姿自动调整图像采集装置的初始采集位姿;
当前段缝隙轮廓的图像采集模块:用于采集该段缝隙的点云图像;
下一段待采集缝隙的采集位姿自动调整模块:用于根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而自动逐步实现对整个缝隙轮廓的分段采集获取。
本发明的自由曲面内三维缝隙形貌自动采集方法及采集装置,能够实现对金属、塑料、橡胶、陶瓷、合成、软质等不同材质加工生产的自由曲面产品内三维缝隙轮廓自动采集,采集过程高效、采集图像质量高,整个采集过程完全自动化,不需要专业技术人员的干预操作。便于自由曲面内连续缝隙的现场在线采集与动态显示,缝隙长度范围为10~1000mm,宽度范围为1~60mm,深度范围为0.1~50mm,采样图像分辨率为25μm,长度采集效率为10mm/s。采集装置易于柔性集成、结构简单,可针对不同尺寸与形状自由曲面产品控制采集范围分布式扩展,装置定位精确、稳定性好。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明自由曲面内三维缝隙形貌自动采集方法第一实施例的流程图。
图2是图1中三维缝隙轮廓点云数据的在线生成流程。
图3是本发明自由曲面内三维缝隙形貌自动采集方法第二实施例的流程图。
图4是本发明图像采集装置的初始采集位姿调整步骤的流程图。
图5是本发明自由曲面内三维缝隙图像形貌自动采集方法中下一段待采集缝隙的采集位姿调整步骤的具体流程图。
图6是本发明自由曲面内三维缝隙形貌自动采集方法中图像采集装置的位姿与与被测缝隙的位置几何关系示意图。
图7是本发明自由曲面内三维缝隙形貌自动采集方法中移动单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明自由曲面内三维缝隙形貌自动采集方法第一实施例的流程图。本实施例的自由曲面内三维缝隙形貌自动采集方法包括以下步骤:
S11、初始采集位姿获取步骤:根据待测量自由曲面产品的缝隙位置获取图像采集装置初次采集该缝隙的初始采集位姿p0(x0,y0,z0,θ0);
其中,x0,y0,z0为它的空间坐标,x0表示与缝隙宽度方向X相应的初始坐标,y0表示与缝隙长度方向Y相应的初始坐标,z0表示与缝隙高度方向Z相应的初始坐标,θ0为当前状态采集方向与Z向初始状态(该状态一般设置为Z轴方向)采集方向的夹角。
本实施例中,图像采集装置为“3+1”自由度图像采集装置,即能够在X方向、Y方向、Z方向和沿缝隙长度旋转方向C自由动作。图像采集装置包括线激光器和相机,线激光器发射激光光束至缝隙内部时,激光光束长度方向与缝隙的初始宽度方向相应。沿Y轴等间隔采样(采样间隔为ty),而沿C轴、X轴、Z轴动态变化的采样过程;采样间隔ty受到被测自由曲面内缝隙曲率变化大小与采样点密度要求决定,在采样点密度确定情况下,曲率变化越大,采样间隔ty越小,反之亦然。所述激光器发射线激光条束近似垂直照射到缝隙内部;所述相机与激光器形成固定角度安置,角度遵循激光三角法工作原理;为保证相机视场能够覆盖光束区域,相机镜头的中心线正对着线激光光束的中心;所述激光器通过远程控制中心以软件触发方式触发发出激光光束。所述相机通过上位机进行控制采集。
本文中所述的上位机,是指能够控制移动单元移动图像采集装置、控制图像采集装置采集缝隙图像、接收图像采集装置发送的缝隙图像并进行相关处理的用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能。是能够按照程序运行,自动、高速处理海量数据的现代化智能电子设备,包括但不限于:个人电脑、台式电脑、笔记本、平板电脑、PDA(Personal Digital Assistant)。
具体结合实例,请参见图7,采用一移动单元控制图像采集装置的“3+1”自由度(即控制图像采集装置的采集位姿)。具体地,所述移动单元包括与待测自由曲面产品的缝隙的宽度方向X相应(例如平行或近似平行)的X向底座、立设于X向底座上能够根据一第一电机的驱动在X向移动的与缝隙高度方向Z相应(例如平行或近似平行)的Z向轴杆、水平设于所述Z向轴杆上且能够根据一第二电机的驱动在Z向移动的Y向轴杆以及用于驱动Y向轴杆在Y向进行移动的第三电机(具体可以是驱动Y向轴杆安装图像采集装置的一端沿Y向移动),所述图像采集装置设于所述Y向轴杆上相应于所述待测量自由曲面产品的一端,该图像采集装置能够根据一第四电机的驱动沿待测自由曲面产品缝隙的长度方向转动(即C向旋转),从而根据第一电机、第二电机、第三电机以及第四电机的驱动调整所述图像采集装置的位姿。
所述第一电机、第二电机、第三电机以及第四电机可以通过一上位机发出驱动控制命令,也可以是设于移动单元上的主控模块(例如PLC控制模块)进行控制。
本步骤中,通过上位机接收用户输入的位姿参数以获取图像采集装置的初始采集位姿。可理解的,在其他的实施例中,所述初始采集位姿的获取还可以采用其他方式,例如采用手动标记来获取初始采集位姿等等,此处不再一一赘述。
S13、图像采集装置的初始采集位姿调整步骤:根据获取的初始采集位姿调整图像采集装置的初始采集位姿;
本实例中,所述上位机接收到用户输入的初始采集位姿参数后,即根据位姿参数控制第一电机、第二电机和/或第三电机,以驱动位于Y向轴杆一端的图像采集装置移动至初始采集位置上,然后再控制第四电机工作,以驱动初始采集位置的图像采集装置的采集方向与缝隙垂直,可理解的,该垂直包括近似垂直,例如与当前缝隙面呈85~95度。
在具体实例中,用户还可先手动对图像采集装置的采集方向进行粗调,以使光束方向近似垂直,然后上位机再使图像采集装置试采集一次,根据试采集的缝隙图像分析得到试采集时的法向向量与Z向初始状态的夹角,将其与预设值对比,从而判定采集方向是否垂直于缝隙内部(也可称缝隙所在的面)。
S15、当前段图像采集步骤:采集该段的缝隙图像;
当该段采集为首次采集时,该当前段者为首段采集,当该段采集为中间任何一次采集,则当前段为对应的中间段采集,当该段为最后一次采集,那么,该当前段则为对应的结束段采集。每一段缝隙图像采集到后即传送至上位机,上位机进行缝隙图像相关处理(首先经过软件数据处理即数据滤波、平滑、分割、特征点提取),进而得到当前段缝隙图像轮廓的点云数据以及得到缝隙轮廓的最高点最低点重要拐点集合ki、以及缝隙宽度方向的两边缘点(即左边缘点右边缘点),上位机在获取到第一段缝隙图像时,建立局部虚拟三维坐标系,根据局部虚拟三维坐标系定位该段的缝隙轮廓边缘特征点、缝隙内部拐点、最高点以及最低点;在后续的每获取一段缝隙轮廓时,更新一次局部虚拟三维坐标系,并将该更新的局部虚拟三维坐标系在线转换至预先建立的全局坐标系内,以在全局坐标系内同步进行配准拼接在线生成已获取的三维缝隙轮廓。
具体请参见图2,所述每一段缝隙图像的三维轮廓点云数据的生成流程如下:
当前段缝隙图像的数据滤波与平滑处理;
数据分割、边缘特征提取、关键特征点反馈
S17、下一段待采集缝隙的采集位姿调整步骤:根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而逐步实现对整个缝隙的分段采集(从首至尾依次采集)。
上位机根据分析得到的当前段的缝隙图像点云数据以及当前段的上一段的缝隙图像的点云数据以及图像采集装置的当前位姿计算图像采集装置采集下一段缝隙的采集位姿。若当前段缝隙图像采集为首段缝隙图像采集,那么仅沿Y轴移动采样间隔ty进行第二段缝隙轮廓采样。
本实施例中,所述结束段采集可以通过软件自动识别,还可以通过人工控制关闭而结束最后一次采集。
具体采集待测量自由曲面产品的缝隙图像时,将待测缝隙固定在移动单元的一侧(靠近图像采集装置的一侧),使缝隙长度与Y向轴杆相应(以下称缝隙长度方向为Y方向),使缝隙宽度方向与X向轴座相应(以下称缝隙宽度方向为X方向,称缝隙的高度方向为Z方向)。然后标记起始采集位置并手动初调采集方向,用户根据该起始采集位置将初始采集位姿参数输入至上位机,上位机根据初始采集位姿参数自动控制移动单元进行相应的移动,从而调整图像采集装置的初始采集位姿。
本发明实施方式,采集上位机控制移动单元以控制图像采集装置的位姿实现三维缝隙图像形貌的由首至尾依次分段采集,为后续缝隙尺寸的分析测量提供较优的采集基础,解放用户的双手,用户仅需要根据待采集缝隙的位置确定初始采集位姿即可实现一条或多条缝隙的由首至尾依次采集,全程自动采集,无需人工操作,提高采集精度和自动化程度,自动化程度高、测量速度快,不存在人为误差影响,保证了后续缝隙尺寸测量的精确度。
请参见图3,图3是本发明自由曲面内三维缝隙形貌自动采集方法第二实施例的流程图。本实施例的自由曲面内三维缝隙形貌自动采集方法包括以下步骤:
S21、初始采集位姿获取步骤:根据待测量自由曲面产品的缝隙位置获取图像采集装置初次采集该缝隙的初始采集位姿p0(x0,y0,z0,θ0);
S22、结束采集位姿获取步骤:根据待测量曲面产品的缝隙位置及长度获取该缝隙的最后一次的结束采集位姿;
S23、图像采集装置的初始采集位姿调整步骤:根据获取的初始采集位姿调整图像采集装置的初始采集位姿;
S25、当前段图像采集步骤:采集该段的缝隙图像;
当该段采集为首次采集时,该当前段者为首段采集,当该段采集为中间任何一次采集,则当前段为对应的中间段采集,当该段为最后一次采集,那么,该当前段则为对应的结束段采集。
S27、下一段待采集缝隙的采集位姿调整步骤:根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿;判断图像采集装置的下一段采集位姿是否超出终点采集位姿;若超出终点采集位置则结束采集;若未超出终点采集位置,则调整图像采集装置的下一段采集位姿,从而逐步实现由首至尾的依次分段采集缝隙图像。
在其他的实施例中,上述S22步骤可以在S21步骤之前,也可以在步骤S23之后,只要在S27步骤之前即可。
本发明实施方式,在第一实施例的基础上,用户只需要输入起始位置和结束位置,图像采集装置即可根据控制由首至尾的自动依次分段采集自由曲面产品的缝隙图像,进一步降低了用户的工作强度,提高了采集精确度,提高用户的满意度。
请参见图4,图4是本发明图像采集装置的初始采集位姿调整步骤的具体流程图,适用于第一实施例和/或第二实施例中的初始采集位姿调整。所述图像采集装置的初始位姿调整步骤包括以下子步骤:
S131、将图像采集装置移动至初始采集位置处(即p0(x0,y0,z0))并调整该图像采集装置的初始采集向量
在一些具体实施方式中,可以手动将图像采集装置移动至初始采集位置处再调整初始采集向量在本实施方式中,初始采集向量为手动调整,用户可以先调整初始采集方向后,再控制图像采集装置使其移动至初始采集位置,也可以先通过上位机控制图像采集装置移动至初始采集位置后,再手动粗调初始采集向量
S132、缝隙图像试采集;
当图像采集装置移动至初始采集位置并粗调初始采集方向后,上位机控制图像采集装置开始缝隙图像采集。
S133、根据试采集的缝隙图像得到缝隙轮廓;
如图6所示,当所述图像采集装置试采集到图像信息后,将采集的图像发送至上位机,上位机对采集到的缝隙图像进行处理得到缝隙图像轮廓,进而得到当前段缝隙图像轮廓的最高点最低点重要拐点集合ki、以及缝隙宽度方向的两边缘点(即左边缘点右边缘点);
S134、根据所述缝隙轮廓计算轮廓点云数据的法向向量
S135、判断所述法向向量与图像采集装置的初始采集方向向量的夹角的绝对值是否大于或等于第一阈值,若大于或等于所述第一阈值,则进入S136步骤,若小于所述第一阈值,则将当前试采集的图像视为首段采集,转入下一段待采集缝隙的采集位置调整步骤;
S136、若大于或等于所述第一阈值,则根据大于或等于的角度调整所述图像采集装置的位姿(即C向和Y向调整,具体调整方式可见下文中S173和S174步骤),以使其采集光束方向垂直地射入待测量自由曲面产品的缝隙内,进入当前段图像采集步骤,以重新进行缝隙图像的首段采集。
上述S132步骤至S135步骤主要用于对图像采集装置的位姿进行微调,以弥补手动粗调精度不准的缺陷,还用户当处理得到用户粗调精度达到标准后,直接将试采集试为首段采集,避免首段采集重复,简化采集步骤、采集复杂度。可以理解的,在其他的实施例中,所述初始采集向量也可以全程采集上位机控制自动调整,直至初始采集向量与采集得到的法向向量的夹角满足第一阈值(即满足采集方向与缝隙所在的面相垂直或近似垂直)。
本发明实施方式,通过上述方式调整初始采集位姿,自动对位姿进行调整,保证首段采集的精确度。
请参见图5及图6,为图像采集装置的位姿调整流程,适用于上述第一实施例和/或第二实施例中下一段待采集缝隙的采集位姿调整步骤。所述下一段待采集缝隙的采集位姿调整包括以下步骤:
S171、根据当前段缝隙图像的缝隙轮廓的拐点集合kij计算得到当前缝隙轮廓的点云数据的法向向量
S172、判断所述法向向量与上一段采集的缝隙图像对应的缝隙轮廓的点云数据的法向向量的夹角Δθi的绝对值是否大于或等于预设的第一阈值;若大于或等于预设的第一阈值,则进入S173步骤,若小于预设的第一阈值Δθ,则转入S176步骤;
S173、控制所述图像采集装置C向转动Δθi度;该步骤包括以下子步骤:
S173a、判断所述夹角Δθi是否大于或等于正的第一阈值+Δθ,若是,则进入S173b步骤,若否,则转入S173c步骤;
S103b、控制图像采集装置C向顺时针转动角度Δθi,转入S174a步骤;
S173c、所述夹角Δθi小于或等于负的第一阈值-Δθ;
S173d、控制图像采集装置C向逆时针转动角度Δθi,转入S174b步骤;
S174、根据转动角度Δθi计算图像采集装置沿缝隙长度方向Y的相应位移ΔY位置,使图像采集装置回位,从而使图像采集装置的采集方向近似垂直于缝隙内,即yi=yi,yi为图像采集装置在缝隙长度方向Y坐标,即Y方向坐标;然后再触发图像采集装置再次采集当前段图像,即再次进入当前段图像采集的步骤,以保证当前段图像的采集是在正确的位姿下采集后,进入S175步骤;
所述S174步骤包括以下子步骤:
S174a、控制所述图像采集装置沿缝隙长度方向正方向匀速移动ΔY位置,以使图像采集装置回位,即yi=yi,转入S174c步骤;
S174b、控制所述图像采集装置沿缝隙长度方向反方向移动ΔY位置,以使图像采集装置回位;
S174c、触发图像采集装置再次采集当前轮廓,覆盖原点云数据,即使得ai,j=ai,j,ai,j表示当前段的图像缝隙的点云数据。
S175、判断图像采集装置的下一段采集位置yi+1=yi+ty是否超出终点yfinal,即yi+1=yi+ty≤yfinal,所述ty为采样间隔;若超出终点,则结束采集,若未超出终点,则进入S176步骤;
S176、则图像采集装置沿缝隙的长度方向正方向匀速移动采样间隔ty,使得yi+1=yi+ty;
S177、判断待采集的下一段缝隙在缝隙的宽度方向(X方向)和高度方向(Z方向)是否位于图像采集装置的规定的视场采集范围内,该规定的视场采集范围处于图像采集装置的有效采集视场范围内(见图6);若未位于所述图像采集装置的规定采集视场的范围内,则进入S178步骤,若位于所述图像采集装置的规定采集视场的范围内,则转入S15步骤,以进行下一段缝隙的当前图像采集;
本实施例中,可以通过以下步骤调整图像采集装置在X方向位姿,以使得其在宽度方向位于有效采集视场范围内:
S1771、判断其中,xi表示当前段缝隙对应的图像采集装置在缝隙的宽度方向X的坐标,即X方向坐标,xi+1表示图像采集装置下一段采集时的X方向坐标,为当前段缝隙图像的缝隙轮廓的边缘中点,为上一段缝隙图像的缝隙轮廓的边缘中点,Fw图像采集装置的视场宽度(见图6);若大于或等于,则进入S1772步骤;若小于,则转入S1773步骤;
S1772、下一段图像采集装置的宽度方向X的坐标为
S1773、判断若小于或等于,则进入S1774步骤,若大于,则视为下一段图像采集装置的宽度方向X的视场位于规定采集视场内;
S1774、下一段图像采集装置的宽度方向X的坐标为则
本实施例中,可以通过以下步骤调整图像采集装置在Z方向位姿,以使得其在高度方向位于规定采集视场范围内:
S1771’、判断其中,为当前段缝隙图像的缝隙轮廓的最低点,为上一段缝隙图像的缝隙轮廓的最低点,Fh为图像采集装置的视场高度(见图6),zi表示当前段缝隙对应的图像采集装置在高度方向Z的坐标,即Z方向坐标,zi+1表示图像采集装置下一段采集时Z方向坐标,若大于或等于,则进入S1772’步骤,若小于,则转入S1773’;
S1772’、下一段图像采集装置的Z坐标为
S1773’、判断若小于或等于,则进入S1774’步骤,否则,视为下一段图像采集装置的高度方向Z的视场位于规定采集视场内;
S1774’、下一段图像采集装置的高度方向Z的坐标则为
S178、调整图像采集装置的X方向坐标和/或Z方向坐标,使其采集视场位于规定采集视场范围内,当X方向坐标和Z方向坐标均位于规定采集视场范围内后,然后再触发图像采集装置采集新位置的缝隙图像,即再次转入当前段图像采集步骤,以采集新位置的缝隙图像。
上述X方向和Z方向坐标的调整流程并无先后顺序,在一些实施例中,可以先调整Z方向坐标后再调整X方向坐标,也可以先调整X方向坐标后再调整Z方向坐标。
具体在对自由曲面内缝隙进行自动采集时,将待测自由曲面缝隙放置在测量平台上,标记待测缝隙的起点与终点;输入起点位姿和终点位姿,图像采集装置根据上位机控制自动移动到被测缝隙的起点采集位置,点击连续触发按钮启动激光器发射激光,手动控制使线光束近似垂直照射到待测缝隙内部;启动姿态自调位按钮,上位机根据相机当前采集的缝隙轮廓自动调整图像采集装置的姿态;启动一键测量按钮,测量系统控制图像采集装置向前匀速移动,周期间隔触发激光器发射激光,同时相机等周期的拍照采样,并将采样点云数据送入数据处理单元(可以是上位机内置处理单元)进行处理,数据处理单元根据当前缝隙特征调整采集装置的姿态,重复上述动作直至整个缝隙轮廓采集完成。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种自由曲面内三维缝隙形貌自动采集方法,包括以下步骤:
S11、初始采集位姿获取步骤:根据待采集自由曲面产品的缝隙位置标注并计算生成图像采集装置初次采集该缝隙的初始采集位姿;
S13、图像采集装置的初始采集位姿调整步骤:根据获取的初始采集位姿调整图像采集装置的初始采集位姿;
S15、当前段图像采集步骤:采集该段的缝隙图像;
S17、下一段待采集缝隙的采集位姿调整步骤:根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而逐步实现对整个缝隙的分段采集。
2.如权利要求1所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于,在所述S17步骤之前,还包括:
结束采集位姿获取步骤:根据待采集曲面产品的缝隙位置及形状获取该缝隙的最后一次的结束采集位姿;
在所述S13步骤中,还包括:
判断图像采集装置的下一段采集位姿是否超出终点采集位姿;若超出终点采集位置则结束采集,从而逐步实现由首至尾的依次分段采集缝隙图像。
3.如权利要求2所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于,所述S13步骤包括以下子步骤:
S131、将图像采集装置移动至初始采集位置处并调整该图像采集装置的初始采集向量
S132、缝隙图像试采集;
S133、根据试采集的缝隙图像得到该段缝隙轮廓;
S134、根据所述缝隙轮廓计算轮廓点云数据的法向向量
S135、判断所述法向向量与图像采集装置的初始采集方向向量的夹角的绝对值是否大于或等于第一阈值,若大于或等于所述第一阈值,则进入S136步骤,若小于所述第一阈值,则将当前试采集的缝隙图像视为首段采集后,转入S17步骤;
S136、若大于或等于所述第一阈值,则根据大于或等于的角度调整所述图像采集装置的位姿,以使其采集光束方向垂直地射入该段缝隙内部,进入当前段图像采集步骤。
4.如权利要求3所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于,所述S17步骤包括以下子步骤:
S171、根据当前段缝隙图像的缝隙轮廓的拐点集合kij计算得到当前缝隙轮廓的点云数据的法向向量
S172、判断所述法向向量与上一段采集的缝隙图像对应的缝隙轮廓的点云数据的法向向量的夹角Δθi的绝对值是否大于或等于预设的第一阈值;若大于或等于预设的第一阈值,则进入S173步骤,若小于预设的第一阈值Δθ,则转入S176步骤;
S173、控制所述图像采集装置沿缝隙宽度方向X转动Δθi度;
S174、根据转动角度Δθi计算图像采集装置沿缝隙长度方向Y的相应位移Δy位置,使图像采集装置回位,从而保证图像采集装置的采集方向始终近似垂直于该段缝隙轮廓;
S175、判断图像采集装置的下一段采集位置yi+1=yi+ty是否超出终点yfinal,即yi+1=yi+ty≤yfinal,所述ty为采样间隔;若超出终点,则结束采集,若未超出终点,则进入S176步骤;
S176、则图像采集装置沿缝隙的长度方向Y正方向匀速移动采样间隔ty,使得yi+1=yi+ty;
S177、判断待采集的下段缝隙在缝隙的宽度方向X和高度方向Z是否位于图像采集装置的规定的视场采集范围内,该规定的视场采集范围处于图像采集装置的有效采集视场范围内;若未位于所述图像采集装置的规定采集视场的范围内,则进入S178步骤,若位于所述图像采集装置的规定采集视场的范围内,则转入S15步骤,以进行下一段缝隙轮廓的图像采集;
S178、调整图像采集装置的宽度方向X和/或高度方向Z的坐标,使其采集视场位于规定采集视场范围内。
5.如权利要求4所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于:
在S173步骤中,包括以下子步骤:
S173a、判断所述夹角Δθi是否大于或等于所述第一阈值Δθ,若是,则进入S173b步骤,若否,则转入S173c步骤;
S103b、沿缝隙的长度方向顺时针旋转角度Δθi,转入S174a步骤;
S173c、所述夹角Δθi小于或等于负第一阈值-Δθ;
S173d、沿缝隙的长度方向逆时针旋转角度Δθi,转入S174b步骤;
所述S174步骤包括以下子步骤:
S174a、控制所述图像采集装置沿缝隙长度方向Y正方向位移ΔY位置,以使图像采集装置回位,转入S174c步骤;
S174b、控制所述图像采集装置沿缝隙长度方向Y反方向移动ΔY位置,以使图像采集装置回位;
S174c、触发图像采集装置再次采集该段缝隙轮廓,覆盖原图像点云数据。
6.如权利要求4所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于,在S177步骤中,通过以下步骤判断待采集的下一段缝隙在缝隙的宽度方向X是否位于图像采集装置的规定采集视场的范围内:
S1771、判断其中,xi表示当前段缝隙对应的图像采集装置在缝隙的宽度方向X的坐标,即X方向坐标,xi+1表示图像采集装置下一段采集时的X方向坐标,为当前段缝隙图像的缝隙轮廓的边缘中点,为上一段缝隙图像的缝隙轮廓的边缘中点,Fw图像采集装置的有效视场宽度;若大于或等于,则进入S1772步骤;若小于,则转入S1773步骤;
S1772、下一段图像采集装置的宽度方向X的坐标为
S1773、判断若小于或等于,则进入S1774步骤,若大于,则视为下一段图像采集装置的视场的宽度方向X位于规定的采集视场内;
S1774、下一段图像采集装置的宽度方向X的坐标为则
7.如权利要求6所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于,在S177步骤中,通过以下步骤判断待采集的下一段缝隙在高度方向Z是否位于图像采集装置的规定的视场范围内:
S1771’、判断其中,为当前段缝隙图像的缝隙轮廓的最低点,为上一段缝隙图像的缝隙轮廓的最低点,Fh为图像采集装置的视场高度,zi表示当前段缝隙对应的图像采集装置在高度方向Z的坐标,即Z方向坐标,zi+1表示图像采集装置下一段采集时Z方向坐标,若大于或等于,则进入S1772’步骤,若小于,则转入S1773’;
S1772’、下一段图像采集装置的Z坐标为
S1773’、判断若小于或等于,则进入S1774’步骤,否则,视为下一段图像采集装置的高度方向Z的视场位于有效采集视场内;
S1774’、下一段图像采集装置的高度方向Z的坐标则为
8.如权利要求1至7中任一项权利要求所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于:在位姿调整步骤中,通过一移动单元来调整图像采集装置的采集位姿。
9.如权利要求8所述的自由曲面内三维缝隙形貌自动采集方法,其特征在于:所述移动单元包括与待测自由曲面产品的缝隙的宽度方向X相应的X向底座、立设于X向底座上能够根据一第一电机的驱动在X向移动的与缝隙高度方向Z相应的Z向轴杆、水平设于所述Z向轴杆上且能够根据一第二电机的驱动在Z向移动的Y向轴杆以及用于驱动Y向轴杆在Y向进行移动的第三电机,所述图像采集装置设于所述Y向轴杆上相应于所述待采集自由曲面产品的一端,该图像采集装置能够根据一第四电机的驱动沿待测自由曲面产品缝隙的长度方向转动,从而根据第一电机、第二电机、第三电机以及第四电机的驱动调整所述图像采集装置的位姿。
10.一种自由曲面内三维缝隙形貌自动采集装置,包括:
初始采集位姿获取模块:用于根据待测量自由曲面产品的缝隙位置获取图像采集装置初次采集该缝隙的初始采集位姿;
图像采集装置的初始采集位姿自动调整模块:用于根据获取的初始采集位姿自动调整图像采集装置的初始采集位姿;
当前段缝隙轮廓的图像采集模块:用于采集该段缝隙的点云图像;
下一段待采集缝隙的采集位姿自动调整模块:用于根据当前段和当前段的上一段缝隙图像信息、图像采集装置的当前位姿约束图像采集装置采集下一段缝隙的采集位姿,并据此调整图像采集装置的下一段采集位姿,从而自动逐步实现对整个缝隙轮廓的分段采集获取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710038320.XA CN106767517B (zh) | 2017-01-18 | 2017-01-18 | 一种自由曲面内三维缝隙形貌自动采集方法及采集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710038320.XA CN106767517B (zh) | 2017-01-18 | 2017-01-18 | 一种自由曲面内三维缝隙形貌自动采集方法及采集装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106767517A true CN106767517A (zh) | 2017-05-31 |
CN106767517B CN106767517B (zh) | 2019-03-01 |
Family
ID=58944138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710038320.XA Expired - Fee Related CN106767517B (zh) | 2017-01-18 | 2017-01-18 | 一种自由曲面内三维缝隙形貌自动采集方法及采集装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106767517B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465897A (zh) * | 2019-09-06 | 2021-03-09 | 北京三快在线科技有限公司 | 一种设备校准的方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1555508A1 (en) * | 2004-01-16 | 2005-07-20 | Fanuc Ltd | Measuring system |
CN101049697A (zh) * | 2006-04-05 | 2007-10-10 | 中国科学院自动化研究所 | 一种移动机器人的位姿传感系统及其方法 |
CN101456182A (zh) * | 2007-12-12 | 2009-06-17 | 中国科学院自动化研究所 | 大型工件焊接智能机器人装置 |
CN105809701A (zh) * | 2016-03-25 | 2016-07-27 | 成都易瞳科技有限公司 | 全景视频姿态标定方法 |
CN106323167A (zh) * | 2016-08-22 | 2017-01-11 | 上海交通大学 | 一种基于图像识别的智能扫描在线测量系统和测量方法 |
-
2017
- 2017-01-18 CN CN201710038320.XA patent/CN106767517B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1555508A1 (en) * | 2004-01-16 | 2005-07-20 | Fanuc Ltd | Measuring system |
CN101049697A (zh) * | 2006-04-05 | 2007-10-10 | 中国科学院自动化研究所 | 一种移动机器人的位姿传感系统及其方法 |
CN101456182A (zh) * | 2007-12-12 | 2009-06-17 | 中国科学院自动化研究所 | 大型工件焊接智能机器人装置 |
CN105809701A (zh) * | 2016-03-25 | 2016-07-27 | 成都易瞳科技有限公司 | 全景视频姿态标定方法 |
CN106323167A (zh) * | 2016-08-22 | 2017-01-11 | 上海交通大学 | 一种基于图像识别的智能扫描在线测量系统和测量方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465897A (zh) * | 2019-09-06 | 2021-03-09 | 北京三快在线科技有限公司 | 一种设备校准的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106767517B (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106705847B (zh) | 一种自由曲面内缝隙几何尺寸测量方法及装置 | |
CN107229930B (zh) | 一种指针式仪表数值智能识别方法 | |
CN2932377Y (zh) | 流水式机器视觉检测仪 | |
CN104959989B (zh) | 一种视觉引导下的电梯门板上料定位方法 | |
CN109544638A (zh) | 一种用于多传感器融合的异步在线标定方法 | |
CN101814185A (zh) | 用于微小尺寸测量的线结构光视觉传感器标定方法 | |
CN105751245B (zh) | 一种用于标定多机器人系统基坐标系的方法及其设备 | |
CN106182004A (zh) | 基于视觉引导的工业机器人自动销孔装配的方法 | |
CN106200657B (zh) | 一种无人机控制方法 | |
CN105205462A (zh) | 一种拍照提示方法及装置 | |
CN104634261B (zh) | 基于线激光源的中厚板形貌检测系统及其方法 | |
CN103729883A (zh) | 一种三维环境信息采集与重构系统及方法 | |
CN109060821A (zh) | 基于激光检测的隧道病害检测方法及隧道病害检测装置 | |
CN104484868B (zh) | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 | |
CN104408408A (zh) | 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置 | |
CN108345004A (zh) | 一种移动机器人的人体跟随方法 | |
CN110454182B (zh) | 一种全断面隧道掘进机换刀机器人视觉定位结构及方法 | |
CN104563459B (zh) | 一种抹墙机及其找平方法 | |
CN112605033B (zh) | 一种光伏板姿态识别及清洗调控装置及方法 | |
CN107816980A (zh) | 一种钢铁辊系位置检测装置及方法 | |
CN108921148A (zh) | 确定正脸倾斜角度的方法及装置 | |
CN110967014A (zh) | 一种基于增强现实技术的机房室内导航和设备追踪的方法 | |
CN107782304A (zh) | 移动机器人的定位方法及装置、移动机器人及存储介质 | |
CN110793543A (zh) | 基于激光扫描的电力巡检机器人的定位导航精度测量装置及方法 | |
CN108286951B (zh) | 用于室内门窗测量的手持式激光扫描仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190301 |
|
CF01 | Termination of patent right due to non-payment of annual fee |