CN1721142A - 一种五自由度立体视觉监控装置 - Google Patents
一种五自由度立体视觉监控装置 Download PDFInfo
- Publication number
- CN1721142A CN1721142A CN 200410068998 CN200410068998A CN1721142A CN 1721142 A CN1721142 A CN 1721142A CN 200410068998 CN200410068998 CN 200410068998 CN 200410068998 A CN200410068998 A CN 200410068998A CN 1721142 A CN1721142 A CN 1721142A
- Authority
- CN
- China
- Prior art keywords
- monitoring device
- stereoscopic vision
- vision monitoring
- slide block
- montant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 26
- 210000000707 wrist Anatomy 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 2
- 230000009017 pursuit movement Effects 0.000 abstract 1
- 210000003857 wrist joint Anatomy 0.000 abstract 1
- 238000009434 installation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种五自由度立体视觉监控装置属于监控技术领域，由支架、三个互相垂直的平移运动关节、旋转/倾斜手腕结构和摄像机组成，有五个运动轴，每个运动轴上安装有两个限位传感器和一个零位传感器。两台摄像机分别安装在腕关节的下端，摄像机光轴间的夹角可以调整。当平台运动时，带动摄像机在空间五个方向上运动：沿水平面上两个方向的平移运动，与垂直面的平移运动，及两个旋转运动。本发明机器人腕关节运动响应速度快，可快速跟踪运动物体，提供两个角度拍摄的物体图像，经后续运算，对物体精确定位。直角坐标机器人运动平稳，运动范围大，能够扩大摄像机视野。本发明将计算机视觉系统应用到自动装配线上，提高了装配线的柔性和精度。
Description
技术领域
本发明属于监控技术领域，具体地说是用于获得自动装配线上运动工件位置，和监控装配线工作状态的一种视觉监控装置。
背景技术
自动化装配线上的视觉监控装置，是利用视觉传感器采集到的图像，经过图像处理，得到工件的型号、位置等信息，通过计算机控制，操作机械手，完成装配任务。
目前的这种监控装置，采用一台固定在某一位置的摄像机，采集传送带上工件的图像(刘延林编著，柔性制造自动化概论，华中科技大学出版社，2001年10月第一版，第21页，图2.9，2.10，2.11)。这种装置的不足在于：摄像机是固定的，视野覆盖范围较小，只能完成平面上的简单定位和操作，不能进行空间定位和操作，不能对装配线起到监控的作用。
发明内容
本发明的目的在提供一种全新的智能视觉监控装置，对自动化装配线进行监控和高级调度，提高装配线的柔性。
为达到上述目的，本发明的技术解决方案是提供一种五自由度的立体视觉监控装置，由支架、三个互相垂直的平移运动关节、旋转/倾斜手腕结构和摄像机组成，其支架的前、后顶梁上纵向固装有前导轨和后导轨，前导轨和后导轨上方通过连接驱动件架有横梁，横梁与前导轨、后导轨相互垂直置放；横梁内侧通过连接驱动件固接于竖杆的底面中部，竖杆与横梁正交设置；竖杆通过连接驱动件固接于加长臂上端，加长臂下端固连着旋转/倾斜手腕结构；
旋转/倾斜手腕结构由两电机、减速器和摄像机平台组成，两电机相互垂直设置，分别和减速器动连接，减速器和摄像机平台动连接；摄像机平台上装有至少两部摄像机。
所述的立体视觉监控装置，其所述连接驱动件，包括条块或竖杆、丝杠、电机和滑块，在条块或竖杆的槽沟内设有丝杠，丝杠的一端固接有电机；丝杠与滑块动连接，滑块一面与导轨动接触，并以一孔内螺纹套接于丝杠外螺纹。
所述的立体视觉监控装置，其所述旋转/倾斜手腕结构的两电机，相互垂直设置，分别通过减速器可使摄像机平台在平面上做360°旋转，在垂面上做-105°～105°旋转。
所述的立体视觉监控装置，其所述至少两部摄像机，各摄像机光轴之间的夹角可以调整；同时提供不同视角下采集的两幅视觉图像或运动图像序列。
所述的立体视觉监控装置，其所述条块或竖杆和滑块之间，安装有限位传感器和零位传感器，能够限制滑块在一定范围内运动。
所述的立体视觉监控装置，其所述两电机，其回转轴上安装有限位传感器和零位传感器，能够限制两电机在一定范围内运动，从而使摄像机对计划场景进行拍摄。
所述的立体视觉监控装置，其所述减速器，为普通减速器，能够对运动物体进行快速跟踪。
所述的立体视觉监控装置，其可将多台装置联合使用，对生产线、场景实施视觉监控，对运动物体进行视觉跟踪。
本发明的突出特点是利用机器人装置，带动两台摄像机同时运动，产生和人类双眼结构相似的立体视觉，跟踪流水线上的运动工件，当工件到达指定位置后，通过图像处理，得到工件的精确定位，提供给后续装配、加工等任务使用。由于工件的精确位置是通过处理摄像机图像得到，所以对定位卡具的要求降低了，甚至可以避免使用专用的卡具。在装配不同的产品时，避免重新制造卡具和重新设计装配线，增加了装配线的柔性。
本发明中，将两台摄像机固定在一个五自由度机器人末端，机器人带动摄像机作空间平移运动和转动。该机器人由两部分组成：直角坐标机器人和旋转/倾斜手腕结构。直角坐标机器人有三个互相垂直的平移运动关节，运动范围大，定位精确。旋转/倾斜手腕结构有两个自由度，安装在直角坐标机器人末端。手腕结构的末端是一个摄像机安装架，安装架上设置两台摄像机的安装位置，两台摄像机的安装轴能够平行，或成某一夹角。
本发明能够对运动工件进行快速跟踪，对静止工件进行立体视觉定位。
附图说明
图1为五自由度立体视觉监控装置示意图；
图2为摄像机跟踪快速运动工件的视觉图像；
图3为两台摄像机同时采集工件的视觉图像。
具体实施方式
请参阅图1。矩型框状支架22的前、后顶梁上纵向固装有前导轨1和后导轨1a，前导轨1和后导轨1a为直线形凸起，后导轨1a后侧有平行设置的槽沟状条块3a，条块3a的槽沟内设有丝杠3，丝杠3的一端固接有电机2。前导轨1与后导轨1a上动接触有滑块14和滑块4，滑块14底面支于前导轨1上，滑块4前部底面支于后导轨1a上，后部下侧以一孔内螺纹套接于丝杠3外螺纹。滑块14和滑块4上方架有横梁12，横梁12与前导轨1、后导轨1a相互垂直置放，滑块14和滑块4分别固接于横梁12的两端。横梁12内侧纵向设有直线形凸起的导轨7，外侧与导轨7平行设置有槽沟状条块6a，条块6a的槽沟侧置，内设有丝杠6，丝杠6的一端固接有电机5。一滑块13，上部一侧以一孔内螺纹套接于丝杠6外螺纹，下部底面支于导轨7上。滑块13上部另一侧固接于竖杆9的底面中部，竖杆9与横梁12正交设置。竖杆9上表面有一槽沟，槽沟侧有平行设置的导轨11，槽沟内设有丝杠10，丝杠10的上端固接有电机8。丝杠10与滑块15动连接，滑块15后部一侧以一孔内螺纹套接于丝杠10外螺纹，前部侧面与导轨11动接触。滑块15后部另一侧固接于加长臂16上端，加长臂16下端固连着旋转/倾斜手腕结构。
旋转/倾斜手腕结构由电机17、19、减速器18和摄像机平台23组成，电机17与电机19相互垂直设置，分别和减速器18动连接，减速器18和摄像机平台23动连接。电机17、19通过减速器18可使摄像机平台23在平面上做360°旋转，在垂面上做-105°～105°旋转。摄像机平台23上装有两部摄像机20、21，摄像机20和摄像机21光轴之间的夹角可以调整。
在条块3a、6a或竖杆9和滑块3、6、15之间，安装有限位传感器和零位传感器(图中没示出)，能够限制滑块3、6、15在一定范围内运动。
在电机17与电机19的回转轴上安装有限位传感器和零位传感器(图中没示出)，能够限制电机17与电机19在一定范围内运动，从而使摄像机20和摄像机21对计划场景进行拍摄。
本发明的工作原理：
使用本发明装置进行工件跟踪和定位时，首先，将摄像机拍摄到的工件图像与事先建立在计算机中的工件模板进行比较，选择符合模板要求的工件，对选中工件的图片进行图像处理，得到工件图像质心坐标；然后，当工件运动时，由一台摄像机连续采集工件图像，通过计算序列中工件质心的变化，控制机器人运动，始终保持工件在摄像机的视野中；同时连续估计工件在空间坐标系中的位置，当工件到达预定位置后，给出停止指令。工件静止后，调整摄像机位置和姿态，两台摄像机同时采集工件的图像，经过图像处理，输出工件质心的精确位置，提供给另外的操作机构，完成装配、加工等任务。
在本实施例中，直角坐标机器人的三个平动关节安装在支架22上，支架22高1800mm。三个平动关节都采用伺服电机驱动、高精度滚轴丝杠传动。旋转/倾斜手腕结构采用电机和减速器的驱动方式。在图1中，电机2驱动丝杠3转动，带动滑块4和滑块14沿着导轨1运动，滑块4和滑块14分别固定在横梁12的两端，产生摄像机20、21沿着导轨1的平移运动，运动长度为1000mm。丝杠6和导轨7安装在横梁12上，滑块13一端安装在导轨6上，另一端固定在竖杆9上，加长臂16固联在竖杆9末端，摄像机安装在竖杆9末端，电机5驱动丝杠6旋转，带动滑块13沿着导轨7运动，产生摄像机沿着导轨6方向的运动，运动长度为460mm。丝杠10和导轨11安装在竖杆9上，滑块15一端安装在导轨11上，一端固定在加长臂16上端，电机8驱动丝杠10转动，产生摄像机沿着导轨11方向的运动，运动长度为500mm。加长臂16下端，固连着手腕结构。手腕的旋转运动由电机17通过减速器18减速后产生，转动范围为0°-360°。倾斜运动由电机19经过减速器18减速后产生，转动范围为-105°-105°。摄像机20和21在手腕的带动下，绕着电机17和电机19的回转轴转动。
本实施例中，两台摄像机均采用彩色工业摄像机，摄像机安装轴的间距为160mm，，摄像机轴线夹角为15度。实验时，图像采集卡采用OK系列MC-30，计算机采用工业控制计算机ADVANTECH-610。针对运动物体的跟踪和工件定位进行了实验，图2为摄像机20在跟踪快速运动工件的视觉图像，(获得图像质心，其中23为运动工件质心)图3为摄像机20和21在同一时刻采集到的工件视觉图像和计算得到的质心位置。
Claims (8)
1、一种五自由度的立体视觉监控装置，由支架、三个互相垂直的平移运动关节、旋转/倾斜手腕结构和摄像机组成，其特征在于：支架的前、后顶梁上纵向固装有前导轨和后导轨，前导轨和后导轨上方通过连接驱动件架有横梁，横梁与前导轨、后导轨相互垂直置放；横梁内侧通过连接驱动件固接于竖杆的底面中部，竖杆与横梁正交设置；竖杆通过连接驱动件固接于加长臂上端，加长臂下端固连着旋转/倾斜手腕结构；
旋转/倾斜手腕结构由两电机、减速器和摄像机平台组成，两电机相互垂直设置，分别和减速器动连接，减速器和摄像机平台动连接；摄像机平台上装有至少两部摄像机。
2、如权利要求1所述的立体视觉监控装置，其特征在于：所述连接驱动件，包括条块或竖杆、丝杠、电机和滑块，在条块或竖杆的槽沟内设有丝杠，丝杠的一端固接有电机；丝杠与滑块动连接，滑块一面与导轨动接触，并以一孔内螺纹套接于丝杠外螺纹。
3、如权利要求1所述的立体视觉监控装置，其特征在于：所述旋转/倾斜手腕结构的两电机，相互垂直设置，分别通过减速器可使摄像机平台在平面上做360°旋转，在垂面上做-105°～105°旋转。
4、如权利要求1所述的立体视觉监控装置，其特征在于：所述至少两部摄像机，各摄像机光轴之间的夹角可以调整；同时提供不同视角下采集的两幅视觉图像或运动图像序列。
5、如权利要求2所述的立体视觉监控装置，其特征在于：所述竖杆或条块和滑块之间，安装有限位传感器和零位传感器，能够限制滑块在一定范围内运动。
6、如权利要求3所述的立体视觉监控装置，其特征在于：所述两电机，其回转轴上安装有限位传感器和零位传感器，能够限制两电机在一定范围内运动，从而使摄像机对计划场景进行拍摄。
7、如权利要求1或3所述的立体视觉监控装置，其特征在于：所述减速器，为普通减速器，能够对运动物体进行快速跟踪。
8、如权利要求1所述的立体视觉监控装置，其特征在于：可将多台装置联合使用，对生产线、场景实施视觉监控，对运动物体进行视觉跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100689985A CN100336635C (zh) | 2004-07-15 | 2004-07-15 | 一种五自由度立体视觉监控装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100689985A CN100336635C (zh) | 2004-07-15 | 2004-07-15 | 一种五自由度立体视觉监控装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1721142A true CN1721142A (zh) | 2006-01-18 |
| CN100336635C CN100336635C (zh) | 2007-09-12 |
Family
ID=35911928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100689985A Expired - Fee Related CN100336635C (zh) | 2004-07-15 | 2004-07-15 | 一种五自由度立体视觉监控装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100336635C (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009030108A1 (fr) * | 2007-08-27 | 2009-03-12 | Ferrie Luping Lau Li | Dispositif mobile commandé à distance et système de fonctionnement dudit dispositif |
| ES2331170A1 (es) * | 2009-01-19 | 2009-12-22 | Universidad Politecnica De Madrid | Sistema de analisis cinematico en tiempo real para entrenamientos y competiciones deportivas. |
| CN102313908A (zh) * | 2011-06-15 | 2012-01-11 | 北京航空航天大学 | 适用于光纤陀螺绕环机用ccd装置 |
| CN102608998A (zh) * | 2011-12-23 | 2012-07-25 | 南京航空航天大学 | 嵌入式系统的视觉导引agv系统及方法 |
| CN103176174A (zh) * | 2013-03-19 | 2013-06-26 | 沈阳理工大学 | 一种双支架四自由度毫米波探测装置测试平台 |
| CN103909744A (zh) * | 2014-03-25 | 2014-07-09 | 绍兴县易彩数控喷墨技术研发有限公司 | 一种压布机构及压布方法 |
| CN104931502A (zh) * | 2015-07-03 | 2015-09-23 | 深圳市希帝澳工业自动化设备有限公司 | 一种多维检测机器人及其检测方法 |
| CN105329485A (zh) * | 2014-08-11 | 2016-02-17 | 达和机械（昆山）有限公司 | 包装物自动抓取输送装置 |
| CN105409199A (zh) * | 2013-07-05 | 2016-03-16 | 国立大学法人东京大学 | 视线方向控制装置 |
| CN105425827A (zh) * | 2015-11-05 | 2016-03-23 | 中国船舶重工集团公司第七二四研究所 | 一种可调式雷达馈源辅助定位装置及方法 |
| CN108445019A (zh) * | 2018-04-04 | 2018-08-24 | 苏州优纳科技有限公司 | 轮毂毛坯外观检测装置及检测方法 |
| CN109060827A (zh) * | 2018-10-05 | 2018-12-21 | 深圳智检慧通科技有限公司 | 一种智能视觉检测识别设备 |
| CN109186451A (zh) * | 2018-08-22 | 2019-01-11 | 西安工程大学 | 一种多角度激光干涉测量用激光器夹持调整装置 |
| CN112746812A (zh) * | 2021-01-22 | 2021-05-04 | 安百拓（南京）建筑矿山设备有限公司 | 凿岩台车照明摄像随动系统、控制方法及凿岩台车 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289270C (zh) * | 2001-11-09 | 2006-12-13 | 中国科学院自动化研究所 | 开放式工业机器人视觉控制平台 |
| CN1133526C (zh) * | 2001-11-18 | 2004-01-07 | 华中科技大学 | 基于显微视觉的微装配机器人系统 |
| CN1218806C (zh) * | 2002-12-27 | 2005-09-14 | 中国科学院自动化研究所 | 具有视觉焊缝自动跟踪功能的弧焊机器人控制平台 |
| CN1194310C (zh) * | 2003-04-29 | 2005-03-23 | 上海交通大学 | 基于通用串行总线的机器人全维视觉系统 |
| CN2715932Y (zh) * | 2004-07-15 | 2005-08-10 | 中国科学院自动化研究所 | 一种五自由度立体视觉监控装置 |
-
2004
- 2004-07-15 CN CNB2004100689985A patent/CN100336635C/zh not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009030108A1 (fr) * | 2007-08-27 | 2009-03-12 | Ferrie Luping Lau Li | Dispositif mobile commandé à distance et système de fonctionnement dudit dispositif |
| ES2331170A1 (es) * | 2009-01-19 | 2009-12-22 | Universidad Politecnica De Madrid | Sistema de analisis cinematico en tiempo real para entrenamientos y competiciones deportivas. |
| CN102313908A (zh) * | 2011-06-15 | 2012-01-11 | 北京航空航天大学 | 适用于光纤陀螺绕环机用ccd装置 |
| CN102608998A (zh) * | 2011-12-23 | 2012-07-25 | 南京航空航天大学 | 嵌入式系统的视觉导引agv系统及方法 |
| CN103176174B (zh) * | 2013-03-19 | 2014-11-19 | 沈阳理工大学 | 一种双支架四自由度毫米波探测装置测试平台 |
| CN103176174A (zh) * | 2013-03-19 | 2013-06-26 | 沈阳理工大学 | 一种双支架四自由度毫米波探测装置测试平台 |
| CN105409199B (zh) * | 2013-07-05 | 2018-07-06 | 国立大学法人东京大学 | 视线方向控制装置 |
| CN105409199A (zh) * | 2013-07-05 | 2016-03-16 | 国立大学法人东京大学 | 视线方向控制装置 |
| CN103909744A (zh) * | 2014-03-25 | 2014-07-09 | 绍兴县易彩数控喷墨技术研发有限公司 | 一种压布机构及压布方法 |
| CN105329485A (zh) * | 2014-08-11 | 2016-02-17 | 达和机械（昆山）有限公司 | 包装物自动抓取输送装置 |
| CN104931502A (zh) * | 2015-07-03 | 2015-09-23 | 深圳市希帝澳工业自动化设备有限公司 | 一种多维检测机器人及其检测方法 |
| CN105425827A (zh) * | 2015-11-05 | 2016-03-23 | 中国船舶重工集团公司第七二四研究所 | 一种可调式雷达馈源辅助定位装置及方法 |
| CN105425827B (zh) * | 2015-11-05 | 2018-05-15 | 中国船舶重工集团公司第七二四研究所 | 一种可调式雷达馈源辅助定位装置及方法 |
| CN108445019A (zh) * | 2018-04-04 | 2018-08-24 | 苏州优纳科技有限公司 | 轮毂毛坯外观检测装置及检测方法 |
| CN109186451A (zh) * | 2018-08-22 | 2019-01-11 | 西安工程大学 | 一种多角度激光干涉测量用激光器夹持调整装置 |
| CN109060827A (zh) * | 2018-10-05 | 2018-12-21 | 深圳智检慧通科技有限公司 | 一种智能视觉检测识别设备 |
| CN109060827B (zh) * | 2018-10-05 | 2024-03-05 | 深圳爱为视智能科技有限公司 | 一种智能视觉检测识别设备 |
| CN112746812A (zh) * | 2021-01-22 | 2021-05-04 | 安百拓（南京）建筑矿山设备有限公司 | 凿岩台车照明摄像随动系统、控制方法及凿岩台车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100336635C (zh) | 2007-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100336635C (zh) | 一种五自由度立体视觉监控装置 | |
| CN111331367B (zh) | 智能装配控制系统 | |
| CN2715932Y (zh) | 一种五自由度立体视觉监控装置 | |
| CN205701313U (zh) | 一种三轴联动定位点胶机构 | |
| CN2869887Y (zh) | 密封放射源泄漏自动检测平台的视觉伺服装置 | |
| CN103017726B (zh) | 一种直角坐标方式的机器人位姿误差测量系统及方法 | |
| CN205870516U (zh) | 一种面板安装桁架机械手 | |
| CN105058382A (zh) | 一种新型混联五轴联动智能焊接平台 | |
| CN106144524B (zh) | 一种高速运动中用ccd视觉定位方法及装置 | |
| CN107414474B (zh) | 一种狭窄空间螺栓定位安装机器人及控制方法 | |
| CN106346486A (zh) | 一种六轴协作机器人多回路控制系统及其控制方法 | |
| CN204868868U (zh) | 一种新型混联五轴联动智能焊接平台 | |
| CN1745987A (zh) | 一种移动机械手控制系统 | |
| CN202994132U (zh) | 一种直角坐标方式的机器人位姿误差测量系统 | |
| CN1885064A (zh) | 密封放射源泄漏自动检测平台的视觉伺服系统及方法 | |
| CN109916346B (zh) | 一种基于视觉系统的工件平整度的检测装置及检测方法 | |
| CN2747031Y (zh) | 一种移动机械手控制系统 | |
| CN108656120B (zh) | 一种基于图像对比的示教、加工方法 | |
| CN116872216B (zh) | 一种基于有限时间控制的机器人视觉伺服作业方法 | |
| CN211589356U (zh) | 一种直交式直线电机平台 | |
| CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
| CN116593395A (zh) | 一种用于板材表面缺陷图像采集的运动控制系统 | |
| CN207824876U (zh) | 一种龙门式单机械臂 | |
| CN217618390U (zh) | 一种基于视觉识别的激光焊接系统 | |
| CN109129427A (zh) | 一种双五杆机构驱动的平面并联机构装置与控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070912 Termination date: 20190715 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |