CN107728778B - 一种基于伺服机构的主动力触觉反馈系统及其工作方法 - Google Patents

一种基于伺服机构的主动力触觉反馈系统及其工作方法 Download PDF

Info

Publication number
CN107728778B
CN107728778B CN201710828014.6A CN201710828014A CN107728778B CN 107728778 B CN107728778 B CN 107728778B CN 201710828014 A CN201710828014 A CN 201710828014A CN 107728778 B CN107728778 B CN 107728778B
Authority
CN
China
Prior art keywords
hand
motion
force
tactile feedback
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710828014.6A
Other languages
English (en)
Other versions
CN107728778A (zh
Inventor
张时毓
戴树岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710828014.6A priority Critical patent/CN107728778B/zh
Publication of CN107728778A publication Critical patent/CN107728778A/zh
Application granted granted Critical
Publication of CN107728778B publication Critical patent/CN107728778B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种基于伺服机构的主动力触觉反馈系统及其工作方法,由计算机、运动跟踪传感器和力触觉反馈机构及其控制器组成。通过运动跟踪传感器实时采集手部运动数据,送入计算机,进行虚拟环境中手部与工具或控件的碰撞检测。手部未与工具或控件接触时,计算机进行手部运动轨迹预测和运动规划,驱动力触觉反馈机构进行伺服运动;手部对工具或控件进行操作时,力触觉反馈机构末端带动相应工具或控件至手部操作的目标位置,提供触觉反馈,同时计算机进行实时碰撞响应和力觉生成,驱动力触觉反馈机构输出力,提供主动力觉反馈。该系统可提高虚拟现实系统的沉浸感和交互性,且体积较小、灵活性较强,可应用于虚拟手术、虚拟驾驶等领域。

Description

一种基于伺服机构的主动力触觉反馈系统及其工作方法
技术领域
本发明属于虚拟现实领域,尤其涉及力触觉交互领域,是一种基于伺服机构的主动力触觉反馈系统及其工作方法。
背景技术
虚拟操作系统,如虚拟装配、虚拟维修、虚拟手术和虚拟驾驶等,可用于遥操作、对相关人员的培训等,具有成本较低、效率较高、安全性较高等优点。目前,对虚拟现实系统的研究多集中于视觉和听觉反馈,对力触觉反馈的研究还不成熟,阻碍了沉浸感和交互性的进一步提升。
目前,力触觉反馈设备主要包括穿戴式和桌面式两类。穿戴式设备包括外骨骼、数据手套等,如Immersion公司的Cyber Grasp数据手套、Dexta Robotics公司的Dexmo手套等,可以提供力反馈,但触觉反馈一般通过震动模拟,不能达到较好的效果;且穿戴式设备对人有一定的束缚,降低了沉浸感。桌面式设备包括Force Dimension公司的Omega系列和Delta系列、Sensable公司的PHANTOM Omni等,通过驱动并联机器人或小型串联机器人提供力觉反馈,通过末端手柄的触觉渲染提供触觉反馈,但这些设备安装位置固定,工作空间较小,用户手部只能在一个较小的空间范围对设备进行操作,进行较小空间范围内的交互。
为了实现较大范围内的交互,使手部可在较大的空间范围对工具或空间进行操作,南京航空航天大学研发的半虚拟现实座舱方案采用1:1的实物控制面板提供力触觉反馈,可得到较大范围的交互,但实物面板体积较大,且上面控件设计固定,灵活性不佳,应用场景局限。美国国防部下属的STRICOM研发的基于TOPIT(Touched Objects Positioned InTime)技术,采用一个带有少量控件的伺服机械系统提供力触觉反馈,相同种类的控件可由同一个实物控件模拟,简化了控制面板和操纵机构,且可通过改变软件模拟不同的种类的控制面板,但该机械系统体积仍较大,且控件的运动范围是一个二维平面区域,无法实现三维空间中的交互。此外,这两种方案仅能提供被动的阻挡,不能提供主动力觉反馈。
发明内容
针对现有技术的不足,本发明提供一种基于伺服机构的主动力触觉反馈系统,通过伺服机构跟踪手部运动,可实现大范围的力触觉交互,且在交互中提供主动力觉反馈,适用于虚拟装配、虚拟手术和虚拟驾驶等多种应用场景。本发明还涉及上述一种基于伺服机构的主动力触觉反馈系统的工作方法。
本发明解决其技术问题所采取的技术方案是:一种基于伺服机构的主动力触觉反馈系统,由计算机、运动跟踪传感器和力触觉反馈机构及其控制器组成。计算机由力觉渲染计算机、运动预测计算机和运动规划计算机三台计算机组成,力觉渲染计算机用于手部位姿计算、碰撞检测和手部进行操作时的实时碰撞响应与力觉生成,运动预测计算机用于手部与工具或控件接触前的手部运动轨迹预测,运动规划计算机用于手部与工具或控件接触前的力触觉反馈机构运动规划;三台计算机之间由网线连接,通过Ethernet协议通信,进行数据交换和计算同步。运动跟踪传感器与运动预测计算机相连,采集手部运动数据,包括手掌的位置和方向数据,以及每个手指关节的角度数据等,并送入运动预测计算机。力触觉反馈机构由机械臂和滑轨组成,机械臂底座安装于滑轨之上;末端执行器带有工具,可根据不同应用更换工具种类,用于提供力触觉反馈。力触觉反馈机构置于用户正前方,其工作空间与用户手部运动产生交集;末端所带工具或控件在工作空间中的某点与手部进行交互。机械臂和滑轨连接一个控制器,控制器与力觉渲染计算机和运动规划计算机相连,接收计算机的控制指令,输出力矩信号驱动机械臂及滑轨的电机运动,并将运动信息反馈给计算机。
一种基于伺服机构的主动力触觉反馈系统的工作方法,包括手部与工具或控件接触前的伺服运动和手部对工具或控件进行操作时的主动力触觉反馈两个阶段。首先判断力触觉反馈机构的工作阶段,再根据不同工作阶段执行相应的操作。
(1)判断力触觉反馈机构工作阶段
用户手部运动时,运动跟踪传感器实时采集手部运动数据,送至力觉渲染计算机;力觉渲染计算机计算手部位姿,进行虚拟环境和虚拟手的图像渲染,并根据虚拟环境中虚拟手和虚拟工具或控件所处的位置,进行碰撞检测。手部未与特定的工具或控件接触时,力触觉反馈机构处于伺服运动阶段,机械臂带动末端的工具或控件跟踪手部运动;手部与特定的工具或控件接触时,用户手部到达真实的交互点对工具或控件进行操作,力触觉反馈机构处于主动力触觉反馈阶段。
(2)伺服运动阶段
手部未与特定的工具或控件接触时,将手部运动数据送入运动预测计算机,根据以前及当前的手部运动数据,拟合手部运动曲线,并对手部未来运动轨迹进行预测,确定手与工具或控件接触的时刻tc、交互位置pc和交互方向qc,将数据送至运动规划计算机;运动规划计算机根据预测的tc、pc和qc,对力触觉反馈机构进行运动规划,生成运动指令,送入控制器,驱动力触觉反馈机构运动,使其末端执行器在tc时刻以交互方向qc达到预测的交互点pc。随着手部运动,预测的手部运动轨迹、交互时刻tc、交互点pc和交互方向qc不断更新,需要重新对力触觉反馈机构进行运动规划,更新控制指令,预测的tc、pc和qc逐渐收敛于真实值。
(3)主动力触觉反馈阶段
当用户手部到达真实的交互点对工具或控件进行操作时,用户可从虚拟显示设备中看到虚拟环境中虚拟手对虚拟工具或控件的操作,力触觉反馈机构将相应的工具或控件以合适的方向送至手部操作的目标位置,提供与视觉相匹配的触觉反馈;同时,用户进行操作时,虚拟环境中手部与特定的工具或控件接触,使用户手部触摸工具或控件 表面,产生触摸感,力觉渲染计算机进行实时碰撞响应和力觉生成,驱动力触觉反馈机构输出力,提供主动的力觉反馈。
与现有技术相比,本发明的有益效果是:
1.本发明基于伺服机构的主动力触觉反馈系统,采用机械臂和滑轨组合而成的力触觉反馈机构,工作空间较大,从而得到较大的交互区域,且机构本身所占体积较小。
2.本发明基于伺服机构的主动力触觉反馈系统,应用过程包括手部与工具或控件接触前的伺服运动阶段和手部对工具或控件进行操作时的主动力触觉反馈阶段,可实现更灵活、更大范围的力触觉交互。
3.本发明基于伺服机构的主动力触觉反馈系统,通过更换末端所带的工具,可提供不同的触觉体验,适用于虚拟装配、虚拟手术和虚拟驾驶等多种应用场景,系统柔性较强。
附图说明
图1为本发明基于伺服机构的主动力触觉反馈系统结构示意图;
图2为本发明基于伺服机构的主动力触觉反馈系统中力触觉反馈机构结构示意图;
图3为本发明基于伺服机构的主动力触觉反馈系统的工作方法流程图。
图中:1-计算机,2-运动跟踪传感器,3-力触觉反馈机构,4-控制器,301-机械臂,302- 滑轨,303-工具或控件
具体实施方式
如图1、2所示,一种基于伺服机构的主动力触觉反馈系统,由计算机1、运动跟踪传感器2、和力触觉反馈机构3及其控制器4组成。
计算机1包括力觉渲染计算机PC1,运动预测计算机PC2和运动规划计算机PC3。其中力觉渲染计算机PC1用于手部位姿计算、碰撞检测和手部进行操作时的实时碰撞响应与力觉生成,运动预测计算机PC2用于手部与工具或控件接触前的手部运动轨迹预测,运动规划计算机PC3用于手部与工具或控件接触前的力触觉反馈机构运动规划。PC1、PC2和PC3之间由网线连接,通过Ethernet协议通信,进行数据交换和计算同步。
运动跟踪传感器2与力觉渲染计算机PC1连接,采用用户手部佩戴的数据手套或设置于用户前方的视频跟踪设备,采集用户手部运动数据,包括手掌的位置和方向数据,以及每个手指关节的角度数据等,并送入PC1。
力触觉反馈机构3包括机械臂301和滑轨302,如图2所示。上述机械臂301底座安装于滑轨302上。机械臂的末端执行器上安装有工具或控件303,根据不同应用场景切换工具或控件类型,为用户提供真实的触感。机械臂301采用六自由度机械臂,其末端可到达工作空间范围内任意位置和方向。滑轨302可采用单自由度或多自由度滑轨,扩大机械臂301的工作空间。将力触觉反馈机构置于用户正前方,选择合适的距离,确保机械臂301的工作空间与用户手部的运动范围有交集,以实现与手部的交互。
控制器4用于实现对机械臂301及滑轨302的控制,采用单片机,与力觉渲染计算机PC1 和运动规划计算机PC3连接,获取PC1和PC3发送的控制指令,驱动机械臂301及滑轨302的电机运动,并将运动信息反馈给PC1和PC3。
如图3所示,一种基于伺服机构的主动力触觉反馈系统的工作方法,包括手部与工具或控件接触前的伺服运动和手部对工具或控件进行操作时的主动力触觉反馈两个阶段。首先判断力触觉反馈机构的工作阶段,再根据不同工作阶段执行相应的操作。具体步骤如下,其中 (1)和(2)为力触觉反馈机构的工作阶段判断步骤,(3)、(4)和(6)为伺服运动阶段步骤,(5)和(6)为主动力触觉反馈步骤。
(1)用户手部运动,运动跟踪传感器2实时采集用户手部的运动数据,并将数据送入力觉渲染计算机PC1,转入(2);
(2)力觉渲染计算机PC1计算手部位姿,渲染虚拟场景图像(包括手部图像),根据手部与虚拟工具或控件在虚拟空间中所处的位置,对虚拟手和虚拟工具或控件进行碰撞检测,若虚拟手未与虚拟工具或控件接触,力触觉反馈机构处于伺服运动阶段,转入(3),否则力触觉反馈机构处于主动力触觉反馈阶段,转入(5);
(3)运动预测计算机PC2根据以前及当前的手部运动数据,拟合手部运动曲线,并对手部未来运动轨迹进行预测,确定手部与力触觉反馈机构末端所带工具或控件303 接触的时间tc、交互位置pc和交互方向qc,将其送入运动规划计算机PC3,转入(4);
(4)运动规划计算机PC3以根据预测的交互时间tc、交互位置pc和交互方向qc,对力触觉反馈机构3进行运动规划,使其末端所带工具或控件303在tc到达pc,且方向为 qc,然后生成运动指令送入控制器4,转入(6);
(5)用户手部到达真实的交互点对工具或控件进行操作时,用户可通过虚拟显示设备看到虚拟场景中虚拟手对虚拟工具或控件的操作,力触觉反馈机构将末端执行器所带的相应工具或控件303以合适的方向送至用户操作的目标位置,为用户提供与视觉相配合的触觉反馈,同时,力觉渲染计算机PC1进行实时碰撞响应和力觉生成,生成运动指令送入控制器4,转入(6);
(6)控制器4根据传入的控制指令计算驱动电机的力矩,驱动机械臂301和滑轨302运动,转入(1)。

Claims (2)

1.一种基于伺服机构的主动力触觉反馈系统,由计算机、运动跟踪传感器和力触觉反馈机构及其控制器组成,其特征在于:由运动跟踪传感器采集手部运动数据;计算机由力觉渲染计算机、运动预测计算机和运动规划计算机三台计算机组成,力觉渲染计算机用于手部位姿计算、碰撞检测和手部进行操作时的实时碰撞响应与力觉生成,运动预测计算机用于手部与工具或控件接触前的手部运动轨迹预测,运动规划计算机用于手部与工具或控件接触前的力触觉反馈机构运动规划;由控制器驱动力触觉反馈机构运动;力触觉反馈机构由机械臂和滑轨组合而成,机械臂底座安装于滑轨之上,机械臂末端执行器上带有工具或控件,工具或控件种类根据不同应用进行更换,由力触觉反馈机构为用户提供力触觉反馈;应用时,力触觉反馈机构置于用户面前,且其工作空间与用户手部的运动范围有交集; 其工作方法包括手部与工具或控件接触前的伺服运动和手部对工具或控件进行操作时的主动力触觉反馈两个阶段,首先判断力触觉反馈机构的工作阶段,再根据不同工作阶段执行相应的操作;用户手部运动时,运动跟踪传感器实时采集手部运动数据,送至力觉渲染计算机,力觉渲染计算机计算手部位姿,进行虚拟环境和虚拟手的图像渲染,并根据虚拟环境中虚拟手和虚拟工具或控件所处的位置,进行碰撞检测;手部未与特定的工具或控件接触时,力触觉反馈机构处于伺服运动阶段,将手部运动数据送入运动预测计算机,根据以前及当前的手部运动数据,拟合手部运动曲线,并对手部未来运动轨迹进行预测,确定手与工具或控件接触的时刻tc、交互位置pc和交互方向qc,将数据送至运动规划计算机,运动规划计算机根据预测的tc、pc和qc,对力触觉反馈机构进行运动规划,生成运动指令,送入控制器,驱动力触觉反馈机构运动,使其末端执行器在tc时刻以交互方向qc达到预测的交互点pc;随着手部运动,预测的手部运动轨迹、交互时刻tc、交互点pc和交互方向qc不断更新,需要重新对力/触觉反馈机构进行运动规划,更新控制指令,预测的tc、pc和qc逐渐收敛于真实值;手部与特定的工具或控件接触时,用户手部到达真实的交互点对工具或控件进行操作,力触觉反馈机构处于主动力触觉反馈阶段,用户可从虚拟显示设备中看到虚拟环境中虚拟手对虚拟工具或控件的操作,力触觉反馈机构将相应的工具或控件以合适的方向送至手部操作的目标位置,提供与视觉相匹配的触觉反馈,同时,用户进行操作时,虚拟环境中手部与特定的工具或控件接触,力觉渲染计算机进行实时碰撞响应和力觉生成,驱动力触觉反馈机构输出力,提供主动的力觉反馈。
2.如权利要求1所述的一种基于伺服机构的主动力触觉反馈系统,其特征在于:力触觉反馈机构将末端所带的工具或控件送至用户操作目标位置,使用户手部触摸工具或空间表面,产生触摸感,提供触觉反馈;末端所带工具或控件与手部接触时,计算机生成运动指令并驱动力触觉反馈机构运动,输出作用力,提供力觉反馈。
CN201710828014.6A 2017-09-14 2017-09-14 一种基于伺服机构的主动力触觉反馈系统及其工作方法 Expired - Fee Related CN107728778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710828014.6A CN107728778B (zh) 2017-09-14 2017-09-14 一种基于伺服机构的主动力触觉反馈系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710828014.6A CN107728778B (zh) 2017-09-14 2017-09-14 一种基于伺服机构的主动力触觉反馈系统及其工作方法

Publications (2)

Publication Number Publication Date
CN107728778A CN107728778A (zh) 2018-02-23
CN107728778B true CN107728778B (zh) 2020-12-04

Family

ID=61204657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710828014.6A Expired - Fee Related CN107728778B (zh) 2017-09-14 2017-09-14 一种基于伺服机构的主动力触觉反馈系统及其工作方法

Country Status (1)

Country Link
CN (1) CN107728778B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874123A (zh) * 2018-05-07 2018-11-23 北京理工大学 一种通用的模块化的虚拟现实被动力触觉反馈系统
CN108908298B (zh) * 2018-07-23 2021-08-10 合肥工业大学 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN109933207A (zh) * 2019-04-02 2019-06-25 黄立新 虚拟现实环境的触觉产生模拟方法
CN109968379A (zh) * 2019-04-16 2019-07-05 彭爽 一种三自由度的力觉反馈的设备及其系统
GB201906420D0 (en) 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
CN114415827B (zh) * 2021-12-20 2024-10-08 北京理工大学 一种为虚拟物体提供实体交互的方法、系统及装置
CN117289796B (zh) * 2023-09-22 2024-05-07 中山大学 基于触觉手套的复杂装备高交互混合现实系统与方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101402199B (zh) * 2008-10-20 2011-01-26 北京理工大学 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
CN101943946B (zh) * 2010-09-03 2013-10-30 东南大学 基于三维力传感器的二维图像力触觉再现控制方法及系统
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
CN104317245A (zh) * 2014-10-30 2015-01-28 胡玥 一种具有力反馈的主从式控制系统
CN104765451B (zh) * 2015-03-31 2017-11-24 浙江理工大学 一种双交互触点力触觉生成方法
CN204926594U (zh) * 2015-09-06 2015-12-30 重庆幻羽科技有限公司 具有三自由度的虚拟现实模拟器
CN105280080B (zh) * 2015-11-26 2018-05-04 中国科学院自动化研究所 一种三自由度触力觉交互系统及触力觉交互装置
CN106327983A (zh) * 2016-09-06 2017-01-11 成都华域天府数字科技有限公司 一种针灸定穴辅助教学系统

Also Published As

Publication number Publication date
CN107728778A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107728778B (zh) 一种基于伺服机构的主动力触觉反馈系统及其工作方法
CN107221223B (zh) 一种带有力/触觉反馈的虚拟现实飞机座舱系统
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
Fritsche et al. First-person tele-operation of a humanoid robot
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
KR102030141B1 (ko) 로봇의 팔꿈치 제어시스템 및 그 제어방법
CN110039561A (zh) 基于点云的带电作业机器人遥操作人员培训系统及方法
Lo et al. Cooperative teleoperation of a multirobot system with force reflection via internet
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Chen et al. A human-following mobile robot providing natural and universal interfaces for control with wireless electronic devices
Hashimoto et al. TouchMe: An Augmented Reality Interface for Remote Robot Control.
Li et al. Hybrid trajectory replanning-based dynamic obstacle avoidance for physical human-robot interaction
Avalos et al. Real-time teleoperation with the Baxter robot and the Kinect sensor
Batsomboon et al. A survey of telesensation and teleoperation technology with virtual reality and force reflection capabilities
Bejczy Teleoperation and telerobotics
Wrock et al. An automatic switching approach to teleoperation of mobile-manipulator systems using virtual fixtures
Peer et al. Tele-assembly in Wide Remote Environments.
Cheng-Jun et al. Design of mobile robot teleoperation system based on virtual reality
Garcia-Luna et al. Augmented Reality-based Robotic System for In-space Servicing
Arias et al. The plenhaptic guidance function for intuitive navigation in extended range telepresence scenarios
Song et al. Mobile multimodal human-robot interface for virtual collaboration
Zhao et al. Intuitive robot teaching by hand guided demonstration
Yan et al. A Complementary Framework for Human–Robot Collaboration With a Mixed AR–Haptic Interface
Su et al. Manipulation system design for industrial robot manipulators based on tablet PC
Li et al. Real-time shared control of space robots teleoperation without time delay

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201204