CN2746890Y - 带触觉的肌电仿生电动假手 - Google Patents

带触觉的肌电仿生电动假手 Download PDF

Info

Publication number
CN2746890Y
CN2746890Y CN 200420023440 CN200420023440U CN2746890Y CN 2746890 Y CN2746890 Y CN 2746890Y CN 200420023440 CN200420023440 CN 200420023440 CN 200420023440 U CN200420023440 U CN 200420023440U CN 2746890 Y CN2746890 Y CN 2746890Y
Authority
CN
China
Prior art keywords
signal
sensation
myoelectric
electrode
tactual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200420023440
Other languages
English (en)
Inventor
罗志增
席旭刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN 200420023440 priority Critical patent/CN2746890Y/zh
Application granted granted Critical
Publication of CN2746890Y publication Critical patent/CN2746890Y/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

带触觉的肌电仿生电动假手,该假手包括拾电电极、肌电信号处理电路、带肌电信号模式处理的计算机及驱动电路,其特征是有仿人手指型触滑觉一体化传感器,其信号引出线连接信号调理电路、带接触滑动特征识别的单片机系统;接触觉或滑动觉输出信息与残臂上可施加刺激脉冲的电极连接。触滑觉传感器采用高分子压电材料,与薄铜皮电极粘合在一起,包裹在仿人假手手指的柱面上。这种假手控制方法是由传感器传出压电信号经调理电路成包含接触、滑动特征的电压信号,由单片机系统获取有无接触或有无滑觉的感觉信息,输入计算机,协同肌电信息控制假手,使假手完成相应工作。本实用新型能使假手受到肌电信号和感觉信号双重制约,达到比较理想的仿生控制。

Description

带触觉的肌电仿生电动假手
技术领域
本实用新型属于带触觉的肌电仿生电动假手的技术,涉及到有触觉的肌电电动假手。
背景技术
肌电信号(EMG)是伴随人体骨骼肌活动所产生的生物电信号,是产生肌肉力的电信号根源,它与心电(ECG)、脑电(EEG)一样,是最早被人们认识的一种生物电现象之一。采集EMG信号所使用的拾电电极有针形电极(插入肌肉组织)和表面电极(粘附于活动肌肉的皮肤表面),前者能检测个别运动单元(肌纤维)的动作电位,所以有很强的针对性,但检测过程对受试者有损伤;后者被称为表面EMG,在生物机理上表现为许多运动单元产生的动作电位序列的总和,是多个肌纤维生物电在皮肤表面形成的综合现象。尽管表面EMG不能确切反映个别肌纤维的电活动,信号混杂,噪声也较大,但由于其使用方便,对使用者无损伤,所以应用广泛,目前正逐渐成为人工动力假肢理想的控制信号源。人的手部动作依赖许多肌肉的运动协调完成,不同的手部动作具有不同的肌肉收缩模式(动作模式),这些模式的差别必将反映在对应肌群的EMG特征差异上,通过提取这些特征,进行模式分类,可以区分不同的手部动作模式。对于手被截肢的残疾人,通过检测方法提取截肢者自身残端或臂部的表面EMG信息去控制人工电动假手,可以有机地将人脑的思想动作与人工电动假手的模拟运动联系起来,达到假手仿生控制的目的。目前电动假肢的实用化尚处在起步阶段,肌电电动手一般只控制假手的张开和闭合(开关控制),假手本身没有任何感觉,这在实际应用时存在以下困难:由于没有“接触”感觉,抓握与松开完全靠视觉反馈,容易引起过抓紧或欠抓紧,导致的后果是被抓物握碎或滑落,并且可能有如下的尴尬场面,即,当佩戴电动假手的残疾人用假手与正常人握手时,由于没有触觉,可能会握得很紧。假手触觉包括接触觉和滑动觉两部分,接触觉是假手与被抓(握)物体发生接触时的物理感觉,滑动觉是当被抓(握)物体与假手间发生相对位移时的物理感觉。
实用新型内容
本实用新型目的是要提供一种带触觉的肌电仿生电动假手,将假手的触觉反馈给现有肌电电动假手及人体,以克服现有技术存在的问题;并提供相应感觉信号的检测及处理控制的方法。
本实用新型假手的技术方案:包括装在残臂上的拾电电极及其对应的肌电信号处理电路、A/D转换数据采集、由计算机输出控制信号经驱动电路带动电动假手,其特征是有仿人手指型触滑觉一体化传感器,其信号引出线连接信号调理电路和输出接触觉或滑动觉信息的单片机系统,其感觉信息输出口连接肌电信息测试处理控制系统的计算机;输出接触觉或滑动觉信息的。另一路接触觉或滑动觉输出信息与残臂上可施加刺激脉冲的电极连接。
本实用新型的带触觉的肌电仿生电动假手的控制方法,系指感觉(接触觉、滑动觉)信号的检测、处理、与肌电信息协同控制的方法。其特征是由触滑觉一体化传感器传出压电信号,经信号调理电路,输出能有效传递触滑觉特征信息的电压信号,由单片机系统进行A/D转换、数据采集和信息处理获取有无接触或有无滑动的信息并输入肌电信息测试处理控制系统的计算机,协同肌电信息控制假手驱动电机的开关、方向及电流(控制握力大小),操动带触觉的肌电仿生电动假手。
本实用新型的显著优点:
假手触觉与假手的肌电控制有机结合,使假手控制过程受到肌电信号和感觉信号的双重制约,达到比较理想的仿生控制。
附图说明
图1为本实用新型结构关系示意图;
图2为带触觉手指与处理电路连接关系示意图;
图3为带触觉手指结构示意图;
图4中(a)和(b)是典型的接触和滑动响应信号曲线示意图;
图5为肌电信号模型示意图;
图6为参数模型法与神经网络相结合处理表面肌电信号获取假手动作模式示意图;
图7为BP神经网络分类器的示意图。
具体实施方式
参照附图详细说明本实用新型的实施方式:
本实用新型如图1所示由两组拾电电极及其对应的肌电信号处理电路、A/D转换数据采集、计算机完成的假手运动的模式状态识别算法、电动假手、人工触觉及其信号处理算法、触觉反馈装置、假手控制策略等软硬件组成。最终形成一个具有触觉检测及其电刺激反馈、通过大脑→神经→前臂肌肉→肌电信号→计算机信息处理及控制→假手控制电机这样一种控制途径的仿生神经肌电假手。
本实用新型的关键技术是假手触觉的设计制作,如图3所示,电动假手的触觉由仿人手指型触滑觉一体化传感器、信号调理电路、以及具有数据采集、信息处理和输出等功能的单片机系统组成,并将感觉信息输入信息处理控制系统的计算机(控制器),以控制触觉假手。
仿人手指型触滑觉一体化传感器1如图4所示,传感器1采用高分子压电材料PVDF做敏感材料,PVDF的厚度约50μm,其机械特性类似塑料薄膜。为了制作触觉传感器,先将敏感材料裁成矩形,用薄铜皮做的电极与PVDF粘合在一起,包裹在图4所示手指2的柱面上,用机械方式通过手指固定孔3加以固定并引出信号线。
当传感器(手指)接触物体,或物体在其表面滑动时,传感器输出压电信号,由信号调理电路对压电信号进行调理,并由电荷放大器进行放大。由于接触觉、滑动觉是一体化的传感器,它们来自同一个敏感信号源。究竟在手指上的感觉信号是“接触”还是“滑动”,主要取决于两者间有不同的特征,图5是典型的接触和滑动响应信号,显然,它们之间是有明显的区别的,我们可以通过构筑不同的特征函数并利用合适的判据对它们进行分离。最简单的方法是,用实时采集到的信号的离散数据(一般用队列表示,队列的长度可以是128、256个,当新数据进入队尾时,旧数据从队首剔除),计算其均值和方差,分别作为接触和滑动的特征值。以队列长度256为例,计算均值和方差如下:
设,触觉信号的采样值为V1、V2、…,则,均值(接触觉的特征值)表示为
T x = 1 256 ( Σ i = k k + 255 | V i | + | V k + 256 | - | V k | ) , k = 1,2,3 · · · ( 1 )
方差(滑动觉的特征值)表示为
S x = Σ i = k k + 255 V i 2 - 256 · [ T x ] 2 , k = 1,2,3 · · · ( 2 )
为了输出相应的感觉信息,可以在实验的基础上,设定接触阈值TT和滑动阈值ST,则接触逻辑标志PT具有:
滑动逻辑标志PS具有:
Figure Y20042002344000054
将上述感觉信息输入计算机,协同肌电信息以控制电动假手,同时驱动电脉冲发生器(接触与滑动对应不同的频率),对人手臂形成触觉的电刺激反馈。
表面EMG模型选取的合理与否对信号处理的最终效果有重大影响,并可指导EMG检测系统的设计,良好的模型首先应能适当反映该信号产生的机理。
肌电信号发源于作为中枢神经一部分的脊髓中的运动神经元,通过神经纤维经轴突伸展到肌纤维处,由终板区与肌纤维耦合,在中枢神经的控制下,运动神经元发放电脉冲,沿轴突传导到肌纤维,引起肌纤维收缩而产生肌张力。电脉冲传播的同时,在人体的软组织中生成电流场,并在检测电极间表现出电位差。图6是一个简化的模型。信号源是中枢神经沿突轴释放的电脉冲 u k ( t ) = Σ i = 1 ∞ δ ( t - t i ) , 突轴的传播等效为延迟环节:δ(t-τi),肌纤维表面动作电位相当于一个冲击响应hk(t)=Pk(t),纤维深度的影响可用另一个冲击相应gk(t)来描述,则,动作电位序列(MUAPT)mk(t)是这些环节共同作用的结果:
m k ( t ) = Σ i = 1 N u k ( t ) · δ ( t - τ i ) · p k ( t ) · g k ( t ) - - - ( 5 )
最后的生理肌电是M个MUAPT的总和:
x ( t ) = Σ k = 1 M m k ( t ) - - - ( 6 )
表面EMG通过贴附在体表的表面电极来拾取,表面电极本身的设计和所贴的位置都将对获取的表面EMG信号产生重大的影响。我们所制作的表面电极组(两个表面电极构成一组),采用Ag-Agcl材料,形状为Φ5mm的扁平圆盘(电极),两个圆盘电极间相隔5cm。整个表面肌电信号的采集系统共使用两组电极,分别贴在尺侧腕伸肌和尺侧腕屈肌外侧表面,每组电极的中心线方向与肌纤维的伸展方向一致,具体位置和方向可通过实验做适当调整,确保所采集的信号有较大的信噪比。
表面EMG是运动肌肉在皮肤表面产生的综合生理电现象,它与多股肌肉的电活动有关,并夹杂着许多其它的噪声与干扰,又由于表面EMG是一种间接的肌电信号测量方法,拾取电极与皮肤表面之间的接触是否良好、汗液的排放、当事者个体的心情情绪等因素都有可能对肌电信号的检测产生影响,所以为了提高信噪比,一般要布置一个零位参考电极,它对消除共模信号及其相关干扰非常有用。这个电极可以粘贴在肌肉不活动的皮肤表面,如,肘部。
对获取的肌电信号进行有效的处理,可得到电动假手的控制信号,这种控制信号可以是开关信号,也可以是比例信号。本实用新型的假手控制完成以下三种动作模式,即,①张开、合拢;②腕上翻、下翻;③腕左转、右转;④停止,共七个假手动作状态,经过信号处理后输出的控制信号为开关量y1Λy6,各开关量中只能一个是“1”,当各开关量均为零时,对应“停止”状态。
肌电信号通常采用的分析方法有:统计方法、参数模型方法、人工神经网络、以小波变换为基础的时频分析方法等。以肌电信号的短时平稳(实际情况也是如此)为基础的参数模型与人工神经网络相结合的分析方法,是一种比较适合肌电信号特点的分析处理方法。
从肌电信号到肢体运动模式识别,分成两步。第一,由采集到的肌电信号时间序列用参数模型法提取特征;第二,将特征值输入神经网络分类器得到肢体运动模式。图7是工作原理示意图,它是一个通用的处理模型。
对应图中信号处理模型:xi(t)-采样得到的第i块肌肉的表面EMG的时间序列,i=1,2,...,N,N为采样通道数,t=1,2,...,L,L为采样长度;yj-神经网络的输出,它对应于所识别肢体运动模式的各个状态,j=1,2,...,M,M为神经网络输出单元数,它对应于所需识别的动作个数。N个通道的表面EMG经过基于神经网络模式分类器之后可以得到M个肢体运动模式状态,通道数N即拾取电极的组数。对于简单的动作识别,为方便使用者,一般控制在2组内较合适;肢体运动模式M越多,识别的困难就越大,对应上述三种动作模式、六种动作状态,M=6,具体状态为:y1对应手的张开、y2对应手的合拢、y3对应手腕上翻、y4对应手腕下翻、y5对应手腕左转、y6对应手腕右转。
尽管表面EMG总体上具有非平稳和非线性特征,但完全按非平稳和非线性的分析方法,其计算量大,实时性差。实践证明,在短时间间隔中,肌电信号二阶矩的平稳性很好,因此可以将EMG当作分段线性平稳的准平稳信号来处理。
AR模型是一个线性、二阶矩平稳模型,很适合短数据段的分析,计算量小。其方法可表述为:
x i ( t ) = - Σ k = 1 q a ik x i ( t - k ) + W i ( t ) - - - ( 7 )
其中,Wi-NID(0,σa 2)为系统白噪声;q-模型的阶次。
AR模型参数估计方法有直接估计法和递推估计法。由于递推估计法具有计算速度快、精度高的优点,能够保证滤波误差总能量最小。研究工作表明,k取3或4较合适,既能保证有足够的特征信息,又使计算量不致太大。
神经网络具有分布式、并行性、非线性等特点。神经网络以分布式的拓扑结构(即连接权值)存贮信息,因而网络的信息能够相互支持、相互补充,具有较强的容错能力和联想能力,不会由于输入信号受到噪声污染而严重扭曲其输出,即,对于EMG这样易受多种因素干扰的信号,用神经网络处理,结果的鲁棒性容易保证;神经网络的并行性提高了处理的速度,还可利用神经网络模型单元实现多变量之间的各种非线性映射。
以三层结构的前馈神经网络作网络分类器,网络的训练方法采用梯度下降的BP算法,并按广义δ规则调整网络的权重。如图8所示,BP神经网络器由输入层、隐层和输出层组成,同一层单元之间相互不连接,层与层单元之间全互连。网络分类器输入A为所有通道表面EMG时间序列信号xi(t)所对应的AR模型的系数aik构成的向量,当k=3时,A为3N维。输出Y是由所识别的肢体运动状态yi构成的向量。节点的作用函数选用S型,即f(x)=1/(1+e-x)。
图8中的虚线表示网络的学习过程,当给定一个网络输入模式时,首先将信号传给隐层单元,再把经作用函数f(x)处理后的结果传播到输出层单元,如果输出结果Y与训练信号的差值E比要求的大,则将输出信号的误差沿原来的通路返回,修改各层单元的权值。网络就是这样如此反复地利用训练样本进行“学习”,直到输出误差满足要求为止,训练完成的网络可用于运动模式的识别。
本实用新型将触觉引入肌电控制的目的是进一步提高假手的仿生及控制性能,触觉主要被用于假手对被抓物体的自适应抓取,为此,我们尝试基于触觉的肌电假手控制策略如下:当基于肌电信号的神经网络识别结果y2为“1”时(对应假手合拢),假手电机正转,控制假手“合”动作。当假手手指接触物体时,拇指上的传感器发出接触信号,该信号同时控制一个脉冲发生器和电子开关,脉冲发生器发出一串脉冲刺激人体皮表,使之感知手已经接触到物体,电子开关动作时,控制手爪张开、合拢的电机由初始的开关控制(完成张开、合拢)转为电流控制(可实现握力的改变),与此同时,屏蔽肌电控制系统中的y2信号,电动手爪是否再需合拢完全改由触觉控制。如果受试者在抓握物体、实施操作的过程中,物体发生滑动,则由触觉传感器确认的滑动信号来控制张开、合拢电机电流的增加(即握力),直到不再发生滑动为止,在检出滑动发生的同时,控制脉冲发生器刺激皮表(脉冲频率与接触有区别),使之感知物体有滑动。当肌电信号神经网络识别结果y1为“1”时,屏蔽滑动信号对该电机的控制,电子开关切换到该电机的开关控制状态,释放y2信号对电机的控制,控制电机反向旋转,电动手爪张开。当假手松握使之不再与物体接触时,触觉信号由1变为0,同时控制脉冲发生器刺激皮表,予以提示。
基于肌电信号的神经网络识别结果分别是y3~y6有效时,控制假手的另外两个电机,完成手腕的上下翻转和手腕的左右旋转动作,如此时也有物体被抓握,并发生滑动时的控制方法与前述方法类似。
本实用新型的要点是,该仿生肌电电动假手具有人工触觉和肌电控制双重功能,其仿生能力和控制效果均优于单一的肌电电动假手。
整个系统由带触觉的电动假手和肌电信号测试控制系统两部分组成,触觉传感器被装在电动手的大拇指上,肌电信号测试控制系统又分为拾电电极及其测试电路、信号处理算法及其控制输出两部分。两对拾电电极分别粘贴在受试者小臂的腕伸肌和腕屈肌上,黑色的公共电极粘贴在无肌肉活动的受试者皮肤表面肘关节处,肌电信号经A/D卡送入计算机,触觉信息由RS232传递,控制信号则由计算机输出到电机驱动电路。
两对电极采集到的表面EMG,用(7)式表达的模型计算其对应每组信号的三阶AR参数(特征)值,构成神经网络分类器的输入向量A,即:
A=[a11,a12,a13,a21,a22,a23]T
神经网络的输入层共有6个节点,分别对应AR模型A矢量的各个分量,输出层六个节点Y1、…Y6,分别对应张开、合拢、腕上翻、腕下翻、腕左转、腕右转等动作。为避免信号强弱和处理过程中增益对网络识别的影响,输入层采用的是归一化后的AR模型特征数据,输出层的决策为
①Y1∈[0.8,1]  电动手爪张开      ②Y2∈[0.8,1]  电动手爪合拢
③Y3∈[0.8,1]  电动手爪腕上翻    ④Y4∈[0.8,1]  电动手爪腕下翻
⑤Y5∈[0.8,1]  电动手爪腕左转    ⑥Y6∈[0.8,1]  电动手爪腕右转
⑦其它           电动手爪不动作
如网络输出端同时出现多个动作有效时,拒绝给出识别结果(可能是干扰),同时出现所有动作无效时,选择状态7,即,电动手爪不动作。
我们对塑料和金属制品(被加工成柱状工件)、玻璃杯、鸡蛋等多种物体进行肌电电动假手握物试验,接触觉、滑动觉的正确检出率为100%,肌电控制的正确率达86%。

Claims (2)

1、一种带触觉的肌电仿生电动假手,包括装在残臂上的拾电电极及其对应的肌电信号处理电路、A/D转换数据采集、由计算机完成肌电信号运动模式识别输出控制信号经驱动电路带动电动假手,其特征是有仿人手指型触滑觉一体化传感器,其信号引出线连接信号调理电路和单片机输出接触觉或滑动觉信息的系统,单片机感觉信息输出口连接肌电信息测试处理控制系统的计算机,另一路接触觉或滑动觉的输出信息与残臂上可施加刺激脉冲的电极连接。
2、按权利要求1所述的带触觉的肌电仿生电动假手,其特征是所述触滑觉一体化传感器,采用高分子压电材料PVDF做敏感材料,其厚度为50μm,用薄铜皮做电极与PVDF粘合在一起,包裹在仿人型手指的柱面上,加以机械固定并引出信号线。
CN 200420023440 2004-06-02 2004-06-02 带触觉的肌电仿生电动假手 Expired - Fee Related CN2746890Y (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200420023440 CN2746890Y (zh) 2004-06-02 2004-06-02 带触觉的肌电仿生电动假手

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200420023440 CN2746890Y (zh) 2004-06-02 2004-06-02 带触觉的肌电仿生电动假手

Publications (1)

Publication Number Publication Date
CN2746890Y true CN2746890Y (zh) 2005-12-21

Family

ID=35707428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200420023440 Expired - Fee Related CN2746890Y (zh) 2004-06-02 2004-06-02 带触觉的肌电仿生电动假手

Country Status (1)

Country Link
CN (1) CN2746890Y (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053146B (zh) * 2005-08-23 2010-09-08 松下电器产业株式会社 高分子促动器
CN101610877B (zh) * 2006-12-19 2014-04-02 迪肯大学 用于触觉控制的方法和设备
CN104511894A (zh) * 2014-12-05 2015-04-15 上海交通大学 活性离体骨骼肌驱动的生机电一体化假手
CN109271031A (zh) * 2018-09-27 2019-01-25 中国科学院深圳先进技术研究院 一种触觉信号检测方法、装置、系统、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053146B (zh) * 2005-08-23 2010-09-08 松下电器产业株式会社 高分子促动器
CN101610877B (zh) * 2006-12-19 2014-04-02 迪肯大学 用于触觉控制的方法和设备
CN104511894A (zh) * 2014-12-05 2015-04-15 上海交通大学 活性离体骨骼肌驱动的生机电一体化假手
CN104511894B (zh) * 2014-12-05 2016-04-13 上海交通大学 活性离体骨骼肌驱动的生机电一体化假手
CN109271031A (zh) * 2018-09-27 2019-01-25 中国科学院深圳先进技术研究院 一种触觉信号检测方法、装置、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN1582866A (zh) 带触觉的肌电仿生电动假手及其控制方法
Hakonen et al. Current state of digital signal processing in myoelectric interfaces and related applications
Boostani et al. Evaluation of the forearm EMG signal features for the control of a prosthetic hand
Mane et al. Hand motion recognition from single channel surface EMG using wavelet & artificial neural network
Ferguson et al. Grasp recognition from myoelectric signals
CN101987048B (zh) 假肢控制方法和系统
CN101057795A (zh) 采用肌电和脑电协同控制的假肢手及其控制方法
CN109009586B (zh) 一种假手腕关节人机自然驱动角度的肌电连续解码方法
CN202288542U (zh) 假肢控制装置
Haris et al. EMG signal based finger movement recognition for prosthetic hand control
Gauthaam et al. EMG controlled bionic arm
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
CN108958474A (zh) 一种基于误差权重的动作识别多传感信息融合方法
CN113616395A (zh) 假肢控制方法、装置、假肢设备及计算机可读存储介质
CN2746890Y (zh) 带触觉的肌电仿生电动假手
Kumar et al. A critical review on hand gesture recognition using semg: Challenges, application, process and techniques
Ke et al. Deep convolutional spiking neural network based hand gesture recognition
Fu et al. Identification of finger movements from forearm surface EMG using an augmented probabilistic neural network
Lisi et al. From the classification of EMG signals to the development of a new lower arm prosthesis
Chen et al. Use of the discriminant Fourier-derived cepstrum with feature-level post-processing for surface electromyographic signal classification
CN101057793A (zh) 人工假肢手的实时控制方法
CN110464517B (zh) 基于小波加权排列熵的肌电信号识别方法
Andrews et al. Finger movement classification using forearm EMG signals
Villarejo et al. Pattern recognition of hand movements with low density sEMG for prosthesis control purposes
Zhang et al. Pattern-based grasping force estimation from surface electromyography

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee