CN111209857A - 一种基于肌电信号的双向递归肌电特征选择方法 - Google Patents
一种基于肌电信号的双向递归肌电特征选择方法 Download PDFInfo
- Publication number
- CN111209857A CN111209857A CN202010009854.1A CN202010009854A CN111209857A CN 111209857 A CN111209857 A CN 111209857A CN 202010009854 A CN202010009854 A CN 202010009854A CN 111209857 A CN111209857 A CN 111209857A
- Authority
- CN
- China
- Prior art keywords
- feature
- electromyographic
- electromyography
- characteristic
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 11
- 230000003183 myoelectrical effect Effects 0.000 title claims description 28
- 238000002567 electromyography Methods 0.000 claims abstract description 45
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 26
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010219 correlation analysis Methods 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000010801 machine learning Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明是一种基于肌电信号的双向递归肌电特征选择方法,所述方法包括基于最大相关的前向动态递归特征选择和基于最小冗余的后向动态过滤特征选择。对于前向选择,首先构建原始肌电特征集,并通过使用互信息准则去除对手势识别贡献最低的特征产生肌电特征总集;其次,结合本文所提特征搜索策略和特定机器学习模型对肌电特征总集进行相关性分析,得到前向最佳候选肌电特征子集。对于后向选择,从原始肌电特征集开始,通过本文所提评估方式,每次迭代去除一个最不相关的肌电特征,分析特征集的冗余性,直至得到后向最佳候选肌电特征子集。最后取前向与后向最佳候选肌电特征子集的交集,并进行结果验证,输出最佳肌电特征集。
Description
技术领域
本发明涉及信号处理与人机交互领域,特别涉及一种基于肌电信号的双向递归肌电特征选择方法。
背景技术
随着科技的发展,人机交互的研究与应用受到越来越多的学者关注。其中,手势识别作为人机交互的一个主要分支,是人机交互领域的重要研究课题之一。人机交互中的手势对使用者来说具有便捷、交互性强、表达内容丰富等优点,一直是人机交互领域的首要选择。肌电信号是在人体肌肉活动过程中产生的一种生物电信号,是不同的运动单位动作电势在肌肉纤维和细胞组织中传导叠加的综合结果。肌电信号主要是通过提取肌电特征进行手势识别,选择合适的肌电特征进行组合可以获得更高的手势识别率。
鉴于此需要一种肌电特征选择方法,通过意大利经济学家帕累托的关键少数法则,利用20%的最佳肌电特征代替余下80%的肌电特征所做的贡献,在取得最佳效果的同时减少资源损耗,并提高识别效率。
发明内容
本发明提供了一种基于肌电信号的双向递归肌电特征选择方法,可以从多种肌电特征中,通过前向动态递归特征选择(FDRFS)和后向动态过滤特征选择(BDFFS)分别得到前向和后向最佳肌电特征组合,然后将它们取交集得到最佳肌电特征组合。
为解决上述技术问题,根据发明内容,采用如下技术方案为一种基于肌电信号的双向递归肌电特征选择方法,具体包括以下步骤:
步骤1:通过n个肌电特征向量构建肌电特征集;
步骤2:计算每个肌电特征向量的方差以及互信息,剔除肌电特征集中无贡献的机电特征向量或者评分最低的前m1(m1<0.1n)个肌电特征向量,得到第一次迭代肌电特征集合;
步骤3:从过滤后肌电特征总集中随机挑选一定数量的肌电特征向量构建随机肌电特征集,计算随机肌电特征集的组合数和识别率;
步骤4:剔除候选肌电特征集中相对冗余特征;
步骤5:更新动态递归系数,确定候选肌电特征集;
步骤6:重复步骤3–步骤5,直至动态递归系数达到最大迭代次数,输出前向最佳肌电特征组合;
步骤7:输入n个肌电特征构建的肌电特征集,确定反向肌电特征组合;
步骤8:计算肌电特征子集的识别率,确定后向候选肌电特征集;
步骤9:重复步骤8,直至达到迭代条件,输出后向最佳肌电特征组合;
步骤10:通过取前向最佳肌电特征组合和后向最佳肌电特征组合的交集得到最佳肌电特征集。
所述初始肌电特征集为:
其中,Xi,i∈[1,n]为第i个肌电特征向量,为l维度向量,具体定义为:
其中,Xi,j,i∈[1,n],j∈[1,l]为第i个肌电特征向量中第j个肌电特征。
作为优选,步骤2中所述每个肌电特征向量的方差为:
其中,Xi表示第i组特征向量,l表示特征向量中的样本数,Xi,j表示特征向量中第i个样本值,μ(Xi)表示该特征向量的平均值;
步骤2中所述计算每个原始肌电特征的互信息为:
其中,Y表示手势的标签向量,p(xi,j,y)表示Xi与Y两个变量之间的联合概率密度分布函数,p(xi)和p(y)分别表示Xi和Y两者的边缘概率分布;
步骤2中所述剔除肌电特征集中无贡献或贡献小的肌电特征向量,具体为:
Var(X)<α或I(X;Y)<β认为是贡献小的肌电特征向量,其中α,β分别是方差阈值和互信息阈值;
从步骤1的特征集合中筛选出贡献小的肌电特征向量,然后剔除贡献小较低的前m1(m1<0.1n)个肌电特征向量;
步骤2中所述第一次迭代肌电特征集合为:
T1 k={X1,X2,…,Xk,k<n}
作为优选,步骤3中所述随机挑选一定数量的过滤后肌电特征向量构建随机肌电特征集为:
选择识别率最高特征向量组合作为该批次下的次优特征向量组合,并放入候选肌电特征集中:
作为优选,步骤4中所述剔除候选肌电特征集中相对冗余特征,具体过程为:
将步骤3得到的S1中挑选p1·p2·kl种肌电特征向量剔除,使得余下特征组合的f(·)相对最优SAcc1;其中,p2为第二动态递归系数;
作为优选,步骤5中所述更新动态递归系数为:
p1=p1-Δ,p2保持不变,Δ为系数步长;
步骤5中所述确定候选肌电特征集为:
从步骤4中得到第二次迭代特征集合中按照步骤3中方法挑选特征的组合,每种组合均与步骤4中所述候选特征子集S1取并集,并利用f(·)计算此时所有特征组合的将最高的组合作为最优特征组合放入候选肌电特征集S2中;
作为优选,步骤6中所述动态递归系数达到最大迭代次数为:p1·k<1达到最大迭代次数即Stepmax时;
步骤7所述确定肌电特征组合,具体为:
所述肌电特征集进行每一种特征的依次剔除,余下所有特征形成肌电特征子集,具体如下:
作为优选,步骤9中所述迭代条件为:
本发明优点在于,可以提供一种更好的特征选择方法,通过前向动态递归和反向动态过滤两个方向对肌电总集进行特征选择,将两个方向各自得到的最优特征组合取交集,得到最终的最优特征组合,该特征组合满足最大相关和最小冗余的要求。
附图说明
图1:为本发明方法的流程图;
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
本发明的具体实施方式采用如下技术方案为一种基于肌电信号的双向递归肌电特征选择方法,具体包括以下步骤:
步骤1:通过21个肌电特征向量构建肌电特征集;
所述初始肌电特征集具体为:
其中,Xi,i∈[1,21]为第i个肌电特征向量,为200维度向量,具体定义为:
其中,Xi,j,i∈[1,21],j∈[1,200]为第i个肌电特征向量中第j个肌电特征。
步骤2:计算每个肌电特征向量的方差以及互信息,剔除肌电特征集中无贡献的机电特征向量或者评分最低的前2个肌电特征向量,得到第一次迭代肌电特征集合;
步骤2中所述每个肌电特征向量的方差为:
其中,Xi表示第i个特征向量,Xi,j表示第i特征向量中第j个样本值,μ(Xi)表示该特征向量的平均值;
步骤2中所述计算每个原始肌电特征的互信息为:
其中,Y表示手势的标签向量,p(xi,j,y)表示Xi与Y两个变量之间的联合概率密度分布函数,p(xi)和p(y)分别表示Xi和Y两者的边缘概率分布;
步骤2中所述剔除肌电特征集中无贡献或贡献小的肌电特征向量,具体为:
Var(X)<0.1或I(X;Y)<0.2认为是贡献小的肌电特征向量;
从步骤1的特征集合中筛选出贡献小的肌电特征向量,然后剔除贡献小较低的前2个肌电特征向量;
步骤2中所述第一次迭代肌电特征集合为:
T1 18={X1,X2,…,X18}
步骤3:从过滤后肌电特征总集中随机挑选一定数量的肌电特征向量构建随机肌电特征集,计算随机肌电特征集的组合数和识别率;
步骤3中所述随机挑选一定数量的过滤后肌电特征向量构建随机肌电特征集为:
p1=0.35,q=5,从T1 18中任意挑选3712组6种组合肌电特征特征向量,;
选择识别率最高特征向量组合作为该批次下的次优特征向量组合,并放入候选肌电特征集中:
步骤4:剔除候选肌电特征集中相对冗余特征;
步骤4中所述剔除候选肌电特征集中相对冗余特征,具体过程为:
令p2=1将步骤3得到的S1中挑选p1·p2·6种肌电特征向量剔除,使得余下特征组合的f(·)相对最优SAcc1;
步骤5:更新动态递归系数,确定前向候选肌电特征集;
步骤5中所述更新动态递归系数为:
p1=p1-Δ,p2保持不变,Δ取0.01;
步骤5中所述确定候选肌电特征集为:
从步骤4中得到第二次迭代特征集合中按照步骤3中方法挑选特征的组合,每种组合均与步骤4中所述候选特征子集S1取并集,并利用f(·)计算此时所有特征组合的将最高的组合作为最优特征组合放入候选肌电特征集S2中;
步骤6:重复步骤3–步骤5,直至动态递归系数达到最大迭代次数,输出前向最佳肌电特征组合;
步骤6中所述动态递归系数达到最大迭代次数为:p1·k<1达到最大迭代次数即Stepmax=7时;
步骤7:输入肌电特征集RTs n,确定反向肌电特征组合;
步骤7所述确定肌电特征组合,具体为:
所述肌电特征集进行每一种特征的依次剔除,余下所有特征形成肌电特征子集,具体如下:
步骤8:计算肌电特征子集的识别率,确定后向候选肌电特征集;
步骤9:重复步骤8,直至达到迭代条件,输出后向最佳肌电特征组合;
步骤9中所述迭代条件为:
后向最佳肌电特征组合为以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
步骤10:通过取前向最佳肌电特征组合和后向最佳肌电特征组合的交集得到最佳肌电特征集,最佳肌电特征集为Soptimal。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于肌电信号的双向递归肌电特征选择方法,其特征在于,包括以下步骤:
步骤1:通过n个肌电特征向量构建肌电特征集;
步骤2:计算每个肌电特征向量的方差以及互信息,剔除肌电特征集中无贡献的机电特征向量或者评分最低的前m1(m1<0.1n)个肌电特征向量,得到第一次迭代肌电特征集合;
步骤3:从过滤后肌电特征总集中随机挑选一定数量的肌电特征向量构建随机肌电特征集,计算随机肌电特征集的组合数和识别率;
步骤4:剔除候选肌电特征集中相对冗余特征;
步骤5:更新动态递归系数,确定候选肌电特征集;
步骤6:重复步骤3–步骤5,直至动态递归系数达到最大迭代次数,输出前向最佳肌电特征组合;
步骤7:输入n个肌电特征构建的肌电特征集,确定反向肌电特征组合;
步骤8:计算肌电特征子集的识别率,确定后向候选肌电特征集;
步骤9:重复步骤8,直至达到迭代条件,输出后向最佳肌电特征组合;
步骤10:通过取前向最佳肌电特征组合和后向最佳肌电特征组合的交集得到最佳肌电特征集。
3.根据权利要求1所述的基于肌电信号的双向递归肌电特征选择方法,其特征在于:步骤2中所述每个肌电特征向量的方差为:
其中,Xi表示第i组离散目标特征向量,l表示特征向量中的样本数,Xi,j表示特征向量中第i个样本值,μ(Xi)表示该特征向量的平均值;
步骤2中所述计算每个原始肌电特征的互信息为:
其中,Y表示手势的标签向量,p(xi,j,y)表示Xi与Y两个变量之间的联合概率密度分布函数,p(xi)和p(y)分别表示Xi和Y两者的边缘概率分布;
步骤2中所述剔除肌电特征集中无贡献或贡献小的肌电特征向量,具体为:
Var(X)<α或I(X;Y)<β认为是贡献小的肌电特征向量,其中α,β分别是方差阈值和互信息阈值;
从步骤1的特征集合中筛选出贡献小的肌电特征向量,然后剔除贡献小较低的前m1(m1<0.1n)个肌电特征向量;
步骤2中所述第一次迭代肌电特征集合为:
T1 k={X1,X2,…,Xk,k<n}。
4.根据权利要求1所述的基于肌电信号的双向递归肌电特征选择方法,其特征在于:步骤3中所述随机挑选一定数量的过滤后肌电特征向量构建随机肌电特征集为:
选择识别率最高特征向量组合作为该批次下的次优特征向量组合,并放入候选肌电特征集中:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010009854.1A CN111209857B (zh) | 2020-01-06 | 2020-01-06 | 一种基于肌电信号的双向递归肌电特征选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010009854.1A CN111209857B (zh) | 2020-01-06 | 2020-01-06 | 一种基于肌电信号的双向递归肌电特征选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209857A true CN111209857A (zh) | 2020-05-29 |
CN111209857B CN111209857B (zh) | 2023-04-21 |
Family
ID=70787366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010009854.1A Active CN111209857B (zh) | 2020-01-06 | 2020-01-06 | 一种基于肌电信号的双向递归肌电特征选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209857B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113171214A (zh) * | 2021-05-27 | 2021-07-27 | 山东大学 | 基于自适应增强分类器的多路反馈肌电控制假肢手及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08229015A (ja) * | 1995-02-28 | 1996-09-10 | Matsushita Electric Ind Co Ltd | 筋電位フィードバック装置 |
WO2015026960A1 (en) * | 2013-08-21 | 2015-02-26 | Sanger Terence D | Systems, methods, and uses of b a yes -optimal nonlinear filtering algorithm |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
US20170093849A1 (en) * | 2015-09-29 | 2017-03-30 | Anhui Huami Information Technology Co., Ltd. | Multi-modal biometric identification |
CN110008839A (zh) * | 2019-03-08 | 2019-07-12 | 西安研硕信息技术有限公司 | 一种自适应手势识别的智能手语交互系统及方法 |
-
2020
- 2020-01-06 CN CN202010009854.1A patent/CN111209857B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08229015A (ja) * | 1995-02-28 | 1996-09-10 | Matsushita Electric Ind Co Ltd | 筋電位フィードバック装置 |
WO2015026960A1 (en) * | 2013-08-21 | 2015-02-26 | Sanger Terence D | Systems, methods, and uses of b a yes -optimal nonlinear filtering algorithm |
US20170093849A1 (en) * | 2015-09-29 | 2017-03-30 | Anhui Huami Information Technology Co., Ltd. | Multi-modal biometric identification |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
CN110008839A (zh) * | 2019-03-08 | 2019-07-12 | 西安研硕信息技术有限公司 | 一种自适应手势识别的智能手语交互系统及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113171214A (zh) * | 2021-05-27 | 2021-07-27 | 山东大学 | 基于自适应增强分类器的多路反馈肌电控制假肢手及方法 |
CN113171214B (zh) * | 2021-05-27 | 2023-10-24 | 山东大学 | 基于自适应增强分类器的多路反馈肌电控制假肢手及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111209857B (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105446484B (zh) | 一种基于隐马尔科夫模型的肌电信号手势识别方法 | |
CN107256392A (zh) | 一种联合图像、语音的全面情绪识别方法 | |
CN110333783B (zh) | 一种用于鲁棒肌电控制的无关手势处理方法及系统 | |
CN112783327B (zh) | 基于表面肌电信号进行手势识别的方法及系统 | |
CN115187610A (zh) | 基于图神经网络的神经元形态分析方法、设备及存储介质 | |
Xie et al. | WT feature based emotion recognition from multi-channel physiological signals with decision fusion | |
Zhou et al. | sEMG-based hand motion recognition by means of multi-class adaboost algorithm | |
Gao et al. | Learning invariant patterns based on a convolutional neural network and big electroencephalography data for subject-independent P300 brain-computer interfaces | |
Li | Deep intermediate representation and in-set voting scheme for multiple-beat electrocardiogram classification | |
CN111209857B (zh) | 一种基于肌电信号的双向递归肌电特征选择方法 | |
CN113729738B (zh) | 一种多通道肌电特征图像的构建方法 | |
CN114159079B (zh) | 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法 | |
CN111401166A (zh) | 基于肌电信息解码的鲁棒手势识别方法 | |
CN112036357B (zh) | 一种基于表面肌电信号的上肢动作识别方法及系统 | |
CN113988135A (zh) | 一种基于双分支多流网络的肌电信号手势识别方法 | |
Wang et al. | Deep convolutional neural network for decoding EMG for human computer interaction | |
CN111985270B (zh) | 一种基于梯度提升树的sEMG信号最优通道选择方法 | |
CN117312985A (zh) | 基于可解释深度学习的表面肌电信号相似手势识别方法 | |
CN110738093B (zh) | 基于改进小世界回声状态网络肌电的分类方法 | |
CN114403878B (zh) | 一种基于深度学习的语音检测疲劳度方法 | |
Bhattacharya et al. | Optimization of EEG-based imaginary motion classification using majority-voting | |
Lu et al. | Classification of hand manipulation using bp neural network and support vector machine based on surface electromyography signal | |
Deshpande et al. | Sign Language Detection using LSTM Deep Learning Model and Media Pipe Holistic Approach | |
Sharma et al. | Neural Reinforcement Learning based Identifier for Typing Keys using Forearm EMG Signals | |
Gu et al. | Continuous Force Estimation in Pulling Mode for Handling Operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200529 Assignee: JINGMEN WUSAN MACHINERY EQUIPMENT MANUFACTURING Co.,Ltd. Assignor: WUHAN University OF SCIENCE AND TECHNOLOGY Contract record no.: X2023420000176 Denomination of invention: A bidirectional recursive emg Feature selection method based on emg signal Granted publication date: 20230421 License type: Common License Record date: 20230614 |
|
EE01 | Entry into force of recordation of patent licensing contract |