CN104240265B - 一种基于全局约束的多目标跟踪方法和系统 - Google Patents
一种基于全局约束的多目标跟踪方法和系统 Download PDFInfo
- Publication number
- CN104240265B CN104240265B CN201410440637.2A CN201410440637A CN104240265B CN 104240265 B CN104240265 B CN 104240265B CN 201410440637 A CN201410440637 A CN 201410440637A CN 104240265 B CN104240265 B CN 104240265B
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- list
- targets
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000000877 morphologic effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种基于全局约束的多目标跟踪方法和系统，包括，建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；获取新跟踪目标：将前景列表的目标融合于跟踪列表中，两列表中不重叠的目标作为新跟踪目标，将新跟踪目标加入跟踪列表内；更新多目标跟踪模型：利用正负样本初始化跟踪列表的新跟踪目标的检测模型W和更新已有的跟踪目标的检测模型W，并更新跟踪目标之间几何约束ε；通过几何约束ε和检测模型W相结合的方式跟踪，使得本申请的跟踪方法更加稳定。
Description
技术领域
本申请涉及智能视频监控领域，具体涉及一种基于全局约束的多目标跟踪方法和系统。
背景技术
基于视频序列完成多目标的检测与正确识别跟踪是机器视觉领域的一个重要研究课题，它在智能视频安全监控领域、医学智能分析等领域都发挥着举足轻重的作用，目前对多目标跟踪的研究已成为热点，但现有的多目标跟踪仅仅是多个单目标跟踪的叠加。
发明内容
本申请提供一种基于全局约束的多目标跟踪方法和系统。
根据本申请的第一方面，本申请提供一种基于全局约束的多目标跟踪方法，包括：
建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；
建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；
获取新跟踪目标：将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；
更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。
根据本申请的第二方面，本申请提供一种基于全局约束的多目标跟踪系统，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；
前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；
多目标跟踪模块用于通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；
目标融合模块用于将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；
在线学习模块用于利用正负样本初始化跟踪列表的新跟踪目标的检测模型W，更新跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。
本申请的有益效果是：本申请提供的基于全局约束的多目标跟踪方法通过检测模型W和几何约束ε相结合对各个跟踪目标进行快速跟踪，同时，利用目标之间的几何约束关系对各个目标跟踪的结果进行全局约束，并通过更新检测模型W，从而使得本申请提供的多目标跟踪方法更加稳定。
附图说明
图1为本申请多目标跟踪方法流程图；
图2为本申请建立跟踪列表流程图；
图3为本申请多目标跟踪过程中微搜索的示意图；
图4为本申请多目标跟踪过程的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
如图1所示，本例提供的基于全局约束的多目标跟踪方法包括如下步骤：
S10：建立前景列表D。
本步骤具体包括：利用ViBe建立背景模型，获得前景图像；对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；该前景目标具体为每个连通域的位置和大小的信息，并用RT表示该位置和大小信息，如前景列表用D表示，则n个前景目标放入前景列表D内，表示为：D＝{RT1，RT2，…，RTn}。
S20：建立跟踪列表T。
通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表，其中，检测模型W采用在线SVM，几何约束ε采用目标之间的相对位移，本例的模型S的表达式为：其中，代表检测模型W部分，代表几何约束部分，本步骤包括以下步骤，流程图如图2所示。
S21：根据几何约束ε搜索。
本步骤中，保持几何约束ε不变，根据模型S的表达式搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置d；具体的，根据几何约束ε得到各个当前帧跟踪目标的绝对位置RT，在各个绝对位置RT上提取LBP直方图特征并记作特征φ，通过特征φ和检测模型W得到当前帧跟踪目标的预测位置d和概率p。
S22：根据检测模型W搜索。
本步骤中，保持S21步骤中的预测位置d不变，利用各个跟踪目标的检测模型W以及几何约束ε联合搜索。具体搜索过程是：首先，分别在各个跟踪目标的局部区域内搜索各个目标检测模型Wi的极大值Wil位置，其位置即为进一步的预测位置，然后在极大值Wil位置区域内根据模型S(即联合特征模型W和几何模型ε)进行微搜索，计算模型S的最大值，并记录每次微搜索的目标模型最大值。
本步骤的局部区域根据Wi TΦ(F，RTi)获得，表示各个跟踪目标的局部区域的总和；本步骤的微搜索指：在极大值Wil位置区域内，根据公式bij||(Xi-Xj)-εij||2进行当前跟踪目标位置估算，由于Φ(F,RTi)在变化，根据bij||(Xi-Xj)-εij||2和Φ(F，RTi)的变化在极小范围内对各个跟踪目标进行微搜索。
如图3所示，以其中跟踪目标2的两次微搜索为例，黑色实线框表示跟踪目标1、2和3的各个极大值Wil位置，黑色虚线框表示跟踪目标2的微搜索范围(这个搜索范围很小)，若保持跟踪目标1和3的位置不变，则黑色虚线框表示跟踪目标2的第一次微搜索和第二次微搜索，若跟踪目标2的微搜索次数为N，跟踪目标1和3的微搜索方式类同，则整个跟踪目标1、2和3的总微搜索次数为N3，然后确定该N3次中的模型S的最大值。
S23：确认模型S是否收敛。
通过步骤S21和步骤S22的联合搜索，并将该联合搜索的所有模型S中的最大的一个值作为联合搜索极大值Si，然后将连续两次的联合搜索极大值Si和Si-1进行差值计算，根据这个残差值来判断模型S是否收敛，若收敛，预测位置即是当前帧跟踪目标的精确位置；具体为，计算连续两次极大值Si和Si-1之差δSi，若δSi小于设定的阈值S0，则判断模型S收敛。
S24：建立跟踪列表T。
根据S21～S23的步骤，确定当前帧跟踪目标的模型S收敛后，将当前帧跟踪目标的精确位置放入跟踪列表内，用T表示跟踪列表，则将符合模型S收敛的各个跟踪目标的检测位置RT放入跟踪列表T内，如有m个跟踪列表符合要求，则跟踪列表T为：T＝{RT1，RT2，…，RTm}。
对于各个跟踪目标检测到的概率极大值p，如果p<p0，p0为预设值，则表示跟踪目标被遮挡，如果跟踪目标连续被遮挡t0帧则认为该跟踪目标丢失，在模型S中删除该跟踪目标的检测模型W和几何约束ε。
如图4所示，进一步说明步骤S21～S24：假设第t帧检测到3个目标，如图4(a)所示，且3个目标之间的三角形区域，根据几何约束ε搜索获取最佳的预测位置，如图4(b)中的实线部分所示，对各个跟踪目标的检测模型Wi进行划窗搜索并找到这个划窗内的极大值位置，如图4(c)中的实线框所示，在找到的这三个极大值位置附近进行微搜索，通过模型S计算找到微搜索的极大值Si位置，如图4(d)中的实线部分所示。
S30：获取新跟踪目标。
将步骤S1中获得的前景列表D中的目标融合于步骤S20中获得的跟踪列表T中，并将前景列表D与跟踪列表T不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表T内；其中，融合方式为：T＝T∪D。
本步骤中根据重叠率判定两目标是否重叠，具体为：按照公式lapij＝(RTi∩RTj)/(RTi∪RTj)计算前景列表D和跟踪列表T内目标之间的重叠率lap，若lap>lap0，lap0为预设值，则前景列表D内目标与跟踪列表T内目标重叠，否则，为不重叠目标，并将不重叠目标作为新跟踪目标。
S40：更新多目标跟踪模型。
本步骤利用正负样本初始化跟踪列表T的新跟踪目标的检测模型W，更新跟踪列表T中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。
具体为：在距离跟踪目标所在区域r0的范围内采集正样本，在距离跟踪目标r1到r2的范围内采集负样本，其中，r0、r1和r2为预设值，且r0<r1<r2；利用正负样本初始化跟踪列表T内的新跟踪目标的检测模型W，并更新跟踪列表T内已有的跟踪目标的检测模型W；计算通过当前帧与前一帧的任意两对目标的位移vi，vj向量差，根据向量差估计下一帧的几何约束ε，即根据公式εij＝εij+(vi-vj)更新跟踪目标之间的几何约束ε。
针对上述方法，本例还提供一种基于上述方法的多目标跟踪系统，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；
前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；
多目标跟踪模块用于通过搜索模型S的极大值位置，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；
目标融合模块用于将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；
在线学习模块用于利用正负样本初始化跟踪列表的新跟踪目标的检测模型W，更新跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。
本例的多目标跟踪系统是基于上述的多目标方法实现的，其中，前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块的具体工作方式具体由上述的建立前景列表D、建立跟踪列表T、获取新跟踪目标和更新多目标跟踪模型的方法实现，不作赘述。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。
Claims (8)
1.一种基于全局约束的多目标跟踪方法,其特征在于，包括：
建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；
建立跟踪列表：通过搜索模型S的极大值，所述模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表；
获取新跟踪目标：将所述前景列表的目标融合于所述跟踪列表中，并将所述前景列表与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列表内；
更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε；
所述检测模型W为在线SVM，所述几何约束ε为估计位移差向量。
2.如权利要求1所述的方法，其特征在于，所述建立跟踪列表包括步骤：
根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置；
根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何约束ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si；
确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值δS，若δS的值小于设定的阈值S0，则所述模型S收敛，所述预测位置即是当前帧跟踪目标的精确位置；
建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。
3.如权利要求1所述的方法，其特征在于，所述获取新跟踪目标还包括步骤：计算所述前景列表和跟踪列表内目标之间的重叠率lap，若lap>lap0，所述lap0为预设值，则所述前景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标作为所述新跟踪目标。
4.如权利要求2所述的方法，其特征在于，所述更新多目标跟踪模型包括步骤：
在距离目标所在区域r0的范围内采集正样本，在距离目标r1到r2的范围内采集负样本，所述r0、r1和r2为预设值，且r0<r1<r2；
利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，更新所述跟踪列表内已有的跟踪目标的检测模型W；
计算当前帧与前一帧的任意两对目标的位移vi，vj的向量差，根据所述向量差估计下一帧的几何约束ε，并更新所述几何约束ε。
5.一种基于全局约束的多目标跟踪系统，其特征在于，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；
所述前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；
所述多目标跟踪模块用于通过搜索模型S的极大值，所述模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表；
所述目标融合模块用于将所述前景列表的目标融合于所述跟踪列表中，并将所述前景列表与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列表内；
所述在线学习模块用于利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε；
所述检测模型W为在线SVM，所述几何约束ε为估计位移差向量。
6.如权利要求5所述的多目标跟踪系统，其特征在于，所述建立跟踪列表包括：
根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置；
根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何约束ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si；
确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值δSi，若δSi小于设定的阈值S0，则收敛，所述预测位置即是当前帧跟踪目标的精确位置；
建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。
7.如权利要求5所述的多目标跟踪系统，其特征在于，获取所述新跟踪目标包括：计算所述前景列表和跟踪列表内目标之间的重叠率lap，若lap>lap0，所述lap0为预设值，则所述前景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标作为所述新跟踪目标。
8.如权利要求6所述的多目标跟踪系统，其特征在于，更新所述检测模型W和所述几何约束ε包括：
在距离目标所在区域r0的范围内采集正样本，在距离目标r1到r2的范围内采集负样本，所述r0、r1和r2为预设值，且r0<r1<r2；
利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，并更新所述跟踪列表内已有的跟踪目标的检测模型W；
计算当前帧与前一帧的任意两对目标的位移vi，vj向量差，根据所述向量差估计下一帧的几何约束ε，并更新所述几何约束ε。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410440637.2A CN104240265B (zh) | 2014-09-01 | 2014-09-01 | 一种基于全局约束的多目标跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410440637.2A CN104240265B (zh) | 2014-09-01 | 2014-09-01 | 一种基于全局约束的多目标跟踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104240265A CN104240265A (zh) | 2014-12-24 |
| CN104240265B true CN104240265B (zh) | 2017-02-15 |
Family
ID=52228271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410440637.2A Expired - Fee Related CN104240265B (zh) | 2014-09-01 | 2014-09-01 | 一种基于全局约束的多目标跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104240265B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106033613B (zh) * | 2015-03-16 | 2019-04-30 | 北京大学 | 目标跟踪方法及装置 |
| CN108447080B (zh) * | 2018-03-02 | 2023-05-23 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 |
| CN110378178B (zh) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | 目标跟踪方法及装置 |
| CN112489085A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101174305A (zh) * | 2006-10-31 | 2008-05-07 | 富士施乐株式会社 | 图像处理装置、图像形成装置和计算机可读介质 |
| CN103259962A (zh) * | 2013-04-17 | 2013-08-21 | 深圳市捷顺科技实业股份有限公司 | 一种目标追踪方法和相关装置 |
| CN103886322A (zh) * | 2012-12-20 | 2014-06-25 | 中山大学深圳研究院 | 一种基于SVM和Mean-Shift的视频目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135514B2 (en) * | 2010-05-21 | 2015-09-15 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
-
2014
- 2014-09-01 CN CN201410440637.2A patent/CN104240265B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101174305A (zh) * | 2006-10-31 | 2008-05-07 | 富士施乐株式会社 | 图像处理装置、图像形成装置和计算机可读介质 |
| CN103886322A (zh) * | 2012-12-20 | 2014-06-25 | 中山大学深圳研究院 | 一种基于SVM和Mean-Shift的视频目标跟踪方法 |
| CN103259962A (zh) * | 2013-04-17 | 2013-08-21 | 深圳市捷顺科技实业股份有限公司 | 一种目标追踪方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104240265A (zh) | 2014-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | DP-SLAM: A visual SLAM with moving probability towards dynamic environments | |
| KR102462278B1 (ko) | 어떤 대상의 자기 동작 추정을 위한 방법 | |
| CN111144364B (zh) | 一种基于通道注意更新机制的孪生网络目标跟踪方法 | |
| CN105023278B (zh) | 一种基于光流法的运动目标跟踪方法及系统 | |
| CN103259962B (zh) | 一种目标追踪方法和相关装置 | |
| JP6405778B2 (ja) | 対象追跡方法及び対象追跡装置 | |
| CN107133970B (zh) | 基于运动信息的在线多目标跟踪方法及装置 | |
| EP3104361A1 (en) | Map information generation system, method, and program | |
| CN107491071B (zh) | 一种智能多机器人协同测图系统及其方法 | |
| CN104240265B (zh) | 一种基于全局约束的多目标跟踪方法和系统 | |
| US20110169923A1 (en) | Flow Separation for Stereo Visual Odometry | |
| CN111322993B (zh) | 一种视觉定位方法和装置 | |
| JP6838285B2 (ja) | レーンマーカ認識装置、自車両位置推定装置 | |
| Lin et al. | Detecting moving objects using a camera on a moving platform | |
| CN109934849B (zh) | 基于轨迹度量学习的在线多目标跟踪方法 | |
| Jang et al. | Road lane semantic segmentation for high definition map | |
| CN104537689A (zh) | 基于局部对比显著性联合特征的目标跟踪方法 | |
| CN104880160A (zh) | 一种工件表面轮廓的二维激光实时探测方法 | |
| Chiu et al. | Precise vision-aided aerial navigation | |
| CN116429084A (zh) | 一种动态环境3d同步定位与建图方法 | |
| Wu et al. | Scale-adaptive pothole detection and tracking from 3-d road point clouds | |
| Fan et al. | Long-awaited next-generation road damage detection and localization system is finally here | |
| KR101756698B1 (ko) | 도로 상의 객체를 검출하기 위한 장치 및 그 방법 | |
| JP2008185417A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000, Guangdong, Shenzhen, Futian District, Che Kung Temple Tian An Innovation Technology Plaza B1607 Applicant after: SHENZHEN HARZONE TECHNOLOGY Co.,Ltd. Address before: 518000, Guangdong, Shenzhen, Futian District, Che Kung Temple Tian An Innovation Technology Plaza B1607 Applicant before: SHENZHEN HARZONE TECHNOLOGY Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170215 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |