CN105606473B - 一种基于机器视觉的红提葡萄硬度无损检测方法 - Google Patents

一种基于机器视觉的红提葡萄硬度无损检测方法 Download PDF

Info

Publication number
CN105606473B
CN105606473B CN201610037685.6A CN201610037685A CN105606473B CN 105606473 B CN105606473 B CN 105606473B CN 201610037685 A CN201610037685 A CN 201610037685A CN 105606473 B CN105606473 B CN 105606473B
Authority
CN
China
Prior art keywords
red grape
image
sample
red
hardness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610037685.6A
Other languages
English (en)
Other versions
CN105606473A (zh
Inventor
王巧华
唐义华
李小明
段宇飞
王彩云
付丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN201610037685.6A priority Critical patent/CN105606473B/zh
Publication of CN105606473A publication Critical patent/CN105606473A/zh
Application granted granted Critical
Publication of CN105606473B publication Critical patent/CN105606473B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40—Investigating hardness or rebound hardness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于机器视觉的红提葡萄硬度检测方法，涉及红提葡萄内部品质的无损检测领域。本方法是：①搭建好检测平台，调整好相机和采集系统的各个参数；②划分样本集，随机划分训练样本与测试样本，利用图像采集装置分别采集样本图像信息；③利用质构仪做破坏性实验，测量红提葡萄样本的实际硬度值；④对红提葡萄图像进行图像处理及特征提取；⑤将提取的16个特征信息进行建模，选出最佳模型：⑥将测试样本导入红提葡萄硬度检测预测模型中，得出样本的测试硬度值，进行验证分析。本发明利用机器视觉技术能够准确地预测红提葡萄的硬度，具有速度快、无损性、智能化等特点，实现了对红提硬度的无损检测，具有广阔的应用前景。

Description

一种基于机器视觉的红提葡萄硬度无损检测方法
技术领域
本发明涉及红提葡萄内部品质的无损检测领域，尤其涉及一种基于机器视觉的红提葡萄硬度检测方法。本发明主要利用机器视觉采集红提葡萄的图像数据，再通过一系列图像处理方法，提取图像的特征参数，建立红提葡萄的硬度预测模型，为红提葡萄的内部品质提供一种无损快速智能化的检测方法。
背景技术
葡萄是世界四大水果之一，葡萄用途广泛，可以用来酿造葡萄酒、鲜食食用、加工成葡萄干、葡萄汁、添加到饮料中、添加到面包等食品中增加食品的口感等等。红提是葡萄的一个优良品种，原产于美国加州，因其营养丰富、富含多种维生素、氨基酸和人体必需微量元素等价值；另外还有保健作用，所以得以广泛传播。目前国内主要将葡萄用作鲜食食用，鲜食葡萄口味优美、营养丰富，是水果中最美味的水果之一。随着消费群体的增大及消费理念的提升，广大消费者对红提的品质要求越来越高。在中国，红提葡萄的传统的分级指标主要有颗粒大小、可溶性固形物含量、色泽度和果粒着色率等等；红提葡萄的硬度跟口感度相关，不同的人对口感度的要求不一样，对红提葡萄的硬度进行检测分级是一个急需解决的问题。
机器视觉检测方法是一种快速便捷和无损的检测分析方法。机器视觉技术通过采集目标的图像进行特征提取，可对目标进行定性或者定量分析。机器视觉无损检测技术具有速度快、无损性和成本低等优点；现已经逐渐应用于农产品品质检测。时玉强利用机器视觉对大豆的品质进行了研究，通过提取大豆种子的29个形态特征，再对特征进行优化选取建立相关模型；主要对大豆的成熟度、标准粒、虫蚀、霉变、破碎和菌斑等进行检测分析【时玉强，东北农业大学硕士论文，黑龙江，2009.4】；张亚静、Sakae Shibusawa、李民赞等人利用机器视觉对番茄内部品质进行预测，通过对不同高度位置采集番茄图像，提取RGB色彩模型、LAB色彩模型和灰度共生矩阵等特征信息，建立神经网络对番茄的糖度、酸度、氨基 酸含量和水分含量4个内部品质进行预测，试验结果表明机器视觉技术方法预测番茄内部品质具有较好的应用前景【张亚静，Sakae Shibusawa，李民赞.基于机器视觉的番茄内部品质预测[J].农业工程学报，2010，26(Supp.2)：366－370.】；郭辉通过机器视觉技术结合高光谱成像技术、自动称重技术对蜜柚的形状、色泽、表面缺陷、可食率、重量等品质进行了检测分析【郭辉，中国农业大学硕士学位论文，北京，2015.5】；黄星奕、钱媚、徐富斌等人利用机器视觉技术结合近红外光谱技术对杏干的品质进行了无损检测研究，通过拍摄杏干的4个不同位置的彩色图像，对杏干的质量进行分级，利用近红外光谱对杏干的糖度进行了检测【黄星奕，钱媚，徐富斌，等.基于机器视觉和近红外光谱技术的杏干品质无损检测[J].农业工程学报，2012，28(7)：260－265.】。
经相关检索现有的检测技术发现：机器视觉可以实现对农产品品质进行检测；目前还没有利用机器视觉对红提葡萄等水果的硬度进行研究。
发明内容
本发明的目的就在于克服现有技术的一些障碍，提供一种基于机器视觉的红提葡萄硬度检测方法。
本发明的是这样实现的：
首先，搭建好图像采集装置，调整相机及处理软件的各个参数；接着，随机划分训练样本和测试样本，分别采集红提葡萄样本的图像，包括近红外图像及RGB彩色图像；其次，利用质构仪对红提葡萄做破坏性试验，检测红提葡萄的实际硬度值；然后，提取红提葡萄的纹理信息特征(对比度、自相关系数、均衡性、能量、熵、标准差、灰度均值)和RGB色彩通道(R—红色、G—绿色、B—蓝色通道分量)、HSV色彩通道(H—色彩、S—纯度、V—明度通道分量)、Lab色彩通道(L—亮度，a、b—颜色通道分量)等特征信息；再者，利用提取的16个特征信息建立红提葡萄硬度检测模型；最后，对红提葡萄硬度检测模型进行验证。
本发明主要完成以下几点工作：
1、搭建红提葡萄硬度检测系统的图像采集平台；
2、划分样本集，随机划分训练样本与测试样本；
3、利用质构仪做破坏性试验，测量红提葡萄的硬度值；
4、对红提葡萄图像进行图像处理及特征提取；
5、利用提取的特征信息建立红提葡萄硬度检测模型；
6、对红提葡萄硬度检测模型进行验证。
具体地说，本方法包括基于下列步骤：
①搭建好检测平台，调整好相机和采集系统的各个参数；
②划分样本集，采集红提样本图像
随机划分训练样本与测试样本，利用图像采集装置分别采集样本图像信息，包括近红外图像和彩色图像；
③利用质构仪做破坏性实验，测量红提葡萄样本的实际硬度值；
④对红提葡萄图像进行图像处理及特征提取；
⑤将提取的16个特征信息进行建模，选出最佳模型
将16个特征信息分别用最小二乘法回归分析、多元线性回归、主成分回归分析模型进行预测分析，选出最佳的预测模型；
⑥对模型进行验证分析
将测试样本导入红提葡萄硬度检测预测模型中，得出样本的测试硬度值，进行验证分析。
本发明具有下列优点和积极效果：
①利用机器视觉技术检测红提葡萄糖度；
②采用图像处理技术尽量提取更多的特征信息，提高模型的预测精度度；
③实现快速无损的检测红提葡萄硬度检测。
总之，本发明利用机器视觉技术能够准确地预测红提葡萄的硬度，具有速度快、无损性、智能化等特点，实现了对红提硬度的无损检测，具有广阔的应用前景。
附图说明
图1是本方法的步骤图；
图2本方法步骤④红提葡萄图像处理及特征提取的流程图；
图3是所有样本预测结果图，坐标横轴代表实际硬度值，坐标纵轴代表测试硬度值。
具体实施方式
本实验是在搭建好的装置[和基于机器视觉的整箱红提葡萄果粒大小分级装置相同，见CN10520354A(公开日：2015-12-30)]中进行的，下面结合附图和实例详细说明：
1、方法
如图1，本方法具体实施步骤如下：
①搭建好检测平台，调整好相机和采集系统的各个参数-1；
②划分样本集，采集红提样本图像-2
随机划分训练样本与测试样本，利用图像采集装置分别采集样本图像信息，包括近红外图像和彩色图像；
③利用质构仪做破坏性实验，测量红提葡萄样本的实际硬度值-3；
④对红提葡萄图像进行图像处理及特征提取-4；
⑤将提取的16个特征信息进行建模，选出最佳模型-5
将16个特征信息分别用最小二乘法回归分析、多元线性回归、主成分回归分析模型进行预测分析，选出最佳的预测模型；
⑥对模型进行验证分析-6
将测试样本导入红提葡萄硬度检测预测模型中，得出样本的测试硬度值，进行验证分析。
2、步骤④
如图2，步骤④包括下列子步骤：
A、对采集的图像进行去噪预处理-401；
B、对红提葡萄近红外图像进行分割处理-402
利用自适应二值化处理提取红提葡萄区域，实现红提葡萄近红外图像进行分割处理；
C、对红提葡萄近红外图像进行特征参数提取-403
对红提葡萄区域进行特征提取，提取对比度、自相关系数、均衡性、能量、熵、标准差、灰度均值等7个特征值；
D、对红提葡萄彩色图像进行分割-404
利用红提葡萄与背景的差异性，将红提葡萄的RGB彩色图像的红色通道与蓝色通道的和减去绿色通道，去除背景区域，实现对红提葡萄区域的提取；
E、对红提葡萄彩色图像进行特征参数提取-405
对分割出的红提葡萄区域进行信息提取，将RGB彩色图像进行颜色空间转化，转化为HSV颜色空间和LAB颜色空间，同时提取三中颜色空间的各个通道的均值，彩色图像中共提取9个特征信息；
F、融合近红外图像与彩色图像的特征参数-406
融合近红外图像的7个特征参数与彩色图像的9个特征参数，总共16个特征参数。
3、步骤⑤
交互验证相关系数R2和交互验证均方差RMSECV的数学模型如下：
其中：
n为模型中红提葡萄的总样本数量，
yi为模型中第i个样本的实际硬度值，
y'为模型中第i个样本的交互验证测试值，
为模型中所有样本实际硬度值的平均值。
交互验证相关系数(R2)越大，交互验证均方差(RMSECV)越小，说明模型的预测效果越好。
3、检测结果
本试验采用的红提品种为新疆红提，均从水果批发市场购买，选30串新疆红提，从每串中随机挑选5颗红提，一共选取150颗红提作为实验样本。将所有样本随机分配，选取100颗作为训练样本，50颗作为测试样本。通过本方法进行测试，其中采用最小二乘法取得的效果最好，训练集的相关系数为0.734，测试集的相关系数为0.707。
实验结果表明，本方法可以应用于红提葡萄的硬度检测，具有广阔的应用前景。

Claims (1)

1.一种基于机器视觉的红提葡萄硬度检测方法，其特征在于包括下列步骤：
①搭建好检测平台，调整好相机和采集系统的各个参数(1)；
②划分样本集，采集红提样本图像(2)
随机划分训练样本与测试样本，利用图像采集装置分别采集样本图像信息，包括近红外图像和彩色图像；
③利用质构仪做破坏性实验，测量红提葡萄样本的实际硬度值(3)；
④对红提葡萄图像进行图像处理及特征提取(4)；
⑤将提取的16个特征信息进行建模，选出最佳模型(5)
将16个特征信息分别用最小二乘法回归分析、多元线性回归、主成分回归分析模型进行预测分析，选出最佳的预测模型；
⑥对模型进行验证分析(6)
将测试样本导入红提葡萄硬度检测预测模型中，得出样本的测试硬度值，进行验证分析；
所述的步骤④：
A、对采集的图像进行去噪预处理(401)；
B、对红提葡萄近红外图像进行分割处理(402)
利用自适应二值化处理提取红提葡萄区域，实现红提葡萄近红外图像进行分割处理；
C、对红提葡萄近红外图像进行特征参数提取(403)
对红提葡萄区域进行特征提取，提取对比度、自相关系数、均衡性、能量、熵、标准差、灰度均值等7个特征值；
D、对红提葡萄彩色图像进行分割(404)
利用红提葡萄与背景的差异性，将红提葡萄的RGB彩色图像的红色通道与蓝色通道的和减去绿色通道，去除背景区域，实现对红提葡萄区域的提取；
E、对红提葡萄彩色图像进行特征参数提取(405)
对分割出的红提葡萄区域进行信息提取，将RGB彩色图像进行颜色空间转化，转化为HSV颜色空间和LAB颜色空间，同时提取三中颜色空间的各个通道的均值，彩色图像中共提取9个特征信息；
F、融合近红外图像与彩色图像的特征参数(406)
融合近红外图像的7个特征参数与彩色图像的9个特征参数，总共16个特征参数；
所述的步骤⑤：
交互验证相关系数R2和交互验证均方差RMSECV的数学模型如下：
其中：
n为模型中红提葡萄的总样本数量，
yi为模型中第i个样本的实际硬度值，
y'为模型中第i个样本的交互验证测试值，
为模型中所有样本实际硬度值的平均值。
CN201610037685.6A 2016-01-20 2016-01-20 一种基于机器视觉的红提葡萄硬度无损检测方法 Expired - Fee Related CN105606473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610037685.6A CN105606473B (zh) 2016-01-20 2016-01-20 一种基于机器视觉的红提葡萄硬度无损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610037685.6A CN105606473B (zh) 2016-01-20 2016-01-20 一种基于机器视觉的红提葡萄硬度无损检测方法

Publications (2)

Publication Number Publication Date
CN105606473A CN105606473A (zh) 2016-05-25
CN105606473B true CN105606473B (zh) 2018-06-15

Family

ID=55986582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610037685.6A Expired - Fee Related CN105606473B (zh) 2016-01-20 2016-01-20 一种基于机器视觉的红提葡萄硬度无损检测方法

Country Status (1)

Country Link
CN (1) CN105606473B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106596414B (zh) * 2016-11-14 2019-03-29 浙江大学 一种桃果实内部硬度空间分布成像的方法
CN109001244B (zh) * 2018-09-07 2021-01-01 华中农业大学 基于红外热成像技术检测马铃薯品质的装置及其检测方法
JP6744898B2 (ja) * 2018-10-12 2020-08-19 ソニーセミコンダクタソリューションズ株式会社 計測装置、計測方法、プログラム
CN109580618A (zh) * 2018-11-23 2019-04-05 鞍钢集团矿业有限公司 一种基于泡沫颜色判断浮选产品品位的方法
CN109886259A (zh) * 2019-02-22 2019-06-14 潍坊科技学院 一种基于计算机视觉的番茄病害识别预警方法及装置
CN112213455A (zh) * 2020-09-29 2021-01-12 新疆农业科学院园艺作物研究所 一种干果的含水率的测定方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2587534Y (zh) * 2002-12-27 2003-11-26 浙江大学 基于机器视觉的水果分级机器
CN1995987A (zh) * 2007-02-08 2007-07-11 江苏大学 基于高光谱图像技术的农畜产品无损检测方法及装置
CN101021478A (zh) * 2007-02-13 2007-08-22 江西农业大学 一种水果品质的激光诱导荧光高光谱图像检测方法和装置
CN101158651A (zh) * 2007-11-16 2008-04-09 南京农业大学 一种基于激光图像分析检测苹果内外品质的装置及方法
CN101419166A (zh) * 2008-11-18 2009-04-29 江苏大学 基于近红外光谱和机器视觉技术的茶叶品质无损检测方法及装置
CN101561402A (zh) * 2009-05-07 2009-10-21 浙江大学 基于机器视觉的猪肉外观品质实时检测分级方法与装置
CN102181514A (zh) * 2011-03-11 2011-09-14 中国农业大学 快速无损伤检测冷却肉菌落总数的方法
CN102252971A (zh) * 2011-04-06 2011-11-23 食品行业生产力促进中心 一种芒果硬度快速检测方法
CN202599818U (zh) * 2012-05-30 2012-12-12 华中农业大学 一种基于机器视觉的红提葡萄自动分级装置
CN103076288A (zh) * 2012-12-26 2013-05-01 中国科学院海洋研究所 一种基于计算机视觉的鱼肉自动分级装置和方法
CN103344575A (zh) * 2013-07-01 2013-10-09 江南大学 基于高光谱图像技术的干燥毛豆多品质无损检测方法
CN105203543A (zh) * 2015-09-22 2015-12-30 华中农业大学 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792175B2 (ja) * 2002-05-15 2006-07-05 東罐興業株式会社 有芯青果物の内部品質検査方法及び装置
FR2852920B1 (fr) * 2003-03-25 2005-06-03 Materiel Arboriculture Unite de tri et de conditionnement de produits aptes a etre suspendus a un organe d'accrochage en vue de leur convoyage, tels que des grappes de fruits, notamment raisins de table ou tomates-grappes

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2587534Y (zh) * 2002-12-27 2003-11-26 浙江大学 基于机器视觉的水果分级机器
CN1995987A (zh) * 2007-02-08 2007-07-11 江苏大学 基于高光谱图像技术的农畜产品无损检测方法及装置
CN101021478A (zh) * 2007-02-13 2007-08-22 江西农业大学 一种水果品质的激光诱导荧光高光谱图像检测方法和装置
CN101158651A (zh) * 2007-11-16 2008-04-09 南京农业大学 一种基于激光图像分析检测苹果内外品质的装置及方法
CN101419166A (zh) * 2008-11-18 2009-04-29 江苏大学 基于近红外光谱和机器视觉技术的茶叶品质无损检测方法及装置
CN101561402A (zh) * 2009-05-07 2009-10-21 浙江大学 基于机器视觉的猪肉外观品质实时检测分级方法与装置
CN102181514A (zh) * 2011-03-11 2011-09-14 中国农业大学 快速无损伤检测冷却肉菌落总数的方法
CN102252971A (zh) * 2011-04-06 2011-11-23 食品行业生产力促进中心 一种芒果硬度快速检测方法
CN202599818U (zh) * 2012-05-30 2012-12-12 华中农业大学 一种基于机器视觉的红提葡萄自动分级装置
CN103076288A (zh) * 2012-12-26 2013-05-01 中国科学院海洋研究所 一种基于计算机视觉的鱼肉自动分级装置和方法
CN103344575A (zh) * 2013-07-01 2013-10-09 江南大学 基于高光谱图像技术的干燥毛豆多品质无损检测方法
CN105203543A (zh) * 2015-09-22 2015-12-30 华中农业大学 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"苹果质地品质近红外无损检测和指纹分析";李桂峰 等;《农业工程学报》;20080630;第24卷(第6期);第169-170页 *
Calibrated color measurements of agriculture foods using image analysis;Mendoza F 等;《Calibrated color measurements of agriculture foods using image analysis》;20061231;第41卷(第3期);第285-295页 *

Also Published As

Publication number Publication date
CN105606473A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN105606473B (zh) 一种基于机器视觉的红提葡萄硬度无损检测方法
Wang et al. Quality analysis, classification, and authentication of liquid foods by near-infrared spectroscopy: A review of recent research developments
CA2891622C (en) Method for scoring and controlling quality of food products in a dynamic production line
Huang et al. Rapid and nondestructive prediction of amylose and amylopectin contents in sorghum based on hyperspectral imaging
Fashi et al. The relationship between the appearance of pomegranate fruit and color and size of arils based on image processing
Guzmán et al. Infrared machine vision system for the automatic detection of olive fruit quality
CN102435713A (zh) 中药品质自动检测系统
Eissa et al. Understanding color image processing by machine vision for biological materials
CN103528967B (zh) 基于高光谱图像的过熟蓝靛果果实识别方法
Abdullah et al. Color vision system for ripeness inspection of oil palm elaeis guineensis
Wang et al. Recognition of worm-eaten chestnuts based on machine vision
Singh et al. Machine vision system for tea quality determination-tea quality index (TQI)
CN104089925A (zh) 一种基于高光谱成像检测虾仁品质的目标区域提取方法
CN108572174A (zh) 一种农产品品质指标无损检测方法
CN114295556A (zh) 一种基于一维卷积的高光谱理化指标拟合方法及系统
Chen et al. Optimizing BP neural network algorithm for Pericarpium Citri Reticulatae (Chenpi) origin traceability based on computer vision and ultra-fast gas-phase electronic nose data fusion
Amirulah et al. Starfruit color maturity classification using Cr as feature
CN110118735B (zh) 一种检测香梨公母的高光谱成像检测方法及装置
Al-Rahbi et al. Back propagation neural network (BPNN) to detect surface crack on dates using RGB images
CN106290359B (zh) 一种苹果脆片品质无损分级的方法
Díaz Classification and quality evaluation of table olives
Udayakumar Visible light imaging
CN107228809B (zh) 一种适宜休闲花生加工的花生品质评价方法及装置
Borah et al. Quality indexing by machine vision during fermentation in black tea manufacturing
Narendra et al. An intelligent system for identification of Indian Lentil types using Artificial Neural Network (BPNN)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180615

Termination date: 20190120

CF01 Termination of patent right due to non-payment of annual fee