CN102721651B - 基于多光谱图像的植物叶片水分含量的检测方法及系统 - Google Patents

基于多光谱图像的植物叶片水分含量的检测方法及系统 Download PDF

Info

Publication number
CN102721651B
CN102721651B CN201210204545.5A CN201210204545A CN102721651B CN 102721651 B CN102721651 B CN 102721651B CN 201210204545 A CN201210204545 A CN 201210204545A CN 102721651 B CN102721651 B CN 102721651B
Authority
CN
China
Prior art keywords
plant leaf
monochrome image
leaf blade
vegetation index
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210204545.5A
Other languages
English (en)
Other versions
CN102721651A (zh
Inventor
邵咏妮
何勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201210204545.5A priority Critical patent/CN102721651B/zh
Publication of CN102721651A publication Critical patent/CN102721651A/zh
Application granted granted Critical
Publication of CN102721651B publication Critical patent/CN102721651B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于多光谱图像的植物叶片水分含量的检测方法及系统,检测方法包括以下步骤:a、获取样本植物叶片的绿光波段、红光波段和近红外波段的单色图像;b、获取单色图像的灰度信息,并获取所述样本植物叶片的灰度纹理特征量;c、将灰度信息转化为样本植物叶片的反射率信息,通过反射率信息获取叶片植被指数值;d、以灰度纹理特征量和叶片植被指数值为输入向量,以样本植物叶片的实测水分含量值为输出向量,建立模型;e、按照步骤a~c的操作获取待测植物叶片的灰度纹理特征量和叶片植被指数值,带入步骤d中模型,即得待测植物叶片的水分含量值。该方法能够实现对植物叶片的水分含量进行准确、快速、无损、实时的检测。

Description

基于多光谱图像的植物叶片水分含量的检测方法及系统
技术领域
本发明涉及一种植物叶片水分含量的检测领域,尤其涉及一种基于多光谱图像的植物叶片水分含量的检测方法及系统。
背景技术
胁迫是指一种显著偏离于植物最适生活条件的环境条件。水分胁迫是指环境中水分不足-干旱,或水分过多-洪涝。世界上约有30%以上的土地属于干旱和半干旱地区,干旱严重影响植物的生长发育,并使生态环境日益恶化。如何开发利用干旱、半干旱地区种植植物,已成为一个亟待解决的问题。水分胁迫对植物产生的影响以及植物对此所产生的反应与适应是植物生理生态学研究的重要课题之一,无论从农业发展或是植物生理生态学理论的发展来说,植物水分胁迫的检测特别是干旱胁迫是非常重要的。
目前在国内,植物水分胁迫的检测手段相对落后,绝大部分靠农民长期积累的经验进行感官识别判断,这种主观评定方法受个人经验、色彩分辨力和光线等条件的影响,而且大多数停留在定性判断上,其客观性、准确性较差,容易引起因作物的缺水而导致减产等。植物水分胁迫的快速、无损检测技术综合运用了计算机和光电传感器等高新技术,目前已引起了国内外相关领域的高度重视,迄今为止已经出现了诸如声学检测、叶绿素荧光技术、光谱检测技术、以及机器视觉等技术。
可见及近红外多光谱成像技术是一种能够同时采集可见光谱和红外光谱等波段数字图像并进行分析的技术。它结合了光谱分析技术(敏感波段提取)和计算机图像处理技术的长处,同时可以弥补光谱仪抗干扰能力较弱和RGB图像感受范围窄的缺点。针对各种生长环境下植物叶片的不同形态特征,利用可见及近红外多光谱成像技术,获取可见及红外光谱图像中植物叶片的颜色、形状以及纹理等信息,对植物叶片的水分含量进行准确、快速、无损、实时的检测。
公布号为“CN 1715880A”的发明专利申请涉及一种便携式植物氮素和水分含量的无损检测方法及测量仪器,该系统包括4波长光谱测量装置,其中4波长光谱测量装置中光源和检测器相对设置,并在光源和检测器之间放置中性参比样或待测叶片,光源和检测器分别与微控制器电连接,微控制器与串行口电路相连接,还分别与显示器和键盘相连接。该检测方法利用所检测的数据I0与I,计算出I0与I各波长检测光对鲜叶片的透过率T(T=I/I0),然后利用化学计量算法计算出叶片中的叶绿素、水分和反映氮素水平的相对含量值NI。本发明虽然能实现水分的快速、无损检测,但误差较大。
公布号为“CN 101949825A”的发明专利申请公开了一种光开放环境下的叶片水分近红外无损检测装置,包括:调制光源,用于向叶片发射按交流规律调制了光线光强的交流光信号;检测电路,将透过叶片的交流光信号转换为光谱数据;计算处理设备,用于从所述光谱数据中计算出叶片的水分浓度,还公开了一种光开放环境下的叶片水分近红外无损检测方法,包括:将两种预定波长的光线,第一光线和第二光线先后通过光纤照射到叶片表面;将透射过叶片的两种光线转换为第一光谱数据和第二光谱数据;根据两种光谱数据计算叶片的水分浓度,此发明申请虽能使得叶片水分的检测更为精确,但是操作计算过程较为复杂。
发明内容
本发明提供了一种基于多光谱图像的植物叶片水分含量的检测方法及系统,通过引入多光谱图像分析技术以及图像处理技术,可实现植物叶片的水分含量的准确、快速、无损、实时检测。
一种基于多光谱图像的植物叶片水分含量的检测方法,包括以下步骤:
a、获取样本植物叶片的绿光波段、红光波段和近红外波段的单色图像;
b、获取所述单色图像的灰度信息,并根据所述近红外波段的单色图像获取所述样本植物叶片的灰度纹理特征量;
c、将所述灰度信息转化为所述样本植物叶片的反射率信息,通过反射率信息获取叶片植被指数值;
d、以所述灰度纹理特征量和所述叶片植被指数值为输入向量,以样本植物叶片的实测水分含量值为输出向量,建立基于多元线性回归的模型;
e、按照步骤a~c的操作获取待测植物叶片的灰度纹理特征量和叶片植被指数值,带入步骤d中所述模型,即得所述待测植物叶片的水分含量值。
所述步骤a中,绿光波段波长为490~570nm,红光波段波长为600~700nm,近红外波段波长为750~850nm。
所述步骤b中,由于近红外图像能将物体从背景中分离出来,首先采用中值滤波法对所述近红外波段的单色图像进行预处理,然后对预处理后所述近红外波段的单色图像进行分割,以确定植物叶片在所述近红外波段的单色图像中的位置;根据植物叶片在所述近红外波段的单色图像中的位置,分别确定植物叶片在所述绿光波段的单色图像以及所述红光波段的单色图像中的位置;再分别计算绿光波段、红光波段和近红外波段的单色图像中植物叶片位置的灰度值,即所述单色图像的灰度信息。
所述灰度纹理特征量由所述近红外波段的单色图像提取分析得出,所述灰度纹理特征量包括对比度、相关性、能量和一致性,是四个基于灰度共生矩阵的纹理特征量(可参见:薄华,马缚龙,焦李成.2006.“图像纹理的灰度共生矩阵计算问题的分析”《电子学报》34,155-158,134.),其中所述对比度反映灰度、色度、饱和度局部变化情况,所述相关性反映了图像纹理的细致程度,所述能量是图像的均衡性或平滑性量度,所述一致性是指图像灰度值、图像的频率特征等的一致性。
所述步骤c中,所述植被指数是用于表征地表植被和生长状况的度量参数,与植物叶片水分含量具有相关性,所述植被指数包括归一化植被指数、绿色归一化植被指数和比值植被指数,其中所述归一化植被指数为近红外通道与所述红光通道反射率之差与之和的商,所述绿色归一化植被指数为近红外通道与绿光通道反射率之差与之和的商,比值植被指数为近红外通道与绿光通道反射率的比值,所述通道是指工作波段。
所述步骤d中,所述样本植物叶片的实测水分含量值一般可以采用烘干称重法获取。
所述多元线性回归是一种较为广泛使用的多元校正方法,它通过对自变量权重的优化,提高回归模型的解释能力和预测效果,能较好地解决多变量的线性回归问题。采用所述多元线性回归建模方法建立模型,能够保证所述模型的精确性。
图像的分割质量直接决定了水分特征提取和所述模型的精度,优选二维最大信息熵阈值分割法对所述近红外波段的单色图像进行背景分割,进而获取所述灰度信息和灰度纹理特征量,由于最大熵阈值分割法综合利用了像素点的灰度信息和临域空间信息,较传统图像分割法更有优势。
所述灰度信息转化为反射率信息的方法,优选为灰度-反射率校正板法(可参见:冯雷,方慧,周伟军,黄敏,何勇.2006.“基于多光谱视觉传感技术的油菜氮含量诊断方法研究”《光谱学与光谱分析》26,1749-1752.),此法可简单、快速地将灰度值转化为反射率。
基于以上所述优选方法,优选的植物叶片水分含量测量模型为:
Y=-278.14x1-14.54x2+5.65x3-535.85x4+33.76x5+6.75x6-2.04x7+588.97
其中,x1,x2,...x7分别为归一化植被指数,绿色归一化植被指数,比值植被指数,对比度,相关性,能量和一致性;Y为植物叶片水分含量值。这里的对比度,相关性,能量和一致性即是指所述灰度纹理特征量中的对比度、相关性、能量和一致性。
本发明还提供了一种基于所述检测方法的检测系统,包括用于获取所述单色图像的可见及近红外多光谱成像仪以及用接收所述单色图像并结合实测水分含量值建立模型的计算机。
所述可见及近红外多光谱成像仪与计算机之间通过图象采集卡传输数据。
所述的可见及近红外多光谱成像仪优选为美国Redlake公司的MS3100Duncan Camera,可实现对不同波段图像的同步获取,有利于各独立波段图像特征的提取,因无需进行图形配准,也易于实现多光谱图像的像素级运算。
所述的图象采集卡优选为美国National Instrument公司的PCI1424或1428数据采集卡,PCI1424或1428数据采集卡不仅与MS3100DuncanCamera相匹配,同时能满足图像采集通道数、采样率和分辨率等需要。
所述的可见及近红外多光谱成像仪采集图像所用光源优选为自然光,采用自然光能够使采得的图像光线均匀,与卤素灯等人造光源相比,采用自然光得到的图像能够更好得进行后续的图像预处理等分析,并且无需对光源进行人为的调节等,而且方便田间操作。
所述可见及近红外多光谱成像仪可通过设置可调节角度、高度、移动底座的三脚架或安装有可调节机械伸展臂高度、角度的车辆等固定装置进行固定,分别用于温室及田间使用。
相对于现有技术,本发明具有以下优点:
(1)功能强大,可实现植物叶片水分含量的快速、稳定、非破坏性的诊断,并且做到尽可能地早期检测;
(2)准确度高,整个系统受外界环境干扰小,所建立的模型对水分预测准确度高。
(3)运算速度快,植物叶片水分检测模型一旦建立以后,可实现农田植物水分信息的实时获取与诊断。
(4)系统简单,整个检测系统只由一个可见及近红外多光谱成像系统和一台计算机组成,;
(5)使用方便,当检测系统的各组件都连接完毕后,最后的图像采集分析工作通过图像分析处理软件完成。
附图说明
图1是本发明植物叶片水分含量的检测方法流程图;
图2是模型验证时20个样本叶片的实测水分含量值与拟合值之间的关系。
具体实施方式
本发明用于检测植物叶片水分的系统包括可见及近红外多光谱成像仪和计算机,可见及近红外多光谱成像仪与计算机之间通过图象采集卡传输数据,图像采集卡连接于可见及近红外多光谱成像仪上,可见及近红外多光谱成像仪通过RS-232串口线及图象采集卡数据线和计算机连接,所述计算机设有图像处理软件,其中,可见及近红外多光谱成像仪为美国Redlake公司的MS3100Duncan Camera,底部设有可调节角度、高度、移动底座的三脚架,镜头垂直向下采集图像信息,图象采集卡为美国NationalInstrument公司的PCI1424或1428数据采集卡,可见及近红外多光谱成像仪采集图象所用光源为自然光。
利用可见及近红外多光谱成像仪获取72个植物叶片的在绿光波段(550nm)、红光波段(650nm)、近红外波段(800nm)三个波段通道的单色图像,所述单色图像通过图象采集卡传输至计算机,通过计算机上的图像处理软件获取72个植物叶片的灰度纹理特征量(对比度、相关性、能量和一致性)和植被指数值(归一化植被指数,绿色归一化植被指数和比值植被指数),其中52个植物叶片作为样本植物叶片,其灰度纹理特征量和植被指数值用于模型的校正。
在建模过程中,以52个样本植物叶片的四种灰度纹理特征量和三种类型的植被指数作为模型的输入,以叶片的水分含量为输出,对灰度纹理特征量、植被指数与叶片水分含量之间进行基于多元线性回归理论的数值拟合,可得以下模型:
Y=-278.14x1-14.54x2+5.65x3-535.85x4+33.76x5+6.75x6-2.04x7+588.97
其中,x1,x2,...x7分别对应归一化植被指数,绿色归一化植被指数,比值植被指数,对比度,相关性,能量和一致性;Y为叶片水分含量值。
以其余20个植物叶片作为待测植物叶片,将其灰度纹理特征量和植被指数值代入上述模型,得出拟合水分含量值;同时,利用烘干称重法获取20个待测植物叶片的实测水分含量值,如下表所示:
Figure BDA00001777874100061
Figure BDA00001777874100071
建立以上所述20个待测植物叶片的拟合水分含量值与烘干称重法测量的水分含量值之间的相关关系模型,如图2所示,拟合水分含量值与实测水分含量值之间的相关系数是0.71,模型预测均方差是1.31,模型预测偏差是0.19。

Claims (2)

1.一种基于多光谱图像的植物叶片水分含量的检测方法,其特征在于,包括以下步骤:
a、获取样本植物叶片的绿光波段、红光波段和近红外波段的单色图像;
b、获取所述单色图像的灰度信息,并根据所述近红外波段的单色图像获取所述样本植物叶片的灰度纹理特征量:
首先采用中值滤波法对所述近红外波段的单色图像进行预处理,然后对预处理后所述近红外波段的单色图像进行分割,以确定植物叶片在所述近红外波段的单色图像中的位置;根据植物叶片在所述近红外波段的单色图像中的位置,分别确定植物叶片在所述绿光波段的单色图像以及所述红光波段的单色图像中的位置;再分别计算绿光波段、红光波段和近红外波段的单色图像中植物叶片位置的灰度值,即所述单色图像的灰度信息;
采用二维最大信息熵阈值分割法对所述近红外波段的单色图像进行背景分割,进而获取所述灰度信息和灰度纹理特征量;
c、将所述灰度信息转化为所述样本植物叶片的反射率信息,通过反射率信息获取叶片植被指数值;
所述反射率信息是通过标准化的灰度-反射率校正板将所述灰度信息转化所得;
d、以所述灰度纹理特征量和所述叶片植被指数值为输入向量,以样本植物叶片的实测水分含量值为输出向量,建立基于多元线性回归的模型:
Y=-278.14x1-14.54x2+5.65x3-535.85x4+33.76x5+6.75x6-2.04x7+588.97
其中,x1,x2,...x7分别为归一化植被指数,绿色归一化植被指数,比值植被指数,对比度,相关性,能量和一致性;Y为植物叶片水分含量值;
e、按照步骤a~c的操作获取待测植物叶片的灰度纹理特征量和叶片植被指数值,带入步骤d中所述模型,即得所述待测植物叶片的水分含量值。
2.一种实施权利要求1所述的检测方法的检测系统,其特征在于,包括用于获取所述单色图像的可见及近红外多光谱成像仪以及用接收所述单色图像并结合实测水分含量值建立模型的计算机;所述可见及近红外多光谱成像仪与计算机之间通过图象采集卡传输数据。
CN201210204545.5A 2012-06-18 2012-06-18 基于多光谱图像的植物叶片水分含量的检测方法及系统 Expired - Fee Related CN102721651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210204545.5A CN102721651B (zh) 2012-06-18 2012-06-18 基于多光谱图像的植物叶片水分含量的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210204545.5A CN102721651B (zh) 2012-06-18 2012-06-18 基于多光谱图像的植物叶片水分含量的检测方法及系统

Publications (2)

Publication Number Publication Date
CN102721651A CN102721651A (zh) 2012-10-10
CN102721651B true CN102721651B (zh) 2014-01-15

Family

ID=46947474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210204545.5A Expired - Fee Related CN102721651B (zh) 2012-06-18 2012-06-18 基于多光谱图像的植物叶片水分含量的检测方法及系统

Country Status (1)

Country Link
CN (1) CN102721651B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018196A (zh) * 2012-12-11 2013-04-03 江苏大学 一种油菜需水信息的快速探测方法
CN103411885A (zh) * 2013-07-18 2013-11-27 江苏大学 一种多光谱成像系统的漫反射照明装置
CN103592228B (zh) * 2013-10-30 2015-09-16 浙江大学 一种茶叶叶片spad指数的检测方法
CN103592229A (zh) * 2013-10-30 2014-02-19 浙江大学 一种茶叶叶片含水率的测定方法
CN103940748B (zh) * 2014-03-10 2016-04-06 浙江大学 基于高光谱技术的柑橘冠层含氮量预测与可视化的方法
CN104990877A (zh) * 2015-07-31 2015-10-21 合肥工业大学 一种基于多光谱成像技术的虾贝类去壳水产品辐照剂量的检测方法
CN105548113B (zh) * 2015-12-31 2019-04-16 浙江大学 一种基于叶绿素荧光和多光谱图像的植物生理监测方法
CN106134813A (zh) * 2016-07-25 2016-11-23 北京小米移动软件有限公司 植物养殖方法、装置及系统
CN108069027A (zh) * 2017-04-28 2018-05-25 深圳市九天创新科技有限责任公司 多光谱固定翼无人机配合植保无人机的植保系统及方法
CN107389561A (zh) * 2017-07-13 2017-11-24 山东省烟台市农业科学研究院 基于rgb颜色传感器的植物叶片养分监测设备及监测方法
CN107807125B (zh) * 2017-10-12 2020-08-11 中国农业大学 基于无人机载多光谱传感器的植物信息计算系统及方法
CN108387262B (zh) * 2018-01-03 2020-05-01 江苏大学 一种基于悬挂式滑轨平台的温室信息自动监测方法
CN108362326B (zh) 2018-01-03 2020-12-18 江苏大学 一种悬轨式温室综合信息自动巡航监测装置
CN108318433B (zh) * 2018-01-24 2021-02-23 大连工业大学 利用高光谱图像技术检测三文鱼中注水量的方法
CN109324051A (zh) * 2018-11-08 2019-02-12 北方民族大学 一种植物水分检测方法及系统
CN109580512A (zh) * 2018-12-10 2019-04-05 北京航天泰坦科技股份有限公司 一种基于光谱和纹理特征的小麦氮素营养监测方法
CN113490746A (zh) * 2018-12-19 2021-10-08 植物心语公司 敏感植物和用于基于敏感植物的特征来识别作物中的应激原的方法
EP3674703A1 (en) * 2018-12-31 2020-07-01 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Method and device for measuring water present in vegetation
CN110082300B (zh) * 2019-05-20 2020-03-03 中国水利水电科学研究院 基于光谱参量的冬小麦冠层含水率监测模型建立方法
WO2020257791A1 (en) 2019-06-20 2020-12-24 InnerPlant, Inc. Methods for deploying biosentinels to agricultural fields and monitoring biotic and abiotic stresses in crops remotely
CN110441268B (zh) * 2019-08-07 2021-09-21 南京林业大学 一种泡沫沥青冷再生混合料内水分分布的测试方法
CN110487741A (zh) * 2019-08-22 2019-11-22 Oppo(重庆)智能科技有限公司 灌溉信息确定方法、装置及终端设备
CN111289441B (zh) * 2020-02-21 2021-02-26 中国农业大学 多光谱下的大田作物含水量确定方法、系统及设备
CN112504977A (zh) * 2020-11-17 2021-03-16 华南农业大学 茶叶含水率检测方法及其模型构建方法、介质和设备
CN113433081B (zh) * 2021-07-06 2022-05-24 江南大学 基于动态神经网络的果蔬干燥过程中品质检测方法及系统
CN114646625B (zh) * 2022-04-22 2023-01-17 江苏大学 一种基于植株全三维信息的水分状况诊断方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101936882B (zh) * 2010-08-10 2013-10-23 江苏大学 一种作物氮素和水分无损检测方法及装置
CN102384767B (zh) * 2011-11-17 2014-03-12 江苏大学 一种设施作物生长信息无损检测装置和方法

Also Published As

Publication number Publication date
CN102721651A (zh) 2012-10-10

Similar Documents

Publication Publication Date Title
CN102721651B (zh) 基于多光谱图像的植物叶片水分含量的检测方法及系统
Tian et al. Calibrating vegetation phenology from Sentinel-2 using eddy covariance, PhenoCam, and PEP725 networks across Europe
Virlet et al. Field Scanalyzer: An automated robotic field phenotyping platform for detailed crop monitoring
CN101210876A (zh) 基于可见/近红外多光谱成像的水稻养分信息测量方法
Li et al. Estimating apple tree canopy chlorophyll content based on Sentinel-2A remote sensing imaging
CN108956505B (zh) 基于Sentinel-2图像的小型水体中叶绿素a浓度的检测方法及装置
CN103900972B (zh) 基于多特征融合的肉类新鲜度高光谱图像可视化检测
CN104614321B (zh) 一种基于光谱图像的作物长势实时监测方法
CN103278503B (zh) 一种基于多传感器技术的葡萄水分胁迫诊断方法及系统
CN102590129B (zh) 近红外检测花生中氨基酸含量的方法
CN103955938A (zh) 一种基于移动互联网模式和叶片颜色分析的小麦生长状态诊断方法
CN101936882A (zh) 一种作物氮素和水分无损检测方法及装置
CN103940748B (zh) 基于高光谱技术的柑橘冠层含氮量预测与可视化的方法
Adjorlolo et al. Predicting C3 and C4 grass nutrient variability using in situ canopy reflectance and partial least squares regression
CN109827957A (zh) 一种基于计算机视觉的水稻叶片spad值估测方法及系统
CN113252583B (zh) 一种基于枯草植被指数计算高寒枯草覆盖度的方法
CN108520127A (zh) 一种树种叶面积指数的高光谱反演方法
CN104567754A (zh) 一种耦合星-地遥感的小麦叶面积指数估算方法
KR20200020209A (ko) 포장 단위별 다분광 영상 히스토그램 패턴 분석을 통한 작물 생육 모니터링 장치
CN105092489A (zh) 基于藻类高光谱信号的水体残留农药检测方法
CN111751376A (zh) 一种基于冠层图像特征衍生的水稻氮素营养估算方法
CN101059427A (zh) 多光谱成像技术快速无损测量茶树含氮量的方法
Tan et al. Development of a low-cost portable device for pixel-wise leaf SPAD estimation and blade-level SPAD distribution visualization using color sensing
Song et al. Development of crop chlorophyll detector based on a type of interference filter optical sensor
CN106568730B (zh) 一种基于近地面高光谱影像的水稻阴阳叶穗识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140115