CN103824057A - 一种基于面积特征算子的猪的呼吸频率检测方法 - Google Patents

一种基于面积特征算子的猪的呼吸频率检测方法 Download PDF

Info

Publication number
CN103824057A
CN103824057A CN201410055510.9A CN201410055510A CN103824057A CN 103824057 A CN103824057 A CN 103824057A CN 201410055510 A CN201410055510 A CN 201410055510A CN 103824057 A CN103824057 A CN 103824057A
Authority
CN
China
Prior art keywords
pig
picture
respiratory rate
operator
area features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410055510.9A
Other languages
English (en)
Other versions
CN103824057B (zh
Inventor
朱伟兴
唐亮
李新城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201410055510.9A priority Critical patent/CN103824057B/zh
Publication of CN103824057A publication Critical patent/CN103824057A/zh
Application granted granted Critical
Publication of CN103824057B publication Critical patent/CN103824057B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种基于面积特征算子的猪的呼吸频率检测方法。该方法主要步骤为:使用相机拍摄猪的视频;在计算机软件平台上进行视频分帧处理,将视频图像转换成图片;对图片进行预处理和优化,将图片中猪的前景轮廓提取出来;构建、提取及测量猪的脊腹区域面积特征算子;利用小波分析对猪的呼吸信号进行优化处理和峰值点检测;计算猪的呼吸频率。本发明采用先进机器视觉技术,实现非接触式、无侵入性的猪的呼吸频率测量,为猪的呼吸频率检测提供一种新的方法。

Description

一种基于面积特征算子的猪的呼吸频率检测方法
技术领域
本发明属于机器视觉技术领域,具体涉及一种基于面积特征算子的猪的呼吸频率检测方法。
背景技术
呼吸检测是医学和自动化研究领域的重要课题。国内外对人体呼吸检测的研究较多,但对动物呼吸频率检测的研究较少。运用在人体呼吸检测的一些手段和方法,如红外线,超声波,激光,体外传感器等,无法移植到动物的呼吸监测上来或者无法实现非接触式的检测。目前对动物特别是对猪的呼吸频率检测,主要还是靠人工观察来检测识别。该方法耗时耗力,尤其在人力成本高昂,科技进步的时代背景下,人工检测方法已不再适合于农业自动化发展的需要。
2011年,纪斌,朱伟兴等建立了一个基于脊腹线的模型,得到了一个与呼吸相关的二维信号,实现了基于机器视觉的猪的呼吸频次检测,取得了较好的实验效果。但由于该方法通过测定猪的脊腹线的变化来检测呼吸快慢,猪轮廓的图像预处理的精度会直接影响呼吸检测,结果过于敏感;其次该方法前期采用简单的背景相减法只能得到粗糙的轮廓,对实验结果会造成较大影响;再者该方法后期并没有对呼吸信号进行必要处理,在一定程度上也会影响结果的可靠性。
发明内容
为了克服现有技术耗时耗力,可靠性不高,检测误差大的不足。本发明提供一种基于面积特征算子的猪的呼吸频率检测方法。采用先进机器视觉技术,实现非接触式、无侵入性的猪的呼吸频率测量,为猪的呼吸频率检测提供一种新的方法。
本发明解决其技术问题所采用的技术方案是:
一种基于面积特征算子的猪的呼吸频率检测方法,包括如下步骤:
(1)使用相机拍摄猪的视频;
(2)在计算机软件平台上进行视频分帧处理,将视频图像转换成图片;
(3)对图片进行预处理和优化,将图片中猪的前景轮廓提取出来;
(4)构建、提取及测量猪的脊腹区域面积特征算子;
(5)利用小波分析对猪的呼吸信号进行优化处理和峰值点检测,得到猪的呼吸频次N;
(6)计算猪的呼吸频率。
进一步地,所述步骤(3)中的图片预处理和优化,包括如下步骤:
A.对图片进行色度优化,提高整张图像的对比度;
B.对图片进行阈值分割,初步提取出猪的轮廓;
C.对图片采用边界跟踪算法,过滤掉部分离散点,进一步提取猪的轮廓图;
D.对图片采用Roberts算子,精确提取猪的轮廓;
E.对图片进行反色变换和开闭运算,去除小颗粒噪声,填充目标内部细小空洞,得到完整、清晰的猪的轮廓。
进一步地,所述步骤(4)中的构建、提取及测量猪的脊腹区域面积特征算子,包括如下步骤:
A.求取目标图像质心,计算公式为:
Figure BDA0000466893680000021
Figure BDA0000466893680000022
其中n为猪的轮廓线上所有像素点的个数;(xi,yi)是轮廓线上像素点的坐标;
B.提取并计算过质心的连接线,计算公式为:L=abs(yC1-yC2),L为所需的过质心的连接线长度,交猪的脊背于点C1,交腹部为点C2,其中yc1,,yc2分别为C1,C2两像素点在图像中的纵轴上的相对坐标,abs()为取绝对值运算符;
C.计算面积区域的宽度,计算公式为:W=L×λ,W为宽度,L为为所需的过质心的连接线长度,λ为调节常数;
D.提取面积特征算子,计算公式为 S = Σ i = 0 W / 2 L i + Σ i = - W / 2 - 1 L i , ( L i = 0 = L ) , S为构建的面积特征算子,W为面积特征算子的宽度,Li为宽度W内i点的猪脊部轮廓线上的截距长度,L为i等于零时的过质心的截距长,即Li=0=L。
进一步地,所述步骤(5)中的利用小波分析对猪的呼吸信号进行优化处理和峰值点检测,包括如下步骤:
A.对每一帧图片提取一个面积特征算子,进行归一化处理,以处理值为纵坐标,图像对应的帧数为横坐标,构建一个二维坐标曲线;
B.采用DB3小波对猪的呼吸信号进行离散小波变换,做2层小波分解;
C.选用全局阈值进行信号增强处理,消除信号毛刺;
D.对呼吸信号进行波峰检测,得到猪呼吸的频次N。
进一步地,所述步骤(6)中的猪的呼吸频率计算,计算公式为:
Figure BDA0000466893680000031
F为每分钟呼吸频率,N为检测得到的呼吸频次,t为耗时。
本发明的有益效果是:针对猪场自然光线差的特点,对采集到的原图进行色度优化,提高了轮廓提取的精度;提出了基于面积特征算子的方法来检测猪的呼吸频率,提高了检测的精度和稳定性。通过小波分析对被测呼吸信号进行降噪处理,减少算法运算时间,剔除大量噪声和冗余变量,使最终猪的呼吸频率检测结果的稳定性和精确度更高。
附图说明
图1为本发明方法的流程图。
图2为提取前景目标轮廓流程图。
图3猪质心和过质心的连接线L示意图。
图4猪的面积区域示意图。
图5构建的基于面积特征算子的猪的呼吸信号模型图。
图6通过小波分析降噪后示意图。
图7峰值检测后的猪的呼吸信号图。
具体实施方式
如图1所示,一种基于面积特征算子的猪的呼吸频率检测方法,包括如下步骤:
(1)使用相机拍摄猪的视频;
(2)在计算机软件平台上进行视频分帧处理,将视频图像转换成图片;
(3)对图片进行预处理和优化,将图片中猪的前景轮廓提取出来;
(4)构建、提取及测量猪的脊腹区域面积特征算子;
(5)利用小波分析对猪的呼吸信号进行优化处理和峰值点检测,得到猪的呼吸频次N;
(6)计算猪的呼吸频率。
如图2、3、4、5、6、7实施例中,猪站立于猪舍中,用摄像头捕获的猪呼吸视频,具体步骤如下。
(1)使用相机拍摄猪的视频;
用相机拍摄猪保持站立时的呼吸视频,摄取时长大约为10分钟,视频帧速率为25帧/秒,保存为.avi格式。
(2)在计算机软件平台上进行视频分帧处理,将视频图像转换成图片;
采用有线的方式将猪的呼吸视频传输到计算机中。在MATALB软件平台上将视频分帧处理。
(3)图片预处理及目标视频前景轮廓提取;
由于猪舍内较脏,干扰项较多(如猪的排泄物,墙体剥落的石灰及污渍等),且仅靠自然光照条件等特点,提取完整清晰的猪轮廓存在相当大的难度。但由于本文检测的是猪的呼吸,能够提取出猪完整清晰的脊腹部轮廓即可。
处理步骤如图2所示。
A.图2a为原图,首先对原图进行色度优化得到图2b,具体办法就是将整幅图中亮度在前5%的像素点的灰度值全部设置为255,以提高整张图像的对比度。
B.对图2b进行阈值分割得到图2c,本文选取的阈值为83。
C.对图2c采用边界跟踪算法得到图2d,由于本文阈值分割后的图像不是特别复杂,所以采用“虫随”法来进行边界跟踪。
D.采用Roberts算子提取目标轮廓得到图2e,它利用对角线方向相邻两象素之差近似梯度幅值检测边缘。
E.继续对图2e进行反色变换和开闭运算,得到最终图像如图2f,开闭运算的使用主要是为了去除小颗粒噪声和填充目标内部细小空洞,同时不明显改变面积。
由图2f可见,猪腹部轮廓完整且清晰,满足实验要求。头部轮廓模糊,这是由于光线不均匀致使猪头部与墙体的灰度值太接近,无法将猪的头部轮廓提取出来,但这并不影响实验结果。
(4)构建、提取及测量猪的脊腹区域面积特征算子;
A.求取目标图像质心;
根据目标图像(图2f)的轮廓线,通过公式(1)和公式(2)计算质心位置(XZ,YZ),相关参数标注见图3。
X Z = 1 n Σ i = 1 n x i - - - ( 1 )
X Z = 1 n Σ i = 1 n y i - - - ( 2 )
在上述公式中,n为猪的轮廓线上所有像素点的个数;(xi,yi)是轮廓线上像素点的坐标。实验选取第一帧图像猪轮廓的质心,接下来各帧图像的处理仍然采用第一帧图的质心(本方法主要针对猪站立不动时的测量。),作为这段视频的基准点。
B.提取并计算过质心的连接线
图3中L为所需的过质心的连接线长度,交猪的脊背于点C1,交腹部为点C2。L的计算见式(3)
L=abs(yC1-yC2)   (3)
其中yc1,,yc2分别为C1,C2两像素点在图像中的纵轴上的相对坐标,abs()为取绝对值运算符。
C.计算面积区域的宽度
面积特征描述算子的宽度为W。由于本实验提取的是关于猪腹部的面积特征算子,所以W有一定范围区间,它的取值必须小于前后两腿之间的距离。由于猪的品种和体型各异,选取一个可调节的宽度是合适的。并且,由于质心一般不在猪身体躯干的中心,其偏向前腿,故根据试验,通过调节常数λ以便确定合适的W值,见公式(4)。
W=L×λ   (4)
一般λ设为0.15~0.65,本文选定为0.25。由于图像每帧不同,预处理结果也会有差别,会造过质心连接线长度不一,最后导致面积区域宽度不一致。为了解决这一问题,本文规定,一段视频,只选取一个基准点(第一帧图片的质心点)和一个面积区域宽度(第一帧图片L*0.25)。如图4所示。
D.提取面积特征算子
因为猪酮体的不规则形状,且猪的轮廓线有一定的起伏。所以面积特征描述算子的提取不能简单的长度乘上宽度。根据点构成线,线构成面这一数学原理,本文先计算过质心截距线的长度,然后确定面积特征算子的宽度,用求截距的方法,将面积宽度内的所有截距以像素为单位全部计算出来。面积特征算子即为这些截距线像素点的累加和,见公式(5)。
S = Σ i = 0 W / 2 L i + Σ i = - W / 2 - 1 L i , ( L i = 0 = L ) - - - ( 5 )
式(5)中,S为构建的面积特征算子,W为面积特征算子的宽度,Li为宽度W内i点的猪脊部轮廓线上的截距长度,L为i零时的过质心的截距长,即Li=0=L。如图4所示。
(5)利用小波分析对猪的呼吸信号进行优化处理和峰值点检测
通过猪呼吸时脊腹部面积的变化快慢来表示猪的呼吸频次。实施例为任意选取的一段视频,帧数率为25帧每秒。实例视频分帧得到的152张图像来获取猪的呼吸信号。每一帧图像都可以提取一个面积特征算子,对152张图像进行处理,我们就可以得到152维离散的特征。由于这些数值都比较庞大,本文将其归一化到100以内(每个数据值都除以250),以这些值为纵坐标,以图像对应的帧数为横坐标,可以画出一个二维坐标曲线,如图5所示。
采用DB3小波对猪的呼吸信号进行离散小波变换,做2层小波分解;呼吸信号作小波变换后,选用全局阈值进行信号增强处理,消除了信号的毛刺(局部极值点),小波降噪的效果图见图6。
由于本实验是为了测算猪的呼吸频率,所以需要对拟合呼吸信号进行分析。分析发现对降噪后的呼吸信号进行波峰检测,可以得到在152帧视频内猪呼吸的频次N。峰值检测结果如图7所示。
(6)猪的呼吸频率计算公式为:
F = 60 × N t - - - ( 6 )
其中60为一分钟时长;F是猪的每分钟呼吸频次,即呼吸频率;N为检测得到的呼吸周期数;t为耗时。
选取的实例,t=152/25=6.08s,通过图7可知呼吸周期数N=5,所以猪的呼吸频率F=(60*5)/6.08≈49次。

Claims (5)

1.一种基于面积特征算子的猪的呼吸频率检测方法,其特征在于,包括如下步骤: 
(1)使用相机拍摄猪的视频; 
(2)在计算机软件平台上进行视频分帧处理,将视频图像转换成图片; 
(3)对图片进行预处理和优化,将图片中猪的前景轮廓提取出来; 
(4)构建、提取及测量猪的脊腹区域面积特征算子; 
(5)利用小波分析对猪的呼吸信号进行优化处理和峰值点检测,得到猪的呼吸频次N; 
(6)计算猪的呼吸频率。
2.根据权利要求1所述的一种基于面积特征算子的猪的呼吸频率检测方法,其特征是,所述步骤(3)中的图片预处理和优化,包括如下步骤: 
A.对图片进行色度优化,提高整张图像的对比度; 
B.对图片进行阈值分割,初步提取出猪的轮廓; 
C.对图片采用边界跟踪算法,过滤掉部分离散点,进一步提取猪的轮廓; 
D.对图片采用Roberts算子,精确提取猪的轮廓; 
E.对图片进行反色变换和开闭运算,去除小颗粒噪声,填充目标内部细小空洞,得到完整、清晰的猪的轮廓。 
3.根据权利要求1所述的一种基于面积特征算子的猪的呼吸频率检测方法,其特征是,所述步骤(4)中的构建、提取及测量猪的脊腹区域面积特征算子,包括如下步骤: 
A.求取目标图像质心,计算公式为:
Figure FDA0000466893670000011
Figure FDA0000466893670000012
其中n为猪的轮廓线上所有像素点的个数;(xi,yi)是轮廓线上像素点的坐标; 
B.提取并计算过质心的连接线,计算公式为:L=abs(yC1-yC2),L为所需的过质心的连接线长度,交猪的脊背于点C1,交腹部为点C2,其中yc1,,yc2分别为C1,C2两像素点在图像中的纵轴上的相对坐标,abs()为取绝对值运算符; 
C.计算面积区域的宽度,计算公式为:W=L×λ,W为宽度,L为所需的过质心的连接线长度,λ为调节常数; 
D.提取面积特征算子,计算公式为
Figure FDA0000466893670000013
S为构建的面积特征算子,W为面积特征算子的宽度,Li为宽度W内i点的猪脊部轮廓线上的截距长度,L为i等于零时的过质心的截距长,即Li=0=L。 
4.根据权利要求1所述的一种基于面积特征算子的猪的呼吸频率检测方法,其特征是,所述步骤(5)中的利用小波分析对猪的呼吸信号进行优化处理和峰值点检测,包括如下步骤: 
A.对每一帧图片提取一个面积特征算子,进行归一化处理,以处理值为纵坐标,图像对应的帧数为横坐标,构建一个二维坐标曲线; 
B.采用DB3小波对猪的呼吸信号进行离散小波变换,做2层小波分解; 
C.选用全局阈值进行信号增强处理,消除信号毛刺; 
D.对呼吸信号进行波峰检测,得到猪呼吸的频次N。 
5.根据权利要求1所述的一种基于面积特征算子的猪的呼吸频率检测方法,其特征是,所述步骤(6)中的猪的呼吸频率计算,计算公式为:
Figure FDA0000466893670000021
F为每分钟呼吸频率,N为检测得到的呼吸频次,t为耗时。 
CN201410055510.9A 2014-02-18 2014-02-18 一种基于面积特征算子的猪的呼吸频率检测方法 Expired - Fee Related CN103824057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410055510.9A CN103824057B (zh) 2014-02-18 2014-02-18 一种基于面积特征算子的猪的呼吸频率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410055510.9A CN103824057B (zh) 2014-02-18 2014-02-18 一种基于面积特征算子的猪的呼吸频率检测方法

Publications (2)

Publication Number Publication Date
CN103824057A true CN103824057A (zh) 2014-05-28
CN103824057B CN103824057B (zh) 2017-06-27

Family

ID=50759109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410055510.9A Expired - Fee Related CN103824057B (zh) 2014-02-18 2014-02-18 一种基于面积特征算子的猪的呼吸频率检测方法

Country Status (1)

Country Link
CN (1) CN103824057B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000598A (zh) * 2014-06-13 2014-08-27 安徽工业大学 一种基于最大内切圆的猪呼吸急促运动建模方法及系统
CN105678341A (zh) * 2016-02-19 2016-06-15 天纺标检测科技有限公司 一种基于Gabor小波分析的羊毛羊绒识别算法
CN106203476A (zh) * 2016-06-24 2016-12-07 浙江大学 一种基于最近邻分类与模糊算法的猪头尾轮廓识别方法
CN106361340A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种检测呼吸频率的方法及装置
CN107260173A (zh) * 2017-06-30 2017-10-20 大连理工大学 一种基于摄像头与球状标记物的呼吸测量方法
CN112924035A (zh) * 2021-01-27 2021-06-08 复旦大学附属中山医院 基于热成像传感器的体温和呼吸率提取方法及应用
CN114596279A (zh) * 2022-03-08 2022-06-07 江苏省人民医院(南京医科大学第一附属医院) 一种基于计算机视觉的非接触式呼吸检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9604320D0 (sv) * 1996-11-25 1996-11-25 Pacesetter Ab Medical device
CN102499687B (zh) * 2011-11-17 2014-05-28 江苏大学 一种基于机器视觉的猪的呼吸频率检测方法及装置
CN102406502B (zh) * 2011-12-12 2013-05-08 苏州科雷芯电子科技有限公司 一种基于视觉技术的呼吸监测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈勇滨等: "基于阈值分割与边缘检测的对象轮廓提取方法研究", 《成都信息工程学院学报》 *
马丽等: "基于机器视觉的单侧视猪腹式呼吸表达", 《苏州科技学院学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000598A (zh) * 2014-06-13 2014-08-27 安徽工业大学 一种基于最大内切圆的猪呼吸急促运动建模方法及系统
CN104000598B (zh) * 2014-06-13 2015-11-18 安徽工业大学 一种基于最大内切圆的猪呼吸急促运动建模方法及系统
CN105678341A (zh) * 2016-02-19 2016-06-15 天纺标检测科技有限公司 一种基于Gabor小波分析的羊毛羊绒识别算法
CN105678341B (zh) * 2016-02-19 2018-11-13 天纺标检测认证股份有限公司 一种基于Gabor小波分析的羊毛羊绒识别算法
CN106203476A (zh) * 2016-06-24 2016-12-07 浙江大学 一种基于最近邻分类与模糊算法的猪头尾轮廓识别方法
CN106203476B (zh) * 2016-06-24 2019-03-29 浙江大学 一种基于最近邻分类与模糊算法的猪头尾轮廓识别方法
CN106361340A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种检测呼吸频率的方法及装置
CN107260173A (zh) * 2017-06-30 2017-10-20 大连理工大学 一种基于摄像头与球状标记物的呼吸测量方法
CN107260173B (zh) * 2017-06-30 2019-05-10 大连理工大学 一种基于摄像头与球状标记物的呼吸测量方法
CN112924035A (zh) * 2021-01-27 2021-06-08 复旦大学附属中山医院 基于热成像传感器的体温和呼吸率提取方法及应用
CN114596279A (zh) * 2022-03-08 2022-06-07 江苏省人民医院(南京医科大学第一附属医院) 一种基于计算机视觉的非接触式呼吸检测方法
CN114596279B (zh) * 2022-03-08 2023-09-22 江苏省人民医院(南京医科大学第一附属医院) 一种基于计算机视觉的非接触式呼吸检测方法

Also Published As

Publication number Publication date
CN103824057B (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
CN103824057A (zh) 一种基于面积特征算子的猪的呼吸频率检测方法
CN105825516B (zh) 一种dicom影像血流分析系统
Deng et al. An edge detection approach of image fusion based on improved Sobel operator
US9684956B2 (en) Arrangement and method for determining a body condition score of an animal
CN106709967B (zh) 一种内窥成像算法及控制系统
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN102831606B (zh) 在医学影像中获取发音器官轮廓的方法
JPH08206117A (ja) 超音波診断装置
CN110276271A (zh) 融合ippg和深度信息抗噪声干扰的非接触心率估计法
CN103584884A (zh) 肌力评估方法及装置、肌肉康复训练跟踪评估方法及系统
CN102309318A (zh) 基于红外序列图像的人体生理参数检测的方法
CN109766838A (zh) 一种基于卷积神经网络的步态周期检测方法
CN104182984B (zh) 动态超声影像中的血管边缘形态快速自动采集方法及系统
Bourbakis Detecting abnormal patterns in WCE images
CN112711979A (zh) 基于生物雷达的慢速随机运动下非接触生命体征监测
CN110310323A (zh) 基于Hessian矩阵和二维高斯拟合的视网膜血管管径测量方法
Przybyło A deep learning approach for remote heart rate estimation
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN109087310A (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
Zhao et al. Performance evaluation of visual object detection and tracking algorithms used in remote photoplethysmography
CN105103164A (zh) 基于视图分类的模型初始化
CN108937905A (zh) 一种基于信号拟合的非接触式心率检测方法
CN105404866B (zh) 一种多模式自动实施人体状态感知的实现方法
Bousefsaf et al. Estimation of blood pressure waveform from facial video using a deep U-shaped network and the wavelet representation of imaging photoplethysmographic signals
CN102881021B (zh) 基于概率分布和连续最大流的主动脉瓣超声图像分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170627

Termination date: 20200218

CF01 Termination of patent right due to non-payment of annual fee