CN104872025A - 一种鱼缸鱼类活动轨迹记录方法 - Google Patents
一种鱼缸鱼类活动轨迹记录方法 Download PDFInfo
- Publication number
- CN104872025A CN104872025A CN201510308465.8A CN201510308465A CN104872025A CN 104872025 A CN104872025 A CN 104872025A CN 201510308465 A CN201510308465 A CN 201510308465A CN 104872025 A CN104872025 A CN 104872025A
- Authority
- CN
- China
- Prior art keywords
- fish
- matching area
- matrix
- image
- recording method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000694 effects Effects 0.000 title abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000005484 gravity Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 3
- 230000013011 mating Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000003542 behavioural effect Effects 0.000 description 5
- 230000000366 juvenile effect Effects 0.000 description 4
- 241000143060 Americamysis bahia Species 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 241000252212 Danio rerio Species 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Marine Sciences & Fisheries (AREA)
- Zoology (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种鱼缸鱼类活动轨迹记录方法,该方法基于图像技术,包括:获取鱼图像样本;采集图像,并将鱼图像样本与采集到的图像进行匹配,获得匹配区域;通过匹配区域的位置确定鱼所在的区域、鱼的重心位置及鱼的朝向;通过获取不同时刻鱼的重心位置得到鱼的活动轨迹、运动速度及运动方向。本发明提供的方法实现了鱼的重心定位、鱼活动轨迹的记录、鱼的运动速度、运动方向及朝向的确定。
Description
技术领域
本发明涉及鱼缸鱼类活动轨迹领域,尤其涉及一种基于图像技术的鱼缸鱼类活动轨迹记录方法。
背景技术
在鱼类科学研究中,比如鱼类摄食学、鱼类行为学以及鱼类生理学等领域的科研实验,常常需要准确地监测、量化并记录鱼类的活动情况及其行为参数,比如鱼的位置坐标、运动轨迹以及游动速度等。目前鱼类行为活动的常规研究手段主要有以下两种:1、直接观察法:实验人员通过直接观察或观看录制的鱼类活动视频录像,来人为地获取并分析鱼类的行为活动情况。这种方法需要耗费实验人员大量时间精力,而且难以精确地量化鱼类的行为数据。2、标签植入法:在鱼体内植入PIT或RFID标记物,通过PIT、RFID等技术,来记录鱼的活动轨迹,从而量化其行为参数。但是这类方法检测距离有限,而且对于小型鱼和幼鱼等体型较小的鱼类来说,难以植入标记物,或其植入对鱼会产生刺激甚至伤害。
随着科学技术的发展,图像技术越来越多地应用于各种检测、识别技术中。基于CCD摄像的图像检测技术具有非接触、精度高、实时性好等特点,适用于监测、识别鱼类行为活动。现有的中国专利名称为一种斑马鱼温敏行为轨迹监测仪(申请号为201320780260.6),该实用新型是通过摄录装置来获取斑马鱼活动的视频数据,然后人为地察看视频数据并进行行为学分析,并没有运用图像分析等技术来自动量化和输出鱼类的行为数据。现有的中国专利名称为基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法(申请号为201410007771.3),该发明是通过图像处理技术来估算养殖池中鱼虾蟹苗的数目、密度以及其趋光能力,但是该装置没有对鱼虾蟹苗的活动轨迹进行监测记录。现有的中国专利名称为一种基于计算机视觉的斑马鱼群检测与跟踪方法(申请号为201410213890.4),该发明是通过计算机视觉技术来检测与跟踪斑马鱼群,但均是基于鱼群的,并没有对鱼只个体进行识别、跟踪和行为记录。
发明内容
为解决上述技术问题,本发明的目的是提供一种基于图像技术的鱼缸鱼类活动轨迹记录方法与系统,该方法实现了鱼的重心定位,鱼活动轨迹的记录、鱼的运动速度、运动方向及朝向的确定。
本发明的目的通过以下的技术方案来实现:
一种鱼缸鱼类活动轨迹记录方法,该方法基于图像技术,包括:
A获取鱼图像样本;
B采集图像,并将鱼图像样本与采集到的图像进行匹配,获得匹配区域;
C通过匹配区域的位置确定鱼所在的区域、鱼的重心位置及鱼的朝向;
D通过获取不同时刻鱼的重心位置得到鱼的活动轨迹、运动速度及运动方向。与现有技术相比,本发明的一个或多个实施例可以具有如下优点:
实现了鱼的重心定位、鱼活动轨迹的记录、鱼的运动速度、运动方向及朝向的确定。
附图说明
图1是鱼缸鱼类活动轨迹记录方法流程图;
图2是鱼缸鱼类活动轨迹记录方法获得的最终匹配区域结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示,为鱼缸鱼类活动轨迹记录方法,该方法基于图像技术,所述方法包括如下步骤:
步骤10获取鱼图像样本;
当鱼头朝上时获取一张鱼的图像样本,当鱼头朝下时获取一张鱼的图像样本,用矩阵形式表示为Am1×n1。
步骤20采集图像,并将鱼图像样本与采集到的图像进行匹配,获得匹配区域;
从采集到的图像中第一个元素开始,提取一个和鱼图像样本一样大小的区域,通过比较来得到和鱼图像样本匹配的区域:
1、用摄像机开始采集图像,用矩阵形式表示为Bm2×n2:
2、从采集到的图像Bm2×n2中第一个元素开始,提取一个和鱼图像样本Am1×n1一样大小的矩阵Ci,然后做相减处理:
3、将Di中的每一个元素进行平方然后求和,其中值最小的所对应的矩阵Ci为匹配区域:
a=min(a1,a2,…,a(m2-m1)(n2-n1))。
将鱼图像样本旋转一个角度θ(-90°<θ<90°)后,再与采集到的图像进行匹配得到匹配区域:
1、设坐标系的原点为鱼图像样本Am1×n1的中心,(xo,yo)为Am1×n1中一个元素的坐标,旋转后的坐标为(x',y'),则旋转前后的关系为:
将每一个元素按照上式进行变换,便可得到鱼图像样本旋转θ角的图像。
对两张不同的鱼图像样本分别绕其中心点依次旋转一个角度θ,并依次与采集到的图像进行匹配,得到匹配区域1和匹配区域2。将匹配区域1与匹配区域2进行比较,得到最终匹配区域。
其中获得匹配区域1或匹配区域2的方法为:
设Ri为将鱼图像样本第i次旋转后与采集到的图像进行匹配获得的匹配区域,Ai为相应的鱼图像样本,Fi为矩阵Ri与矩阵Ai相减所得到的矩阵,ri为Fi矩阵每个元素的平方和,则:
然后在这些ri中求取最小值r,
r=min(r1,r2,…,r(m2-m1)(n2-n1))
则:r所对应的矩阵Ri为匹配区域1或匹配区域2。
在匹配区域1和匹配区域2中选择最终匹配区域,其选择方法为:
将采集到的图像转换为二值图,然后在分别计算匹配区域1和匹配区域2中像元为一的元素个数,较多的那个为最终匹配区域。
步骤30通过匹配区域的位置确定鱼所在的区域、鱼的重心位置及鱼的朝向;
鱼所在区域就是最终匹配区域,鱼的重心大概为鱼所在区域的中心,鱼的朝向为最终匹配区域的方向。
步骤40通过获取不同时刻鱼的重心位置得到鱼的活动轨迹、运动速度及运动方向。
鱼的活动轨迹为不同时刻鱼的重心位置的连线,鱼的运动速度为两时刻鱼重心位置的距离与对应时间的比值,鱼的运动方向为鱼活动轨迹的切线方向。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种鱼缸鱼类活动轨迹记录方法,其特征在于,所述方法基于图像技术,包括:
A获取鱼图像样本;
B采集图像,并将鱼图像样本与采集到的图像进行匹配,获得匹配区域;
C通过匹配区域的位置确定鱼所在的区域、鱼的重心位置及鱼的朝向;
D通过获取不同时刻鱼的重心位置得到鱼的活动轨迹、运动速度及运动方向。
2.如权利要求1所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述步骤A中:获取两张鱼图像样本,其中一张为鱼头朝上时的图像样本,另一张为鱼头朝下时的图像样本,用矩阵形式表示为Am1×n1。
3.如权利要求1所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述步骤B具体包括,将鱼图像样本绕中心点依次旋转一个角度θ,并依次与采集到的图像进行匹配,获得匹配区域。
4.如权利要求1所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述步骤B中:将鱼图像样本与采集到的图像进行匹配,其匹配方法为:
鱼样本图像为矩阵Am1×n1,采集到的图像为矩阵Bm2×n2(m1<m2,n1<n2),从矩阵B中的第一个元素开始依次提取和矩阵A大小一样的举证Ci i=1,2,…,(m2-m1)(n2-n1)
将矩阵Ci与矩阵A相减得到矩阵Di,
将Di中的每一个元素进行平方然后求和,可得:
然后在这些ai中求取最小值a,
a=min(a1,a2,…,a(m2-m1)(n2-n1));
则a所对应的矩阵C为匹配区域。
5.如权利要求3所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述将鱼样本图像旋转一个角度θ方法为:
设(xo,yo)为旋转前的坐标,(x',y')为旋转后的坐标,则:
6.如权利要求3所述的鱼缸鱼类活动轨迹记录方法,其特征在于,对两张不同的鱼图像样本分别与采集到的图像进行匹配,选取匹配区域1和匹配区域2,然后对匹配区域1和匹配区域2进行比较,选择其中一个作为最终匹配区域。
7.如权利要求6所述的鱼缸鱼类活动轨迹记录方法,其特征在于,选取匹配区域1或匹配区域2的方法为:
设Ri为将鱼图像样本第i次旋转后与采集到的图像进行匹配获得的匹配区域,Ai为相应的鱼图像样本,Fi为矩阵Ri与矩阵Ai相减所得到的矩阵,ri为Fi矩阵每个元素的平方和,则:
然后在这些ri中求取最小值r,
r=min(r1,r2,…,r (m2-m1)(n2-n1))
则:r所对应的矩阵Rj为匹配区域1或匹配区域2。
8.如权利要求6所述的鱼缸鱼类活动轨迹记录方法,其特征在于,在匹配区域1和匹配区域2中选择最终的匹配区域方法为:
将采集到的图像转换为二值图,鱼像所在区域的像元取值为1,其余区域的像元取值为0,比较匹配区域1与匹配区域2中像元取值为1的个数,像元取值为1的个数较多的那个区域即为最终匹配区域。
9.如权利要求1所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述步骤C中:鱼所在的区域就是最终匹配区域,鱼的重心位置为最终匹配区域的中心线的位置,鱼的朝向为最终匹配区域的方向。
10.如权利要求1所述的鱼缸鱼类活动轨迹记录方法,其特征在于,所述步骤D中:鱼的活动轨迹为不同时刻鱼的重心位置的连线,鱼的运动速度为两时刻鱼重心位置的距离与对应时间的比值,鱼的运动方向为鱼活动轨迹的切线方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510308465.8A CN104872025B (zh) | 2015-06-08 | 2015-06-08 | 一种鱼缸鱼类活动轨迹记录方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510308465.8A CN104872025B (zh) | 2015-06-08 | 2015-06-08 | 一种鱼缸鱼类活动轨迹记录方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104872025A true CN104872025A (zh) | 2015-09-02 |
CN104872025B CN104872025B (zh) | 2017-04-12 |
Family
ID=53939931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510308465.8A Expired - Fee Related CN104872025B (zh) | 2015-06-08 | 2015-06-08 | 一种鱼缸鱼类活动轨迹记录方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104872025B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228569A (zh) * | 2016-07-06 | 2016-12-14 | 西安邮电大学 | 一种适用于水质监测的鱼体运动速度检测方法 |
CN106526112A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 一种基于鱼类活性分析的水质毒性检测方法 |
CN106778537A (zh) * | 2016-11-28 | 2017-05-31 | 中国科学院心理研究所 | 一种基于图像处理的动物社交网络结构采集及分析系统及其方法 |
CN111597937A (zh) * | 2020-05-06 | 2020-08-28 | 北京海益同展信息科技有限公司 | 鱼姿势识别方法、装置、设备及存储介质 |
CN115345901A (zh) * | 2022-10-18 | 2022-11-15 | 成都唐米科技有限公司 | 一种动物运动行为预测方法、系统及摄像系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272614A (ja) * | 2006-03-31 | 2007-10-18 | Nagasaki Prefecture | インターレス画像を用いた行動解析装置 |
CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
CN101900688A (zh) * | 2010-08-19 | 2010-12-01 | 潘海朗 | 基于图像中水生生物运动特征的水质监测方法 |
CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
CN103955688A (zh) * | 2014-05-20 | 2014-07-30 | 楚雄师范学院 | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 |
CN104182732A (zh) * | 2014-08-12 | 2014-12-03 | 南京师范大学 | 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法 |
CN104680556A (zh) * | 2015-02-16 | 2015-06-03 | 燕山大学 | 基于视差的鱼类运动三维轨迹跟踪方法 |
-
2015
- 2015-06-08 CN CN201510308465.8A patent/CN104872025B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272614A (ja) * | 2006-03-31 | 2007-10-18 | Nagasaki Prefecture | インターレス画像を用いた行動解析装置 |
CN101141633A (zh) * | 2007-08-28 | 2008-03-12 | 湖南大学 | 一种复杂场景中的运动目标检测与跟踪方法 |
CN101900688A (zh) * | 2010-08-19 | 2010-12-01 | 潘海朗 | 基于图像中水生生物运动特征的水质监测方法 |
CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
CN103955688A (zh) * | 2014-05-20 | 2014-07-30 | 楚雄师范学院 | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 |
CN104182732A (zh) * | 2014-08-12 | 2014-12-03 | 南京师范大学 | 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法 |
CN104680556A (zh) * | 2015-02-16 | 2015-06-03 | 燕山大学 | 基于视差的鱼类运动三维轨迹跟踪方法 |
Non-Patent Citations (2)
Title |
---|
温庆福等: "一种新型的活动目标轨迹记录算法", 《电视技术》 * |
陈惟荣等: "旋转矩阵在运动学中的应用", 《山东矿业学院学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228569A (zh) * | 2016-07-06 | 2016-12-14 | 西安邮电大学 | 一种适用于水质监测的鱼体运动速度检测方法 |
CN106526112A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 一种基于鱼类活性分析的水质毒性检测方法 |
CN106778537A (zh) * | 2016-11-28 | 2017-05-31 | 中国科学院心理研究所 | 一种基于图像处理的动物社交网络结构采集及分析系统及其方法 |
CN111597937A (zh) * | 2020-05-06 | 2020-08-28 | 北京海益同展信息科技有限公司 | 鱼姿势识别方法、装置、设备及存储介质 |
CN111597937B (zh) * | 2020-05-06 | 2023-08-08 | 京东科技信息技术有限公司 | 鱼姿势识别方法、装置、设备及存储介质 |
CN115345901A (zh) * | 2022-10-18 | 2022-11-15 | 成都唐米科技有限公司 | 一种动物运动行为预测方法、系统及摄像系统 |
CN115345901B (zh) * | 2022-10-18 | 2023-01-10 | 成都唐米科技有限公司 | 一种动物运动行为预测方法、系统及摄像系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104872025B (zh) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104872025A (zh) | 一种鱼缸鱼类活动轨迹记录方法 | |
CN105913487A (zh) | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 | |
CN109376576A (zh) | 基于交替更新密集连通从零训练网络的目标检测方法 | |
CN104680556A (zh) | 基于视差的鱼类运动三维轨迹跟踪方法 | |
Ling et al. | Simultaneous measurements of three-dimensional trajectories and wingbeat frequencies of birds in the field | |
McKinnon et al. | Towards automated and in-situ, near-real time 3-D reconstruction of coral reef environments | |
Mcilwaine et al. | JellyNet: The convolutional neural network jellyfish bloom detector | |
CN109387848A (zh) | 果树冠层靶标探测装置、方法、计算设备及存储介质 | |
Napier et al. | Using mobile-based augmented reality and object detection for real-time Abalone growth monitoring | |
Higgs et al. | ProTractor: a lightweight ground imaging and analysis system for early-season field phenotyping | |
CN108573226B (zh) | 基于级联姿势回归的果蝇幼虫体节关键点定位方法 | |
Liao et al. | Quantitative assessment framework for non-structural bird’s nest risk information of transmission tower in high-resolution UAV images | |
He et al. | High accuracy intelligent real-time framework for detecting infant drowning based on deep learning | |
Khan et al. | An outdoor 3-D visual tracking system for the study of spatial navigation and memory in rhesus monkeys | |
Chen et al. | CNN sensor based motion capture system application in basketball training and injury prevention | |
Yu et al. | Visual Perception and Control of Underwater Robots | |
Peña et al. | Tracking hammerhead sharks with deep learning | |
Dimauro et al. | Automated and non-invasive UAV-based system for the monitoring and the group size estimation of dolphins | |
Mei et al. | A Method Based on Knowledge Distillation for Fish School Stress State Recognition in Intensive Aquaculture. | |
Koger et al. | Multi-animal behavioral tracking and environmental reconstruction using drones and computer vision in the wild | |
Zhang et al. | Underwater autonomous grasping robot based on multi-stage cascade DetNet | |
Liu et al. | 3D Positioning Method for Pineapple Eyes Based on Multiangle Image Stereo-Matching | |
CN112529072A (zh) | 一种基于声呐图像处理的水下沉埋物识别与定位方法 | |
Cao et al. | A hybrid method for identifying the feeding behavior of tilapia | |
Zhang et al. | An improved YOLOv8n used for fish detection in natural water environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170412 |