CN104778494B - 一种用于昆虫计数的多传感器目标识别算法 - Google Patents
一种用于昆虫计数的多传感器目标识别算法 Download PDFInfo
- Publication number
- CN104778494B CN104778494B CN201510179494.9A CN201510179494A CN104778494B CN 104778494 B CN104778494 B CN 104778494B CN 201510179494 A CN201510179494 A CN 201510179494A CN 104778494 B CN104778494 B CN 104778494B
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- algorithm
- threshold
- insect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明公开了一种用于昆虫计数的多传感器目标识别算法，其主要是与目前所使用的人工诱捕害虫的各类便携式设备相结合，利用多路等分布排列的红外传感器组成一个监测传感器阵列，监测进入该诱捕器的昆虫个数。本算法使用了自适应的动态调整滤波、预判断和认定的多环节判定、多传感器数据融合目标识别以及与传感器和设备相结合的PWM波动态调制引入外接环境数据的评估方法等一系列方法。本算法对硬件设备的要求极低，在占用极小资源的情况下，完成昆虫目标的准确计数。本算法准确性高、稳定性好，考虑了多种情况下带来的干扰以及设计了抗干扰的功能。
Description
技术领域
本发明具体涉及一种用于昆虫计数的多传感器目标识别算法。
背景技术
信息农业是农业信息化发展的高级阶段，从农业发展的方向看，智能化、精确化、数字化和自动化是今后农业发展的必然趋势。农业害虫预测预报的数字化、自动化是科技在植保领域发展的必由之路。国外在上世纪九十年代开始，对这方面进行了一定的探索。国内从21世纪以来，也进行了相关领域的科研开展。随着技术的发展，产生了一系列诸如诱虫灯、糖醋液、性诱剂等传统的测报手段。但是到今天，传统的方法渐渐显示出自动化程度低下、数字化效率低、受环境限制大等不足之处，这就必然导致测报工具的不断革新。
现有的应用于同样目的和形式的设备中的多传感器架构下的昆虫计数算法，大多数只是单纯的设定一个阈值，用以判断有无，并无准确和灵活的调整以及抗干扰的算法。针对本算法通常需要配合放置在野外的设备，受环境干扰较大，所以需要适应不同的状况，目前所有可能相关的算法都适用性较差，且不够稳定。对于环境干扰、震动影响以及昆虫反复进出的行为并无可靠的算法上的手段进行消除。
发明内容
(一)要解决的技术问题
本发明专门提出的一种用于昆虫计数的多传感器目标识别算法，其主要是与目前所使用的人工诱捕害虫的各类便携式设备相结合，利用多路等分布排列的红外传感器组成一个监测传感器阵列，监测进入该诱捕器的昆虫个数。本算法使用了自适应的动态调整滤波、预判段和认定的多环节判定、多传感器数据融合目标识别以及与传感器和设备相结合的PWM动态调制引入外接环境数据的评估方法等一系列方法。
(二)技术方案
一种用于昆虫计数的多传感器目标识别算法，其特征是：是通过嵌入式系统AD采集多组传感器输出的模拟量电压值，利用PWM调制的具有一定占空比的脉冲信号，动态地比较大约在一秒以内的多个传感器收集的数据，之后来判别是否有虫体通过；其具体步骤如下：
A.选取工作模式：开启设备，进入工作界面；选取所需的工作模式；
B.数据存储：将选择的工作模式中数据保存，开始进入工作模式；
C.判断计算定时时间是否到：计算定时时间到的话，则进入下一个工作环节；若计算定时时间没到，则会返回到数据库，重新计算定时时间；
D.计数识别模式：当计算定时时间到，进入到计数识别模式；
E.原始数据去噪滤波：采用平均值和单个数据周边临值相结合的方式剔除明显的错误数据；在采集的原始数据的初步处理过程中，滤除部分毛刺和噪声信号，主要针对的是一些明显的错误点，不能太过于精确以至抛掉一些不明显的特征点；
F.自适应均值计算：该部分对每组传感器按等间隔采集的数据进行平均值计算是根据不同传感器的差异和安装状况的不同条件，自适应地计算出在未遮挡情况下的传感器的正常状态数据，即无信号时的基准值；由于传感器长时间变化，由于温漂、持续时间的影响而让基准值会产生变化，所以自适应地在每个数组内进行均值；
G.特征技术点预判断：特征计数点预判采用自设计的滤波函数Fliter_01(uint16_t*data_buf，uint8_t len)的函数执行；其功能是将传感器原始数据数组按照threshold_value1宏定义参数划分为0-1数组；由于遮挡物体会导致传感器数据变小；该函数即将数组中小于该组对应平均值的(1-threshold_value1)倍的数字取为1，正常数据取为0；此部分的算法设想是根据每个传感器的自适应的基准值的不同，选定一定的变化范围限制，作为阈值，将数组先较为简单地处理成为仅包含0-1状态的多个等效数组；根据单个数组0-1的状态，提取超出阈值的状态“1”量，作为预处理特征点，同时进行记录；
H.特征点抓取：该函数是算法主要的执行模块，此部分算法是在上一步预处理特征点提取出的数据点的基础上，通过原始数组的数据进行分析判断；传感器在采集时是循环采集，所以多个数组同一序号的多个数组是在同一时间段内完成的；将多组0-1数组当做处理对象，此时轮番查看多个01数组对应序号的0-1状态；此时若采集到信号，总共有三种情况；
I.抗干扰判断及最终数据审核：该函数是判断条件的最后一步，主要是进行分析满足上述构成物体经过变化的情形时的数据，是否是同一个物体引起，以免构成误计数；在同一次数组判断中，采集到的数据序号，需与前一个满足至少有5个序号(几十毫秒)的间隔，否则认为是同一个物体引起；
在算法中用一标志位特征向量对进入final_count_judge的序列进行标注，满足距离上一次特征值距离大于5的条件时，即认定该特征行为有效，否则不予以计数肯定，并更新数据特征点；
J.发送结果至数据存储器：经过以上几部数据的层层筛选和判断，最终抓取到的有效数据将作为算法计算的结果保存下来。
进一步的，步骤G所述的threshold_valuel取值，即变化量敏感阈值；过大容易导致不敏感，采集不到小和快速的物体，过小则容易误计数；经过本函数处理后，将得到的多组0-1数组存入多个八位数组。
进一步的，其特征在于：所述的多个八位数组是：
int8_t buffer_data_011[len_data]；
uint8_t buffer_data_012[len_data]；
……
uint8_t buffer_data_01n[len_data]。
进一步的，其特征在于：步骤H所述的三种情况包括以下三种情况，若同时满足以下条件，则进入进入final_count_judge判断函数；
a.每路传感器组均有明显信号变化：此时对应每路都采集到的状况；为了避免误计，同时由于物体通过速度很快，不会只形成单独的1而上下两个数都是0的状态；
所以该方式下，除了首先判断是否有多个0-1数组的同一序号数字都为1之外，同时判断相邻的几组数据是否同时有变化。有则认定有效，进入最终的fihal_count_judge函数，没有则认为是干扰；
b.大多数传感器组有明显变化，少数传感器组没有明显变化；
此时如果少数传感器组的数据变化达到threshold_value21值以上，则进入fihal_count_judge判断函数；
c.少数传感器组有明显变化，多数传感器组没有明显变化；
此时应该认为，物体可能在少数组传感器正前方通过，应该会引起较为显著地变化；
此时，判断发生变化的该路数据是否有超过threshold_value3的变化量，若有，则判断该传感器该时前后相邻的数据是否也有超过threshold_value31的变化。
(三)有益效果
本发明提出的一种用于昆虫计数的多传感器目标识别算法，与现有技术相比较，其具有以下有益效果：其主要是与目前所使用的人工诱捕害虫的各类便携式设备相结合，利用三路等分布排列的红外传感器组成一个监测传感器阵列，监测进入该诱捕器的昆虫个数。本算法使用了自适应的动态调整滤波、预判段和认定的多环节判定、多传感器数据融合目标识别以及与传感器和设备相结合的PWM波动态调整引入外接环境数据的评估方法等一系列方法。本算法对硬件设备的要求极低，在占用极小资源的情况下，完成昆虫目标的准确计数。本算法准确性高、稳定性好，考虑了多种情况下带来的干扰以及设计了抗干扰的功能。
附图说明
图1是本发明的整体流程示意图。
具体实施方式
如图1所示，一种用于昆虫计数的多传感器目标识别算法，其特征是：是通过嵌入式系统AD采集多组传感器输出的模拟量电压值，利用PWM调制的具有一定占空比的脉冲信号，动态地比较大约在一秒以内的多个传感器收集所有传感器数据，之后来判别是否有虫体通过；其具体步骤如下：
A.选取工作模式：开启设备，进入工作界面；选取所需的工作模式；
B.数据存储：将选择的工作模式中数据保存，开始进入工作模式；
C.判断计算定时时间是否到：计算定时时间到的话，则进入下一个工作环节；若计算定时时间没到，则会返回到数据库，重新计算定时时间；
D.计数识别模式：当计算定时时间到，进入到计数识别模式；
E.原始数据去噪滤波：采用平均值和单个数据周边临值相结合的方式剔除野值数据；在采集的原始数据的初步处理过程中，滤除部分毛刺和噪声信号，主要针对的是一些明显的错误点，不能太过于精确以至抛掉一些不明显的特征点；
F.自适应均值计算：该部分对每组传感器按等间隔采集的数据进行平均值计算是根据不同传感器的差异和安装状况的不同条件，自适应地计算出在未遮挡情况下的传感器的正常状态数据，即无信号时的基准值；由于传感器长时间变化，由于温漂、持续时间的影响而让基准值会产生变化，所以自适应地在每个数组内进行均值；
G.特征技术点预判断：特征计数点预判采用自行设计的滤波函数Fliter_01(uint16_t*data_buf，uint8_t len)执行；其功能是将传感器原始数据数组按照threshold_value1宏定义参数划分为0-1数组；由于遮挡物体会导致传感器数据变小；该函数即将数组中小于该组对应平均值的(1-threshold_value1)倍的数字取为1，正常数据取为0；此部分的算法设想是根据每个传感器的自适应的基准值的不同，选定一定的变化范围限制，作为阈值，将数组先较为简单地处理成为仅包含0-1状态的多个等效数组；根据单个数组0-1的状态，提取超出阈值的状态“1”量，作为预处理特征点，同时进行记录；
H.特征点抓取：该函数是算法主要的执行模块，此部分算法是在上一步预处理特征点提取出的数据点的基础上，通过原始数组的数据进行分析判断；传感器在采集时是1、2、3循环采集，所以多个数组同一序号的多个数组是在同一时间段内完成的；将多组0-1数组当做处理对象，此时从0到102轮番查看多个01数组对应序号的0-1状态；此时若采集到信号，总共有三种情况；
I.抗干扰判断及最终数据审核：该函数是判断条件的最后一步，主要是进行分析满足上述构成物体经过变化的情形时的数据，是否是同一个物体引起，以免构成误计数；在同一次数组判断中，采集到的数据序号，需与前一个满足至少有5个序号的间隔，否则认为是同一个物体引起；
在算法中用一标志位特征向量对进入final_count_judge的序列进行标注，满足距离上一次特征值距离大于5(大约40ms)的条件时，即认定该特征行为有效，否则不予以计数肯定，并更新数据特征点；
而在实际操作中，昆虫的速度不会特别快，可能在几秒之内反复飞过传感器部位造成多次计数。此时使用iii-flag_jjj的数字来限定其间隔范围。
其中iii是主循环进行的次数，flag_jjj是上一次计数时的主循环次数。所以，相邻两次时间间隔可用t*iii(t单位是秒)大致来进行限定。即成功计数的条件，必须满足在该时刻之前t秒内没有计数过。
J.发送结果至数据存储器：经过以上几步数据的层层筛选和判断，最终抓取到的有效数据将作为算法计算的结果保存下来。
其中，步骤G所述的threshold_value1取值，即变化量敏感阈值；过大容易导致不敏感，采集不到小和快速的物体，过小则容易误计数；经过本函数之后，将得到的多组0-1数组存入多个八位数组。
其中，其特征在于：所述的多个八位数组是：
int8_t buffer_data_011[len_data]；
uint8_t buffer_data_012[len_data]；
……
uint8_t buffer_data_01n[len_data]。
其中，其特征在于：步骤H所述的三种情况包括以下三种情况，若同时满足以下条件，则进入进入final_count_judge判断函数；
a.每路传感器组均有明显信号变化：此时对应每路都采集到的状况；为了避免误计，同时由于物体通过速度很快，不会只形成单独的1而上下两个数都是0的状态；
所以该方式下，除了首先判断是否有多个0-1数组的同一序号数字都为1之外，同时判断相邻的几组数据是否同时有变化。有则认定有效，进入最终的final_count_judge函数，没有则认为是干扰；
b.大多数传感器组有明显变化，少数传感器组没有明显变化；
此时如果少数传感器组的数据变化达到threshold_value21值以上，则进入final_count_judge判断函数；
c.少数传感器组有明显变化，多数传感器组没有明显变化；
此时应该认为，物体可能在少数组传感器正前方通过，应该会引起较为显著地变化；
此时，判断发生变化的该路数据是否有超过threshold_value3的变化量，若有，则判断该传感器该时前后相邻的数据是否也有超过threshold_value31的变化。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
Claims (4)
1.一种用于昆虫计数的多传感器目标识别算法，其特征是：是通过嵌入式系统A/D采集多组传感器输出的模拟电压信号，利用PWM调制的具有一定占空比的脉冲信号，动态地比较一秒以内的多个传感器采集的数据，然后判别是否有虫体通过；其具体步骤如下：
A.选取工作模式：开启设备，进入工作界面；选取所需的工作模式；
B.数据存储：将选择的工作模式中数据保存，开始进入工作模式；
C.判断计算定时时间是否到：计算定时时间到的话，则进入下一个工作环节；若计算定时时间没到，则会返回到数据采集与存储，继续计算定时时间；
D.计数识别模式：当计算定时时间到，进入到计数识别模式；
E.原始数据去噪滤波：采用平均值和单个数据周边临值相结合的方式剔除野值数据；在采集的原始数据的初步处理过程中，滤除部分毛刺和噪声信号，主要针对的是一些明显的错误点，不能太过于精确以至抛掉一些不明显的特征点；
F.自适应均值计算：该部分对每组传感器按等间隔采集的数据进行平均值计算是根据不同传感器的差异和安装状况的不同条件，自适应地计算出在未遮挡情况下的传感器的正常状态数据，即无信号时的基准值；由于传感器受温漂、持续时间的影响会使基准值产生变化，所以采用自适应方法对每组传感数据进行均值分析计算；
G.特征技术点预判断：特征计数点预判采用一个自设计的滤波函数执行；其功能是将传感器原始数据数组按照初始阈值划分为0-1数组；由于遮挡物体会导致传感器数据变小；该函数将数组中小于该组对应平均值*(1-threshold_value1)的数字取为1，正常数据取为0；该阈值是根据每个传感器基准值的不同变化，选择相应的变化范围限制进行自适应调整确定的；按照上述算法将数组先简单处理成为仅包含0-1状态的多个等效数组；根据单个数组0-1的状态，提取超出阈值的状态“1”的数量，作为预处理特征点，同时进行记录；
H.特征点抓取：该函数是算法主要的执行模块，此部分算法是在上一步预处理特征点提取出的数据点的基础上，通过原始数组的数据进行分析判断；传感器在采集时是循环采集，所以同一序号的多个数组是在同一时间段内完成的；将多组0-1数组当做处理对象，轮番查看多个0-1数组对应序号的0-1状态；此时若采集到信号，总共有三种情况；
I.抗干扰判断及最终数据审核：该函数是判断条件的最后一步，主要是分析上述数据，是否是同一个物体经过而引起的变化，以免构成误计数；在同一次数组判断中，采集到的数据序号，需与前一个满足至少有5个序号的间隔，才作为新的进入计数结果判断的序列，否则认为是同一个物体引起；
在算法中用一个标志位特征向量对进入计数结果判断的序列进行标注，满足距离上一次特征值距离大于5的条件时，即认定该特征行为有效，否则不予以计数肯定，并更新数据特征点；
J.发送结果至数据存储器：经过以上由G-I的几步数据的筛选处理和判断，最终得到的有效数据将作为算法计算的结果保存下来。
2.根据权利要求1所述的一种用于昆虫计数的多传感器目标识别算法，其特征在于：步骤G所述的选取threshold_value1的值，即变化量敏感阈值；过大容易导致不敏感，采集不到小和快速的物体，过小则容易误计数；经过本函数之后，将得到的多组0-1数组存入多个八位数组。
3.根据权利要求2所述的一种用于昆虫计数的多传感器目标识别算法，其特征在于：所述的多个八位数组是：
int8_t buffer_data_011[len_data]；
uint8_t buffer_data_012[len_data]；
......
uint8_t buffer_data_01n[len_data]。
4.根据权利要求1所述的一种用于昆虫计数的多传感器目标识别算法，其特征在于：步骤H所述的三种情况包括以下三种情况，若同时满足以下条件，则进入进入final_count_judge判断函数；
a.多路均有信号：此时对应多路都采集到的状况；为了避免误计，同时由于物体通过速度很快，不会只形成单独的1而上下两个数都是0的状态；
所以该方式下，除了首先判断是否有多个0-1数组的同一序号数字都为1之外，同时判断相邻的数据是否同时有变化；有则认定有效，进入最终的final_count_judge函数，没有则认为是干扰；
b.超过半数的传感器组数据都有介于threshold_value1和threshold_value22之间的变化信号，或少于半数传感器组数据变化量超出threshold_value21值，则认定为有效，进入final_count_judge判断函数；
c.不到半数的传感器组数据有明显变化，超过半数传感器组数据变化均不明显；
此时应该认为，物体在不到半数的传感器组正前方通过，会引起较为显著地变化；
此时，判断发生变化的不到半数的传感器数据是否有超过threshold_value3变化量，若有，则判断该组传感器此时前后相邻的数据是否也有超过threshold_value31的变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510179494.9A CN104778494B (zh) | 2015-04-15 | 2015-04-15 | 一种用于昆虫计数的多传感器目标识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510179494.9A CN104778494B (zh) | 2015-04-15 | 2015-04-15 | 一种用于昆虫计数的多传感器目标识别算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778494A CN104778494A (zh) | 2015-07-15 |
| CN104778494B true CN104778494B (zh) | 2017-08-08 |
Family
ID=53619947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510179494.9A Expired - Fee Related CN104778494B (zh) | 2015-04-15 | 2015-04-15 | 一种用于昆虫计数的多传感器目标识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778494B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529664B (zh) * | 2016-11-10 | 2018-09-21 | 河南理工大学 | 用于检测凹形板状物的多传感器计数装置及计数方法 |
| CN110991598A (zh) * | 2019-12-03 | 2020-04-10 | 江西农家宝网络科技股份有限公司 | 虫情测报计数装置及虫情计数方法 |
| CN112036470A (zh) * | 2020-08-28 | 2020-12-04 | 扬州大学 | 一种基于云传输的多传感器融合的黄瓜烟粉虱识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651086A (zh) * | 2011-02-28 | 2012-08-29 | 大连海兰德维通信技术有限公司 | 一种计数装置、方法以及红外检测系统 |
| CN103049785A (zh) * | 2013-01-22 | 2013-04-17 | 河南理工大学 | 一种多传感器计数装置和计数方法 |
| CN103478101A (zh) * | 2013-09-26 | 2014-01-01 | 浙江大学 | 一种昆虫监测装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7496228B2 (en) * | 2003-06-13 | 2009-02-24 | Landwehr Val R | Method and system for detecting and classifying objects in images, such as insects and other arthropods |
-
2015
- 2015-04-15 CN CN201510179494.9A patent/CN104778494B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651086A (zh) * | 2011-02-28 | 2012-08-29 | 大连海兰德维通信技术有限公司 | 一种计数装置、方法以及红外检测系统 |
| CN103049785A (zh) * | 2013-01-22 | 2013-04-17 | 河南理工大学 | 一种多传感器计数装置和计数方法 |
| CN103478101A (zh) * | 2013-09-26 | 2014-01-01 | 浙江大学 | 一种昆虫监测装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多 传感器信息融合的空中目 标识别算法研究;朱宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215(第S2期);全文 * |
| 害虫自动识别与计数技术研究进展与展望;陈梅香等;《环境昆虫学报》;20150228;第37卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778494A (zh) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210563A (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN102084794B (zh) | 多传感器信息融合的作物病虫害早期检测方法及装置 | |
| CN107837082A (zh) | 基于人工智能自学习的心电图自动分析方法和装置 | |
| CN104778494B (zh) | 一种用于昆虫计数的多传感器目标识别算法 | |
| CN108615071A (zh) | 模型测试的方法及装置 | |
| CN104720796A (zh) | 一种用于癫痫发作时间段的自动检测系统及方法 | |
| CN106570516A (zh) | 一种利用卷积神经网络cnn的障碍物识别方法 | |
| CN107832737A (zh) | 基于人工智能的心电图干扰识别方法 | |
| CN109645989A (zh) | 一种麻醉深度估计方法及系统 | |
| CN110232412A (zh) | 一种基于多模态深度学习的人体步态预测方法 | |
| CN109213121A (zh) | 一种风机制动系统卡缸故障诊断方法 | |
| CN107292249A (zh) | 一种基于结构化分段网络的时间动作检测方法 | |
| CN103034837A (zh) | 特征参数与脉象要素的关联 | |
| CN111274886B (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
| CN107609477A (zh) | 一种基于深度学习与智能手环相结合的摔倒检测方法 | |
| CN110532850A (zh) | 一种基于视频关节点和混合分类器的跌倒检测方法 | |
| CN110533167A (zh) | 一种电动阀门执行机构用故障诊断方法及诊断系统 | |
| CN111091131B (zh) | 基于多任务学习的自适应车牌字符识别系统及识别方法 | |
| CN113948220A (zh) | 一种具有预分析能力的炭疽病病原菌侵染阶段检测方法 | |
| CN106264545A (zh) | 步伐识别方法及装置 | |
| CN111476102A (zh) | 一种安全防护方法、中控设备及计算机存储介质 | |
| CN110132276A (zh) | 一种基于行人运动状态的自适应步长估计方法 | |
| CN110532926A (zh) | 基于深度学习的猪神经性疾病智能测报方法 | |
| CN111968003B (zh) | 一种基于农作物本体概念响应的农作物病害预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170808 Termination date: 20210415 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |