CN104766346B - 一种基于视频图像的斑马鱼跟踪方法 - Google Patents
一种基于视频图像的斑马鱼跟踪方法 Download PDFInfo
- Publication number
- CN104766346B CN104766346B CN201510181901.XA CN201510181901A CN104766346B CN 104766346 B CN104766346 B CN 104766346B CN 201510181901 A CN201510181901 A CN 201510181901A CN 104766346 B CN104766346 B CN 104766346B
- Authority
- CN
- China
- Prior art keywords
- fish
- target
- fish head
- end points
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种基于视频图像的斑马鱼跟踪方法,属信息技术领域。该方法通过斑马鱼图像的形状特点对斑马鱼的鱼头进行检测,根据鱼头区域的灰度分布计算鱼头方向,根据检测到的位置和方向信息,使用全局优化方法对相邻帧间的目标进行关联,完成斑马鱼的跟踪。方法包括目标检测和目标跟踪;目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算步骤;目标跟踪包括代价函数计算和全局优化关联步骤。有益效果在于:能同时检测出鱼头位置和方向信息,检测准确率高;无需用运动模型对鱼进行运动预测,简化了跟踪过程;能较好的处理鱼在运动中的遮挡问题,跟踪的稳定性高;能较好的处理斑马鱼跟踪中出现的问题,具有跟踪准确,鲁棒性较强的优点。
Description
技术领域:
本发明涉及一种基于视频图像的斑马鱼跟踪方法,属信息技术领域。
背景技术:
随着近年来计算机视觉技术的发展,基于视频图像的斑马鱼行为分析已经成为一个热门研究问题。要对斑马鱼进行行为分析,首先必须得到每一条游动的斑马鱼的轨迹信息,然后对这些信息进行统计分析来发现各种斑马鱼的运动规律,跟踪系统的鲁棒性和准确性直接影响着行为分析的效果。因此,斑马鱼跟踪是斑马鱼行为分析中的关键步骤。因为斑马鱼的身体结构具有非刚性特点,它的形状会不断发生变化。另外,斑马鱼在游动过程中存在相互遮挡的现象,这些问题为基于视频图像的斑马鱼跟踪带来了极大的困难。
目前常见的斑马鱼跟踪方法为基于运动信息的跟踪,它通过对检测到的每条斑马鱼进行运动状态的分析来预测下一时刻鱼的位置。该方法能够同时跟踪数量较多的斑马鱼,但是跟踪的准确性和稳定性不佳。
发明内容:
本发明的目的在于克服基于运行信息的斑马鱼跟踪的不足,提供一种简单而高效的斑马鱼跟踪方法。
本发明的基于视频图像的斑马鱼跟踪方法,其特征在于该方法由目标检测和目标跟踪两部分构成;其中:目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤;目标跟踪包括代价函数计算和全局优化关联两个步骤;该方法的具体步骤如下:
(1)运动区域分割
使用基于时域的中值滤波法对背景进行建模来获得运动区域,即:选取视频的前n帧图像的中值图像作为背景图像,通过对背景图像与输入图像的差分图像进行阈值化处理分割出图像中的运动区域:
式中:It(x,y)表示第t帧图像,表示由前n帧中值图像得到的背景图像,Rt(x,y)表示得到的运动区域;
(2)中心线提取
使用快速行进算法提取中心线,即:在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U,然后构造新的活动窄带,如此循环,得到整个平面上每个点的到达时间U,通过设置阈值Tu来消除中心线上的细小分支,最终的骨架S定义为:
C={(i,j)|max(|ux|,|uy|)>Tu}
ux=U(i+1,j)-U(i,j),uy=U(i,j+1)-U(i,j)
上式中表示:当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于Tu时,该点为骨架点;Tu值越大,被忽略的细节越多;Tu值越小,被保留的细节越多;
(3)鱼头端点检测
中心线描述了运动区域的主体形状特征,线的端点表示鱼头或鱼尾位置;为排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点,对上一步得到的所有端点进行过滤,只有端点距离其最近交叉点的长度大于阈值Tl时,该端点才被认为是鱼头或鱼尾端点,否则过滤该端点;由于鱼的头部宽度大于尾部宽度,我们以得到的端点为圆心,以该点到区域边缘的最小距离为半径做圆,则圆的直径能够近似表示端点位置的区域宽度,然后通过设定的宽度阈值Tw来判定端点是否属于鱼头端点;
(4)鱼头方向计算
使用鱼头端点的Hessian矩阵来计算鱼头区域的方向,即:首先使用不同尺度生成的高斯模板对图像进行卷积运算,得到图像在各个尺度下的DoH响应值,然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵,设鱼头端点为(xe,ye),最大响应值的尺度为s,该尺度下对应的Hessian矩阵表示为:
令λ1和λ2,|λ1|>|λ2|,分别表示Hessian矩阵的特征值,对应的特征向量α1和α2分别表示(xe,ye)点曲率最大和最小的方向,则鱼头区域的方向表示为arctan(α1/α2);
(5)代价函数计算
斑马鱼在相邻两帧图像中,同一目标的鱼头位置和方向的变化较小,不同目标的鱼头位置和方向变化较大,为在跟踪中使用这一规律,定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下:
这里pcmax和dcmax分别表示鱼在相邻帧间的最大方向变化和最大位置变化;pcij和dcij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化;ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重;
(6)全局优化关联
根据代价函数,利用全局优化方法对相邻帧目标进行关联,即:设前一帧目标数为n,当前帧目标数为m,则定义m行×n列的代价函数矩阵,并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联;如果已经关联过的前一帧目标,则从代价函数矩阵中删除该目标所在列;如果存在前一帧的目标没有被关联(n>m),则在当前帧中保持该目标在前一帧中的状态;如果存在当前帧的目标没有被关联(n<m),则忽略该目标;为减少关联数量,提高跟踪性能,定义一个最大遮挡距离阈值To,只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联,否则不进行关联。
本发明的有益效果在于:能够较好的处理斑马鱼跟踪中出现的问题,具有跟踪准确,鲁棒性较强的优点。
附图说明:
图1为本发明的流程示意图。
图2为中心线提取示意图。
图3为鱼头端点检测示意图。
具体实施方式:
本发明的技术方案包括目标检测和目标跟踪两部分;其中:目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤;目标跟踪包括代价函数计算和全局优化关联两个步骤;具体如下:
(1)目标检测
a.运动区域分割:由于实验室场景中一般只包含运动的斑马鱼和静态的背景,而且大多数斑马鱼在一个区域只停留较短的时间,因此,能使用基于时域的中值滤波法对背景进行建模来获得运动区域。首先选取视频的前n帧图像的中值图像作为背景图像,然后通过对背景图像与输入图像的差分图像进行阈值化处理即能分割出图像中的运动区域。
上式中It(x,y)表示第t帧图像,表示由前n帧中值图像得到的背景图像,Rt(x,y)表示得到的运动区域。
b.中心线提取:为了高效的描述鱼的线性结构,使用快速行进算法提取中心线。快速行进算法是是一种计算水平集函数的快速数值算法,它模拟水波在平面上的传播过程来计算波面到达每个像素点所需的时间。快速行进法基本思想是在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U,然后构造新的活动窄带。如此循环,就能够得到整个平面上每个点的到达时间U。快速行进算法具有运算速度快,鲁棒性较强的特点。由于运动区域形状复杂,通过快速行进法得到的区域中心线会带有毛刺,为了去除毛刺对后续分析的影响,我们设置阈值Tu来消除中心线上的细小分支。最终的骨架S定义为:
C={(i,j)|max(|ux|,|uy|)>Tu}
ux=U(i+1,j)-U(i,j),uy=U(i,j+1)-U(i,j)
上式中表示当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于Tu时,该点为骨架点。Tu值越大,被忽略的细节越多;Tu值越小,被保留的细节越多。经过阈值处理后,鱼体中心线的主体结构得到保留,而细小的毛刺将被忽略。
c.鱼头端点检测:中心线描述了运动区域的主体形状特征,线的端点表示鱼头或鱼尾位置。无论中心线的形状如何变化,只要能够得到中心线的端点,这些端点一般均位于鱼头或鱼尾区域,为了进一步提高检测性能,排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点,我们对上一步得到的所有端点进行过滤,只有端点距离其最近交叉点的长度大于阈值Tl时,该端点才被认为是鱼头或鱼尾端点,否则过滤该端点。由于鱼的头部宽度大于尾部宽度,我们以得到的端点为圆心,以该点到区域边缘的最小距离为半径做圆,则圆的直径能近似表示端点位置的区域宽度,然后通过设定的宽度阈值Tw来判定端点是否属于鱼头端点。
d.鱼头方向计算:图像的Hessain矩阵能够描述图像的局部结构信息,Hessian矩阵的特征值和特征向量能用来表示区域正交方向上的曲率和方向。利用这一特性,我们使用鱼头端点的Hessian矩阵来计算鱼头区域的方向。首先使用不同尺度生成的高斯模板对图像进行卷积运算,得到图像在各个尺度下的DoH响应值,然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵。假设鱼头端点为(xe,ye),最大响应值的尺度为s,该尺度下对应的Hessian矩阵表示为:
令λ1和λ2,|λ1|>|λ2|,分别表示Hessian矩阵的特征值,对应的特征向量α1和α2分别表示(xe,ye)点曲率最大和最小的方向,则鱼头区域的方向能表示为arctan(α1/α2)。
(2)目标跟踪
a.代价函数计算:虽然斑马鱼的运动具有随机性,但是通过观察可以发现,在相邻两帧图像中,鱼头的运动状态与鱼头的位置和方向之间具有一定关系。这一关系主要表现为:在相邻两帧图像中,同一目标的鱼头位置和方向的变化较小,不同目标的鱼头位置和方向变化较大。为了在跟踪中使用这一规律,同时简化计算,定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下:
这里pcmax和dcmax分别表示鱼在相邻帧间的最大方向变化和最大位置变化;pcij和dcij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化;ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重。
b.全局优化关联:根据代价函数,利用全局优化方法对相邻帧目标进行关联。假设前一帧目标数为n,当前帧目标数为m,则定义m行×n列的代价函数矩阵,并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联。如果已经关联过的前一帧目标,则从代价函数矩阵中删除该目标所在列;如果存在前一帧的目标没有被关联(n>m),则在当前帧中保持该目标在前一帧中的状态;如果存在当前帧的目标没有被关联(n<m),则忽略该目标。为了减少关联数量,提高跟踪性能,我们定义一个最大遮挡距离阈值,只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联,否则不进行关联。
本发明方法实际应用表明:能够较好的处理斑马鱼复杂运动带来的跟踪问题,具有较好的跟踪效果,适宜于视频图像的斑马鱼跟踪。
Claims (1)
1.一种基于视频图像的斑马鱼跟踪方法,其特征在于该方法由目标检测和目标跟踪两部分构成;其中:目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤;目标跟踪包括代价函数计算和全局优化关联两个步骤;该方法的具体步骤如下:
(1)运动区域分割
使用基于时域的中值滤波法对背景进行建模来获得运动区域,即:选取视频的前n帧图像的中值图像作为背景图像,通过对背景图像与输入图像的差分图像进行阈值化处理分割出图像中的运动区域:
式中:It(x,y)表示第t帧图像,表示由前n帧中值图像得到的背景图像,Rt(x,y)表示得到的运动区域;
(2)中心线提取
使用快速行进算法提取中心线,即:在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U,然后构造新的活动窄带,如此循环,得到整个平面上每个点的到达时间U,通过设置阈值Tu来消除中心线上的细小分支,最终的骨架S定义为:
C={(i,j)|max(|ux|,|uy|)>Tu}
ux=U(i+1,j)-U(i,j),uy=U(i,j+1)-U(i,j)
上式中表示:当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于Tu时,该点为骨架点;Tu值越大,被忽略的细节越多;Tu值越小,被保留的细节越多;
(3)鱼头端点检测
中心线描述了运动区域的主体形状特征,线的端点表示鱼头或鱼尾位置;为排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点,对上一步得到的所有端点进行过滤,只有端点距离其最近交叉点的长度大于阈值Tl时,该端点才被认为是鱼头或鱼尾端点,否则过滤该端点;由于鱼的头部宽度大于尾部宽度,我们以得到的端点为圆心,以该点到区域边缘的最小距离为半径做圆,则圆的直径能够近似表示端点位置的区域宽度,然后通过设定的宽度阈值Tw来判定端点是否属于鱼头端点;
(4)鱼头方向计算
使用鱼头端点的Hessian矩阵来计算鱼头区域的方向,即:首先使用不同尺度生成的高斯模板对图像进行卷积运算,得到图像在各个尺度下的DoH响应值,然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵,设鱼头端点为(xe,ye),最大响应值的尺度为s,该尺度下对应的Hessian矩阵表示为:
令λ1和λ2,|λ1|>|λ2|,分别表示Hessian矩阵的特征值,对应的特征向量α1和α2分别表示(xe,ye)点曲率最大和最小的方向,则鱼头区域的方向表示为arctan(α1/α2);
(5)代价函数计算
斑马鱼在相邻两帧图像中,同一目标的鱼头位置和方向的变化较小,不同目标的鱼头位置和方向变化较大,为在跟踪中使用这一规律,定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下:
这里pcmax和dcmax分别表示鱼在相邻帧间的最大方向变化和最大位置变化;pcij和dcij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化;ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重;
(6)全局优化关联
根据代价函数,利用全局优化方法对相邻帧目标进行关联,即:设前一帧目标数为n,当前帧目标数为m,则定义m行×n列的代价函数矩阵,并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联;如果已经关联过的前一帧目标,则从代价函数矩阵中删除该目标所在列;如果存在前一帧的目标没有被关联(n>m),则在当前帧中保持该目标在前一帧中的状态;如果存在当前帧的目标没有被关联(n<m),则忽略该目标;为减少关联数量,提高跟踪性能,定义一个最大遮挡距离阈值To,只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联,否则不进行关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510181901.XA CN104766346B (zh) | 2015-04-15 | 2015-04-15 | 一种基于视频图像的斑马鱼跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510181901.XA CN104766346B (zh) | 2015-04-15 | 2015-04-15 | 一种基于视频图像的斑马鱼跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104766346A CN104766346A (zh) | 2015-07-08 |
CN104766346B true CN104766346B (zh) | 2017-06-20 |
Family
ID=53648151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510181901.XA Expired - Fee Related CN104766346B (zh) | 2015-04-15 | 2015-04-15 | 一种基于视频图像的斑马鱼跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104766346B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105225229B (zh) * | 2015-09-07 | 2017-09-05 | 三峡大学 | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 |
CN107549036B (zh) * | 2016-08-02 | 2020-03-27 | 山东师范大学 | 基于电、视频信号的水生生物行为在线监测系统及方法 |
CN106417104A (zh) * | 2016-08-31 | 2017-02-22 | 北京农业信息技术研究中心 | 养殖鱼类游动方向测定系统和方法 |
CN106875429B (zh) * | 2017-03-02 | 2018-02-02 | 楚雄师范学院 | 鱼群三维跟踪方法及系统 |
CN108563841B (zh) * | 2018-03-23 | 2021-09-21 | 杭州群核信息技术有限公司 | 一种用于室内设计的饰品智能摆放系统 |
CN109145808B (zh) * | 2018-08-17 | 2022-06-21 | 郑州轻工业学院 | 一种基于自适应鱼体弯曲模型的金枪鱼识别方法 |
CN110519532A (zh) * | 2019-09-02 | 2019-11-29 | 中移物联网有限公司 | 一种信息获取方法及电子设备 |
CN112070799A (zh) * | 2020-05-29 | 2020-12-11 | 清华大学 | 基于人工神经网络的鱼类轨迹跟踪方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004021282A1 (ja) * | 2002-08-29 | 2004-03-11 | Japan Science And Technology Agency | 動物の行動解析方法、動物の行動解析システム、動物の行動解析プログラムならびにそれを記録したコンピュータ読み取り可能な記録媒体 |
CN101162525A (zh) * | 2007-11-29 | 2008-04-16 | 哈尔滨工程大学 | 基于Mean Shift和人工鱼群智能优化的人体多关节特征跟踪方法 |
CN103955688A (zh) * | 2014-05-20 | 2014-07-30 | 楚雄师范学院 | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 |
-
2015
- 2015-04-15 CN CN201510181901.XA patent/CN104766346B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004021282A1 (ja) * | 2002-08-29 | 2004-03-11 | Japan Science And Technology Agency | 動物の行動解析方法、動物の行動解析システム、動物の行動解析プログラムならびにそれを記録したコンピュータ読み取り可能な記録媒体 |
CN101162525A (zh) * | 2007-11-29 | 2008-04-16 | 哈尔滨工程大学 | 基于Mean Shift和人工鱼群智能优化的人体多关节特征跟踪方法 |
CN103955688A (zh) * | 2014-05-20 | 2014-07-30 | 楚雄师范学院 | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 |
Non-Patent Citations (8)
Title |
---|
An Augmented Fast Marching Method for Computing Skeletons and Centerlines;Alexandru Telea 等;《Joint EUROGRAPHICS - IEEE TCVG Symposium on Visualization》;20021231;1-10 * |
An automated system for measuring parameters of nematode sinusoidal movement;Christopher J Cronin 等;《BMC Genetics》;20051231;第6卷(第1期);1-19 * |
Automated visual tracking for studying the ontogeny of zebrafish swimming;Ebraheem Fontaine 等;《Journal of Experimental Biology》;20081231;第211卷;1305-1316 * |
Automatic Tracking, Feature Extraction and Classification of C. elegans Phenotypes;Wei Geng 等;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20041031;第10卷(第51期);1811-1820 * |
Automatically Detect and Track Multiple Fish Swimming in Shallow Water with Frequent Occlusion;Zhi -Ming Qian 等;《Plos One》;20140930;第9卷(第9期);1-12 * |
Feature Detection with A utomatic Scale Selection;Tony Lindeberg;《International Journal of Computer Vision》;19981231;第30卷(第2期);1-53 * |
基于视频图像的鱼类行为轨迹追踪;江丹丹 等;《浙江海洋学院学报(自然科学版)》;20150315;第34卷(第2期);112-118 * |
基于计算机视觉的鱼类运动监测系统研究;周鸿斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100215;I140-311 * |
Also Published As
Publication number | Publication date |
---|---|
CN104766346A (zh) | 2015-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104766346B (zh) | 一种基于视频图像的斑马鱼跟踪方法 | |
WO2020134082A1 (zh) | 一种路径规划方法、装置和移动设备 | |
CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
WO2017041396A1 (zh) | 一种车道线数据的处理方法、装置、存储介质及设备 | |
CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
CN107424177A (zh) | 基于连续相关滤波器的定位修正长程跟踪算法 | |
CN109163722B (zh) | 一种仿人机器人路径规划方法及装置 | |
CN113255611B (zh) | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 | |
CN106295564B (zh) | 一种邻域高斯结构和视频特征融合的动作识别方法 | |
CN105741316A (zh) | 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法 | |
CN111881790A (zh) | 一种高精度地图制作中道路人行横道自动化提取方法和装置 | |
CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
WO2022121177A1 (zh) | 一种基于扫描线的道路点云的提取方法 | |
CN111523463B (zh) | 基于匹配-回归网络的目标跟踪方法及训练方法 | |
CN113706581A (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN106778767B (zh) | 基于orb和主动视觉的视觉图像特征提取及匹配方法 | |
CN102592128A (zh) | 一种动态图像检测处理方法、装置及显示终端 | |
CN110008900A (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
CN104992403A (zh) | 一种基于视觉相似度度量的混合操作算子图像重定向方法 | |
CN111027586A (zh) | 一种基于新型响应图融合的目标跟踪方法 | |
CN106887012A (zh) | 一种基于循环矩阵的快速自适应多尺度目标跟踪方法 | |
CN108961385A (zh) | 一种slam构图方法及装置 | |
CN108986127A (zh) | 图像分割神经网络的训练方法及图像分割方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170620 |