CN105989351A - 一种指纹图像背景分割的方法 - Google Patents

一种指纹图像背景分割的方法 Download PDF

Info

Publication number
CN105989351A
CN105989351A CN201510100133.0A CN201510100133A CN105989351A CN 105989351 A CN105989351 A CN 105989351A CN 201510100133 A CN201510100133 A CN 201510100133A CN 105989351 A CN105989351 A CN 105989351A
Authority
CN
China
Prior art keywords
point
bound
boundary
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510100133.0A
Other languages
English (en)
Other versions
CN105989351B (zh
Inventor
田慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU FINCHOS ELECTRON Co Ltd
Original Assignee
CHENGDU FINCHOS ELECTRON Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU FINCHOS ELECTRON Co Ltd filed Critical CHENGDU FINCHOS ELECTRON Co Ltd
Priority to CN201510100133.0A priority Critical patent/CN105989351B/zh
Publication of CN105989351A publication Critical patent/CN105989351A/zh
Application granted granted Critical
Publication of CN105989351B publication Critical patent/CN105989351B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

本发明涉及一种指纹图像背景分割的方法,包括如下步骤:步骤1,根据相邻指纹序列帧间图像块差分和粗提取指纹信息边界值;步骤2,根据相邻两点边界值差分绝对值寻找稳定边界点;步骤3,根据相邻边界点差分绝对值和相邻边界点的偏移位置定位法处理异常边界值;步骤4,根据指纹边界偏移方向平滑处理边界值;步骤5,根据左右指纹边界值,替换掉指纹图像背景,使指纹图像背景更干净。本发明的指纹图像分割方法简单、运算速度快、能够在通用的ARM芯片里实现,该方法对于低质量的指纹图像和背景突变的指纹图像分割更准确,适应范围广,可用于滑动式指纹传感器、面状式指纹传感器等采集的指纹图像。

Description

一种指纹图像背景分割的方法
技术领域
本发明属于图像处理技术领域,具体涉及一种指纹图像背景分割的方法。
背景技术
随着指纹识别应用的推广,高性能的指纹识别系统需要准确而快速的提取指纹特征信息和指纹匹配算法。但是现有多数采集仪由于各种原因,在指纹录取过程中通常会引入噪点,导致指纹背景不干净。引入的噪点会严重影响到后期图像处理,细节点提取等,从而影响指纹应用效果。为了提高指纹特征提取的准确度,通常先对指纹图像进行背景分割,以去掉不含真实纹路的信息,从而指纹特征提取只需在真实指纹纹路区域里提取,同时又避免了背景和边界伪细节点的产生。
现有常用的指纹图像分割方法有:a.根据图像灰度特性的分割方法,利用指纹图像灰度平均值和方差对指纹图像进行分割,有全局阈值分割和自适应阈值分割。全局阈值分割依赖于图像分布的双峰特性,如果双峰效果不明显或者呈多峰分布,分割效果就不理想。自适应阈值分布会将对比度低且方向性强的区域容易分割掉,但是自适应分割多存在块效应;b.其他分割算法多数基于方向场、频率场、能量场的方法进行分割,该方法运算复杂,对低质量的指纹图像处理效率低,且只能用于DSP器件进行处理,导致一般的ARM芯片和ASIC无法实现。
现有技术中基于图像灰度特性进行分割,对指纹图像质量或背景突变的适应性低,存在对质量差的指纹图像或背景存在突变的指纹图像分割不准确的缺陷。其它指纹图像背景分割算法太复杂,多使用超函数,导致一般的ARM芯片和ASIC实现非常困难。
发明内容
本发明针对现有技术的不足,提供了一种运算简单、快速、适用、效果理想的指纹图像背景分割方法,其特征在于包括如下步骤:
步骤1,根据相邻指纹序列帧间图像块差分和粗提取指纹信息边界值;
步骤2,从指纹图像的最后一个边界值向第一个边界值进行跟踪,根据相邻两点边界值差分绝对值寻找连续N帧边界稳定变化的点;
步骤3,从指纹边界稳定变化的点分别向第一个边界点和最后一个边界点进行跟踪处理,根据相邻边界点差分绝对值和相邻边界点的偏移位置定位法处理异常边界值;
步骤4,根据指纹边界值偏移方向对边界值进行平滑处理,使指纹边界更流畅、更符合指纹形状;
步骤5,根据左右指纹边界值,替换掉指纹图像背景,使指纹图像背景更干净。
具体技术方案为:假设输入图像为I,图像的高度为IMAGE_H,图像的宽度为IMAGE_W,设相邻指纹序列帧为IP和IP+1。将IP和IP+1重合,在水平方向上以步进为2个像素点,垂直方向上以步进为b个像素点进行跳变,将图像划分为b×b的图像块。其中,6≤b≤32,且b≤IMAGE_H,b≤IMAGE_W。W(i,j)表示图像I的第i行、第j列的像素,0≤i<IMAGE_H,0≤j<IMAGE_W。
本发明具体步骤为:
第一步,根据相邻指纹序列帧间图像块差分和来提取指纹边界值。其中,差分和运算公式为:
dif _ sum = Σ i = m × b , j = n × 2 ( m + 1 ) × b - 1 , n × 2 + 1 ( W P ( i , j ) - W P + 1 ( i , j ) ) 2
其中dif_sum表示差分和,m表示垂直方向的第m块图像,n表示水平方向上的第n块图像。WP(i,j)为IP第i行、第j列块的像素,WP+1(i,j)为IP+1第i行、第j列块的像素。所述Ip(p=1,2,3……)为第p帧指纹序列,Ip+1(p=1,2,3……)为第p+1帧指纹序列;滑动式传感器的Ip与Ip+1为相邻帧指纹序列,面状式传感器的Ip为背景图像,Ip+1为指纹图像。
根据差分和提取指纹边界值的方法为:通过差分和阈值dif_sum_th判断两个图像块的相似度,如果dif_sum≥dif_sum_th,表示当前选取的图像块包含指纹信息,该图像块的几何中心列坐标即为指纹边界值;否则表示两个图像块的相似度很高,为背景图像,在水平方向上移动,继续提取边界值;边界值提取完成,用left(m)表示指纹左边界值,right(m)表示指纹右边界值;block(m,n)表示图像I的第m行、第n列的块,其中m=[i/b],满足0≤m≤[IMAGE_H/b]。
第二步,从指纹图像的最后一个边界值向第一个边界值进行跟踪,根据相邻两点边界值差分绝对值寻找稳定边界点。
某些质量差的指纹图像存在背景突变的情况,只用差分和判断指纹边界信息,会导致背景剔错的现象(多剔除背景或少剔除背景)。考虑指纹边界连续性,所以本发明提出了一种基于稳定边界点进行背景跟踪处理异常边界点(多剔除背景或少剔除背景边界点)的方法。
具体地,根据相邻两点边界值差分绝对值寻找稳定边界点的方法为:从指纹图像的最后一个边界点向第一个边界点进行边界跟踪,根据相邻两个指纹边界信息差分绝对值小于阈值OFF_TH,以此方法分别找到左右边界连续N个点都满足此条件的点,将连续N个点的第一个跟踪点定为稳定边界点,将左边界稳定的点记为left_st_pot,右边界稳定的点记为right_st_pot。
如果在统计的N个点之内出现异常边界点,从异常边界点后续一个点重新跟踪,直到找到连续N个稳定变化的边界点;如果所有点跟踪完成后,仍未找到连续N个稳定变化的边界值,返回失败,说明该指纹图像质量非常差,否则进入步骤3。
所述最后一个边界点为垂直方向上最后一个块所对应的边界值。第一个边界点为垂直方向上第一个图像块所对应的边界值。所述N和OFF_TH满足6≤N≤32,0≤OFF_TH≤10。
第三步,从指纹边界稳定变化的点分别向第一个边界点和最后一个边界点进行跟踪处理,根据相邻边界点差分绝对值和相邻边界点的偏移位置定位法剔除异常边界值,步骤如下:
(3-1)从稳定点向最后一个点进行跟踪处理时,跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m+1))≥bound_off_th1,直接用m点的左边界值替换掉m+1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m+1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m+1到m+N点的偏移位置,判断方法如下:
S1.初始设置track_bound=left(m+1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m+k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m+k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m+1点附近,即m+1点不是异常边界点;否则使用m点的左边界值替换掉m+1点的左边界值。
所述m表示稳定点在垂直方向属于第m块图像,m满足left_st_pot≤m≤[IMAGE_H/b],所述bound_off_th1和bound_off_th2满足20≥bound_off_th1>bound_off_th2≥4。
同理,从稳定点向最后一个点进行跟踪处理时,跟踪处理图像右边界值。其中,right_st_pot≤m≤[IMAGE_H/b],且20≥bound_off_th1>bound_off_th2≥4;
(3-2)从稳定点向第一个点进行跟踪处理时,跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m-1))≥bound_off_th1,直接用m点的左边界值替换掉m-1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m-1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m-1到m-N点的偏移位置,判断方法如下:
S1.初始设置track_bound=left(m-1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m-k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m-k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m-1点附近,即m-1点不是异常边界点;否则使用m点的左边界值替换掉m-1点的左边界值。
所述m满足,0≤m≤left_st_pot,所述bound_off_th1和bound_off_th2满足20≥bound_off_th1>bound_off_th2≥4。
同理,从稳定点向第一个点进行跟踪处理时,跟踪处理图像右边界值。满足0≤m≤right_st_pot,且20≥bound_off_th1>bound_off_th2≥4。
进一步地,所述步骤3如果在跟踪处理的最后Q个点时,出现相邻两个边界差分绝对值超过bound_off_th1时,可以考虑丢掉最后几个边界点相对应的指纹图像。所述Q满足6≤Q≤12。
第四步,从稳定点边界值分别向第一个边界值和最后一个边界值根据指纹边界偏移方向对边界值进行平滑处理,处理步骤如下:
(4-1)左边界平滑处理,从稳定点向第一个点进行跟踪处理,步骤如下:
S1.设left_bound_pre=left(left_st_pot);
S2.bound_dif=left_bound_pre–left(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最小值min_bound,如果min_bound≤left_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;
根据如下条件对当前边界值进行平滑处理:
条件1:如果bound_dir=1,bound_dif<0,left(m)=left_bound_pre;否则进入条件2;
条件2:如果bound_dir=1,bound_dif>0,left(m)<min_bound,left(m)=min_bound;否则进入条件3;
条件3:如果bound_dir=2,bound_dif<0,left(m)>min_bound,left(m)=min_bound;否则进入条件4;
条件4:如果bound_dir=2,bound_dif>0,left(m)=min_bound。
S4.left_bound_pre=left(m),进入S2循环执行,直到所有点判断完成,其中0≤m<left_st_pot。
同理,从稳定点向最后一个点进行跟踪处理,left_st_pot<m≤[IMAGE_H/b]。
(4-2)右边界平滑处理,从稳定点向第一个点进行跟踪处理,步骤如下:
S1.设right_bound_pre=right(right_st_pot);
S2.bound_dif=right_bound_pre–right(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最大值max_bound,如果max_bound≤right_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;
根据如下条件对当前边界值进行平滑处理:
条件1:如果bound_dir=1,bound_dif<0,right(m)=right_bound_pre;否则进入条件2;
条件2:如果bound_dir=1,bound_dif>0,right(m)<max_bound,right(m)=max_bound;否则进入条件3;
条件3:如果bound_dir=2,bound_dif<0,right(m)>max_bound,right(m)=max_bound;否则进入条件4;
条件4:如果bound_dir=2,bound_dif>0,right(m)=max_bound。
S4.right_bound_pre=right(m),进入S2循环执行,直到所有点判断完成,0≤m<right_st_pot。
同理,从稳定点向最后一个点进行跟踪处理,right_st_pot<m≤[IMAGE_H/b]
第五步,根据左右指纹边界值,替换掉指纹图像背景,使指纹图像背景更干净。所述替换指纹图像背景的方法,为本技术领域所熟知的常用方法。
与现有的方法不同,本发明的有益效果如下:
(1)本发明提供了一种指纹图像背景分割的方法,解决残留纹路、背景突变、低质量指纹图像的分割问题,既能将残留纹路、突变背景区域准确的分为背景,又能准确的分割低质量指纹图像;
(2)本发明提供的一种简单、快速、适用、效果理想的指纹图像背景分割方法,更易于在通用ARM芯片里实现;
(3)本发明适用于任何滑动式指纹传感器、面状式指纹传感器;使用于滑动式指纹传感器时,将相邻指纹序列帧进行图像块差分运算粗提取边界信息;使用于面状式指纹传感器,将背景帧图像与指纹帧图像进行图像块差分粗提取边界信息,后续跟踪平滑处理流程一致。
附图说明
图1是本发明一实施例的指纹图像分割处理流程图;
图2是本发明一实施例的滑动式和面状式传感器的分块示意图,其中(1)是滑动式指纹传感器的前一帧图像Ip,(2)是滑动式指纹传感器的后一帧图像Ip+1,(3)是面状式指纹传感器的背景帧图像Ip,(4)是面状式指纹传感器的指纹帧图像Ip+1
图3是本发明一实施例的平滑处理条件的示意图,其中(1)-(4)分别为平滑处理的4个条件;
图4是本发明一实施例的指纹图像进行分割的分步结果图像,其中(a)是原始图像,(b)是第一次提取边界值标记图,(c)是跟踪处理异常边界标记图,(d)是平滑边界标记图,(e)是分割后的图像。
【图中符号说明】
100、blockp(0,0)
101、blockp(0,1)
102、Wp(i,j)
103、blockp(m,n)
104、blockp+1(0,0)
105、blockp+1(0,1)
106、Wp+1(i,j)
107、blockp+1(m,n)
200、平滑处理前的边界点
201、平滑处理后的边界点
300、原始采集图像
301、模糊背景
302、标记的左边界点
303、标记的右边界点
304、异常边界点
305、左边界稳定点left_st_pot
306、右边界稳定点right_st_pot
307、平滑后的左边界点
308、平滑后的右边界点
309、干净背景
310、处理后的图像
具体实施方式
下面结合附图来说明本发明的优选实施例,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为本发明的指纹图像分割处理流程图,步骤如下:
步骤1,根据图像块差分粗提取指纹边界值;
步骤2,提取左右边界值稳定变化的点;
步骤3,跟踪处理剔除异常的边界值;
步骤4,边界值平滑处理;
步骤5,替换指纹背景灰度值。
本发明适用于任何滑动式指纹传感器和面状式指纹传感器。图2为本发明一实施例的滑动式和面状式传感器的分块示意图。所述Ip(p=1,2,3……)为第p帧指纹序列,Ip+1为(p=1,2,3……)为第p+1帧指纹序列;滑动式传感器的Ip与Ip+1为相邻帧指纹序列,面状式传感器的Ip为背景图像,Ip+1为指纹图像。blockp(0,0)(100)为实施例图像Ip的第0行、第0列的块,blockp(0,1)(101)为实施例图像Ip的第0行、第1列的块,blockp(m,n)(103)为实施例图像Ip的第m行、第n列的块,WP(i,j)(102)为图像IP的第i行、第j列块的像素;blockp+1(0,0)(104)为实施例图像Ip+1的第0行、第0列的块,blockp+1(0,1)(105)为实施例图像Ip+1的第0行、第1列的块,blockp+1(m,n)(107)为实施例图像Ip+1的第m行、第n列的块,WP+1(i,j)(106)为IP+1第i行、第j列块的像素。
假设输入图像为I,图像的高度为IMAGE_H,图像的宽度为IMAGE_W。滑动式指纹传感器由于受限于指纹采集面的长度,采集指纹序列图时,每个时间段采集一帧图像,每一帧图像高度为H’,宽度为W’,边采集边处理。如图2(1)为滑动式指纹传感器的前一帧图像Ip,图2(2)为滑动式指纹传感器的后一帧图像Ip+1,将相邻指纹序列帧进行图像块差分运算粗提取边界信息。最后将所有帧拼接成完整图像,直到没有指纹输入为止,完整图像高度为IMAGE_H,图像的宽度为IMAGE_W。
面状式指纹传感器首先采集背景图Ip,然后采集指纹序列图Ip+1,图像的高度均为IMAGE_H,宽度均为IMAGE_W;两幅图对齐、重合;将两幅图进行分块,如图2(3)为面状式指纹传感器的背景帧图像Ip,图2(4)为面状式指纹传感器的指纹帧图像Ip+1;将背景帧图像与指纹帧图像进行图像块差分粗提取边界信息。
将IP和IP+1重合,在水平方向上以步进为2个像素点,垂直方向上以步进为b个像素点进行跳变,将图像划分为b×b的图像块。其中,6≤b≤32,且b≤IMAGE_H,b≤IMAGE_W。所述W(i,j)表示图像的第i行、第j列的像素。
图3为本发明一实施例对边界值进行平滑处理条件的示意图。图4为本发明实施例的指纹图像进行分割的分步结果图像,其中,(a)为原始图像;(b)为第一次提取边界值标记图;(c)为跟踪处理异常边界标记图;(d)为平滑边界标记图;(e)为分割后的图像。特别要指出,图(b)、(c)、(d)中指纹两侧黑色线条为标记的左右边界点,用于辅助理解本发明,实际采集中并不出现。如图4(a)所示,本发明需要对原始采集图像(300)进行处理,以消除模糊背景(301),下面结合附图对本发明步骤进行详述。
步骤1,根据IP和IP+1间图像块差分和来提取指纹边界值。其中,差分和公式为:
dif _ sum = &Sigma; i = m &times; b , j = n &times; 2 ( m + 1 ) &times; b - 1 , n &times; 2 + 1 ( W P ( i , j ) - W P + 1 ( i , j ) ) 2
其中dif_sum表示差分和,m表示垂直方向的第m块图像,n表示水平方向上的第n块图像。WP(i,j)为IP第i行、第j列块的像素,WP+1(i,j)为IP+1第i行、第j列块的像素。
根据差分和提取指纹边界值的方法为:通过差分和阈值dif_sum_th判断两个图像块的相似度,如果dif_sum≥dif_sum_th,表示当前选取的图像块包含指纹信息,该图像块的几何中心列坐标即为指纹边界值;否则表示两个图像块的相似度很高,为背景图像,在水平方向上移动,继续提取边界值;边界值提取完成,用left(m)表示指纹左边界值,right(m)表示右边界值;block(m,n)表示图像I的第m行、第n列的块,其中m=[i/b],满足0≤m≤[IMAGE_H/b]。
(1)提取左边界值的方法为:从图像左边开始以步长为2向右边开始移动,对于水平方向第n块,找到垂直方向上两块相似度很小的两个图像块,将[n*2+b/2]作为左边界位置记录,记为left(m),如图4(b)所示,标记的左边界点(302)为实施例图像提取的左边界值;
(2)提取右边界值的方法为:从图像右边开始以步长为2向左边开始移动,对于水平方向第n块,找到垂直方向上两块相似度很小的两个图像块,将[n*2+b/2]作为右边界值记录,记为right(m),如图4(b)所示,标记的右边界点(303)为实施例图像提取的右边界值。
如图4(b)所示,标记的边界点可能存在远离图像边界的异常边界点(304),后续需要剔掉此类异常边界值。
步骤2,根据相邻两点边界值差分绝对值寻找稳定边界点。
其方法为:从指纹图像的最后一个边界点向第一个边界点进行边界跟踪,根据相邻两个指纹边界信息差分绝对值小于阈值OFF_TH,以此方法分别找到左右边界连续N个点都满足此条件的点,将连续N个点的第一个跟踪点定为稳定边界点,将左边界稳定的点记为left_st_pot(305),右边界稳定的点记为right_st_pot(306)。所述最后一个边界点为垂直方向上最后一个图像块所对应的边界值。第一个边界点为垂直方向上第一个图像块所对应的边界值。所述N和OFF_TH满足6≤N≤32,0≤OFF_TH≤10。
以图2中block(m,n)(103、107)为例,abs(left(m)-left(m-1))<OFF_TH,abs(left(m-1)-left(m-2))<OFF_TH,……,abs(left(m-N+1)-left(m-N))<OFF_TH,则说明left(m)为左边界稳定点,否则left(m)为异常边界点。同理,可证明right(m)是否为右边界稳定点。
如果在统计的N个点之内出现异常边界点,从异常边界点后续一个点重新跟踪,直到找到连续N个稳定变化的边界点;如果所有点跟踪完成后,仍未找到连续N个稳定变化的边界值,返回失败,说明该指纹图像质量非常差,否则进入步骤3。
步骤3,根据相邻两个边界值差分绝对值和相邻边界点的偏移位置定位法剔掉异常边界值,步骤如下:
(3-1)从左边界稳定点(305)向最后一个点进行跟踪处理时,跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m+1))≥bound_off_th1,说明m+1点偏离稳定点m点太远,m+1点为异常边界点,直接用m点的左边界值替换掉m+1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m+1))≥bound_off_th2,说明m+1点偏离稳定点m点的距离在bound_off_th1与bound_off_th2之间,需要进一步用同样的相邻两个点差分方法,判断m+1到m+N点的偏移位置,判断方法如下:
S1.初始设置track_bound=left(m+1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m+k)),如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m+k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m+1点附近,即m+1点不是异常边界点;否则使用m点的左边界值替换掉m+1点的左边界值。
所述m表示稳定点在垂直方向属于第m块图像,m满足left_st_pot≤m≤[IMAGE_H/b],所述bound_off_th1和bound_off_th2满足20≥bound_off_th1>bound_off_th2≥4。
同理,从右边界稳定点(306)向最后一个点跟踪处理图像右边界值。其中,right_st_pot≤m≤[IMAGE_H/b],且20≥bound_off_th1>bound_off_th2≥4。
(3-2)从左边界稳定点(305)向第一个点进行跟踪处理时,跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m-1))≥bound_off_th1,说明m-1点偏离稳定点m点太远,m-1点为异常边界点,直接用m点的左边界值替换掉m-1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m-1))≥bound_off_th2,说明m-1点偏离稳定点m点的距离在bound_off_th1与bound_off_th2之间,需要进一步用同样的相邻两个点差分方法,判断m-1到m-N点的偏移位置,判断方法如下:
S1.初始设置track_bound=left(m-1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m-k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m-k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m-1点附近,即m-1点不是异常边界点;否则使用m点的左边界值替换掉m-1点的左边界值。
所述m满足,0≤m≤left_st_pot,所述bound_off_th1和bound_off_th2满足20≥bound_off_th1>bound_off_th2≥4。
同理,从右边界稳定点(306)向第一个点跟踪处理图像右边界值。其中,0≤m≤right_st_pot,且20≥bound_off_th1>bound_off_th2≥4。
进一步地,所述步骤3,如果在跟踪处理的最后Q个点时,出现相邻两个边界差分绝对值大于等于bound_off_th1时,可以考虑丢掉最后几个边界点相对应的指纹图像。所述Q满足6≤Q≤12。图4(c)为本发明跟踪处理异常边界的结果图,图(b)的异常边界点(304)已经处理干净。
步骤为4,根据指纹边界偏移方向对边界值进行平滑处理,处理步骤如下:
(4-1)左边界平滑处理,从左边界稳定点(305)向第一个点进行跟踪处理:
S1.设left_bound_pre=left(left_st_pot);
S2.bound_dif=left_bound_pre–left(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最小值min_bound,如果min_bound≤left_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;
根据如下条件对当前边界值进行平滑处理:
条件1:如果bound_dir=1,bound_dif<0,即前面N个边界点相对于后一个边界点向左偏,左边界稳定的点left_st_pot相对于第m图像块运算得到的左边指纹边界值left(m)向左偏,如图3(1)所示,min_bound<left_bound_pre<left(m);平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到左边界稳定的点对应处,即平滑处理后的边界点(201)的位置,left(m)=left_bound_pre;否则进入条件2;
条件2:如果bound_dir=1,bound_dif>0,left(m)<min_bound,如图3(2)所示,left(m)<min_bound<left_bound_pre;平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最小值min_bound对应处,即平滑处理后的边界点(201)的位置,left(m)=min_bound;否则进入条件3;
条件3:如果bound_dir=2,bound_dif<0,left(m)>min_bound,如图3(3)所示,left(m)>min_bound>left_bound_pre;平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最小值min_bound对应处,即平滑处理后的边界点(201)的位置,left(m)=min_bound;否则进入条件4;
条件4:如果bound_dir=2,bound_dif>0,如图3(4)所示,min_bound>left_bound_pre>left(m);平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最小值min_bound对应处,即平滑处理后的边界点(201)的位置,left(m)=min_bound。
S4.left_bound_pre=left(m),进入S2循环执行,直到所有点判断完成,0≤m<left_st_pot。
同理,从左边界稳定点(305)向最后一个点进行跟踪处理,left_st_pot<m≤[IMAGE_H/b]
(4-2)右边界平滑处理,从右边界稳定点(306)向第一个点进行跟踪处理:
S1.设right_bound_pre=right(right_st_pot);
S2.bound_dif=right_bound_pre–right(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最大值max_bound,如果max_bound≤right_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;
根据如下条件对当前边界值进行平滑处理:
条件1:如果bound_dir=1,bound_dif<0,即前面N个边界点相对于后一个边界点向左偏,右边界稳定的点right_st_pot相对于第m图像块运算得到的右边指纹边界值right(m)向左偏,如图3(1)所示,max_bound<left_bound_pre<left(m);平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到右边界稳定的点对应处,即平滑处理后的边界点(201)的位置,right(m)=right_bound_pre;否则进入条件2
条件2:如果bound_dir=1,bound_dif>0,right(m)<max_bound,如图3(2)所示,right(m)<max_bound<right_bound_pre;平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最大值max_bound对应处,即平滑处理后的边界点(201)的位置,right(m)=max_bound;否则进入条件3
条件3:如果bound_dir=2,bound_dif<0,right(m)>max_bound,如图3(3)所示,right(m)>max_bound>right_bound_pre;平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最大值max_bound对应处,即平滑处理后的边界点(201)的位置,right(m)=max_bound;否则进入条件4
条件4:如果bound_dir=2,bound_dif>0,如图3(4)所示,max_bound>right_bound_pre>right(m);平滑时,第m块边界值从平滑处理前的边界点(200)沿着图中箭头方向平滑到前面N个边界点的最大值max_bound对应处,即平滑处理后的边界点(201)的位置,right(m)=max_bound。
S4.right_bound_pre=right(m),进入S2循环执行,直到所有点判断完成,0≤m<right_st_pot。
同理,从右边界稳定点(306)向最后一个点进行跟踪处理,right_st_pot<m≤[IMAGE_H/b]。图4(d)为平滑处理的结果图,可看到较之前更为平滑的平滑后的左边界点(307)及平滑后的右边界点(308)
步骤5,根据左右指纹边界值,替换掉指纹图像背景,使指纹图像背景更干净,图4(e)为替换掉指纹图像背景的结果图,其中可看到经过本发明指纹图像背景分割方法处理后的图像(310)及干净的背景(309)。所述替换指纹图像背景的方法,为本技术领域所熟知的常用方法。
本发明的参数范围均通过测试得到。本发明实施例的详细描述和附图只是用于说明本发明,而不是限制由权利要求和其等价物定义的本发明的范围。

Claims (10)

1.一种指纹图像背景分割的方法,其特征在于,包括:
步骤1,根据相邻指纹序列帧间图像块差分和粗提取指纹信息边界值;
步骤2,根据相邻两点边界值差分绝对值寻找稳定边界点;
步骤3,根据相邻边界点差分绝对值和相邻边界点的偏移位置定位法处理异常边界值;
步骤4,根据指纹边界偏移方向平滑处理边界值;
步骤5,根据左右指纹边界值,替换掉指纹图像背景。
2.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述相邻指纹序列帧间图像块划分方法为:将采集的所有指纹帧序列组合为图像高度为IMAGE_H,宽度为IMAGE_W的图像I;水平方向上移动步长为2个像素点,垂直方向上移动步长为b个像素点,将I划分为b×b的图像块;所述b满足6≤b≤32,且b≤IMAGE_H和b≤IMAGE_W;W(i,j)表示图像I的第i行、第j列的像素,0≤i<IMAGE_H,0≤j<IMAGE_W。
3.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述的差分和公式为:
dif _ sum = &Sigma; i = m &times; b , j = n &times; 2 ( m + 1 ) &times; b - 1 , n &times; 2 + 1 ( W P ( i , j ) - W P + 1 ( i , j ) ) 2
其中dif_sum表示差分和,m表示垂直方向的第m块图像,n表示水平方向上的第n块图像;WP(i,j)为IP第i行、第j列块的像素,WP+1(i,j)为IP+1第i行、第j列块的像素;所述Ip(p=1,2,3……)为第p帧指纹序列,Ip+1(p=1,2,3……)为第p+1帧指纹序列;滑动式传感器的Ip与Ip+1为相邻帧指纹序列,面状式传感器的Ip为背景图像,Ip+1为指纹图像。
4.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述根据差分和提取指纹边界值的方法为:如果dif_sum≥dif_sum_th,表示当前选取的图像块包含指纹信息,该图像块的几何中心列坐标即为指纹边界值;否则表示两个图像块的相似度很高,为背景图像,在水平方向上移动,继续提取边界值;边界值提取完成,用left(m)表示指纹左边界值,right(m)表示指纹右边界值;block(m,n)表示图像I的第m行、第n列的块,其中m=[i/b],满足0≤m≤[IMAGE_H/b];所述dif_sum_th为差分和阈值。
5.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述寻找稳定边界点的方法为:从指纹图像的最后一个边界点向第一个边界点进行边界跟踪,根据相邻两个指纹边界信息差分绝对值小于阈值OFF_TH,以此方法分别找到左右边界连续N个点都满足此条件的点,将连续N个点的第一个跟踪点定为稳定边界点,将左边界稳定的点记为left_st_pot,右边界稳定的点记为right_st_pot;
所述最后一个边界点为垂直方向上最后一个图像块所对应的边界值;所述第一个边界点为垂直方向上第一个图像块所对应的边界值;所述N和OFF_TH满足6≤N≤32,0≤OFF_TH≤10。
6.如权利要求5所述的指纹图像背景分割的方法,其特征在于,所述寻找稳定边界点的方法包括:
(2-1)如果在统计的N个点之内出现异常边界点,从异常边界点后续一个点重新跟踪,直到找到连续N个稳定变化的边界点;
(2-2)如果所有点跟踪完成后,仍未找到连续N个稳定变化的边界值,返回失败,说明该指纹图像质量非常差,否则进入步骤3。
7.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述处理异常边界值的方法为:
(3-1)从稳定点向最后一个边界点跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m+1))≥bound_off_th1,直接用m点的左边界值替换掉m+1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m+1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m+1到m+N点的偏移位置;
所述m满足left_st_pot≤m≤[IMAGE_H/b];
(3-2)从稳定点向最后一个边界点跟踪处理图像右边界值:
Step1.如果abs(right(m)–right(m+1))≥bound_off_th1,直接用m点的右边界值替换掉m+1点的右边界值,否则进入Step2;
Step2.如果abs(right(m)–right(m+1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m+1到m+N点的偏移位置;
所述m满足right_st_pot≤m≤[IMAGE_H/b];
(3-3)从稳定点向第一个边界点跟踪处理图像左边界值:
Step1.如果abs(left(m)–left(m–1))≥bound_off_th1,直接用m点的左边界值替换掉m-1点的左边界值,否则进入Step2;
Step2.如果abs(left(m)–left(m–1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m–1到m–N点的偏移位置;
所述m满足0≤m≤left_st_pot;
(3-4)从稳定点向第一个边界点跟踪处理图像右边界值:
Step1.如果abs(right(m)–right(m–1))≥bound_off_th1,直接用m点的右边界值替换掉m-1点的右边界值,否则进入Step2;
Step2.如果abs(right(m)–right(m–1))≥bound_off_th2,用同样的相邻两个点差分方法,判断m–1到m–N点的偏移位置;
所述m满足0≤m≤right_st_pot;
所述bound_off_th1和bound_off_th2满足20≥bound_off_th1>bound_off_th2≥4。
8.如权利要求7所述的指纹图像背景分割的方法,其特征在于,所述根据相邻两个点差分方法判断偏移位置的方法包括:
(1)从稳定点向最后一个边界点跟踪处理图像左边界值,判断m+1到m+N点的偏移位置的方法:
S1.初始设置track_bound=left(m+1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m+k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m+k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m+1点附近,即m+1点不是异常边界点;否则使用m点的左边界值替换掉m+1点的左边界值;
(2)从稳定点向最后一个边界点跟踪处理图像右边界值,判断m+1到m+N点的偏移位置的方法:
S1.初始设置track_bound=right(m+1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–right(m+k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=right(m+k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m+1点附近,即m+1点不是异常边界点;否则使用m点的右边界值替换掉m+1点的右边界值;
(3)从稳定点向第一个边界点跟踪处理图像左边界值,判断m–1到m–N点的偏移位置的方法:
S1.初始设置track_bound=left(m-1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–left(m-k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=left(m-k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m-1点附近,即m-1点不是异常边界点;否则使用m点的左边界值替换掉m-1点的左边界值;
(4)从稳定点向第一个边界点跟踪处理图像右边界值,判断m–1到m–N点的偏移位置的方法:
S1.初始设置track_bound=right(m-1),cnt=0,k=2;
S2.使用差分绝对值判断,dif=abs(track_bound–right(m-k));如果dif<bound_off_th2,cnt=cnt+1,track_bound=right(m-k);否则cnt、track_bound保持不变;k=k+1,2≤k≤N;循环此步骤,直到k=N为止;所述cnt记录了m+1附近点的数目;
S3.如果cnt≥2/3k,表示后续大部分边界值在m-1点附近,即m-1点不是异常边界点;否则使用m点的右边界值替换掉m-1点的右边界值。
9.如权利要求1所述的指纹图像背景分割的方法,其特征在于,所述根据指纹边界偏移方向平滑处理边界值包括:
(4-1)左边界平滑处理,包括从稳定点向第一个点进行跟踪处理和从稳定点向最后一个点进行跟踪处理,步骤如下:
S1.设left_bound_pre=left(left_st_pot);
S2.bound_dif=left_bound_pre–left(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最小值min_bound,如果min_bound≤left_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;并根据平滑处理的条件对当前边界值进行平滑处理;
S4.left_bound_pre=left(m),进入S2循环执行,直到所有点判断完成;
对于从稳定点向第一个点进行跟踪处理,所述m满足0≤m<left_st_pot;对于从稳定点向最后一个点进行跟踪处理,所述m满足left_st_pot<m≤[IMAGE_H/b];
(4-2)右边界平滑处理,包括从稳定点向第一个点进行跟踪处理和从稳定点向最后一个点进行跟踪处理,步骤如下:
S1.设right_bound_pre=right(right_st_pot);
S2.bound_dif=right_bound_pre–right(m),如果bound_dif为0,进入S4;否则执行S3;
S3.提取m边界点的前面N个边界点的最大值max_bound,如果max_bound≤right_bound_pre,表示前面N个边界点相对于后一个边界点向左偏,bound_dir=1;否则表示前面N个边界点相对于后一个边界点向右偏,bound_dir=2;并根据平滑处理的条件对当前边界值进行平滑处理;
S4.right_bound_pre=right(m),进入S2循环执行,直到所有点判断完成;
对于从稳定点向第一个点进行跟踪处理,所述m满足0≤m<right_st_pot;对于从稳定点向最后一个点进行跟踪处理,所述m满足right_st_pot<m≤[IMAGE_H/b]。
10.如权利要求9所述的指纹图像背景分割的方法,其特征在于,所述对当前边界值进行平滑处理的条件为:
(1)左边界平滑处理时,平滑处理的条件:
条件1:如果bound_dir=1,bound_dif<0,left(m)=left_bound_pre;否则进入条件2;
条件2:如果bound_dir=1,bound_dif>0,left(m)<min_bound,left(m)=min_bound;否则进入条件3;
条件3:如果bound_dir=2,bound_dif<0,left(m)>min_bound,left(m)=min_bound;否则进入条件4;
条件4:如果bound_dir=2,bound_dif>0,left(m)=min_bound;
(2)右边界平滑处理时,平滑处理的条件:
条件1:如果bound_dir=1,bound_dif<0,right(m)=right_bound_pre;否则进入条件2;
条件2:如果bound_dir=1,bound_dif>0,right(m)<max_bound,right(m)=max_bound;否则进入条件3;
条件3:如果bound_dir=2,bound_dif<0,right(m)>max_bound,right(m)=max_bound;否则进入条件4;
条件4:如果bound_dir=2,bound_dif>0,right(m)=max_bound。
CN201510100133.0A 2015-03-06 2015-03-06 一种指纹图像背景分割的方法 Expired - Fee Related CN105989351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510100133.0A CN105989351B (zh) 2015-03-06 2015-03-06 一种指纹图像背景分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510100133.0A CN105989351B (zh) 2015-03-06 2015-03-06 一种指纹图像背景分割的方法

Publications (2)

Publication Number Publication Date
CN105989351A true CN105989351A (zh) 2016-10-05
CN105989351B CN105989351B (zh) 2019-07-23

Family

ID=57039419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510100133.0A Expired - Fee Related CN105989351B (zh) 2015-03-06 2015-03-06 一种指纹图像背景分割的方法

Country Status (1)

Country Link
CN (1) CN105989351B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851369A (zh) * 2017-01-07 2017-06-13 广州博冠光电技术有限公司 一种基于网络电视的信息交互方法及其信息交互系统
KR20200000569A (ko) * 2018-06-25 2020-01-03 주식회사 바이오로그디바이스 지문이미지에 베젤 자국 검출 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120555A1 (en) * 2002-12-20 2004-06-24 Lo Peter Zhen-Ping Slap print segmentation system and method
CN1716274A (zh) * 2004-07-02 2006-01-04 电子科技大学 一种基于方向信息的指纹图像分割方法
US20060147096A1 (en) * 2005-01-05 2006-07-06 Dong-Jae Lee Fingerprint region segmenting apparatus, directional filter unit and methods thereof
CN101329725A (zh) * 2008-07-30 2008-12-24 电子科技大学 基于梯度投影和形态学的指纹图像分割方法
CN102254173A (zh) * 2011-07-05 2011-11-23 山东志华信息科技股份有限公司 基于k均值聚类与线性邻域传播结合的指纹图像分割方法
CN106342325B (zh) * 2009-12-23 2013-08-14 凯迈(洛阳)电子有限公司 一种指纹图像的区域分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120555A1 (en) * 2002-12-20 2004-06-24 Lo Peter Zhen-Ping Slap print segmentation system and method
CN1716274A (zh) * 2004-07-02 2006-01-04 电子科技大学 一种基于方向信息的指纹图像分割方法
US20060147096A1 (en) * 2005-01-05 2006-07-06 Dong-Jae Lee Fingerprint region segmenting apparatus, directional filter unit and methods thereof
CN101329725A (zh) * 2008-07-30 2008-12-24 电子科技大学 基于梯度投影和形态学的指纹图像分割方法
CN106342325B (zh) * 2009-12-23 2013-08-14 凯迈(洛阳)电子有限公司 一种指纹图像的区域分割方法
CN102254173A (zh) * 2011-07-05 2011-11-23 山东志华信息科技股份有限公司 基于k均值聚类与线性邻域传播结合的指纹图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHONGCHAO SHI ET AL.: "A New Segmentation Algorithm for Low Quality Fingerprint Image", 《PROCEEDINGS OF THE THIRD INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS (ICIG’04)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851369A (zh) * 2017-01-07 2017-06-13 广州博冠光电技术有限公司 一种基于网络电视的信息交互方法及其信息交互系统
KR20200000569A (ko) * 2018-06-25 2020-01-03 주식회사 바이오로그디바이스 지문이미지에 베젤 자국 검출 시스템
KR102139190B1 (ko) * 2018-06-25 2020-07-29 주식회사 바이오로그디바이스 지문이미지에 베젤 자국 검출 시스템

Also Published As

Publication number Publication date
CN105989351B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN103413276A (zh) 一种基于纹理分布特征的深度增强方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN106127145A (zh) 瞳孔定位及跟踪方法
CN108921813A (zh) 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法
CN112464847B (zh) 视频中人体动作切分方法及装置
Er-Sen et al. An adaptive edge-detection method based on the canny operator
CN111178161A (zh) 一种基于fcos的车辆追踪方法及系统
CN108200432A (zh) 一种基于视频压缩域的目标跟踪技术
Nguyen et al. A real-time ellipse detection based on edge grouping
CN115131420A (zh) 基于关键帧优化的视觉slam方法及装置
CN112132103A (zh) 一种视频人脸检测识别方法和系统
CN105426816A (zh) 一种处理人脸图像的方法及装置
CN112528868A (zh) 一种基于改进Canny边缘检测算法的违章压线判别方法
Zhang et al. Lane line edge detection based on improved adaptive canny algorithm
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法
CN105989351A (zh) 一种指纹图像背景分割的方法
CN104063682A (zh) 一种基于边缘分级和centrist特征的行人检测方法
CN105046191A (zh) 一种纹理图像识别方法
CN103413138A (zh) 一种红外图像序列中点目标检测方法
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法
CN101533470A (zh) 用于刮擦传感器图像拼接的方法及装置
Ma et al. A real time detection method of track fasteners missing of railway based on machine vision
CN104239864A (zh) 一种基于图像处理的货车车号识别系统
CN105447440B (zh) 实时虹膜图像评价方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190723

Termination date: 20200306

CF01 Termination of patent right due to non-payment of annual fee