CN106407777A - 一种基于生物识别的智能移动终端 - Google Patents

一种基于生物识别的智能移动终端 Download PDF

Info

Publication number
CN106407777A
CN106407777A CN201610771073.XA CN201610771073A CN106407777A CN 106407777 A CN106407777 A CN 106407777A CN 201610771073 A CN201610771073 A CN 201610771073A CN 106407777 A CN106407777 A CN 106407777A
Authority
CN
China
Prior art keywords
module
identification
gray
biological
acquisition module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610771073.XA
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610771073.XA priority Critical patent/CN106407777A/zh
Publication of CN106407777A publication Critical patent/CN106407777A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于生物识别的智能移动终端,包括显示装置、生物识别装置、采集装置和通信装置;所述采集装置包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。本发明提高了各种生物特征身份验证的安全性、可靠性和身份验证效率。

Description

一种基于生物识别的智能移动终端
技术领域
本发明涉及智能移动终端技术领域,具体涉及一种基于生物识别的智能移动终端。
背景技术
现有的生物身份验证设备,为了保证身份验证的可靠性和安全性,通常预定的固定阀值都设置较高。由于受到空气温度湿度、传感器老化和干湿手指等因素影响,通过指纹仪采集得到的指纹图像质量时常不佳。如果预定的固定阀值设置太高,会导致指纹验证失败和较高的拒识率,影响指纹比对效率;如果预定的固定阀值偏低,又会产生较高的误识率,影响可靠性和安全性。现有的生物身份验证设备的比对阀值预先设置为固定不变的数值,并不能根据实际使用情况自动动态整调,影响身份验证的安全性和工作效率。此外,现有生物身份验证设备的比对模板也是固定不变的,并不能根据实际使用环境和使用情况动态更新和优化指纹模板,影响生物身份验证的可靠性和用户体验。
发明内容
为解决上述问题,本发明旨在提供一种基于生物识别的智能移动终端。
本发明的目的采用以下技术方案来实现:
一种基于生物识别的智能移动终端,包括显示装置、生物识别装置、采集装置和通信装置;所述采集装置包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明的有益效果为:通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1本发明的结构示意图;
图2是细胞识别模块5的结构示意图。
附图标记:
显示装置1、生物识别装置2、采集装置3、通信装置4、细胞识别模块5、细胞图像分割单元51、特征提取单元52、分类识别单元53。
具体实施方式
结合以下应用场景对本发明作进一步描述。
应用场景1
参见图1、图2,本应用场景的一个实施例的基于生物识别的智能移动终端,包括显示装置1、生物识别装置2、采集装置3和通信装置4;所述采集装置3包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置2包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明上述实施例通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
优选的,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
本优选实施例设置算法调整模块,实现了生物特征模板的自动动态更新。
优选的,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
本优选实施例设置比对阈值调整模块,实现了不同生物特征比对阈值的动态优化。
优选的,所述细胞识别模块5包括细胞图像分割单元51、特征提取单元52、分类识别单元53;所述细胞图像分割单元51用于区分由细胞图像采集模块采集的细胞图像中的背景、细胞核和细胞质;所述特征提取单元52用于对细胞图像的纹理特征进行提取;所述分类识别单元53用于根据纹理特征利用分类器实现对细胞图像分类识别。
本优选实施例构建了细胞识别模块5的单元架构。
优选的,所述细胞图像分割单元51包括图像转换子单元、噪声去除子单元、粗分割子单元、细胞核中心标定子单元、精确分割子单元,具体为:
(1)图像转换子单元,用于将采集的细胞图像转化为灰度图像;
(2)噪声去除子单元,用于对灰度图像进行去噪处理,包括:
对于像素点(x,y),选取其3×3的邻域Sx,y和(2N+1)×(2N+1)的邻域Lx,y,N为大于等于2的整数;
首先对像素点是否为边界点进行判断,设定阈值T,T∈[13,26],计算像素点(x,y)与其邻域Sx,y中每个像素点的灰度差值,并与阈值T进行比较,若灰度差值大于阈值T的个数大于等于6,则像素点(x,y)为边界点,否则,像素点(x,y)为非边界点;
若(x,y)为边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(x,y)为降噪前像素点(x,y)的灰度值,σ为像素点(x,y)邻域Lx,y内灰度值标差,q(i,j)∈[q(x,y)-1.5σ,q(x,y)+1.5σ]表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点,k表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点的数量;
若(x,y)为非边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(i,j)代表图像中点(i,j)处的灰度值,w(i,j)为邻域Lx,y内点(i,j)对应的高斯权重;
(3)粗分割子单元,用于对去噪后的细胞图像中的背景、细胞质、细胞核进行粗划分,具体为:
将每个像素(x,y)用一个四维特征向量表示:
式中,h(x,y)代表(x,y)的灰度值,have(x,y)代表其邻域Sx,y灰度均值,hmed(x,y)代表其邻域Sx,y灰度中值,hsta(x,y)代表其邻域Sx,y灰度方差;
采用K-means聚类法将其划分为背景、细胞质、细胞核三类;
(4)细胞核中心标定子单元,用于对细胞核中心进行标定:
由粗分割子单元得到细胞核大致区域,设细胞核区域包含n个点:(x1,y1),…,(xn,yn),对该区域进行灰度加权标定和几何中心标定,取其平均值作为细胞核中心(xz,yz):
(5)精确分割子单元,用于对细胞核、细胞质进行精确分割;
构建从细胞核中心(xz,yz)到细胞核和细胞质边界点(xp,yp)的有向线段的距离表示向下取整;
沿线段以单位长度进行采样可以得到disp个点(x1,y1),…,若采样点的坐标不是整数,其灰度值通过周围像素线性插值得到;
点(xi,yi)处沿线段方向的灰度差:
hd(xi,yi)=h(xi-1,yi-1)-h(xi,yi)
定义灰度差抑制函数:
点(xi,yi)处沿线段方向的梯度gra(xi,yi):
选取梯度最大的值点作为细胞核和细胞质的精确边缘。
本优选实施例设置噪声去除子单元,有效融合了中心像素与邻域像素的空间临近性和灰度相似性来进行降噪处理,在图像中的平坦区域,邻域内像素灰度值相差不大,采用高斯滤波器对灰度值进行加权滤波,在变化剧烈的边界区域,行边界保持滤波,有利于图像边缘的保持;采用K均值聚类提取细胞核和细胞质粗轮廓,可有效去除噪声的干扰;设置细胞核中心标定子单元,便于后续对细胞核和细胞质轮廓进行精确定位;精确分割子单元充分利用了方向信息,克服了炎症细胞对边缘图的干扰,能够准确提取出细胞核和细胞质边缘。
优选的,所述对细胞图像的纹理特征进行提取,包括:
(1)基于改进的灰度共生矩阵法求取细胞图像的综合灰度共生矩阵,所述综合灰度共生矩阵体现了细胞在不同方向上的纹理特征:
设在0°、45°、90°、135°四个方向上的灰度共生矩阵分别为h(x,y,d,0°)、h(x,y,d,45°)、h(x,y,d,90°)、h(x,y,d,135°),所对应的矩阵元素项目为X1、X2、X3、X4,则综合灰度共生矩阵的计算公式为:
H(x,y,d)=w1h(x,y,d,0°)+w2h(x,y,d,45°)+w3h(x,y,d,90°)+w4h(x,y,d,135°)
综合灰度共生矩阵元素数目为:
式中,d表示距离,d的取值范围为[2,4],wi为加权系数,i=1,2,3,4,其由四个方向中的每个方向上的灰度共生矩阵对应的对比度参数计算,设四个方向上的灰度共生矩阵对应的对比度参数分别为Di,均值为则加权系数wi的计算公式为:
(2)利用所述综合灰度共生矩阵和矩阵元素项目获取所需的四个纹理特征参数:对比度、方差和、能量和均值;
(3)对所述四个纹理特征参数进行归一化处理,最终获得归一化的纹理特征值。
本优选实施例基于改进的灰度共生矩阵法,采用设置加权系数的方式求取细胞图像的综合灰度共生矩阵,进而提取细胞在指定四个方向上的纹理特征,解决了由于外部干扰(如细胞图像采集时光照角度造成的影响、气体的流动干扰等)造成的细胞的纹理特征参数值在不同方向上有较大差别的问题,提高了细胞图像纹理特征提取的精度;选定对比度、方差和、能量和均值四个纹理特征,去掉了冗余和重复的特征参数;对所述四个纹理特征参数进行归一化处理,方便了后续的细胞图像的分类识别处理。
在此应用场景中,设定阈值T=13,d=2,图像去噪效果相对提高了5%,细胞图像特征的提取精度提高了8%。
应用场景2
参见图1、图2,本应用场景的一个实施例的基于生物识别的智能移动终端,包括显示装置1、生物识别装置2、采集装置3和通信装置4;所述采集装置3包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置2包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明上述实施例通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
优选的,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
本优选实施例设置算法调整模块,实现了生物特征模板的自动动态更新。
优选的,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
本优选实施例设置比对阈值调整模块,实现了不同生物特征比对阈值的动态优化。
优选的,所述细胞识别模块5包括细胞图像分割单元51、特征提取单元52、分类识别单元53;所述细胞图像分割单元51用于区分由细胞图像采集模块采集的细胞图像中的背景、细胞核和细胞质;所述特征提取单元52用于对细胞图像的纹理特征进行提取;所述分类识别单元53用于根据纹理特征利用分类器实现对细胞图像分类识别。
本优选实施例构建了细胞识别模块5的单元架构。
优选的,所述细胞图像分割单元51包括图像转换子单元、噪声去除子单元、粗分割子单元、细胞核中心标定子单元、精确分割子单元,具体为:
(1)图像转换子单元,用于将采集的细胞图像转化为灰度图像;
(2)噪声去除子单元,用于对灰度图像进行去噪处理,包括:
对于像素点(x,y),选取其3×3的邻域Sx,y和(2N+1)×(2N+1)的邻域Lx,y,N为大于等于2的整数;
首先对像素点是否为边界点进行判断,设定阈值T,T∈[13,26],计算像素点(x,y)与其邻域Sx,y中每个像素点的灰度差值,并与阈值T进行比较,若灰度差值大于阈值T的个数大于等于6,则像素点(x,y)为边界点,否则,像素点(x,y)为非边界点;
若(x,y)为边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(x,y)为降噪前像素点(x,y)的灰度值,σ为像素点(x,y)邻域Lx,y内灰度值标差,q(i,j)∈[q(x,y)-1.5σ,q(x,y)+1.5σ]表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点,k表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点的数量;
若(x,y)为非边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(i,j)代表图像中点(i,j)处的灰度值,w(i,j)为邻域Lx,y内点(i,j)对应的高斯权重;
(3)粗分割子单元,用于对去噪后的细胞图像中的背景、细胞质、细胞核进行粗划分,具体为:
将每个像素(x,y)用一个四维特征向量表示:
式中,h(x,y)代表(x,y)的灰度值,have(x,y)代表其邻域Sx,y灰度均值,hmed(x,y)代表其邻域Sx,y灰度中值,hsta(x,y)代表其邻域Sx,y灰度方差;
采用K-means聚类法将其划分为背景、细胞质、细胞核三类;
(4)细胞核中心标定子单元,用于对细胞核中心进行标定:
由粗分割子单元得到细胞核大致区域,设细胞核区域包含n个点:(x1,y1),…,(xn,yn),对该区域进行灰度加权标定和几何中心标定,取其平均值作为细胞核中心(xz,yz):
(5)精确分割子单元,用于对细胞核、细胞质进行精确分割;
构建从细胞核中心(xz,yz)到细胞核和细胞质边界点(xp,yp)的有向线段的距离表示向下取整;
沿线段以单位长度进行采样可以得到disp个点(x1,y1),…,若采样点的坐标不是整数,其灰度值通过周围像素线性插值得到;
点(xi,yi)处沿线段方向的灰度差:
hd(xi,yi)=h(xi-1,yi-1)-h(xi,yi)
定义灰度差抑制函数:
点(xi,yi)处沿线段方向的梯度gra(xi,yi):
选取梯度最大的值点作为细胞核和细胞质的精确边缘。
本优选实施例设置噪声去除子单元,有效融合了中心像素与邻域像素的空间临近性和灰度相似性来进行降噪处理,在图像中的平坦区域,邻域内像素灰度值相差不大,采用高斯滤波器对灰度值进行加权滤波,在变化剧烈的边界区域,行边界保持滤波,有利于图像边缘的保持;采用K均值聚类提取细胞核和细胞质粗轮廓,可有效去除噪声的干扰;设置细胞核中心标定子单元,便于后续对细胞核和细胞质轮廓进行精确定位;精确分割子单元充分利用了方向信息,克服了炎症细胞对边缘图的干扰,能够准确提取出细胞核和细胞质边缘。
优选的,所述对细胞图像的纹理特征进行提取,包括:
(1)基于改进的灰度共生矩阵法求取细胞图像的综合灰度共生矩阵,所述综合灰度共生矩阵体现了细胞在不同方向上的纹理特征:
设在0°、45°、90°、135°四个方向上的灰度共生矩阵分别为h(x,y,d,0°)、h(x,y,d,45°)、h(x,y,d,90°)、h(x,y,d,135°),所对应的矩阵元素项目为X1、X2、X3、X4,则综合灰度共生矩阵的计算公式为:
H(x,y,d)=w1h(x,y,d,0°)+w2h(x,y,d,45°)+w3h(x,y,d,90°)+w4h(x,y,d,135°)
综合灰度共生矩阵元素数目为:
式中,d表示距离,d的取值范围为[2,4],wi为加权系数,i=1,2,3,4,其由四个方向中的每个方向上的灰度共生矩阵对应的对比度参数计算,设四个方向上的灰度共生矩阵对应的对比度参数分别为Di,均值为则加权系数wi的计算公式为:
(2)利用所述综合灰度共生矩阵和矩阵元素项目获取所需的四个纹理特征参数:对比度、方差和、能量和均值;
(3)对所述四个纹理特征参数进行归一化处理,最终获得归一化的纹理特征值。
本优选实施例基于改进的灰度共生矩阵法,采用设置加权系数的方式求取细胞图像的综合灰度共生矩阵,进而提取细胞在指定四个方向上的纹理特征,解决了由于外部干扰(如细胞图像采集时光照角度造成的影响、气体的流动干扰等)造成的细胞的纹理特征参数值在不同方向上有较大差别的问题,提高了细胞图像纹理特征提取的精度;选定对比度、方差和、能量和均值四个纹理特征,去掉了冗余和重复的特征参数;对所述四个纹理特征参数进行归一化处理,方便了后续的细胞图像的分类识别处理。
在此应用场景中,设定阈值T=15,d=2,图像去噪效果相对提高了6%,细胞图像特征的提取精度提高了8%。
应用场景3
参见图1、图2,本应用场景的一个实施例的基于生物识别的智能移动终端,包括显示装置1、生物识别装置2、采集装置3和通信装置4;所述采集装置3包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置2包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明上述实施例通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
优选的,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
本优选实施例设置算法调整模块,实现了生物特征模板的自动动态更新。
优选的,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
本优选实施例设置比对阈值调整模块,实现了不同生物特征比对阈值的动态优化。
优选的,所述细胞识别模块5包括细胞图像分割单元51、特征提取单元52、分类识别单元53;所述细胞图像分割单元51用于区分由细胞图像采集模块采集的细胞图像中的背景、细胞核和细胞质;所述特征提取单元52用于对细胞图像的纹理特征进行提取;所述分类识别单元53用于根据纹理特征利用分类器实现对细胞图像分类识别。
本优选实施例构建了细胞识别模块5的单元架构。
优选的,所述细胞图像分割单元51包括图像转换子单元、噪声去除子单元、粗分割子单元、细胞核中心标定子单元、精确分割子单元,具体为:
(1)图像转换子单元,用于将采集的细胞图像转化为灰度图像;
(2)噪声去除子单元,用于对灰度图像进行去噪处理,包括:
对于像素点(x,y),选取其3×3的邻域Sx,y和(2N+1)×(2N+1)的邻域Lx,y,N为大于等于2的整数;
首先对像素点是否为边界点进行判断,设定阈值T,T∈[13,26],计算像素点(x,y)与其邻域Sx,y中每个像素点的灰度差值,并与阈值T进行比较,若灰度差值大于阈值T的个数大于等于6,则像素点(x,y)为边界点,否则,像素点(x,y)为非边界点;
若(x,y)为边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(x,y)为降噪前像素点(x,y)的灰度值,σ为像素点(x,y)邻域Lx,y内灰度值标差,q(i,j)∈[q(x,y)-1.5σ,q(x,y)+1.5σ]表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点,k表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点的数量;
若(x,y)为非边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(i,j)代表图像中点(i,j)处的灰度值,w(i,j)为邻域Lx,y内点(i,j)对应的高斯权重;
(3)粗分割子单元,用于对去噪后的细胞图像中的背景、细胞质、细胞核进行粗划分,具体为:
将每个像素(x,y)用一个四维特征向量表示:
式中,h(x,y)代表(x,y)的灰度值,have(x,y)代表其邻域Sx,y灰度均值,hmed(x,y)代表其邻域Sx,y灰度中值,hsta(x,y)代表其邻域Sx,y灰度方差;
采用K-means聚类法将其划分为背景、细胞质、细胞核三类;
(4)细胞核中心标定子单元,用于对细胞核中心进行标定:
由粗分割子单元得到细胞核大致区域,设细胞核区域包含n个点:(x1,y1),…,(xn,yn),对该区域进行灰度加权标定和几何中心标定,取其平均值作为细胞核中心(xz,yz):
(5)精确分割子单元,用于对细胞核、细胞质进行精确分割;
构建从细胞核中心(xz,yz)到细胞核和细胞质边界点(xp,yp)的有向线段的距离表示向下取整;
沿线段以单位长度进行采样可以得到disp个点(x1,y1),…,若采样点的坐标不是整数,其灰度值通过周围像素线性插值得到;
点(xi,yi)处沿线段方向的灰度差:
hd(xi,yi)=h(xi-1,yi-1)-h(xi,yi)
定义灰度差抑制函数:
点(xi,yi)处沿线段方向的梯度gra(xi,yi):
选取梯度最大的值点作为细胞核和细胞质的精确边缘。
本优选实施例设置噪声去除子单元,有效融合了中心像素与邻域像素的空间临近性和灰度相似性来进行降噪处理,在图像中的平坦区域,邻域内像素灰度值相差不大,采用高斯滤波器对灰度值进行加权滤波,在变化剧烈的边界区域,行边界保持滤波,有利于图像边缘的保持;采用K均值聚类提取细胞核和细胞质粗轮廓,可有效去除噪声的干扰;设置细胞核中心标定子单元,便于后续对细胞核和细胞质轮廓进行精确定位;精确分割子单元充分利用了方向信息,克服了炎症细胞对边缘图的干扰,能够准确提取出细胞核和细胞质边缘。
优选的,所述对细胞图像的纹理特征进行提取,包括:
(1)基于改进的灰度共生矩阵法求取细胞图像的综合灰度共生矩阵,所述综合灰度共生矩阵体现了细胞在不同方向上的纹理特征:
设在0°、45°、90°、135°四个方向上的灰度共生矩阵分别为h(x,y,d,0°)、h(x,y,d,45°)、h(x,y,d,90°)、h(x,y,d,135°),所对应的矩阵元素项目为X1、X2、X3、X4,则综合灰度共生矩阵的计算公式为:
H(x,y,d)=w1h(x,y,d,0°)+w2h(x,y,d,45°)+w3h(x,y,d,90°)+w4h(x,y,d,135°)
综合灰度共生矩阵元素数目为:
式中,d表示距离,d的取值范围为[2,4],wi为加权系数,i=1,2,3,4,其由四个方向中的每个方向上的灰度共生矩阵对应的对比度参数计算,设四个方向上的灰度共生矩阵对应的对比度参数分别为Di,均值为则加权系数wi的计算公式为:
(2)利用所述综合灰度共生矩阵和矩阵元素项目获取所需的四个纹理特征参数:对比度、方差和、能量和均值;
(3)对所述四个纹理特征参数进行归一化处理,最终获得归一化的纹理特征值。
本优选实施例基于改进的灰度共生矩阵法,采用设置加权系数的方式求取细胞图像的综合灰度共生矩阵,进而提取细胞在指定四个方向上的纹理特征,解决了由于外部干扰(如细胞图像采集时光照角度造成的影响、气体的流动干扰等)造成的细胞的纹理特征参数值在不同方向上有较大差别的问题,提高了细胞图像纹理特征提取的精度;选定对比度、方差和、能量和均值四个纹理特征,去掉了冗余和重复的特征参数;对所述四个纹理特征参数进行归一化处理,方便了后续的细胞图像的分类识别处理。
在此应用场景中,设定阈值T=18,d=3,图像去噪效果相对提高了7%,细胞图像特征的提取精度提高了7%。
应用场景4
参见图1、图2,本应用场景的一个实施例的基于生物识别的智能移动终端,包括显示装置1、生物识别装置2、采集装置3和通信装置4;所述采集装置3包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置2包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明上述实施例通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
优选的,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
本优选实施例设置算法调整模块,实现了生物特征模板的自动动态更新。
优选的,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
本优选实施例设置比对阈值调整模块,实现了不同生物特征比对阈值的动态优化。
优选的,所述细胞识别模块5包括细胞图像分割单元51、特征提取单元52、分类识别单元53;所述细胞图像分割单元51用于区分由细胞图像采集模块采集的细胞图像中的背景、细胞核和细胞质;所述特征提取单元52用于对细胞图像的纹理特征进行提取;所述分类识别单元53用于根据纹理特征利用分类器实现对细胞图像分类识别。
本优选实施例构建了细胞识别模块5的单元架构。
优选的,所述细胞图像分割单元51包括图像转换子单元、噪声去除子单元、粗分割子单元、细胞核中心标定子单元、精确分割子单元,具体为:
(1)图像转换子单元,用于将采集的细胞图像转化为灰度图像;
(2)噪声去除子单元,用于对灰度图像进行去噪处理,包括:
对于像素点(x,y),选取其3×3的邻域Sx,y和(2N+1)×(2N+1)的邻域Lx,y,N为大于等于2的整数;
首先对像素点是否为边界点进行判断,设定阈值T,T∈[13,26],计算像素点(x,y)与其邻域Sx,y中每个像素点的灰度差值,并与阈值T进行比较,若灰度差值大于阈值T的个数大于等于6,则像素点(x,y)为边界点,否则,像素点(x,y)为非边界点;
若(x,y)为边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(x,y)为降噪前像素点(x,y)的灰度值,σ为像素点(x,y)邻域Lx,y内灰度值标差,q(i,j)∈[q(x,y)-1.5σ,q(x,y)+1.5σ]表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点,k表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点的数量;
若(x,y)为非边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(i,j)代表图像中点(i,j)处的灰度值,w(i,j)为邻域Lx,y内点(i,j)对应的高斯权重;
(3)粗分割子单元,用于对去噪后的细胞图像中的背景、细胞质、细胞核进行粗划分,具体为:
将每个像素(x,y)用一个四维特征向量表示:
式中,h(x,y)代表(x,y)的灰度值,have(x,y)代表其邻域Sx,y灰度均值,hmed(x,y)代表其邻域Sx,y灰度中值,hsta(x,y)代表其邻域Sx,y灰度方差;
采用K-means聚类法将其划分为背景、细胞质、细胞核三类;
(4)细胞核中心标定子单元,用于对细胞核中心进行标定:
由粗分割子单元得到细胞核大致区域,设细胞核区域包含n个点:(x1,y1),…,(xn,yn),对该区域进行灰度加权标定和几何中心标定,取其平均值作为细胞核中心(xz,yz):
(5)精确分割子单元,用于对细胞核、细胞质进行精确分割;
构建从细胞核中心(xz,yz)到细胞核和细胞质边界点(xp,yp)的有向线段的距离表示向下取整;
沿线段以单位长度进行采样可以得到disp个点(x1,y1),…,若采样点的坐标不是整数,其灰度值通过周围像素线性插值得到;
点(xi,yi)处沿线段方向的灰度差:
hd(xi,yi)=h(xi-1,yi-1)-h(xi,yi)
定义灰度差抑制函数:
点(xi,yi)处沿线段方向的梯度gra(xi,yi):
选取梯度最大的值点作为细胞核和细胞质的精确边缘。
本优选实施例设置噪声去除子单元,有效融合了中心像素与邻域像素的空间临近性和灰度相似性来进行降噪处理,在图像中的平坦区域,邻域内像素灰度值相差不大,采用高斯滤波器对灰度值进行加权滤波,在变化剧烈的边界区域,行边界保持滤波,有利于图像边缘的保持;采用K均值聚类提取细胞核和细胞质粗轮廓,可有效去除噪声的干扰;设置细胞核中心标定子单元,便于后续对细胞核和细胞质轮廓进行精确定位;精确分割子单元充分利用了方向信息,克服了炎症细胞对边缘图的干扰,能够准确提取出细胞核和细胞质边缘。
优选的,所述对细胞图像的纹理特征进行提取,包括:
(1)基于改进的灰度共生矩阵法求取细胞图像的综合灰度共生矩阵,所述综合灰度共生矩阵体现了细胞在不同方向上的纹理特征:
设在0°、45°、90°、135°四个方向上的灰度共生矩阵分别为h(x,y,d,0°)、h(x,y,d,45°)、h(x,y,d,90°)、h(x,y,d,135°),所对应的矩阵元素项目为X1、X2、X3、X4,则综合灰度共生矩阵的计算公式为:
H(x,y,d)=w1h(x,y,d,0°)+w2h(x,y,d,45°)+w3h(x,y,d,90°)+w4h(x,y,d,135°)
综合灰度共生矩阵元素数目为:
式中,d表示距离,d的取值范围为[2,4],wi为加权系数,i=1,2,3,4,其由四个方向中的每个方向上的灰度共生矩阵对应的对比度参数计算,设四个方向上的灰度共生矩阵对应的对比度参数分别为Di,均值为则加权系数wi的计算公式为:
(2)利用所述综合灰度共生矩阵和矩阵元素项目获取所需的四个纹理特征参数:对比度、方差和、能量和均值;
(3)对所述四个纹理特征参数进行归一化处理,最终获得归一化的纹理特征值。
本优选实施例基于改进的灰度共生矩阵法,采用设置加权系数的方式求取细胞图像的综合灰度共生矩阵,进而提取细胞在指定四个方向上的纹理特征,解决了由于外部干扰(如细胞图像采集时光照角度造成的影响、气体的流动干扰等)造成的细胞的纹理特征参数值在不同方向上有较大差别的问题,提高了细胞图像纹理特征提取的精度;选定对比度、方差和、能量和均值四个纹理特征,去掉了冗余和重复的特征参数;对所述四个纹理特征参数进行归一化处理,方便了后续的细胞图像的分类识别处理。
在此应用场景中,设定阈值T=20,d=4,图像去噪效果相对提高了8%,细胞图像特征的提取精度提高了6%。
应用场景5
参见图1、图2,本应用场景的一个实施例的基于生物识别的智能移动终端,包括显示装置1、生物识别装置2、采集装置3和通信装置4;所述采集装置3包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置2包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
本发明上述实施例通过数据运算处理器根据成功识别的生物特征实现生物特征模板的自动动态更新和不同生物特征比对阈值的动态优化,提高了各种生物特征身份验证的安全性、可靠性和身份验证效率,从而解决了上述的技术问题。
优选的,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
本优选实施例设置算法调整模块,实现了生物特征模板的自动动态更新。
优选的,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
本优选实施例设置比对阈值调整模块,实现了不同生物特征比对阈值的动态优化。
优选的,所述细胞识别模块5包括细胞图像分割单元51、特征提取单元52、分类识别单元53;所述细胞图像分割单元51用于区分由细胞图像采集模块采集的细胞图像中的背景、细胞核和细胞质;所述特征提取单元52用于对细胞图像的纹理特征进行提取;所述分类识别单元53用于根据纹理特征利用分类器实现对细胞图像分类识别。
本优选实施例构建了细胞识别模块5的单元架构。
优选的,所述细胞图像分割单元51包括图像转换子单元、噪声去除子单元、粗分割子单元、细胞核中心标定子单元、精确分割子单元,具体为:
(1)图像转换子单元,用于将采集的细胞图像转化为灰度图像;
(2)噪声去除子单元,用于对灰度图像进行去噪处理,包括:
对于像素点(x,y),选取其3×3的邻域Sx,y和(2N+1)×(2N+1)的邻域Lx,y,N为大于等于2的整数;
首先对像素点是否为边界点进行判断,设定阈值T,T∈[13,26],计算像素点(x,y)与其邻域Sx,y中每个像素点的灰度差值,并与阈值T进行比较,若灰度差值大于阈值T的个数大于等于6,则像素点(x,y)为边界点,否则,像素点(x,y)为非边界点;
若(x,y)为边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(x,y)为降噪前像素点(x,y)的灰度值,σ为像素点(x,y)邻域Lx,y内灰度值标差,q(i,j)∈[q(x,y)-1.5σ,q(x,y)+1.5σ]表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点,k表示邻域Lx,y内灰度值落于区间[q(x,y)-1.5σ,q(x,y)+1.5σ]的点的数量;
若(x,y)为非边界点,则进行如下降噪处理:
式中,h(x,y)为降噪后像素点(x,y)的灰度值,q(i,j)代表图像中点(i,j)处的灰度值,w(i,j)为邻域Lx,y内点(i,j)对应的高斯权重;
(3)粗分割子单元,用于对去噪后的细胞图像中的背景、细胞质、细胞核进行粗划分,具体为:
将每个像素(x,y)用一个四维特征向量表示:
式中,h(x,y)代表(x,y)的灰度值,have(x,y)代表其邻域Sx,y灰度均值,hmed(x,y)代表其邻域Sx,y灰度中值,hsta(x,y)代表其邻域Sx,y灰度方差;
采用K-means聚类法将其划分为背景、细胞质、细胞核三类;
(4)细胞核中心标定子单元,用于对细胞核中心进行标定:
由粗分割子单元得到细胞核大致区域,设细胞核区域包含n个点:(x1,y1),…,(xn,yn),对该区域进行灰度加权标定和几何中心标定,取其平均值作为细胞核中心(xz,yz):
(5)精确分割子单元,用于对细胞核、细胞质进行精确分割;
构建从细胞核中心(xz,yz)到细胞核和细胞质边界点(xp,yp)的有向线段的距离表示向下取整;
沿线段以单位长度进行采样可以得到disp个点(x1,y1),…,若采样点的坐标不是整数,其灰度值通过周围像素线性插值得到;
点(xi,yi)处沿线段方向的灰度差:
hd(xi,yi)=h(xi-1,yi-1)-h(xi,yi)
定义灰度差抑制函数:
点(xi,yi)处沿线段方向的梯度gra(xi,yi):
选取梯度最大的值点作为细胞核和细胞质的精确边缘。
本优选实施例设置噪声去除子单元,有效融合了中心像素与邻域像素的空间临近性和灰度相似性来进行降噪处理,在图像中的平坦区域,邻域内像素灰度值相差不大,采用高斯滤波器对灰度值进行加权滤波,在变化剧烈的边界区域,行边界保持滤波,有利于图像边缘的保持;采用K均值聚类提取细胞核和细胞质粗轮廓,可有效去除噪声的干扰;设置细胞核中心标定子单元,便于后续对细胞核和细胞质轮廓进行精确定位;精确分割子单元充分利用了方向信息,克服了炎症细胞对边缘图的干扰,能够准确提取出细胞核和细胞质边缘。
优选的,所述对细胞图像的纹理特征进行提取,包括:
(1)基于改进的灰度共生矩阵法求取细胞图像的综合灰度共生矩阵,所述综合灰度共生矩阵体现了细胞在不同方向上的纹理特征:
设在0°、45°、90°、135°四个方向上的灰度共生矩阵分别为h(x,y,d,0°)、h(x,y,d,45°)、h(x,y,d,90°)、h(x,y,d,135°),所对应的矩阵元素项目为X1、X2、X3、X4,则综合灰度共生矩阵的计算公式为:
H(x,y,d)=w1h(x,y,d,0°)+w2h(x,y,d,45°)+w3h(x,y,d,90°)+w4h(x,y,d,135°)
综合灰度共生矩阵元素数目为:
式中,d表示距离,d的取值范围为[2,4],wi为加权系数,i=1,2,3,4,其由四个方向中的每个方向上的灰度共生矩阵对应的对比度参数计算,设四个方向上的灰度共生矩阵对应的对比度参数分别为Di,均值为则加权系数wi的计算公式为:
(2)利用所述综合灰度共生矩阵和矩阵元素项目获取所需的四个纹理特征参数:对比度、方差和、能量和均值;
(3)对所述四个纹理特征参数进行归一化处理,最终获得归一化的纹理特征值。
本优选实施例基于改进的灰度共生矩阵法,采用设置加权系数的方式求取细胞图像的综合灰度共生矩阵,进而提取细胞在指定四个方向上的纹理特征,解决了由于外部干扰(如细胞图像采集时光照角度造成的影响、气体的流动干扰等)造成的细胞的纹理特征参数值在不同方向上有较大差别的问题,提高了细胞图像纹理特征提取的精度;选定对比度、方差和、能量和均值四个纹理特征,去掉了冗余和重复的特征参数;对所述四个纹理特征参数进行归一化处理,方便了后续的细胞图像的分类识别处理。
在此应用场景中,设定阈值T=26,d=2,图像去噪效果相对提高了7.5%,细胞图像特征的提取精度提高了8%。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种基于生物识别的智能移动终端,其特征是,包括显示装置、生物识别装置、采集装置和通信装置;所述采集装置包括指纹采集模块、静脉采集模块、面部图像采集模块、虹膜图像采集模块、语音采集模块、细胞图像采集模块和证件读取模块,所述生物识别装置包括数据运算处理器和用于存储生物识别模块的存储器,所述数据运算处理器可根据成功识别的生物特征调取相应的生物识别模块和比对阈值,所述生物识别模块包括指纹识别模块、静脉识别模块、面部识别模块、虹膜识别模块、声纹识别模块和细胞图像识别模块。
2.根据权利要求1所述的一种基于生物识别的智能移动终端,其特征是,所述数据运算处理器包括算法调整模块,所述算法调整模块可将成功识别的生物特征与原生物特征模板进行综合以生成新的生物特征模板。
3.根据权利要求2所述的一种基于生物识别的智能移动终端,其特征是,所述数据运算处理器还包括比对阈值调整模块,所述比对阈值调整模块可根据成功识别的不同生物特征的频率调整不同生物特征的比对阈值。
CN201610771073.XA 2016-08-30 2016-08-30 一种基于生物识别的智能移动终端 Pending CN106407777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610771073.XA CN106407777A (zh) 2016-08-30 2016-08-30 一种基于生物识别的智能移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610771073.XA CN106407777A (zh) 2016-08-30 2016-08-30 一种基于生物识别的智能移动终端

Publications (1)

Publication Number Publication Date
CN106407777A true CN106407777A (zh) 2017-02-15

Family

ID=58002193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610771073.XA Pending CN106407777A (zh) 2016-08-30 2016-08-30 一种基于生物识别的智能移动终端

Country Status (1)

Country Link
CN (1) CN106407777A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法
CN110428841A (zh) * 2019-07-16 2019-11-08 河海大学 一种基于不定长均值的声纹动态特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CN202904627U (zh) * 2012-11-19 2013-04-24 成都芯软科技发展有限公司 一种多功能的生物信息识别认证智能系统
CN104036245A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于在线特征点匹配的生物特征识别方法
CN104850860A (zh) * 2015-05-25 2015-08-19 广西师范大学 细胞图像识别方法及细胞图像识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CN202904627U (zh) * 2012-11-19 2013-04-24 成都芯软科技发展有限公司 一种多功能的生物信息识别认证智能系统
CN104036245A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于在线特征点匹配的生物特征识别方法
CN104850860A (zh) * 2015-05-25 2015-08-19 广西师范大学 细胞图像识别方法及细胞图像识别装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法
CN110428841A (zh) * 2019-07-16 2019-11-08 河海大学 一种基于不定长均值的声纹动态特征提取方法
CN110428841B (zh) * 2019-07-16 2021-09-28 河海大学 一种基于不定长均值的声纹动态特征提取方法

Similar Documents

Publication Publication Date Title
CN103577815B (zh) 一种人脸对齐方法和系统
Sanchez-Avila et al. Two different approaches for iris recognition using Gabor filters and multiscale zero-crossing representation
CN104239858B (zh) 一种人脸特征验证的方法和装置
CN102346847B (zh) 一种支持向量机的车牌字符识别方法
CN109903774A (zh) 一种基于角度间隔损失函数的声纹识别方法
CN107944452A (zh) 一种圆形印章文字识别方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN106156712A (zh) 一种基于自然场景下的身份证号码识别方法与装置
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN108805076A (zh) 环境影响评估报告书表格文字的提取方法及系统
CN102867191A (zh) 一种基于流形子空间学习的降维方法
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN108776795A (zh) 用户身份识别方法、装置及终端设备
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN110119695A (zh) 一种基于特征融合和机器学习的虹膜活性检测方法
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN106407777A (zh) 一种基于生物识别的智能移动终端
CN112489089A (zh) 一种微型固定翼无人机机载地面运动目标识别与跟踪方法
CN116704490A (zh) 车牌识别方法、装置和计算机设备
CN109948662A (zh) 一种基于K-means和MMD的人脸图像深度聚类方法
CN104252614A (zh) 基于sift算法的二代身份证人脸比对方法
CN109145912A (zh) 一种数字仪表读数自动识别方法
CN107871110B (zh) 一种基于多尺度结构相关性的行人目标识别方法
CN103366376A (zh) 一种基于邻域尺度变化的图像特征提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215