CN107679509B - 一种小环藻识别方法及装置 - Google Patents

一种小环藻识别方法及装置 Download PDF

Info

Publication number
CN107679509B
CN107679509B CN201710977279.2A CN201710977279A CN107679509B CN 107679509 B CN107679509 B CN 107679509B CN 201710977279 A CN201710977279 A CN 201710977279A CN 107679509 B CN107679509 B CN 107679509B
Authority
CN
China
Prior art keywords
image
identification
algae
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710977279.2A
Other languages
English (en)
Other versions
CN107679509A (zh
Inventor
王晓宇
赵建
顾国生
刘超
邓杰航
胡孙林
康晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou criminal science and technology research institute
Guangdong University of Technology
Original Assignee
Guangzhou criminal science and technology research institute
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou criminal science and technology research institute, Guangdong University of Technology filed Critical Guangzhou criminal science and technology research institute
Priority to CN201710977279.2A priority Critical patent/CN107679509B/zh
Publication of CN107679509A publication Critical patent/CN107679509A/zh
Application granted granted Critical
Publication of CN107679509B publication Critical patent/CN107679509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种小环藻识别方法及装置。其中,方法包括对包含待测藻类的原始水体样本的高倍数显微图像进行切片处理,得到以小环藻外形为内切圆的正方形识别图像;对识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征;将提取的多个识别特征输入预先构建的决策树模型中,根据决策树模型输出结果确定待测藻类的类别;决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别。本申请的技术方案有效的解决了对复杂背景下的藻类图像无法根据现有技术进行切割而识别,提高了藻类的识别准确率与效率。

Description

一种小环藻识别方法及装置
技术领域
本发明实施例涉及图像处理技术领域,特别是涉及一种小环藻识别方法及装置。
背景技术
藻类常见于江河湖海、潮湿土表、荒漠沙地、温泉,甚至冰雪表面,在地球上分布十分广泛,与人类的生存环境密切相关,对于渔业、水产养殖、医药、食品、农业及环保等领域都有极其重要的意义。水体中藻类细胞的类别和数量时监测水体污染物和判别水体质量的重要指标参数。
现有技术中,一般通过人工对水体中的藻类进行分类和识别,不仅高度依赖操作者的经验等主观判断,费时费力,还无法准确快速的实现藻类细胞的识别。
鉴于此,如何提高藻类识别的准确性,是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种小环藻识别方法及装置,以提高小环藻识别的准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种小环藻识别方法,包括:
获取包含待测藻类的原始水体样本的高倍数显微图像,并对所述显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像;
对所述识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,所述识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM;
将提取的多个识别特征输入预先构建的决策树模型中,根据所述决策树模型输出结果确定所述待测藻类的类别;所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别;
其中,所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,所述训练样本图像集包括多幅小环藻显微图像及多幅非小环藻的显微图像。
可选的,所述提取经过极坐标变化图像的多个识别特征包括:
分别计算极坐标变化图像的PCA综合信息分布特征值、局部二值模式特征值、7个Hu矩特征值、4个灰度共生矩阵的熵、基于马尔科夫的互信息值及SSIM值;
将15个特征值作为所述识别图像的识别特征。
可选的,所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类包括:
分别对所述模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,所述训练特征的类型与所述识别特征的类型相同;
分别计算各所述训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
根据所述划分特征对所述训练特征集进行划分,以得到多个子特征集,每个所述子特征集为所述决策树模型的一个类别。
可选的,所述计算极坐标变化图像的PCA综合信息分布特征值包括:
所述识别图像的大小为M×N,对应的图像矩阵为X=[x1,x2,...,xM]T,xi为图像矩阵的行向量,计算所述识别图像每行的均值向量:
Figure BDA0001438801160000031
计算各行向量与所述均值向量的差值:
Figure BDA0001438801160000032
计算各行向量的协方差矩阵:
Figure BDA0001438801160000033
计算各协方差矩阵的特征值和特征向量,并选取预设个数的最大特征值对应的特征向量,按照从大到小的顺序构造特征矩阵:
w=(u1,u2,...,un),n为预设个数,ui为特征向量;
将所述差值映射到所述特征矩阵中,得到所述识别图像的PCA特征矢量;
计算所述识别图像与所述模板小环藻图像的PCA特征矢量的欧式距离,以获得所述识别图像的PCA综合信息分布特征值。
可选的,所述对所述识别图像进行极坐标变换包括:
对所述识别图像进行直方图均衡化处理;
对经过直方图均衡化后的图像进行极坐标变化。
可选的,所述根据分类结果对待测藻类进行识别包括:
利用欧式距离对待测藻类的各个识别特征,依次与所述决策树模型的每个类别包含的特征,进行相似性比较;
选取相似度满足预设条件对应的类别,作为所述待测藻类的类别。
可选的,所述根据所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像包括:
获取20幅处于不同生成周期的标准小环藻显微图像;
对各标准小环藻显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形标准图像;
将各标准图像对应的图像矩阵点对点进行累加后,取平均值,以获取所述模板小环藻图像。
可选的,在所述对所述显微图像进行切片处理之后,还包括:
将所述正方形识别图像的大小归一化为1000×1000。
本发明实施例另一方面提供了一种小环藻识别装置,包括:
图像预处理模块,用于获取包含待测藻类的原始水体样本的高倍数显微图像,并对所述显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像;
特征提取模块,用于对所述识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,所述识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM;
识别模块,用于将提取的多个识别特征输入预先构建的决策树模型中,根据所述决策树模型输出结果确定所述待测藻类的类别;所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别;其中,所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,所述训练样本图像集包括多幅小环藻显微图像及多幅非小环藻的显微图像。
可选的,所述识别模块包括模型训练单元,所述模型训练单元包括:
样本图像预处理子单元,用于分别对所述模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
特征提取子单元,用于对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,所述训练特征的类型与所述识别特征的类型相同;
计算子单元,用于分别计算各所述训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
分类子单元,用于根据所述划分特征对所述训练特征集进行划分,以得到多个子特征集,每个所述子特征集为所述决策树模型的一个类别。
本发明实施例提供了一种小环藻识别方法,对包含待测藻类的原始水体样本的高倍数显微图像进行切片处理,得到以小环藻外形为内切圆的正方形识别图像;对识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征;将提取的多个识别特征输入预先构建的决策树模型中,根据决策树模型输出结果确定待测藻类的类别;决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别。
本申请提供的技术方案的优点在于,获取待识别样本的以小环藻外形为内切圆的正方形识别图像,提取极坐标变换之后图像的特征,基于训练图像集的特征训练构建C4.5决策树模型,并应用决策树对小环藻进行识别。有效的解决了对复杂背景的藻类图像无法根据现有技术进行切割识别,只能依据人工进行识别的问题,方法操作简单、时间复杂度低,不仅降低了藻类识别过程中的计算复杂度,还提高了藻类的识别准确率与效率。
此外,本发明实施例还针对小环藻识别方法提供了相应的实现装置,进一步使得所述方法更具有实用性,所述装置具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种小环藻识别方法的流程示意图;
图2为本发明实施例提供的一种包含待测藻类的原始水体样本的高倍数显微图像;
图3为本发明实施例提供的图2中的高倍数显微图像经过切片、归一化处理后的图像;
图4为本发明实施例提供的图3中的图像经过极坐标变化之后的图像;
图5为本发明实施例提供的一种模板小环藻显微图像的生成流程示意图;
图6为本发明实施例提供的一种构建决策树模型的流程示意图;
图7为本发明实施例提供的小环藻识别装置的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
随着计算机技术、图像处理技术的快速发展,模式识别技术得到了相应的发展,由于计算机处理速度远远超过人工操作,且操作简单,精确度高,对操作者的专业背景没有太高要求,因而计算机辅助藻类植物的识别为一种发展趋势。
在现有的藻类科研中,可在形状上使用常用的圆度、矩形度、扁度和傅里叶算子等方法,纹理上使用经典的灰度共生矩阵等方法,最后使用遗传算法进行分类,准确率平均为95%。但是只是对于三种主要的赤藻达到了较好的分类准确率。
此外,还有利用计算机视觉技术,提出一种双轮廓叠加法实现分割,并在圆度、长宽比、椭圆度等形状特征下,对12种硅藻实现了96%的识别率。但是,采用的BP神经网路方法需要加大训练样本,实用性差,且该方法对于大多数为圆形的硅藻中心纲并不适用,适用性不高。
还有利用基于内容的方法对藻类图像进行分类检索,针对海洋生物图像对颜色特征不敏感的特点,采用SIFT算法针对藻类图像的形状特征进行提取;然后使用PCA技术对特征进行降维,采用K-means算法进行聚类,再用词包对聚类结果进行打包,最后用KNN算法判断被测藻类图片的类别,识别率较好,不过针对也是简单背景藻类图像进行识别,由于在现有的水体检测中,不可能只存在一种类型的藻类,而没有其他杂质或藻类等干扰物,利用该类方法需要对测量样本进行分离等操作,只获得待测藻类的样本,这种分离操作在实际应用中较为困难,且分离的准确性之间影响后期的识别准确率,故该类方法适用于实验室研究,普适性差、实用性差。
决策树(Decision Tree)为一种分类技术,即从一组无规则的事例推理出决策树表示形式的分类规则,采用自顶向下的递归方式,在决策树的内部节点进行属性值比较,并根据不同属性判断从该节点向下分支,在决策树的叶节点得到结论。本申请的发明人经过研究发现,决策树分类算法结构简单,训练过程简单,分类效率较高,适用于处理大规模的样本数据。
鉴于此,本申请通过获取待识别样本的以小环藻外形为内切圆的正方形识别图像,提取极坐标变换之后图像的特征,基于训练图像集的特征训练构建C4.5决策树模型,并应用决策树对小环藻进行识别。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种小环藻识别方法的流程示意图,本发明实施例可包括以下内容:
S101:获取包含待测藻类的原始水体样本的高倍数显微图像,并对显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像。
包含待测藻类的原始水体样本,即为复杂背景下的藻类样本,即待识别样本中不仅包含小环藻(当然也可不包括),还包括一些其他藻类(当然也可不包括),或者包括一些水中的其他杂质干扰物的存在,也就是说,样本为最初的原始样本,未经过滤、去除杂质的处理,包含较多干扰物。
由于藻类图像的尺寸较小,一般采用高倍数显微镜(光学显微镜、扫描电子显微镜)拍摄样本的图像,例如图2所示,即为一种复杂背景藻类的高倍数显微图,图中所示,可知该图像中不仅包含藻类图像,还包括其他形态的杂质存在。
对显微图像进行切片处理,即以小环藻的外形为内切圆进行正方形切割该显微图像,也就是说从拍摄得到的显微图像中获取感兴趣区域,用于识别的图像区域,便于后期处理。
S102:对识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM。
由于小环藻的形貌为圆形的或类圆形状,如果直接在直角坐标系中进行图形处理,会导致误差较大,鉴于此,对识别图像进行极坐标变化,即从直角坐标系中转换到极坐标系中。将直角坐标系的藻类图像以图像中心点为原点变换为极坐标系下的图像,横坐标是极坐标系半径(范围式0到原图像行数或列数的一半),纵坐标是极坐标系角度(范围是0~360°);从而得到极坐标藻类图像,图像大小变为R/2×360。
为了避免图像的噪声影响,以提高后期图像处理的准确度,在进行极坐标变换之前,可对识别图像进行直方图均衡化处理以增强图像,降低光线明暗等因素对识别的影响。
也就是说,对包含待测藻类的原始水体样本的高倍数显微图像在进行特征提取之前,为了保证特征提取的准确性,可对高倍数显微图像进行图像预处理,具体可包括:直方图均衡化,图像切片、归一化处理和极坐标变换。切片处理为通过裁剪的方式获得藻类目标的最小外切方形图,使小环藻目标区域移到图像中心,并把裁剪后的图像归一化为1000×1000的统一大小。极坐标变换则是将直角坐标系的藻类图像以图像中心点为原点按照极坐标系下的排列,变换为极坐标的藻类图像,比如原始图像I大小为R×C,变换后的极坐标图像大小为Rp×Cp,其中横坐标是旋转角度,取值范围0~360°,纵坐标表示半径,长度范围是0~500。从图2-图4(图2为样本的原始图像,图3为该原始图像经过切片、归一化处理后的图像,图4为切片、归一化处理后的图像经过极坐标变化之后的图像)中可以看到,本申请提供的技术方案的图像处理方法,能够获得较完整的、没有复杂背景干扰的藻类目标图,且未破坏藻类目标的壳面纹理,提高了后续特征提取的可靠性
对于藻类图像来说,一般要提取形状、纹理、颜色三大特征,由于使用的图像均为电镜下拍摄的高清灰度图像,所以颜色特征不做参考。可从纹理特征、形状特征出发,考虑复杂背景的特点,经过验证分析,可选取以下特征组合作为实验中目标提取特征,包括比较典型的灰度共生矩阵(GLCM)、局部二值模式(LBP)纹理特征,Hu矩形状特征,成分分析(PCA)方法来描述图像综合信息分布特征,并应用SSIM和互信息方法通过比较与参考图的相关性来反映藻类图像的纹理、形态特征。
在提取特征时,可提取识别图像的15个特征,即分别计算极坐标变化图像的PCA综合信息分布特征值、局部二值模式特征值、7个Hu矩特征值、4个灰度共生矩阵的熵、基于马尔科夫的互信息值及SSIM值,然后将15个特征值作为识别图像的识别特征,可将这15个识别特征构成特征向量,作为识别图像的特征向量输入至决策树模型中,例如15个特征为a1,a2,...,a15,特征向量可为ft=[a1,a2,...,a15]。
S103:将提取的多个识别特征输入预先构建的决策树模型中,根据决策树模型输出结果确定待测藻类的类别;决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别。
模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,训练样本图像包括多幅小环藻显微图像及多幅非小环藻的显微图像。
模板小环藻图像生成的流程示意图可参照图5所示,制作模板小环藻图像的过程可包括:
获取20幅处于不同生成周期的标准小环藻显微图像(如图5中左边的20幅图像);
对各标准小环藻显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形标准图像;
将各标准图像对应的图像矩阵点对点进行累加后,取平均值,以获取模板小环藻图像(如图5右边的图像)。
标准小环藻显微图像典型的、清晰的、无遮挡的小环藻显微图。
决策树是机器学习中用于分类的快速、有效的算法,它基于树结构进行决策,通过选取最优特征作为决策树根节点,采取自顶向下的递归方法,再根据不同的特征判断根节点往下的分支,最后在决策树叶节点得到结果。由于上述提取的藻类图像特征是连续数值,可C4.5决策树作为分类算法,它在原来决策树算法的基础上,采用信息增益率代替信息增益来选择特征,实现了对特征是连续值的处理。信息增益率的计算公式如下:
Figure BDA0001438801160000101
其中,D表示训练特征集,a表示某个特征,
Figure BDA0001438801160000102
为特征a的“固有值”,属性a的可能取值数目越多(即V越大),则IV(a)的值会越大;
Figure BDA0001438801160000111
为特征a对样本集D的“信息增益”,其中
Figure BDA0001438801160000112
pk定义为信息熵,表示当前样本集D中第k类样本所占的比例,Ent(D)的值越小,则D的纯度越高。
决策树模型的构建方法可如下所示,具体可包括:
分别对模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,训练特征的类型与识别特征的类型相同;
分别计算各训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
根据划分特征对训练特征集进行划分,以得到多个子特征集,每个子特征集为决策树模型的一个类别。
需要说明的是,在构建决策树模型的过程中,可对模板小环藻图像、各训练样本图像进行与待识别藻类图像相同的图像预处理,即具体可包括:直方图均衡化,图像切片、归一化处理和极坐标变换。有利于提高模型构建的准确性。
C4.5决策树分类识别为两步:一是利用训练图像集提取的特征向量集构建分类模型,二是利用构建好的分类模型对待识别图像的特征向量进行分类。其中第一步构建用于分类的决策树模型,请参阅图6,举例来说,上述识别特征提取方法获得15个特征作一个特征向量F=[a1,a2,...,a15],如果训练图像个数为n,则可获得特征向量集D=[F1,F2,...,Fn],以此作为输入训练C4.5决策树。识别时,只需把测试图像提取到的特征向量ft=[a1,a2,...,a15]输入到决策树模型,决策树模型会根据特征向量ft=[a1,a2,...,a15]的各个特征值逐层判断,直到决策树的叶节点即可得到分类结果。
可利用欧式距离对待测藻类的各个识别特征,依次与决策树模型的每个类别包含的特征,进行相似性比较;选取相似度满足预设条件对应的类别,作为待测藻类的类别。
提取各个识别特征的具体过程,如下所述:
PCA综合信息分布特征为提取原空间数据中主要特征,经过线性变换将提取的高维空间特征映射到低维空间中,降低数据冗余同时保留了原特征空间中的主要特征信息。PCA在人脸识别方面应用较多,利用K-L变换抽取人脸主要成分,构造出特征脸空间,识别时则将测试图投影到该空间中,通过比较一系列投影系数进行识别。本申请所使用的藻类图像由于背景复杂、图像像素高清的特点,很难用人脸识别的方法构造特征藻类图空间,所以仅利用PCA算法的基本原理,通过比较待识别图像与参考图(模板图像)的相似度,来作为该藻类图的综合信息分布特征,过程如下:
识别图像的大小为M×N,对应的图像矩阵为X=[x1,x2,...,xM]T,xi为图像矩阵的行向量,计算识别图像每行的均值向量:
Figure BDA0001438801160000121
计算各行向量与均值向量的差值:
Figure BDA0001438801160000122
计算各行向量的协方差矩阵:
Figure BDA0001438801160000123
计算各协方差矩阵的特征值和特征向量,并选取预设个数的最大特征值对应的特征向量,按照从大到小的顺序构造特征矩阵:
w=(u1,u2,...,un),n为预设个数,ui为特征向量;
将差值映射到特征矩阵中,得到识别图像的PCA特征矢量;
计算识别图像与模板小环藻图像的PCA特征矢量的欧式距离,以获得识别图像的PCA综合信息分布特征值。
LBP(Local Binary Pattern,局部二值模式)纹理特征,LBP(局部二值模式)为一种局部纹理描述算子,具有尺度不变性、选择不变形和灰度不变性等优点,在图像识别领域应用广泛。图像中某个像素点的纹理特征,一般是指该像素点与周围像素点的关系,LBP则构造了一种衡量像素点与它周围像素点的关系,鉴于藻类图像背景复杂及藻类目标区域纹理较单一的特点,采用LBP作为纹理描述子。LBP的旋转不变等价模式公式如下:
Figure BDA0001438801160000131
其中,
Figure BDA0001438801160000132
P是邻近点个数,R是半径,gc是中心像素点(x,y)的灰度值,gp是邻近点的灰度值,
Figure BDA0001438801160000133
在一种具体人实施方式中,三种尺度可分别为P=8、R=1,P=16、R=2,P=24、R=3。
图像经过LBP算子运算之后,要计算该图的统计直方图,以此作特征向量用于分类识别。直方图的相似性度量则采用非参数统计的方法,本文使用Log概率统计,其公式是:
Figure BDA0001438801160000134
其中,S,M分别表示测试图和参考图,Sb表示测试图直方图的柱,Mb表示参考图直方图的柱。
灰度共生矩阵用于刻画纹理特征,能精细地反映纹理粗糙程度及重复方向。设F=f(x,y)为一幅二维图像,从灰度为i像素点f(x,y)出发,统计距离为d、灰度为j的像素f(x+Δx,y+Δy)出现的概率P(i,j,d,θ):
P(i,j,θ)={(x,y),(x+Δx,y+Δy)∈F|f(x,y)=i,f(x+Δx,y+Δy)=j};
其中,θ取0°、45°、90°、135°四个方向,即可组成四个特征向量。
灰度共生矩阵能够反映纹理的综合信息,不过一般要在其基础上获取二次统计量来作为图像纹理特征,包括相关性、二阶距、熵和对比度,本申请可采用灰度共生矩阵的熵特征(Entropy),它表示了图像中纹理的复杂程度,其公式如下:
Figure BDA0001438801160000141
Hu矩特征,即几何不变矩,具有旋转、平移,和尺度不变性,是广泛应用的图像形状特征之一。对于离散数字图像,设图像函数为f(x,y),M和N表示图像的宽度和长度,则图像的p+q阶中心矩(标准矩)表示为:
Figure BDA0001438801160000142
p+q阶中心距定义为:
Figure BDA0001438801160000143
其中,
Figure BDA0001438801160000144
Figure BDA0001438801160000145
代表图像的重心,
Figure BDA0001438801160000146
归一化的中心矩定义为:
Figure BDA0001438801160000147
其中
Figure BDA0001438801160000148
于是可利用二、三阶归一化中心矩构造7个不变矩特征M1~M7,即
Figure BDA0001438801160000149
与参考图像(模板小环藻图像)的相关性特征SSIM与基于MRF的互信息,其中SSIM(Structural Similarity Metric)又称结构相似度,它将图像分成对比度、亮度、结构三个模块,分别进行比较,最后加权乘积获得两幅图的结构相似值。结构相似度SSIM定义为:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
其中,x和y分别表示测试图和参考图,c(x,y)表示对比度因子,l(x,y)表示亮度因子,S(x,y)表示结构因子,α、β、γ则用来调整模型中三个模块所占比例。
互信息是信息论中的一个基本概念,常用于描述两系统之间的统计相关性,而基于MRF的互信息则是Espen Volden将互信息与马尔科夫随机向量场(MRF)理论相结合而提出的,用于评价两幅图像的冗余度取得了非常好的效果。因为图像中的像素不是孤立的,每个像素点与领域像素具有相关性,马尔科夫随机场理论能够很好地模拟出领域像素的相关性。故可以用两个方法来获取测试藻类图与参考图的相关性特征。
在本发明实施例提供的技术方案中,获取待识别样本的以小环藻外形为内切圆的正方形识别图像,提取极坐标变换之后图像的特征,基于训练图像集的特征训练构建C4.5决策树模型,并应用决策树对小环藻进行识别。有效的解决了对复杂背景的藻类图像无法根据现有技术进行切割识别,只能依据人工进行识别的问题,方法操作简单、时间复杂度低,不仅降低了藻类识别过程中的计算复杂度,还提高了藻类的识别准确率与效率。
本发明实施例还针对小环藻识别方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的小环藻识别装置进行介绍,下文描述的小环藻识别装置与上文描述的小环藻识别方法可相互对应参照。
参见图7,图7为本发明实施例提供的小环藻识别装置在一种具体实施方式下的结构图,该装置可包括:
图像预处理模块701,用于获取包含待测藻类的原始水体样本的高倍数显微图像,并对显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像。
特征提取模块702,用于对识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM。
识别模块703,用于将提取的多个识别特征输入预先构建的决策树模型中,根据决策树模型输出结果确定待测藻类的类别;决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别;其中,模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,训练样本图像集包括多幅小环藻显微图像及多幅非小环藻的显微图像。
可选的,在本实施例的一些实施方式中,所述特征提取模块702可为分别计算极坐标变化图像的PCA综合信息分布特征值、局部二值模式特征值、7个Hu矩特征值、4个灰度共生矩阵的熵、基于马尔科夫的互信息值及SSIM值;将15个特征值作为识别图像的识别特征的模块。
在一些其他具体实施方式下,所述特征提取模块702还可为对识别图像进行直方图均衡化处理;对经过直方图均衡化后的图像进行极坐标变化的模块。
此外,图像预处理模块701还可包括归一化单元,用于将正方形识别图像的大小归一化为1000×1000。
在另外一些实施方式下,所述特征提取模块702可包括:
第一计算单元,用于识别图像的大小为M×N,对应的图像矩阵为X=[x1,x2,...,xM]T,xi为图像矩阵的行向量,利用下述公式计算识别图像每行的均值向量:
Figure BDA0001438801160000171
第二计算单元,用于利用下述公式计算各行向量与均值向量的差值:
Figure BDA0001438801160000172
第三计算单元,用于利用下述公式计算各行向量的协方差矩阵:
Figure BDA0001438801160000173
第四计算单元,用于计算各协方差矩阵的特征值和特征向量,并选取预设个数的最大特征值对应的特征向量,按照从大到小的顺序构造特征矩阵:
w=(u1,u2,...,un),n为预设个数,ui为特征向量;
特征矢量获取单元,用于将差值映射到特征矩阵中,得到识别图像的PCA特征矢量;
特征值获取单元,用于计算识别图像与模板小环藻图像的PCA特征矢量的欧式距离,以获得识别图像的PCA综合信息分布特征值。
在一种具体实施方式下,所述识别模块703还可为获取20幅处于不同生成周期的标准小环藻显微图像;对各标准小环藻显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形标准图像;将各标准图像对应的图像矩阵点对点进行累加后,取平均值,以获取模板小环藻图像的模块。
所述识别模块703也可为利用欧式距离对待测藻类的各个识别特征,依次与决策树模型的每个类别包含的特征,进行相似性比较;选取相似度满足预设条件对应的类别,作为待测藻类的类别的模块。
此外,本实施例的另一些实施方式中,所述识别模块703还可包括模型训练单元,所述模型训练单元具体可包括:
样本图像预处理子单元,用于分别对模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
特征提取子单元,用于对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,训练特征的类型与识别特征的类型相同;
计算子单元,用于分别计算各训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
分类子单元,用于根据划分特征对训练特征集进行划分,以得到多个子特征集,每个子特征集为决策树模型的一个类别。
本发明实施例所述小环藻识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例获取待识别样本的以小环藻外形为内切圆的正方形识别图像,提取极坐标变换之后图像的特征,基于训练图像集的特征训练构建C4.5决策树模型,并应用决策树对小环藻进行识别。有效的解决了对复杂背景的藻类图像无法根据现有技术进行切割识别,只能依据人工进行识别的问题,方法操作简单、时间复杂度低,不仅降低了藻类识别过程中的计算复杂度,还提高了藻类的识别准确率与效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种小环藻识别方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种小环藻识别方法,其特征在于,包括:
获取包含待测藻类的原始水体样本的高倍数显微图像,并对所述显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像;
对所述识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,所述识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM;
将提取的多个识别特征输入预先构建的决策树模型中,根据所述决策树模型输出结果确定所述待测藻类的类别;所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别;
其中,所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,所述训练样本图像集包括多幅小环藻显微图像及多幅非小环藻的显微图像;所述提取经过极坐标变化图像的多个识别特征包括:
分别计算极坐标变化图像的PCA综合信息分布特征值、局部二值模式特征值、7个Hu矩特征值、4个灰度共生矩阵的熵、基于马尔科夫的互信息值及SSIM值;将15个特征值作为所述识别图像的识别特征;所述计算极坐标变化图像的PCA综合信息分布特征值包括:
所述识别图像的大小为M×N,对应的图像矩阵为X=[x1,x2,...,xM]T,xi为图像矩阵的行向量,利用下述公式计算所述识别图像每行的均值向量:
Figure FDA0002760600070000011
利用下述公式计算各行向量与所述均值向量的差值:
Figure FDA0002760600070000012
利用下述公式计算各行向量的协方差矩阵:
Figure FDA0002760600070000013
计算各协方差矩阵的特征值和特征向量,并选取预设个数的最大特征值对应的特征向量,按照从大到小的顺序构造特征矩阵:
w=(u1,u2,...,un),n为预设个数,ui为特征向量;
将所述差值映射到所述特征矩阵中,得到所述识别图像的PCA特征矢量;
计算所述识别图像与所述模板小环藻图像的PCA特征矢量的欧式距离,以获得所述识别图像的PCA综合信息分布特征值。
2.根据权利要求1所述的小环藻识别方法,其特征在于,所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类包括:
分别对所述模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,所述训练特征的类型与所述识别特征的类型相同;
分别计算各所述训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
根据所述划分特征对所述训练特征集进行划分,以得到多个子特征集,每个所述子特征集为所述决策树模型的一个类别。
3.根据权利要求1所述的小环藻识别方法,其特征在于,所述对所述识别图像进行极坐标变换包括:
对所述识别图像进行直方图均衡化处理;
对经过直方图均衡化后的图像进行极坐标变化。
4.根据权利要求1所述的小环藻识别方法,其特征在于,所述根据分类结果对待测藻类进行识别包括:
利用欧式距离对待测藻类的各个识别特征,依次与所述决策树模型的每个类别包含的特征,进行相似性比较;
选取相似度满足预设条件对应的类别,作为所述待测藻类的类别。
5.根据权利要求1所述的小环藻识别方法,其特征在于,所述根据所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像包括:
获取20幅处于不同生成周期的标准小环藻显微图像;
对各标准小环藻显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形标准图像;
将各标准图像对应的图像矩阵点对点进行累加后,取平均值,以获取所述模板小环藻图像。
6.根据权利要求1所述的小环藻识别方法,其特征在于,在所述对所述显微图像进行切片处理之后,还包括:
将所述正方形识别图像的大小归一化为1000×1000。
7.一种小环藻识别装置,其特征在于,包括:
图像预处理模块,用于获取包含待测藻类的原始水体样本的高倍数显微图像,并对所述显微图像进行切片处理,以获取以小环藻外形为内切圆的正方形识别图像;
特征提取模块,用于对所述识别图像进行极坐标变换,并提取经过极坐标变化图像的多个识别特征,所述识别特征包括PCA综合信息分布特征、局部二值模式特征、Hu矩、灰度共生矩阵的熵、基于马尔科夫的互信息及SSIM;
识别模块,用于将提取的多个识别特征输入预先构建的决策树模型中,根据所述决策树模型输出结果确定所述待测藻类的类别;所述决策树模型为根据模板小环藻图像的特征和训练样本图像集中各个训练样本特征的信息增益率,利用C4.5决策树算法进行分类,根据分类结果对待测藻类进行识别;其中,所述模板小环藻图像为多幅不同生长周期的小环藻显微图像矩阵平均值对应的图像,所述训练样本图像集包括多幅小环藻显微图像及多幅非小环藻的显微图像;
其中,所述特征提取模块具体用于:
分别计算极坐标变化图像的PCA综合信息分布特征值、局部二值模式特征值、7个Hu矩特征值、4个灰度共生矩阵的熵、基于马尔科夫的互信息值及SSIM值;将15个特征值作为所述识别图像的识别特征;所述计算极坐标变化图像的PCA综合信息分布特征值包括:
所述识别图像的大小为M×N,对应的图像矩阵为X=[x1,x2,...,xM]T,xi为图像矩阵的行向量,利用下述公式计算所述识别图像每行的均值向量:
Figure FDA0002760600070000031
利用下述公式计算各行向量与所述均值向量的差值:
Figure FDA0002760600070000032
利用下述公式计算各行向量的协方差矩阵:
Figure FDA0002760600070000041
计算各协方差矩阵的特征值和特征向量,并选取预设个数的最大特征值对应的特征向量,按照从大到小的顺序构造特征矩阵:
w=(u1,u2,...,un),n为预设个数,ui为特征向量;
将所述差值映射到所述特征矩阵中,得到所述识别图像的PCA特征矢量;
计算所述识别图像与所述模板小环藻图像的PCA特征矢量的欧式距离,以获得所述识别图像的PCA综合信息分布特征值。
8.根据权利要求7所述的小环藻识别装置,其特征在于,所述识别模块包括模型训练单元,所述模型训练单元包括:
样本图像预处理子单元,用于分别对所述模板小环藻图像、各个训练样本图像进行切片处理,以获取各自相应的以小环藻外形为内切圆的正方形图像;
特征提取子单元,用于对各个正方形图像进行极坐标变化,并分别提取每个经过极坐标变化图像的多个训练特征,以构成训练特征集,所述训练特征的类型与所述识别特征的类型相同;
计算子单元,用于分别计算各所述训练特征的信息增益率,并将各信息增益率中最大值对应的训练特征作为划分特征;
分类子单元,用于根据所述划分特征对所述训练特征集进行划分,以得到多个子特征集,每个所述子特征集为所述决策树模型的一个类别。
CN201710977279.2A 2017-10-19 2017-10-19 一种小环藻识别方法及装置 Expired - Fee Related CN107679509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710977279.2A CN107679509B (zh) 2017-10-19 2017-10-19 一种小环藻识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710977279.2A CN107679509B (zh) 2017-10-19 2017-10-19 一种小环藻识别方法及装置

Publications (2)

Publication Number Publication Date
CN107679509A CN107679509A (zh) 2018-02-09
CN107679509B true CN107679509B (zh) 2021-04-02

Family

ID=61141015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710977279.2A Expired - Fee Related CN107679509B (zh) 2017-10-19 2017-10-19 一种小环藻识别方法及装置

Country Status (1)

Country Link
CN (1) CN107679509B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596176B (zh) * 2018-05-03 2022-02-15 广东工业大学 一种对提取的硅藻区域进行硅藻类型识别方法及装置
CN109145955B (zh) * 2018-07-26 2019-10-22 中国林业科学研究院木材工业研究所 一种木材识别方法及系统
CN109685029B (zh) * 2018-12-28 2023-07-11 东莞中国科学院云计算产业技术创新与育成中心 复杂空间结构的柔性物体识别方法、装置、设备和介质
CN109858386A (zh) * 2019-01-09 2019-06-07 深圳市趣方科技有限公司 一种基于荧光显微图像的微藻细胞识别方法
CN110059719B (zh) * 2019-03-18 2022-08-09 西北工业大学 一种基于沃尔什变换的图像矩的目标识别方法
CN110033445A (zh) * 2019-04-10 2019-07-19 司法鉴定科学研究院 基于深度学习的法医学检验自动化识别系统及识别方法
CN110119691B (zh) * 2019-04-19 2021-07-20 华南理工大学 一种基于局部二维模式和不变矩查找的人像定位方法
CN110347134A (zh) * 2019-07-29 2019-10-18 南京图玩智能科技有限公司 一种ai智能水产养殖样本识别方法及养殖系统
CN111259944B (zh) * 2020-01-10 2022-04-15 河北工业大学 基于快速PCA算法和K-means聚类算法的块石形状分类方法
CN111626326B (zh) * 2020-04-13 2024-02-02 广州博进信息技术有限公司 一种复杂背景下大区域多目标硅藻提取与识别方法
CN113837267A (zh) * 2021-06-30 2021-12-24 山东易华录信息技术有限公司 一种基于不同数量样本的浮游生物图像分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604330A (zh) * 2009-07-17 2009-12-16 厦门大学 基于壳面纹理的圆形微藻自动识别方法
CN101976343B (zh) * 2010-09-03 2012-02-01 北京师范大学 湖泊沉积物硅藻识别技术与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604330A (zh) * 2009-07-17 2009-12-16 厦门大学 基于壳面纹理的圆形微藻自动识别方法
CN101976343B (zh) * 2010-09-03 2012-02-01 北京师范大学 湖泊沉积物硅藻识别技术与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Automatic Identification of Diatoms Using Decision Forests";Stefan Fischer etc.;《International Workshop on Machine Learning and Data Mining in Pattern Recognition》;20010726;论文第4节 *
"决策树算法及其核心技术";杨学兵等;《计算机技术与发展》;20070131;第17卷(第1期);论文第3.1节 *
"赤潮藻显微图像自动识别方法";乔小燕;《山东大学学报(工学版)》;20160630;第46卷(第3期);论文第3节 *

Also Published As

Publication number Publication date
CN107679509A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107679509B (zh) 一种小环藻识别方法及装置
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
Marcos et al. Automated pollen identification using microscopic imaging and texture analysis
Roscher et al. Automated image analysis framework for high-throughput determination of grapevine berry sizes using conditional random fields
CN105488536B (zh) 一种基于多特征深度学习技术的农田害虫图像识别方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
Risojević et al. Gabor descriptors for aerial image classification
CN106845497B (zh) 基于多特征融合的玉米前期图像旱情识别方法
CN108257151B (zh) 基于显著性分析的PCANet图像变化检测方法
CN109409438B (zh) 基于ifcm聚类与变分推断的遥感影像分类方法
Zou et al. Broccoli seedling segmentation based on support vector machine combined with color texture features
CN103390170A (zh) 一种基于多光谱遥感图像纹理元的地物类型纹理分类方法
CN109829412A (zh) 基于动态模式分解分形特征的局部放电模式识别方法
Remagnino et al. Computational Botany
Li et al. Environmental microbiology aided by content-based image analysis
CN112633082A (zh) 一种多特征融合杂草检测方法
Li Content-based microscopic image analysis
Jia et al. Exploring hard samples in multi-view for few-shot remote sensing scene classification
CN110070485A (zh) 一种高光谱图像降维方法
CN105631451A (zh) 一种基于安卓系统的植物叶片识别方法
EP2383680A1 (en) Classification of objects in harvesting applications
CN111325158B (zh) 一种基于cnn和rfc的集成学习的极化sar图像分类方法
Liu et al. Ground-based visible-light cloud image classification based on a convolutional neural network
CN111259913A (zh) 一种基于词袋模型和纹理特征的细胞光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210402