CN108154513A - 基于双光子成像数据的细胞自动探测和分割方法 - Google Patents

基于双光子成像数据的细胞自动探测和分割方法 Download PDF

Info

Publication number
CN108154513A
CN108154513A CN201711166561.9A CN201711166561A CN108154513A CN 108154513 A CN108154513 A CN 108154513A CN 201711166561 A CN201711166561 A CN 201711166561A CN 108154513 A CN108154513 A CN 108154513A
Authority
CN
China
Prior art keywords
cell
photon imaging
imaging data
information result
dividing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711166561.9A
Other languages
English (en)
Inventor
廖祥
管江衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Military Medical University TMMU
Original Assignee
Third Military Medical University TMMU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Military Medical University TMMU filed Critical Third Military Medical University TMMU
Priority to CN201711166561.9A priority Critical patent/CN108154513A/zh
Publication of CN108154513A publication Critical patent/CN108154513A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明提供的一种基于双光子成像数据的细胞自动探测和分割方法,首先载入双光子成像的视频数据,进行去噪,并增强图像的对比度;然后使用广义拉普拉斯高斯滤波算法基于细胞形态进行探测;其次使用矩阵加权方法获取细胞形态信息结果;接着采用约束非负矩阵分解算法进行分析,识别出相关的细胞区域,并去除不类似于圆形的细胞区域,作为细胞活动信息结果;最后将细胞形态信息结果和细胞活动信息结果进行合并处理,获得细胞边界曲线。采用广义拉普拉斯高斯滤波算法和矩阵加权的方法,针对不同大小和方向的细胞进行准确的检测和分割,可避免现有的技术中容易漏掉细胞的问题,并整合细胞形态信息结果和细胞活动信息结果,使细胞探测和分割的准确度更高。

Description

基于双光子成像数据的细胞自动探测和分割方法
技术领域
本发明涉及图像处理技术领域,具体基于双光子成像数据的细胞自动探测 和分割方法。
背景技术
双光子钙成像现在是一种在单细胞分辨率水平进行神经元群活动在体成像 的常用技术,可在一只动物上记录成千或上万的神经元,因此产生大规模的数 据。在目前的双光子钙成像数据分析中,手动的识别和分割细胞的边界是一项 耗时的过程。然而,针对大规模成像数据的自动化分析技术的发展到目前仍然 存在众多挑战。在基于细胞形态的方法中,通过设定局域阈值检测再分水岭等 方法容易漏掉形状不规则的神经元,而采用图分割的方法很容易出现过分割的 情况。如果采用机器学习的方法,就必须要通过人工进行样本的大量标记。基 于细胞活动的方法只能检测一段时间内活动的细胞,会漏掉较多其它暂时不活 动的细胞。
发明内容
针对现有技术中的缺陷,本发明提供一种基于双光子成像数据的细胞自动 探测和分割方法,能够避免现有方法中在对细胞进行探测和分割时容易漏掉细 胞,准确度低的问题。
本发明提供的一种基于双光子成像数据的细胞自动探测和分割方法,包括 以下步骤:
S1、载入双光子成像的视频数据,使用中值滤波器进行去噪,并增强双光 子成像图像的对比度;
S2、使用广义拉普拉斯高斯滤波算法针对不同大小和方向的细胞进行探测;
S3、使用矩阵加权方法获取细胞形态信息结果;
S4、采用约束非负矩阵分解算法对成像数据的空-时信息进行分析,识别出 相关的细胞区域,并去除不类似于圆形的细胞区域,作为细胞活动信息结果;
S5、将细胞形态信息结果和细胞活动信息结果的二值化图进行合并,产生 的新的二值化图,并通过形态操作算法分离细胞的区域和获得细胞边界曲线。
进一步的,在S2中细胞探测的具体方法为:
S21、根据广义拉普拉斯高斯核函数的之和构建细胞匹配模板,并和图像求 卷积,从而获得多个响应结果;
S22、基于获得的响应图结果,搜索其中的局部极值点作为细胞中心位置的 种子点,通过自适应阈值处理和凝聚层次聚类方法进行种子点的过滤和合并, 完成基于形态的细胞探测。
进一步的,在S3中获取细胞形态信息结果的具体方法为:
S31、细胞探测完成后,将确定的核函数尺寸和方向用于下一步分割的初步 特征,建立一个带有椭圆平台区域的高斯函数加权矩阵;
S32、通过计算细胞的图像数据的高斯梯度信息,以及从像素点指向种子点 的位置的归一化的向量,获得梯度的加权矩阵;
S33、将细胞图像与高斯函数加权矩阵、梯度的加权矩阵相乘,并通过最大 类间差算法获得二值化结果作为细胞形态信息结果。
进一步的,在S21中使用二维高斯函数G(x,y;σxy,θ),公式为 G(x,y;σxy,θ)=A1·exp(-(ax2+2bxy+cy2)),式中A1是归一化系数,θ是 方向,σx和σy是在范围σmin和σmax之间的尺度,σmin和σmax通过对神经 元的半径估计得到;在其他广义的情况中,广义拉普拉斯高斯核函数的之和为 之后对于对图像和获得的核函数求卷积,从而获得多个响应结果:
进一步的,S22中,自适应的阈值处理方法为设定窗口大小,计算每个像 素点窗口范围内局部图像均值T,再从原图像中减去T,然后再通过阈值为0 进行二值化处理。
进一步的,S22中凝聚层次聚类方法为将每一个对象看做一个聚类,把它 们逐渐合并成越来越大的聚类。
进一步的,S4中带有椭圆平台区域的高斯函数加权矩阵为w1(x,y),椭圆平台的尺度和方向为
进一步的,在S4中,去除不类似于圆形的细胞区域,即为去除不是对应着 神经元的区域,定义以下规则:其中P是周长,AC是空间成分 的面积,如果该成分边界的比例值Ratio<3,那么就表明这个细胞区域不是类 似于圆形,即就被去除。
进一步的,S5中,形态操作算法为填充、开和闭算法。
由上述技术方案可知,本发明的有益效果:
1、本发明提供一种基于双光子成像数据的细胞自动探测和分割方法,使用 广义拉普拉斯高斯滤波算法针对不同大小和方向的细胞进行探测,然后使用矩 阵加权方法获取细胞形态信息结果。通过广义拉普拉斯高斯滤波算法和矩阵加 权的方法可针对不同大小和方向的细胞进行准确的探测和分割,不易遗漏掉细 胞。
2、本发明提供一种基于双光子成像数据的细胞自动探测和分割方法,采用 约束非负矩阵分解算法对成像数据的空-时信息进行分析,识别出相关的细胞区 域,并去除不类似于圆形的细胞区域,作为细胞活动信息结果;再将细胞形态 信息结果和细胞活动信息结果的二值化图进行合并,产生的新的二值化图,并 通过形态操作算法分离细胞的区域和获得细胞边界曲线。整合细胞形态信息结 果和细胞活动信息结果,使细胞探测和分割的准确的更高。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将 对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附 图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分 并不一定按照实际的比例绘制。
图1为本发明一种基于双光子成像数据的细胞自动探测和分割方法的流程 图。
图2为本发明一种基于双光子成像数据的细胞自动探测和分割方法制作的 软件获得细胞的边界曲线。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例 仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限 制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当 为本发明所属领域技术人员所理解的通常意义。
请参阅图1,本实施例提供的一种基于双光子成像数据的细胞自动探测和 分割方法,具体步骤为:
第一步,载入双光子成像的视频数据,使用中值滤波器进行去噪,并增强 双光子显微图像的对比度;
第二步,使用广义拉普拉斯高斯滤波算法针对不同大小和方向的细胞进行 探测,具体为:
根据广义拉普拉斯高斯核函数的之和构建细胞匹配模板,并和图像求卷积, 从而获得多个响应结果;
G(x,y;σxy,θ)=A1·exp(-(ax2+2bxy+cy2)) (1)
Gn(x,y;σxy,θ)=σxσy G(x,y;σxy,θ) (2)
在公式(1)、(2)、(3)中A1为归一化系数,θ为方向,σx和σy是在 范围σmin和σmax之间的尺度,σmin和σmax是通过对神经元的半径估计得到 的;在σx=σy时,为对称情况,j=0,没有涉及方向参数。在其他广义的情 况中,θj是第j个方向,k为总共的方向数目。表 示拉普拉斯算子,为归一化后的核函数,Sj为在方向θj情 况下的核函数数目。
对图像和获得的核函数求卷积,从而获得多个响应结果:
公式(4)中,*表示卷积算子,Rj(x,y)是多尺度和方向的响应图,是图 像和核函数模式响应的结果,其中j=0...k。
基于获得的响应图结果,搜索其中的局部极值点作为细胞中心位置的种子 点,通过自适应阈值处理和凝聚层次聚类方法进行种子点的过滤和合并,完成 基于形态的细胞探测。
自适应阈值处理的方法为:设定窗口大小,计算每个像素点周围窗口范围 内局部图像的均值:
T=mean (5)
再从原图中减去T,然后再通过阈值为0进行二值化处理。
凝聚层次聚类方法:将每一个对象看作一个聚类,把它们逐渐合并成越来 越大的聚类。
第三步、使用矩阵加权方法获取细胞形态信息结果,具体为:
细胞探测完成后,将确定的核函数尺寸和方向用于下一步分割的初步特征, 建立一个带有椭圆平台区域的高斯函数加权矩阵:
公式(6)中,高斯函数加权矩阵w1(x,y)是一个带有椭圆平台区域的高斯 函数,椭圆平台的尺度和方向为 Ω0是椭圆平台的区域,A2是归一化系数。
通过计算细胞的图像数据的高斯梯度信息,从像素点指向种子点的位置的 归一化的向量,获得梯度的加权矩阵,获得细胞亮度。
梯度的加权矩阵w2(x,y)由下面的计算得出:
n(x,y)=(vx,vy)(8)
在公式(7)、(8)和(9)中,g(x,y)是高斯梯度,σg是核函数尺度,n(x,y)是归 一化的向量,从像素点指向种子点的位置,vx,vy代表了在区域中的像素点和种 子点的差异向量。
将细胞图像与高斯函数加权矩阵、梯度的加权矩阵相乘,并通过最大类间 差算法获得二值化结果作为细胞形态信息的结果;
细胞图像与高斯函数加权矩阵、梯度的加权矩阵相乘的公式为:
公式(10)中为加权后的图像,为在对应种子点的区域 切割出的一块图像。
第四步、采用约束非负矩阵分解算算对成像数据的空-时信息进行分析,一 些空间成分被识别出来作为相关的细胞区域,去除不类似于圆形的细胞区域, 用于细胞活动信息的结果。
定义以下规则,去除不类似于圆形的细胞区域,即为去除不是对应着神经 元的区域:
公式(11)中P是周长,AC是空间成分的面积。如果该成分边界的比例值<3,那么就表明这个细胞区域不是类似于圆形,因此就被去除。
第五步,将基于细胞形态和活动的二值化图进行合并,产生的新的二值化 图通过形态操作算法:填充、开合闭算法,分离细胞的区域和获得细胞边界。
请参阅如图2,根据基于双光子成像数据的细胞自动探测和分割方法制作 的软件具体使用方法为:
1.载入双光子成像的视频数据;
2.根据不同细胞的大小调整细胞探测的参数,包括最小和最大的尺度数值, 以及最小面积;
3.点击探测按钮,运行细胞的探测程序,可获得细胞的位置信息;
4.点击分割按钮,运行细胞的分割程序,可获得细胞的边界曲 线,如图2所示;
5.如果对结果不满意,可回到第2步,调整参数后再次进行探测和分割;
6.对于不满意的细胞分割结果,可点击删除按钮去掉;
7.如果有漏掉的细胞,可点击手画边界和增加圆圈的方式进行添加细胞边 界;
8.在程序图形界面右侧,会显示细胞的编号,点击编号,细胞边界会闪烁, 提示位置;
9.最后可点击保存信息按钮,存储细胞边界信息。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其 限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术 人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者 对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明 的权利要求和说明书的范围当中。

Claims (9)

1.一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:包括以下步骤:
S1、载入双光子成像的视频数据,使用中值滤波器进行去噪,并增强双光子成像图像的对比度;
S2、使用广义拉普拉斯高斯滤波算法针对不同大小和方向的细胞进行探测;
S3、使用矩阵加权方法获取细胞形态信息结果;
S4、采用约束非负矩阵分解算法对成像数据的空-时信息进行分析,识别出相关的细胞区域,并去除不类似于圆形的细胞区域,作为细胞活动信息结果;
S5、将细胞形态信息结果和细胞活动信息结果的二值化图进行合并,产生的新的二值化图通过形态操作算法分离细胞的区域和获得细胞边界曲线。
2.根据权利要求1所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S2中细胞探测的具体方法为:
S21、根据广义拉普拉斯高斯核函数的之和构建细胞匹配模板,并和图像求卷积,从而获得多个响应结果;
S22、基于获得的响应图结果,搜索其中的局部极值点作为细胞中心位置的种子点,通过自适应阈值处理和凝聚层次聚类方法进行种子点的过滤和合并,完成基于形态的细胞探测。
3.根据权利要求2所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S3中获取细胞形态信息结果的具体方法为:
S31、细胞探测完成后,将确定的核函数尺寸和方向用于下一步分割的初步特征,建立一个带有椭圆平台区域的高斯函数加权矩阵;
S32、通过计算细胞的图像数据的高斯梯度信息,以及从像素点指向种子点的位置的归一化的向量,获得梯度的加权矩阵;
S33、将细胞图像与高斯函数加权矩阵、梯度的加权矩阵相乘,并通过最大类间差算法获得二值化结果作为细胞形态信息结果。
4.根据权利要求3所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S21中使用二维高斯函数G(x,y;σxy,θ),公式为G(x,y;σxy,θ)=A1·exp(-(ax2+2bxy+cy2)),式中A1是归一化系数,θ是方向,σx和σy是在范围σmin和σmax之间的尺度,σmin和σmax通过对神经元的半径估计得到;在其他广义的情况中,广义拉普拉斯高斯核函数的之和为之后对于对图像和获得的核函数求卷积,从而获得多个响应结果:
5.根据权利要求4所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:所述S22中,自适应的阈值处理方法为设定窗口大小,计算每个像素点窗口范围内局部图像均值T,再从原图像中减去T,然后再通过阈值为0进行二值化处理。
6.根据权利要求5所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:所述S22中凝聚层次聚类方法为将每一个对象看做一个聚类,把它们逐渐合并成越来越大的聚类。
7.根据权利要求6所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S4中带有椭圆平台区域的高斯函数加权矩阵为w1(x,y),椭圆平台的尺度和方向为
8.根据权利要求7所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S4中,去除不类似于圆形的细胞区域,即为去除不是对应着神经元的区域,定义以下规则:其中P是周长,AC是空间成分的面积,如果该成分边界的比例值Ratio<3,那么就表明这个细胞区域不是类似于圆形,即就被去除。
9.根据权利要求8所述的一种基于双光子成像数据的细胞自动探测和分割方法,其特征在于:在S5中,所述形态操作算法为填充、开和闭算法。
CN201711166561.9A 2017-11-21 2017-11-21 基于双光子成像数据的细胞自动探测和分割方法 Pending CN108154513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711166561.9A CN108154513A (zh) 2017-11-21 2017-11-21 基于双光子成像数据的细胞自动探测和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711166561.9A CN108154513A (zh) 2017-11-21 2017-11-21 基于双光子成像数据的细胞自动探测和分割方法

Publications (1)

Publication Number Publication Date
CN108154513A true CN108154513A (zh) 2018-06-12

Family

ID=62468950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711166561.9A Pending CN108154513A (zh) 2017-11-21 2017-11-21 基于双光子成像数据的细胞自动探测和分割方法

Country Status (1)

Country Link
CN (1) CN108154513A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472801A (zh) * 2018-11-22 2019-03-15 廖祥 一种用于多尺度的神经形态检测和分割方法
CN110090002A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光钙信号的自动检测方法
CN111476726A (zh) * 2020-03-25 2020-07-31 清华大学 基于对抗神经网络的无监督双光子钙成像去噪方法及装置
CN111583292A (zh) * 2020-05-11 2020-08-25 浙江大学 一种面向双光子钙成像视频数据的自适应图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345748A (zh) * 2013-06-26 2013-10-09 福建师范大学 一种人体组织细胞双光子显微图像的定位分割方法
US20130331293A1 (en) * 2011-12-16 2013-12-12 Rutgers, The State University Of New Jersey Automated high-content image analysis system and methods and uses thereof
CN106651846A (zh) * 2016-12-20 2017-05-10 中南大学湘雅医院 视网膜血管图像的分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130331293A1 (en) * 2011-12-16 2013-12-12 Rutgers, The State University Of New Jersey Automated high-content image analysis system and methods and uses thereof
CN103345748A (zh) * 2013-06-26 2013-10-09 福建师范大学 一种人体组织细胞双光子显微图像的定位分割方法
CN106651846A (zh) * 2016-12-20 2017-05-10 中南大学湘雅医院 视网膜血管图像的分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANGHENG GUAN等: "NeuroSeg: automated cell detection and segmentation for in vivo two-photon Ca2+ imaging data", 《BRAIN STRUCT FUNCT》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110090002A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光钙信号的自动检测方法
CN109472801A (zh) * 2018-11-22 2019-03-15 廖祥 一种用于多尺度的神经形态检测和分割方法
CN111476726A (zh) * 2020-03-25 2020-07-31 清华大学 基于对抗神经网络的无监督双光子钙成像去噪方法及装置
CN111583292A (zh) * 2020-05-11 2020-08-25 浙江大学 一种面向双光子钙成像视频数据的自适应图像分割方法
CN111583292B (zh) * 2020-05-11 2023-07-07 浙江大学 一种面向双光子钙成像视频数据的自适应图像分割方法

Similar Documents

Publication Publication Date Title
Quelhas et al. Cell nuclei and cytoplasm joint segmentation using the sliding band filter
EP3455782B1 (en) System and method for detecting plant diseases
CN109522908B (zh) 基于区域标签融合的图像显著性检测方法
JP6660313B2 (ja) 画像解析を用いた核のエッジの検出
Al-Amri et al. Image segmentation by using edge detection
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
Chen et al. A flexible and robust approach for segmenting cell nuclei from 2D microscopy images using supervised learning and template matching
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
US20130243343A1 (en) Method and device for people group detection
CN108154513A (zh) 基于双光子成像数据的细胞自动探测和分割方法
CN110516584B (zh) 一种显微镜用的基于动态学习的细胞自动计数方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
Ram et al. Size-invariant detection of cell nuclei in microscopy images
US20170178341A1 (en) Single Parameter Segmentation of Images
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
De Automatic data extraction from 2D and 3D pie chart images
CN114882215A (zh) 一种煤矸光电分选图像颗粒集料区域形选识别方法
Dinh et al. Summit navigator: A novel approach for local maxima extraction
CN111898677A (zh) 一种基于深度学习的浮游生物自动检测方法
Siddiqui et al. Clustering techniques for image segmentation
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Abraham et al. Automatic building extraction from satellite images using artificial neural networks
Meng et al. An extraction method of fish vector field for marine cage culture based on UAV vision
Liu et al. An improved iterative watershed according to ridge detection for segmentation of metallographic image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612