CN107886098A - 一种基于深度学习的识别太阳黑子的方法 - Google Patents

一种基于深度学习的识别太阳黑子的方法 Download PDF

Info

Publication number
CN107886098A
CN107886098A CN201711005550.2A CN201711005550A CN107886098A CN 107886098 A CN107886098 A CN 107886098A CN 201711005550 A CN201711005550 A CN 201711005550A CN 107886098 A CN107886098 A CN 107886098A
Authority
CN
China
Prior art keywords
sunspot
full
neural networks
convolutional neural
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711005550.2A
Other languages
English (en)
Inventor
杨云飞
付小娜
廖成武
杨洪娟
张晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201711005550.2A priority Critical patent/CN107886098A/zh
Publication of CN107886098A publication Critical patent/CN107886098A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的识别太阳黑子的方法,属于天文技术、图像处理和人工智能领域。本发明包括步骤:首先提取太阳黑子数据样本、制作标签信息和LMDB数据集,然后设计卷积神经网络的配置文件,训练并测试包含数据层、卷积层和全连接层的卷积神经网络模型,将网络的全连接层转化为卷积层,然后按比例缩放全日面图像后输入到转换后的全卷积神经网络中计算概率,最后筛选出符合阈值的太阳黑子、采用非极大值抑制在全日面图像上标注太阳黑子位置。本发明将深度学习的方法应用于识别太阳黑子的问题上是前所未有的、有效的,该方法在很大程度上解决了传统识别太阳黑子的方法存在误识别和漏识别的问题。

Description

一种基于深度学习的识别太阳黑子的方法
技术领域
本发明涉及一种基于深度学习的识别太阳黑子的方法,属于天文技术、图像处理和人工智能领域。
背景技术
太阳表面的磁场发生剧烈变化时通常会引起地球磁场紊乱,影响地球生物的生活。太阳耀斑的爆发是磁场剧烈变化的一种表现,根据相关研究,太阳黑子群与耀斑的爆发存在紧密联系,太阳黑子的识别可以为耀斑的预报提供可行的技术手段,因此对全日面上太阳黑子的正确识别非常重要。
目前在识别太阳黑子上主要采用了手动和自动的方法。在早期阶段,手动的方法每天只能分析少量的图像,效率低,无法对数据统计和实时监控空间环境的需求进行处理。近年来自动的方法包括形态学、小波分析等,这些方法主要采用腐蚀、梯度变换、顶帽操作和区域增长、阈值、小波分析算法自动计算阈值等技术自动识别太阳黑子。但是这些方法对识别太阳黑子的精度度还不够高。
深度学习是机器学习领域近年来新发展出来的方向,基本结构是深度神经网络,这是一种具备至少一个隐层的神经网络。相比传统的浅层机器学习模型,深度神经网络在特征提取表达和模型拟合上有着非常大的优势。通过组合低层特征,得出能对原始数据具有更加抽象和本质的表达的高层特征,在具有复杂结构的大量信息的处理上有着优异的表现。
发明内容
本发明提供了一种基于深度学习的识别太阳黑子的方法,将深度学习中的全卷积神经网络的方法应用到识别太阳黑子中,用于解决传统识别太阳黑子的方法存在误识别和漏识别的问题。
本发明的技术方案是:一种基于深度学习的识别太阳黑子的方法,首先采用一种形态学腐蚀膨胀的方法来提取太阳黑子数据样本,通过提取的太阳黑子样本制作标签信息和LMDB数据集;接着设计卷积神经网络的配置文件的内容及参数,训练并测试包含数据层、卷积层和全连接层的卷积神经网络模型,将网络的全连接层转化为卷积层,然后按比例缩放全日面图像后输入到转换后的全卷积神经网络中计算概率,最后筛选出符合阈值的太阳黑子、采用非极大值抑制在全日面图像上标注太阳黑子位置。
所述基于深度学习的识别太阳黑子的方法的具体步骤如下:
Step1、图像预处理;首先对全日面图像进行预处理,包括采用形态学运算、区域联通的方法从全日面图像上提取单个太阳黑子的图片,继而制作太阳黑子样本标签信息和LMDB数据集;
Step2、设计并训练网络;设计卷积神经网络的配置文件中的数据层、卷积层和全连接层的参数,然后训练卷积神经网络模型,并测试该模型;
Step3、转换全卷积神经网络;将训练好的卷积神经网络模型的全连接层转化为卷积层;
Step4、按比例缩放全日面图像;采用缩放的策略,先将全日面图像放大,然后输入到转换后的全卷积神经网络中,使原图上最小的太阳黑子都能被识别,接着逐渐缩小到一定倍数,使全日面图像上大小各异的太阳黑子都能被识别;每个被识别的太阳黑子都经过全卷积神经网络的深度学习得到一个概率值;
Step5、筛选太阳黑子;筛选出概率值超过阈值的太阳黑子,然后再计算该太阳黑子在全日面图像上的坐标;
Step6、标注太阳黑子;采用非极大值抑制的方法挑选出概率最高的一个,作为最终的太阳黑子标记框。
进一步优选的,所述步骤Step3转换全卷积神经网络,全卷积神经网络用于实现任意大小的图片输入到训练好的全卷积神经网络中,输出划分好类别区域的热图。
进一步优选的,所述步骤Step5的阈值大于等于90%。
本发明的有益效果是:
在全日面图像上识别太阳黑子是深度学习在目标检测中的应用,基于深度学习的识别太阳黑子的方法不仅能自动识别全日面图像上的太阳黑子,还能准确的标记出太阳黑子位置信息。将深度学习的方法应用于识别太阳黑子问题上是前所未有的且有效的,该方法在很大程度上解决了传统识别太阳黑子的方法存在误识别和漏识别的问题;同时,为太阳黑子的进一步分类研究做准备。
附图说明
图1是本发明基于深度学习的识别太阳黑子方法的总体流程图;
图2是本发明在斯坦福大学提供的网站下载的全日面太阳图像;
图3是本发明采用形态学处理、区域联通等方法提取的太阳黑子样本图;
图4是本发明的包含数据层、卷积层和全连接层的卷积神经网络的结构图;
图5是本发明用深度学习的方法在全日面图像上进行太阳黑子检测的结果图,其中黑色框标出的为识别出的太阳黑子。
具体实施方式
实施例1:如图1-5所示,一种基于深度学习的识别太阳黑子的方法,首先采用一种形态学腐蚀膨胀的方法来提取太阳黑子数据样本,通过提取的太阳黑子样本制作标签信息和LMDB数据集;接着设计卷积神经网络的配置文件的内容及参数,训练并测试包含数据层、卷积层和全连接层的卷积神经网络模型,将网络的全连接层转化为卷积层,然后按比例缩放全日面图像后输入到转换后的全卷积神经网络中计算概率,最后筛选出符合阈值的太阳黑子、采用非极大值抑制在全日面图像上标注太阳黑子位置。
所述基于深度学习的识别太阳黑子的方法的具体步骤如下:
Step1、图像预处理;首先对全日面图像进行预处理,包括采用形态学运算、区域联通的方法从全日面图像上提取单个太阳黑子的图片,继而制作太阳黑子样本标签信息和LMDB数据集;
Step2、设计并训练网络;设计卷积神经网络的配置文件中的数据层、卷积层和全连接层的参数,然后训练卷积神经网络模型,并测试该模型;
Step3、转换全卷积神经网络;将训练好的卷积神经网络模型的全连接层转化为卷积层;
Step4、按比例缩放全日面图像;采用缩放的策略,先将全日面图像放大,然后输入到转换后的全卷积神经网络中,使原图上最小的太阳黑子都能被识别,接着逐渐缩小到一定倍数,使全日面图像上大小各异的太阳黑子都能被识别;每个被识别的太阳黑子都经过全卷积神经网络的深度学习得到一个概率值;
Step5、筛选太阳黑子;筛选出概率值超过阈值的太阳黑子,然后再计算该太阳黑子在全日面图像上的坐标;
Step6、标注太阳黑子;采用非极大值抑制的方法挑选出概率最高的一个,作为最终的太阳黑子标记框。
进一步优选的,所述步骤Step3转换全卷积神经网络,全卷积神经网络用于实现任意大小的图片输入到训练好的全卷积神经网络中,输出划分好类别区域的热图。
进一步优选的,所述步骤Step5的阈值大于等于90%。
实施例2:如图1-5所示,一种基于深度学习的识别太阳黑子的方法,首先对全日面太阳图像进行预处理,接着提取太阳黑子数据样本,通过提取的太阳黑子样本制作标签信息和LMDB数据集;接着设计卷积神经网络的配置文件,训练并测试包含数据层、卷积层和全连接层的卷积神经网络模型,将网络的全连接层转化为卷积层,然后按比例缩放全日面图像后输入到转换后的全卷积神经网络中计算概率,最后筛选出符合阈值的太阳黑子、采用非极大值抑制在全日面图像上标注太阳黑子位置。
所述基于深度学习的识别太阳黑子的方法的具体步骤如下:
Step1、图像预处理;首先将全日面图像转化为灰度图(本例中该全日面图像来源于斯坦福大学提供的网站,共下载了790幅图);然后使用形态学将图片进行腐蚀和膨胀运算,并按阈值进行二值化;接着使用区域联通的方法标记单个太阳黑子区域,计算按等比例调整太阳黑子图片大小为28*28,用提取的太阳黑子图片来制作标签信息和LMDB数据集。图2为下载的全日面图像,图3为一个提取的太阳黑子样本图像;
Step2、设计并训练网络;设计配置文件的数据层、卷积层和全连接层的参数,然后训练并测试卷积神经网络模型。经训练和测试,该模型设计为包括一层输入层,两层卷积层(conv1、conv2),两层池化层(pool1、pool2)、两层全连接层(ip1、ip2)和一层输出层的八层卷积神经网络结构。两层卷积层的卷积核大小设置都为5,步长为1,填充为0,输出分别为30和50个特征图。两个池化层的采样核大小均为2,步长也为2,填充为0,采用最大池化方法。两个全连接层输出分别为500和2,还有一层使用softmax函数的prob输出层。Softmax公式如下:
其中,T被称为是温度参数(temperature parameter)。当T很大时,即趋于正无穷时,所有的激活值对应的激活概率趋近于相同(激活概率差异性较小);而当T很低时,即趋于0时,不同的激活值对应的激活概率差异也越大。图4显示了该发明的卷积神经网络的结构图。
根据设计的配置文件和网络结构,数据集每次迭代训练过程如下:首先对输入数据使用forward前向传播算法逐层训练,使用SoftmaxWithLoss计算出loss值;然后根据loss值使用backward反向传播算法计算各层梯度;接着使用SGD随机梯度下降算法调整参数;定期测试网络得出准确率;最后记录迭代学习率,状态等日志信息。
Step3、转换全卷积神经网络;由于卷积神经网络在全连接层要求输入相同尺寸的图像,因此需要将全连接层转化为卷积层得到一个全卷积神经网络,全卷积神经网络可以实现任意大小的图片输入到训练好的网络中,输出划分好类别区域的热图。
Step4、按比例缩放全日面图像;由于全日面图像上的太阳黑子大小并不一致,所以本发明采用图像缩放的策略,先将全日面图像放大一定倍数后,然后输入到转换后的全卷积神经网络中,使原图上最小的太阳黑子都能被识别,接着逐步缩小到一定倍数,使原图最大的太阳黑子缩小到28*28的大小范围内,这样全日面图像上大小各异的太阳黑子都能被识别。本发明将1024*1024的原图放大到1500*1500的尺寸,再逐渐缩小至448*448尺寸的缩放策略,使全日面图像上的大小太阳黑子都能被识别,每个被识别的太阳黑子都得到一个概率值;
Step5、筛选太阳黑子;通过筛选概率值超过阈值的太阳黑子,得到该太阳黑子的原始区域坐标信息,结合缩放值,计算出该太阳黑子在全日面图像上的坐标;本实施例中所述步骤Step5的阈值采用90%。
缩放公式如下:
其中x是在全日面图像上矩形区域的四个点的坐标信息,t是pool层的stride值,s是缩放后太阳图的缩放值;
Step6、标注太阳黑子;同一个太阳黑子在不同的缩放比例下会被多次标记,因此采用非极大值抑制的方法挑选出概率最高的一个,作为最终的太阳黑子标记框。通过对全日面图像进行缩放变换和滑动窗口检测后,对每个太阳黑子概率大于阈值的区域,都标注出矩形框。图5显示了在全日面图像上进行太阳黑子检测的结果图,其中黑色框标出的为识别出的太阳黑子。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于深度学习的识别太阳黑子的方法,其特征在于:首先提取太阳黑子数据样本、制作标签信息和LMDB数据集,然后设计卷积神经网络的配置文件,训练并测试包含数据层、卷积层和全连接层的卷积神经网络模型,将网络的全连接层转化为卷积层,然后按比例缩放全日面图像后输入到转换后的全卷积神经网络中计算概率,最后筛选出符合阈值的太阳黑子、采用非极大值抑制在全日面图像上标注太阳黑子位置。
2.根据权利要求1所述的基于深度学习的识别太阳黑子的方法,其特征在于:所述基于深度学习的识别太阳黑子的方法的具体步骤如下:
Step1、图像预处理;首先对全日面图像进行预处理,包括采用形态学运算、区域联通的方法从全日面图像上提取单个太阳黑子的图片,继而制作太阳黑子样本标签信息和LMDB数据集;
Step2、设计并训练网络;设计卷积神经网络的配置文件中的数据层、卷积层和全连接层的参数,然后训练卷积神经网络模型,并测试该模型;
Step3、转换全卷积神经网络;将训练好的卷积神经网络模型的全连接层转化为卷积层;
Step4、按比例缩放全日面图像;采用缩放的策略,先将全日面图像放大,然后输入到转换后的全卷积神经网络中,使原图上最小的太阳黑子都能被识别,接着逐渐缩小到一定倍数,使全日面图像上大小各异的太阳黑子都能被识别;每个被识别的太阳黑子都经过全卷积神经网络的深度学习得到一个概率值;
Step5、筛选太阳黑子;筛选出概率值超过阈值的太阳黑子,然后再计算该太阳黑子在全日面图像上的坐标;
Step6、标注太阳黑子;采用非极大值抑制的方法挑选出概率最高的一个,作为最终的太阳黑子标记框。
3.根据权利要求2所述的基于深度学习的识别太阳黑子的方法,其特征在于:所述步骤Step3转换全卷积神经网络,全卷积神经网络用于实现任意大小的图片输入到训练好的全卷积神经网络中,输出划分好类别区域的热图。
4.根据权利要求2所述的基于深度学习的识别太阳黑子的方法,其特征在于:所述步骤Step5的阈值大于等于90%。
CN201711005550.2A 2017-10-25 2017-10-25 一种基于深度学习的识别太阳黑子的方法 Pending CN107886098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711005550.2A CN107886098A (zh) 2017-10-25 2017-10-25 一种基于深度学习的识别太阳黑子的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711005550.2A CN107886098A (zh) 2017-10-25 2017-10-25 一种基于深度学习的识别太阳黑子的方法

Publications (1)

Publication Number Publication Date
CN107886098A true CN107886098A (zh) 2018-04-06

Family

ID=61782165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711005550.2A Pending CN107886098A (zh) 2017-10-25 2017-10-25 一种基于深度学习的识别太阳黑子的方法

Country Status (1)

Country Link
CN (1) CN107886098A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851627A (zh) * 2019-09-24 2020-02-28 昆明理工大学 一种用于描述全日面图像中太阳黑子群的方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN113052202A (zh) * 2021-01-29 2021-06-29 昆明理工大学 一种用于分类全日面图像中太阳黑子群的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882217A (zh) * 2010-02-26 2010-11-10 杭州海康威视软件有限公司 视频图像的目标分类方法及装置
CN105787510A (zh) * 2016-02-26 2016-07-20 华东理工大学 基于深度学习实现地铁场景分类的系统及方法
CN106339006A (zh) * 2016-09-09 2017-01-18 腾讯科技(深圳)有限公司 一种飞行器的目标跟踪方法和装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技(上海)有限公司 人头检测方法和装置
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN107133943A (zh) * 2017-04-26 2017-09-05 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
CN107220650A (zh) * 2017-05-31 2017-09-29 广州炒米信息科技有限公司 食物图像检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882217A (zh) * 2010-02-26 2010-11-10 杭州海康威视软件有限公司 视频图像的目标分类方法及装置
CN105787510A (zh) * 2016-02-26 2016-07-20 华东理工大学 基于深度学习实现地铁场景分类的系统及方法
CN106339006A (zh) * 2016-09-09 2017-01-18 腾讯科技(深圳)有限公司 一种飞行器的目标跟踪方法和装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技(上海)有限公司 人头检测方法和装置
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN107133943A (zh) * 2017-04-26 2017-09-05 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
CN107220650A (zh) * 2017-05-31 2017-09-29 广州炒米信息科技有限公司 食物图像检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851627A (zh) * 2019-09-24 2020-02-28 昆明理工大学 一种用于描述全日面图像中太阳黑子群的方法
CN111127412A (zh) * 2019-12-18 2020-05-08 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN113052202A (zh) * 2021-01-29 2021-06-29 昆明理工大学 一种用于分类全日面图像中太阳黑子群的方法

Similar Documents

Publication Publication Date Title
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN112434672B (zh) 一种基于改进YOLOv3的海上人体目标检测方法
CN107016405A (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107657603A (zh) 一种基于智能视觉的工业外观检测方法
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN106991666B (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN107451661A (zh) 一种基于虚拟图像数据集的神经网络迁移学习方法
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN107451616A (zh) 基于深度半监督迁移学习的多光谱遥感图像地物分类方法
CN106600577A (zh) 一种基于深度反卷积神经网络的细胞计数方法
CN107886098A (zh) 一种基于深度学习的识别太阳黑子的方法
CN107316054A (zh) 基于卷积神经网络和支持向量机的非标准字符识别方法
CN107622233A (zh) 一种表格识别方法、识别系统及计算机装置
CN109740676A (zh) 基于相似目标的物体检测迁移方法
CN107463937A (zh) 一种基于迁移学习的番茄病虫害自动检测方法
CN111582401B (zh) 一种基于双分支卷积神经网络的向日葵种子分选方法
CN107808375A (zh) 融合多种上下文深度学习模型的水稻病害图像检测方法
CN106778896B (zh) 一种基于自编码特征学习的冬虫夏草检测方法
CN106991428A (zh) 基于自适应池化模型的害虫图像识别方法
CN107423747A (zh) 一种基于深度卷积网络的显著性目标检测方法
CN113128335A (zh) 微体古生物化石图像检测、分类及发现方法、系统及应用
CN110348503A (zh) 一种基于卷积神经网络的苹果品质检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406