CN108256424A - 一种基于深度学习的高分辨率遥感图像道路提取方法 - Google Patents

一种基于深度学习的高分辨率遥感图像道路提取方法 Download PDF

Info

Publication number
CN108256424A
CN108256424A CN201711307240.6A CN201711307240A CN108256424A CN 108256424 A CN108256424 A CN 108256424A CN 201711307240 A CN201711307240 A CN 201711307240A CN 108256424 A CN108256424 A CN 108256424A
Authority
CN
China
Prior art keywords
remote sensing
deep learning
road
image
sensing images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711307240.6A
Other languages
English (en)
Inventor
刘建
耿丹阳
罗伦
钟南
夏威
阳柯
苏航
孙士凯
刘志强
邓蕾
佘绍
佘绍一
祁钰茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Engineering Laboratory Co Ltd
Original Assignee
China National Engineering Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Engineering Laboratory Co Ltd filed Critical China National Engineering Laboratory Co Ltd
Priority to CN201711307240.6A priority Critical patent/CN108256424A/zh
Publication of CN108256424A publication Critical patent/CN108256424A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks

Abstract

本发明公开一种基于深度学习的高分辨率遥感图像道路提取方法,包括通过卫星或航拍器获取遥感图像;建立深度学习模型;标注部分遥感图像并得到矢量路网;在所述遥感图像以及矢量路网上采集道路以及背景样本;采用所述深度学习模型对所述道路以及背景样本进行训练;用训练得到的深度学习网络对所述遥感图像中像素进行分类并得到二值图像;将二值图像中识别出的像素值进行标识。本发明能够提高分类精度,从而识别地物信息。

Description

一种基于深度学习的高分辨率遥感图像道路提取方法
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于深度学习的高分辨率遥感图像道路提取方法。
背景技术
随着我国航天航空事业的发展,对地观测获取地物信息也越来越多,卫星影像、航拍影像等获取的图像分辨率也越来越高。早期中分辨率遥感图像用于土地分类等大范围地物识别,影像中的道路以线状出现。而今高分辨率遥感图像可获得地物1m大小的地物,这迫切需要我们挖掘遥感数据中的有用信息,为研究地物变化灾害预警提供依据,为人们生产生活提供便利。高分辨率遥感图像中的道路以带状呈现,具有独特的拓扑特性及光谱特性。目前,遥感图像地物识别主要是根据地物的色调、颜色、阴影、形状、纹理、大小、位置、图型和相关布局等特征,分类方法较好的有支持向量机、神经网络、最大似然等分类器。这些方法对于大面积的地物识别、分类有较好的效果。针对交通道路的识别与提取,遥感中也有一些算法包括Hough变换、Snake算法、边缘特征等,都有各自的优缺点,并非适用于所有遥感图像。
发明内容
本发明的目的在于提供一种基于深度学习的高分辨率遥感图像道路提取方法,能够提高分类精度,从而识别地物信息。
为达到上述目的,本发明采用下述技术方案:一种基于深度学习的高分辨率遥感图像道路提取方法,包括
通过卫星或航拍器获取遥感图像;
建立深度学习模型;
标注部分遥感图像并得到矢量路网;
在所述遥感图像以及所述矢量路网上采集道路以及背景样本;
采用所述深度学习模型对所述道路以及背景样本进行训练;
用训练得到的深度学习网络对所述遥感图像中像素进行分类并得到二值图像;
将二值图像中识别出的像素值进行标识。
优选地,所述深度学习模型为卷积神经网络。
优选地,所述标注部分遥感图像包括根据部分遥感图像绘制矢量路网,所述矢量路网中道路地区图像与非道路地图图像的像素值不同。
优选地,所述采集道路以及背景样本包括以D×D大小的滑动窗口在所述遥感图像以及所述矢量路网上进行滑动来采集样本数据,其中,D大于0。
优选地,所述卷积神经网络包括
输入层,用于将输入图像以向量形式进行输出
卷积层,通过滑动窗口的方式计算其与图像的内积,并将内积的结果进行输出;
池化层,位于卷积层之后,用于对所述内积的结果进行聚合统计,完成空间的下采样;
全卷积层,用于进行类别得分结果的计算;
输出层,用于将所述类别得分结果进行输出。
优选地,所述训练包括以下步骤:
S1、卷积神经网络初始化;
S2、进行前行计算;
S3、采用最小化残差的原理调整权重以及偏置。
优选地,所述S1包括初始化卷积核、权重及偏置大小。
优选地,所述S2包括
S21、通过输入层将所述道路以及背景样本以向量形式进行输出;
S22、通过卷积层计算其与所述输入道路以及背景样本的内积,并将内积的结果进行输出;
S23、通过池化层对所述内积的结果进行聚合统计,完成空间的下采样。
本发明的有益效果如下:
本发明所述技术方案具有原理明确、设计简单的优点,利用卷积神经网络从图像中随机选取一小块区域作为训练样本进行训练,从而将原始图像输入至训练完成的卷积神经网络内,从而实现图像分类,可提高分类精度,从而识别地物信息。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明中所述方法的具体步骤流程图;
图2示出本发明中卷积神经网络训练过程的步骤流程图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
深度学习利用计算机模拟人类学习行为,获取新的知识技能,重新组织已有的知识结构并不断优化知识库,最终做出最优决策,深度学习图像识别,利用卷积神经网络从图像中随机选取一小块区域作为训练样本,从该样本中学习到一些特点信息的特征,然后将这些特征作为滤波器与原始图像作运算,从而得到原始图像中任一位置上的不同特征的激活值,再将值输入分类器中进行训练,可实现图像分类,最终经连通区域、滤噪等方式可提高分类精度,从而识别地物信息。
如图1所示,本发明所述的一种基于深度学习的高分辨率遥感图像道路提取方法的具体步骤如下:
第一步,通过卫星或航拍器获取遥感图像;
第二步,建立深度学习模型,深度学习模型为卷积神经网络,卷积神经网络主要包括:
输入层,用于将输入图像以向量形式进行输出
卷积层,通过滑动窗口的方式计算其与图像的内积,并将内积的结果进行输出;
池化层,位于卷积层之后,用于对所述内积的结果进行聚合统计,完成空间的下采样;
全卷积层,用于进行类别得分结果的计算;
输出层,用于将所述类别得分结果进行输出。
第三步,标注部分遥感图像并得到矢量路网,其中,标注部分遥感图像包括根据部分遥感图像绘制矢量路网,并且为了能够区分矢量路网中道路地图图像与非道路地区图像,所以矢量路网中道路地区图像与非道路地区图像的像素值不同;
第四步,在遥感图像以及矢量路网上采集道路以及背景样本,包括采用D×D大小的滑动窗口在遥感图像以及矢量路网上进行滑动来采集样本数据,其中,D大于0;
第五步,采用深度学习模型对道路以及背景样本进行训练,如图2所示,其中所述的训练过程为:
S1、卷积神经网络初始化;
S2、进行前行计算;
S3、采用最小化残差的原理调整权重以及偏置。
其中,在S1中,卷积神经网络初始化主要包括初始化卷积核、权重及偏置的大小,在S2中所述的进行前行计算主要包括:
S21、通过输入层将所述道路以及背景样本以向量形式进行输出;
S22、通过卷积层计算其与所述输入道路以及背景样本的内积,并将内积的结果进行输出;
S23、通过池化层对所述内积的结果进行聚合统计,完成空间的下采样。
第六步,用训练得到的深度学习网络对所述遥感图像中像素进行分类并得到二值图像;
第七步,将二值图像中识别出的像素值进行标识,通过将二值图像中识别出来的像素值进行标识,从而识别出道路图像,优选地,分析二值图像中的连通区域,设置最小像素值L,当标红区域小于L则被清除掉,最后剩下的则为较为准确识别出来的道路图像。
将本发明所述的方法与传统的监督分类方法进行对比,来分析分类精度,这里用支持向量机分类器进行分类,其中分类精度公式为:
其中,u为提取精度,p为识别道路区域面积,r为真实道路面积,他们的实验结果如下表所示;
表1传统分类方法与深度学习方法精度对比
影像中存在树木遮挡、裸地和建筑物等地物,会对分类精度有所影响,但通过表1可知两种方法都将显著的道路区域提取出来了,且本发明所述的方法较传统监督分类方法精度高3.7%。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于深度学习的高分辨率遥感图像道路提取方法,其特征在于,包括
通过卫星或航拍器获取遥感图像;
建立深度学习模型;
标注部分遥感图像并得到矢量路网;
在所述遥感图像以及所述矢量路网上采集道路以及背景样本;
采用所述深度学习模型对所述道路以及背景样本进行训练;
用训练得到的深度学习网络对所述遥感图像中像素进行分类并得到二值图像;
将二值图像中识别出的像素值进行标识。
2.根据权利要求1所述的方法,其特征在于,所述深度学习模型为卷积神经网络。
3.根据权利要求1所述的方法,其特征在于,所述标注部分遥感图像包括根据部分遥感图像绘制矢量路网,所述矢量路网中道路地区图像与非道路地图图像的像素值不同。
4.根据权利要求1所述的方法,其特征在于,所述采集道路以及背景样本包括以D×D大小的滑动窗口在所述遥感图像以及所述矢量路网上进行滑动来采集样本数据,其中,D大于0。
5.根据权利要求2所述的方法,其特征在于,所述卷积神经网络包括
输入层,用于将输入图像以向量形式进行输出
卷积层,通过滑动窗口的方式计算其与图像的内积,并将内积的结果进行输出;
池化层,位于卷积层之后,用于对所述内积的结果进行聚合统计,完成空间的下采样;
全卷积层,用于进行类别得分结果的计算;
输出层,用于将所述类别得分结果进行输出。
6.根据权利要求5所述的方法,其特征在于,所述训练包括以下步骤:
S1、卷积神经网络初始化;
S2、进行前行计算;
S3、采用最小化残差的原理调整权重以及偏置。
7.根据权利要求6所述的方法,其特征在于,所述S1包括初始化卷积核、权重及偏置大小。
8.根据权利要求6所述的方法,其特征在于,所述S2包括
S21、通过输入层将所述道路以及背景样本以向量形式进行输出;
S22、通过卷积层计算其与所述输入道路以及背景样本的内积,并将内积的结果进行输出;
S23、通过池化层对所述内积的结果进行聚合统计,完成空间的下采样。
CN201711307240.6A 2017-12-11 2017-12-11 一种基于深度学习的高分辨率遥感图像道路提取方法 Pending CN108256424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711307240.6A CN108256424A (zh) 2017-12-11 2017-12-11 一种基于深度学习的高分辨率遥感图像道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711307240.6A CN108256424A (zh) 2017-12-11 2017-12-11 一种基于深度学习的高分辨率遥感图像道路提取方法

Publications (1)

Publication Number Publication Date
CN108256424A true CN108256424A (zh) 2018-07-06

Family

ID=62721560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711307240.6A Pending CN108256424A (zh) 2017-12-11 2017-12-11 一种基于深度学习的高分辨率遥感图像道路提取方法

Country Status (1)

Country Link
CN (1) CN108256424A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359598A (zh) * 2018-10-18 2019-02-19 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络系统及方法
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN109543630A (zh) * 2018-11-28 2019-03-29 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109934095A (zh) * 2019-01-22 2019-06-25 中交信息技术国家工程实验室有限公司 一种基于深度学习的遥感图像水体提取方法及系统
CN110298321A (zh) * 2019-07-02 2019-10-01 中国科学院遥感与数字地球研究所 基于深度学习图像分类的道路阻断信息提取
CN110598673A (zh) * 2019-09-24 2019-12-20 电子科技大学 基于残差网络的遥感图像道路提取方法
CN111160128A (zh) * 2019-12-11 2020-05-15 中国资源卫星应用中心 一种基于对抗神经网络模型的遥感图像处理方法及系统
CN111428792A (zh) * 2020-03-26 2020-07-17 中国科学院空天信息创新研究院 遥感信息图像样本标记方法及装置
CN111435088A (zh) * 2019-01-15 2020-07-21 北京嘀嘀无限科技发展有限公司 一种道路匹配方法、装置、电子设备及存储介质
CN111523606A (zh) * 2020-04-28 2020-08-11 中交信息技术国家工程实验室有限公司 一种道路信息的更新方法
CN111783700A (zh) * 2020-07-06 2020-10-16 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN112115817A (zh) * 2020-09-01 2020-12-22 国交空间信息技术(北京)有限公司 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN112131912A (zh) * 2019-06-25 2020-12-25 北京尚水信息技术股份有限公司 遥感影像下垫面提取方法
CN112733800A (zh) * 2021-01-22 2021-04-30 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN112906459A (zh) * 2021-01-11 2021-06-04 甘肃省公路局 基于高分辨率遥感影像与深度学习方法的路网核查技术
CN113159044A (zh) * 2021-04-01 2021-07-23 中国公路工程咨询集团有限公司 一种基于深度学习的卷积神经网络的道路材质识别方法
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统
CN113297965A (zh) * 2021-05-25 2021-08-24 浙江树人学院(浙江树人大学) 一种基于深度学习的遥感图像目标提取方法和装置
CN113569596A (zh) * 2020-04-28 2021-10-29 千寻位置网络有限公司 卫星图像道路印刷物识别方法及其装置
CN115457388A (zh) * 2022-09-06 2022-12-09 湖南经研电力设计有限公司 基于深度学习优化的输变电遥感图像地物辨识方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058223B2 (en) * 2000-09-14 2006-06-06 Cox Ingemar J Identifying works for initiating a work-based action, such as an action on the internet
CN105740894A (zh) * 2016-01-28 2016-07-06 北京航空航天大学 一种高光谱遥感图像的语义标注方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
CN107067003A (zh) * 2017-03-09 2017-08-18 百度在线网络技术(北京)有限公司 感兴趣区域边界的提取方法、装置、设备和计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058223B2 (en) * 2000-09-14 2006-06-06 Cox Ingemar J Identifying works for initiating a work-based action, such as an action on the internet
CN105740894A (zh) * 2016-01-28 2016-07-06 北京航空航天大学 一种高光谱遥感图像的语义标注方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN107067003A (zh) * 2017-03-09 2017-08-18 百度在线网络技术(北京)有限公司 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN109359598A (zh) * 2018-10-18 2019-02-19 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络系统及方法
CN109543630A (zh) * 2018-11-28 2019-03-29 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109543630B (zh) * 2018-11-28 2023-06-16 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN111435088A (zh) * 2019-01-15 2020-07-21 北京嘀嘀无限科技发展有限公司 一种道路匹配方法、装置、电子设备及存储介质
CN109934095A (zh) * 2019-01-22 2019-06-25 中交信息技术国家工程实验室有限公司 一种基于深度学习的遥感图像水体提取方法及系统
CN112131912A (zh) * 2019-06-25 2020-12-25 北京尚水信息技术股份有限公司 遥感影像下垫面提取方法
CN110298321A (zh) * 2019-07-02 2019-10-01 中国科学院遥感与数字地球研究所 基于深度学习图像分类的道路阻断信息提取
CN110598673A (zh) * 2019-09-24 2019-12-20 电子科技大学 基于残差网络的遥感图像道路提取方法
CN111160128A (zh) * 2019-12-11 2020-05-15 中国资源卫星应用中心 一种基于对抗神经网络模型的遥感图像处理方法及系统
CN111160128B (zh) * 2019-12-11 2023-07-18 中国四维测绘技术有限公司 一种基于对抗神经网络模型的遥感图像处理方法及系统
CN111428792A (zh) * 2020-03-26 2020-07-17 中国科学院空天信息创新研究院 遥感信息图像样本标记方法及装置
CN111428792B (zh) * 2020-03-26 2023-04-18 中国科学院空天信息创新研究院 遥感信息图像样本标记方法及装置
CN111523606A (zh) * 2020-04-28 2020-08-11 中交信息技术国家工程实验室有限公司 一种道路信息的更新方法
CN113569596A (zh) * 2020-04-28 2021-10-29 千寻位置网络有限公司 卫星图像道路印刷物识别方法及其装置
CN111523606B (zh) * 2020-04-28 2023-04-28 中交信息技术国家工程实验室有限公司 一种道路信息的更新方法
CN111783700A (zh) * 2020-07-06 2020-10-16 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN111783700B (zh) * 2020-07-06 2023-11-24 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN112115817A (zh) * 2020-09-01 2020-12-22 国交空间信息技术(北京)有限公司 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN112906459A (zh) * 2021-01-11 2021-06-04 甘肃省公路局 基于高分辨率遥感影像与深度学习方法的路网核查技术
CN112733800A (zh) * 2021-01-22 2021-04-30 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN113159044A (zh) * 2021-04-01 2021-07-23 中国公路工程咨询集团有限公司 一种基于深度学习的卷积神经网络的道路材质识别方法
CN113297965A (zh) * 2021-05-25 2021-08-24 浙江树人学院(浙江树人大学) 一种基于深度学习的遥感图像目标提取方法和装置
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统
CN115457388A (zh) * 2022-09-06 2022-12-09 湖南经研电力设计有限公司 基于深度学习优化的输变电遥感图像地物辨识方法及系统

Similar Documents

Publication Publication Date Title
CN108256424A (zh) 一种基于深度学习的高分辨率遥感图像道路提取方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN103049763B (zh) 一种基于上下文约束的目标识别方法
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Chen et al. A spectral gradient difference based approach for land cover change detection
CN111080629A (zh) 一种图像拼接篡改的检测方法
Yu et al. Apple leaf disease identification through region-of-interest-aware deep convolutional neural network
Sun et al. Rural building detection in high-resolution imagery based on a two-stage CNN model
CN109886238A (zh) 基于语义分割的无人机航拍图像变化检测算法
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN109615024A (zh) 一种岩石种类智能区分识别及定位方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106846322B (zh) 基于曲线波滤波器和卷积结构学习的sar图像分割方法
CN106683102B (zh) 基于脊波滤波器和卷积结构学习模型的sar图像分割方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
CN110334762A (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN106096658B (zh) 基于无监督深度空间特征编码的航拍图像分类方法
CN108305260A (zh) 一种图像中角点的检测方法、装置及设备
CN106910188A (zh) 基于深度学习的遥感影像中机场跑道的检测方法
Yao et al. Sensing urban land-use patterns by integrating Google Tensorflow and scene-classification models
CN108898092A (zh) 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN106650798B (zh) 一种结合深度学习与稀疏表示的室内场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706